使用Python的Web爬网提示和技巧

价格：56.68美元< / div>
  　　
　　
　　
　　基本代码是导入库，执行请求，解析html，然后找到class main_price。
　　有可能出现class main_price在网站的其他部分。为了避免class main_price从网页的任何其他部分提取不必要的内容，我们可以先解决id listings_prices，然后再使用查找所有元素class main_price。
　　3.陷阱
　　3.1检查robots.txt
　　网站的抓取规则可在robots.txt文件中找到。您可以通过在主域名(例如)之后编写robots.txt来找到它。这些规则确定不允许自动提取网站的哪些部分，或者允许漫游器多久请求一次页面。大多数人都不在乎它，但是即使您不打算遵守这些规则，也要尽量保持尊重并至少看一下这些规则。
　　3.2 HTML可能是邪恶的
　　HTML标记可以包含id，class或两者。HTML id指定唯一的ID，HTML类是唯一的。类名或元素的更改可能会破坏您的代码或提供错误的结果。
　　有两种方法可以避免它，或者至少要对其进行提醒：
　　· 使用特定的id而不是class因为它不太可能被更改
　　· 检查元素是否返回 None
　　但是，由于某些字段是可选的(例如discounted_price在我们的HTML示例中)，因此相应的元素不会出现在每个列表中。在这种情况下，您可以计算此特定元素返回“无”的次数占列表数量的百分比。如果是100%，则可能要检查元素名称是否已更改。
　　3.3用户代理欺骗
　　每次您访问网站时，它都会通过用户代理获取浏览器信息。除非您提供用户代理，否则某些网站不会向您显示任何内容。另外，某些站点向不同的浏览器提供不同的内容。网站不想阻止真正的用户，但是如果您使用相同的用户代理每秒发送200个请求，您就会感到可疑。一种解决方法是要么生成几乎随机用户代理，要么自行设置。
　　3.4超时请求
　　默认情况下，Request将无限期地等待响应。因此，建议设置超时参数。
　　3.5我被封锁了吗?
　　频繁出现状态代码，例如404(未找到)，403(禁止)，408(请求超时)，可能表明您已被阻止。您可能需要检查这些错误代码，然后进行相应处理。
　　另外，准备处理请求中的异常。
　　3.6 IP轮换
　　即使您将用户代理随机化，所有请求都将来自同一IP地址。这听起来并不异常，因为图书馆，大学以及公司只有几个IP地址。但是，如果通常有多个请求来自单个IP地址，则服务器可以检测到它。使用共享代理，VPN或TOR可以帮助您成为鬼魂。
　　通过使用共享代理，网站将看到代理服务器的IP地址，而不是您的IP地址。VPN将您连接到另一个网络，并且VPN提供商的IP地址将发送到该网站。
　　3.7蜜罐
　　蜜罐是检测爬虫或刮板的手段。
　　这些可以是用户看不见的“隐藏”链接，但可以由刮板/蜘蛛提取。此类链接的CSS样式设置为display:none，可以通过具有背景色来进行混合，甚至可以移出页面的可见区域。一旦您的搜寻器访问了这样的链接，您的IP地址就可以被标记为进一步调查，甚至被立即阻止。
　　发现爬网程序的另一种方法是添加具有无限深目录树的链接。然后，将需要限制检索页面的数量或限制遍历深度。
　　4.做与不做
　　· 抓取之前，请检查是否有可用的公共API。与网络抓取相比，公共API提供了更轻松，更快(合法)的数据检索。查看提供用于不同目的的API的Twitter API。
　　· 如果您抓取大量数据，则可能要考虑使用数据库来快速分析或检索它。遵循本教程，了解如何使用python创建本地数据库。
　　· 讲礼貌。就像这个答案所建议的那样，建议让人们知道您正在抓捕他们的网站，以便他们可以更好地响应您的漫游器可能引起的问题。
　　同样，不要通过每秒发送数百个请求来使网站超载。
　　5.加速—并行化
　　如果决定并行化程序，请谨慎执行，以免猛烈破坏服务器。并且确保您阅读了“注意事项”部分。在此处和此处检查并行化与并发，处理器和线程的定义。
　　如果您从页面中提取大量信息并在抓取时对数据进行了一些预处理，则发送到页面的每秒请求数可能会相对较低。
　　对于我另一个刮掉公寓租金价格的项目，我在刮擦时对数据进行了大量预处理，结果是每秒请求1次。为了抓取4K广告，我的程序将运行大约一小时。
　　为了并行发送请求，您可能需要使用多处理程序包。
　　假设我们有100个页面，并且我们希望为每个处理器分配相同数量的页面。如果nCPU的数量为，则可以将所有页面平均分块到nbin中，然后将每个bin分配给处理器。每个进程都有其自己的名称，目标函数和要使用的参数。以后可以使用进程名称来将数据写入特定文件。
　　我为4个CPU分配了1K页，每秒产生4个请求，并将抓取时间减少到大约17分钟。想了解更多关于python的信息http://www.zpedu.com/it/rjyf/13124.html，请继续关注我们。