Python爬虫被封禁如何应对防爬策略?

现如今因为搜索引擎的流行,网络爬虫已成为很普及的技术,除了专门做搜索的Google、Yahoo、百度以外,几乎每个大型门户网站都有自己的搜索引擎。一些智能的搜索引擎爬虫的爬取频率比较合理,不会消耗过多的网站资源,但是,很多网络爬虫对网页的爬取能力很差,经常并发上百个请求循环重复爬取,这种爬虫对中小型网站造成的访问压力非常大,很可能会导致网站访问速度缓慢,甚至无法访问,因此现在的网站会采取一些防爬虫措施来阻止爬虫的不当爬取行为。 Python技术文章2021-04-27 |传智教育 |如何应对防爬策略

Python爬虫被封禁如何应对防爬策略?

现如今因为搜索引擎的流行,网络爬虫已成为很普及的技术,除了专门做搜索的Google、Yahoo、百度以外,几乎每个大型门户网站都有自己的搜索引擎。一些智能的搜索引擎爬虫的爬取频率比较合理,不会消耗过多的网站资源,但是,很多网络爬虫对网页的爬取能力很差,经常并发上百个请求循环重复爬取,这种爬虫对中小型网站造成的访问压力非常大,很可能会导致网站访问速度缓慢,甚至无法访问,因此现在的网站会采取一些防爬虫措施来阻止爬虫的不当爬取行为。

对于采取了防爬虫措施的网站,爬虫程序需要针对这些措施采取相应的应对策略,才能成功地爬取到网站上的数据。常用的应对策略包括以下几种:

1.设置User-Agent

User-Agent表示用户代理,是HTTP协议中的一个字段,其作用是描述发出HTTP请求的终端信息,如操作系统及版本、浏览器及版本等,服务器通过这个字段可以知道访问网站的用户。

每个正规的爬虫都有固定的User-Agent,因此,只要将这个字段设为知名的用户代理即可。

但是,不推荐伪装知名爬虫,因为这些爬虫很可能有固定的IP,如百度爬虫。这里,推荐若干个浏览器的User Agent,在每次发送请求时,随机从这些用户代理中选择一个即可。 具体如下:

(1) Mozilla/5.0 (Windows NT 5.1;U; en; rv:1.8.1) Gecko/ 20061208Firefox/2.0.0 Opera 9.50。

(2) Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) opera 9.50。

(3) Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0。

2.使用代理IP

如果网站根据某个时间段以内IP访问的次数来判定是否为爬虫,一日这此IP地址被封掉,User-Agent设置就会失效。遇到这种情况,可以使用代理IP完成。所谓代理IP就是介于用户和网站之间的第三者,即用户先将请求发送给代理IP,之后代理IP再发送到服务器,这时服务器会将代理IP视为爬虫的IP,同时用多个代理IP,可以降低单个IP地址的访问量,就能防止爬虫爬取数据的概率。

有些网站提供了一大批代理IP,可以将其存储起来以备不时之需。不过,很多代理IP的寿命比较短,需要有一套完整的机制来校验已有代理IP的有效性。

3.降低访问频率

如果没有找到既免费又稳定的代理IP,则可以降低访问网站的频率,这样做可以达到与用户代理一样的效果,防止对方从访问量上认出爬虫的身份,不过爬取效率会差很多。为了弥补这个缺点,可以基于这个思想适时调整具体的操作。例如,每爬取-一个页面就休息若干秒,或者限制每天爬取的页面数量。

4. 验证码限制

虽然有些网站不登陆就能访问,但是它一检测到某IP的访问量有异常,就会马上提出登陆要求,并随机提供一个验证码。碰到这种情况,大多数情况下需要采取相应的技术识别验证码,只有正确输入验证码,才能够继续爬取网站。不过,识别验证码的技术难度还是比较大的。

Python教程技术教程

Python实战开发项目视频教程:美多商城开发实战【传智教育】

2021-7-8 22:13:05

Python教程

什么是HDFS Shell?HDFS常用命令操作演示

2021-7-9 8:38:28

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索