帮助中心

神龙HTTP带你一览反爬虫策略

分类: 推荐

时间: 2021-02-22 09:50:22

网络爬虫技术已经成了很普及网络技术,对于一个内容型驱动的网络站点来说,受到网络爬虫技术的光顾是不可避免的。优秀的爬虫技术不会干扰网站的正常运营,而糟糕的爬虫技术会带来很多麻烦因为它们的页面抓取能力差,经常并发几十上百个请求循环重复,加大了网络站点访问压力,导致站点访问速度缓慢,甚至无法访问。

网站为避免这种情况的发生,会运用到反爬技术。一般从三个方面反爬虫:一般用户请求的Headers,一般用户行为,网络站点目录和数据加载方式。 

 1.通过Headers反爬虫技术   

从一般用户请求的Headers反爬虫技术是最常见的反爬虫技术策略。很多网络站点都会对Headers的User-Agent进行检测,还有一部分网络站点会对Referer进行检测(一些资源网络站点的防盗链就是检测Referer)。如果遇到了这类反爬虫技术机制,可以直接在爬虫技术中添加Headers,将浏览器的User-Agent复制到爬虫技术的Headers中;或者将Referer值修改为目标网络站点域名。对于检测Headers的反爬虫技术,在爬虫技术中修改或者添加Headers就能很好的绕过。

 2.基于一般用户行为反爬虫技术

还有一部分网络站点是通过检测一般用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作

大多数网络站点都是前一种情况,对于这种情况,使用IP代理就可以解决比如神龙HTTP代理,多平台适用,自营服务器节点遍布全国。有了大量代理IP后可以每请求几次更换一个IP,这在requests或者urllib2中很容易做到,这样就能很容易的绕过第一种反爬虫技术。

对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网络站点,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。

3.动态页面的反爬虫技术    

上述的几种情况大多都是出现在静态页面,还有一部分网络站点,我们需要抓取的数据是通过ajax请求得到,或者通过Java生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求,也能分析出具体的参数和响应的具体含义,我们就能采用上面的方法,直接利用requests或者urllib2模拟ajax请求,对响应的json进行分析得到需要的数据。

反爬和爬虫相辅相生,遵守目标站点的规则才是利人利己的好爬虫。

专属客户经理

4222548440

18651688355

微信二维码

IP定制

专属客户经理

4222548440

18651688355

微信二维码

企业客户

专属客户经理

4222548440

18651688355

微信二维码

工作室

专属客户经理

4222548440

18651688355

微信二维码

大客户

关注公众号

公众号

回到顶部