代理IP的作用_神龙HTTP代理

　　当我们向网页发送一个请求，请求里面不仅携带了headers等信息，同时还携带了我们的IP信息。当一个IP地址频繁的大量的请求同一个域名下的网页，就很容易被封禁掉。

　　相信很多新手都有这样的经历，当我们对一个爬虫程序不加约束，成百上千次的循环访问某个网页，在一段时间后就会出现爬虫报错或者无法抓取到信息的情况。而这个时候，我们通过浏览器去访问这个页面会发现无法登录进去，而我们换一个网络就可以正常访问，这就是因为我们的爬虫大量访问这个页面，IP地址被封禁了。

　　想要解决爬虫程序运行过程中，IP地址被封禁或者限制的问题，常见的方法有两种

　　降低抓取频率，比如每两次请求之间间隔2秒，即设置time.sleep(2)(事先import time)。(你user-agent等伪装得当的情况下，如果2秒请求一次，这是人手动也可以操作出来的，网站就不敢确定你是一个爬虫程序)，最好是设置随机的sleep时间，可以更真实的模仿用户访问。但是这种方法过于耗时，只能适用于微型的项目或者练习的项目。

　　通常情况下，我们使用爬虫抓取数据的量是非常大的，这个时候就需要通过代理IP来解决了，通过不断的改变IP地址来发送请求，就避免了单一IP容易受限的问题，这样可以更快速的获取到我们想要的信息。当然，爬虫程序在运行是还要考虑到对方服务器压力的问题，不能影响目标服务器的正常运行。

　　我们在选择代理IP时，需要选择像神龙HTTP这样的正规代理IP平台，这样才能获取高品质的代理IP，爬虫程序的运行才会更加的稳定和安全。