爬虫工作，代理IP的并发请求越大越好？

帮助中心 > 新闻资讯 > 爬虫工作，代理IP的并发请求越大越好？

爬虫工作，代理IP的并发请求越大越好？

发布时间： 2022-05-31

标签：

爬虫工作任务一般比较大，爬虫工作人员往往会部署分布式爬虫，多线程进行爬虫工作，往往会要求代理IP支持高并发工作。那么，代理IP的并发请求是否越大越好呢？

很多人选择代理IP时往往会要求并发请求越大越好，甚至是可以无限制并发的使用。但这根本不存在无限制并发的情况，因为代理服务器的资源是有限的，并发请求越大，访问速度越慢，甚至超时，严重时还会导致代理服务器不稳定，无法连接。

一个人使用的独享代理IP池还好，毕竟影响的只是自己；如果是共享代理IP池，一个人无限制并发的使用，将会影响所有共用一个代理IP池的用户。独享代理IP池虽然可以无限制并发使用，但IP量比较少，价格比较贵，而且并发太大了还是会影响速度甚至超时，从而影响自己的工作效率。

因此，代理IP的并发请求并非越大越好，那么是否越小越好呢？并发太大了会影响速度，影响爬虫工作的持续稳定性；并发太小了，工作效率会很低。因此，我们需要根据自身业务，合理设计爬虫策略，合理设置并发请求大小。

在线咨询

17368683470

微信二维码

定制IP

关注获取更多优惠

公众号

回到顶部