做公开数据采集的人,多半都碰过这个场面:程序跑了两小时都挺顺,突然一整屏请求全变成验证页,翻日志才发现是IP被拦了。想着换长效静态IP省事吧,成本一下翻上去;转头用短效动态代理,又遇到另一种坑——IP还没用热就到期了,一半请求打在失效的通道上,报错日志刷得比数据还快。说到底,不是代理不行,是你没把「采集频率」和「IP时效」这两件事放在一张纸上算账。
一、"短效"到底短在哪,先把有效窗口摸清
短效动态代理的寿命,是从你提取那一刻开始计时的。市面上常见的档位就那几个:1分钟、3分钟、5分钟,也有按「使用一次即释放」走的。别看只差两分钟,落到实际采集上,能承载的请求数差出一大截。
举个具体数字。你要抓10万条商品详情,单条请求平均耗时0.8秒,一个有效期3分钟的IP,在绝对理想的状态下大概能跑完220次左右。但现实里还有重试、慢响应、连接抖动,能用的次数打个七折,剩150次上下。
再看你手上有多少并发。20个线程同时跑,一个IP几秒钟就会被自己人打穿——注意,不是被目标站点拦,是你自己把它用超了,后面那些请求全是白费。这就是「频率」和「时效」没对上的最典型表现:不是IP没用,是它被你压榨得超出了它的窗口。
二、按采集节奏倒推:多长的时效才够用
别一上来就问"哪种时效最好",没有统一答案。你先说清楚自己多久抓一轮、一轮发多少请求,答案自然就出来了。
| 采集场景 | 典型节奏 | 建议IP时效 | 搭配要点 |
|---|---|---|---|
| 商品价格巡检 | 每5-10分钟一轮 | 3-5分钟 | 一轮内换1-2次,够用不浪费 |
| 资讯与内容聚合 | 全天连续抓取 | 1-3分钟 | 高频轮换,重点是供给要稳 |
| 门店与本地信息 | 按城市分批跑 | 5-10分钟 | 请求量不大,拼的是城市覆盖 |
| 语料与样本补充 | 长时间持续抽取 | 3-5分钟 + 高并发 | 看重池子够大、提取不卡顿 |
拿第一行举例算一下:一轮2000条请求、20并发、平均响应0.8秒,跑完一轮大概需要80秒左右。这种节奏配3分钟时效的IP就挺合适,一轮内换一次即可,既不浪费提取次数,也不会在一轮中途中途断掉。反过来,如果你的任务是每半小时才扫一次几十条,那用1分钟时效的IP纯属给自己加操作量。
三、三步实测:别信宣传页,让日志说话
参数页面写得再漂亮,不如自己跑一遍。我的习惯是先拿一两百条URL做小样本,把下面这三个数记下来,选型基本就定了。
第一步,跑到失效为止。写个小循环,同一个IP连续请求,记录第一次失败发生的时间点,这就是你手上这个IP的真实存活时长,往往比标称值短一点。
import time, requests
proxy = "http://用户名:密码@代理地址:端口"
urls = [...] # 你的目标页面列表,先放一两百条
ok = fail = 0
start = time.time()
for u in urls:
t0 = time.time()
try:
r = requests.get(u,
proxies={"http": proxy, "https": proxy},
timeout=8)
cost = time.time() - t0
if r.status_code == 200 and "验证" not in r.text:
ok += 1
print(f"成功 {cost:.2f}s")
else:
fail += 1
print(f"异常 状态码{r.status_code} {cost:.2f}s")
except Exception as e:
fail += 1
print(f"超时/连接失败 {time.time() - t0:.2f}s")
print(f"总耗时{time.time()-start:.1f}s 成功{ok} 失败{fail}")
第二步,看成功请求的耗时分部。你会发现绝大多数成功请求集中在0.5~1.5秒,然后有一小撮突然跳到6秒以上——那基本就是IP已经在边缘了,只是还没彻底断开。把这个「慢请求开始变多」的时间点往前推10秒,就是安全的换IP时点。
第三步,算单IP有效请求数。用成功次数除以消耗的IP个数,得到的就是一个IP平均能干多少活。这个数字比任何标称参数都实在,它直接决定你每天要提取多少次、成本落在什么水平。
四、并发、城市、协议:三个最容易翻车的细节
并发别一味往上堆。很多人以为线程开得越多越快,实际上并发超过IP的承载能力后,失败率是陡着上去的。经验做法是:先用10个并发跑通,稳定后再按20%的幅度往上加,一看到失败率明显抬头就退回去一档。
城市定位要看采集目标。抓全国站点的商品页,城市随便分;但抓本地生活类、门店类、区域资讯类的页面,返回内容会跟着IP所在城市变。这时候300+城市级精准定位就不是个花哨参数了,它直接决定你拿到的数据对不对。挑服务时一定要问清楚:能不能指定到具体城市,而不是只到省份。
协议要对得上。HTTP、HTTPS、SOCKS5 三种都要支持,否则你的爬虫框架换了、目标站点升级了,还得回头改配置。这一条在选型阶段容易被忽略,用起来最烦人。
五、我常用的那套配置,可以直接抄
把上面的思路收一收,落到具体组合大概是这样的:日常巡检类任务用3-5分钟时效的短效动态IP,并发控制在10-20之间;需要长期保持同一出口的任务(比如要连续登录状态、要维持会话的),配长效静态IP或固定IP代理,两类一起用,成本比全用静态低不少。
供给这块,我自己长期在用的是神龙HTTP。它家的短效动态IP池子有3000万+正规授权代理IP储备,背后是国内三大运营商正规授权,可用率标称99.9%,实际跑下来高峰时段也没怎么掉链子。真正让我省事的是两件事:一是API兼容主流爬虫编程语言,配上文档和示例代码,接进去基本是复制粘贴的活;二是个人中心有可视化的用量统计和实时监控,哪个时段失败率抬头、提取次数是不是花超了,一眼就能看出来,不用自己再写一套统计脚本。技术团队7×24小时在线,遇到异常响应也问得上人。
最后补一句:选型不是一次性的活。目标站点会调整风控强度,你的采集量也会变,建议每个月回看一次日志,把单IP有效请求数重新算一遍,时效档位该升就升、该降就降,别一套配置用一年。
常见问题
Q:短效动态IP到底多久换一次合适?
看你的单IP有效请求数,别看时间。先测出一个IP平均能跑多少次成功请求,再用「一轮总请求数 ÷ 单IP有效请求数」算出这一轮要几个IP,最后按这个数量安排提取节奏。刚开始可以保守一点,留20%余量,跑顺了再收紧。
Q:明明IP还没过期,请求怎么还是失败了?
常见三种原因。一是并发超过IP承载上限,自己把自己打挂了,降并发就能看出来;二是目标站点对同一IP的访问频次有单独限制,跟代理时效无关,得靠轮换更快的时效档位解决;三是协议或认证方式没配对,比如目标站只走HTTPS,你配的通道不支持,报错看起来就像IP失效。
Q:采集量大的时候,短效和长效该怎么搭?
按任务性质分。需要持续保持会话、状态不能断的任务走长效静态或固定IP代理,数量少但要求稳;开放页面的持续抓取走短效动态IP,成本低、轮换快。两类混着用,整体成本通常比全上静态低一截,稳定性又比全用短效好。
Q:怎么判断一个短效代理的可用率是不是真的?
别只看宣传数字,自己跑两小时的小样本。重点看三个:高峰时段的成功率有没有明显下滑、失败是集中在少数IP还是均匀分布、慢请求(超过5秒)占比多少。均匀分布的小比例失败属于正常波动;如果总是某几个IP反复出问题,那多半是纯度不够,该考虑换供给方了。






