先讲个真事:一个IP跑完300页就废了
去年帮朋友处理一个商品目录的采集任务,目标站点大概两万多个页面。第一版脚本写得挺顺,单线程、单IP、每页 sleep 1 秒,跑到第 300 页左右开始返回 403。当时还以为是请求头没伪装好,换了 UA、加了 Referer,能撑到 400 页,然后继续 403。折腾到下午才想明白:问题不在请求头,在于同一个IP一天之内敲了人家几百次门,人家把你认出来了。
后来加了代理池,同一套解析逻辑一行没改,任务跑完了。所以这篇文章不聊玄学,就聊怎么在 Python 里把"自动更换代理IP"这件事做扎实——包括代理池怎么存、什么时机该换、并发的时候怎么不互相踩脚。
代理池没那么神秘:一个列表加一本黑名单
很多人一想到"代理池"就觉得要上 Redis、要写调度服务。其实一个几十行的类就能跑起来,核心就两个东西:一个装IP的列表,和一个记坏IP的集合。列表空了或者坏IP太多了,就去接口再拉一批。
import random
import requests
class ProxyPool:
def __init__(self, api):
self.api = api # 提取接口,个人中心里能看到
self.pool = []
self.bad = set()
def refill(self, num=20):
r = requests.get(self.api, params={"num": num}, timeout=8)
r.raise_for_status()
# 接口一般一行一个,ip:port 格式
self.pool = [line.strip() for line in r.text.splitlines() if line.strip()]
self.bad.clear()
return len(self.pool)
def pick(self):
alive = [p for p in self.pool if p not in self.bad]
if not alive:
self.refill()
alive = self.pool
return random.choice(alive)
def mark_dead(self, proxy):
self.bad.add(proxy)
用法也很直白:pool.pick() 拿一个,请求失败就 pool.mark_dead()。黑名单攒到一定量,下一次 pick 会自动触发 refill。整套逻辑没有定时器,没有后台进程,跑在脚本里就行。
什么时候该换IP,比你换得多勤更重要
新手最容易犯的错是"每个请求都换"。这么做有两个后果:一是提取接口被你自己打爆,二是目标站点看到的是几十个陌生IP同时访问同一个页面,风控模型反而更兴奋。真正合理的做法是按信号换,而不是按次数换。
| 触发方式 | 适合什么任务 | 换太勤的代价 | 换太慢的代价 |
|---|---|---|---|
| 每 N 个请求换一次(N≈50) | 列表页翻页、目录遍历 | 提取接口压力大,IP质量参差 | 单IP累计次数过高,中期开始返403 |
| 连续 2 次 4xx 就换 | 带登录态或参数校验的接口 | 偶发错误被误判,频繁切池 | 坏IP反复重试,白白浪费时间 |
| 按时间片换(如每 30 秒) | 长时间挂着的增量抓取 | 大量IP还没用就被丢弃 | 时间边界和站点限流窗口对不上 |
我自己的习惯是两条同时开:请求计数到 50 换一次,加上连续错误 2 次立刻换。前者保证长跑不塌,后者保证遇到硬拦能马上脱身。这两个阈值没有标准答案,跑一轮看看日志里 403 出现的密度,再调就行。
一个能直接抄的轮换采集函数
把上面的池子和重试逻辑拼起来,就是一个带自动换IP的采集函数。关键点是每次重试都要重新 pick,别把同一个代理对象传进循环里——很多人就是这里写错,看着有重试,其实三次用的都是同一个IP。
import requests
UA = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/120.0 Safari/537.36"
def fetch(url, pool, tries=3):
for i in range(tries):
proxy = pool.pick() # 每次重试都换一条
proxies = {"http": f"http://{proxy}", "https": f"http://{proxy}"}
try:
r = requests.get(
url,
proxies=proxies,
headers={"User-Agent": UA},
timeout=(5, 12) # 连接5秒,读取12秒
)
if r.status_code == 200:
return r.text
if r.status_code in (403, 429, 407):
pool.mark_dead(proxy)
except requests.RequestException:
pool.mark_dead(proxy) # 超时、连接重置都算坏IP
return None # 三次都失败,交给上层处理
注意异常分支里的处理:ConnectionError、ProxyError、ReadTimeout 在 requests 里都属于 RequestException 的子类,一个 except 全兜住,标记坏IP后再来一轮。这比你在外面套 for 循环干净得多。
另外,timeout 一定写成元组。只写一个数字的时候,连接和读取共用一个超时值,连接慢的代理会把读取时间也吃掉,报错信息还看不出是哪一段卡住。
并发一上来,共用同一个池子就出事
单线程跑得好好的代码,扔进 ThreadPoolExecutor 里就出问题。表现是:明明池子里还有 15 个可用IP,多个线程却同时判定"没IP了",一起冲去调提取接口,接口被限流,然后整片任务集体失败。
解决办法不复杂,给共享状态加把锁就行。或者更省事的做法——每个线程一个自己的小池子,各自拉各自用,互不干扰。代价是IP利用率低一点,但胜在不会出现互相拖累。
import threading
class SafePool(ProxyPool):
def __init__(self, api):
super().__init__(api)
self.lock = threading.Lock()
def pick_safe(self):
with self.lock:
return self.pick()
def kill_safe(self, proxy):
with self.lock:
self.mark_dead(proxy)
线程数也别一上来就开 200。实测下来,50 个线程配 2 秒平均响应,单机一天跑十万级页面是够的;再往上加,瓶颈往往先出在你自己的带宽或者提取接口的调用频率上,而不是目标站点。
IP从哪来:聊聊神龙HTTP
上面整套逻辑能跑起来的前提,是有一个稳定的提取接口在背后供货。这块我用的是神龙HTTP。
比较省心的是它的资源底子——3000万+正规授权代理IP储备,可用率99.9%,IP纯度99.8%,国内三大运营商正规授权,支持 HTTP / HTTPS / SOCKS5 三种协议。翻译成采集中的实际体验:脚本里 pool.refill() 调用之后拿回来的那批IP,能用的比例高,不需要你自己再写一层批量验活把一半时间花在筛坏IP上。
另一件对多任务场景有用的事是300+城市级精准定位。有些站点的返回内容会跟着访问地变化,这时候能指定城市提取就很有价值,同一套解析逻辑不用改,靠接口参数切换地区就行。
接入层面,它提供 API 接口,兼容主流爬虫编程语言,文档和示例代码都给得比较全,像本文这种 requests 直接调的写法照抄就能通。跑起来之后,个人中心里的可视化用量统计和实时监控挺实用——哪天突然发现消耗曲线抬头,点进去看看是哪段任务在异常重试,比翻日志快。
几个经常被问到的细节
再补三个实操里高频出现的小问题。第一个是用前验活要不要做:如果你提取的接口本身已经筛过可用性,脚本里就不用每条都验,白白多一次请求;如果是自己攒的老IP,那验活很值得,用一个轻量的 HEAD 请求打目标站首页,2 秒内没响应直接丢掉。
第二个是日志要记什么:至少记下每次请求用的代理、返回码、耗时。出问题的时候,你能一眼看出是某个IP段整体不可用,还是目标站点在按频率拦——这两种情况处理方式完全不同。
第三个是任务断了怎么续:把已完成页面的标识落盘,重跑时跳过。代理轮换本身做得再稳,也架不住脚本自己崩,断点续跑比什么优化都管用。
常见问题
Q:换了IP还是返回 403,是不是代理没生效?
先确认代理真的用上了——打印 r.request.headers 看不到代理,但可以拿一个回显IP的接口测一下,看看返回的地址是不是换过的。如果确实换了还是 403,那多半是请求频率、Cookie 或者参数签名的问题,不是IP的事,这时候继续加代理只会让情况更糟。
Q:每个请求都换一次IP,是不是最安全?
不是。换得太勤有两个副作用:提取接口调用频率飙升,容易被限流;同一批页面短期内由几十个不同IP访问,目标站点的风控反而更容易识别出异常。建议先用"每50次一换 + 连续2次错误立刻换"的组合,跑一轮看日志再调。
Q:提取回来一批IP,有一半连不上怎么办?
先别急着在代码里堆验活逻辑,看看提取参数是不是漏了。多数提取接口支持按协议、按地区筛选,把参数配好,拿回来的质量会明显不一样。如果确实是高并发下连接超时,把 timeout 从 (5, 12) 放宽到 (8, 20) 试试,很多"坏IP"其实是慢IP。
Q:并发线程开多少比较合适?
从 20 起步,观察成功率曲线。成功率高就往 50 加,掉到 90% 以下就说明到瓶颈了——这个瓶颈可能在目标站点的限流阈值,也可能在你本机的带宽。别一味加线程,加到最后往往是错误重试把提取额度吃光,任务反而更慢。






