先分清三件事:像不像人、从哪来、出错怎么办
同一个页面,昨天跑得好好的,今天返回 403;换了个代理,又卡在连接超时;好不容易通了,凌晨两点任务悄悄停掉,日志里全是 ProxyError。这类情况在采集项目里几乎每周都会碰到。
大多数人第一反应是"代理不行",但实际排查下来,问题常常分散在三个层面:请求头决定你像不像一个正常浏览器,代理IP决定这次请求从哪儿来,重试机制决定出岔子之后怎么补救。这三层是能分开测的——抓两三页固定页面,先不挂代理跑一次,再挂代理跑一次,基本就能定位到是哪一层在拖后腿。下面顺着这个顺序往下讲,每一步都给能直接跑的代码。
请求头:别照抄模板,按目标站配一套"人味"参数
只写一个 User-Agent 就发请求,在很多站点上等于自己举手报名。稍微严格一点的服务端会看这几样东西对不对得上:UA 是不是主流浏览器、有没有带 Referer(从哪儿点进来的)、语言偏好是不是中文、能不能接受 gzip 压缩、连接是不是复用的。
建议把 UA、Accept、Accept-Language、Accept-Encoding、Referer 这五项当固定组合配上,UA 用近一两年主流 Chrome 的串,别用那些一眼假的旧版本。Referer 填目标站自己的列表页地址,比空着或填搜索引擎地址自然得多。
import requests
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Language": "zh-CN,zh;q=0.9",
"Accept-Encoding": "gzip, deflate, br",
"Referer": "https://www.example.com/list?page=1",
"Connection": "keep-alive",
}
session = requests.Session()
session.headers.update(headers)
r = session.get("https://www.example.com/list?page=1", timeout=(5, 15))
print(r.status_code, len(r.text))
用 Session 而不是每次 requests.get,好处是 Cookie 会自动带上、TCP 连接会复用。但有个坑要提醒:同一个 Session 不要混着挂不同地区的代理。会话是跟 IP 绑的,一会儿北京一会儿广州,Cookie 对不上,服务端很容易判定异常,直接给你跳验证页。
代理写进代码:那两个键和认证格式,坑最多
proxies 是个字典,但很多人只写了 http 一个键,结果请求还是走本地网络出去——因为目标站是 https 的,取的是 https 那个键。两个键都填上,指向同一条代理,这是最省心的写法。带账号密码的代理,认证信息拼在协议后面。
proxy = "http://用户名:密码@代理主机:端口"
proxies = {
"http": proxy,
"https": proxy,
}
r = session.get("https://www.example.com/detail/1001", proxies=proxies, timeout=(5, 15))
异步场景用 httpx 或者 aiohttp,思路一样,只是参数名不同,httpx 的 proxies 是单值字符串,aiohttp 是 proxy=。不管用哪个库,timeout 一定要显式写,而且要拆成连接超时和读取超时两个数(比如 5 秒和 15 秒)。默认不设或者设成一个大数字,一条坏代理就能把整个协程卡住几分钟。
还有一个容易忽略的细节:调试阶段把代理地址打印出来,确认真的生效了。最直接的验证方式是请求一个返回出口 IP 的接口,比对一下前后是否一致——这比看日志猜要快得多。
失败重试:先分类,再谈次数和间隔
"出错就重试三次"这种写法看起来很稳,其实容易把问题放大。403 你原地重试三次,等于告诉对方"我在硬闯";429 你立刻重试,只会换来更长的封禁窗口。真正好用的重试逻辑是先分类,再决定动作。
| 异常类型 | 是否重试 | 建议动作 |
|---|---|---|
| 代理连接失败(ProxyError) | 是 | 换一条IP,间隔 1-2 秒 |
| 连接超时 / 读取超时 | 是 | 换IP或重发,退避 2-4 秒 |
| 429 请求过多 | 是 | 指数退避,同IP最多再试一次 |
| 403 拒绝访问 | 是 | 直接换地区IP,不原地重试 |
| 500 / 502 / 503 | 是 | 退避后重试,次数不超过 3 次 |
| 404 / 410 | 否 | 记录后跳过,重试无意义 |
间隔时间用指数退避加一点随机抖动,避免所有请求在同一秒集中打过去。下面这段是我平时用的骨架,改改就能用:
import random
import time
import requests
from requests.exceptions import ProxyError, ConnectTimeout, ReadTimeout, HTTPError
RETRY_STATUS = {429, 500, 502, 503, 504}
def fetch(url, proxies, max_try=5):
for i in range(max_try):
try:
r = requests.get(url, headers=headers, proxies=proxies, timeout=(5, 15))
if r.status_code in RETRY_STATUS:
raise HTTPError(f"bad status {r.status_code}")
if r.status_code == 403:
proxies = get_new_proxy() # 换个地区的IP
continue
return r
except (ProxyError, ConnectTimeout, ReadTimeout, HTTPError) as e:
wait = min(2 ** i + random.uniform(0, 0.6), 20)
time.sleep(wait)
proxies = get_new_proxy() # 获取新的IP再试
return None
def get_new_proxy():
return {"http": PROXY, "https": PROXY} # 实际项目从代理池取
几个细节值得加进去:单个任务连续失败超过 5 次就先停下来,多半是目标站改了规则或者代理段被标记,继续跑只是浪费时间;每次请求记一行日志,包含时间、状态码、耗时、用的是哪个城市IP,事后回溯特别有用;成功率和失败原因按小时统计一下,异常曲线一抬头就能提前处理。
代理池的日常维护:先探活,再控节奏
代理不是拿到手就能用。从接口取回一条IP之后,先做一次轻量校验:请求目标站首页或者一个轻量接口,2 到 3 秒内返回 200 才算可用,其他直接丢弃。这一步能把大量无效IP挡在外面,省得正式任务里反复超时。
并发和节奏也要收着点。并发数不是越高越好,同一个目标站的请求间隔、每秒请求数要有上限,协程池开得太大反而触发限流。对于有时效的短效IP,记得在有效期前提前续期,别等任务跑到一半IP过期才换。做规模大一些的采集任务,这三件事——探活、限速、续期——基本决定了整体成功率。
工具层面可以省不少事。神龙HTTP 提供短效动态IP、长效静态IP和固定IP代理几条产品线,3000万+正规授权代理IP储备,可用率 99.9%,支持 300+ 城市级精准定位,需要特定地区的出口时就按城市取。接口兼容主流爬虫编程语言,文档和示例代码都给了,接进现有的采集框架一般半天能跑通;个人中心里有可视化的用量统计和实时监控,异常和趋势能直接看到,排查时比翻日志快。技术团队 7×24 小时在线,遇到连不上的情况可以拉着一起看。
常见问题
Q:请求头都配齐了,为什么还是被返回 403?
先分三步查。第一步确认代理是不是真的生效了,比对出口 IP 有没有变化;第二步看这个IP段是不是已经被目标站标记,换一个城市再试;第三步看请求节奏,短时间内对同一路径请求太多,服务端会先拦再判断。这三步走完,大部分 403 都能定位到原因。
Q:代理连不上和请求超时是一回事吗?
不是。连不上是握手阶段就失败了,比如代理地址写错、端口不对、认证信息格式不对、IP 已过期,这类错误换一条IP通常立刻就好。超时是连上了但对方迟迟不返回,可能是目标站响应慢,也可能是这条线路质量差。处理方式不一样:连不上就换IP,超时可以先重发一次,还不行再换。
Q:重试次数设几次比较合适?
一般 3 到 5 次够用了。间隔用 1、2、4、8 秒这种指数退避,封顶 20 秒左右,别无限翻倍。更重要的是加个熔断:某个任务连续失败超过 5 次就暂停,人工看一眼日志再决定要不要继续,这比让它自己空转半小时强得多。
Q:短效动态IP和长效静态IP该怎么选?
看你的场景需不需要"记住自己"。如果采的是公开列表页、详情页这类彼此独立的页面,短效动态IP换得勤,成本低也更安全;如果流程里要登录、要保持会话、要连续翻很多页,用长效静态IP或者固定IP代理更稳,不至于翻到第三页会话就丢了。实际项目里两种混用也很常见。






