先说个真实翻车现场
上个月帮朋友看一个脚本,跑到第 4000 多条的时候,抓回来的全是空页面。他第一反应是目标站把它封了,加了一堆 header、换了 UA,折腾一晚上。最后我让他把手里那批 IP 拉出来逐个请求一下——一半以上的 IP 在当天早上就已经失效了。
他的脚本里没有一行检测代码。提取到什么 IP 就直接扔进池子里用,通不通全凭运气。这其实是很多人写爬虫时的通病:宁愿花两小时调反爬策略,也不愿意花十分钟写个检测函数。
这篇就把这件事讲透——用 Python 怎么判断一个代理 IP 到底能不能用,三步走完,再补上出错时该怎么处理。代码都是能直接粘进项目里跑的,不需要装什么冷门库。
先想明白:你要验的是哪三件事
"这个代理能不能用"听着像一个是非题,其实里面包含了三层意思。很多人只做了第一层,所以检测显示全部"可用",真跑起来还是一片红。
第一层,能不能连上——线路通不通,端口开没开。第二层,连上之后是不是真的走了代理——有时候请求成功了,但出口还是你自己的 IP,等于白用。第三层,能不能稳定用——现在通,五秒后断不断,延迟是不是高到不能忍。
下面三步就对应这三层,顺序别乱,一层过不了就不用往下测了,省时间。
第一步:发一次请求,先探个活
最省事的做法是用 requests 打一个会返回出口 IP 的接口。用一个普通 GET 请求,把 proxies 参数挂上就行。注意两个细节:超时一定要设,而且要分开设连接超时和读取超时;异常要分类捕获,别一把 except 全兜住,否则排查问题时你连错在哪都不知道。
import requests
# 这个接口会把你请求时的出口 IP 原样返回
CHECK_URL = "http://你的IP回显接口/ip"
def quick_check(proxy, timeout=(3, 5)):
"""proxy 形如 "1.2.3.4:8888",返回 (是否可用, 出口IP或错误原因)"""
proxies = {"http": f"http://{proxy}", "https": f"http://{proxy}"}
try:
resp = requests.get(CHECK_URL, proxies=proxies, timeout=timeout)
if resp.status_code == 200:
return True, resp.text.strip()
return False, f"HTTP {resp.status_code}"
except requests.exceptions.ProxyError:
return False, "代理连不上"
except requests.exceptions.ConnectTimeout:
return False, "连接超时"
except requests.exceptions.ReadTimeout:
return False, "读取超时"
except Exception as e:
return False, type(e).__name__
timeout=(3, 5) 的意思是:连接最多等 3 秒,等服务器吐数据最多等 5 秒。为什么区分开?因为代理不通和代理通但目标站慢,是两码事。连接超时基本等于这个 IP 有问题,读取超时可能是对方站点的锅,处理方式完全不同。
还有个小提醒:检测用 HEAD 请求省流量,但对某些代理线路并不友好,有些节点会把 HEAD 直接 405 掉,误判成不可用。老老实实用 GET,一次就几十字节的事。
第二步:对一下出口 IP,别用了个寂寞
第一步返回 200 只能说明"有东西回应你",不能说明流量走了代理。透明代理、配置写错、代理服务端把你本机 IP 放行直连,这几种情况都会让请求成功,但出口 IP 还是你自己的。
办法很笨但非常有效:先不走代理请求一次,拿到本机公网 IP;再带着代理请求一次,比一下两个 IP。
def check_identity(proxy):
direct_ip = requests.get(CHECK_URL, timeout=5).text.strip() # 不走代理
ok, info = quick_check(proxy)
if not ok:
return False, "探活失败:" + info
if info == direct_ip:
return False, "代理没生效,出口还是本机IP"
return True, info
顺手还能再判断一层:如果响应头里出现了 X-Forwarded-For 或者 Via,说明这条线路把你的真实 IP 写进了请求头,属于透明代理。做公开数据采集时这种线路容易被目标站识别,建议直接丢掉。
还有一个容易忽略的点——IP 的归属地要和你预期的一致。你要拿某地区的市场数据,结果出口 IP 落在另一个城市,数据本身就不对了。所以检测的时候顺便把归属地也存下来,后面调度时按地区分配,能省很多事。
第三步:多采几次,看它稳不稳
单次通过不能证明什么。有些 IP 就是"见面三秒"型的,第一个请求飞快,第二个直接挂掉。我的做法是隔半秒发一次,连测 5 次,记录成功次数和平均耗时。
import time
def sample_check(proxy, times=5, gap=0.5):
costs, fails = [], 0
for _ in range(times):
start = time.time()
ok, _ = quick_check(proxy)
if ok:
costs.append(round((time.time() - start) * 1000))
else:
fails += 1
time.sleep(gap)
avg = int(sum(costs) / len(costs)) if costs else 0
return {"proxy": proxy, "success": times - fails, "avg_ms": avg}
拿到结果之后按什么标准判定?我一般用下面这套线,跑了两年多还算靠谱:
| 指标 | 及格线 | 不达标说明什么 |
|---|---|---|
| 5 次成功次数 | ≥ 4 次 | 线路抖动大,采集时会频繁中断重试 |
| 平均耗时 | ≤ 800ms | 超过 1.5 秒说明链路绕远或节点负载高 |
| 出口 IP | 与本机 IP 不同 | 相同说明代理根本没生效 |
| 响应头 | 无 X-Forwarded-For | 有则是透明代理,容易被识别 |
低于及格线的 IP 不要删掉,扔进一个"观察池",隔十分钟再测一次。有些短效 IP 只是当前这个节点繁忙,过一会儿自己就好了,直接丢掉挺浪费。
几百个 IP 怎么测才不磨叽
串行 for 循环测 500 个 IP,按每个 3 秒算,得等到天亮。用线程池把这活分出去,20 到 50 个并发是比较稳的区间,再高容易把本机网络和检测接口都压出问题。
from concurrent.futures import ThreadPoolExecutor
def batch_check(proxy_list, workers=30):
with ThreadPoolExecutor(max_workers=workers) as pool:
results = list(pool.map(quick_check, proxy_list))
good = [p for p, (ok, _) in zip(proxy_list, results) if ok]
print(f"共 {len(proxy_list)} 个,可用 {len(good)} 个,通过率 {len(good)/len(proxy_list):.1%}")
return good
实际跑的时候我还习惯给每个 IP 加个"失败计数",计数到 3 就暂时拉黑,过半小时自动放回池子。这个小机制能让你的可用率曲线平稳很多,不会出现某段时间整批 IP 同时抽风的情况。
异常处理:把报错分类,别一律重试
新手最常写的代码是 except: continue,认为重试就能解决一切。实际上代理报错的原因差别很大,有的重试有用,有的重试一万次也没用,反而把时间全浪费了。
| 报错或现象 | 通常是什么原因 | 该怎么做 |
|---|---|---|
| ProxyError | 端口不通、IP 已过期、本机 IP 没加进白名单 | 换一个新 IP,同时确认本机 IP 是否在授权列表里 |
| ConnectTimeout | 节点负载高、网络绕路 | 连接超时压到 3 秒,连续两次失败直接标记不可用 |
| 407 认证失败 | 账号密码写错,或白名单和账密混用 | 一个账号只用一种认证方式,别来回切 |
| SSLError | 线路不支持 HTTPS 隧道 | 换支持 HTTP/HTTPS/SOCKS5 的线路 |
| 502 / 504 | 代理上游节点临时异常 | 标记一次失败,隔 30 秒再试一次,别原地死磕 |
| 200 但返回本机 IP | 代理未生效或透明代理 | 直接剔除,不要浪费后续请求 |
另外建议给重试加个退避,第一次等 1 秒,第二次等 3 秒,第三次直接放弃。你会发现大部分失败其实是"立刻重试就失败、等几秒就好了",退避比堆重试次数有效得多。
懒得自己维护?可以直接借力
上面这套代码解决的是"我手里有 IP,怎么判断好坏"。但如果你每天的采集量上去了,会发现真正耗精力的不是检测,而是 IP 本身的质量和补充速度。
神龙HTTP 在这方面省心的地方在于:IP 资源来自国内三大运营商正规授权,储备量 3000 万+,可用率 99.9%、IP 纯度 99.8%,还支持 300+ 城市级精准定位。也就是说你拿到手的一批 IP,通过率高,"用完就废"的比例低,上面那套检测逻辑跑下来大多是直接通过的。
集成上也不太折腾。它的 API 兼容主流爬虫编程语言,官方提供文档和示例代码,把提取接口套进你现有的请求函数里,扩成一个小函数就完事了。另外个人中心有可视化的用量统计和实时监控,能看趋势、识别异常调用,什么时候用超了、哪段时间失败率突然升高,一眼就能看出来,比自己打日志慢慢翻要快。
产品线上短效动态 IP、长效静态 IP、固定 IP 代理都有,短效适合大面积高频轮换的场景,长效和固定适合需要保持会话连贯的任务,按自己的采集节奏选就行。技术团队是 7×24 小时在的,遇到认证或者连接异常,问一句比自己瞎试半天强。
常见问题
Q:检测用的目标地址选什么比较好?
优先选会明确回显出口 IP 的接口,它能把"通不通"和"是不是真的走了代理"这两个问题一次答完。别拿你要采集的目标站首页去当检测地址,一方面是请求量大容易触发限制,另一方面是目标站可能有反爬策略,会把好 IP 判成坏 IP。
Q:检测全部通过,正式跑起来还是一堆失败,为什么?
大概率不是 IP 的问题。常见原因有三种:并发开太高被目标站限流;请求头里的信息太少,一眼就被认出是脚本;或者检测接口和目标站走的网络路径不同,一个通一个不通。先降并发到原来的三分之一试一次,再补上正常的 UA 和 Referer,多数情况下能解决。
Q:几百上千个 IP 要验,怎么提速?
用线程池并发,workers 控制在 20 到 50 之间,同时把连接超时压到 3 秒以内。另外不要在检测阶段就做全量采样,先用单次探活把明显失效的筛掉,剩下的再进入 5 次采样环节,整体耗时会少一半以上。
Q:短效 IP 和长效 IP,哪个更适合我的任务?
看你的任务对"连续性"的要求。需要频繁换不同 IP、覆盖面广的采集任务,短效动态更合适,成本也低;需要维持登录态、保持同一会话往下走流程的任务,就得用长效静态或者固定 IP,否则中途换了 IP 会话就断了。两种都备一点,按任务类型分池调度,是比较好用的组合。





