上周有个做价格监测的朋友来问:买的代理IP一跑就报错,到底是IP坏了还是他代码写错了?他把拿到的60个IP一股脑全塞进任务里,跑了一晚上,成功率不到三成。后来我们抽了10个出来挨个测——4个端口根本连不上,3个能连上但请求头把本机IP带出去了,真正能用的只有3个。代码没毛病,问题出在拿到IP压根没验过。
这篇就把我们平时验IP的顺序拆开讲,三步、十几分钟,能挡掉大部分后续的坑。
先想清楚:一个IP"有效"是指哪几件事
很多人验IP只做一件事——能不能连上。能连上就入库,一上任务全崩。因为"有效"其实是三件事同时成立:能连上、身份干净、扛得住连续请求。少任何一条,业务都会以另一种方式翻车。
连不上,任务直接超时;能连上但把本机IP转发出去了,目标站一眼就看穿你;能连上、也高匿名,但撑不过20个请求就开始掉线,采集到一半数据断片,比直接失败更麻烦——你会拿着半截数据当完整结果用。
所以顺序上我是这么排的:先筛连通性(成本最低,几秒钟淘汰一批),再做匿名核验(看它诚不诚实),最后压稳定性(决定它值不值得放进正式任务)。前一步没过,后面不用测。
第一步:连通测试,看它10秒内能不能回话
别急着写脚本,一条 curl 就够了。关键是别拿目标站当靶子,先用一个回显类接口做体检,比如 httpbin 的 /ip 接口,它只会把你的出口IP吐回来,不会触发对端任何防护。这样既不打草惊蛇,也不给别人的服务添麻烦。
curl -x "http://账号:密码@1.2.3.4:8080" \
-m 10 \
-s -o /dev/null \
-w "状态码:%{http_code} 耗时:%{time_total}s\n" \
https://httpbin.org/ip
拆一下:-x 指定代理,格式是 协议://用户名:密码@IP:端口;-m 10 是十秒超时,超过就当它死了;-s -o /dev/null 是把返回内容丢掉,只看结果行;-w 定制输出。
判读标准很简单:状态码200、耗时2秒以内,算及格。超时、返回407(认证失败)、502/503,直接淘汰,不用往下测。耗时2到5秒的放观察区,5秒以上的即使能通也别用在时效性强的任务里。
还有个细节:单次通过不算数。同一个IP连测三次,三次都过才归为"稳定"。只过一次、两次超时的,标记成"抖动"——这种IP放进任务里,表现就是时好时坏,最难排查。用 Python 写基本是同一个逻辑:
import requests, time
proxy = "http://账号:密码@1.2.3.4:8080"
proxies = {"http": proxy, "https": proxy}
ok = 0
for i in range(3):
try:
t0 = time.time()
r = requests.get("https://httpbin.org/ip", proxies=proxies, timeout=10)
cost = round((time.time() - t0) * 1000)
print(f"第{i+1}次 状态码:{r.status_code} 耗时:{cost}ms 出口IP:{r.json().get('origin')}")
ok += 1
except Exception as e:
print(f"第{i+1}次 失败: {e}")
print("三次里通过", ok, "次")
跑完这一轮,你手里应该有三类名单:稳定、抖动、不可用。后面两步只针对"稳定"那批做。
第二步:匿名核验,看它是不是"诚实"的代理
这一步最容易被跳过,但它是区分好坏IP的分水岭。有些代理能连上、速度也快,可它把你的真实IP塞进了请求头里,目标站一查 X-Forwarded-For 就知道你是谁、从哪来。这种IP用起来,等于没挂代理。
做法是请求 httpbin 的 /headers 接口,把服务器收到的请求头原样要回来,逐项看有没有不该出现的东西:
r = requests.get("https://httpbin.org/headers", proxies=proxies, timeout=10)
headers = r.json()["headers"]
for k in ["X-Forwarded-For", "Via", "Proxy-Connection", "X-Real-Ip", "Forwarded"]:
print(f"{k:18} => {headers.get(k, '未出现')}")
三个关键字段,看到任何一个带上了你的公网IP,这个代理就不能算高匿:X-Forwarded-For 里出现真实IP —— 直接淘汰;Via 或 Proxy-Connection 有值 —— 说明它大方承认自己是代理,属于普通匿名;全部字段都干净、一个不出现 —— 才是高匿名。
顺手再做两件小事。一是拿本机直连的出口IP对比一下:
local_ip = requests.get("https://httpbin.org/ip", timeout=10).json()["origin"]
print("本机出口:", local_ip) # 必须和走代理拿到的 origin 完全不同
要是两个值一模一样,说明代理压根没生效,你以为在走代理,其实一直在裸奔。二是核对归属地:接口返回的出口IP,跟你在后台看到的城市级定位对不对得上。买的是300+城市级精准定位的服务,这一步就是顺手验货,对不上就说明调度给了你别的地区。
| 特征 | 高匿名代理 | 普通匿名代理 | 透明代理 |
|---|---|---|---|
| 目标站看到的来访IP | 代理IP | 代理IP | 你的真实IP |
| 请求头里的代理痕迹 | 无 | 有(Via 等) | 有 |
| 本机IP是否暴露 | 否 | 否 | 是 |
| 公开数据采集是否可用 | 推荐 | 可用但风险高 | 不建议 |
第三步:稳定性压测,看它能不能扛活
前两步过了,只能说明这个IP"此刻"是好的。但真实任务是连续跑几十分钟甚至几小时,中间掉一次,你的结果就缺一块。所以第三步要给它一点压力。
我的做法是连续发100次请求,中间不停,统计三个数:成功次数、平均耗时、最长连续超时次数。别用太急的频率,一秒一次就够了,你要测的是稳定性不是抗压极限。
import requests, time
succ, cost_list, max_timeout = 0, [], 0
cur_timeout = 0
for i in range(100):
try:
t0 = time.time()
r = requests.get("https://httpbin.org/ip", proxies=proxies, timeout=8)
if r.status_code == 200:
succ += 1
cost_list.append((time.time() - t0) * 1000)
cur_timeout = 0
else:
cur_timeout += 1
except Exception:
cur_timeout += 1
max_timeout = max(max_timeout, cur_timeout)
time.sleep(1)
print(f"成功率: {succ/100:.0%}")
print(f"平均耗时: {sum(cost_list)/max(len(cost_list),1):.0f}ms")
print(f"最长连续失败: {max_timeout} 次")
怎么判定?成功率95%以上、平均耗时2秒内、最长连续失败不超过2次,这个IP可以放进正式任务。成功率低于80%,或者出现连续5次以上失败,直接弃用——这种IP不是慢,是间歇性失联。
| 检测项 | 合格线 | 不合格怎么处理 |
|---|---|---|
| 连通性(连测3次) | 3次全通,单次耗时 < 2s | 淘汰或标为抖动,不进主任务 |
| 匿名等级 | 高匿名,请求头无本机IP | 立即淘汰,不留观察 |
| 连续100次成功率 | ≥ 95% | 降级为备用池 |
| 最长连续失败次数 | ≤ 2 次 | 弃用 |
把这三步做成日常动作,而不是一次性体检
短效动态IP的产品形态决定了:你今天验过的IP,明天大概率已经换了一批。所以真正省心的做法不是"验一次就完事",而是把检测逻辑写成一个定时任务,每次取出新IP后先自动跑一遍上面三步,只有全绿的才进正式队列。这个改动看起来多写了五十行代码,但能省掉你之后无数次半夜排查"为什么任务又断了"。
另外提醒一句:检测用的靶子接口和业务目标站要分开。测连通性、测匿名用回显接口就行;但真跑业务前,最好对目标站单独发两次请求试试,看看返回的页面结构是不是正常的——有些站点对代理来源会返回一个结构变形的页面,状态码还是200,你不看内容就发现不了。
如果不想自己从零搭这套检测流程,也可以把基础设施交给成熟的服务商。神龙HTTP 这边,代理IP资源是3000万+正规授权储备,可用率99.9%、IP纯度99.8%,三大运营商正规授权,HTTP/HTTPS/SOCKS5 都支持。对做验证这件事比较实用的有两点:一是个人中心有可视化的用量统计和实时监控,能直接看到哪些IP在异常、使用趋势怎么走,省掉一部分自建监控的工作;二是 API 兼容主流爬虫编程语言,提供文档和示例代码,把上面那套检测脚本挂进去就能跑,技术团队7×24小时在线,遇到连不通的情况可以直接找人核。
常见问题
Q:三步都通过的IP,过两天为什么又不行了?
正常现象。IP的可用性跟运营商线路状态、目标站的策略调整都有关系,短效动态IP本来就是消耗品。解决办法是把检测做成定时巡检,每次取IP后重跑一遍,而不是指望一次验证永久有效。这也是为什么不建议一口气把IP全塞进任务里——分批取、边验边用,坏了随时换。
Q:代理能连上,但目标网站还是弹验证码,是代理的问题吗?
先看匿名等级。如果请求头里带了本机IP或者 Via 字段,那基本可以确定是代理的问题,换成高匿名的就不会。如果匿名核验是干净的,那可能是访问频率太高,或者这个IP段之前被这个站点标记过,换个地区的IP再试一次通常就好了。
Q:免费公开代理和付费代理,检测方法一样吗?
方法一样,但预期不一样。免费代理里高匿名的比例极低,很多是透明代理甚至反向的坑,跑完三步大概率被淘汰一大半,而且可能夹带内容篡改,拿回来的数据你都不敢信。付费代理的价值就在纯度上,检测的目的是筛掉个别波动节点,而不是在一堆废品里捡漏。
Q:要验的IP有几百个,手动一个个跑太累,有没有省事的办法?
把上面的三段脚本包成一个函数,用线程池并发跑,几百个IP几分钟就出结果。要注意的是并发别开太猛,每个IP之间留一点间隔,否则测出来的失败率会虚高,把好IP误杀了。如果嫌维护成本高,也可以用服务商提供的接口直接拿到已经过筛选的IP,再对你业务最关心的那一项——比如目标站的实际响应——做抽样复核就够了。






