凌晨一点多,脚本跑到第三千条,返回的 403 突然多起来。你翻日志,请求本身没写错,是出口 IP 被对方记住了。很多人的第一反应是上网搜几个免费代理填进去,跑十分钟又卡住。
临时凑几个 IP 这件事,本来就撑不了多久。真正能稳住的是两件事:一个能稳定吐 IP 的接口,一个自己维护的小池子。下面按顺序讲,跟着敲一遍基本就能跑起来。
先确认你要的是哪一类 IP
动手写代码之前,先花两分钟想清楚用途。代理 IP 不是一种东西,按存活时间大致分三类,选错了代码写得再漂亮也白搭。
| 类型 | 存活时间 | 适合干什么 | 取用节奏 |
|---|---|---|---|
| 短效动态IP | 几分钟到半小时 | 公开数据采集、市场研究 | 每次取用都是新出口,用完就丢 |
| 长效静态IP | 几小时到几天 | 需要连续会话的任务 | 一个 IP 反复用,注意别太集中 |
| 固定IP代理 | 长期不变 | 接口白名单、后台登录 | 当基础设施用,不参与轮换 |
如果你做的是公开数据采集这类任务,短效动态 IP 是最省心的:不需要自己维护存活时间,过期了重新取就行。要是任务里带登录态或者要连着翻很多页,那就得靠长效静态 IP,因为中途换个出口很可能被打回登录页。
调接口拿 IP:从一条链接到一个函数
大多服务商给你的提取接口,本质就是一条带参数的 URL。请求它,返回一串 IP,剩下的活都是你自己在这串数据上做文章。
import requests
API = "你的提取接口地址"
def fetch_ips(num=20):
"""从提取接口拿一批 IP,返回 ['1.2.3.4:8080', ...]"""
resp = requests.get(API, params={"num": num, "format": "txt"}, timeout=8)
resp.raise_for_status()
return [line.strip() for line in resp.text.splitlines() if ":" in line]
print(fetch_ips(5))
这里有几个细节值得多说两句。timeout 一定要加,接口偶尔抽风是常事,不设超时能让你的主流程挂在那里一动不动。另外 密钥别硬编码在文件里,本地调试无所谓,一旦代码上传到仓库就麻烦了,扔进环境变量读取更稳妥。
有些接口默认返回的是 JSON,那就换个解析方式,逻辑一样:
data = resp.json()
ips = [f"{item['ip']}:{item['port']}" for item in data["data"]]
先拿一条返回结果打印出来看看长什么样,比你翻十分钟文档快得多。字段名、分隔符、有没有多余的空行,一眼就清楚。
拿到的 IP 怎么真正用出去
拿到 1.2.3.4:8080 这样的字符串还不算完,得变成 requests 认识的格式:
def to_proxies(ip):
return {
"http": f"http://{ip}",
"https": f"http://{ip}",
}
r = requests.get("目标页面地址", proxies=to_proxies(ip), timeout=10)
print(r.status_code)
http 和 https 两个都要写。只写一个的话,另一种协议的请求会悄悄走本机直连,你会以为代理生效了,其实没有。这个小坑踩过一次就很难忘。
还有个容易被忽略的点:如果你的任务需要保持会话(比如先登录再翻页),要用 requests.Session(),并且把 proxies 挂到 session 上,而不是每次请求单独传。
本地池:不用一上来就写框架
很多教程一讲 IP 池就搬出 Redis、消息队列、调度服务,看完人已经不想动手了。真实场景里,一个几十行的类就够用,先跑起来,不够再扩。
import time, threading
class IPPool:
def __init__(self, size=20, ttl=150):
self.size = size # 池子目标容量
self.ttl = ttl # 单个 IP 存活秒数
self._items = [] # [(ip, 放入时间)]
self._lock = threading.Lock()
def _refill(self):
need = self.size - len(self._items)
if need <= 0:
return
now = time.time()
for ip in fetch_ips(need):
self._items.append((ip, now))
def get(self):
with self._lock:
now = time.time()
# 1. 清掉过期的
self._items = [(ip, t) for ip, t in self._items if now - t < self.ttl]
# 2. 不够就补
self._refill()
# 3. 取一个
if not self._items:
return None
ip, _ = self._items.pop(0)
return ip
用的时候:
pool = IPPool(size=20, ttl=150)
for url in task_urls:
ip = pool.get()
if not ip:
time.sleep(3) # 接口暂时没货,等一会儿再来
continue
try:
r = requests.get(url, proxies=to_proxies(ip), timeout=10)
except requests.RequestException:
continue # 坏 IP 直接跳过,不要重试到天荒地老
这个池子的思路很简单:取的时候顺手清一次过期数据,发现数量不够就补货。它不追求多优雅,但足够撑起一个日跑几万条的任务。真到了更大的规模,把 _items 换成 Redis 里的有序集合,逻辑一行都不用改。
池子跑起来后,三个最容易翻车的地方
第一,只取不验。接口给你的 IP 理论上都是活的,但网络状况随时会变。取出来直接怼上去,失败率会明显偏高。可以在补货时顺手做一个极轻量的校验,比如请求一个内容很小的固定页面,看状态码是否正常,把不通的先剔掉。这一步多花的几百毫秒,能省下后面大量的重试。
第二,出错的 IP 反复用。上面代码里 except 之后就 continue 了,其实还可以再进一步:给失效 IP 记个记录,让它进入冷却,短时间内不再被取出来。一个失败的 IP 你在同一个任务里撞三次,基本可以确定是它的问题。
第三,多线程时抢同一个 IP。单线程下没问题,一旦开了线程池,不加锁就会出现几个线程同时拿到同一个出口、然后一起被封的情况。上面那个 self._lock 就是干这个用的,别省。
服务商怎么挑,顺带说说神龙HTTP
池子写得再好,源头不给力也没用。挑的时候重点看三个东西:IP 是不是正规来源、可用率报的是多少、提取接口和文档写不写得清楚。
拿神龙HTTP举例,它的 IP 来自国内三大运营商正规授权,储备量在 3000 万以上,可用率标称 99.9%,城市级定位覆盖 300 多个城市——如果你做的市场研究需要按地区取样,这个粒度是有用的。产品线也分得清楚:短效动态 IP、长效静态 IP、固定 IP 代理,本文上面讲的三类需求都能对上。
工程上比较省心的是它的 API 兼容主流爬虫编程语言,文档里带示例代码,本文这种 requests.get 的写法基本可以直接套。另外个人中心有可视化的用量统计和实时监控,池子跑一段时间后回头看看调用曲线,很容易发现哪里在超额消耗、哪些时段失败率偏高。遇到拿不准的问题,技术团队 7×24 小时在线,这点对半夜跑任务的人挺重要。
常见问题
Q:接口偶尔返回空,是接口坏了吗?
多数时候不是。可能是一时间取的人多,或者你的参数里数量填得太大。把 num 调小一点、加个 3 到 5 秒的等待再试,通常就正常了。代码里把返回空当成一种正常情况处理,比在那边反复重试要稳。
Q:池子里的 IP 用一次就失效,正常吗?
短效动态 IP 本来就是这个特性,存活时间可能就是几分钟,用完换新的没问题。如果你的任务一次请求要跑很久,那就该换长效静态 IP,或者把单次任务拆小。
Q:网上那些免费代理能用吗?
调试一下 proxies 参数怎么写可以,正式任务不建议。免费代理的可用率通常很低,而且你不知道中间那台机器上还跑着什么,安全和稳定性都没保障,最后算下来省的那点成本全搭在排查问题上了。
Q:池子应该开多大?
看你的并发数。一个粗略的经验:池子容量取并发线程数的 2 到 3 倍,TTL 设成单次请求耗时的 5 倍左右。比如 10 个线程并发、单次请求平均 3 秒,那把 size 设 20 到 30、ttl 设 150 秒就挺合适。跑起来看日志再微调,比一开始纠结参数有用得多。






