前几天帮人看一个比价脚本,前面两百条请求跑得好好的,第两百零一条开始就成片返回 403,偶尔夹杂几个空 JSON。打开日志一看,全程一个出口IP没换过——对方站点早就把它当成异常流量了。这类问题十有八九不是代码逻辑写错,而是代理没配、或者配了但没配对地方。
这篇就把 requests 里设置代理IP的两种主要写法讲透:单次请求临时带代理,和用 Session 会话复用长期挂代理。照着敲一遍,基本就能上手。
一、单次请求:把 proxies 塞进参数里
requests 最基础的做法,就是给某一次请求单独传一个 proxies 字典。字典的 key 是目标地址的协议,value 是代理服务器地址。很多人第一次写错,就是把 key 写成了代理自己的协议。
import requests
proxies = {
"http": "http://用户名:密码@代理服务器地址:端口",
"https": "http://用户名:密码@代理服务器地址:端口",
}
url = "https://example.com/data"
resp = requests.get(url, proxies=proxies, timeout=10)
print(resp.status_code, resp.text[:200])
注意两点。第一,https 这个 key 的值写成 http:// 开头是正常且推荐的,普通的 HTTP 代理也能处理 HTTPS 请求,走的是隧道模式。第二,timeout 一定要加。代理链路比直连多一跳,网络抖动时不给超时,脚本会卡在那儿一动不动,你在终端前干等着还以为程序死了。
如果只有一条请求要跑,比如临时抓一个接口验证下数据格式,这种写法足够。但只要你打算连续跑几十上百次请求,就别这么干了——每调用一次 requests.get(),底层都要重新握手建连,速度慢不说,代理资源也被你浪费得很快。
二、代理地址怎么写才不出错
带账号密码的代理,格式是 协议://用户:密码@主机:端口。这里有个坑:密码里如果含有 @ : / 这类字符,必须做 URL 编码,否则 requests 解析时会从中间断掉,你会收到一个莫名其妙的握手失败。做个编码更省心:
from urllib.parse import quote
user = quote("你的账号", safe="")
pwd = quote("你的密码", safe="")
proxy = f"http://{user}:{pwd}@代理服务器地址:端口"
proxies = {"http": proxy, "https": proxy}
还有一类走 SOCKS5 协议的代理,写法和 HTTP 代理不一样,并且要额外装依赖:
# 先安装:pip install "requests[socks]"
proxies = {
"http": "socks5h://代理服务器地址:端口",
"https": "socks5h://代理服务器地址:端口",
}
注意这里是 socks5h 而不是 socks5。h 的意思是让代理服务器来解析域名,而不是在本地解析完再把 IP 发过去。对于需要按地区获取IP的场景,这一点很关键——本地解析等于提前暴露了你真实的网络环境。
| 写法 | 需要额外依赖 | 域名解析位置 | 适用情况 |
|---|---|---|---|
| http://主机:端口 | 不需要 | 由代理处理 | 绝大多数 HTTP/HTTPS 请求 |
| socks5://主机:端口 | 需装 pysocks | 本地解析 | 目标站点已知且稳定 |
| socks5h://主机:端口 | 需装 pysocks | 代理服务器解析 | 需要城市级定位的场景 |
三、会话复用:给 Session 挂一次代理,后面全用
真正的实战代码,几乎都用 requests.Session()。原因很实在:Session 对象内部维护了一个连接池,同一个站点的 TCP 连接可以反复使用,不用每发一次请求就重新握手。跑三百条请求,直连可能要握手三百次,复用之后可能只需要几十次,速度差得很明显。
给 Session 挂代理,写法是赋值到 session.proxies 上,一次设置、长期生效:
import requests
session = requests.Session()
session.proxies.update({
"http": "http://用户名:密码@代理服务器地址:端口",
"https": "http://用户名:密码@代理服务器地址:端口",
})
session.headers.update({
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"
})
for page in range(1, 21):
resp = session.get(f"https://example.com/list?page={page}", timeout=10)
print(page, resp.status_code, len(resp.text))
session.close()
如果要临时给某一次请求换一条线路,也不用改全局设置,直接在单次调用里传 proxies 就行。单次参数优先级高于 Session 的默认设置,这个特性在做灰度测试时特别好用:大部分流量走主力代理,个别关键请求单独走一条高质量线路。
四、把代理池和 Session 串起来,让IP轮着用
单条代理一直用下去,迟早还是会遇到限流。实际做法是准备一个代理IP列表,按批次换。这里有个简单但好用的思路:每跑一批请求就换一次 Session 的代理,而不是每次请求都换。换太勤反而会触发对方的异常检测,也浪费了连接复用的优势。
import requests, itertools
ip_pool = [
"http://账号:密码@地址1:端口",
"http://账号:密码@地址2:端口",
"http://账号:密码@地址3:端口",
]
pool = itertools.cycle(ip_pool) # 循环取用,取完回到第一条
session = requests.Session()
batch_size = 20 # 每 20 次请求换一条线路
for i, page in enumerate(range(1, 201), start=1):
if i % batch_size == 1:
proxy = next(pool)
session.proxies.update({"http": proxy, "https": proxy})
print("当前线路换成:", proxy.split("@")[-1])
try:
resp = session.get(f"https://example.com/list?page={page}", timeout=10)
if resp.status_code != 200:
print(page, "状态异常", resp.status_code)
except requests.RequestException as e:
print(page, "请求失败", type(e).__name__)
session.close()
这段代码里 try 那一层不能省。代理链路是不可控的,任何一条都有可能临时不通,捕获异常后继续跑下一轮,整个任务才不会因为一条坏线路直接崩掉。
另外提醒一句:Session 对象不是线程安全的。如果你开了多线程并发,别让十几个线程共用一个 session,每个线程自己建一个,各自挂自己的代理,互不干扰。
五、跑不起来的时候,先查这几样
代理配置最常见的问题其实就那几个,对照着查往往两分钟能定位:
明明传了 proxies,结果还是本机IP。大概率是域名被系统代理设置里的 no_proxy 排除了,或者你的 proxies 里只写了 http 这个 key,而目标站点是 https 的,压根没匹配上。
报 407。代理要认证,但账号密码没带上,或者密码里的特殊字符没编码,Requests 发出去的认证头是残缺的。
报 ProxyError。连接不上代理服务器本身,先确认地址端口有没有写反,再确认这条线路是不是已经过期了。动态短效IP的有效期通常只有几分钟,写死在代码里的固定地址过期后必然连不上。
报 SSLError 或 CONNECT 失败。这条代理不支持隧道模式,换成支持 HTTPS 转发的线路即可。
六、选代理这件事,别只看价格
代码写得再漂亮,底层IP质量不行也白搭。真正跑采集的时候,几个指标比单价重要得多。
一是可用率。一条线路上有一半的IP是死的,你的脚本就有一半时间在重试和等超时,整体耗时可能翻好几倍。二是IP纯度。拿到手的地址如果被大量用户共用过,早就上了各种风控名单,请求发出去连页面都打不开。三是能不能稳定提取,采集任务往往是长时间连续跑的,中途代理服务扛不住高并发,整个流程就断在半路。
神龙HTTP这边的情况是:3000万+正规授权代理IP储备,可用率99.9%,IP纯度99.8%,国内三大运营商正规授权,支持 HTTP / HTTPS / SOCKS5 三种协议——前面讲的那几种写法都能直接对接。产品线上分了短效动态IP、长效静态IP和固定IP代理,短期临时任务用短效动态,长期稳定的业务接口就用长效静态或固定IP,不用自己折腾切换逻辑。
还有一个对写代码的人挺友好的点:提取接口兼容主流爬虫编程语言,文档和示例代码都给得比较全,把示例里的地址一换就能跑通,不用花半天研究参数含义。城市级定位覆盖 300+ 城市,需要指定地区的时候直接在提取参数里带上就行,不用自己去猜哪些IP属于哪个城市。个人中心里有可视化的用量统计和实时监控,跑批量任务时能直观看到消耗曲线,哪段时间请求失败率异常升高,一眼就能看出来。
常见问题
Q:单次请求传 proxies 和用 Session 设置,到底该选哪个?
看你请求量。个位数、几十次以内的临时任务,直接传 proxies 参数最简单,写完就扔。超过一百次、而且集中在同一个站点,果断上 Session,连接复用的收益是实实在在的,跑起来能快一截。我自己的习惯是,只要脚本里有循环,就用 Session。
Q:为什么我设置了代理,请求还是失败,但浏览器能打开这个代理?
先排除三种情况:密码里的特殊字符没做 URL 编码;proxies 字典只写了 http 没写 https;系统环境变量里残留了旧的代理配置。还可以打印一下 resp.json() 或访问一个返回出口IP的测试接口,确认流量到底从哪出去的。
Q:一个 Session 挂一条代理,能一直用下去吗?
不建议。就算这条线路没掉,同一个出口IP连续请求几千次,目标站点的风控基本都会留意到。通常的做法是每跑几十次到几百次请求换一条线路,具体频率看目标站点的严格程度,可以在个人中心看失败率曲线来微调。另外动态短效IP本身有效期就短,到点会自动失效,代码里必须有换IP和重试的逻辑。
Q:并发跑的时候报了一堆奇怪的错,是不是代理的问题?
多半不是。requests 的 Session 在多线程下共用会互相打架,表现就是连接被意外关闭、返回内容错乱这类怪现象。让每个线程持有自己的 Session 实例,各自配代理,问题基本就消失了。并发数也别一上来就拉满,先从 10 个线程试,稳定了再往上加。






