先说人话版本:代理IP没动你的网,只是换了个出面的人
你在家点外卖,自己下单和让同事代下单,菜还是那家店做的,但商家接到的联系人不一样。代理IP干的就是这件事。你的程序照常发请求,只不过请求不再直接送到目标站点,而是先交给一台中间服务器,由它替你出面。目标站点那边记录下来的来访地址,是这台中间服务器的IP,不是你家宽带那个。
整个过程中,你的浏览器、你的宽带、你的路由表一个都没变。变的只有一件事:请求先发给谁。把这句话记牢,后面三步就顺下来了。
第一步:程序先把请求交给代理服务器
平时用代码请求一个页面,TCP 连接是直接建到目标站点的 IP 上,走 80 或 443 端口。改成走代理之后,这条链路的第一段变了——连接先建到代理服务器的 IP 和端口,比如 203.0.113.10:8080。握手、发请求、等响应,逻辑还是你那套 HTTP 逻辑,只是对端换人了。
这里有个容易忽略的细节:代理服务器收到你的请求时,会先确认你是不是合法使用者。确认方式一般有两种,一种是账号密码,一种是把你服务器的出口IP加进白名单。所以配置代理的时候,那串东西通常写全成 协议://用户名:密码@代理IP:端口,少写一段就容易报 407。
第二步:代理服务器换身衣服,替你发请求
代理拿到你的请求之后,会把请求头里那些能认出你的痕迹处理一遍,然后以它自己的身份,向目标站点重新发起一次请求。目标站点在访问日志里记下来的来访IP,就是这台代理服务器的IP。
这里的关键在于"处理"做到什么程度。有的代理只是照转,连 X-Forwarded-For 这种字段都原样带过去,目标站点一看就知道背后还藏着一个真实地址;有的代理会把这类字段整个抹掉,连 Via 头都不留,对面只能看到代理本身。这就是后面要讲的"透明"和"高匿"的差距。
第三步:响应不直接回你家,而是原路折返
目标站点把 HTML、JSON、图片打包好,回给的地址同样是代理服务器,不是你。代理收到之后再顺着第一条连接,把数据交回你的程序。整个往返下来,你在代码里 resp.text 拿到的东西和直连时一模一样,几乎感觉不到中间隔了一台机器。
唯一能明显摸到差别的地方是延迟。正常链路多一跳,多出几十毫秒很常见;如果某条线路延迟突然飙到一两秒,基本可以判断这个节点该换了。采集任务跑到一半大面积超时,八成也是这个原因。
import requests
proxy = "http://用户名:密码@代理IP:端口"
proxies = {"http": proxy, "https": proxy}
resp = requests.get("你的目标采集页面", proxies=proxies, timeout=10)
print(resp.status_code)
print(resp.text[:200])
验证一下:目标站点到底看见了多少信息
想亲眼确认转发过程,做法很简单。找一个会把请求头原样回显的接口,先用直连跑一次,再把 proxies 参数加上跑一次,两次结果一比,差别一览无余。
# 直连
requests.get("回显请求头的接口", timeout=10).json()
# 走代理
requests.get("回显请求头的接口", proxies=proxies, timeout=10).json()
你大概率会看到:直连时对方记录的来访地址是你服务器的出口IP;走代理之后换成了代理的IP。同时留意 X-Forwarded-For 这个字段有没有冒出来,它一旦出现,往往就意味着你的真实地址被透传出去了。
| 观察项 | 直连时 | 走代理后 |
|---|---|---|
| 目标站记录的来访IP | 你的服务器出口IP | 代理服务器的IP |
| X-Forwarded-For 字段 | 一般不存在 | 透明代理会带上真实地址 |
| 返回内容完整性 | 完整 | 完整,基本无差别 |
| 单次请求耗时 | 最短 | 多一跳,多几十毫秒 |
透明、普通、高匿:三种转发姿态怎么分
同样是转发,姿态不一样,对面能掌握的信息量就完全不一样。
透明代理最省事,也最坦白。它照样转发,但会把你的真实地址写在 X-Forwarded-For 里一路带过去,相当于在信封背面注明了寄件人。这种代理适合内网缓存、公司统一出口这类内部场景,对外采集基本不顶用。
普通匿名代理会把自己的身份显示出来,但对真实来源遮遮掩掩。对面能看出来"这是个代理在访问",只是不知道背后是谁。做一般的页面访问测试够用,碰上对代理敏感的站点就容易被拦。
高匿代理才是最干净的一种。它不光隐藏你的真实地址,连自己是不是代理都不主动暴露,请求头里那些指认身份的字段清理得比较彻底。做公开数据采集这类需要长时间稳定请求的活儿,选这一档会舒服得多——至少要IP时,IP纯度能到 99.8% 这个量级,被误判的概率会低很多。
挑代理时,我习惯先看这几个数字
原理弄清楚之后,选型其实就变成几道简单的判断题。第一道是可用率,一个池子号称多少量级意义不大,真正在调用时能连上的比例才作数,低于 99% 的话,采集任务里那些莫名其妙的失败会很难排查。第二道是覆盖范围,做本地生活、区域价格这类研究时,能不能精确到具体城市很要紧,只给到省份级别就有点不够用。
第三道是并发与延迟,短时间跑几千上万个请求的时候,节点撑不撑得住、响应抖不抖,直接决定你的任务要不要重跑。第四道是协议和接入成本,如果你手上是现成的采集程序,接入方式越简单越好。
拿神龙HTTP来说,它的底子是国内三大运营商正规授权的千万级资源池,规模在 3000万+ 这个数量级,支持 HTTP、HTTPS、SOCKS5 三种协议,短效动态IP、长效静态IP、固定IP代理几条产品线都有,短周期的采集和长时间挂着的任务可以分开挑。API 兼容主流采集、爬虫常用的编程语言,文档和示例代码给得比较全,接进去基本不用改太多原有逻辑。个人中心里有可视化的用量统计和实时监控,哪条线路异常、用量趋势怎么走,看一眼就明白,比翻日志省事。技术团队是 7×24 小时在线支持的,半夜任务跑挂了也有人接。
常见问题
Q:用了代理IP,我的真实地址还藏得住吗?
取决于代理类型。透明代理会把真实地址写进 X-Forwarded-For 一路带出去,等于没藏;高匿代理不主动暴露来源和身份,暴露面就小得多。另外别忽略 DNS 和 WebRTC 这类旁路信息,只用 HTTP 请求的话一般不用担心。
Q:同一个代理,为什么有时候快有时候慢?
多一跳链路本身就有波动,节点所在机房负载、你和节点之间的路由质量、目标站点的响应速度都会影响。单个节点延迟突然拉高,先换个节点试,如果全池都慢,再看自己的并发是不是开太猛把出口压满了。
Q:代码里配置代理报 407 是怎么回事?
基本是认证没通过。检查账号密码有没有写错、白名单IP有没有把自己服务器的出口地址加上,或者把完整的 协议://用户名:密码@IP:端口 补全。用 SOCKS5 的话记得把协议头换成 socks5://。
Q:短效动态IP和长效静态IP该怎么挑?
页面多、目标分散、对连续性要求不高的公开数据采集,短效动态更划算,一会儿换一个来源;需要保持会话、登录态或者要盯住同一个站点的连续页面,就选长效静态或固定IP,省得中途重连。两类一起备着,任务类型变了不用重新折腾一套接入代码。






