先跑一个能用的最小版本,别急着上框架
很多人卡在第一步,不是代码难,是不知道从哪儿下手。我自己的习惯是:先写二十行能跑通的代码,把IP拿到、把页面拉下来,看到返回内容了,再谈优化。
动态IP代理在Python里的用法其实很朴素——你从服务商那边拿到一串 ip:port,把它塞进 requests 的 proxies 参数就行。区别只在于:这串东西是定时的、会过期的,你得在它失效前换掉。
先说取IP。神龙HTTP 的提取接口会返回一行文本,一般是 ip:port,有些模式还带账号密码。用 requests 直接拿就好:
import requests
EXTRACT_API = "个人中心里复制的那条提取链接"
TARGET = "你要采集的页面地址"
def get_ip():
r = requests.get(EXTRACT_API, timeout=5)
r.raise_for_status()
line = r.text.strip().split("\n")[0]
return line # 形如 1.2.3.4:8899
def build_session(ip):
s = requests.Session()
s.trust_env = False # 关掉系统环境变量里的代理,避免它偷偷接管
s.headers.update({
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36"
})
s.proxies = {
"http": f"http://{ip}",
"https": f"http://{ip}",
}
return s
trust_env = False 这一行别省。我见过好几次“代码明明写了代理却一点效果没有”,最后查出来是机器上配了环境变量,请求悄悄走了别的出口。排查起来很费时间。
换IP的节奏,决定了你一天能省多少接口调用
拿到IP之后最常见的争论是:到底多久换一次?这个问题没有标准答案,取决于你的目标站点有多敏感、你的提取接口是按次计费还是按时长计费。
我一般会准备三种节奏,按任务性质挑:
每次请求就换——适合目标页面之间毫无关联的公开数据采集,比如电商详情页、公开资讯列表。每次一个新IP,请求指纹最分散。代价是提取接口调用量大,如果提取有频率限制,反而容易把自己卡住。
一个IP跑二十到五十次请求再换——大多数场景我会选这个。IP利用率高,提取压力小。做法也简单,在循环里计数,到了一个阈值就重建 session:
import itertools
pool = []
counter = 0
THRESHOLD = 40
def next_session():
global session, counter
if session is None or counter >= THRESHOLD:
ip = get_ip()
session = build_session(ip)
counter = 0
counter += 1
return session
失败就换——这是兜底逻辑,跟上面两种可以叠加。连接超时、返回 407、返回内容里出现验证页面特征,都算失败,立刻把这个IP标记掉,换下一个重来。别在同一个坏IP上死磕,重试三次的时间够你换三张新脸了。
还有一点容易被忽略:按城市取IP。神龙HTTP 支持 300+ 城市级定位,如果你的采集目标和地域有关,比如查某个城市的门店信息、某地的公开公示数据,直接在提取链接里带上城市参数,比拿一张随机IP反复试要高效得多。
超时、重试、并发:让脚本能自己扛过夜里那几个小时
白天你在电脑前盯着,脚本出问题随手就修了。真正考验人的是半夜没人管的时候,一个没设超时的请求能把整条线程挂在那儿一小时。
三条底线,写脚本时顺手就加上:
第一,所有请求必须带 timeout。timeout=(5, 15) 这种元组写法更稳,连接5秒、读取15秒,分别卡住。没有超时的 requests 请求,默认是“永远等”。
第二,区分可重试和不可重试。连接失败、超时、502/503 这类,换个IP重来是对的;但 404、403 这种明确告诉你“页面没了或者不给你看”的,重试只会浪费IP和时间,直接记日志跳过。
第三,并发别一上来就开大。我通常从 8 个线程起步,跑十分钟看成功率,掉到九十以下就降到 5,稳得住再加到 16。ThreadPoolExecutor 就够了,不建议在这个环节折腾异步,等你确认瓶颈真的在网络IO再说。
from concurrent.futures import ThreadPoolExecutor, as_completed
def fetch(target, retry=3):
for i in range(retry):
s = next_session()
try:
r = s.get(target, timeout=(5, 15))
if r.status_code == 200 and len(r.text) > 500:
return r.text
except requests.RequestException as e:
print("换IP重试", i + 1, type(e).__name__)
return None
with ThreadPoolExecutor(max_workers=8) as pool:
jobs = [pool.submit(fetch, TARGET) for _ in range(100)]
ok = 0
for f in as_completed(jobs):
if f.result():
ok += 1
print(f"成功 {ok}/100")
顺便提一句:代理协议别只用 HTTP。神龙HTTP 同时支持 HTTP / HTTPS / SOCKS5,遇到某些目标站对 HTTP 代理响应异常的情况,换成 SOCKS5 往往就通了,成本只是改一行字符串。
产品线怎么挑,一张表说清楚
同样是代理IP,短效动态、长效静态、固定IP代理,用起来是两回事。选错了不是跑不通,是成本翻倍还慢。
| 类型 | IP存活时间 | 适合的任务 | 注意点 |
|---|---|---|---|
| 短效动态IP | 分钟级,用完即换 | 公开页面采集、搜索结果翻页、大规模并发抓取 | 提取接口调用量大,代码里要做好复用 |
| 长效静态IP | 小时到天级 | 需要保持登录态的连续采集、分页逻辑强的站点 | 数量有限,别拿去做高频轮换 |
| 固定IP代理 | 长期固定 | 接口对接调试、白名单配置、需要稳定出口的场景 | 不适合做“换脸”,适合做“站点信任” |
实际项目里常见的是组合:主体采集用短效动态IP跑并发,少数需要连续会话的任务单独分配长效静态IP,调试阶段挂一个固定IP省心。神龙HTTP 这三条线都有,切换只是换一条提取链接的事。
上线前,我会盯这四个数
脚本能跑通和能稳定跑三个月,中间差着一套简单的监控。我自己的做法很土:每次请求记一行日志,成功与否、耗时多少、用的哪个IP。跑完一轮用 pandas 归一下,问题立刻现形。
第一个数是成功率。低于 90% 就别急着加并发,先去看失败原因分布——是超时多,还是返回内容不对。神龙HTTP 标称可用率 99.9%、IP纯度 99.8%,如果你实测下来差得远,八成是自己代码里IP复用了太久或者没做失败剔除。
第二个数是平均耗时。代理正常的话,多绕一跳通常只增加几十毫秒。如果某个IP的耗时是别人的五倍,直接拉黑,不用犹豫。
第三个数是内容有效率。这个最容易被漏掉——状态码 200 不代表拿到的是你要的数据,有时候返回的是一个空壳页面。加一条“关键字段是否存在”的判断,比什么都管用。
第四个数是用量趋势。神龙HTTP 的个人中心里有可视化的用量统计和实时监控,能看出每天的消耗曲线有没有异常突起。有一次我发现凌晨三点用量突然翻了三倍,回头查是自己写的重试逻辑进了死循环,改掉之后费用立刻回落。
最后一条经验:技术团队的反应速度也算稳定性的一部分。7×24 的支持不是摆设,遇到整段IP集体异常的时候,一个人猜半小时,不如直接问一句。神龙HTTP 的 API 兼容主流编程语言,官方文档里有现成的示例代码,照着改比自己从零拼要快。
常见问题
Q:代码里代理配置了,但 requests 好像根本没走代理?
先检查三处:s.proxies 有没有被后面的代码覆盖;trust_env 是不是还开着,系统环境变量可能抢了优先级;以及 https 和 http 两个键都要写,只写一个的话对另一种协议的请求不生效。排查时可以在代码里打印 s.proxies 确认一下再发请求。
Q:返回 407 或者一直连不上,是IP坏了吗?
407 一般是鉴权没配对:有的提取模式返回的是 ip:port,有的需要账号密码,写法是 http://用户名:密码@ip:port。连不上则先确认提取出来的IP有没有过期——短效动态IP的存活时间是分钟级的,你从拿到它到用它,中间隔了十分钟,那它大概率已经不能用了。这也是为什么取IP要放在用IP的前一刻,而不是启动时先囤一批。
Q:并发调到 30 就跑不动了,是代理的问题吗?
大概率不是。先看你本机的出口带宽和文件描述符上限,再看目标站有没有对你这种请求节奏做限制。我的建议是固定从 8 起步逐步加,每次加完观察十分钟成功率,掉下来就退回去。另外线程数上去了但每个线程都在等超时,实际吞吐反而更低,超时设短一点往往比加线程有效。
Q:短效动态IP和长效静态IP,我到底选哪个?
看你的任务需不需要“记住自己是谁”。如果每个请求彼此独立,采集完就走,短效动态IP性价比最高;如果中途要保持登录状态、要沿着分页一页页翻,会话断了就得从头来,那就用长效静态IP。拿不准的话,先用短效动态IP把流程跑通,等确认瓶颈在会话保持上再换,成本最低。






