先说个很常见的场景。有个朋友做的是本地装修公司的报价监测,全市能监测的站点加起来不到 60 个,每个站一天看两遍,算下来一天也就几百次请求。他觉得量这么小,直接用本机跑就行了,结果跑到第三天,几个主力站点开始返回验证页,还有两个直接把他这台机器晾在了外面。他跑来问我:一天才几百次,怎么也会被拦?
问题不在次数,在"这张脸一直没换过"。同一个出口连续几周访问同一批站点,哪怕节奏再轻,站点那边看到的也是一个固定来源在反复取同一类页面。这不是运气问题,是结构问题。
一天几百次请求,到底要不要上代理
我的判断标准很粗糙,但好用:只要你采集的页面里有一块是你长期盯着的,就该用代理。
低频采集的麻烦在于它失败得很隐蔽。请求量小,你不会马上发现某个站点已经悄悄给你返回空数据了——页面结构没变,状态码还是 200,但列表是空的。等你过两周发现报表缺了半个月的数据,回头补采的成本比一开始就配好代理高得多。
所以小流量场景反而更需要"看起来很普通"。一天几百次的请求,混在一堆正常访问里,本来是最容易被放过的;前提是来源别太单调。
挑动态代理,我实际会看这四个地方
市面上讲选型的文章喜欢列一堆参数,其实落到小流量采集上,真正会影响你结果的就那么几项。
第一,IP 纯度。一个池子里如果混着别人刚刚用过、已经被目标站标记过的 IP,你拿到手就是脏的。纯度 99.8% 这种数字听起来虚,实际体感就是"抽十次有几次能用"的区别。小流量场景下你一天才抽几十个 IP,脏一个就浪费一次机会,比例被放大了。
第二,可用率。99.9% 的意思不是每次都成功,而是失败的概率低到你不用为它写复杂的兜底逻辑。对低频任务来说,重试三次还失败的脚本,基本就能判断是目标站那边的问题,而不是 IP 的问题。
第三,城市定位细不细。这一条经常被忽略。你要采的是本地生活类、招聘类、房产类页面,很多站点的内容是按城市分发的,你拿到一个别的城市的出口,看到的列表结构都不一样。300+ 城市级精准定位在这种场景里就是硬需求,不是加分项。
第四,提取方式。看它是按次提取还是给你一条 API 链接随用随取。低频任务最合适的其实是"要用了才去取一个",用完就丢,不占着不用。
短效动态、长效静态、固定 IP,小流量该选哪个
三类产品没有优劣,只有节奏对不对。我把常见搭配整理成一张表,你可以对着自己的任务频率看。
| 代理类型 | 适合的节奏 | 什么情况下不合适 |
|---|---|---|
| 短效动态IP | 一天几百到几千次、每次请求的目标页面不同 | 需要连续会话、要登录后翻页的任务 |
| 长效静态IP | 同一个站点每隔几分钟看一眼、一天几十次 | 长期盯同一个域名,来源太固定 |
| 固定IP代理 | 对端需要白名单核对、接口类取数 | 需要频繁换城市看不同内容的场景 |
绝大多数低频采集任务,短效动态 IP 是第一选择。原因很简单:你的每次请求本来就是独立的,采完列表就不管了,没必要养着一个 IP。而短效动态 IP 到期自动回收,你下个小时再去取,拿到的就是另一批。
唯一要提醒的是别走极端。我见过有人为了"安全",每请求一次就换一个 IP。低频任务这么干反而怪——同一秒里从三个省份各来一次访问,比老老实实用一个 IP 看十分钟更像机器。
接到脚本里其实就十几行
神龙HTTP 的提取接口是标准 HTTP 调用,返回一行 IP:端口,主流语言都能直接用,个人中心里还有用量统计和实时监控,能看出哪段时间失败率偏高。下面这段是我平时写小任务用的模板,去掉业务逻辑就是全部:
import requests, time, random
# 提取链接在个人中心生成,可选数量、地区、协议
API = "你的提取链接"
TARGET = "https://example.com/list?page=1"
def get_proxy():
r = requests.get(API, timeout=5)
r.raise_for_status()
return r.text.strip() # 形如 1.2.3.4:8080
def fetch(url, tries=3):
for i in range(tries):
proxy = get_proxy()
proxies = {"http": f"http://{proxy}", "https": f"http://{proxy}"}
try:
resp = requests.get(url, proxies=proxies, timeout=10,
headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"})
if resp.status_code == 200 and len(resp.text) > 500:
return resp.text
except Exception as e:
print(f"第{i+1}次没成:{e}")
time.sleep(random.uniform(2, 5)) # 停顿别太规律
return None
几个实际会踩的坑,顺手记一下:
别把提取接口塞进循环最里层。小任务一天才几百次,一次提取一个就够,提前取好放队列里,比边跑边拉稳得多。
加长度判断,别只看状态码。上面那行 len(resp.text) > 500 就是干这个的——被拦的时候经常也返回 200,只是内容很短。
停顿时间带点随机。固定 3 秒一次和随机 2 到 5 秒,后者自然得多。
量小就别装大,成本这块省一省
低频采集最容易浪费钱的地方是"取多了用不上"。一个一天只跑 300 次请求的任务,你按小时取 50 个 IP,一天就是 1200 个,四分之三在闲置。
我的做法是先跑一周,看监控里的实际提取量和成功请求量差多少,再回去调提取参数。神龙HTTP 个人中心的可视化用量统计就是干这个用的,能按天看趋势,也能看出某天失败突然变多是 IP 的问题还是目标站改了页面。把提取量压到实际请求量的 1.2 倍左右,基本不会有浪费。
另外并发也别开太高。几百次请求的任务开 2 到 3 个线程完全够,开 20 个线程只会让你的请求在目标站那边显得特别突兀。
常见问题
Q:一天只有两三百次请求,用免费代理行不行?
不建议。免费代理的问题不在于慢,在于你不知道它上一秒被谁用来做了什么、有没有被目标站标记。你一天才 300 次机会,被脏 IP 吃掉 100 次,剩下的数据就不完整了,回头补采更费劲。
Q:短效动态 IP 会不会太浪费?我却只用几分钟。
短效动态 IP 本来就是按提取计费的思路,用完即走,不存在"剩下时间浪费"的说法。真正被浪费的是你提前取了一大堆却没用上的那部分,控制提取数量就行。
Q:同一批站点,我能不能在几个 IP 之间来回切?
可以,而且这比每次都换更自然。准备 3 到 5 个 IP,轮着用,每个 IP 坚持十几分钟,看起来就像几个真实用户在浏览。真正需要避免的是每个请求都换一个新的。
Q:采本地商家信息,IP 定位真的会影响结果吗?
会影响。不少本地服务类站点按访问来源的城市下发不同内容,页面标题一样、结构一样,但列表里就是别的城市的商户。300+ 城市级精准定位在这种情况下不是锦上添花,是拿对数据的前提。
Q:脚本跑着跑着突然全失败了,怎么排查?
先分开看:把代理去掉,用本机请求同一个地址,如果本机能拿到正常内容,那就是 IP 侧的问题,去个人中心看提取记录和失败时间点;如果本机也失败,多半是目标站改了页面结构或者加了验证,跟代理没关系。





