选代理 IP 这件事，问十个采集团队能给出十个答案。有人按“够不够用”拍脑袋，有人直接上最贵的那档，还有人一口气买了十万个短效 IP，跑完一天发现大半根本没派上用场。真正该先算清楚的其实是三个数：你一天要发多少请求、单个 IP 在目标站点能扛住多少请求、你多久必须跑完。这三笔账算明白了，配比基本就锁死了，剩下的只是选型。
先把“页面数”换算成“请求数”，这一步最容易低估
多数人做测算是从“我一天要抓 100 万个页面”开始的，然后就卡住了——页面和请求压根不是一个量纲。
一个商品详情页，可能要先请求列表接口拿到 ID，再请求详情接口，再请求一次评论接口，乐观情况下就是 3 次请求。再加上分页、筛选条件组合、验证页跳转、超时重抓，实际跑下来请求量通常是页面数的 1.2 到 1.5 倍。我见过最夸张的一个项目，页面数 80 万，实际日请求量跑到了 400 多万，因为对方的筛选条件组合有几十种，每一种都要单独翻一遍。
所以第一张纸上写的应该是这个：
日请求量 = 目标页面数 × 每页平均请求数 × 重试系数
100 万页面 × 1.2 × 1.2 ≈ 144 万次请求（一天）
10 万页面 × 1.2 × 1.2 ≈ 14.4 万次请求（一天）重试系数别拍 1.1，那是理想值。真实环境里失败重抓、超时重发、验证页回退，20% 是很保守的估计。另外记得把“隐形请求”算进去：图片、校验接口、状态轮询，这些不产出数据，但都消耗 IP 额度。
单 IP 能扛多少请求，决定你的池子下限
接下来这个数只能靠实测，没有通用答案。同一个 IP，在公开的列表页上刷 5000 次可能什么事都没有；换成带登录态、带风控的详情接口，刷 300 次就开始弹验证码了。
给个起步参考：单 IP 单日请求控制在 2000–3000 次以内，单 IP 每秒的请求节奏压在 1 次以下。这个节奏下，大部分站点的风控不会把你单独拎出来。
去重有效 IP 下限 = 日请求量 ÷ 单 IP 日安全请求数
144 万 ÷ 3000 ≈ 480 个有效 IP注意，这 480 是“不重复的 IP 数量”，不是“你要提取的次数”。很多人算到这一步就下单买了 500 个，结果第二天全卡住了——因为短效 IP 是会过期的，你没法靠 500 个固定不动的 IP 跑完一整天的量。
并发数怎么定：由你的时间窗口倒推
第二个数才是决定成本的地方。同样 144 万次请求，你打算用 8 小时跑完，还是用 24 小时慢慢跑，需要的并发能差三倍。
并发数 = 日请求量 × 单请求平均耗时(秒) ÷ 可用秒数
144 万 × 1 秒 ÷ 28800 秒（8 小时）≈ 50 并发单请求平均耗时这个值，直接在日志里捞一下就有，别估。多数带代理的请求在 0.8–2 秒之间，含重试的话均值往上走。
拿到并发数之后，还要换成“同时在线多少个 IP”。这里有个坑：不能把 50 个并发全压在同一批 IP 上。按单 IP 每秒 0.5 次请求的保守节奏算，50 并发需要 100 个 IP 同时在跑。
同时在线 IP = 并发数 ÷ 单 IP 每秒请求速率
日提取量 = 可用秒数 ÷ IP 平均存活秒数 × 同时在线 IP
28800 ÷ 180（短效 IP 平均活 3 分钟）× 100 ≈ 1.6 万个到这一步，配比才算完整了。把三档规模摊开看会更直观：
| 日采集页面量 | 日请求量（含重试） | 并发数 | 同时在线 IP | 短效 IP 日提取量 |
|---|---|---|---|---|
| 10 万 | 约 14 万 | 5–10 | 10–20 | 约 1600–3200 |
| 100 万 | 约 140 万 | 50 | 100 | 约 1.6 万 |
| 1000 万 | 约 1400 万 | 500 | 1000 | 约 16 万 |
这张表按 8 小时窗口、单请求 1 秒、短效 IP 存活 3 分钟推出来。你要是能接受跑满 24 小时，并发数直接除以 3，同时在线 IP 也跟着降，成本会掉一大截。反过来，如果业务要求 2 小时内出结果，并发翻 4 倍，提取量同步翻上去。
短效、长效、固定，这三种怎么搭
算完总量，接着是结构问题。全买短效动态 IP 行不行？能跑，但有两个环节会很难受：一个是需要保持会话连续的多步流程（比如先查列表再查详情要保持同一个出口），另一个是内部系统的接口白名单。
比较通用的搭法是 八成短效动态 + 一成半长效静态 + 少量固定 IP 兜底：
| 类型 | 存活周期 | 主要用在哪儿 | 注意点 |
|---|---|---|---|
| 短效动态 IP | 通常几分钟 | 列表页、搜索页、大批量详情页 | 存活期内尽量跑满，超时设置别长于存活时间 |
| 长效静态 IP | 数小时到数天 | 需要连续会话的流程、二次校验 | 数量少，别拿它去顶高并发的活 |
| 固定 IP 代理 | 长期不变 | 白名单对接、内部联调、低频巡检 | 一般几条就够，主要买“稳”不买“量” |
这里有个细节经常被忽略：单次请求的超时时间，一定要小于 IP 的存活时间。你设了 30 秒超时，IP 5 分钟就过期，中间那 4 分半就是在白等，重试还会把失败次数叠上去。短效池的超时统一压到 8–15 秒，反而整体速度快一截。
落地时怎么跑一遍验证
纸面算完，别急着按最大值采购。先跑一个 1% 的小样本：抽 1 万个页面，按算出来的并发和提取节奏跑一遍，只盯三个指标——成功率、平均耗时、验证页出现率。
成功率的及格线在 95% 以上。如果掉到 90% 以下，先别急着加 IP，多半是并发压太猛或者单 IP 节奏太快，把并发砍一半再跑一轮，成功率往往自己就回来了。验证页出现率如果集中在某几个 IP 段上，说明那批段被目标站点重点盯了，换地区就行。
神龙HTTP 在这块比较省事的地方有两点。一是城市级定位能细到 300 多个城市，做区域性的市场研究或本地化内容采集时，可以按城市维度分配提取量，不用整批换；二是个人中心里有可视化的用量统计和实时监控，跑小样本的时候能直接看出哪个时段提取量虚高、哪个环节在空转，比翻日志快很多。他们的资源池是 3000 万级正规授权 IP，可用率 99.9%，做上面那种“先小样本再放量”的验证很合适——量小的时候不会因为池子不够而拿不到 IP，导致测算数据失真。
API 对接这块也不用太担心，HTTP/HTTPS/SOCKS5 都支持，主流爬虫语言的示例代码文档里都有，把提取链接换成自己的就能跑。
三个最容易算错的点
只算页面不算重试。这是最常见的。20% 的重试听着不多，但 100 万页面就是 20 万次额外请求，等于白白多买 15% 的 IP。
把“提取次数”当成“可用 IP 数”。提取 1 万次，去重之后可能只有六千个不同 IP，剩下的都在重复。判断池子够不够，看的是同时在线 IP 数和去重率，不是提取总量。
忽略时间窗口的弹性。很多团队的采集任务其实没有硬性截止时间，却按 4 小时出结果来配，白白把成本抬高三倍。先把“什么时候必须出数据”问清楚，再定并发，这一条能省下的钱比换供应商多得多。
常见问题
Q：一天 10 万页面，到底要买多少 IP？
按本文的算法，日请求量约 14 万次，如果 8 小时跑完，需要 5–10 并发、10–20 个 IP 同时在线、日提取量 1600–3200 个短效 IP。如果放宽到 24 小时跑，提取量能降到 600 个左右。起步阶段建议先按 3000 个的量试跑三天，看成功率和去重率再定长期量。
Q：短效动态 IP 会不会大量重复，导致白花钱？
会不会重复，取决于池子总量和你的提取频率。日提取几千到几万这个量级，相对千万级的资源池，重复率很低。真正导致“感觉白花钱”的通常是提取了但没用完——比如一个 IP 存活 3 分钟，你 10 秒就跑完了，剩下 2 分 50 秒是浪费的。把单 IP 的请求排满，比多提取更有效。
Q：为什么并发提上去了，成功率反而掉了？
因为瓶颈往往不在 IP 数量，而在单 IP 的请求节奏。你把并发从 50 拉到 200，同时在线 IP 却没跟着加，等于每个 IP 的请求密度翻了四倍，目标站点很快就能识别出来。正确顺序是先加同时在线 IP 数，再提并发，两个一起动才有效。
Q：预算有限，先砍哪一块？
先砍固定 IP 和长效静态的数量，这两种单价高、用量少，压缩空间有限但影响不大。真正该优化的是时间窗口和单 IP 利用率：把 8 小时拉长到 16 小时，成本直接减半；把每次提取的 IP 在存活期内跑满，又能再省一截。这两刀下去，通常比换更便宜的套餐效果好。
