先判断你的采集任务适不适合加代理IP
做网站数据采集时，代理IP不是“必须加”的东西。如果你的任务只是每天看几个公开页面，本地IP大概率够用。真正需要代理IP的，往往是任务频率变高、需要不同地区来源、或者多个任务同时跑。比如采集公开行业资讯列表，一天跑几十页，本地IP容易被限流；这时候接入代理IP，请求来源更分散，任务稳定性会好很多。
我一般会把任务分成三类：低频率、中频率、高并发。低频率可以只用本地IP；中频率建议加代理池；高并发任务必须把代理IP做成可配置项，而不是写死一个地址。这样后面获取新的IP、调参数、排查问题都方便。
接入前先把代理池选对
网站数据采集里，代理池类型选错，后面代码写得再顺也会卡。公开列表采集、多地区信息整理，通常更适合短效动态IP；需要长期稳定来源标识的任务，可以看长效静态IP或固定IP代理。神龙HTTP这边我会优先看短效动态IP，因为它支持300+城市级精准定位，任务需要某个地区的公开信息时，不用到处找资源。
| 类型 | 更适合 | 接入重点 |
|---|---|---|
| 短效动态IP | 多地区公开列表、高并发采集 | 获取新的IP频率、成功率 |
| 长效静态IP | 需要稳定来源标识的任务 | 延迟、长期可用 |
| 固定IP代理 | 长期固定来源的任务 | 稳定性、监控 |
选的时候别只看“数量多”。我会重点看三个东西：可用率、IP纯度、提取延迟。可用率高，失败重试次数就少；IP纯度高，任务被误判的概率也会低一些；提取延迟低，整体采集节奏会更顺。
把代理IP写进采集代码
代码层面，关键是不要把代理地址写死。建议把“获取新的IP”封装成函数，每次请求前或失败后重新获取。下面是一个简单的示例，重点看代理配置和失败重试。
import requests
import time
BASE = "target-site-domain"
HEADERS = {
"User-Agent": "Mozilla/5.0"
}
def get_new_proxy():
# 调用神龙HTTP代理获取接口，返回一个可用代理地址
# 实际使用时按官方文档替换为你的调用逻辑
return "proxy-host:port"
def fetch_page(page):
proxy = get_new_proxy()
proxies = {
"http": f"http://{proxy}",
"https": f"http://{proxy}"
}
url = f"{BASE}/list?page={page}"
resp = requests.get(url, headers=HEADERS, proxies=proxies, timeout=10)
return resp
for page in range(1, 11):
for attempt in range(3):
resp = fetch_page(page)
if resp.status_code == 200:
print(f"第{page}页采集成功")
break
time.sleep(2)
else:
print(f"第{page}页多次失败，先暂停并检查任务")
如果目标站点支持其他协议，也可以按代理池支持的协议配置。实际接入时，我会先只跑10页，确认状态码、响应时间和解析字段都正常，再慢慢提高页数。
控制频率，比堆IP更重要
很多采集任务失败，不是IP不好，而是请求太急。公开数据采集也要给目标站点留缓冲。我会用两层控制：单任务并发数、单IP请求间隔。比如一开始并发设为2，每个请求之间停2秒；等成功率稳定，再小步提高。不要一上来就拉满，任务看起来跑得快，后面失败率会反噬。
如果某个地区来源连续失败，不要一直用同一组IP硬试。可以获取新的IP，或者换个地区的IP再试。神龙HTTP的个人中心有可视化用量统计与实时监控，能看到请求量、异常波动和使用趋势。排查时先看监控，再改代码，效率会高很多。
失败重试和IP质量观察
采集任务里，失败重试要有边界。无限制重试会把任务拖死。我建议最多重试2到3次，每次重试前获取新的IP，并加一点等待时间。如果连续多次失败，先把任务暂停，检查三件事：目标页面结构是否变化、请求头是否被识别、代理池是否异常。
IP质量观察可以做成日报：成功率、平均延迟、失败状态码分布。成功率低于90%时，先检查代理池；延迟明显升高时，检查地区选择和并发数。稳定采集不是把参数调到极限，而是让任务在可接受范围内持续跑。
常见问题
Q: 网站数据采集一定要用代理IP吗？
不一定。低频、单地区、少量公开页面采集，本地IP通常够用。当任务需要多地区来源、更高频率或高并发时，接入代理IP会更稳。
Q: 短效动态IP和固定IP代理怎么选？
公开列表采集、多地区信息整理，更适合短效动态IP；需要长期稳定来源标识的任务，更适合长效静态IP或固定IP代理。按任务来源稳定性来选，神龙HTTP的短效动态IP在地区定位上比较方便。
Q: 代理IP接入后成功率突然下降，先查哪里？
先看请求频率和并发是否过高，再看目标页面结构是否变化，最后看代理池可用情况。可以获取新的IP再试，同时结合监控面板观察异常波动。
Q: 如何降低采集任务对目标站点的压力？
控制并发数、增加请求间隔、只采集公开可访问的数据，并遵守目标站点的使用规则。任务稳定比一次性跑完更重要。
