咱们在跑爬虫程序抓取公开数据的时候，经常会遇到目标网站把咱们本机IP给屏蔽的情况。这时候，代理IP就成了必备工具。很多新手朋友不知道怎么在代码里把代理加上去，其实特别简单，今天就把方法和大白话原理给大家讲透，代码示例都摆这儿了，直接抄作业就行。
搞懂代理IP在爬虫里到底起啥作用
说白了，代理IP就是个“中间人”。你平时直接访问目标网站，人家网站服务器看到的是你本机的真实IP。如果你访问太频繁，人家一看，哎哟，这个IP怎么一直来请求，肯定是个程序，直接就给你拦外面了。加了代理IP之后，你的请求先发给代理服务器，由代理服务器去访问目标网站，再把结果拿回来给你。这样目标网站看到的就是代理服务器的IP，而不是你的真实IP了。只要咱们不断更换代理IP，就能保证爬虫程序顺畅运行。
手把手教你爬虫配置代理IP（附代码示例）
配置代理其实就是在发请求的时候，多加一个参数。咱们平时写爬虫，最常用的就是Python的requests库和Scrapy框架，下面分别给大家演示一下，照着抄就行。
1. 使用requests库配置代理
requests库配置代理非常简单，只需要在请求方法里加上proxies参数即可。这里以HTTP协议为例：
import requests
目标网站地址
target_url = "http://example.com"
代理IP配置，格式为 协议: //IP地址:端口
proxies = {
"http": "http://127.0.0.1:8080",
"https": "http://127.0.0.1:8080",
}
try:
发送请求时带上proxies参数
response = requests.get(target_url, proxies=proxies, timeout=5)
print(f"请求状态码: {response.status_code}")
print(f"响应内容: {response.text}")
except Exception as e:
print(f"请求出错: {e}")
2. 使用Scrapy框架配置代理
如果你用的是Scrapy框架，可以在middlewares.py中间件里设置代理。找到下载器中间件，重写process_request方法：
import scrapy
from scrapy import signals
class MyProxyMiddleware:
def process_request(self, request, spider):
设置代理IP
request.meta['proxy'] = "http://127.0.0.1:8080"
如果代理需要账号密码验证，可以这样写：
request.headers['Proxy-Authorization'] = 'Basic base64编码的用户名:密码'
return None
配置好中间件后，别忘了在settings.py文件里把这个中间件开启。
选对代理IP服务商，爬虫事半功倍
代码会写了，最关键的还是得有个靠谱的代理IP。市面上免费的代理不仅慢，而且经常断线，严重影响效率。咱们做公开数据采集的，还是得用正规的付费代理。这里给大家推荐神龙HTTP。
神龙HTTP是国内三大运营商正规授权的，有超3000万+的代理资源储备，每个IP都经过严格筛选，可用率高达99.9%。而且支持HTTP/HTTPS/SOCKS5协议，API接口兼容各种主流编程语言，集成起来非常方便。他们的技术团队提供724小时支持，遇到问题随时能找到人。个人中心还有可视化数据统计，能直观看到IP使用情况。
针对不同的业务需求，神龙HTTP提供了几种不同的套餐，大家可以按需选择：
| 套餐类型 | 特点介绍 | 适用场景 |
|---|---|---|
| 短效动态IP池 | 3-30分钟存活，3000万+资源每日更新，低延迟高并发，包量/包时计费 | 高频次、大规模公开数据采集 |
| 长效静态IP池 | 1-24小时存活，每日去重10万+，纯净度高，支持指定省市 | 需要较稳定IP的常规采集任务 |
| 固定IP池 | 基于高性能云主机，ISP正式分配，按个数售卖包时计费 | IP需求量不大，追求极高稳定性的业务 |
常见问题QA
Q1：为什么我配置了代理IP，爬虫还是报错连不上？
A：这种情况一般有几种原因。第一，代理IP过期了，特别是短效IP，存活时间短，用之前最好通过API重新提取一下；第二，你的网络环境或者目标网站对协议有要求，比如目标是HTTPS网站，你却只配了HTTP的代理，这时候要确保代理支持对应的协议；第三，代理IP被目标网站识别并拦截了，这时候就需要像神龙HTTP这种纯度高达99.8%的高品质IP来保障连通率。
Q2：日常跑爬虫，选短效IP好还是固定IP好？
A：这得看你的具体需求。如果你是高频次、大规模地抓取公开数据，那肯定选短效动态IP池，因为IP量大，能不断更换，不容易被限制；如果你只是抓取一些小量数据，或者需要登录保持会话状态，那固定IP池更合适，它的存活时间长，稳定性极高，能保障数据安全稳定传输。
