用python代理ip：配置流程与爬虫实战案例

用Python玩转代理IP：手把手教你配置与实战

做数据采集的朋友都知道，现在很多网站都设置了反爬机制。去年有个做电商比价的朋友跟我吐槽，他的爬虫程序跑着跑着就被封IP了，这时候就得靠代理IP来救场了。今天咱们就来说说怎么用Python配置代理IP，再结合真实案例演示具体操作。

一、代理IP到底是个啥？

简单来说，代理IP就像给你的网络请求戴了个面具。比如你要访问某个网站，正常情况是直接"露脸"访问，用了代理IP之后，就变成：你的电脑→代理服务器→目标网站。这样网站看到的是代理服务器的IP，而不是你真实的IP地址。

市面上的代理IP主要分三种类型（见下表）：

类型	匿名程度	适用场景
透明代理	低	简单测试
匿名代理	中	常规采集
高匿代理	高	反爬严格场景

像我们常用的神龙HTTP代理就是高匿代理，特别适合需要长期稳定运行的爬虫项目。他们家的IP池每天更新千万级IP资源，还支持自动切换，这点在实战中特别重要。

二、Python配置代理IP全流程

这里以常用的requests库为例，分三步走：

第一步：获取代理IP
注册神龙HTTP账号后，在后台可以直接获取API接口，返回格式是这样的：

{"ip":"123.123.123.123","port":8888}

第二步：设置代理参数
在代码里这样写：

proxies = {
    "http": "http://用户名:密码@提取的IP:端口",
    "https": "http://用户名:密码@提取的IP:端口"
}

注意这里要替换成自己的账号信息，神龙HTTP支持用户名密码双重认证，比单纯用IP白名单更安全。

第三步：发起请求
带上代理参数发送请求：

response = requests.get(url, proxies=proxies, timeout=10)

这里有个小技巧：建议把timeout设置在5-10秒，遇到不稳定的代理IP能及时切换。

三、实战案例：电商数据采集

去年帮朋友做过的真实项目，需要采集某电商平台商品价格。关键点在于：

需要保持7×24小时运行
每次请求必须更换IP
处理验证码机制

具体实现步骤：

1. 集成神龙HTTP的API，每次请求前获取新IP
2. 使用随机请求头(User-Agent)
3. 异常处理机制：遇到429状态码自动重试

核心代码片段：

from lxml import etree
import requests

def get_proxy():
     调用神龙HTTP的API获取最新IP
    resp = requests.get("神龙API地址")
    return f"http://{resp.json()['ip']}:{resp.json()['port']}"

while True:
    try:
        proxy = get_proxy()
        headers = {"User-Agent": "随机生成的UA"}
        response = requests.get(target_url, proxies={"http": proxy}, headers=headers)
         解析页面数据...
    except Exception as e:
        print(f"请求失败，更换IP重试。错误信息：{str(e)}")

这个方案连续运行了3个月，成功率保持在98%以上。中途遇到网站改版调整反爬策略，通过增加神龙HTTP的动态端口功能顺利解决。