requests代理ip：Python爬虫老鸟都在用的防封绝招，代码直接抄

搞爬虫的，谁还没遇到过IP被封的尴尬？网站反爬机制越来越严，单用一个IP硬刚，分分钟就被拉黑。老鸟们都知道，这时候就得请出代理IP这个“神器”。今天，咱们就专门聊聊怎么在Python的requests库里用上代理IP，让你采集数据时更顺畅。

为什么你的爬虫需要代理IP？

简单说，代理IP就像给你的网络请求戴了个“面具”。网站看到的是代理服务器的IP，而不是你真实的IP。这样，即使某个请求触发了反爬规则，被封的也是代理IP，你的本机IP和爬虫程序依然安全，换个代理就能继续工作。这对于需要大量、长时间请求同一网站的场景来说，几乎是必备策略。

如何在requests中使用代理IP？

requests库使用代理非常简单，主要就是在发起请求时，通过 proxies 参数传入代理信息。代理格式通常是一个字典。

import requests

 代理IP格式（以HTTP代理为例）
proxies = {
    "http": "http://用户名:密码@代理服务器地址:端口",
    "https": "http://用户名:密码@代理服务器地址:端口",
}

 示例：使用一个需要认证的代理IP访问网页
proxies_example = {
    "http": "http://user123:pass456@proxy.shenlonghttp.com:8080",
    "https": "http://user123:pass456@proxy.shenlonghttp.com:8080",
}

try:
    response = requests.get("http://httpbin.org/ip", proxies=proxies_example, timeout=10)
    print("通过代理IP获取到的IP地址是：", response.json())
except Exception as e:
    print("请求失败：", e)

如果你的代理IP不需要用户名密码认证，格式就更简单了："http": "http://代理IP:端口"。

实战：构建一个自动切换代理的请求会话

手动换代理太低效。实战中，我们通常会有一个代理IP池，然后让程序自动从中选取IP来发送请求。下面是一个简单的模拟示例。

import requests
import random

 模拟一个从代理服务商API获取到的IP池（实际使用时，你需要调用API接口获取实时IP）
proxy_pool = [
    "http://user:pass@ip1.xxx.com:port",
    "http://user:pass@ip2.xxx.com:port",
    "http://user:pass@ip3.xxx.com:port",
     ... 更多代理IP
]

def get_with_proxy(url):
    """
    使用随机代理IP发送请求
    """
    proxy = random.choice(proxy_pool)
    proxies = {"http": proxy, "https": proxy}
    
    try:
        response = requests.get(url, proxies=proxies, timeout=8)
         检查请求是否成功，这里简单判断状态码
        if response.status_code == 200:
            print(f"请求成功！使用的代理：{proxy}")
            return response
        else:
            print(f"请求状态码异常：{response.status_code}，代理：{proxy}")
            return None
    except requests.exceptions.RequestException as e:
        print(f"代理 {proxy} 请求失败：{e}")
        return None

 尝试使用代理访问
url_to_crawl = "http://httpbin.org/ip"
result = get_with_proxy(url_to_crawl)
if result:
    print("返回内容：", result.json())

这个例子展示了核心思想：失败重试、自动切换。在实际项目中，你需要将proxy_pool替换为从代理服务商API动态获取IP列表的逻辑，并加入更完善的失败重试和IP有效性验证机制。