Python如何设置IP代理：代码示例解决反爬封禁难题

一、为什么你的爬虫总被封？可能是IP暴露了！

很多开发者在使用Python做数据采集时，经常会遇到403禁止访问或者IP被封禁的情况。这种情况八成是因为目标网站检测到你的真实IP地址，进而限制了访问频率。想象一下，当你用同一个IP地址在短时间内连续访问某网站，就像同一个人反复敲门要资料，不被拒绝才怪呢。

我曾经帮朋友调试过一个电商价格监控脚本，最初直接使用本地网络请求，结果不到半小时IP就被拉黑。后来通过使用代理IP轮换机制，成功实现7×24小时稳定运行。这中间的转折点，就在于对IP代理的正确使用。

二、代理IP的工作原理与核心价值

代理IP的核心原理可以理解为"网络中间人"：当你的请求通过代理服务器转发时，目标网站看到的是代理服务器的IP地址，而非你的真实IP。这就好比送快递时通过多个中转站转发，收件人只能看到最后一站的物流信息。

优质代理IP应该具备以下三个特性：

特性	说明
高匿名性	完全隐藏客户端真实IP
稳定连接	请求成功率保持在99%以上
快速响应	延迟控制在500ms以内

三、Python设置代理的三种实战方法

以下示例均使用神龙HTTP提供的代理服务，其API接口返回格式为：ip:port:username:password

3.1 requests库基础用法

这是最常用的HTTP请求库，设置代理只需要在请求参数中添加proxies字段：

import requests

proxy = "http://用户名:密码@代理IP:端口"
proxies = {
    "http": proxy,
    "https": proxy
}

response = requests.get("https://目标网站.com", proxies=proxies)

3.2 自动化IP轮换方案

通过定时更换代理IP实现长效采集：

from itertools import cycle
import requests

 从神龙HTTP获取的IP池
ip_pool = [
    "http://user1:pass1@1.1.1.1:8000",
    "http://user2:pass2@2.2.2.2:8000"
]
proxy_cycle = cycle(ip_pool)

def get_with_rotation(url):
    proxy = next(proxy_cycle)
    return requests.get(url, proxies={"http": proxy, "https": proxy})

3.3 异步请求优化方案

使用aiohttp库实现高性能异步采集：

import aiohttp
import asyncio

async def fetch(session, url):
    proxy = "http://用户名:密码@代理IP:端口"
    async with session.get(url, proxy=proxy) as response:
        return await response.text()

async def main():
    async with aiohttp.ClientSession() as session:
        html = await fetch(session, "https://目标网站.com")
        print(html[:200])

asyncio.run(main())