爬虫怎么添加代理ip：新手也能学会的配置流程讲解

什么是代理IP及其在爬虫中的作用

代理IP相当于一个中间服务器，它代替你的爬虫程序向目标网站发送请求。当你的爬虫需要频繁访问某个网站时，目标网站可能会因为检测到过多来自同一IP的请求而限制访问。使用代理IP可以轮换不同的IP地址，让请求看起来像是来自多个用户，从而避免被限制。

神龙HTTP提供高质量的代理IP服务，拥有千万级IP资源库，覆盖全国300+城市，纯净度高达99.8%。无论是短效动态IP还是长效静态IP，都能满足不同场景下的数据采集需求。

获取代理IP的途径

在使用代理IP之前，首先需要获取可用的代理IP。神龙HTTP提供了简单易用的API接口，可以快速获取代理IP。注册账号后，在个人中心可以找到API提取链接和示例代码。

神龙HTTP提供多种套餐选择：短效动态IP池适合需要频繁更换IP的场景；长效静态IP池适合需要较稳定连接的场景；固定IP池则适合对稳定性要求极高的业务；企业用户还可以选择定制化服务。

Python爬虫添加代理IP的详细步骤

以Python的requests库为例，演示如何为爬虫添加代理IP：

import requests

 从神龙HTTP API获取代理IP
proxy_ip = "http://username:password@proxy_host:port"

proxies = {
    "http": proxy_ip,
    "https": proxy_ip
}

try:
    response = requests.get("http://target-website.com", proxies=proxies, timeout=10)
    print(response.text)
except Exception as e:
    print(f"请求失败: {e}")

代码说明：

1. 首先从神龙HTTP的API接口获取代理IP地址，格式为：http://用户名:密码@代理服务器地址:端口

2. 创建proxies字典，分别指定http和https协议的代理

3. 在requests请求中传入proxies参数

4. 添加超时参数，避免因代理不稳定而长时间等待

处理代理IP异常和轮换机制

在实际使用中，代理IP可能会遇到连接超时、响应慢等问题，需要建立完善的异常处理机制：

import requests
import time

class er:
    def __init__(self):
        self.proxy_list = self.get_proxies_from_shenlong()
        self.current_proxy_index = 0
    
    def get_proxies_from_shenlong(self):
         从神龙HTTP API获取多个代理IP
         返回代理IP列表
        pass
    
    def get_current_proxy(self):
        return self.proxy_list[self.current_proxy_index]
    
    def rotate_proxy(self):
        self.current_proxy_index = (self.current_proxy_index + 1) % len(self.proxy_list)
    
    def make_request(self, url):
        max_retries = 3
        for attempt in range(max_retries):
            try:
                proxy = self.get_current_proxy()
                proxies = {"http": proxy, "https": proxy}
                
                response = requests.get(url, proxies=proxies, timeout=15)
                if response.status_code == 200:
                    return response.text
                
            except requests.exceptions.RequestException:
                print(f"代理 {proxy} 请求失败，尝试切换代理")
                self.rotate_proxy()
                time.sleep(1)
        
        return None

 使用示例
crawler = er()
content = crawler.make_request("http://example.com")