正文

requests怎么用代理ip：Python开发者必会的几行硬核代码

神龙代理
神龙代理 V管理员 /8 阅读
0708

requests库与代理IP：基础配置一步到位

在Python的爬虫或数据采集工作中，requests库是大家最常用的工具之一。直接使用本机IP进行高频次请求，很容易触发目标服务器的访问限制。这时，配置代理IP就成了一个非常实用的解决方案。它的原理很简单：你的请求不再直接从自己的电脑发出，而是先经过一个代理服务器，由代理服务器代为访问目标网站，再将结果返回给你。这样，目标网站看到的是代理服务器的IP地址，从而实现了IP的切换。

requests怎么用代理ip：Python开发者必会的几行硬核代码

在requests库中使用代理IP，核心在于构造一个代理字典。这个字典的格式是固定的，键为协议类型，值为对应的代理IP地址和端口。下面是一个最基础的示例代码：

import requests

 构造代理字典
proxies = {
    'http': 'http://12.34.56.78:8080',
    'https': 'http://12.34.56.78:8080',
}

 使用代理发起请求
response = requests.get('http://httpbin.org/ip', proxies=proxies)
print(response.text)

运行这段代码，返回的IP地址应该是12.34.56.78，而不是你本机的真实IP，这就说明代理已经生效了。这里要注意，如果代理服务器需要认证（即需要用户名和密码），格式需要稍作调整：'http': 'http://username:password@12.34.56.78:8080'。

进阶玩法：会话保持与IP池随机轮换

单一代理IP在复杂场景下可能不够用。比如，你需要长时间保持登录状态（会话），或者需要大量请求，这时就需要更稳定的长效IP或动态IP池来支持。

对于需要维持Cookie等会话信息的场景，使用requests.Session()配合代理是更优的选择：

import requests

 创建一个会话对象
session = requests.Session()
session.proxies.update({
    'http': 'http://12.34.56.78:8080',
    'https': 'http://12.34.56.78:8080',
})

 该会话中的所有请求都将自动使用上面设置的代理
response1 = session.get('https://example.com/login')
 ... 进行登录等操作
response2 = session.get('https://example.com/dashboard')  保持登录状态

面对大规模数据采集，使用单个IP很容易被限制。更专业的做法是准备一个IP池，每次请求随机选取一个代理，模拟不同用户的访问行为。这里就需要用到专业的代理服务商，例如神龙HTTP。它提供海量的短效动态IP和长效静态IP资源，你可以通过其API接口实时获取大量可用代理，构建自己的IP池。

import requests
import random

 假设这是从神龙HTTP API获取到的一个IP列表
ip_pool = [
    'http://110.11.22.33:8080',
    'http://120.22.33.44:8080',
    'http://130.33.44.55:8080',
]

def get_with_random_proxy(url):
    proxy = random.choice(ip_pool)
    proxies = {'http': proxy, 'https': proxy}
    try:
        response = requests.get(url, proxies=proxies, timeout=5)
        return response
    except requests.exceptions.RequestException as e:
        print(f"代理 {proxy} 请求失败: {e}")
         可以从池中移除失效代理，并重新获取新的IP
        return None

 使用随机代理进行请求
response = get_with_random_proxy('http://httpbin.org/ip')
if response:
    print(response.text)

神龙HTTP的API设计简洁，能快速集成到这类IP池管理逻辑中，其提供的短效动态IP池资源每日更新去重，非常适合这种需要大量、新鲜IP的场景。

常见问题与解决方案（QA）

Q1：我配置了代理，但程序报错或连接超时，可能是什么原因？

A1：这通常是代理IP本身的问题。有几个排查方向：

  • 代理IP已失效：免费代理或过期的代理IP极不稳定。建议使用像神龙HTTP这样提供高可用率（99.9%以上）服务的供应商，其IP经过严格筛选验证。
  • 网络协议不匹配：你访问的是HTTPS网站，却只配置了‘http’协议的代理。稳妥的做法是像示例一样，同时设置http和https键。
  • 代理服务器需要认证：检查你的代理IP是否需要用户名和密码，并确保格式正确。
  • 本地网络或防火墙限制：确保你的网络环境允许连接到代理服务器的端口。

Q2：我需要长时间稳定地访问同一个网站，对代理IP有什么特殊要求？

A2：对于这类需要高稳定性和长连接保持的场景，短效动态IP可能因频繁更换而不适用。你应该选择长效静态IP或固定IP服务。

例如，神龙HTTP的长效静态IP存活时间可达1-24小时，能有效维持会话的连续性。而他们的固定IP池，纯净度和可用率高达99.83%，基于高性能云主机搭建，存活时间更长，专为追求极高稳定性和数据安全传输的业务设计，按个数包时售卖，非常适合IP需求量不大但要求极高的任务。

选择合适的代理IP服务：神龙HTTP套餐简介

自己搭建代理服务器费时费力，免费代理IP又几乎不可用。选择一个靠谱的商业代理IP服务是提升开发效率的关键。在选择时，你需要关注IP的纯净度、稳定性、覆盖地区以及协议支持。

以神龙HTTP为例，它提供了多样化的套餐来满足不同需求：

  • 短效动态IP池：这是最常用的类型，IP有效期短（几分钟到半小时），但池子巨大（3000万+资源），每日更新，适合需要大量、高频更换IP的公开数据采集任务。
  • 长效静态IP池：IP有效期较长（1-24小时），覆盖全国各城市，支持精准定位，适合需要IP在一定时间内保持稳定的业务场景。
  • 固定IP池：基于云主机的高品质资源，IP长期固定，稳定性和安全性最高，适合对稳定性有极致要求的业务，如API对接、长期监控等。

他们的服务均支持HTTP/HTTPS/SOCKS5协议，并提供清晰的API和文档，方便开发者快速集成。个人中心的可视化数据统计也能帮你更好地管理资源消耗。对于企业用户，还有定制化方案和技术团队的全天候支持。

在requests中使用代理IP是Python开发者的必备技能。从基础配置到搭建IP池，再到根据业务场景选择合适的代理服务，每一步都影响着数据采集的效率和成功率。希望本文的几行“硬核”代码和思路，能切实帮你解决实际问题。