scrapy设置代理ip：Scrapy爬虫代理设置快学

Scrapy爬虫代理设置快学：手把手教你用代理ip突破限制

如同数据采集的“裸拳”一样，直接利用Scrapy框架的本地IP去爬取数据的做法，往往会随时随地地被网站的“黑暗之手”给封禁了。凭借对Scrapy的巧妙包装，我们可以将其打造得如同一名高超的“间谍”般的“隐身”者，今天我们就就来和大家一一唠叨一下怎么用代理IP给Scrapy套上“隐身衣”，其中尤其推荐了国内老牌的神龙HTTP的解决方案，保证看完就能上手实操。

一、为什么你的Scrapy需要代理IP？

刚刚就有个在电商的比价爬虫里头遇到过“403 Forbidden”的朋友跟我抱怨了，都是爬虫跑着跑着就提示“403 Forbidden”了。但更可能的就是网站的防爬虫机制识别出了你的爬虫特征，尤其是当你的请求频率过高时，服务器也就直接把你的本地IP给拉黑了。

但随之而来的又是一个新的问题：如何有效的利用代理IP来规避了这一系列的限制呢？。就像每次出门都换上不同的外套一样，通过代理IP的帮助，我们就能让每一次的请求都能以不同的ip地址的身份出现在网络的面前。而如神龙HTTP等专业的ip池服务商的动态ip，每次请求都能自动的切换IP，使得网站根本就摸不清你的真真实的来路。

二、Scrapy设置代理的三大绝招

这里给大家分享三种常用方法，新手建议从中间件方式入手：

方法1：单请求设置代理

在Request对象里直接加meta参数：

yield scrapy.Request(
    url,
    meta={'proxy': 'http://用户名:密码@ip:端口'}
)

适合临时测试，但大批量采集还是得用更高效的方式。

方法2：中间件全局配置（推荐）

在middlewares.py里添加：

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = 'http://神龙HTTP动态隧道地址'

记得在settings.py里启用中间件：

DOWNLOADER_MIDDLEWARES = {
    '项目名.middlewares.ProxyMiddleware': 543,
}

这种方式能自动给所有请求加代理，配合神龙HTTP的动态IP服务，每次请求自动换IP，省心又安全。

方法3：多代理轮询策略

进阶玩家可以搞个IP池，在中间件里随机挑选：

import random
ip_pool = [
    'http://ip1:端口',
    'http://ip2:端口',
    ...
]
class RandomProxyMiddleware:
    def process_request(self, request, spider):
        request.meta['proxy'] = random.choice(ip_pool)

不过自己维护IP池太麻烦，建议直接用神龙HTTP提供的智能调度接口，他们家的API能自动返回可用IP。

三、神龙http代理的实战优势

用过五六个代理服务商，最后还是觉得神龙HTTP更靠谱。他们的高匿代理能把X-Forwarded-For这些头信息处理得干干净净，网站根本查不到真实IP。

上次帮客户爬某招聘网站，连续跑了3天都没被封。后来看日志才发现，神龙HTTP的IP池每天自动切换上万个IP，成功率一直保持在98%以上。特别是他们的响应速度优化，比之前用的服务商快了两倍不止。

四、新手避坑指南

问题1：代理老是连接超时？

先检查代理格式是否正确，特别是用户名密码包含特殊符号时要做URL编码。如果用的是神龙HTTP的隧道代理，记得用他们提供的专属域名而不是固定ip。

问题2：怎么判断代理是否生效？

在中间件里加个打印语句，或者在Scrapy的DEBUG日志里搜"proxy"字段。还有个土办法，在爬虫里故意访问IP检测网站，看返回的IP是否变化。

问题3：遇到407代理认证错误？

把用户名密码直接写在代理地址里最稳妥，格式是：http://user:pass@gateway:port。如果用错了认证方式，可以联系神龙HTTP的技术支持要示例代码。

五、专家级优化技巧

想让代理效果更上一层楼，记得做好这三点：

1. 设置合理的下载延迟，别把网站服务器当牲口使

2. 开启自动重试中间件，遇到429状态码就歇会儿

3. 定期更换User-Agent，配合代理IP使用效果更佳

但也千万别仅仅就看了代理商的宣传广告就下单了，更重要的还要从实践中去感受一下他们的IP质量和技术的服务到底有多好才能下定最终的决策。相比之下，用了多年的像神龙HTTP这样的企业级的服务的优势就体现了出来，遇到问题也能快速的得到响应，远远比那些个人打的代理要省心多了。最让我们头疼的不是诸如代码bug的报错，而是那些难以预测的数据突然断流啊！