在scrapy框架中使用免费的代理ip，解决ip被封禁的问题！！！
作者：互联网
本文仅供学习与交流，切勿用于非法用途！！！
该项目的实现，主要基于视频 https://www.bilibili.com/video/BV1qt411H7ox?t=633 的基础上来实现的（当然也有找其他的视频等资料），这里对阳光问政发起数据请求，让其将本机ip禁掉：
这是可以正常打开阳光问政的网页：
这是对阳光问政发起数据请求，让其将本机ip禁掉：
使用免费的代码ip的对阳光问政发起数据请求：
打开scrapy项目里面的中间件middlewares.py，只保留下面的类里面的3个函数其他的删除掉
class '自己项目的名字'DownloaderMiddleware:
def process_request(self, request, spider):
return None
def process_response(self, request, response, spider):
return response
def process_exception(self, request, exception, spider):
return request
标签：封禁,return,process,ip,request,spider,scrapy,问政 来源： https://www.cnblogs.com/YYQ-4414/p/14429009.html