python scrapy爬虫防止ip被封的实现方案

分类: Python | 浏览: 14352 | 阅读全文...
主要策略：动态设置user agent禁用cookies设置延迟下载使用google cache使用IP地址池（Tor Project、VPN和代理IP）使用Crawlera1、创建middlewares.py　　scrapy代理IP、user agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制，下面我们创建middlewares.py文件。import randomimport base64from Questions.settings import PROXIESc