python-Scrapy视图返回空白页
作者：互联网
我是Scrapy的新手,我只是想刮擦http://www.diseasesdatabase.com/
当我输入scrapy view http://www.diseasesdatabase.com/时,它会显示一个空白页,但是如果我下载该页并在本地文件中进行处理,则它会照常显示.为什么会这样呢？
解决方法:
假装是一个提供User-Agent标头的真实浏览器：
scrapy view http://www.diseasesdatabase.com/ -s USER_AGENT="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.130 Safari/537.36"
为我工作.
请注意,此处的-s选项有助于覆盖内置的USER_AGENT setting.
标签：python,web-scraping,scrapy,web-crawler 来源： https://codeday.me/bug/20191013/1908403.html