python-如何通过外部脚本获取蜘蛛返回的数据?
作者:互联网
当我执行这样的脚本时,如何查看Spider的parse函数的返回数据?
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy.settings import Settings
from scrapy import log, signals
from testspiders.spiders.followall import FollowAllSpider
spider = FollowAllSpider(domain='scrapinghub.com')
crawler = Crawler(Settings())
crawler.signals.connect(reactor.stop, signal=signals.spider_closed)
crawler.configure()
crawler.crawl(spider)
crawler.start()
crawler.stats
#log.start()
reactor.run()
我禁用了日志以查看蜘蛛中的打印消息,但是启用了日志后,返回数据也不会显示.
Spider解析函数的代码返回一个简单的字符串.
我如何获得这些数据?我尝试打印“ reactor.run”结果,但始终为“ none”
解决方法:
这是我找到收集物品的方法:
items = []
def add_item(item):
items.append(item)
crawler.signals.connect(add_item, signals.item_passed)
我在链接的问题中给出了原始答案,并提供了更多详细信息:
https://stackoverflow.com/a/23892650/2730032
标签:scrapy-spider,web-scraping,scrapy,twisted,python 来源: https://codeday.me/bug/20191122/2061956.html