scrapy将爬取到的数据存入elasticsearch

pip安装 elasticsearch-dsl的包, 是elasticsearch提供给python 的接口

if __name__  == "__main__":

这个用来调试,还是很强大的,可以直接为某个py文件进行单元测试??应该是这么个意思

自己生成一个 models的文件夹用来存放类定义,和Django差不多,这样结构比较好

然后为每一个爬虫都定义它的类, 通过定义类,和scrapy中的item是对应的,然后调用 init方法,就可以实现创建索引了

同样是在这里面设置需要连接的elastic的服务器, 而且这里可以设置多个服务器,更详细的设置应该也是可以的,但是还没有讲到

这样如果需要修改某个字段的类型或者重新设置类,直接修改完重新init一下就可以了

标签：__,定义,init,取到,scrapy,elasticsearch,设置
来源： https://www.cnblogs.com/zdj8023/p/10899126.html