python核心教程:scrapyd和scrapydweb使用详细教程
作者:互联网
Ⅰ、首先要搞清楚几个概念
1、scrapy是什么?
一个爬虫框架,你可以创建一个scrapy项目
2、scrapyd是什么?
相当于一个组件,能够将scrapy项目进行远程部署,调度使用等
因此scrapyd可以看作一个cs(client-server)程序,因此毫无疑问我们需要安装和配置scrapyd(server)
和连接的scrapy-client(client)
3、scrapydweb是什么?
是一个基于scrapyd的可视化组件,集成并且提供更多可视化功能和更优美的界面
总结:三者如同葫芦套娃,总共三层
II、安装scrapy和创建一个scrapy项目
安装scrapyd和scrapyd-client和配置
1、安装
pip install scrapyd
pip install scrapy-client
安装完成后,在cmd中启动命令
scrapyd
在浏览器中输入:http://localhost:6800/,如果出现下面界面则表示启动成功(不要关闭cmd,后面步骤还需要)
2、配置
①配置scrapy项目
打开scrapy项目,有个scrapy.cfg文件,按如下进行配置
②上传scrapy项目
将你的scrapy-deploy文件复制到与scrapy.cfg文件同一目录,scrapy-deploy文件位于你python环境下的scripts文件夹中
然后在cmd中进入你的scrapy项目目录,输入
安装scrapydweb
(开源地址:https://github.com/my8100/files/blob/master/scrapydweb/README_CN.md)
写到这里给大家推荐python学习交流裙:913###066口口口266
1、安装
pip install scrapydweb
运行(前提是scrapyd服务器必须处于运行状态)
scrapyweb
如果出现下面可视化界面,表示安装成功
注意:如果出现6801端口无法连接,这个是因为你没有配置集群环境,不用担心
2、配置
(基本上使用默认的就行,根据需要配置)
配置文件在你当前启动scrapydweb路径下,scrapydweb_settings_v10.py,只有两处需要配置。
①第一处就是username和password,如果是远程的服务器的话,建议开启认证
②第二处是项目路径(这里是scrapydweb比较方便的地方,不用事先将项目先上传到scrapyd服务器,scrapydweb能够帮我们上传)
3、重启并开始管理
①重启
scrapydweb
②开始可视化管理
haoxun03 发布了6 篇原创文章 · 获赞 0 · 访问量 1085 私信 关注标签:scrapydweb,教程,python,配置,scrapy,client,安装,scrapyd 来源: https://blog.csdn.net/haoxun03/article/details/104149882