多个scrapy同时执行
作者:互联网
项目中单机使用shell脚本进行多个scrapy命令的运行,即同个shell进行多个scrapy命令的执行,这样会大大提高爬取效率,好好利用CPU使用率
在shell命令行一次执行多个scrapy命令,可以有三种方式:
(一)每个命令之间用 ; 隔开
scrapy crawl a;scrapy crawl b
(二)每个命令之间用 && 隔开
前面的命令执行成功后,才会执行后面的命令。这样就可以保证所有的命令执行成功了 。 与的意思
scrapy crawl a && scrapy crawl b
(三) 每个命令之间用 || 或者是 |隔开
|| 也是或的意思,但是这里是只有前面的命令执行失败后,我才会进行下一条的命令执行,直到执行成功为止。
shell的管道就是这个原理,比如我们打log,将错误日志输出到某个log上用的就是这个原理
cd /home/admin/123 || echo "error123"
总结:
虽然上面三种情况列出来了,但是我们这里使用第一种方式:
scrapy crawl a;scrapy crawl b
标签:shell,多个,命令,scrapy,执行,crawl,隔开 来源: https://www.cnblogs.com/yoyowin/p/12658937.html