pyspider使用记录1

1，因为没有人更新了，安装步骤有点烦琐；

2，要改任务的分组，这样多个任务时能方便查看

可以参见这里，https://www.jianshu.com/p/79de51e8113d

3，先pyspider all, 再 localhost:5000

4，

 5，group名可以改，改为delete后会在24内删除此项目。project name不能修改。

6，五个状态：TODO，STOP，CHECKING，DEBUG，RUNNING

TODO是新建项目后的默认状态，不会运行项目．STOP状态是停止状态，也不会运行．CHECHING是修改项目代码后自动变的状态．DEBUG是调试模式，遇到错误信息会停止继续运行，RUNNING是运行状态，遇到错误会自动尝试，如果还是错误会跳过错误的任务继续运行．

7，速度控制。rate是每秒爬取页面数，burst是并发数．如1/3是三个并发，每秒爬取一个页面

8，简单统计。5m是五分钟内任务执行情况，1h是一小时内运行任务统计，1d是一天内运行统计，all是所有的任务统计．

9，运行。run按钮是项目初次运行需要点的按钮，这个功能会运行项目的on_start方法来生成入口任务

10，ActiveTasks，显示最新任务列表，方便查看状态，查看错误

11，Results，查看项目爬取结果

标签：状态,查看,记录,项目,爬取,任务,使用,pyspider,运行
来源： https://www.cnblogs.com/yansc/p/15880697.html