scrapy命令行

以下均需cd到具体目录下执行

1. 创建项目：scrapy startproject [项目名]

2. 生成爬虫：scrapy genspider +文件名+网址 也就是命令行生成zufang_spider.py文件
   例如: scrapy genspider maitian maitian.com

3. 运行：scrapy crawl +爬虫名称 即爬虫文件中name的值
   保存为json格式：scrapy crawl zufang -o zufang.json
   保存为csv格式：scrapy crawl zufang -o zufang.csv

4. check检查错误：scrapy check

5. list返回项目所有spider名称：scrapy list

6. view 存储、打开网页：scrapy view https://www.baidu.com

7. scrapy shell,进入终端：scrapy shell https://www.baidu.com

标签：www,zufang,crawl,爬虫,scrapy,命令行,com
来源： https://www.cnblogs.com/wuweixiong/p/12804025.html