scrapy简单命令行

scrapy简单命令行

1、创建爬虫项目
Scrapy startproject mingzi

2、在spiders目录下创建新的爬虫文件
Scrapy genspider mingzi + “域名 ”

3、测试爬虫文件
Scrapy check 爬虫名字

4、运行爬虫文件
Scrapy crawl 爬虫名字

5、输出json格，默认为unicode
Scrapy crawl pic –o pic.json

6、输出json lines格，默认为unicode
Scrapy crawl pic –o pic.jsonl

7、输出csv格式,可用Excel打开
Scrapy crawl pic –o pic.csv

8、输出xml格式
Scrapy crawl pic –o pic.xml

标签：输出,crawl,pic,爬虫,json,scrapy,命令行,简单,Scrapy
来源： https://www.cnblogs.com/mrfanqie/p/lianjiaproject_04.html