其他分享
首页 > 其他分享> > scrapy创建爬虫项目

scrapy创建爬虫项目

作者:互联网

1. 创建项目: scrapy startproject 项目名
2. 创建爬虫: cd 项目名
scrapy genspider 爬虫名 爬虫起始url
3. 启动爬虫: scrapy crawl 爬虫名
4. 启动爬虫并保存日志: scrapy crawl 爬虫名 -s LOG_FILE=日志名.log
5. 利用scrapy的工具调试某个页面: scrapy shell url地址

标签:url,创建,爬虫,scrapy,日志,crawl
来源: https://www.cnblogs.com/sophia201552/p/11725833.html