使用pycharm配置scrapy环境

1. 先使用命令行创建一个scrapy项目

scrapy startproject test

2. 再生成一个爬虫

scrapy genspider spider https://news.baidu.com/

3. 用pycharm打开scrapy项目

注意是打开项目目录

4. 配置运行环境

5. 检查下是否切换到虚拟环境

6. 安装scrapy

pip3 install scrapy

7. 在项目目录下创建main.py 作为启动爬虫的脚本

from scrapy import cmdline

cmdline.execute("scrapy crawl spider".split())

8. 下次可以直接执行main.py 即可运行spider

标签：py,配置,spider,cmdline,scrapy,pycharm,main
来源： https://www.cnblogs.com/MartinTai/p/14626458.html