其他分享
首页 > 其他分享> > 爬虫框架的安装pyspider和Scrapy

爬虫框架的安装pyspider和Scrapy

作者:互联网

pyspider是国人binux编写的强大的网络爬虫框架,它带有强大的WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器,同时支持多种数据库后端、多种消息队列,另外还支持JavaScript渲染页面的爬取,使用起来非常方便,

准备工作pyspider是支持JavaScript渲染的,而这个过程是依赖于PhantomJS的,所以还需要安装PhantomJS

pip安装

pip3 install pyspider

验证安装

安装完成之后,可以直接在命令行下启动pyspider:

pyspider all

这时pyspider的Web服务就会在本地5000端口运行。直接在浏览器中打开http//ocalhost:5000/,即可进入pyspider的WebUI管理页面,

报错

pip3 install pycurl

=====================================================================

Scrapy的安装

Scrapy是一个十分强大的爬虫框架,依赖的库比较多,至少需要依赖的库有Twisted 14.0,lxml 3.4和pyOpenSSL 0.14,在不同的平台环境下,它所依赖的库也各不相同,所以在安装之前,最好确保把一些基本库安装好。

在Ubuntu,Debian和Deepin平台下,首先确保一些依赖库已经安装,运行如下命令:

sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev

然后利用pip安装Scrapy即可:

pip3 install Scrapy

验证安装

安装之后,在命令行下输入

scrapy

标签:pip3,爬虫,dev,Scrapy,install,pyspider,安装
来源: https://blog.csdn.net/qq_43048316/article/details/112076134