pyspider框架介绍
作者：互联网
一、简介
pyspider是由国人binux编写的强大的网络爬虫系统，其github地址为：https://github.com/binux/pyspider,官方文档地址为：http://docs.pyspider.org/
pyspider带有强大的WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器，它支持多种数据库后端、多种消息队列、JavaScript渲染页面的爬取，使用起来非常方便。
二、基本功能
1、提供方便易用的WebUI系统，可视化的编写和调试爬虫。
2、提供爬取进度监控、爬取结果查看、爬虫项目管理功能。
3、支持多种后端数据库，如Mysql、MongoDB、Redis、SQLiite、Elasticsearch、PostgreSQL。
4、支持多种消息队列，如RabbitMQ、Beanstalk、Redis、Kombu。
5、提供优先级控制、失败重试、定时抓取等功能。
6、对接了PhantomJS，可以抓取JavaScript 渲染的页面。
7、支持单机和分布式部署，支持Docker部署。
三、与Script的比较
1、pyspider提供了WebUI，爬虫的编写、调试都是在WebUI中进行的。而Script原生是不具备这个功能的，它采用的是代码和命令的操作，但可以通过对接Portia实现可视化配置。
2、
标签：框架,爬虫,支持,爬取,介绍,编写,pyspider,WebUI 来源： https://www.cnblogs.com/lxmtx/p/14458772.html