首页 > TAG信息列表 > phpspider
phpspider爬虫框架的使用
这几天使用PHP的爬虫框架爬取了一些数据，发现还是挺方便的，先上爬虫框架的文档 phpspider框架文档 使用方法其实在文档中写的很清楚而且在demo中也有使用示例，这里放下我自己的代码做个笔记 <?phpinclude "./autoloader.php";use phpspider\core\phpspider;/* Do NOT delete this com利用phpspider爬取网站数据
本文实例原址：PHPspider爬虫10分钟快速教程 在我们的工作中可能会涉及到要到其它网站去进行数据爬取的情况，我们这里使用phpspider这个插件来进行功能实现。 1、首先，我们需要php环境，这点不用说。 2、安装composer，这个网上教程很多，这里不多做赘述，一面显得篇幅太长。 3、利用composer进简单使用phpspider采集本博客文章内容
采集流程 根据链接获取页面内容(curl)->获取需要采集的内容（可以通过正则、xpath、css选择器等方法进行筛选） <?phprequire_once 'phpspider/autoloader.php';use phpspider\core\phpspider;use phpspider\core\requests;use phpspider\core\selector;/* Do NOT delete this commentthinkphp5.1 使用第三方扩展类库
此案例介绍的不是通过composer加载的，是手工下载放入extend目录下的扩展类库，仍然以phpspider为例 将owner888目录放入extend目录下，也可以直接将phpspider目录放入extend目录，这里仍然用owner88为例是为了认清和composer的区别 在需要使用的地方加上如下代码即可： use owner888\phpspi