其他分享
首页 > 其他分享> > web scraper

web scraper

作者:互联网

最近想做个基于公交站点的空间通达性研究。
主要三个内容:一 公交站点数据获取,包括公交站点名称,路线,站点经纬度。淘宝上有卖的,想自己建立。二是数据基础上的分析。三是分析结果的可视化。

  1. 公交站点获取上,学习了如何用web scraper来爬取。
    [https://blog.csdn.net/biggbang/article/details/86251526](web scraper的基本介绍)
    爬取的数据是默认排序的,而不是根据爬取顺序排序,这时候需要将web scraper的默认本地数据库转换为couchDB。[https://www.cnblogs.com/web-scraper/p/web-scraper-couchdb.html]
    最新的web scraper版本无法选择couchDB数据库,需要安装0.4.x或以前的web scraper版本。
    这个couchDB经常无法启动,表现为web scraper无法创建新的sitemap。目前的解决办法:1 运行-services.msc,找到couchDB并重新启动。2 web scraper选项选本地数据库,再重新选择couchDB。
    web scraper较为全面的介绍[https://www.cnblogs.com/web-scraper/p/web-scraper-learn.html]
    很多资源在卤蛋实验室。
    2.公交站点经纬度的下载
    目前是使用https://www.bilibili.com/video/av80398402/。但无法用爬虫实现,只能手动切换线路。可否显示公交线路,再用爬虫爬取?

标签:web,公交站点,couchDB,scraper,爬取,https
来源: https://www.cnblogs.com/haolc/p/13908497.html