收集空气质量数据走的路
作者:互联网
1、先是自己在网上找有这些数据发布的网站,看到最适合的就是绿色呼吸(www.pm25.com)和PM25.in(http://www.pm25.in/),后者甚至直接提供api接口,可以直接调用爬数据,可是被他的各个条例吓到了,直到最近才去申请,不过没有收到回复,而且最近还一直服务器宕机,没法用。只好一点点爬绿色呼吸的数据。然后也爬了数据中心的数据,不过是城市的逐小时数据,不是站点的。
2、但自己爬也只能收集从现在开始的数据,历史数据还是没法获得,只好去找别人要。先是发了邮件给 pm25历史数据(https://www.aqistudy.cn/historydata/)的网站联系人(2019.7.30),不过目前(2019.8.1)没有收到回复。然后又找到了另一个网站,世界空气污染:实时空气质量指数地图(http://aqicn.org/map/world/cn/),这里有超多站点的信息,全球10000+,也有获取数据相应的规则,让你填一个表格(2019.7.31),等待后续,不过目前(2019.8.1)也没有收到回复。
3、虽然才两天没收到回复挺正常,但还是着急,继续找。开始在网上直接搜历史数据,找到了三个有希望的。
第一个是数据网(http://www.shu-ju.net/),有偿提供数据,不过下载的样例数据还是很OK的,就是我要的。
第二个是百度贴吧有个老哥出这个数据,看着也是我需要的格式
第三个是CSDN有个大佬自己做的爬虫系统,很棒,也收集了需要的数据
4、找到了GitHub的大神们做的项目,有一个居然是SRTP做的,膜拜。链接保存如下:
- https://github.com/InLefter/Air_Of_China
- https://github.com/hzexe/openair
- https://github.com/hebingchang/air-in-china
5、在大佬的帮助下,打开了知乎大门,大佬们早就都做过了。知乎链接:https://www.zhihu.com/question/20939327
整理一下我个人觉得有用的:
- 这个是最好的,有所有中国空气质量历史数据(2014/05/13以来),而且现在还在更新,还有中国气象历史数据下载(1942/07以来)链接:http://beijingair.sinaapp.com/
- 好像是哈佛做的一个存档,数据应该是从上面提到的世界空气污染那个网站来的,数据有点乱,不过应该站点超多,时间到2016年,链接:http://aqi.cga.harvard.edu/china/about/
- @塞哥维亚,这个大佬分享的数据也是最新的,也一直在更新,先保存到网盘再说,链接:https://pan.baidu.com/s/1mi2RjrM
- 青悦开放环境数据中心,应该是有偿的:http://data.epmap.org/
标签:www,http,收集,com,https,空气质量,历史数据,数据 来源: https://www.cnblogs.com/tccbj/p/11285635.html