用Python抓取html或

我对我的(微生物学和遗传学)学生提出的论据之一是“数据”杂乱无章,Python可以帮助解决这一问题(其他语言当然也可以).因此,这是一种实用的基于Web的数据收集练习.

我注意到在代表最高的用户中,有人回答Python相关的问题.在自然产生的问题中：

我希望在Stack Overflow上恢复(最高评级的)Pythonistas的当前rep和rep的增加率,以便预测Alex Martelli何时或何时超过Steven Lott或Greg Hewgill？怎么样Konrad Rudolph？因为这些人的增长都被固定在极限之内,这是微不足道的吗？

更一般而言,在没有查询API的情况下(我认为没有),是否有其他方法可以查看页面的网址以查找模式,使用Python加载这些页面然后抓取html？我意识到可能没有通用的方法,但是我对人们如何解决此问题感兴趣.

编辑：@fitzgeraldsteele：通常. SO实际上只是一个(人为)示例.

解决方法:

在Creative Commons许可下,有一个完全可用的Stack Overflow每月可用的“数据转储”,例如here(只是很多链接的第一个“在我的拇指下”-每月至少一个).对于我相对于其他海报发布者的平均每周报告这样的分析,这样每月的数据汇总比屏幕抓取更加有用.

如果您确实希望对某些(其他；-)网站进行屏幕抓取,并且不违反其政策或robots.txt文件,则Python是几个不错的选择之一-从scrapy开始,您将不必例如,要做的所有额外工作.

标签：screen-scraping,python
来源： https://codeday.me/bug/20191210/2100713.html