设置可以在Google App引擎上运行的python屏幕抓取工具
作者：互联网
我想设置一个自动的屏幕抓取工具,该工具将在使用python的Google App引擎上运行.我希望它抓取网站并将指定的结果放入App Engine中的Entity中.我正在寻找使用说明.我见过beautifulsoup,但想知道人们是否可以推荐其他可以在Google App引擎上运行的东西.
解决方法:
Beautifulsoup在App Engine上运行良好(只需确保使用3.0.8,而不是iffy 3.1.0).我认为主要的替代方法是html5lib-我尚未在App Engine上尝试过,但我认为它确实可以在其中运行(相当慢-如果这是一个问题,我认为您需要坚持使用BeautifulSoup),例如this service在App Engine上运行,并基于html5lib.
标签：google-app-engine,screen-scraping,python 来源： https://codeday.me/bug/20191024/1918602.html