python – 在beautifulsoup的上下文中lxml和html5lib之间的区别

在beautifulsoup的上下文中,lxml和html5lib解析器的功能有区别吗？我正在尝试学习使用BS4并使用以下代码构造 –

ret = requests.get('http://www.olivegarden.com')
soup = BeautifulSoup(ret.text, 'html5lib')
for item in soup.find_all('a'): 
    print item['href']

我开始使用lxml作为解析器,但注意到对于某些网站,即使页面中有有效链接,也永远不会输入for循环.同一页面适用于html5ib解析器.是否有任何特定类型的页面可能无法与lxml一起使用？

我在Ubuntu上使用python-lxml 2.3.2-1和libxml2 2.7.8.dfsg-5.1ubunt
和html5lib-1.0b3

编辑：我更新到lxml 3.1.2仍然看到相同的问题.在运行3.0.x的mac上,正在正确解析同一页面.有问题的网站是www.olivegarden.com

解决方法:

html5lib使用HTML规范中定义的HTML parsing algorithm,并在所有主流浏览器中实现. lxml使用libxml2的HTML解析器 – 这最终基于他们的XML解析器,并且不会对其他地方使用的无效HTML进行任何错误处理.

大多数Web开发人员只使用Web浏览器进行测试 – 标准被诅咒 – 所以如果您想获得页面作者的意图,您可能需要使用类似于当前浏览器的html5lib,

标签：python,lxml,beautifulsoup,html5lib
来源： https://codeday.me/bug/20190612/1227955.html