爬虫之lxml库

lxml库（我们将html页面获取后存放在content中，获取的内容仅仅是一个包含所有内容的html字符串，但是Xpath语法是无法直接作用于这样一个字符串进行数据提取的，因此我们用lxml库对所获取的html这样的字符串进行解析，将它还原为一个html页面。即：lxml库只做了一件事就是将html字符串进行解析，供Xpath语法进行数据提取）
1、【etree.HTML()】：lxml中用etree对html进行解析，利用etree.HTML将字符串解析为HTML文档
2、【etree.tostring()】：由于解析出来的文档是一个element类型的文档，无法直接打印，所以得用etree.tostring()对文档进行编码与解码，进而才可以输出它的内容（即：不能用print直接输出第一步解析的HTML文档）
例：

text=\
"""
     ......
"""


from lxml import etree
html=etree.HTML(text)                    #解析网页
print(html)                              #无法得到我们的要的内容
result=etree.tostring(html,encoding='utf-8').decode('utf-8')                 #encoding='utf-8'表示对字符串进行编码，decode='utf-8'表示对字符串进行解码
print(result)

3、【etree.parse()】：（解析器）利用parse函数将html文件导入并解析（如下），但是在某一些情况下，直接使用parse解析会报错，会存在页面的标签缺失不够规整的情况，原因是我们默认使用的是xml解析器，当它计息html页面时，会造成一定错误（如下）

html=etree.parse(r"c://user/hongc/Desktop/baidu.html")
result=etree.tostring(html,encoding='utf8').decode('utf8')
print(result)
#出错

#此时就需要我们自定义一个解析器（如下）
parser=etree.HTMLParser(]encoding='utf8')
html=etree.parse(r'c://user/hongc/Desktop/baidu.html',parser=parser)                 #解析html
result=etree.tostring(html,encoding='utf8').decode('utf8')                                          #对html进行编码并打印（展示）
print(reselt)

4、两种解析html方式：
①发送请求------>html（字符串）------->利用etree解析html获得一个真正的html------>可以使用xpath了
②将网页另存下来------>利用parse进行解析----->得到真正的html----->可以使用xpath了

这只是在简单爬虫中运用到的最最基本的lxml相关知识哦

标签：lxml,etree,爬虫,parse,html,字符串,解析
来源： https://blog.csdn.net/qq_52669357/article/details/121357492