其他分享
首页 > 其他分享> > 轻轻学爬虫—scrapy框架巧用5—猴子偷桃(1)

轻轻学爬虫—scrapy框架巧用5—猴子偷桃(1)

作者:互联网

# 轻轻学爬虫—scrapy框架巧用5—猴子偷桃(1) 上节课讲了爬虫启动过程,相信大家对框架有了一些认识,今天我们来讲爬虫分支,解析页面。 我们把一个桃树比作我们抓的数据,但是只有书上的桃子使我们需要的,其他的数据我们不要,我们该如何拿这些桃子呢? 这就用到了我们解析神器—美丽的汤。 ## Beautiful Soup Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库。 ## 安装 目前Beautiful Soup更新到了第四个版本。用下面命令安装 ```python pip install bs4 ``` 安装好之后我们就可以使用了。 我们有一个html文件。 ```python html_doc = """ The Dormouse's story <body>

The Dormouse's story

Once upon a time there were three little sisters; and their names were Elsie, Lacie and Tillie; and they lived at the bottom of a well.

...

""" ``` 这个文件不是标准,我们先将文件进行标准化。标准化我们要将html文件解析,解析我们有两个常用的解析库。 ## 解析库 | 解析器 | 使用方法 | 优势 | 劣势 | | ---------------- | -------------------------------------- | -------------------------------------------- | ----------------------------------------------- | | Python标准库 | `BeautifulSoup(markup, "html.parser")` | Python的内置标准库执行速度适中文档容错能力强 | Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差 | | lxml HTML 解析器 | `BeautifulSoup(markup, "lxml")` | 速度快文档容错能力强 | 需要安装C语言库 | 第一个是系统自带的,第二个库是三方库我们需要安装。用下面命令即可安装。 ``` pip install lxml ``` 我们这里先用标准库进行解析。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_doc, 'html.parser') soup.prettify() print(soup) #得到下面结构化的html ""“ The Dormouse's story <body>

The Dormouse's story

Once upon a time there were three little sisters; and their names were Elsie , Lacie and Tillie ; and they lived at the bottom of a well.

...

""" ``` Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象。 ## Tag ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_doc, 'html.parser') soup.prettify() tag = soup.b print(tag) print(type(tag)) # The Dormouse's story # ``` ## Name 每个tag都有自己的名字,通过 `.name` 来获取: ``` print(tag.name) # b ``` 如果改变了tag的name,那将影响所有通过当前Beautiful Soup对象生成的HTML文档: ```python tag.name = "blockquote" print(tag) #
The Dormouse's story
``` 由于bs4内容过多这里只讲一部分知识。欢迎小伙伴收藏防止走丢。 码字不易,欢迎大家在评论区留言,收藏。或者加入[群聊](https://jq.qq.com/?_wv=1027&k=vH00muGu)一起进步学习。

标签:story,偷桃,tag,爬虫,BeautifulSoup,Dormouse,soup,scrapy,html
来源: https://blog.51cto.com/u_15241290/2935046