轻轻学爬虫—scrapy框架巧用5—猴子偷桃（1）
作者：互联网
# 轻轻学爬虫—scrapy框架巧用5—猴子偷桃（1）
上节课讲了爬虫启动过程，相信大家对框架有了一些认识，今天我们来讲爬虫分支，解析页面。
我们把一个桃树比作我们抓的数据，但是只有书上的桃子使我们需要的，其他的数据我们不要，我们该如何拿这些桃子呢？
这就用到了我们解析神器—美丽的汤。
## Beautiful Soup
Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库。
## 安装
目前Beautiful Soup更新到了第四个版本。用下面命令安装
```python
pip install bs4
```
安装好之后我们就可以使用了。
我们有一个html文件。
```python
html_doc = """
The Dormouse's story
<body>
The Dormouse's story
<body>
```
## Name
每个tag都有自己的名字,通过 `.name` 来获取:
```
print(tag.name)
# b
```
如果改变了tag的name,那将影响所有通过当前Beautiful Soup对象生成的HTML文档:
```python
tag.name = "blockquote"
print(tag)
#
The Dormouse's story
Once upon a time there were three little sisters; and their names were Elsie, Lacie and Tillie; and they lived at the bottom of a well.
...
""" ``` 这个文件不是标准，我们先将文件进行标准化。标准化我们要将html文件解析，解析我们有两个常用的解析库。 ## 解析库 | 解析器 | 使用方法 | 优势 | 劣势 | | ---------------- | -------------------------------------- | -------------------------------------------- | ----------------------------------------------- | | Python标准库 | `BeautifulSoup(markup, "html.parser")` | Python的内置标准库执行速度适中文档容错能力强 | Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差 | | lxml HTML 解析器 | `BeautifulSoup(markup, "lxml")` | 速度快文档容错能力强 | 需要安装C语言库 | 第一个是系统自带的，第二个库是三方库我们需要安装。用下面命令即可安装。 ``` pip install lxml ``` 我们这里先用标准库进行解析。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_doc, 'html.parser') soup.prettify() print(soup) #得到下面结构化的html ""“The Dormouse's story
Once upon a time there were three little sisters; and their names were Elsie , Lacie and Tillie ; and they lived at the bottom of a well.
...
""" ``` Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象。 ## Tag ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_doc, 'html.parser') soup.prettify() tag = soup.b print(tag) print(type(tag)) # The Dormouse's story #The Dormouse's story``` 由于bs4内容过多这里只讲一部分知识。欢迎小伙伴收藏防止走丢。 码字不易，欢迎大家在评论区留言，收藏。或者加入[群聊](https://jq.qq.com/?_wv=1027&k=vH00muGu)一起进步学习。