Python爬虫精进-第2关博客爬虫

练习介绍

你已经学习了用bs库解析数据和提取数据的方法，只要数据在HTML源代码中，你都可以拿到了。

要求：

爬取博客【人人都是蜘蛛侠】中，《未来已来（四）——Python学习进阶图谱》文章的默认评论（不需要点击下一页），并且打印。

文章链接：https://wordpress-edu-3autumn.localprod.oc.forchange.cn/all-about-the-future_04/

目的：

• 练习获取网页源代码，然后使用BeautifulSoup解析提取数据。
• 实操爬虫的前三个步骤。

python参考解答

'''
Author: Gu Jiakai
Date: 2021-07-12 18:59:24
LastEditTime: 2021-07-12 19:08:20
LastEditors: Gu Jiakai
Description: 
FilePath: \第2关-爬虫初体验\习题再练-博客爬虫.py
'''
#调用requests库。
import requests
#调用BeautifulSoup库。
from bs4 import BeautifulSoup

#文章链接。
url1='https://wordpress-edu-3autumn.localprod.oc.forchange.cn/all-about-the-future_04/'
#返回一个response对象，赋值给res。
res=requests.get(url1)
# bs对象=BeautifulSoup(要解析的文本,'解析器')
# 把网页解析为BeautifulSoup对象。
soup=BeautifulSoup(res.text,'html.parser')
# 通过定位标签和属性提取我们想要的数据。
lst=soup.find_all('div',class_='comment-content')
for ele in lst:
    print(ele.text.strip())
    # Python strip() 方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。

'''
result；
小爷的第三次评论来了
好，好，好，非常好
小爷>纯属测试     
am I the first?   
人人都是蜘蛛侠    
第10个蜘蛛侠      
第9个蜘蛛侠       
第8个蜘蛛侠
第7个蜘蛛侠
第6个蜘蛛侠
第5个蜘蛛侠
第4个蜘蛛侠
第3个蜘蛛侠
第2个蜘蛛侠
第1个蜘蛛侠
'''

标签：精进,Python,res,爬虫,BeautifulSoup,蜘蛛侠,requests
来源： https://blog.csdn.net/qq_46139801/article/details/118682075