如何爬取百度热榜

首先是设计方案

一、设计方案

1.爬虫名称：爬取百度热榜

2.爬取内容：爬取网页热搜排名，标题，热度值。

3.方案概述：访问网页得到状态码200，分析网页源代码，找出所需要的的标签，逐个提取标签保存到相同路径csv文件中，读取改文件，进行数据清洗，数据模型分析，数据可视化处理，绘制分布图，用最小二乘法分析两个变量间的二次拟合方程和绘制拟合曲线。

技术难点：做数据分析，即求回归系数，因为标题是文字，无法与数字作比较，需要把标题这一列删除才可。由于不明原因，输出结果经常会显示超出列表范围。

二、主题页面的结构特征分析

1.主题页面的结构与特征分析：发现前三的排名标签是‘span.num-top’ 第四名开始的标签又是‘span.num-normal’，所以找统一的标签，即' td.first '.标题标签为' a.list-title '.热度标签 ' span.icon-rise '.

2.页面解析：

标签：span,标签,标题,爬取,热榜,百度
来源： https://blog.51cto.com/u_11208931/2772644