Python爬取天气情况
作者：互联网
一.设计方案
爬虫名称：爬取天气情况并进行可视化
爬虫内容：爬取2020年3月份莆田市天气情况
爬虫设计：目标url，获取网页源代码，数据提取，数据保存
二.页面的结构特征分析（网址：http://www.tianqihoubao.com/lishi/putian/month/202003.html）
结构特质分析：源文件为html结构
页面解析以及节点查找
找到节点为<table width="100%" class="b" border="0" cellspacing="1" cellpadding="1">
三.爬虫程序
数据爬取与采集
import requests
from bs4 import BeautifulSoup
#目标url
url = 'http://www.tianqihoubao.com/lishi/putian/month/202003.html'
#获取网页源代码
resp = requests.get(url)
html = resp.content.decode('gbk')
#数据提取
soup = BeautifulSoup(html,'html.parser')
tr_list = soup.find_all('tr')
print(tr_list)
结果如图（部分截取）
数据处理
dates,conditions,temp = [],[],[]
for data in tr_list[1:]:
sub_data = data.text.split()
dates.append(sub_data[0])
conditions.append(''.join(sub_data[1:3]))
temp.append(''.join(sub_data[3:6]))
_data = pd.DataFrame()
_data['日期'] = dates
_data['天气情况'] = conditions
_data['气温'] = temp
print(_data)
结果如图
数据可视化
#数据可视化
from matplotlib import pyplot as plt
#显示中文
plt.rcParams['font.sans-serif'] = ['SimHei']
#显示负号
plt.rcParams['axes.unicode_minus'] = False
data = pd.read_csv('putian.csv')
#数据处理
data['最高气温'] = data['气温'].str.split('/',expand=True)[0]
data['最低气温'] = data['气温'].str.split('/',expand=True)[1]
data['最高气温'] = data['最高气温'].map(lambda x:int(x.replace('℃','')))
data['最低气温'] = data['最低气温'].map(lambda x:int(x.replace('℃','')))
dates = data['日期']
highs = data['最高气温']
lows = data['最低气温']
#画图
fig = plt.figure(dpi=128,figsize=(10,6))
plt.plot(dates,highs, c='red',alpha=0.5)
plt.plot(dates,lows, c='blue',alpha=0.5)
plt.fill_between(dates,highs,lows,facecolor='blue',alpha=0.2)
#图表格式
#设置图形格式
plt.title('2020年三月份天气',fontsize=24)
plt.xlabel('',fontsize=6)
fig.autofmt_xdate() #绘制斜的日期标签，避免重叠
plt.ylabel('气温',fontsize=12)
plt.tick_params(axis='both',which='major',labelsize=10)
#修改刻度
plt.xticks(dates[::1])
#显示折线图
plt.show()
结果如图
最高气温与最低气温的相关系数及两者的散点图与回归方程
相关系数
#绘制散点图以及回归方程 #计算相关系数 X = highs Y = lows X.corr(Y)
结果如图
散点图
#散点图
plt.title('2020年三月份最高温与最低温散点图',fontsize=20)
x = highs
y = lows
plt.xlabel('最高温度',fontsize=12)
plt.ylabel('最低温度',fontsize=12)
plt.scatter(x,y,color='purple',linewidth=2)
plt.show()
结果如图
回归方程
#回归方程
import numpy as np
from scipy.optimize import leastsq
X = np.array(highs)
Y = np.array(lows)
def func(params, x):
k, b = params
return k*x+b
def error(params,x,y):
return func(params,x) - y
def main():
plt.figure(figsize=(10,6))
p0 = [0,0]
Para = leastsq(error, p0, args=(X,Y))
k, b = Para[0]
print("k={:.2f},b={:.2f}".format(k,b))
plt.scatter(X,Y,color='green',label='样本数据',linewidth=2)
#画拟合曲线
x = np.linspace(1,30,30)
y = k*x+b
plt.plot(x,y,color='red',label='拟合曲线',linewidth=2)
plt.title('2020年三月分最低温与最高温光系图')
plt.grid()
plt.legend()
plt.show()
main()
结果如图
数据持久化
fig = plt.gcf()
plt.show()
fig.savefig('putian.png', dpi=100)
结果如图
整理后的完整代码
1 import requests
2 import pandas as pd
3 from bs4 import BeautifulSoup
4 #目标url
5 url = 'http://www.tianqihoubao.com/lishi/putian/month/202003.html'
6 #获取网页源代码
7 resp = requests.get(url)
8 html = resp.content.decode('gbk')
9 #数据提取
10 soup = BeautifulSoup(html,'html.parser')
11 tr_list = soup.find_all('tr')
12
13 dates,conditions,temp = [],[],[]
14 for data in tr_list[1:]:
15 sub_data = data.text.split()
16 dates.append(sub_data[0])
17 conditions.append(''.join(sub_data[1:3]))
18 temp.append(''.join(sub_data[3:6]))
19 _data = pd.DataFrame()
20 _data['日期'] = dates
21 _data['天气情况'] = conditions
22 _data['气温'] = temp
23 _data.to_csv('putian.csv',index=False,encoding='utf-8')#去掉索引以及避免乱码
24
25 #数据可视化
26 from matplotlib import pyplot as plt
27 #显示中文
28 plt.rcParams['font.sans-serif'] = ['SimHei']
29 #显示负号
30 plt.rcParams['axes.unicode_minus'] = False
31 data = pd.read_csv('putian.csv')
32 #数据处理
33 data['最高气温'] = data['气温'].str.split('/',expand=True)[0]
34 data['最低气温'] = data['气温'].str.split('/',expand=True)[1]
35 data['最高气温'] = data['最高气温'].map(lambda x:int(x.replace('℃','')))
36 data['最低气温'] = data['最低气温'].map(lambda x:int(x.replace('℃','')))
37
38 dates = data['日期']
39 highs = data['最高气温']
40 lows = data['最低气温']
41
42 #画图
43 fig = plt.figure(dpi=128,figsize=(10,6))
44
45 plt.plot(dates,highs, c='red',alpha=0.5)
46 plt.plot(dates,lows, c='blue',alpha=0.5)
47
48 plt.fill_between(dates,highs,lows,facecolor='blue',alpha=0.2)
49
50 #图表格式
51 #设置图形格式
52 plt.title('2020年三月份天气',fontsize=24)
53 plt.xlabel('',fontsize=6)
54 fig.autofmt_xdate() #绘制斜的日期标签，避免重叠
55 plt.ylabel('气温',fontsize=12)
56 plt.tick_params(axis='both',which='major',labelsize=10)
57
58 #修改刻度
59 plt.xticks(dates[::1])
60
61 #显示折线图
62 plt.show()
63
64 #绘制散点图以及回归方程
65 #计算相关系数
66 x = highs
67 y = lows
68 x.corr(y)
69
70 #散点图
71 plt.title('2020年三月份最高温与最低温散点图',fontsize=20)
72 x = highs
73 y = lows
74 plt.xlabel('最高温度',fontsize=12)
75 plt.ylabel('最低温度',fontsize=12)
76 plt.scatter(x,y,color='purple',linewidth=2)
77 plt.show()
78
79 #回归方程
80 import numpy as np
81 from scipy.optimize import leastsq
82 X = np.array(highs)
83 Y = np.array(lows)
84 def func(params, x):
85 k, b = params
86 return k*x+b
87 def error(params,x,y):
88 return func(params,x) - y
89 def main():
90 plt.figure(figsize=(10,6))
91 p0 = [0,0]
92 Para = leastsq(error, p0, args=(X,Y))
93 k, b = Para[0]
94 print("k={:.2f},b={:.2f}".format(k,b))
95 plt.scatter(X,Y,color='green',label='样本数据',linewidth=2)
96 #画拟合曲线
97 x = np.linspace(1,30,30)
98 y = k*x+b
99 plt.plot(x,y,color='red',label='拟合曲线',linewidth=2)
100 plt.title('2020年三月分最低温与最高温光系图')
101 plt.grid()
102 plt.legend()
103 plt.show()
104 main()
105
106 #数据持久化
107 fig = plt.gcf()
108 plt.show()
109 fig.savefig('putian.png', dpi=100)
完整运行结果如图
四.结论
1.2020年3月份莆田每日温差较大，且呈现出逐渐上升趋势，每日最高温度与最低温度相关性也较大，且进行数据可视化后可以更为直观明了的观察，而三月份最低温度也在10摄氏度左右，可以看出是一个很适合居住的城市。
2.本次程序设计任务，我选择的是爬取天气后报网，课题是爬取3月份的天气情况，并不是天气预报，对于这个网址的爬取相对简单，首先它是一个静态网页，其次节点也相当好找，而且爬虫部分也不需要伪装，可以说是一个相对简单的课题。但是不可否认的是，在程序设计过程中出现了较多问题，如基础不扎实，一部分报错无法看懂，在数据处理时将列表改为整形数据时遇到了困难，进行了大量尝试才最终成功，又如在数据可视化过程中遇到了纵坐标数据出现乱序，而找不出原因，又进行了大量的尝试，再如最后阶段的数据持久化，初看认为很简单，却也让我大费脑筋，更让我认识的自己的基本功之不扎实，但相较于上一次作业而言，完成度相对较高，基本完成了任务目标。
以上。
标签：dates,plt,Python,天气情况,highs,爬取,fontsize,lows,data 来源： https://www.cnblogs.com/gx12/p/12770728.html