其他分享
首页 > 其他分享> > 山东省技能兴鲁大数据赛项

山东省技能兴鲁大数据赛项

作者:互联网

一、大数据平台组件搭建。
要求在Hadoop集群上搭建1.6.3版本的Spark分布式集群。(提示如下,注意每一步骤的代码与结果需截图在报告中体现)
1.Spark安装包处理,解压到/usr/local目录下,在master节点通过命令“wget -P /opt http://datasrc.tipdm.net:81/bigdata/spark/software/spark-1.6.3-bin-hadoop2.6.tgz”进行获取。
2.Spark配置文件修改(spark-env.sh、slaves、spark-default.conf),配置要求为:以master为主节点,Spark Master端口号为7077,Worker使用计算资源为单核512m,Executor使用计算资源为单核512m,限制每台机器只能有一个worker,spark日志相关信息与事件日志的保存路径均设置为HDFS文件系统上的/spark-logs。
3.子节点同步。
4.创建spark-default.conf配置文件中指定的Spark日志存放目录。
5.修改环境变量,并使其生效。
6.确保Hadoop集群已开启。
7.启动Spark集群。
8.查看Spark监控界面,确认集群部署状态无误。
【答案】
(1)解压安装包到/usr/local下。
tar -zxf /opt/spark-1.6.3-bin-hadoop2.6.tgz -C /usr/local
(2)进入/usr/local/spark-1.6.3-bin-hadoop2.6/conf。
cd /usr/local/spark-1.6.3-bin-hadoop2.6/conf
(3)配置spark-env.sh文件,复制spark-env.sh.template文件,重命名为spark-env.sh。
cp spark-env.sh.template spark-env.sh

在文件末尾配置如下内容:

export JAVA_HOME=/usr/lib/jvm/java
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop/
export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=512m
export SPARK_WORKER_CORES=1
export SPARK_EXECUTOR_MEMORY=512m
export SPARK_EXECUTOR_CORES=1
export SPARK_WORKER_INSTANCES=1
(4)配置slaves文件,复制slaves.template文件,重命名为slaves。
cp slaves.template slaves

在文件中配置如下内容:

slave1
slave2
(5)配置spark-defaults.conf文件,复制spark-defaults.conf.template文件,重命名为spark-defaults.conf。
cp spark-defaults.conf.template spark-defaults.conf

在配置文件中添加如下内容:

spark.master spark://master:7077
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:8020/spark-logs
spark.history.fs.logDirectory hdfs://master:8020/spark-logs
(6)将配置好的Spark目录同步到子节点。
scp -r /usr/local/spark-1.6.3-bin-hadoop2.6/ slave1:/usr/local
scp -r /usr/local/spark-1.6.3-bin-hadoop2.6/ slave2:/usr/local
(7)创建spark-logs目录
hdfs dfs -mkdir /spark-logs
(8)修改环境变量,在各节点的/etc/profile下添加Spark对应路径。
export SPARK_HOME=/usr/local/spark-1.6.3-bin-hadoop2.6
export PATH= P A T H : PATH: PATH:SPARK_HOME/bin
运行“source /etc/profile”使配置生效。D
(9)jps检查三个节点是否已开启Hadoop集群,未开启则在master通过命令开启。
$HADOOP_HOME/sbin/start-all.sh
(10)启动Spark集群
/usr/local/spark-1.6.3-bin-hadoop2.6/sbin/start-all.sh
(11)在浏览器查看,检查能否正常监控,两个子节点状态是否与要求一致。
http://master:8080

二、编程学习网站题目爬取。
1.访问菜鸟教程(https://www.runoob.com),爬取其Python3实例模块的题目内容,要求输出格式如下图所示。

【答案】
import requests
from lxml import etree
import time

获取题目链接

url = ‘https://www.runoob.com/python3/python3-examples.html’
web_data = requests.get(url)
dom = etree.HTML(web_data.text, etree.HTMLParser(encoding=‘utf-8’)) # 网页解析
exerciseList= dom.xpath(’//div[@id=“content”]/ul/li/a/text()’) # 练习题名称
urlList= dom.xpath(’//div[@id=“content”]/ul/li/a/@href’) # 练习题超链接
urlList = [’/python3/’+i if ‘/python3/’ not in i else i for i in urlList ]
urlList = [‘https://www.runoob.com’ + i if ‘www.runoob.com/’ not in i else ‘https:’+i for i in urlList]

exerciseString = ‘\n’.join(exerciseList) # 将练习题名称拼接成一个字符串
with open(‘exercisePython.txt’, ‘w’) as f:
f.write(exerciseString)
#爬取题目数据及整理写出
resultList = []
for url in urlList:
web_data = requests.get(url)
dom = etree.HTML(web_data.text, etree.HTMLParser(encoding=‘utf-8’)) # 网页源码解析
# 获取题目及答案
title = dom.xpath(‘string(//div[@id=“content”]/h1)’) # 练习题名称
content = dom.xpath(‘string(//div[@id=“content”]/p[2])’) # 练习题描述内容
code = dom.xpath(‘string(//div[@id=“content”]//div[@class=“example”]//div[@class=“hl-main”])’) # 练习题答案
result = dom.xpath(‘string(//div[@id=“content”]/p[3])’) # 结果描述
output = dom.xpath(‘string(//div[@id=“content”]/pre)’) # 目标输出
res = title + ‘\n’ + content+ ‘\n’ # 将内容进行拼接
resultList.append(res)
time.sleep(1)
print(url, ‘\n’, res)
mid = resultList.copy()
for i in range(len(mid)):
mid[i] = str(i+1)+’、’+ mid[i] # 加入题目序号
with open(‘Python编程基础上机题库1.txt’, ‘w’, encoding=‘utf-8’) as f:
f.write(’\n’.join(mid)) # 将数据写出

三、电力数据分析与挖掘。数据data_etr.csv为用户用电量数据,数据中有编号为1-200的200位电力用户,DATA_DATE表示时间,如2015/1/1表示2015年1月1日,KWH为用电量。请完成以下工作:
(1) 将数据进行转置,转置后行为用户编号、列为日期、值为用户每日用电量。
(2) 对数据中的异常数据进行识别并处理。
(3) 统计每个用户用电数据的基本统计量,包括:最大值、最小值、均值、中位数、和、方差、偏度、峰度。
(4) 每个用户用电数据按日差分,并求取差分结果的基本统计量,统计量同3。
(5) 求取每个用户的5%分位数。
(6) 每个用户按周求和并差分(一周7天,年度分开),并求取差分结果的基本统计量,统计量同3。
(7) 统计每个用户的日用电量在其最大值0.9倍以上的次数。
(8) 求取每个用户日为最大值/最小值的索引月份,若最大值/最小值存在于多个月份中,则输出含有最大值/最小值最多的那个月份。如1号用户的最小值为0,12个月每个月都有0,则看哪个月的0最多。
(9) 合并上述特征。

【答案】

1.将数据进行转置,转置后行为用户编号、列为日期、值为用户每日用电量。

import numpy as np
import pandas as pd
import os
#将数据进行转置,转置后行为用户编号、列为日期、值为用户每日用电量。
data=pd.read_csv(‘data_etr.csv’,parse_dates=[‘DATA_DATE’],encoding=‘gbk’)
data.head()

#透视表
data_new=pd.pivot_table(data=data,values=‘KWH’,index=‘CONS_NO’,columns=‘DATA_DATE’)

2.对数据中的异常数据进行识别并处理。

def clear_(x=None):
QL=x.quantile(0.25)#下四分位数
QU=x.quantile(0.75)#上四分位数
IQR=QU-QL
x[((x>QU+1.5IQR)|(x<QL-1.5IQR))]=None
return x

data_new.apply(clear_,axis=0)#对每一行操作

3.统计每个用户用电数据的基本统计量,包括:最大值、最小值、均值、中位数、和、方差、偏度、峰度。

feature1=data_new.T.agg([‘max’,‘min’,‘mean’,‘median’,‘sum’,‘var’,‘skew’,‘kurt’],axis=0).T

4.每个用户用电数据按日差分,并求取差分结果的基本统计量,统计量同3。

feature2=data_new.T.diff(axis=1).agg([‘max’,‘min’,‘mean’,‘median’,‘sum’,‘var’,‘skew’,‘kurt’],axis=0).T

5.求取每个用户的5%分位数。

feature3=data_new.quantile(0.05,axis=1)

6.每个用户按周求和并差分(一周7天,年度分开),并求取差分结果的基本统计量,统计量同3。

data_new.columns.week
feature4=(data_new.T.resample(‘W’).sum()).T.diff(axis=1).T.agg([‘max’,‘min’,‘mean’,‘median’,‘sum’,‘var’,‘skew’,‘kurt’],axis=0).T

7.统计每个用户的日用电量在其最大值0.9倍以上的次数。

feature5=data_new.apply(lambda x:sum(x>x.max()*0.9),axis=1)

8.求取每个用户日为最大值/最小值的索引月份,若最大值/最小值存在于多个月份中,则输出含有最大值/最小值最多的那个月份。如1号用户的最小值为0,12个月每个月都有0,则看哪个月的0最多。

feature6=data_new.apply(lambda x: x==x.min(),axis=1).groupby(by=data_new.columns.month,axis=1).sum().idxmax(axis=1) #最小值

feature7=data_new.apply(lambda x: x==x.max(),axis=1).groupby(by=data_new.columns.month,axis=1).sum().idxmax(axis=1) #最大值

9.合并上述特征。

pd.concat([feature1,feature2,feature3,feature4,feature5,feature6,feature7],axis=0)

四、股票数据可视化,完成以下问题:
1.文件读取及数据查看;
2.提取股票代号600000在2017年1月3日至2017年1月20日的收盘价格数据,并绘制股票价格走势图进行分析;
3.提取股票代号600000在2017年1月3日至2017年1月24日的交易量数据,并绘制交易量分布柱状图进行分析;
4.提取股票代号600000在2017年1月至11月的交易量统计数据,并绘制月交易量分布饼图进行分析;
5.绘制以上图形组成的3×1子图。
【答案】
1.文件读取及查看
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
data=pd.read_excel(’/data/trd.xlsx’,engine=“openpyxl”)

#查看列名和数据
print(data.columns)
print(data.iloc[:5])

  1. 提取股票代号600000在2017年1月3日至2017年1月20日的收盘价格数据,并绘制股票价格走势图
    dt=data.loc[data[‘股票代码’]==600000,[‘交易日期’,‘收盘价’,‘交易量’]]
    I1=dt[‘交易日期’].values>=‘2017-01-03’
    I2=dt[‘交易日期’].values<=‘2017-01-20’
    dta=dt.iloc[I1&I2,:]
    y1=dta[‘收盘价’]
    x1=range(len(y1))

plt.figure(1)
plt.plot(x1,y1)
plt.xlabel(u’ date ‘,fontproperties=‘SimHei’)
plt.ylabel(u’ Closing_Price ‘,fontproperties=‘SimHei’)
plt.title(u’ Closing_Price_State ',fontproperties=‘SimHei’)
plt.savefig(‘1.png’)

  1. 提取股票代号600000在2017年1月3日至2017年1月24日的交易量数据,并绘制交易量分布柱状图
    I3=dt[‘交易日期’].values>=‘2017-01-03’
    I4=dt[‘交易日期’].values<=‘2017-01-24’
    dta=dt.iloc[I3&I4,:]
    y2=dta[‘交易量’]
    x2=range(len(y2))

plt.figure(2)
plt.bar(x2,y2)
plt.xlabel(u’ date ‘,fontproperties=‘SimHei’)
plt.ylabel(u’ Volume ‘,fontproperties=‘SimHei’)
plt.title(u’ Volume_State ',fontproperties=‘SimHei’)
plt.savefig(‘2.png’)

  1. 提取股票代号600000在2017年1月至11月的交易量统计数据,并绘制月交易量分布饼图
    D=np.zeros((11))
    list1=list()
    for m in range(11):
    m=m+1
    if m<10:
    m1=‘2017-0’+str(m)+’-01’
    m2=‘2017-0’+str(m)+’-31’
    mon=‘0’+str(m)
    else:
    m1=‘2017-’+str(m)+’-01’
    m2=‘2017-’+str(m)+’-31’
    mon=str(m)
    I1=dt[‘交易日期’].values>=m1
    I2=dt[‘交易日期’].values<=m2
    D[m-1]=dt.iloc[I1&I2,[2]].sum()[0]
    list1.append(mon)

plt.figure(3)
plt.pie(D,labels=list1,autopct=’%1.2f%%’) # 保留小数点后两位
plt.title(u’Month_Volume_State’,fontproperties=‘SimHei’)
plt.savefig(‘3.png’)

  1. 绘制以上图形组成的3×1子图
    plt.figure(4)
    plt.figure(figsize=(14,6))
    plt.subplot(1,3,1)
    plt.plot(x1,y1)
    plt.xlabel(u’ date ‘,fontproperties=‘SimHei’)
    plt.ylabel(u’ Closing_Price ‘,fontproperties=‘SimHei’)
    plt.title(u’ Closing_Price_State ‘,fontproperties=‘SimHei’)
    plt.subplot(1,3,2)
    plt.bar(x2,y2)
    plt.xlabel(u’ date ‘,fontproperties=‘SimHei’)
    plt.ylabel(u’ Volume ‘,fontproperties=‘SimHei’)
    plt.title(u’ Volume_State ‘,fontproperties=‘SimHei’)
    plt.subplot(1,3,3)
    plt.pie(D,labels=list1,autopct=’%1.2f%%’) # 保留小数点后两位
    plt.title(u’ Month_Volume_State ',fontproperties=‘SimHei’)
    plt.savefig(‘4.png’)

标签:plt,赛项,fontproperties,兴鲁大,spark,axis,data,2017,技能
来源: https://blog.csdn.net/wayc99/article/details/120913969