ACA考试-笔记(五)
作者:互联网
QuickBI
一,产品介绍
1.产品概述:支持海量数据在线分析,拖拽式操作,吩咐的可视化效果。可以通过简单操作完成数据分析,业务数据探查。
2.特点:
(1)支持多种类型数据源,支持多种可视化组件
(2)海量数据的实时分析,提供智能的一键加速
(3)灵活的报表集成方案,严密的安全权限管理
(4)门槛低易上手省时间,云计算费用低省成本
3.产品架构
4.在大数据解决方案中的角色
5.常见应用步骤
二,数据管理
1.数据源管理:
(1)云数据源:MaxCompute,AnaliyticDB,RDS(Mysql,SQLServer),Hybrid
DB(Greenplum)
(2)自建数据源:mysql,sqlserver
(3)探索空间:本地csv文件,本地excel文件
2.数据集管理:工具栏,数据面板,维度面板,度量面板
(1)针对维度可进行的操作:编辑,删除,克隆维度,层次结构创建管理,转化为度量,新建计算字段(维度),维度类型切换(默认,日期,地理信息)
(2)针对度量可进行的操作:编辑,删除,新建计算字段,为之一动,转换为维度,数字格式,默认聚合方式(求和(默认),计数/排重技术,最大值/最小值/平均值)
三,图标和门户
1.图标
2.报表门户
(1)门户:数据产品,是通过菜单形式组织的仪表板的集合,通过数据门户可以制作复杂的带导航菜单的专题类分析
掌握机器学习PAI
一,机器学习介绍
1.定义:
(1)在不直接针对问题进行编程的情况下,赋予计算机学习能力的一个研究领域
(2)指机器通过统计学算法,对大量的历史数据进行学习从而生成经验模型,利用经验模型指导业务
2.西洋跳棋与机器学习:
(1)暴力破解:
[1]方法:
a.形成所有局面下的最佳应手,作为知识库
b.从知识库中遍历当前局面,按照最佳应手行棋
[2]问题:
a.知识库很难产生,数据量巨大
b.需从海量数据中遍历
(2)固定套路
[1]方法:
a.总结一些行棋规则
b.根据行棋规则行棋
[2]问题:
a.行棋规则总结麻烦
b.棋力和总结规则的人水平有关
(3)训练模型:
[1]机器学习的思路
a.任务T:下西洋跳棋
b.性能标准P:赢棋的概率
c.经验E:和自己对弈
d.确定目标函数:V
[2]棋局状态b评估:
a.x1:棋局上黑子的个数
b.x2:棋局上红子的个数
c.x3:棋盘上黑王的个数
d.x4:棋盘上红网的个数
e.x5:被红子威胁的黑子的个数
f.x6:被黑子威胁的红字的个数
[3]思路:
b1->b2->…->end
输入棋谱或者自己和自己下很多盘,可以求出w-,w1…w6
v(b)=w0+x1w1+…+x6w6
(4)总结
[1]特点:
a.无需传统模式编程
b.定义任务,性能,经验以及目标函数,并提供目标函数学习方式即可
c.随着数据的变化,能自动学习,更新
d.利用自己对弈=>优化模型的方式,可以持续提升
[2]适用场景:
a.不宜针对问题进行手工编程
b.不能定义该问题的解决方案
c.基于复杂数据的快速决策
d.大规模的个性化系统
2.常见分类–根据学习方式不同进行分类:根据学习数据不同,对问题有不同的建模方式
(1)监督学习:学习样本中有结果标记–分类,回归
(2)无监督学习:学习样本中无结果标记
[1]从无标记的训练数据中推断结论。特点为输入数据不存在明确的标识后结果。
[2]常见为聚类:发现隐藏的模式或者对数据进行分组。
(3)半监督学习:学习样本中部分记录有结果标记
二,PAI介绍
1.介绍:基于MaxCompute提供数据处理,建模,离线预测,在线预测等服务的大型机器学习平台。
2.特点:
(1)上手简单:铜鼓对底层的分布式算法封装,提供拖拉拽的可视化操作环境,
(2)算法丰富:提供特征工程,数据预处理,统计分析,机器学习,深度学习框架,预测估等超过100中的算法组件
(3)一站式体验:提供了在线预测以及李现调度功能,让机器训练结果和业务可以无缝衔接
(4)深度学习:目前支持MXNET,CAFFE,TENSORFLOW三款主流的深度学习框架,平台底层提供gpu进行训练
3.优势
(1)存储和计算成本第:存储和计算都使用了
(2)有大量工具,算法库,降低技术门槛
(3)可视化拖拽操作,完整的解决方案
4.产品组成
5.支持的算法:
标签:ACA,机器,数据源,行棋,笔记,学习,维度,数据,考试 来源: https://blog.csdn.net/didadu/article/details/104415838