DataWhale深度学习第三章 – 机器学习基础

courseLink: https://datawhalechina.github.io/unusual-deep-learning/#/README

文章目录

• DataWhale深度学习第三章 -- 机器学习基础
• • 机器学习基础
  • • 机器学习分类
    • 数据集
    • 误差分析
  • 有监督学习
  • • 线性回归
    • 逻辑回归
    • 支持向量机
    • 决策树
    • 随机森林
  • 无监督学习
  • • 聚类
• 前馈神经
• • 主要内容
  • 神经元模型
  • • 神经元
    • 结构
  • 感知器
  • BP算法
  • • 基本过程
    • 激活函数

机器学习基础

机器学习分类

• 有监督学习(SupervisedLearning): 跟学师评
• 无监督学习(UnsupervisedLearning): 自学标评
• 强化学习(ReinforcementLearning): 自学自评

其中，有监督和无监督又可以再次分类：

• 有监督: “分类” 和 “回归”
• 无监督: “聚类”和“降维"
  

数据集

1. 分类
   1. 训练集：顾名思义
   2. 验证集：用来调整模型参数以及对模型进行评估
   3. 测试集：评估模型泛化能力，不是用来调参，注意与验证集的区分
      

误差分析

1. 误差分类：

   1. 训练误差：在训练集上的误差
   2. 泛化误差：在总体样本上的误差
   3. 测试误差：在测试集上的误差

2. 会出现的两种情况

   1. 过拟合：可以很好的拟合训练样本，但不能很好地拟合测试样本，使得泛化性能下降。常用方法：减少参数（选择评价的指标太多了），降低模型复杂度，正则化, 低偏差，高方差
   2. 欠拟合：训练出的数据，规律性不强，拟合度不高，增加特征属性，选择更加复杂的模型，表现为 偏差，低方差
      

3. 泛化误差的几个指标

   1. 偏差：反应模型拟合能力
   2. 方差：反应了模型的稳定性

4. 交叉验证

   1. 将训练集划分为K份，令其中K-1份作为训练集， 另外一份作为验证集，在训练集上学得函数后，然后在验证集上计 算误差—K折交叉验证

有监督学习

• 有标准答案
• 有监督学习是训练一个模型用于预测有标记（答案）的取值
• 若预测的值是离散值，则此任务为“分类”
• 若预测的值是连续值，则此任务为“回归”

线性回归

1. 线性回归是在样本属性和标签中找一个线性关系，根据训练数据找一个线性模型
2. 线性回归学习的对象是 权重向量和偏置向量

逻辑回归

1. 逻辑回归利用sigmoid 函数，将线性回归产生的预测值压缩到 0-1 之间。此时将 y 视作样本为正例的可能性，逻辑回归的本质是***分类算法***

支持向量机

1. 支持向量机，基于线性判断函数
2. SVM 基本思想：对于线性可分的数据，能将训练样本划分开超平面有很多，于是我们寻找“位于两类训练样本正中心的超平面”，即 margin 最大化。这种划分对训练样本局部扰动的承受性最好。
   

决策树

1. 基于树形结构进行决策的机器学习方法
2. 叶子节点是类标，内部节点是属性

随机森林

1. 集成学习（Ensemblelearning）
   1. 组合多个弱监督学习以期得到一个更好的更全面的强监督学习
2. 随机森林，随机的方式建立多个决策树，每棵树相互独立，互不干扰

无监督学习

1. 数据集没有标记信息（自学）
2. 聚类：预测各个样本之间的关联度，把关联度大的划为同一类、关联度小的样本划为不同类
3. 降维

聚类

1. 常见聚类算法
   1. K-Means
   2. 均值漂移
   3. 基于密度
2. K-Means 聚类：其是一个反复迭代的过程，算法主要步骤：
   1. 选取空间的 k 个对象作为初始中心，每个对象代表一个聚类中心
   2. 对于样本中的数据对象，根据他们与这些聚类中心的欧式距离 [百度百科解释] | [bilibili]
   3. 更新聚类中心：将每个类别中所有对象所对应的均值作为该类别的聚类中心，打算目标函数的值
   4. 判断聚类中心和目标函数的值，是否发生改变。若不变，输出结果。若改变，返回 2
3. 降维
   1. 降维优势：
      1. 数据在低维下更容易处理、更容易使用；
      2. 相关特征，特别是重要特征更能在数据中明确的显示出来；
      3. 如果只有二维或者三维的话，能够进行可视化展示；
      4. 去除数据噪声，降低算法开销等。

前馈神经

主要内容

1. 神经元模型
2. 感知器、多层感知器
3. BP 算法
4. 前馈神经网络

神经元模型

神经元

结构

感知器

1. 单层感知器
2. 多层感知器

BP算法

1. BP算法是误差反向传播算法（Error Back Propagation）

基本过程

1. 前向传播计算：由输入层经过隐含层向输出层的计算网络输出
2. 误差反向逐层传递:网络的期望输出与实际输出之差的误差信号由输出层经过隐含层逐层向输入层传递
3. 由“前向传播计算”与“误差反向逐层传递”的反复进行的网络训练 过程

激活函数

1. 跃阶函数
   1. 不连续，只有 0，1
2. Sigmoid 函数
   1. 连续

标签：误差,感知器,--,算法,DataWhale,学习,监督,聚类
来源： https://blog.csdn.net/Zhou_Yulong/article/details/121446419