其他分享
首页 > 其他分享> > NN前馈神经网络

NN前馈神经网络

作者:互联网

前馈神经网络

机器学习我们已经知道可以分为两大流派:

  1. 频率派,这个流派的方法叫做统计学习,根据具体问题有下面的算法:

    1. 正则化,L1,L2 等

    2. 核化,如核支撑向量机

    3. 集成化,AdaBoost,RandomForest

    4. 层次化,神经网络,神经网络有各种不同的模型,有代表性的有:

      1. 多层感知机
      2. Autoencoder
      3. CNN
      4. RNN

      这几种模型又叫做深度神经网络。

  2. 贝叶斯派,这个流派的方法叫概率图模型,根据图特点分为:

    1. 有向图-贝叶斯网络,加入层次化后有深度有向网络,包括
      1. Sigmoid Belief Network
      2. Variational Autoencoder
      3. GAN
    2. 无向图-马尔可夫网络,加入层次化后有深度玻尔兹曼机。
    3. 混合,加入层次化后有深度信念网络

    这几个加入层次化后的模型叫做深度生成网络。

从广义来说,深度学习包括深度生成网络和深度神经网络。

From PLA to DL

DL 不是一个新的东西,其近年来的大发展主要原因如下:

  1. 数据量变大
  2. 分布式计算的发展
  3. 硬件算力的发展

非线性问题

对于非线性的问题,有三种方法:

  1. 非线性转换,将低维空间转换到高维空间(Cover 定理),从而变为一个线性问题。
  2. 核方法,由于非线性转换是变换为高维空间,因此可能导致维度灾难,并且可能很难得到这个变换函数,核方法不直接寻找这个转换,而是寻找一个内积。
  3. 神经网络方法,将复合运算变为基本的线性运算的组合。

标签:层次化,DL,NN,非线性,网络,前馈,神经网络,深度
来源: https://blog.csdn.net/weixin_43458628/article/details/115715071