机器学习-白板推导系列笔记（二十三）-前馈神经网络
作者：互联网
此文章主要是结合哔站shuhuai008大佬的白板推导视频：前馈神经网络_60min
全部笔记的汇总贴：机器学习-白板推导系列笔记
一、从机器学习到深度学习
M a c h i n e l e a r n i n g { 频 率 派 → 统 计 学 习 { 正 则 化 ： 对 原 有 模 型 的 一 个 改 进 核 化 ： 将 核 技 巧 引 入 机 器 学 习 ， 例 如 ， K e r n e l S V M 集 成 化 ： 代 表 是 A d a B o o s t 、 R a n d o m F o r e s t 层 次 化 ： 神 经 网 络 （ N e u r a l N e t w o r k ） { M L P ： M u l t i − l a y e r P e r c e p t r o n A u t o e n c o d e r C N N R N N } → D e e p N e u r a l N e t w o r k 贝 叶 斯 派 → 概 率 图 模 型 { 有 向 图 模 型 （ B a y e s i a n N e t w o r k ） → D e e p D i r e c t e d N e y w o r k { S i g m o i d B e l i e f N e t w o r k V a r i a t i o n a l A u t o e n c o d e r G e n e r a t i v e A d v e r s a r i a l N e t w o r k 无 向 图 模 型 （ M a r k o v N e t w o r k ） → D e e p B o l t z m a n n M a c h i n e 混 合 模 型 （ 有 向 + 无 向 ） M i x e d N e t w o r k → D e e p B e l i e f N e t w o r k } D e e p G e n e r a t i v e M o d e l } D e e p L e a r n i n g Machine\;learning\left\{\begin{matrix} 频率派 \rightarrow 统计学习\left\{\begin{matrix} 正则化：对原有模型的一个改进\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\\核化：将核技巧引入机器学习，例如，Kernel SVM\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\\集成化：代表是AdaBoost、RandomForest\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\\层次化：神经网络（Neural\;Network）\left\{\begin{matrix} MLP：Multi-layer Perceptron \\Autoencoder \\CNN\\RNN \end{matrix}\right\}\rightarrow Deep\;Neural\;Network \end{matrix}\right. \\贝叶斯派 \rightarrow 概率图模型 \left\{\begin{matrix} 有向图模型（Bayesian\;Network）\rightarrow Deep\;Directed\;Neywork\left\{\begin{matrix} Sigmoid\;Belief\;Network \\Variational\;Autoencoder \\Generative Adversarial Network \end{matrix}\right. \\无向图模型（Markov\;Network）\rightarrow Deep\;Boltzmann\;Machine\\混合模型（有向+无向）Mixed\;Network\rightarrow Deep\;Belief\;Network \end{matrix}\right\}Deep\;Generative\;Model \end{matrix}\right\}Deep\;Learning Machinelearning⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧频率派→统计学习⎩⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎧正则化：对原有模型的一个改进核化：将核技巧引入机器学习，例如，KernelSVM集成化：代表是AdaBoost、RandomForest层次化：神经网络（NeuralNetwork）⎩⎪⎪⎨⎪⎪⎧MLP：Multi−layerPerceptronAutoencoderCNNRNN⎭⎪⎪⎬⎪⎪⎫→DeepNeuralNetwork贝叶斯派→概率图模型⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧有向图模型（BayesianNetwork）→DeepDirectedNeywork⎩⎨⎧SigmoidBeliefNetworkVariationalAutoencoderGenerativeAdversarialNetwork无向图模型（MarkovNetwork）→DeepBoltzmannMachine混合模型（有向+无向）MixedNetwork→DeepBeliefNetwork⎭⎪⎪⎪⎪⎬⎪⎪⎪⎪⎫DeepGenerativeModel⎭⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎬⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎫DeepLearning
二、从感知机到深度学习
1958，PLA
1969，PLA hai limitation，解决不了非线性问题，例如最简单的异或问题。（低谷）
1981，MLP 前馈神经网络（Feedforward Neural Network）
1986，BP+MLP、RNN
1989，CNN
1989，通用逼近定理，大于等于1层（hidden layer）就可以逼近成一个连续函数，BP的层数过多也会导致梯度消失。（低谷）
1993-1995：SVM+kernel+theory的发展，导致SVM的发展。（低谷）
1995：AdaBoost、RandomForest等集成化算法的发展。（低谷）
1997：LSTM
2006：Deep Belief Network（基于RBM）、Deep Autoencoder
2009：GPU
2011：Speech
2012：Image Net
2013：VAE
2014：GAN
2016：阿尔法狗
2018：GNN
发展的原因：
- 数据量的增大
- 分布式的发展
- 硬件的发展
三、非线性问题的三种解决方法
- （明转）Non-Transformation: 将非线性问题转化为线性问题求解，
高维比低维更易线性可分。- （暗转）Kernel Method：隐藏了一个非线性变化， K ( x , x ′ ) = < ϕ ( x ) , ϕ ( x ′ ) > K(x,x')=<\phi(x),\phi(x')> K(x,x′)=<ϕ(x),ϕ(x′)>
(具体可以看白板推导系列笔记（七）-核方法)- （自转）神经网络：
XOR -相同为0，不同为1
x 1 ⨁ x 2 = ( ¬ x 1 ∧ x 2 ) ⏟ ① ∨ ( x 1 ∧ ¬ x 2 ) ⏟ ② ⏟ ③ x_1\bigoplus x_2=\underset{③}{\underbrace{\underset{①}{\underbrace{(¬x_1∧x_2)}}∨\underset{②}{\underbrace{(x_1∧ ¬x_2)}}}} x1⨁x2=③ ① (¬x1∧x2)∨② (x1∧¬x2)
复合运算 → \rightarrow →复合表达式 → \rightarrow →复合函数
\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;
标签：Network,白板,前馈,Deep,matrix,神经网络,模型,rightarrow 来源： https://blog.csdn.net/qq_41485273/article/details/112250001