多种网络

一、RBF神经网络

​ 和BP相比激活函数不同，RBF为径向基函数（如Gaussian），BP为Sigmoid或者Relu函数

​ BP神经网络是对非线性映射的全局逼近

​ RBF神经网络输出与数据中心离输入模式较劲的“局部”隐节点关系较大，具有局部映射的特征。

​ $\gamma$ 是RBF网络的第一个超参数，每个RBF模块可以单独设置一个（一般全局共享）

​ $c_i$ 是RBF网络的第二个超参数，直接从数据集中选取一个数据点 $x_i$ 即可

​ RBF神经网络不需要通过BP计算模型参数（只有最后一个线性层有参数需要计算，由于是线性直接用最小二乘法通过矩阵计算线性拟合即可，不需要用到梯度下降）

结构上，RBF神经网络通常只有三层：

​ 输入层、中间层计算输入 x 矢量与样本矢量 c 欧式距离的 Radial Basis Function (RBF) 的值，输出层算它们的线性组合

​ RBF神经网络训练速度非常快，因为模型的参数都不需要通过梯度下降法求得

​

二、MLP神经网络

​ MLP是多层感知机，神经网络是最基础的原版神经网络

​ 输入层：感知单元(源节点)

​ 隐含层：计算节点

​ 输出层：计算节点的输出

​ 激活函数：f

​ 通过在MLP网络中逐层前馈，得到最终的输出值。

• 神经网络= MLP
• BP神经网络= BP+MLP

​ BP用来求解MLP网络中的系数，严格意义上来讲不是叫BP神经网络，而是使用BP算法优化MLP模型，MLP通过多个隐含层实现非线性函数。

​ MLP和CNN,RNN,Transformer属于同一级别。

​ 目标函数是二次优化，容易收敛到局部最小值

​

三、SVM

​ SVM是支持向量机，不属于神经网络（或者说单隐层神经网络），通过核函数将非线性问题转变为核空间中的线性可分的数据集。

​ SVM是一种基于结构风险最小化准则的学习方法，是一种基于最大边缘的思想，只有少量参数需要调整。

​

​ 目标函数是二次规划，更容易搜索到精确解

标签：函数,模型,神经网络,MLP,BP,RBF,参数,对比
来源： https://www.cnblogs.com/liaozhelin/p/16290597.html