其他分享
首页 > 其他分享> > 感知机相关知识

感知机相关知识

作者:互联网

感知机

\[o=\sigma(<w,x>+b){\quad \quad} \sigma(x)=\begin{cases} 1& \text{if x>0}\\ 1& \text{others} \end{cases} \]

相当于给所有样本点画一条线,将不同类别尽可能划分开,是一个二分类问题

训练感知机

\[\zeta(y,x,w)=max(0,-y<w,x>) \]

如果上述Loss是一个0,说明\(y<w,x>\)大于零,预测正确,损失为0;反之则预测错误,返回损失。

收敛定理

多层感知机

XOR问题

多层感知机

单隐藏层

\[h = \sigma({W_1x+b_1}) \]

\[o=w_2^Th+b_2 \]

\(\sigma\)是按元素的激活函数。

为什么要激活函数(非线性)?

Sigmoid激活函数

\[sigmoid(x)=\frac{1}{1+exp(-x)} \]

它将输入投影到(0,1)区间。是一个软的\(\sigma(x)=\begin{cases} 1& \text{if x>0}\\ 1& \text{others} \end{cases}\)

Tanh激活函数

\[tanh(x)=\frac{1-exp(-2x)}{1+exp(-2x)} \]

它将输入投影到(-1,1)区间。相当于Sigmoid的放缩平移。

ReLU激活函数

\[ReLU(x)=max(x,0) \]

多类分类

\[h = \sigma({W_1x+b_1}) \]

\[o=W_2^Th+b_2 \]

\[y=softmax(o) \]

多隐藏层

\[h_1 = \sigma({W_1x+b_1}) \]

\[h_2 = \sigma({W_2x+b_2}) \]

\[h_3 = \sigma({W_3x+b_3}) \]

\[o = W_4h_3+b_4 \]

总结

——————觉得有用给笔者点个赞呀o( ̄︶ ̄)o

标签:函数,激活,知识,感知机,相关,quad,sigma,隐藏
来源: https://www.cnblogs.com/sevent/p/15571754.html