其他分享
首页 > 其他分享> > 【原创】深度学习第3弹:神经元的极限

【原创】深度学习第3弹:神经元的极限

作者:互联网

文章目录


一、前文回顾

上一节我们通过神经元模拟了逻辑与,非,或门。你会发现他们的构造其实一样的,都是一个神经元,不同的是权重值不一样,那么同样的方法我们来模拟一下另外一个逻辑电路:异或门XOR


二、异或门是什么?

 XOR门就是对于两个输入信号x1或者x2,相同则输出0,相异则输出1的一种逻辑电路。如下表所示:

x1x2y
000
101
011
111

 那么神经元也可以通过人工设定权重来实现XOR门吗?很肯定的告诉你:不行!!

三、线性与非线性

1.线性

 我们先回顾一下或门。当权重参数(w1,w2,b)=(1.0,1.0,-0.5)的时候,我们就可以用神经元来构造一个或门。
在这里插入图片描述

 为了更直观的了解它,我们用二维坐标图来看一下。上图神经元所表示的其实就是用一条x1+x2-0.5=0的直线把二维平面分割成两部分,一边的值为0,一边的值为1。正如下图点虚线把二维平面分割为两部分,灰色部分为0,另外一边为1。
在这里插入图片描述

 因为当(x1,x2)=(0,0)的时候或门输出为零,其余输出为1,所以在二维坐标里面我们用▲代表1,●代表0。你会发现我们的这条直线很完美的把0和1都分开了。这就是线性。

2.非线性

 那么在回头再看看XOR门,同样的在二维坐标用▲和●标出0和1的值。你会发现无论你怎么画,都不可能画出一条完美的把0和1区域分开的直线(如下图所示,只有曲线可以划分)。这就是非线性。
在这里插入图片描述

四、神经元的极限

 神经元可以模拟与,或,非门,但是却无法模拟异或门,这便是神经元的极限。所以我们要换个思路来思考:把神经元组合起来试试(下图所示),看能不能解决异或门这个难题。
在这里插入图片描述

 x1和x2分别代表初始输入信号,s1代表非门(NAND)的输出,s2代表或门(OR)的输出,s1和s2又分别作为与门(AND)的输入,y是与门的输出。
※整理一下真理值表

x1x2s1=(x1 NAND x2)s2=(x1 OR x2)y=(s1 AND s2)
00100
10111
01111
11010

和本文一开始的真理值表结果完全一致。
用Python来验证一下。

def calculate(x1, opt, x2, ):
    if opt is "AND":
        # 与门的权重参数
        w1, w2, b = 0.5, 0.5, -0.7
    elif opt is "NAND":
        # 非门的权重参数
        w1, w2, b = -0.5, -0.5, 0.7
    elif opt is "OR":
        # 或门的权重参数
        w1, w2, b = 0.5, 0.5, -0.2
    else:
        return -1
    # 输入信号*权重+偏置值
    sum = x1 * w1 + x2 * w2 + b
    if sum <= 0:
        return 0
    else:
        return 1

def xor_gate(x1, x2):
    # s1= x1 NAND x2
    s1 = calculate(x1, "NAND", x2)
    # s1= x1 OR x2
    s2 = calculate(x1, "OR", x2)
    # y = s1 AND s2
    y = calculate(s1, "AND", s2)
    return y

打印结果:


print("x1 = 0, x2 = 0, y =", xor_gate(0, 0))
print("x1 = 1, x2 = 0, y =", xor_gate(1, 0))
print("x1 = 0, x2 = 1, y =", xor_gate(0, 1))
print("x1 = 1, x2 = 1, y =", xor_gate(1, 1))
#↓↓↓↓↓↓↓↓↓↓↓output↓↓↓↓↓↓↓↓↓↓↓↓
x1 = 0, x2 = 0, y = 0
x1 = 1, x2 = 0, y = 1
x1 = 0, x2 = 1, y = 1
x1 = 1, x2 = 1, y = 0

OK,和真理表值完全一致。

五、总结

 因为异或门在二维平面不可以被直线分割(也可以称为非线性),所以神经元无法模拟异或门,但是通过三个其他神经元(与门,或门,非门)的组合便可以完美解决这个问题。而这三兄弟的组合我们就可以称为一个神经网络。
 为了庆祝这个神经网络的诞生,我给他取了一个霸气的名字:小D。所以下节的主题便是【小D的诞生】。

※关注个人微信公众号:DeepVisionZero
 获取更多精彩内容

标签:异或门,或门,0.5,极限,深度,x2,x1,神经元
来源: https://blog.csdn.net/weixin_46014676/article/details/116371646