开山之作：Maass、1997：Networks of Spiking Neurons: The Third Generation of Neural Network Models

先来一个机翻译文
句子摘要：

1. 这篇文章不假定关于脉冲神经元的先验知识，它包含了大量的参考文献，这些文献涉及到脉冲神经元网络中的计算和神经生物学的相关结果。

2. 第一代是基于McCulloch-Pitts神经元作为计算单元。这些也被称为感知器或阈值门。它们产生了多种神经网络模型，如多层感知器（也称为阈值电路）、Hopfield网络和Boltzmann机器。这些模型的一个特点是它们只能提供数字输出。实际上，它们对于数字输入和数字输出的计算是通用的，每一个布尔函数都可以由具有单个隐层的多层感知器来计算。第二代基于计算单元，这些计算单元将一组连续的可能输出值应用于输入的加权和（或多项式）。

3. 对于第二代神经网络的生物学解释，人们把一个sigmoidal单元的输出看作是生物神经元当前放电频率的表示。由于生物神经元，特别是在较高的皮层区域，已知在其最小和最大频率之间的各种中间频率发射，第二代的神经网络，就这种“发射率解释”而言，在生物学上比第一代的模型更真实。

4. 然而，至少在大脑皮层神经元网络进行的模拟计算中，“放电率解释”本身就成了问题。Perrett、Rolls和Caan（1982）以及Thorpe和Imbert（1989）已经证明，人类可以在10毫秒内完成视觉模式分析和模式分类，尽管它涉及从视网膜到颞叶的至少10个突触阶段（见图1），Rolls和Tovee（1994）在猕猴身上测量的视觉处理速度是相同的。此外，他们还表明，参与视觉处理的单个皮层区域可以在2（）-3（）毫秒内完成计算（Rolls，1994；Rolls&Tovee，1994）。另一方面，参与这些计算的神经元的放电频率通常低于100赫兹，因此，仅对神经元的当前放电频率进行采样就需要至少20-30毫秒。因此，在快速大脑皮层计算的背景下，通过发射率对模拟变量进行编码似乎相当可疑。

5. 另一方面，过去几年积累的实验证据表明，许多生物神经系统利用单个动作电位（或“脉冲”）的时间来编码信息（Abeles，1991；Abeles，Bergman，Margalit，&Vaadia，1993；Aertsen，1993；Arbib，1995；Bair，Koch，Newsome，&Britten，1994；Bialek&Rieke，1992；Ferster&Spruston，1995；Hopfield，1995；Kempter，Gerstner，van Hemmen，&Wagner，1996；Lestenne，1996；Rieke，Warland，van Stevenick，&Bialek，1996；Sejnowski，1995；Singer，1995；Softky，1994；Thorpe&Imbert，1989）。

6. 积分点火模型（或最近被称为“脉冲神经元”）的数学模型可以追溯到拉皮克（19（）7）（sec-Tuckwcll，1988）。这一模型存在许多变化，最近的一次调查对此进行了描述和比较（见Gerstner，1995年）。关于这些数学模型与已知生物神经元行为的关系，我们参考了Abeles（1991年）、Aertsen（1993年）、Arbib（1995年）、Bower和Beeman（1995年）、Churchland和Sejnowski（1993年）、Hopfield（1995年）、Johnston和Wu（1995年）、Rieke等人（1996年）、Shepherd（1990年、1994年）、Tuckwell（1988年）；泰勒和阿拉维（1993）。

7. 这些脉冲神经元的数学模型并不能完全描述生物神经元极其复杂的计算功能。相反，就像前两代神经网络模型的计算单元一样，这些都是简化模型，只关注生物神经元的几个方面。然而，与前两种模型相比，它们实际上更加真实。特别是，它们更好地描述了生物神经元的实际输出，因此它们允许我们在理论层面上研究利用时间作为计算和通信资源的可能性。

8. 突触后电位是兴奋性突触后电位和抑制性突触后电位的总和电位。

9. 突触后神经元的影响由 w u , v ∗ ε u , v ( t − s ) w_{u, v} * \varepsilon_{u, v}(t-s) wu,v​∗εu,v​(t−s)决定。 ε u , v ( t − s ) \varepsilon_{u, v}(t-s) εu,v​(t−s)就是脉冲响应核。

10. 我们推测w随时间快速变化对于神经系统的计算也是必不可少的，然而为了简单起见用常量来替代w。

11. 将w限制为非负值是因为假设生物突触是“兴奋性”或“抑制性”的，并且在“学习过程”中它不会改变它的“符号”。此外，对于大多数生物神经元u，突触后神经元v的所有响应函数都是“兴奋性”的（即阳性），或全部为“抑制性”（即阴性）。（对于我来说我愿意限制脉冲为正的而w符号是可以变化的。）

12. 为了数学上的方便我们设置膜电压为0并且阈值大于0. 在真实的生物神经元中，膜电位通常为-70mv，阈值为-50mv，并且每次脉冲最多使它改变几毫伏。

13. 对于绝对不应期和相对不应期，我们就限制在点火之后的一段时间不激发。以此来模拟。

14. 脉冲神经网络由这几个部分组成：一个受限的脉冲神经元集合V，一个突触集合E， 以及突触上的权重w和脉冲响应核 ε \varepsilon ε，以及神经元上的阈值 θ \theta θ表示。如果用 F u F_{u} Fu​表示神经元u发放脉冲的时间集合，则神经元v在时间t的膜电势可以用以下方程表示：
    P v ( t ) : = ∑ u : u , v > ∈ E ∑ s ∈ F u : s < t w u , v ⋅ ε u , v ( t − s ) P_{v}(t):=\sum u: u, v>\in E \sum_{s \in F_{u}: s<t} w_{u, v} \cdot \varepsilon_{u, v}(t-s) Pv​(t):=∑u:u,v>∈Es∈Fu​:s<t∑​wu,v​⋅εu,v​(t−s)

    可以看到，一个脉冲对神经元的影响不是瞬时的，而是由脉冲响应核 ε \varepsilon ε控制的，对膜电势的影响随时间变化如图2所示。在无噪声模型中， P v P_v Pv​到达 θ ( t − t ′ ) \theta(t-t') θ(t−t′)时就发放脉冲。

15. 脉冲神经元模型的噪声版本： P v − θ P_v-\theta Pv​−θ控制发放脉冲的概率。以及发放脉冲的精准时间取决于某些随机过程，比如在 P v − θ > 0 P_v-\theta>0 Pv​−θ>0时不发放而在 P v − θ < 0 P_v-\theta<0 Pv​−θ<0时发放。

16. A型网络： ε \varepsilon ε和 θ \theta θ如下图：
    而B型的 ε \varepsilon ε如下图所示：
    
    文章紧接着分析了这两种模型对几个经典逻辑运算的计算能力。具体的分析用到再看。

标签：1995,Third,1997,Neural,模型,脉冲,突触,计算,神经元
来源： https://blog.csdn.net/qq_25381645/article/details/114983168