Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State
作者：互联网
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！
35th Conference on Neural Information Processing Systems (NeurIPS 2021).
Abstract
脉冲神经网络(SNN)是受大脑启发的模型，可在神经形态硬件上实现节能实现。然而，由于脉冲神经元模型的不连续性，SNN的监督训练仍然是一个难题。大多数现有方法模仿人工神经网络的反向传播框架和前馈架构，并使用替代导数或计算关于脉冲时间的梯度来处理问题。这些方法要么累积近似误差，要么仅通过现有脉冲有限地传播信息，并且通常需要沿时间步长传播信息，并且具有较大的内存成本和生物学不合理性。在这项工作中，我们考虑了更像大脑的反馈脉冲神经网络，并提出了一种新的训练方法，它不依赖于前向计算的精确反向。首先，我们表明具有反馈连接的SNN的平均发放率会随着时间逐渐演化到平衡状态，这遵循一个定点方程。然后通过将反馈SNN的前向计算视为该方程的黑盒求解器，并利用方程的隐式微分，我们可以计算参数的梯度，而无需考虑精确的前向过程。通过这种方式，前向和后向过程是解耦的，因此避免了不可微的脉冲函数的问题。我们还简要讨论了隐微分的生物学合理性，它只需要计算另一个平衡。在MNIST、Fashion-MNIST、N-MNIST、CIFAR-10和CIFAR-100上的大量实验证明了我们的方法在少量时间步长内具有较少神经元和参数的反馈模型的卓越性能。我们的代码可从https://github.com/pkuxmq/IDE-FSNN获得。
1 Introduction
2 Related Work
3 Preliminaries
3.1 Spiking Neural Network Models
3.2 Implicit Differentiation on the Fixed-Point Equation
4 Proposed IDE Method
4.1 Derivation of Equilibrium States for Feedback Spiking Neural Networks
4.1.1 Continuous View
4.1.2 Discrete View
4.2 Training of Feedback Spiking Neural Networks
4.2.1 Loss and Gradient Computation
4.2.2 Biological Plausibility of Implicit Differentiation
4.3 Incorporating Multi-layer Structure into The Feedback Model
5 Experiments
5.1 MNIST and Fashion-MNIST
5.2 N-MNIST
5.3 CIFAR-10 and CIFAR-100
5.4 Convergence to the Equilibrium
5.5 Training Memory Costs
5.6 Firing Sparsity
6 Conclusion
标签：Training,Feedback,Neural,SNN,脉冲,Spiking,MNIST 来源： https://www.cnblogs.com/lucifer1997/p/15752244.html