A Long Short-Term Memory for AI Applications in Spike-based Neuromorphic Hardware
作者：互联网
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！
arxiv 2021
ABSTRACT
基于脉冲的神经形态硬件有望提供比GPU等标准硬件更节能的深度神经网络(DNN)实现。但这需要了解如何在基于事件的稀疏发放机制中模拟DNN，否则会失去能量优势。特别是，解决序列处理任务的DNN通常采用长短期记忆(LSTM)单元，这些单元很难用很少的脉冲来模拟。我们展示了许多生物神经元的一个方面，即每个脉冲后的缓慢超极化(AHP)电流，提供了一种有效的解决方案。AHP电流可以很容易地在支持多室神经元模型的神经形态硬件中实现，例如英特尔的Loihi芯片。滤波器逼近理论解释了为什么AHP神经元可以模拟LSTM单元的功能。这产生了一种高度节能的时间序列分类方法。此外，它为以非常稀疏的方式实现一类重要的大型DNN提供了基础，这些DNN提取文本中单词和句子之间的关系，以回答有关文本的问题。
能源消耗是使用DNN的新AI方法更广泛应用的主要障碍，尤其是在边缘设备中。 基于脉冲的神经形态硬件是有望缓解这一问题的一个方向。这个研究方向的部分灵感来自运行更复杂、更大的神经网络的大脑，总能耗仅为20W。这种惊人的能量效率的一个关键因素是大脑中的神经元平均每秒仅发出几次信号(脉冲)。相比之下，典型DNN的单元发出输出值，因此消耗能量的频率要高几个数量级。但是，对于现代人工智能解决方案，哪种类型的DNN可以通过神经形态硬件中稀疏活跃的神经元以节能的方式实现仍然是一个悬而未决的问题，参见Davies等人1的图9。在大多数情况下，这需要重新考虑DNN设计原则。
标签：Term,Short,based,DNN,硬件,AHP,脉冲,单元,神经元 来源： https://www.cnblogs.com/lucifer1997/p/16327757.html