https://mp.weixin.qq.com/s/fyXVvmpl_12sS-khxuYcPQ

By 超神经

场景描述：利用神经网络将人说话时，相应大脑区域的神经信号进行解码，然后使用循环神经网络将信号合成为语音，可帮助语言障碍患者解决语言沟通问题。

关键词：循环神经网络 解码器 脑机接口 语音合成

「读心术」可能真的要实现了。

说话对大多数人来说是一件再寻常不过的事。但是，这个世界上还有很多人，遭受这些疾病的折磨：中风、创伤性脑损伤、神经系统变性疾病如帕金森病、多发性硬化症和肌萎缩侧索硬化症（ALS 或 Lou Gehrig 病）等，他们往往因此丧失说话能力，且不可逆转。

科学家们一直在恢复人体功能、神经修复方面做着努力，脑机接口（brain-computer interface，BCI）便是一个重点领域。

脑机接口指的是，在人或动物大脑与外部设备之间创建的直接连接，实现脑与设备的信息交换。

脑机接口中的「脑」指的是有机生命形式的
脑或神经系统，并非仅仅指大脑

但是似乎一直以来，脑机接口都是一个遥远的概念。而今天，顶尖学术期刊《Nature》上发表的论文《Speech synthesis from neural decoding of spoken sentences》（《口语语句神经解码的语音合成》），让我们看到脑机接口领域的研究向前迈进了一大步。

语言障碍患者的困境

事实上，脑机接口的研究已经持续超过 40 年。但至今最成功、临床应用最普及的只有人工耳蜗等感觉修复技术。

至今，一些患有严重语言障碍的人，仍然只能使用辅助设备逐字逐句地表达他们的想法。

这些辅助设备能够跟踪非常细微的眼睛或面部肌肉运动，根据患者动作示意去拼写词句。

物理学家霍金，他的轮椅上就曾安装这样的设备。

霍金依靠语音合成器来「说话」，他曾使用过多套辅助交流系统

当时，霍金靠红外线检测到的肌肉运动来发出命令，确认电脑光标扫描过的字母，写下他想要的文字。之后，再利用文字转语音设备把话「说」出来。正是借助这些黑科技，我们才能够看到他的著作《时间简史》。

然而，用这样的设备产生文本或合成语音不仅费力，还易出错，而且合成速度非常慢，通常允许每分钟最多 10 个单词。霍金当时速度已经很快，但是也只能拼出 15-20 个单词。而自然语音每分钟能达到 100 到 150 个单词。

此外，这种方法还严重受限于操作者自身的肌体运动能力。

为解决这些难题，脑机接口领域一直在研究如何直接将脑皮层相应电信号解读成语音。

神经网络解读大脑信号合成语音

如今，这个难题迎来了突破性进展。

加州大学旧金山分校的神经外科教授 Edward Chang 与同事在此次发表的论文《口语语句神经解码的语音合成》中，提出其创建的脑机接口能将人讲话时产生的神经信号解码，并合成为语音。系统每分钟能够生成 150 单词，接近人类正常讲话语速。

论文第一作者 Gopala Anumanchipalli 拿着一组
用于记录当前研究中的大脑活动的示例性颅内电极

该团队研究人员招募正在接受治疗的五名癫痫病人，让他们大声说出几百个句子，与此同时，将他们的高密度脑电图（ECoG）信号记录下来，并跟踪大脑的语音产生中心——腹侧感觉运动皮层区域的神经活动。

利用循环神经网络（RNN），研究人员分两步破译了采集到的神经信号。

第一步，他们将神经信号转换为表征发音器官动作的信号，包括下巴、喉、嘴唇和舌头动作相关的脑信号。

第二步，根据解码出来的发音器官动作，把信号转换为说出的词句。

脑机接口实现语音合成的步骤图示

在解码流程上，研究者首先将患者说话时，三个脑区域表层的连续电图信号解码，这些电图信号由侵入式电极记录。

解码后得到 33 种发音器官运动特征指标，随后将这些运动特征指标解码为 32 项语音参数（包括音高（pitch）、清浊（voicing）等），最终根据这些参数合成语音声波。

为分析合成语音对真实语音的重现准确度，研究人员将原始语音与合成语音的声波特征作了比较，发现神经网络解码的语音，相当完整地重现了患者所述原始语句中的单个音素，以及音素间的自然连接和停顿。

原始语音声波（上）与合成语音声波（下）对比

之后，研究人员以众包方式，让网友来辨认解码器合成的语音。最后结果是，倾听者复述合成语音内容的成功率接近70%。

此外，研究人员还测试了解码器对于不出声说话的语音合成能力。测试者先说出一个句子，然后默念同一个句子（有动作，但不出声）。结果显示，解码器对默念动作合成的语音频谱与同一句子的有声频谱是相似的。

口语句子神经解码的语音合成演示

里程碑：挑战与期待并存

「这项研究首次表明，我们可以根据个人的大脑活动生成完整的口语句子，」Edward Chang 说，「这令人振奋。这是已经触手可及的技术，我们应该能够为语言功能丢失患者，构建具有临床可行性的设备。」

Edward Chang 博士的研究重点是
言语、运动和人类情感的大脑机制

论文第一作者 Gopala Anumanchipalli 补充说：「我很自豪能够将神经科学，语言学和机器学习的专业知识，作为帮助神经残疾患者这一重要里程碑的一部分。」

当然，要真正地百分百实现语音合成的脑机接口语音交互，依然存在很多挑战，比如患者是否能接受侵入式手术安装电极、实验中的脑电波是否与真实患者的脑电波相同等等。

但是，从这项研究中，我们看到了语音合成脑机接口不再是一个概念。

期待未来某一天，语言障碍患者能够早日重获「说话」的能力，早日倾吐他们的心声。

超神经百科

前馈神经网络 Feedforward Neural Networks

前馈神经网络是人工智能领域中，最早发明的简单人工神经网络类型。在它内部，参数从输入层向输出层单向传播。有异于递归神经网络，它的内部不会构成有向环。

前馈（feedforward）也可以称为前向，从信号流向来理解就是输入信号进入网络后，信号流动是单向的，即信号从前一层流向后一层，一直到输出层，其中任意两层之间的连接并没有反馈（feedback），亦即信号没有从后一层又返回到前一层。如果从输入输出关系来理解，则为当输入信号进入后，输入层之后的每一个层都将前一个层的输出作为输入。

当前馈神经网络中层与层之间的信号有反向流动，或者自输入时，我们则称这种网络为循环神经网络。

在深度前馈网络中，链式结构也就是层与层之间的连接方式，层数就代表网络深度。

标签：语音,合成,脑机,接口,神经网络,信号,意念,解码
来源： https://blog.51cto.com/14929242/2535451