其他分享
首页 > 其他分享> > 基于输出分布的小尺寸DNN学习准则

基于输出分布的小尺寸DNN学习准则

作者:互联网

Interspeech 2014 Learning Small-Size DNN with Output-Distribution-Based Criteria

简述

为了减小离线模型(比如用于嵌入式设备)的大小,可以减小每个隐层的节点数或者减小输出层的目标节点数。

减小每个隐层的节点数

教师模型(L)与学生模型(S)之间的KL散度为:

训练流程为:

  1. 使用带转录数据训练教师模型
  2. 使用无转录数据对学生模型进行预训练
  3. 使用无转录数据以上述算法计算mini-batch的准则函数,并反向传播

   

与直接重训相比,上述TS训练方法在375小时数据集上取得13.59%的WER下降

减小输出层的目标节点数

传统生成三音素集方法的问题在于

   

本文提出先用标准方法生成较大的三音素集,然后基于DNN相关的特征对大三音素集进行聚类。

   

根据Equivalence of generative and log-linear models,对数线性模型等价于一个高斯模型:

   

softmax函数可以看作是以下对数线性函数:

   

训练流程为:

  1. 使用标准训练流程训练大三音素集的DNN
  2. 将大三音素集DNN的输出层转换为多个高斯模型
  3. 对上述高斯模型使用对称KL散度进行聚类,为聚类后每个集合分配一个三音素ID
  4. 将训练数据对齐中,将大三音素ID替换为小三音素集ID,然后对DNN进行重训

实验结果与结论

与使用标准流程用决策树重新生成三音素集相比,基于高斯KL聚类的方法在375小时能取得1.33%的WER下降

原文

Li, Jinyu, Rui Zhao, Jui-Ting Huang, and Yifan Gong. "Learning small-size DNN with output-distribution-based criteria." In Fifteenth annual conference of the international speech communication association. 2014.

标签:训练,准则,模型,DNN,尺寸,聚类,音素,大三
来源: https://www.cnblogs.com/JarvanWang/p/10950546.html