训练语音降噪模型的一些感想
作者:互联网
当前基于深度学习的语音降噪方法主要分为两个类:
- 基于TF时频域的方法 (有两大类:基于mask和非基于mask的方法)
- 基于时域的方法,就我自己的实验结果来说,基于时域的方法比基于TFmask的方法要差一些,可能这样方法的trick更多一些吧。
- Irm ideal ratio mask. 只考虑幅频,不考虑相频: square(abs(stft(clean)))/square(abs(stft(noise))+abs(stft(clean))) 在论文中也有别的表示方式,特点是取值范围是0-1
- smm Spectral Magnitude Mask : abs(stft(clean))/abs(stft(noise)+stft(clean)) 更结合音频频域特征相加的性质,取值范围(0- )取值范围较大,相对于irm更难训练一点
- psm Phase-Sensitive Mask 考虑phase相位谱:(abs(stft(clean))/abs(stft(noise)+stft(clean)))*cos(theta) theta 是相角。考虑了相位谱,语音通过mask 重建出来更完整,失真更少。
- PESQ (衡量失真)-0.5 ~ 4.5 模拟mos值
- STOI(衡量可理解读)0 ~ 1
- SNR
- 也有的用ASR识别结果对比,pesq/STOI github 上现成的代码,可以直接用。 主要是计算干净音频和噪声音频在频域上的差别。
标签:基于,abs,感想,mask,频域,降噪,stft,语音,方法 来源: https://www.cnblogs.com/fanhaha/p/12403625.html