【音视频】3A算法
作者:互联网
一、分类 + 知识点
-
噪声抑制(NS):将噪声和人声分成2个频道处理,实现噪声抑制,人声增强。
-
学习链接:http://home.eeworld.com.cn/my/space-uid-238800-blogid-32800.html
-
直播间关于噪声的问题:2台手机在同一个直播间,靠近会造成嘈杂声音大。属于近距离通话、录音噪声问题。
-
解决办法:2个麦克风,分别收集,修改底层算法(使用的是什么算法)
-
常见问题:直播房间里的嘉宾声音小的问题,可能是在降低噪音的同时连带人声也一块衰减了
-
回声抵消(EC):声学回声、线路回声
-
学习链接: https://blog.csdn.net/haima1998/article/details/72676702
-
声学回声形成原因:扬声器的声音反馈到麦克风引起,接受者房间的的声音空间反射,形成回声重新从麦克风传入,叠加了新的声音(需要在接受者房间应用回音抵消模块)
-
线路回声形成原因:物理电子线路的二四线匹配耦合引起的,由于电路存在不匹配的问题,会有一部分信号被反馈回来,形成回音。
-
解决办法:在发送时,把不需要的回音从语音流中去掉。通过声音源,进行参数处理,消除
-
常见问题:混合的声音是很难分离,声音源与远端参考信号不完全一样,只是相似度高。通过自适应滤波器进行数学处理。
-
增益控制(GC):未保持接收机当输出端的电压或功率基本保持不变或者恒定
-
学习链接: https://blog.csdn.net/wordwarwordwar/article/details/79539098
-
原理:
- 当输入信号很弱时,接收机的增益大,自动增益电路不起作用
- 当输入信号很强时,自动增益电路控制,使接收机当增益减小
-
AGC电路(算法)工作原理
- 响度增益因子的确定
- 把响度增益因子映射到等响度曲线上,确定最终各频率的增益权重。
-
新一代引擎:原有的线性滤波器和 NLP 上的优化外,还加入了自研的双讲检测和 Noise Injection,进一步的提升了AEC在更多场景下的效果。
二、硬件回声消除
-
区别:走系统的回声消除
-
特点
-
得支持通话模式
-
一般手机都支持,系统在设定了固定的距离,效果最好
-
不可升级
-
三、软件回声消除
-
走webRTC的回声消除
-
特点
-
webRTC会处理一个最优的距离
-
webRTC升级迭代,会优化这个回声
-
自研可定制
"audio": { "device_input": 2, "aec_mode": -1, "agc_mode": -1, "anc_mode": -1 },
-
-
效果:一般软件回声消除效果会比硬件回声消除效果好,但跟根据机型特殊情况
四、opensl es
定义:嵌入式跨平台免费的音频处理库。简单说麦克风的采集类型
学习地址:https://blog.csdn.net/ywl5320/article/details/78503768
标签:声音,麦克风,回声,噪声,增益,音视频,算法,3A,消除 来源: https://www.cnblogs.com/darlingmz/p/14415276.html