MicrosoftTeams现在使用AI来改善回声干扰和声学效果
在过去的两年里,微软一直在为Teams添加华丽的新生产力功能,现在该公司正在通过AI彻底改变基本面的工作方式。我们都接到过一个电话,其中有人房间的声学效果很差,很难听到他们的声音,或者看到两个人试图同时说话,造成尴尬的“不,你继续”的时刻。微软新的人工智能语音质量改进应该可以改善甚至消除这些日常烦恼。
微软现在正在使用机器学习模型来改善房间声学效果,这样你就不会再听起来像是躲在山洞里了。“虽然我们一直在尽最大努力使用数字信号处理在Teams中做得非常好,但我们现在已经开始首次使用机器学习来构建回声消除,您可以真正减少来自所有不同设备的回声,”解释说微软智能对话和通信云首席项目经理RobertAichner在接受TheVerge采访时表示。
微软几个月来一直在对此进行测试,在现实世界中测量其模型,以确保Teams用户注意到回声减少和通话质量的改进。这家软件制造商使用30,000小时的语音来帮助训练其模型,并通过众包捕获了数千台设备,Teams用户获得报酬来录制他们的语音并从他们的设备播放音频。
“我们还模拟了大约100,000个不同的房间……房间声学在回声消除中起着重要作用,”Aichner说。结果是通话音频质量有了很大提高,并且消除了回声,还允许多人同时讲话。您可以在上面的视频中看到所有的改进。
如果Teams检测到声音在房间内弹跳或回响,导致音频较浅,该模型还将转换捕获的音频并对其进行处理,使其听起来像是Teams参与者正在对着近距离麦克风讲话,而不是回声混乱。
最令人印象深刻的部分是人们现在能够在Teams通话中互相打断,而不会因为回声而无法听到对方的尴尬重叠。微软现在在Teams中提供所有这些工作,以及之前通过基于AI的噪音抑制所做的改进。所有处理都在客户端设备上本地完成,而不是在云端完成。
“我们说我们想在客户端上做,因为如果你想在云中处理每个呼叫,云仍然很昂贵......显然我们必须将成本转嫁给客户,”Aichner解释道。这意味着可能会将这些重要的Teams改进限制在付费客户身上,而设备上的路由意味着90%的使用Teams的设备都可以使用噪声抑制等功能。
所有这些新的MicrosoftTeams改进现已上线,同时对视频中的文本进行了一些实时屏幕优化,以及对视频或屏幕共享通话期间的带宽限制进行基于AI的改进。
标签: