首款使用深度学习清除通话的无线耳塞

这一经历启发了华盛顿大学的三名研究人员(他们在大流行期间是室友)开发出更好的耳塞。为了增强说话者的声音并减少背景噪音，“ClearBuds”使用了一种新颖的麦克风系统和首批在智能手机上实时运行和运行的机器学习系统之一。

研究人员于6月30日在ACM移动系统、应用和服务国际会议上介绍了这个项目。

“ClearBuds在两个关键方面将自己与其他无线耳塞区分开来，”PaulG.Allen计算机科学与工程学院的博士生MaruchiKim说。“首先，ClearBuds使用双麦克风阵列。每个耳塞中的麦克风创建两个同步的音频流，提供信息并允许我们以更高的分辨率在空间上分离来自不同方向的声音。其次，轻量级神经网络进一步增强了说话者的声音。”

虽然大多数商用耳塞的每个耳塞上都有麦克风，但一次只有一个耳塞主动向手机发送音频。使用ClearBuds，每个耳塞都会向手机发送音频流。研究人员设计了蓝牙网络协议，允许这些流在70微秒内相互同步。

该团队的神经网络算法在手机上运行以处理音频流。首先，它抑制任何非语音声音。然后它会隔离并增强同时从两个耳塞传入的任何噪音——说话者的声音。

“由于说话者的声音离两个耳塞很近且距离大致相等，因此可以训练神经网络只关注他们的语音并消除包括其他声音在内的背景声音，”该研究的共同主要作者、博士生IshanChatterjee说。艾伦学校。“这种方法与你自己的耳朵的工作方式非常相似。它们利用声音传入左右耳的时间差来确定声音来自哪个方向。”

当研究人员将ClearBuds与AppleAirPodsPro进行比较时，ClearBuds的表现更好，在所有测试中实现了更高的信号失真比。

“考虑到我们的神经网络必须在不到20毫秒的时间内在iPhone上运行，与通常用于运行神经网络的大型商用显卡相比，iPhone的计算能力只是其一小部分，这非常了不起，”说共同主要作者VivekJayaram，艾伦学院的博士生。“这是我们在本文中必须解决的挑战的一部分：我们如何采用传统的神经网络并减小其大小，同时保持输出质量?”

该团队还“在野外”测试了ClearBuds，方法是记录八个人在嘈杂的环境中阅读古腾堡计划，例如咖啡店或繁忙的街道。然后，研究人员让37人对这些录音的10到60秒剪辑进行评分。参与者将通过ClearBuds神经网络处理的剪辑评为具有最佳噪声抑制和最佳整体聆听体验。

研究人员表示，ClearBuds的一个限制是人们必须同时佩戴两个耳塞才能获得降噪体验。

但该团队表示，这里开发的实时通信系统可用于各种其他应用，包括智能家居扬声器、跟踪机器人位置或搜索和救援任务。

该团队目前正在努力提高神经网络算法的效率，以便它们可以在耳塞上运行。