可穿戴设备使用声纳重建面部表情

康奈尔大学的研究人员开发了一种可穿戴式耳机设备——或“耳戴式”——它可以从脸颊反射声音并将回声转换成一个人整个移动面部的化身，利用声学技术提供更好的隐私。

由信息科学助理教授ChengZhang和信息科学教授FrançoisGuimbretière领导的团队设计了该系统，命名为EarIO。它将面部动作实时传输到智能手机，并与市售的免提无线视频会议耳机兼容。

张说，使用摄像头跟踪面部动作的设备“体积大、重且耗能大，这对可穿戴设备来说是个大问题”。“同样重要的是，它们捕获了很多私人信息。”

他说，通过声学技术进行面部跟踪可以提供更好的隐私性、可负担性、舒适性和电池寿命。

该团队在“EarIO：一种用于持续跟踪详细面部动作的低功率声学传感耳机”中描述了他们的耳机，该耳机发表在ACM的互动、移动、可穿戴和无处不在的技术上。

EarIO的工作原理就像一艘发出声纳脉冲的船。耳机两侧的扬声器向面部两侧发送声学信号，麦克风拾取回声。当佩戴者说话、微笑或扬起眉毛时，皮肤会移动和伸展，从而改变回声轮廓。研究人员开发的深度学习算法使用人工智能不断处理数据并将不断变化的回声转换为完整的面部表情。

“通过人工智能的力量，该算法发现了人眼无法识别的肌肉运动和面部表情之间的复杂联系，”信息科学领域的博士生、合著者李克说。“我们可以用它来推断更难捕捉的复杂信息——整个正面。”

Zhang实验室之前使用带摄像头的耳机跟踪面部运动的努力是根据从耳朵看到的脸颊运动重新创建整个面部。

通过收集声音而不是大量数据的图像，耳机可以通过无线蓝牙连接与智能手机进行通信，从而保持用户信息的私密性。使用图像，设备需要连接到Wi-Fi网络并将数据来回发送到云，这可能使其容易受到黑客的攻击。

“人们可能没有意识到智能可穿戴设备有多么出色——这些信息对你有什么影响，以及公司可以用这些信息做什么，”Guimbretière说。通过面部图像，人们还可以推断出情绪和行为。“该项目的目标是确保所有对您的隐私非常有价值的信息始终在您的控制之下并在本地计算。”

使用声音信号也比记录图像消耗更少的能量，而EarIO使用的能量是Zhang实验室之前开发的另一个基于相机的系统的1/25。目前，这款耳机在无线耳机电池上可持续使用大约三个小时，但未来的研究将集中在延长使用时间上。

研究人员在16名参与者身上测试了该设备，并使用智能手机摄像头来验证其面部模拟性能的准确性。初步实验表明，它可以在用户坐着和走动时工作，并且风、道路噪音和背景讨论不会干扰其声音信号。

在未来的版本中，研究人员希望提高耳塞消除附近噪音和其他干扰的能力。

“我们使用的声学传感方法非常敏感，”信息科学领域的博士生、合著者张瑞东说。“这很好，因为它能够跟踪非常微妙的动作，但也很糟糕，因为当环境发生变化时，或者当你的头部轻微移动时，我们也会捕捉到这一点。”

该技术的一个限制是，在第一次使用之前，EarIO必须收集32分钟的面部数据来训练算法。“最终我们希望让这个设备即插即用，”张说。