您现在的位置是:首页 >互联网 > 2020-10-21 14:02:27 来源:

Facebook公开有关为其Oculus虚拟现实耳机提供动力的AI

对于虚拟现实耳机,透视是关键。当用户移动视线或四处移动时,头戴式受话器需要在他们眼前重新对准场景,以适应新的视角。过渡还必须以闪电般的速度进行,以避免破坏幻想。

由于有了一个名为Oculus Insight的系统,Facebook Inc.得以在其Oculus VR设备系列中实现了所有这些工作,并在 今天进行了详细公开。Insight使用人工智能来帮助Facebook的耳机实时跟踪佩戴者的位置和头部方向。

首先,一些背景。Facebook今年推出了两款VR头戴设备:第一款被称为Oculus Rift S,必须与计算机捆绑在一起,第二款是Oculus Quest,可以无线工作。该公司为这两种产品都提供了一对手持控制器,供穿戴者使用以与虚拟对象进行交互。

Oculus Insight依靠控制器和头戴式耳机中的传感器来跟踪用户的位置。核心数据由所谓的惯性测量单元提供,这些惯性测量单元收集有关设备线性加速度及其旋转速度的信息。

洞察力可以使用这些读数粗略了解用户的位置和头角,但仅靠这些信息是不够的。这是因为惯性测量单位容易出现微小的误差,如果不加以检查,会导致主要数据误差的增加。Insight采用了两种不同的方法来消除测量误差,一种用于用户的VR头戴式耳机,另一种用于手中的控制器。

为了跟踪耳机,系统利用了Oculus Rift S和Oculus Quest内置的摄像头。Insight将用户环境的静态功能用作位置指示器,以平衡惯性测量单位数据中的误差。

“来自耳机中相机的图像数据有助于生成房间的3D地图,精确定位地标,例如家具的角落或地板上的图案。Facebook的研究员Joel Hesch,Anna Kozminksi和Oskar Linde在博客文章中解释道:“反复观察这些标志性建筑可以使Insight补偿漂移。”

第二种纠错方法有助于跟踪控制器在用户手中的位置。控制器外部的二极管会发出人眼看不见的红外光,但可由Oculus头戴式耳机拾取,从而确定手持式配件的相对位置。

Oculus Insight每毫秒刷新一次位置测量值,以提供平稳的过渡。另外,Facebook的工程师在系统中内置了一个预测引擎,该引擎可以预测用户的头和手在几毫秒内的位置,从而使内置的AI算法可以进一步优化性能。

Oculus Insight的创新成果可能不仅对VR头戴设备具有更大的价值。系统所基于的核心位置跟踪技术,同时定位和地图绘制(SLAM)也用于包括自动驾驶在内的其他领域。

Facebook的Joel Hesch,Anna Kozminksi和Oskar Linde写道:“这项工作可能对研究SLAM的研究人员以及任何受益于低资源,高精度房间映射的系统产生广泛影响,例如数字助理和物理机器人。 。他们补充说,该技术将来可能有助于制造“具有空间感知能力的全天可穿戴AR眼镜”。