Facebook制作了一个可以制作更好的虚拟镜像的相机系统

SIGGRAPH即将到来，这意味着像Facebook Reality Lab这样的研究小组正在开始展示他们的一些前沿工作。FRL(前身为Oculus Research)的最新作品展示了一种捕捉现实世界镜子外观的方法。

这项 新研究 为捕捉具有镜子和反射表面的复杂现实世界环境的外观打开了大门。镜子是许多计算机视觉应用程序的敌人，如果Facebook的研究可以用来帮助解决这个问题，它可能最终会导致许多有用的应用程序。

“镜子和玻璃表面是我们日常环境的重要组成部分，但却很难扫描。从稳健检测反射平面目标的简单思想开始，我们展示了一个完整的系统，用于对镜子和玻璃表面的场景进行稳健和精确的重建，“ 报告中写道。“鉴于易于捕获，我们的系统还可用于收集基于学习的方法的训练数据，以检测反射表面。除了扫描室内场景的核心应用外，我们还设想了多种扩展和应用。“

系统通过查找摄像机装备上的目标来查找镜像，然后通过分析图像的各种特征来细化镜像的形状。

“我们的主要想法是在捕捉装置上添加一个标签，只有在相机面向镜子或玻璃表面时才能观察到，”报告中写道。

最明显的应用程序更容易捕获在VR中体验更真实的环境。即使有许多镜子和反射表面，这项研究也可以使现实世界的场景表现形式更加逼真地与数字元素(如你的化身)混合。

研究科学家Thomas Whelan在一篇Oculus博客文章中说：“镜子通常在三维重建过程中被绕过，大多数早期作品只是假装它们不存在而忽略它们。” “但在现实世界中，它们遍布各处并破坏了大多数重建方法。所以在某种程度上，我们打破了模具，正面解决了3D重建中最古老的问题之一。