您现在的位置是:首页 >互联网 > 2020-12-25 11:23:05 来源:

Facebook的Oculus开源DeepFocus代码以获得更逼真的VR图像

导读 Facebook Inc 的Oculus虚拟现实团队今天将其DeepFocus软件背后的代码开源,该软件用于为VR头盔创建更逼真的视觉效果。DeepFocus软件于5月

Facebook Inc.的Oculus虚拟现实团队今天将其DeepFocus软件背后的代码开源,该软件用于为VR头盔创建更逼真的视觉效果。

DeepFocus软件于5月首次引起公众关注,当时Oculus展示了一款名为Half Dome的新VR原型耳机。原型耳机具有“可变焦”显示屏,可在设备内部移动屏幕,以模仿用户的眼睛如何切换焦点。

DeepFocus正在尝试使用VR头戴式耳机解决一种现象,即“聚散-容纳冲突”,这种现象是由于显示器离观看者的眼睛太近而引起的。这种“冲突”发生在眼睛指向的地方和眼球的透镜聚焦的地方之间。这可能会限制某些人佩戴VR耳机而不会感到某种不适的时间。

“我们的眼睛就像微型相机:当它们聚焦在给定的物体上时,场景中不同深度的部分看起来很模糊,”从事DeepFocus项目的Facebook Reality Labs视觉科学家Marina Zannoli写道。Oculus团队的博客文章。那些模糊的区域可以帮助我们的视觉系统理解世界的三维结构,并帮助我们决定下一步将焦点放在哪里。虽然可变焦VR头戴设备可以在观看者所看到的任何地方提供清晰的图像,但DeepFocus允许我们按照真实世界中的外观来渲染其余场景:自然模糊。

DeepFocus通过使用人工智能软件创建所谓的“散焦效果”来帮助解决VAC问题,从而使图像的一部分显得比其他部分清晰。Oculus的研究人员说,这有助于减少不必要的眼睛疲劳和视觉疲劳,对于希望整天沉浸在VR中的人来说至关重要。

Oculus在一篇技术论文中说,DeepFocus是第一个可以实时产生散焦效果的软件,它可以使用户当前未聚焦的图像的每个部分产生逼真的模糊效果,类似于人眼的实际工作方式。Oculus研究人员说,这个想法是“忠实地再现光线照射到人类视网膜上的方式”。

实时创建散焦效果涉及将深度学习工具与VR游戏引擎提供的颜色和深度数据配对。研究团队创建了196,000个对象的随机图像,使用它们来训练系统以根据耳机佩戴者聚焦的图像部分正确地渲染模糊。

Oculus研究科学家Anton Kaplanyan说:“通过深度学习,我们的系统能够掌握复杂的效果和关系,例如前景和背景散焦,以及遮挡边界处的正确模糊。” “通过生成丰富的地面实况示例数据库,我们能够涵盖更广泛的散焦效果,并为景深合成设定了新的标准。”

Oculus团队表示,做出开源DeepFocus的决定是为了让更广泛的VR系统开发人员,视觉科学家和感知研究人员可以从其知识中受益。显而易见的好处是开发人员将能够为VR系统构建更好的应用程序,但是尚不清楚Oculus何时计划发布其Half Dome头戴式耳机。Oculus只会说DeepFocus软件对下一代VR头戴式耳机设计很有用。