您现在的位置是:首页 >互联网 > 2020-10-16 14:10:31 来源:

Facebook开源PyTorch3D以实现从三个角度思考的AI

导读 Facebook Inc 的研究部门周四发布了PyTorch3D的代码,PyTorch3D是一种自产的工具包,旨在简化可在三维环境中运行的人工智能模型的开发。在

Facebook Inc.的研究部门周四发布了PyTorch3D的代码,PyTorch3D是一种自产的工具包,旨在简化可在三维环境中运行的人工智能模型的开发。

在或至少了解3D空间的能力对于跨多个领域的深度学习应用至关重要。最明显的领域是机器人技术,虚拟现实和增强现实。即使是分析对象二维照片的传统图像识别模型,也可以从了解对象的真实三维形式中受益,因为额外的上下文可能有助于提高其准确性。

但是,由于Facebook表示缺乏专用开发工具,因此在释放3D深度学习优势方面的进展相对缓慢。借助PyTorch3D,社交网络的研究人员正在寻求解决差距并降低学习曲线,以在应用程序中实施该技术。

PyTorch3D的第一个组件是称为网格的数据结构。数字3D模型由所谓的网格组成,这些网格具有多种不同的类型,可能很难使用。网状结构为组织这些形状提供了统一的格式,Facebook表示,这使AI开发人员更轻松地处理其数据。

开发人员可以使用Facebook包含在PyTorch3D中的一组损失函数和运算符来构建AI模型以处理其3D模型。损失函数是用于跟踪AI在数据集上进行训练时所犯错误的算法,该信息有助于引导学习过程朝正确的方向发展。操作员本质上是在编写用于执行复杂任务的快捷方式,在这种情况下,涉及3D对象的计算。

Facebook研究人员Nikhila Ravi,Georgia Gkioxari和Justin Johnson在博客中写道:“我们已经完成了优化3D数据的几种常用运算符和损失函数的实现的工作,从而支持了不同批次的输入 。” “随着时间的推移,我们将继续增加一组通用运算符。”

Facebook已通过渲染引擎增强了PyTorch3D的功能集,该引擎将3D数据转换为2D图像,开发人员可以查看或应用程序对其进行处理。渲染器不仅可以生成对象,还可以添加照明和阴影效果。它具有一个应用程序编程接口,该接口允许将项目导出到流行的深度学习框架,例如Facebook开发的PyTorch(该工具包的同名产品)。

Facebook的研究人员写道:“我们使用PyTorch3D的目标是在深度学习和3D的交叉点上推动进步。” “凭借独特的可区分渲染功能,我们为构建无需依靠时间密集的手动3D注释即可进行高质量3D预测的系统的潜力感到兴奋。”