用于高分辨率图像合成的基于样式的3D感知生成器

生成对抗网络(GAN)可以合成高质量的图像;然而，他们缺乏对训练图像的3D理解，也缺乏对生成图像的直接3D相机控制。因此，最近的一篇论文提出了StyleNeRF，这是一种新的3D感知生成模型，用于以交互速率进行高分辨率3D一致图像合成。它结合了神经辐射场(NeRF)，但仅使用它来生成低分辨率特征图并防止昂贵的直接彩色图像渲染。StyleNeRF使用非结构化的真实世界图像进行训练，并使用渐进式训练策略来提高学习真实几何的稳定性。

对各种具有挑战性的数据集的评估证实，该模型可以以交互速率合成照片般逼真的图像，同时实现高度的多视图一致性。

我们提出了StyleNeRF，这是一种3D感知生成模型，用于具有高多视图一致性的逼真的高分辨率图像合成，可以在非结构化2D图像上进行训练。现有方法要么无法合成具有精细细节的高分辨率图像，要么产生明显的3D不一致伪影。此外，他们中的许多人缺乏对风格属性和明确的3D相机姿势的控制。StyleNeRF将神经辐射场(NeRF)集成到基于样式的生成器中，以解决上述挑战，即提高渲染效率和3D一致性以生成高分辨率图像。我们执行体积渲染只是为了生成一个低分辨率的特征图，并在2D中逐步应用上采样来解决第一个问题。为了减轻2D上采样引起的不一致性，我们提出了多种设计，包括更好的上采样器和新的正则化损失。通过这些设计，StyleNeRF可以以交互速率合成高分辨率图像，同时保持高质量的3D一致性。StyleNeRF还可以控制相机姿势和不同级别的样式，可以推广到看不见的视图。它还支持具有挑战性的任务，包括放大和缩小、样式混合、反转和语义编辑。