迈向室内场景的高保真单视图整体重建

虚拟现实和增强现实的发展促进了理解和数字化现实世界3D场景的方法的发展。然而，当前的方法通常输出缺乏细节的形状，并且无法恢复具有复杂几何形状的背景。

最近关于arXiv.org的一篇论文通过引入实例对齐的隐式函数(InstPIFu)解决了这些限制。新管道使用隐式表示从单个RGB图像重建整体和详细的​​3D室内场景。

与以前的方法相比，所提出的方法可以恢复具有更复杂几何形状的背景，例如非平面表面。此外，它对对象遮挡的鲁棒性更强，对现实世界的数据集具有更好的泛化能力。大量实验证明了合成和真实世界室内场景数据集的最先进性能。

我们提出了一个新的框架来重建整体3D室内场景，包括从单视图图像中的房间背景和室内对象。由于室内场景的严重遮挡，现有方法只能生成几何质量有限的室内物体的3D形状。为了解决这个问题，我们提出了一个实例对齐的隐式函数(InstPIFu)，用于详细的对象重建。结合实例对齐的注意力模块，我们的方法能够将混合的局部特征与被遮挡的实例解耦。此外，与以前将房间背景简单地表示为3D边界框、深度图或一组平面的方法不同，我们通过隐式表示恢复了背景的精细几何形状。对eSUNRGB-D、Pix3D、3D-FUTURE、和3D-FRONT数据集表明，我们的方法在背景和前景对象重建方面都优于现有方法。我们的代码和模型将公开发布。

标签：