3月7日通过学习神经组合表示进行人体4D建模

建模3D人体形状对于许多以人为中心的任务很重要，例如姿势估计和身体形状拟合。然而，需要进一步研究涉及动态信号的应用，例如3D移动人体。

arXiv.org最近的一篇论文提出了H4D，这是一种用于人类4D建模的新型神经表示。它将线性先验模型与在学习的辅助代码中编码的残差相结合。每个3D人体形状的时间序列都使用紧凑的潜在代码进行编码，然后可用于通过解码器重建输入序列。额外的辅助潜在代码补偿了不准确的运动并丰富了几何细节。

实验表明，该方法可以有效地恢复准确的动态人体序列，并为各种4D人体相关应用(如运动完成或未来预测)提供强大的性能。

尽管基于深度学习的3D重建取得了令人印象深刻的成果，但对直接学习以详细几何形状对4D人体捕捉进行建模的技术的研究较少。这项工作提出了一个新颖的框架，可以通过从广泛使用的SMPL参数模型中利用人体先验来有效地学习动态人体的紧凑和组合表示。特别是，我们的表示，命名为H4D，将时间跨度上的动态3D人表示为编码形状、初始姿势、运动和辅助信息的潜在空间。提出了一种简单而有效的线性运动模型来提供粗略和正则化的运动估计，然后使用辅助代码中编码的残差对位姿和几何细节进行每帧补偿。从技术上讲，我们引入了新的基于GRU的架构来促进学习和提高表示能力。大量实验表明，我们的方法不仅可以有效地恢复具有精确运动和详细几何形状的动态人体，而且还适用于各种4D人体相关任务，包括运动重定向、运动完成和未来预测。

标签：