单幅图像双手重建的交互注意力图

交互双手重建是虚拟现实等应用程序中的一项基本任务。由于严重的相互遮挡和外观相似，该任务仍未解决。最近发表在arXiv.org上的一篇论文提出了InteractingAttentionGraphHand(IntagHand)，这是一种新颖的基于图卷积网络(GCN)的单图像双手重建方法。

为了利用两只手之间的交互上下文，传统的GCN配备了两个新颖的注意力模块。第一个在手部顶点和图像特征之间产生更好的对齐。第二个通过对双手交互上下文进行隐式建模，提高了密切交互姿势的重建精度。

结果表明，所提出的方法在很大程度上优于现有方法。首次展示了在各种野外图像上对齐良好的双手重建结果。

图卷积网络(GCN)在单手重建任务中取得了巨大的成功，而通过GCN进行交互的双手重建仍未得到探索。在本文中，我们提出了交互注意力图手(IntagHand)，这是第一个基于图卷积的网络，它从单个RGB图像重建两个交互的手。为了解决双手重建的遮挡和交互挑战，我们在原始GCN的每个上采样步骤中引入了两个新的基于注意力的模块。第一个模块是金字塔图像特征注意(PIFA)模块，它利用多分辨率特征隐式获得顶点到图像的对齐。第二个模块是交叉手注意(CHA)模块，它通过在两个手部顶点之间建立密集的交叉注意来编码交互手的连贯性。因此，我们的模型在InterHand2.6M基准上大大优于所有现有的双手重建方法。此外，消融研究验证了PIFA和CHA模块在提高重建精度方面的有效性。野生图像的结果进一步证明了我们网络的泛化能力。我们的代码可在这个https网址。

标签：