谷歌为虚拟现实头盔开发了一种廉价的人工智能辅助控制器跟踪

虽然它可以使用位置跟踪传感器作为绳系虚拟现实耳机中的控制器，但6自由度控制器跟踪是独立虚拟现实耳机的圣杯。正如Adobe的DimitriDiakopoulos发现并在RoadtoVR中注意到的那样，谷歌提出了一种廉价的人工智能辅助方法，在独立耳机上增加了6DOF控制器跟踪功能——详细内容包含在谷歌最近的研究论文中。

这项技术从使用独立虚拟现实耳机中发现的相同的两个鱼眼摄像头来跟踪用户的手和手臂的位置开始。在软件方面，它依靠手、手臂和控制器位置训练的神经网络来估计用户已知的真实控制器的未知位置。由547，000个立体图像对组成的数据集被用来训练网络，并由20个用户在不同的照明下做13个动作来编译。

谷歌研究人员写道：“我们的关键观察是，用户的手和手臂为图像中控制器的位置提供了一个很好的背景。“即使控制器本身可能被遮挡，这也是一条有力的线索。为了简化系统，我们使用相同的摄像头耳机6自由度姿态跟踪移动头盔显示器作为我们的输入。在我们的实验中，它们是一对立体单色鱼眼相机。除了基于标准惯性测量单元的控制器，我们不需要额外的标签或硬件。

目前，谷歌可以在知道手和手臂位置的情况下，以33.5毫米的平均错误率——只有1.32英寸——来确定控制器的位置。目前，该系统在一个移动CPU核上以30FPS运行，不需要任何物体发光就能正确跟踪其位置。然而，该公司认为，它可以优化系统，以实现更快、更准确的跟踪，并将其扩展到无控制器的手部跟踪。预计在5月8日举行的I/O开发者大会上，谷歌会就此问题发表更多观点。

标签：