3D运动跟踪系统可以简化自主技术的视觉

密歇根大学开发的一种新的实时3D运动跟踪系统将透明光探测器与先进的神经网络方法相结合，创建了一个系统，有朝一日可以在自主技术中取代LiDAR和摄像头。

虽然该技术仍处于起步阶段，但未来的应用包括自动化制造、生物医学成像和自动驾驶。一篇关于该系统的论文发表在NatureCommunications上。

成像系统利用透明的，纳米级，高度敏感的石墨烯光电探测器所制定的优势朝晖钟，UM电气和计算机工程系的副教授，和他的小组。他们被认为是同类中的第一个。

“石墨烯纳米器件和机器学习算法的深度结合可以为科学和技术带来迷人的机会，”电气和计算机工程博士生张德辉说。“与其他几种解决方案相比，我们的系统结合了计算效率、快速跟踪速度、紧凑的硬件和更低的成本。”

这项工作中的石墨烯光电探测器已经过调整，仅吸收它们所暴露光线的10%左右，使其几乎透明。由于石墨烯对光非常敏感，这足以生成可以通过计算成像重建的图像。光电探测器相互堆叠在一起，形成一个紧凑的系统，每一层都聚焦在不同的焦平面上，从而实现3D成像。

但3D成像只是一个开始。该团队还解决了实时运动跟踪问题，这对各种自主机器人应用至关重要。为此，他们需要一种方法来确定被跟踪对象的位置和方向。研究人员说，典型的方法包括LiDAR系统和光场相机，这两种方法都有很大的局限性。其他人使用超材料或多个相机。仅靠硬件不足以产生预期的结果。

他们还需要深度学习算法。帮助连接这两个世界的是电气和计算机工程博士生振旭。他构建了光学装置并与团队合作，使神经网络能够破译位置信息。

神经网络经过训练，可以在整个场景中搜索特定对象，然后只关注感兴趣的对象——例如，交通中的行人，或在高速公路上驶入车道的对象。该技术特别适用于稳定系统，例如自动化制造，或为医学界以3D形式投影人体结构。

“训练你的神经网络需要时间，”项目负责人、电气和计算机工程教授泰德诺里斯说。“但是一旦完成，它就完成了。因此，当摄像机看到某个场景时，它可以在几毫秒内给出答案。”

博士生黄正宇主导了神经网络的算法设计。该团队开发的算法类型与用于X射线和MRI等长期成像技术的传统信号处理算法不同。这让团队联合负责人、电气和计算机工程教授、专门研究医学成像的JeffreyFessler感到兴奋。

“在我在密歇根州工作的30年里，这是我参与的第一个项目，当时该技术还处于起步阶段，”费斯勒说。“我们离你在百思买买的东西还有很长的路要走，但没关系。这就是令人兴奋的部分原因。”

该团队展示了跟踪光束的成功，以及具有两个4×4(16像素)石墨烯光电探测器阵列堆叠的实际瓢虫。他们还证明了他们的技术是可扩展的。他们认为，对于某些实际应用，只需4,000个像素，而对于更多应用，则需要400×600像素阵列。

虽然该技术可以与其他材料一起使用，但石墨烯的其他优点是它不需要人工照明并且对环境友好。研究人员表示，建立大规模生产所需的制造基础设施将是一个挑战，但它可能是值得的。

“石墨烯现在就是1960年的硅，”诺里斯说。“随着我们继续开发这项技术，它可以激发商业化所需的投资。”

标签：