3D运动跟踪系统可以简化自主技术的视觉

密歇根大学开发的一种新的实时 3D 运动跟踪系统将透明光探测器与先进的神经网络方法相结合，创建了一个系统，有朝一日可以在自主技术中取代 LiDAR 和摄像头。虽然该技术仍处于起步阶段，但未来的应用包括自动化制造、生物医学成像和自动驾驶。一篇关于该系统的论文发表在Nature Communications 上。

该成像系统利用了密歇根大学电气与计算机工程副教授钟朝晖及其团队开发的透明、纳米级、高灵敏度石墨烯光电探测器的优势。他们被认为是同类中的第一个。

“石墨烯纳米器件和机器学习算法的深度结合可以为科学和技术带来迷人的机会，”电气和计算机工程博士生张德辉说。“与其他几种解决方案相比，我们的系统结合了计算效率、快速跟踪速度、紧凑的硬件和更低的成本。”

这项工作中的石墨烯光电探测器已经过调整，仅吸收它们所暴露光线的 10% 左右，使其几乎透明。因为石墨烯是对光线很敏感，这是足以产生的图像可通过计算成像重建。光电探测器相互堆叠在一起，形成一个紧凑的系统，每一层都聚焦在不同的焦平面上，从而实现 3D 成像。

但 3D 成像只是一个开始。该团队还解决了实时运动跟踪问题，这对各种自主机器人应用至关重要。为此，他们需要一种方法来确定被跟踪对象的位置和方向。研究人员说，典型的方法包括 LiDAR 系统和光场相机，这两种方法都有很大的局限性。其他人使用超材料或多个相机。仅靠硬件不足以产生预期的结果。

他们还需要深度学习算法。帮助连接这两个世界的是电气和计算机工程博士生振旭。他构建了光学装置并与团队合作，使神经网络能够破译位置信息。

基于石墨烯的透明光电探测器阵列(充当相机中的两层传感器)通过将绿色激光束聚焦到北泰德诺里斯实验室内镜头前的一个小点上来测量模拟点物体的焦堆图像2021 年 1 月 27 日在密歇根州安娜堡的校园内。诺里斯和他的团队制造了一个透明光电探测器阵列的原型，玻璃上有石墨烯，并使用两片探测器阵列稍微分开并放在成像镜头后面，以展示其在 3D 中的潜在应用对象跟踪任务。通过该原型的应用，这将有助于自动驾驶和机器人技术，对需要感知单元实时获取它们的位置和距离的移动物体做出响应。信用：

神经网络经过训练，可以在整个场景中搜索特定对象，然后只关注感兴趣的对象——例如，交通中的行人，或在高速公路上驶入车道的对象。该技术特别适用于稳定系统，例如自动化制造，或为医学界以 3D 形式投影人体结构。

“训练你的神经网络需要时间，”项目负责人、电气和计算机工程教授泰德诺里斯说。“但是一旦完成，就完成了。所以当相机看到某个场景时，它可以在几毫秒内给出答案。”

博士生黄正宇主导了神经网络的算法设计。该团队开发的算法类型与用于 X 射线和 MRI 等长期成像技术的传统信号处理算法不同。这让团队联合负责人、电气和计算机工程教授、专门研究医学成像的 Jeffrey Fessler 感到兴奋。

“在我在密歇根州工作的 30 年里，这是我参与的第一个项目，当时这项技术还处于起步阶段，”费斯勒说。“我们离你要在百思买买的东西还有很长的路要走，但这没关系。这就是让人兴奋的部分原因。”

该团队展示了跟踪光束的成功，以及具有两个 4x4(16 像素)石墨烯光电探测器阵列堆叠的实际瓢虫。他们还证明了他们的技术是可扩展的。他们认为，对于某些实际应用，只需 4,000 像素，而对于更多应用，则需要 400x600 像素阵列。

虽然该技术可以与其他材料一起使用，但石墨烯的其他优点是它不需要人工照明并且对环境友好。研究人员表示，建立大规模生产所需的制造基础设施将是一个挑战，但它可能是值得的。

“石墨烯现在就是 1960 年的硅，”诺里斯说。“随着我们继续开发这项技术，它可以激发商业化所需的投资。”

该论文的标题是“基于神经网络的 3D 跟踪与石墨烯透明焦堆栈成像系统”。

标签： 3D运动跟踪系统