用于消防应用中增强现实的嵌入式深度学习系统

消防是一项危险而复杂的活动，需要准确的决策和态势感知。最近 arXiv.org 上的一篇论文建议利用深度学习方法来帮助消防员。研究人员提供了一个增强现实系统。

热成像、RGB 和深度相机用于采集数据。然后通过无线网络将其实时流式传输给急救人员和指挥官。由神经网络检测和分割的图像被中继到与个人防护设备相连的增强现实眼镜。

该系统可以通过火灾检测影响安全导航的物体并通知消防员。所提出的技术有助于因烟雾或灰尘或无可见光而导致视力受损的情况。它提高了消防员解读周围环境的能力，最大限度地提高救援效率和效力。

消防是一项动态活动，其中许多操作同时发生。保持态势感知(即，了解现场的当前条件和活动)对于消防员在火灾环境中安全和成功导航所需的准确决策至关重要。相反，由烟雾和极热等危险引起的迷失方向可能会导致受伤甚至死亡。这项研究采用了深度学习、点云和热成像以及增强现实平台等技术的最新进展，通过改进对场景的解释来提高消防员的态势感知和场景导航。我们设计并构建了一个原型嵌入式系统，该系统可以利用内置在消防员个人防护设备 (PPE) 中的摄像头传输的数据来捕获热图像、RGB 颜色和深度图像，然后部署已经开发的深度学习模型来分析输入数据即时的。嵌入式系统通过无线流分析并返回处理后的图像，在那里可以远程查看它们并使用增强现实平台将分析输入的结果可视化并将消防员的注意力吸引到感兴趣的物体上，例如否则通过烟雾和火焰是看不见的门窗。

标签： 嵌入式深度学习系统