具有统一鸟瞰图表示的多任务多传感器融合

自动驾驶汽车配备了提供互补信息的不同传感器：摄像头捕捉语义信息，雷达提供速度估计，激光雷达提供空间信息。为了准确感知，必须找到适合多任务多模态特征融合的统一表示。

最近在arXiv.org上的一篇论文提出了BEVFusion来统一共享鸟瞰图(BEV)表示空间中的多模态特征，以用于任务不可知的学习。该方法允许同时保持几何结构和语义密度，并且自然支持大多数3D感知任务。

该方法设置了新的最先进的性能。在3D对象检测方面，它在所有不使用测试时间增强和模型集成的解决方案中，在nuScenes基准排行榜上排名第一。它还展示了BEV地图分割的显着改进。

多传感器融合对于准确可靠的自动驾驶系统至关重要。最近的方法是基于点级融合：用相机特征增强LiDAR点云。然而，相机到激光雷达的投影丢弃了相机特征的语义密度，阻碍了这种方法的有效性，特别是对于面向语义的任务(如3D场景分割)。在本文中，我们使用BEVFusion打破了这种根深蒂固的惯例，这是一种高效且通用的多任务多传感器融合框架。它统一了共享鸟瞰图(BEV)表示空间中的多模态特征，很好地保留了几何和语义信息。为了实现这一目标，我们通过优化的BEV池来诊断和提升视图转换中的关键效率瓶颈，将延迟减少40倍以上。BEVFusion基本上与任务无关，并且无缝支持不同的3D感知任务，几乎没有架构变化。它建立了nuScenes的最新技术，在3D对象检测上实现了1.3%的mAP和NDS，在BEV地图分割上实现了13.6%的mIoU，同时计算成本降低了1.9倍。

标签：