随着社会的发展，智能交通的发展已是现代交通的必要趋势。交通场景中的目标检测技术是智能交通系统中的一种快速、高效的方法，可以实时检测道路上的特定目标，其性能直接影响后期对目标的处理。然而在实际的交通场景，目标检测多处于复杂背景环境中，因此，交通场景中目标检测对感知设备的性能提出了很高的要求。而毫米波雷达以体积小、重量轻、检测精度高等特点受到广泛关注。

△图1.IWR1843BOOST毫米波雷达实物图

        基于此先进信息网络北京实验室提出了基于深度学习的毫米波与视觉融合感知包括传感器数据预处理、检测目标后融合、目标轨迹跟踪等主要技术方案。

        该技术方案分别采用DBSCAN聚类算法和基于YOLOv5的深度学习算法对传感器数据进行预处理，结合空间对齐、时间对齐、决策融合算法对多维度目标信息进行融合，使用轨迹关联和卡尔曼滤波算法克服系统中的噪声和干扰，提高目标检测准确性。

△图2.毫米波雷达反射效果图                                                      △图3.毫米波雷达波形原理图

        毫米波是指工作频率在30～100GHz，波长在1～10mm之间的电磁波。开放给民用的波段为24GHZ（厘米波）、60GHZ、77GHZ。而77GHZ是规划给汽车防撞雷达，检测距离大于160m，可全天候工作。毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。可以用来进行测距、测速、测角度、目标有无的检测。

        该实验室基于深度学习方法，对毫米波与视觉传感器进行感知融合，综合考虑不同传感器在精确性及适用场景等方面的优势，实现高准确的融合感知；结合目标轨迹跟踪及轨迹关联算法，提高对于目标检测的准确性；使用较低成本的摄像头和毫米波雷达，解决了传统激光雷达方案中存在的成本过高问题。

        据介绍，本研究内容显著提高了道路目标检测的准确性，并提供了多维目标信息，对于路侧感知场景，如，车辆类型识别、路况分析、事故监测、高精度地图构建；以及车载感知场景，如，车辆自动驾驶、辅助驾驶等具有重要支持作用。对于“汽车智能化，交通网联化”的新一代自动驾驶技术的发展有着重要推动作用。

△图4.左侧为摄像头检测和分类结果，右侧为毫米波雷达检测结果。