基于雷达增强型机器视觉的全息隧道监测预警技术

互推小编 2023-06-30

李斌，柯巍等中国交通信息化

论文

作者：李斌1，柯巍2，刘盈2，符凯娟2

（1.兰州朗青交通科技有限公司；2.甘肃新视能科技有限公司）

摘要：高速公路隧道为半封闭环境，较普通路段交通事故多，且极易导致二次事故，造成严重事故损失和交通延误，成为高速公路安全畅通运行的瓶颈。基于传统车检器及视频检测的隧道运行监测手段受硬件和算法的限制，难以达到理想的监测效果。本文依托的研究项目通过毫米波雷达和AI摄像机融合感知的方式，实现隧道全域可视化精准感知，实时准确监测隧道交通运行状态及交通异常事件；并开发了隧道全域三维可视化管理平台，将隧道交通运行态势、交通事件、火灾监测预警等信息整合到一个平台，显著提升隧道运营管理效率。本项目研究成果已在G30连霍高速甘肃省乌鞘岭特长隧道完成部署并示范运行，取得了良好效果。

G30连霍高速甘肃境内乌鞘岭二号隧道全长6.9km，地处高寒高海拔、雨雪雾特征气候区域，受恶劣环境和运营监控设施老旧等多重因素影响，隧道交通事故率高、安全隐患大、设施设备维护费用高。各级管理部门对隧道信息化建设投入巨大，但仍以传统人工监控为主要手段。交通运营状况监测主要依赖于闭路电视监视，未设置交通运行态势和交通事件主动监测功能，无法实现车辆状态自动判别与报警，也无法预先诱导、控制交通流，减少阻塞、避免安全事故以及二次事故的发生。为有效解决高速公路特长隧道运行监测预警技术问题，提升隧道感知能力，减少交通事故及其影响，甘肃省智慧交通重点实验室成功实施了《基于机器视觉的隧道运行安全监测与预警关键技术研究与示范应用》科研项目。本课题通过对机器视觉、边缘计算、雷视拟合、全息感知、高精度三维建模等技术的研究，提出适用于现役高速公路隧道运行安全与预警的解决方案，在乌鞘岭二号隧道进行示范应用，提高交通事件检测及初期火灾识别的精准度，全面提升甘肃省隧道交通智慧化水平和应急安全保障水平。

一

机器视觉全息感知技术应用研究

（一）机器视觉全息感知

1、全息隧道

全息隧道是指利用大数据等先进技术的支持，以视频数据为基础，通过场景空间位置信息还原，实现隧道实时状态的数字孪生场景构建与数字孪生世界里的隧道真实场景的细节刻画，实现道路标线、道路区域的真实纹理模型搭建，描绘出车辆在真实场景下的真实过车轨迹与位置，实现隧道事件的高精度定位与高还原回溯，提升隧道行车管理的精细度。如图1所示。

图1 全息隧道示意图

2、机器视觉全息感知

机器视觉全息感知是在全息隧道基础上分析处理隧道内各种事件，以上帝视角实时展示隧道内全线车辆运行轨迹，从宏观角度动态掌握隧道全线状态。本文基于AI智能摄像机的视觉感知可以获取交通对象丰富的身份、特征、状态等多维信息，包含颜色、灰度、纹理、几何分布等关键信息。AI智能摄像机是指软件定义摄像机（Software-Defined Camera,简称SDC），不仅可以获取高精度数据源，以算力换图像，还具有成本低的优势，AI智能摄像机为AI机器视觉全息感知提供数据基础。机器视觉全息感知步骤如下。

（1）在隧道内安装AI智能摄像机，为边缘一体机提供行车方向无损视频源，该视频采用全光介质大带宽低延时汇聚传输，传输速度快，准确度高；

（2）利用机器视觉技术实时处理无损视频源，机器视觉技术标定对象如图2所示，图中红色矩形框为标定数据；

图 2 数据标定

（3）利用边缘一体机预装算法快速实现隧道全域交通、环境及事故信息检测提取，并锁定事件位置。

（二）重点区域毫米波雷达精准感知

重点区域是指隧道入口、出口、曲线段等事故高发区段，在此重点区域安装毫米波雷达感知设备，实现隧道重点区段交通运行、环境状态及交通事故等全息精确感知。

1、毫米波雷达

毫米波雷达已大量应用于道路交通领域，每秒获取的信息量达到100k级别，可精准获得对象的距离、角度、速度等信息。毫米波雷达工作原理简单，可操作性强，主要通过天线向外发射毫米波，接收目标反射信号，信号处理后快速准确地获取隧道周围的物理环境信息(如与其他物体之间的相对距离、相对速度、角度、运动方向等），然后根据所探知的物体信息进行目标追踪和识别分类，进而结合车身动态信息进行数据融合感知。毫米波雷达测距有如下优势：

（1）精度高抗干扰。同微波导引头相比，毫米波导引头具有体积小、质量轻和空间分辨率高的特点。在天线口径相同的情况下，毫米波雷达有更窄的波束，一般为毫弧度量级，可提高雷达的角分辨能力和测角精度，并且有利于抗电子干扰、杂波干扰和多径反射干扰等。

（2）全天候全天时。与红外、视频、激光等光学导引头相比，毫米波导引头穿透雾、烟、灰尘的能力强，具有全天候全天时的特点。

（3）高分辨多目标。由于工作频率高，可能得到大的信号带宽(如吉赫量级)和多普勒频移，有利于提高距离和速度的测量精度和分辨能力并能分析目标细节特征。同时毫米波雷达能分辨识别很小的目标，且能同时识别多个目标，因此具有很强的空间分辨和成像能力。

（4）敏感度高误报率低。系统敏感性高，错误误报率低，不易受外界电磁噪声的干扰。

（5）可测速可测距。采用FMCW调频连续波，能同时测出多个目标的距离和速度，并可对目标连续跟踪，甚至到静止目标也可保持跟踪不丢失。

2、毫米波雷达精准感知

从感知范围看，AI智能摄像机和毫米波雷达都可以实现从近场到远场的感知。如表1所示，对智能化道路的车辆状态和交通状态感知任务而言，二者可构成元数据，形成互补优势，为获得维度全面、时间空间连续的全息交通状态夯实基础。

表1 AI智能摄像机和毫米波雷达对车辆和交通状态感知的优劣

（注：表中符号l代表AI智能摄像机和毫米波雷达对车辆和交通状态典型值具有强烈感知；符号£代表AI智能摄像机和毫米波雷达对车辆和交通状态典型值感知较弱；符号¡代表AI智能摄像机和毫米波雷达对车辆和交通状态没有感知。）

（三）边缘雷视数据融合

1、雷视数据融合

边缘雷视数据融合作为本文创新性算法，通过对毫米波雷达数据和AI智能摄像机视频实时逐帧分析和拟合，实现数字化上帝视角精准轨迹标注，对隧道路段全天候、全要素、全方向的数据采集，弥补传统监测的单方向视角、单维数据等不足。通过视频的目标像素、雷达的目标位置信息、高精度地图的标定位置，三者数据的拟合形成世界坐标，从而实现高精度的车辆轨迹以及目标定位。实施效果如图3所示。

图3 雷视拟合原理

对于交通及道路精准监测技术而言，雷视融合主要实现以下功能。

（1）基于雷视融合的车辆状态监测。雷视可实现行驶车辆的识别和精准定位，视觉、雷达在图像抓拍、轨迹跟踪等方面各有优势，从而实现对车辆行为的监测，包括车辆的图像记录、车牌识别、车身颜色识别等，以及对车辆轨迹的监测，包括实时运行轨迹的跟踪、速度测定、超速记录及历史运行数据等。

（2）基于雷视融合的交通状态监测。交通状态监测包括交通流量监测及交通事件监测。凭借雷视融合技术对车辆目标、特征和状态的精准感知，经统计方法可得交通流状态实时监测，实现对车道交通量、车道上车辆平均速度、车道时间占有率等数据采集功能，为公路交通宏观、中微观运行状态信息服务提供数据支撑。交通事件监测是对道路上突发的动态交通异常事件进行监测，通过雷视融合技术对车辆、机动车、非机动车等交通参与方的目标、特征、状态尤其轨迹的连续感知，通过历史观测和实时综合判别及融合，实现智能识别的交通事件检测和监测。交通事件包括但不限于停止事件、逆行事件、行人事件、拥堵事件、交通事故等。对于被监测的事件，进行及时、智能分析并识别，精准地记录发生时间、车道位置、涉及的单个车辆和用户，为下一步针对车道和单车或单用户的精准协同、控管和服务夯实基础。

雷视拟合流程如图4所示。

图4 雷视拟合流程图

（1）同一方向多传感器数据第一次处理时，单方向或两个摄像头融合后，再根据视频与雷达数据产生的时间依次传入多方向目标融合模块。

（2）对一个或多个方向“超级”传感给出的目标数据进行融合时，首先预测上一帧融合目标，关联观测值数据，对可关联的目标更新数据处理，对未关联目标，根据固定规则新增；多方向融合时，对单方向产生数据传感器的数量和类别不感知，以此得到感知的融合目标。

2、雷达增强型机器视觉

基于无损视频AI分析的隧道全域视觉感知数据，是快速、经济、有效地实现隧道全覆盖智能感知的最基本手段。通过视觉感知获得的流量统计、车速测定、事件检测等数据，受视频分析固有特性以及环境因素等影响，在准确度和有效性方面存在不同程度的误差，故原始数据需要校验和修正才可投入使用。本文利用ITS800边缘一体机将毫米波雷达提取的隧道重点区段交通运行、环境状态等全息精确感知数据汇聚处理，实现异构数据融合，增强重点区段机器视觉检测精度。

AI机器视觉和雷达增强型机器视觉对交通运行参数、交通事件、漏报和误报情况如表2所示。由表2中数据可知，采用雷达增强型机器视觉技术的交通运行参数明显高于AI机器视觉，其中，对行人和拥堵的作用指标增加20%，效果最为明显，由漏报指标可知，漏报项目相比AI机器视觉下降2%，由此可见，雷达增强型机器视觉有效提高了交通异常情况的监测。

表2 交通运行参数和交通事件监测项目及指标

二

热成像火灾监测预警技术应用研究

（一）热成像摄像机

现代传感技术中发展迅速的红外热成像技术在隧道火灾安全防范系统中具有越来越广泛的应用。本研究以热成像摄像机为硬件设备，监测隧道内火灾事件。该摄像机以热成像仪为核心，采用红外热成像技术的工作机制，具有探测极微小温差并将温差转换成实时视频图像的作用。

（二）热成像火灾监测预警

传统隧道设置光纤光栅感温火灾探测器和手动火灾报警按钮，由于光纤光栅感温火灾探测器感知在隧道拱顶，距离路面高度大，对初期火情识别率低，且受线型探测器固有特性限制，对初期火情定位精度低，受隧道纵风干扰位置漂移明显，无法第一时间精确发现初期火情进行准确定位，容易错失最佳灭火时间，无法及时做出响应，不能及时疏散车辆人员，造成重大损失。

本次将热成像摄像机引入到隧道中，通过光学和热成像双光谱技术实现隧道内火灾检测定位，利用人工智能算法辅助光纤光栅探测器识别初期火情，判断车辆和隧道内其他物体温度，提前预警隧道内是否发生火灾，提高隧道内火点监测效率，降低仅通过视频智能识别的误报率，为隧道意外火灾时人员逃生、组织灭火和应急救援提供有效时间，减少隧道火灾人员伤亡和财产损失。

由表3可知，即使机器视觉技术发展速度之快，应用范围之广，但利用热成像摄像机识别隧道火情较机器视觉技术效果更好，可识别火点最大距离由150m增加至600m，火灾识别率达95%，漏报率低于5%。

表 3 隧道火灾监测项目及指标

三

技术应用

本研究采用“甘肃新视能”品牌AI智能摄像机及ITS800边缘计算节点，实现了对乌鞘岭二号特长隧道交通运行的宏观管理和控制，提升交通运行监测、交通事件监测、隧道火灾监测和设备状态监测能力，并形成事件预警信息。由于乌鞘岭二号隧道为双向四车道高速公路特长隧道，所以重点强化对运行态势、交通异常事件及交通安全隐患的自主感知能力，全面提升高速公路隧道的运行效率和管理水平，增强事件监测预警，提升运行安全保障，如图5和图6所示。图5和图6运用AI技术及专业算法，实现交通指标的计算和输出，获取各类事件信息，包括事件发生时间、位置、关联车辆、详情等信息，并快速给出火灾、事故报警提示，提高隧道异常事件的处置效率，提升高速隧道运行管理。

图5 交通运行监测

图6 火灾事件报警

四

结束语

本文通过在隧道内部署毫米波雷达、ITS800边缘计算一体机及机器视觉传感器，将隧道内车辆、行人等目标检测信息传输给ITS800边缘计算设备进行融合分析，监测隧道内风险事件，为隧道监控人员进行事件判断提供可靠依据。同时，通过人工智能算法辅助光纤光栅探测器识别初期火情并精确定位，及时预警，主动弹窗人工确认后，启动火灾应急预案，为人车疏散、灭火救援提供最佳时间，避免错失初期火情可控期，减少火灾损失，实现了对多类型多角度数据的动态融合分析处理。

通过对基于雷达增强型机器视觉的全息隧道感知及热成像火灾预警技术的应用表明，该技术可实现事件的快速、高精度监测，为推动高速公路路网及重点隧道静态基础信息和动态信息数字化提供基础，对加快实现数字孪生公路建设有重要意义。

参考文献

[1] 种蕾.基于机器视觉的隧道区间车辆测速及违规检测[D].西安理工大学,2016.

[2] 许辉,陈忱,宿增强,贾彦党.智慧公路与机电工程融合发展模式探讨[J].中国交通信息化,2021(06):98-100.

[3] 赖金星,周慧,程飞等.公路隧道火灾事故统计分析及防灾减灾对策[J].隧道建设,2017,37（4）:409.

[4] 申艳军,杨阳,邹晓龙等.国内公路隧道运营期交通事故统计及伤亡状况评价[J].隧道建设,2018,38（4）：564.

[5] 涂耘,王少飞,王小军等.论公路隧道提质升级[J].隧道建设,2019,39（S1）:1.

[6] 《中国公路学报》编辑部.中国隧道工程学术研究综述･2015[J].中国公路学报,2015,28（5）:1.

[7] 李平,毛渝茸,王少飞,付立家,杨桪.高速公路隧道运营安全多尺度预警体系研究[J].中国交通信息化,2021(S1):60-64.

[8] 陈必港.自动化综合监测技术在复杂施工环境运营高速公路隧道中的应用及分析[J].福建交通科技,2021(05):104-109.

[9] 朱军,范典.光纤光栅隧道火灾探测器的设计研究[J].武汉理工大学学报,2007(04):107-109.

[10] 戴海卿.火灾报警系统在高速公路隧道的应用比较[J].公路交通科技(应用技术版),2012(011):94-96.