用于开发和测试基于自主无人机的结构检测的虚拟现实环境

互推小编 2024-01-25

无人机最常用于结构健康检查，包括常规检查和灾后侦察。在大多数报道的案例中，除了遵守空域规定外，还需要经验丰富的飞行员在视线范围内驾驶无人机以收集高分辨率图像。专业团队可以查看图像，并评估收集的图像的范围和损坏程度。为了实现基于图像的理解效率，研究人员采用了各种计算机视觉方法，包括使用深度学习方法进行快速损伤检测。这使得航空成像和损坏检查的操作是分开进行的。因此，需要一个统一的导航、探索和检查（NEI）的基于无人机的自主检查系统。

要实现统一的NEI，无人机首先需要对自身进行定位，映射环境，并在未知环境中进行自我导航，这可以被视为同时定位和映射（SLAM）问题。其次，在飞行过程中，无人机也需要了解复杂的结构场景，并确定（1）结构场景在哪里，（2）如何在避开障碍物的同时接近当前场景。这是一个机器人探索的过程。为了完成结构健康检查过程，机器人应检测损伤的存在，甚至量化损伤的类型或水平。在NEI过程结束时，空中机器人有望输出语义注释的结构3D地图，显示损坏评估。

提出了一个基于虚拟现实的无人机测试和验证平台，用于开发机器人NEI算法和流程，以实现土木结构评估的自动化，以克服这些困难。在这个初步工作中，我们使用游戏引擎虚幻引擎作为虚拟现实环境来测试上述无人机控制系统。仿真环境的模块化设计使其他用户能够测试或开发他们的无人机控制系统。虚拟现实环境能够模拟携带各种传感器（图像传感器、光探测和测距（激光雷达）系统、惯性测量单元（IMU）、GPS等）的无人机，以检查各种民用基础设施。这些基础设施可能来自虚幻引擎市场，也可能来自现有的3D模型。

所提出的模拟平台的架构包括虚幻引擎中的虚拟场景、用于检查的模块化无人机控制系统，以及作为两者之间桥梁的ROS接口。图 1 显示了体系结构设计和数据流。虚幻引擎通过ROS发送传感器数据并接受控制信号。无人机控制系统接收数据，对其进行处理，并发出控制信号。

图1 虚拟现实环境的体系结构设计

虚幻引擎提供了虚拟环境，其中包含用于检查的目标基础设施，如图1底部的混凝土柱和教堂。AirSim模拟虚拟无人机，摄像头，激光雷达和GPS。一旦虚拟无人机布防，它将发送传感器数据并从无人机检查系统接收命令。

最后一个重要部分是用于结构检查的无人机控制系统。由于模块化和简单的架构设计，很容易更换任何其他控制系统。在这项工作中，我们使用开环控制系统（图2）。GPS航点控制器连续向无人机发送控制信号，无人机发出传感器数据，SLAM算法处理数据。我们采用DSO和HDL Graph SLAM。它们都是视觉 SLAM 和激光雷达SLAM的表示形式。

图2 无人机控制系统

我们在两种环境中对无人机检测系统进行飞行测试，以演示虚拟仿真平台。一个是加州大学伯克利分校里士满野外站实验室中损坏的混凝土柱。另一个是密苏里州杰斐逊城龙卷风后的杰斐逊市教堂，这是一个户外环境。室内混凝土柱的三维尺寸为0.4米×0.4米×5米，而室外教堂为35米×35米×7米。这两个案例通过ROS演示了虚拟环境和检测系统之间的连接，并通过使用不同的传感器执行SLAM算法来展示仿真平台的强大功能。我们选择640的相机×320 分辨率和具有VelodynePuck Lite规格的3D激光雷达。

无人机从地面起飞，以矩形轨迹围绕目标混凝土柱移动，并在室内测试的初始起点降落。在室外测试中，无人机绕着教堂绕圈飞行，并降落在与起点不同的位置。两种轨迹都被定义为飞行前的航点，以避免碰撞。DSO和HDL图SLAM算法在无人机定位和映射方面的性能如图3所示。在图3 a和图3c中，白点表示像素的3D坐标，轴框表示估计的相机姿势。在图3 b 和图 3d 中，球体表示无人机位置。地图由点云表示，其中点的颜色表示其高度。

图3 SLAM算法的性能：a. DSO在室内，b. HDL Graph SLAM室外，c. DSO室外，d. HDL Graph SLAM室外

两种情况下的地面实况轨迹和估计轨迹如图 4 所示。需要注意的一件事是，像DSO这样的单眼视觉SLAM不提供量表。因此，我们从飞行前放置的一些地标之间的距离推断比例。在这两种情况下，激光雷达SLAM都显示出比单目视觉SLAM更好的性能，因为激光雷达能够直接测量无人机与障碍物之间的距离。

图4 XY平面中的地面真实轨迹和估计轨迹：a.室内测试，b.室外测试

室内和室外情况的位置误差和角度误差如图5、6、7和8所示。在这两种情况下，当无人机返回靠近原点的区域并形成闭环时，HDL Graph SLAM的位置误差将首先增加和减少。HDL Graph SLAM的位置误差的RMSE在室内情况下为0.143 m，在室外情况下为1.05 m。HDL图形SLAM的角度误差的RMSE为0.5∘C在室内外壳和5.68∘C在室外的情况下。与HDL Graph SLAM相比，当无人机返回原点时，估计姿态的误差不会减小。