基于语义分割信息的在线相机-激光雷达标定

点击上方“3D视觉工坊”，选择“星标”

标题：Online Camera-LiDAR Calibration with Sensor Semantic Information

作者：Yufeng Zhu, Chenghui Li and Yubo Zhang

来源：2020 IEEE International Conference on Robotics and Automation (ICRA)

编译：王靖淇

审核：王靖淇、柴毅

作为传感器数据融合的关键一步，传感器标定在自动驾驶和AR/VR等许多前沿机器视觉应用中都起着至关重要的作用。现存技术要么需要大量的人工工作和复杂的设置，要么就是不具有鲁棒性，容易产生不理想的结果。这篇文章探讨了RGB相机与激光雷达（LiDAR）之间的外参标定，这两种正是在自动驾驶中室外环境感知最广泛使用的传感器。具体来说，作者引入了在线标定技术，自动计算上述两个传感器之间的刚性运动变换矩阵的最优解，并最大限度地提高感知数据的互信息，同时无需调整环境设置。通过一种新型的基于语义特征的标定度量值，将标定问题建模为最优化问题，作者成功有力地完成了相机与激光雷达之间的实时时间同步。在多项自动驾驶任务中，作者的方法在鲁棒性和准确性方面都优于目前最先进的基于自动校准的边缘检测方法。

图1.作者将传感器安装在自动驾驶车辆的车顶，由多个 RGB 相机和激光雷达组成。这篇文章中，作者专注于单个相机和激光雷达的标定问题，算法可以直接推广到多个传感器对的设置。

图2. 边缘检测比语义分割更敏感，对相机图像中的颜色变化和噪声更敏感，会导致更多的冗余和不一致，在右列中，向输入图像添加随机噪声，对边缘检测产生了很大影响，而语义分割可以在两个不同的噪声水平上提供一致的结果。

图3.激光雷达点云中的边缘功能（右）容易受到噪声干扰（注意地面平面上以红色检测到的边缘特征），特别是左图所示的低分辨率激光数据。与相机图像同步时，检测到的边缘特征太稀疏，无法识别离群值（假正）。

图4.为了避免颜色变化和噪声扰动对度量值的影响，作者从输入相机图像构建高度图像H。首先从RGB图像数据中提取语义信息，并将分割区域中每个像素值设置为1，其他像素值设置为0（图b）。然后将距离转换应用于从边界到内部的衰变分割区域（图c）。最后计算背景区域的反向距离转换，以构建平滑的高度图（图d）。

图5.二进制地图存在零空间问题，当相同数量的雷达点云落在分割区域时，度量值将无法区分。

图6.该方法与边缘检测方法的优化收敛速度对比。边缘检测方法具有许多局部最优解，使求解器很容易卡住，边缘检测方法更快地收敛，但会产生次优解。

算法1.外参标定求解

Abstract

As a crucial step of sensor data fusion, sensor calibration plays a vital role in many cutting-edge machine vision applications, such as autonomous vehicles and AR/VR. Existing techniques either require quite amount of manual work and complex settings, or are unrobust and prone to produce suboptimal results. In this paper, we investigate the extrinsic calibration of an RGB camera and a light detection and ranging (LiDAR) sensor, which are two of the most widely used sensors in autonomous vehicles for perceiving the outdoor environment. Specifically, we introduce an online calibration technique that automatically computes the optimal rigid motion transformation between the aforementioned two sensors and maximizes their mutual information of perceived data, without the need of tuning environment settings. By formulating the calibration as an optimization problem with a novel calibration quality metric based on semantic features, we successfully and robustly align pairs of temporally synchronized camera and LiDAR frames in real time. Demonstrated on several autonomous driving tasks, our method outperforms state-of-the-art edge feature based auto-calibration approaches in terms of robustness and accuracy.

如果你对本文感兴趣，请点击点击阅读原文下载完整文章。

百度网盘提取码：cesa

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~