相机和livox激光雷达外参标定：在gazebo中搭建仿真场景

新机器视觉

共 11173字，需浏览 23分钟

· 2022-08-26

点击下方卡片，关注“新机器视觉”公众号

重磅干货，第一时间送达

本篇在gazebo中搭建可以模拟产生livox_camera_lidar_calibration功能包需要的数据的仿真场景.

场景搭建要求

下面总结下,针对livox_camera_lidar_calibration功能包仿真都需要哪些内容:

livox 激光雷达,可以产生livox激光雷达这种的固态雷达的数据
相机,生成图像
棋盘标定板
矩形标定板
激光雷达和相机可以一起改变角度和位置(世界坐标系下)

这个场景要求想起了之前搭建的一个无人机和云台,那么在上面再装一个livox avia 和一个 carema就OK了

云台装在一个无人机上,刚好可以移动及改变雷达和相机的姿态.

场景搭建

创建一个云台挂在无人机上

这个是之前搭建好的,不重点说了,直接上图,就是下面这个样子

其中无人机和云台的尺寸比较小,和livox和camera的比例不太一致,不过仿真就不那么追求完美了,可以用就行.

云台是这样的:

灰色的是云台的gimbal_base_link,用于与无人机的连接,连接方式是固定的,所以云台的航向是完全锁定机头方向的

  &lt;joint name="${name}_joint" type="fixed"&gt;    &lt;parent link="${parent}"/&gt;    &lt;child link="gimbal_base_link"/&gt;    &lt;origin xyz="0 0 -0.05" rpy="${M_PI} 0 ${M_PI/2} " /&gt;    &lt;axis xyz="0 0 1" /&gt;  &lt;/joint&gt;

蓝色的是link1,向下延伸杆.与gimbal_base_link为固定连接.

红色的是云台平台的主体link2 , 与link1, 连接一个joint,用于俯仰的控制

  &lt;joint name="swivel_J1" type="revolute"&gt;    &lt;parent link="link_1"/&gt;    &lt;child link="link_2"/&gt;    &lt;origin xyz="0 0 ${SizeGain*0.01}" rpy="0 0 0" /&gt;    &lt;axis xyz="1 0 0" /&gt;    &lt;limit lower="-1.745" upper="2.356" effort="10"       velocity="1.0" /&gt;    &lt;joint_properties damping="0" friction="0"/&gt;  &lt;/joint&gt; &lt;transmission name="tran2"&gt;    &lt;type&gt;transmission_interface/SimpleTransmission&lt;/type&gt;    &lt;joint name="swivel_J1"&gt;      &lt;hardwareInterface&gt;hardware_interface/EffortJointInterface&lt;/hardwareInterface&gt;    &lt;/joint&gt;    &lt;actuator name="motor2"&gt;      &lt;hardwareInterface&gt;hardware_interface/EffortJointInterface&lt;/hardwareInterface&gt;      &lt;mechanicalReduction&gt;1&lt;/mechanicalReduction&gt;    &lt;/actuator&gt;  &lt;/transmission&gt;

创建一个livox 和camera 挂在云台上

上面说了尺寸问题,为了避免数据被遮挡,需要将雷达和相机往前放

雷达和相机放在 link2 上, 为了标定外参,设置两者的位置不重合,当然实际也不可能重合. 先设置一个简单的位置

雷达与x轴偏-0.1 相机与x轴偏0.1,所以两者仅在y方向上偏0.2.之后在进行外参标定的时候再把各方向的偏差加上

  &lt;joint name="camera_J2" type="fixed"&gt;    &lt;parent link="link_2"/&gt;    &lt;child link="camera_mount"/&gt;    &lt;origin xyz="0.1 ${SizeGain*0.01+0.29} 0" rpy="${M_PI} 0 ${M_PI/2}" /&gt;    &lt;axis xyz="1 0 0" /&gt;    &lt;limit lower="-2.094" upper="2.670" effort="10"       velocity="1.0" /&gt;    &lt;joint_properties damping="0.0" friction="0.0"/&gt;  &lt;/joint&gt;

    &lt;joint name="lidar_joint" type="fixed"&gt;        &lt;parent link="link_2"/&gt;        &lt;child link="livox_lidar_link"/&gt;        &lt;origin xyz="-0.1 ${SizeGain*0.01+0.29} 0.002" rpy="${180*M_PI/180} ${0*M_PI/180} ${M_PI*0.5}" /&gt;        &lt;axis xyz="1 0 0" /&gt;    &lt;/joint&gt;

相机与激光雷达视野匹配

我们知道激光雷达是没有镜头的,所以激光雷达的视场角是多少就是多少,无法改变.(实际场景中)

那么想让相机与激光雷达的视野匹配,只能选择相机的镜头,让水平视场角和垂直视场角两者更为接近.

激光雷达仿真对应的具体型号是livox avia ,该雷达的视野如下:

非重复式扫描 70.4° * 77.2°
在gazebo中也是这样设置的

  &lt;xacro:property name="horizontal_fov" value="70.4"/&gt;  &lt;xacro:property name="vertical_fov" value="77.2"/&gt;

所以在gazebo中设置相机的参数如下:(水平角是70.4,像素是4096*3000)

    &lt;gazebo reference="camera_mount"&gt;            &lt;turnGravityOff&gt;false&lt;/turnGravityOff&gt;            &lt;sensor type="camera" name="camera_node"&gt;                &lt;update_rate&gt;5&lt;/update_rate&gt;                &lt;camera name="head"&gt;                    &lt;horizontal_fov&gt;"${70.4*M_PI/180}"&lt;/horizontal_fov&gt;                    &lt;image&gt;                        &lt;width&gt;4096&lt;/width&gt;                        &lt;height&gt;3000&lt;/height&gt;                        &lt;format&gt;R8G8B8&lt;/format&gt;                    &lt;/image&gt;                    &lt;clip&gt;                        &lt;near&gt;0.02&lt;/near&gt;                        &lt;far&gt;300&lt;/far&gt;                    &lt;/clip&gt;                    &lt;noise&gt;                        &lt;type&gt;gaussian&lt;/type&gt;                        &lt;mean&gt;0.0&lt;/mean&gt;                        &lt;stddev&gt;0.007&lt;/stddev&gt;                    &lt;/noise&gt;                &lt;/camera&gt;                &lt;plugin name="gazebo_camera" filename="libgazebo_ros_camera.so"&gt;                    &lt;alwaysOn&gt;true&lt;/alwaysOn&gt;                    &lt;updateRate&gt;10&lt;/updateRate&gt;                    &lt;cameraName&gt;/camera&lt;/cameraName&gt;                    &lt;imageTopicName&gt;image_raw&lt;/imageTopicName&gt;                    &lt;cameraInfoTopicName&gt;camera_info&lt;/cameraInfoTopicName&gt;                    &lt;frameName&gt;camera_link&lt;/frameName&gt;                    &lt;hackBaseline&gt;0.07&lt;/hackBaseline&gt;                    &lt;distortionK1&gt;0.0&lt;/distortionK1&gt;                    &lt;distortionK2&gt;0.0&lt;/distortionK2&gt;                    &lt;distortionK3&gt;0.0&lt;/distortionK3&gt;                    &lt;distortionT1&gt;0.0&lt;/distortionT1&gt;                    &lt;distortionT2&gt;0.0&lt;/distortionT2&gt;                &lt;/plugin&gt;            &lt;/sensor&gt;        &lt;/gazebo&gt;

rviz中检查成像效果

在云台前,放一个墙

看激光雷达的点云和相机的图像的墙的占幅比,如果上面调的视野一致的化,那么应该不会差太多.

墙横过来的效果

创建标定棋盘

编辑一个棋盘的sdf文件,这种文件太长了,就不在这放了. 展示下想让棋盘待在空中不掉下来的关键部分:

static 为true 则不受重力影响
pose 就是在world 的位置 x y z 和三个姿态角

在rviz中检查下标定棋盘别太小就行.

创建标定板

标定板最好可以设置大点的,矩形板就行

&lt;?xml version='1.0'?&gt;&lt;sdf version="1.4"&gt;&lt;model name="board"&gt;  &lt;pose&gt;4 0 2 0 1.57079 0&lt;/pose&gt;  &lt;static&gt;true&lt;/static&gt;    &lt;link name="board"&gt;      &lt;pose&gt;0.0 0.0 0.0 0.0 0.0 0.0&lt;/pose&gt;      &lt;inertial&gt;        &lt;mass&gt;0.01&lt;/mass&gt;        &lt;inertia&gt; &lt;!-- interias are tricky to compute --&gt;          &lt;!-- http://answers.gazebosim.org/question/4372/the-inertia-matrix-explained/ --&gt;          &lt;ixx&gt;0.083&lt;/ixx&gt;       &lt;!-- for a box: ixx = 0.083 * mass * (y*y + z*z) --&gt;          &lt;ixy&gt;0.0&lt;/ixy&gt;         &lt;!-- for a box: ixy = 0 --&gt;          &lt;ixz&gt;0.0&lt;/ixz&gt;         &lt;!-- for a box: ixz = 0 --&gt;          &lt;iyy&gt;0.083&lt;/iyy&gt;       &lt;!-- for a box: iyy = 0.083 * mass * (x*x + z*z) --&gt;          &lt;iyz&gt;0.0&lt;/iyz&gt;         &lt;!-- for a box: iyz = 0 --&gt;          &lt;izz&gt;0.083&lt;/izz&gt;       &lt;!-- for a box: izz = 0.083 * mass * (x*x + y*y) --&gt;        &lt;/inertia&gt;      &lt;/inertial&gt;      &lt;collision name="collision"&gt;        &lt;geometry&gt;          &lt;box&gt;            &lt;size&gt;0.02 0.02 0.005&lt;/size&gt;          &lt;/box&gt;        &lt;/geometry&gt;      &lt;/collision&gt;      &lt;visual name="sqr11"&gt;        &lt;geometry&gt;          &lt;box&gt;            &lt;size&gt;2 2.5 0.005&lt;/size&gt;          &lt;/box&gt;        &lt;/geometry&gt;    &lt;material&gt;          &lt;ambient&gt;0 0 0 1&lt;/ambient&gt;          &lt;diffuse&gt;0 0 0 1&lt;/diffuse&gt;          &lt;specular&gt;0.1 0.1 0.1 1&lt;/specular&gt;          &lt;emissive&gt;0 0 0 0&lt;/emissive&gt;        &lt;/material&gt;      &lt;/visual&gt;  &lt;/model&gt;&lt;/sdf&gt;