GST  >> Vol. 7 No. 4 (October 2019)

    室内移动测图平台的多传感器结合标定
    Extrinsic Calibration of Multi LiDAR-Camera Robotic System for Indoor Mapping

  • 全文下载: PDF(996KB)    PP.151-159   DOI: 10.12677/GST.2019.74021  
  • 下载量: 65  浏览量: 113   国度天然迷信基金支撑

作者:  

刘 春,许晨光,吴杭彬:同济大年夜学测绘与地理信息学院,上海

关键词:
2D扫描仪相机外参数EPNP算法圆拟合2D LiDAR Camera Extrinsic Calibration EPNP Algorithm Circle Fitting

摘要:

室内移动测图平台集成多目相机、二维激光扫描仪等多种传感器,用以完成室内的高精度定位及三维空间数据获得。精确标定出传感器的外参数,完成传感器空间基准同一,这是多传感器数据有效应用的基本,也是室内测图平台相干研究的重点成绩之一。本文提出一种便捷的多目相机及二维扫描仪的标定办法,起首,在平台上布设控制,建立机身坐标系。然后在相机与扫描仪的有效视场分别布设诟谇靶标、靶球作为公共点,借助于高精度三维激光扫描仪获得公共点在机身坐标系中坐标值。接着应用EPNP算法停止相机的标定,圆拟合的办法完成扫描仪标定,获得传感器在机身坐标系下外参数。最后对标定实验成果停止精度验证,相机标定重投影误差低于1个像素,扫描仪标定成果优于1厘米。

Multi LiDAR-camera is integrated on the indoor mapping robotic system for mission of high-precision positioning and three-dimensional spatial data acquisition. Accurate extrinsic calibration of sensors is the basis of effective utilization of multi-sensors data, and is also one of key issues of indoor mobile mapping research. This paper presents a convenient calibration method for multi-sensors. First, some control points are laid on the body of the robot to create the robot body coordinate system. Then, several identifiable targets are fixed in the effective field of view of LiDAR and camera. The coordinate value of targets in the robot body coordinate system is obtained by three-dimensional laser scanner. Finally, EPNP algorithm is used to calculate the extrinsic of camera based on the corresponding relationship between two-dimensional points and three-dimensional points, and RANSAC circle fitting is used to calibrate the 2D LiDAR. Experiments show that the camera reprojection error is less than 1 pixel and the calibration result of 2D LiDAR is better than 1 cm.

1. 引言

室内封闭情况下完成高精度定位和三维成图是当今移动丈量范畴的热点研究成绩。为处理这些成绩,激光和视觉传感器作为重要传感器集成在室内移动丈量体系中。相机可获得情况中的纹理及色彩信息,激光可以收集高精度的空间地位信息,这两种传感器的组合完成优势互补 [1] 。

同种传感器由于安顿地位与姿势的不合,获得到的数据在空间基准存在差别。相机及扫描仪这两种不合类型的传感器由于几何参考框架上的不合,获得的光学影象与激光点云是二种跨模态(cross-modal)异源数据,这两类数据在精准对准上仍存在艰苦 [2] 。传感器外参数的精确标定,可肯定传感器的地位与姿势。借助标定取得的外参数可以完成不合传感器在空间基准上的对齐,为多相机交会丈量和多源数据融合等相干任务供给先验信息。

相机由于缺乏深度信息,其外参数标定须要依附于三维空间点坐标与其二维图象坐标间的对应关系 [3] 。今朝最经常使用的办法是PnP (Perspective-N-Point)办法,以三维空间坐标和像素坐标为基本构建方程,求解相机的地位与姿势,经典的算法包含直接线性变换、P3P和P4P [4] [5] 。个中EPnP算法是Lepetit提出的相机位姿解算办法,该办法具有更高的抗搅扰才能,可以或许更精准地计算出相机的位姿参数 [6] [7] 。

关于相机与激光间的外参标定,文献 [8] [9] 在3D激光扫描仪与相机视场堆叠的情况下,找寻公共点,经过过程直接线性变换的方法,解算相机在激光坐标系下的地位与姿势。比拟三维激光扫描仪,二维扫描仪获得的是扫描面的二维数据,且一个地位姿势下只能获得一个扫描面的点云数据,公共点的缺乏给传感器间结合标定增长了难度 [10] 。文献 [11] [12] 在二维扫描仪与相机的公共视场下摆放棋盘格,基于点与面间的几何束缚解算传感器间的相对外参数。然则在传感器视场无堆叠情况下,由于缺乏充分的公共点,多传感器外参数标定仍存在艰苦。

针对室内测图平台上搭载的工业相机及二维扫描仪等传感器的外参标定需求,本文提出一种传感器结合标定的办法。起首,在平台上布设控制点建立机身坐标系,以此为基准停止传感器的结合标定。接着,在传感器的有效视场下布设公共点,获得公共点在传感器坐标系与机身坐标系下的坐标。最后分别应用EPNP算法和共线方程解算出相机与断面扫描仪的外参数,借助于解算取得的外参数可完成传感器坐标系与机身坐标系之间的空间基准转换。

2. 传感器结合标定办法

室内测图平台的外参数标定触及到多个不合类型传感器,为便捷完成多传感器间外参数的精确标定,在该平台上布设控制点建立机身坐标系。以机身坐标系为基准展开传感器外参数标定,求得传感器坐标系与机身坐标系间的转换参数,从而建立传感器数据空间基准上的接洽关系。传感器的标定流程如图1所示。

Figure 1. Flow chart of extrinsic calibration for Indoor Mapping Robot

图1. 移动测图平台传感器标定流程图

2.1. 坐标系定义及坐标系转换参数计算

为了更好描述标定办法,逐一简介设计到的坐标系,坐标系表示图如图2所示。

Figure 2. Schematic diagram of sensor coordinate system

图2. 传感器坐标系表示图

1) 相机坐标系:以相机的投影中间为坐标原点,X轴向右,Y轴向下,Z轴向右构成笛卡尔右手坐标系,应用 p i c ( x i c , y i c , z i c ) 表示相机坐标系下坐标。

2) 扫描仪坐标系:以扫描仪的激光发射中间为坐标原点,X轴向右,Y轴向前,Z轴向上构成笛卡尔右手坐标系,应用 p i l ( x i l , y i l , z i l ) 表示扫描仪坐标系下坐标。

3) 机身坐标系:为自定义坐标系,个中X轴向右,Y轴向前,Z轴向上构成笛卡尔右手坐标系,在文中应用 p i b ( x i b , y i b , z i b ) 表示该坐标系下坐标系。

两个三维笛卡尔坐标系间转换参数包含3个改变参数与3个平移参数。以机身坐标系与激光坐标系间坐标转换为例,可以用公式(1)停止表示,获得三个或以上公共点便可构造共线方程停止解算。

p i b = R ( A x , A y , A z ) [ x i l y i l z i l ] + [ t 1 l t 2 l t 3 l ] (1)

个中 T ( t 1 l , t 2 l , t 3 l ) 和R分别为传感器坐标系到机身坐标系的平移矩阵和改变矩阵。R由三个改变角 A x , A y , A z 构成,当坐标轴顺次按照x轴、y轴、z轴的次序逆时针改变 A x , A y , A z 三个角度值时,则R可以用公式(2)表示,当改变次序产生变更时R的计算式产生改变。

R = [ cos A z sin A z 0 sin A z cos A z 0 0 0 1 ] [ cos A y 0 sin A y 0 1 0 sin A y 0 cos A y ] [ 1 0 0 0 cos A x sin A x 0 sin A x cos A x ] (2)

2.2. 相机外参数标定

从相片获得像控点的像素坐标 ( u i , v i ) ,在三维扫描仪获得的点云中获得像控点在机身坐标系下坐标 ( x i b , y i b , z i b ) ,基于三维点坐标与二维像素坐标间的对应关系,借助EPNP办法解算相机的外参数。

应用四个不共面的虚拟坐标 ( x i c b , y i c b , z i c b ) , i = 1 , 2 , 3 , 4 表示像控点在机身坐标系下的坐标,如公式(3)停止表示,类似的在相机坐标系下坐标也能够异样以该坐标系下四个虚拟坐标,如公式(4)停止表示。

p j l = i = 1 4 W i , j c i p b (3)

p j c = i = 1 4 W i , j c i p c (4)

两个三维笛卡尔坐标系间停止坐标系转换过程当中,表示空间点的四个虚拟点的权重 W i , j 一直不变。故计算取得虚拟点点在相机坐标系下坐标,便可以解算出相机坐标系与机身坐标系间的转换参数。借助于相机内参数矩阵,可以完成相机坐标系与像素坐标间的转换,转换公式如公式(5)所示。

z i c [ u i v i 1 ] = [ f u 0 u c 0 f v v v 0 0 1 ] [ x i c y i c z i c ] (5)

f u f v 为相机焦距, u c v v 为主点坐标。结合公式(4),则公式(5)可以表示成:

z i c [ u i v i 1 ] = [ f u 0 u x 0 f c v y 0 0 1 ] i = 1 4 W i , j [ x i p c y i p c z i p c ] (6)

基于像控点的像素坐标系及对应虚拟点的权重,可组建方程如公式(7)所示,n个像控点则可以构建行数为2 × n的线性方程组。4个虚拟点在机身坐标系下坐标已知,借助于奇怪值分化的办法解求方程组,可取得其在相机坐标系下坐标,借助公式(1)计算可取得相机的外参数。

{ j = 1 4 W i , j f u x i p c + W i , j ( u c u i ) z i c = 0 j = 1 4 W i , j f u x i p c + W i , j ( u c u i ) z i c = 0 (7)

2.3. 扫描仪外参数标定

标定扫描仪须要3个以上公共点,获得公共点在激光坐标系与机身坐标系下的坐标,经共线方程解算求得两种坐标系间转换参数。二维扫描仪的标定过程如图3所示,以靶球球心作为公共点,作为扫描仪标定的参考点。激光的扫描面与靶球外面订交,交线为图3中待拟合圆中一段圆弧。

Figure 3. Extrinsic calibration of 2D LiDAR

图3. 激光外参数标定

待拟合圆的圆心与靶球球心的连线垂直于扫描仪扫描面,其间隔值为激光坐标系下球心的Z坐标。为剔除收集过程当中产生的噪点,采取RANSAC圆拟合的办法停止圆方程拟合。该拟合办法重要有以下几个步调:1) 从圆弧段点云中,随机拔取3个点停止圆拟合,取得圆方程。2) 计算其他点间隔拟合取得圆的间隔,小于设定的阈值则认为该点是局内点,记录下局内点的点数。3) 轮回以上两个步调,局内点最多的方程为最好圆拟合方程。

圆拟合取得圆心坐标(x,y)和该圆的半径r,靶球半径R已知,则球心点在激光坐标系下的 Z l 坐标可以经过过程公式计算取得。

| Z l | = R 2 r 2 (8)

三维激光扫描仪获得靶球外面点在机身坐标系下的三维坐标信息,球的空间方程可设为:

x 2 + y 2 + z 2 A x B y C z + D = 0 (9)

圆心坐标系为 ( A / 2 , B / 2 , C / 2 ) ,将三维扫描仪测得点位坐标带入上式,构建共线方程组,

[ x 1 y 1 z 1 1 x n y n z n 1 ] [ A B C D ] = [ x 1 2 + y 1 2 + z 1 2 x n 2 + y n 2 + z n 2 ] (10)

应用最小二乘可解得球方程,成果如式(11)所示,

[ A B C D ] = [ x i 2 x i y i x i z i x i x i y i x 1 2 y i z i y i x i z i y i z i x 1 2 z i x i y i z i n ] 1 [ x i ( x i 2 + y i 2 + z i 2 ) y i ( x i 2 + y i 2 + z i 2 ) z i ( x i 2 + y i 2 + z i 2 ) ( x i 2 + y i 2 + z i 2 ) ] (11)

取得3个以上靶球球心在机身坐标与激光坐标系下坐标,结合公式(1)应用最小二乘道理可解算出激光的外参数。在扫描仪运动状况下,移动靶球的地位来增长公共点数量作为多余不雅测,进步坐标系转换精度。

3. 实验与成果分析

本文采取仿真实验的方法,验证EPNP算法解算相机地位与姿势的鲁棒性。应用张正友棋盘格标定法停止相机内参数解算,求得公式(5)中说起的相机内参数,详细数值如表1所示 [13] 。

Table 1. Intrinsic parameters of camera

表1. 相机内参数

基于以上相机内参数,随机生成20组相互对应的三维点与二维点作坐标,在像素坐标真值的基本上参加白噪声后,停止地位与姿势参数解算,考验本算法标定成果鲁棒性。像素误差对相机姿势和地位的解算精度的影响如图4所示。实验注解在像素误差低于2像素时,相机姿势解算误差低于0.001 rad,地位解算误差低于1 cm。重投影误差与原始像素误差关系如图4(c)所示,在多组仿真实验的计算中,其相干系数统计均高于0.9,即这两组数据间呈线性正相干关系。

Figure 4. Experiment of camera extrinsic calibration, (a) Relationship between Pixel Error and Attitude solution accuracy; (b) Relationship between Pixel Error and Position solution accuracy; (c) Relationship between Pixel Error and Reprojection error; (d) Reprojection error of image control points

图4. 相机标定实验,(a) 像素误差与姿势解算精度的关系;(b) 像素误差与地位解算精度的关系;(c) 像素误差与重投影误差的关系;(d) 像控点的重投影误差

验证完相机位姿解算办法后正式展开标定实验,在相机有效视场内安排诟谇靶标,作为相机外参数标定实验的控制点。应用Focus 3D X130型三维激光扫描仪获得标定场的三维点云数据,扫描点误差约为±2 mm。以机身控制点为中心转换点停止坐标转换,将标定场的扫描点云数据由自力坐标系转至机身坐标系,进而获得像控点在该坐标系下的三维坐标。从影象中提取像控点的像素坐标,建立三维点与二维像素间的对应关系。应用EPNP算法解算相机的外参数,取得6个外参数,基于求得的外参数将机身坐标系下坐标投影回像素坐标系,像控点的重投影误差如图4(d)所示,均匀重投影误差约为0.7个像素。

在室内测图平台运动的情况下,对扫描仪停止外参数标定。标定实验中的靶球选用标准直径为145 mm的标准靶球。推敲到本实验选用的扫描仪解算出的单个点的点位精度为3 cm,收集100帧间隔不雅测值取均匀的方法降低间隔不雅测误差,再根据角度信息停止解译,解译后点云如图5(a)所示。从解译好的点云中提取圆弧段,基于RANSAC办法停止圆拟合,噪点剔除后拟分解果如图5(b)所示。

Figure 5. Experiment of 2D LiDAR extrinsic calibration, (a) Data interpretation of 2D LiDAR; (b) RANSAC circle fitting

图5. 二维扫描仪标定实验,(a) 扫描仪数据解译图;(b) 随机采样分歧性圆拟合

三维扫描仪获得靶球外面点在机身坐标系下坐标,应用最小二乘法停止球拟合,获得靶球球心在机身坐标系下坐标。获得公共点在机身坐标转与激光坐标系下坐标,其对应关系如表2所示,基于共线方程求得激光坐标系与机身坐标系间坐标转换参数。实际上获得两个三维坐标系下3组公共点的坐标便可求得外参数,实际实验中为包管外参数解算的精确性,需获得多个公共点的坐标,应用4个公共点计算坐标转换参数,其他点作为检查控制点验证外参数精度。屡次实验证明坐标系转换后,检查控制点点位残差小于1 cm。

Table 2. Coordinate of common points in 2D LiDAR extrinsic calibration experiment

表2. 二维扫描仪外参数标定实验中公共点坐标

至此,相机与扫描仪的标定均曾经完成,取得6个标定外参数如表3所示。应用这些参数,可将相机与扫描仪等多种传感器的数据归入到同一的机身坐标下。

Table 3. Experimental results of extrinsic calibration

表3. 传感器外参数标定成果

4. 总结与分析

本文完成了室内测图平台的多传感器外参数标定,建立机身坐标系,求取传感器坐标系与机身坐标系间的转换参数,借助该转换参数可将传感器归入到同一的空间基准中。基于EPNP办法完成了相机外参数的解算,解算后点投影到相片中,像素误差低于1个像素;应用RANSAC圆拟合的办法完成了二维扫描仪的外参数标定,标定精度低于1个厘米。精度证明所触及到的室内移动测图平台传感器标定办法可以或许满足实际工程的精度需求,关于搭载相机或扫描仪的机械人和移动丈量平台的传感器标定具有自创意义。将来将基于传感器结合标定成果,展开依附于视觉和2D扫描仪的室内定位及建图研究。

基金项目

国度天然基金面上项目,项目编号:41771481。

NOTES

*通信作者。

文章援用:
刘春, 许晨光, 吴杭彬. 室内移动测图平台的多传感器结合标定[J]. 测绘迷信技巧, 2019, 7(4): 151-159. https://doi.org/10.12677/GST.2019.74021

参考文献

[1] Cortes, C., Shahbazi, M. and Ménard, P. (2018) UAV-LiCAM System Development: Calibration and Geo-Referencing. The Interna-tional Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Karlsruhe, 10-12 October 2018, 107-114.
https://doi.org/10.5194/isprs-archives-XLII-1-107-2018
[2] 张靖, 江万寿. 激光点云与光学影象配准:近况与趋势[J]. 地球信息迷信学报, 2017, 19(4): 528-539.
[3] Liu, H., Da, F.P. and Gai, S.Y. (2019) Research on Multi-Camera Calibration and Point Cloud Correction Method Based on Three-Dimensional Calibration Object. Optics and Lasers in Engineering, 115, 32-41.
https://doi.org/10.1016/j.optlaseng.2018.11.005
[4] Geiger, A., Moosmann, F., Car, O. and Schuster, B. (2012) Automatic Camera and Range Sensor Calibration Using a Single Shot. Proceedings IEEE International Conference on Robotics and Automation, St Paul, 14-18 May 2012, 3936-3943.
https://doi.org/10.1109/ICRA.2012.6224570
[5] Bujnak, M., Kukelova, Z. and Pajdla, T. (2008) A General Solution to the P4P Problem for Camera with Unknown Focal Length. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Anchorage, 24-26 June 2008, 1-8.
https://doi.org/10.1109/CVPR.2008.4587793
[6] Lepetit, V., et al. (2009) EPnP: An Accurate O(n) Solution to the PnP Prob-lem. International Journal of Computer Vision, 81, 155-166.
https://doi.org/10.1007/s11263-008-0152-6
[7] 张慧娟, 熊芝, 等. 基于EPNP算法的单目视觉丈量体系研究[J]. 红外与激光工程, 2018, 48(5): 190-195.
[8] 闫利, 曹亮, 陈长军, 等. 车载全景影象与激光点云数据配准办法研究[J]. 测绘传递, 2015(3): 32-36.
[9] 李明磊, 高欣圆, 李广云, 等. 空中三维激光扫描仪与外架数码相机间安顿参数的高精度标定[J]. 光学周详工程, 2016, 24(9): 2158-2166.
[10] 姚连璧, 汪志飞, 孙海丽. 车载激光扫描仪外参数标定办法设计与完成[J]. 同济大年夜学学报(天然迷信版), 2015, 44(1): 161-166.
[11] Zhang, Q. and Pless, R. (2005) Extrinsic Calibration of a Camera and Laser Range Finder (Improves Camera Calibration). IEEE/RSJ International Conference on Intelligent Robots & Systems, Sendai, 28 September-2 October 2004, 2301-2306.
[12] Dong, W. and Isler, V. (2018) A Novel Method for the Extrinsic Calibration of a 2D Laser Rangefinder and a Camera. IEEE Sensors Journal, 18, 4200-4211.
https://doi.org/10.1109/JSEN.2018.2819082
[13] Zhang, Z. (2000) A Flexible New Technique for Camera Calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22, 1330-1334.