您的当前位置:首页基于视差空间运动估计的高精度立体视觉定位

基于视差空间运动估计的高精度立体视觉定位

2021-06-03 来源:爱问旅游网
第39卷第10期 . 光电工程 、,o1.39.NO.10 2012年l0月 Opto—Electronic Engineering 0ct.2012 文章编号:1003—501X(2012)10—0095—08 基于视差空间运动估计的高精度立体视觉定位 许允喜 一,陈 (I.湖州师范学院信息与工程学院,浙江湖州313000; 2.浙江大学信息与电子工程系,杭州310027) 摘要:立体视觉定位算法的运动估计通常在3D欧式空间中进行,但由于特征点3D坐标的噪声各向异性且分布不 均匀,3D重建在深度方向上比另两个方向上的准确性差,从而导致3D欧式空间运动估计精确不高。本文提出了 一种新的基于视差空间运动估计的高精度立体视觉定位算法。算法首先采用视差空间4点闭环线性解法和 RANSAC算法得到初始鲁棒运动估计和匹配内点。接着,利用新的视差空间再投影误差函数提出了基于LM算法 的视差空间运动参数非线性优化方法,对初始运动参数进一步优化。视差空间噪声分布均匀且各向同性,本文的 初始运动参数线性估计和非线性优化都在视差空间中进行且能达到全局最小。仿真实验和真实实验结果表明,本 文算法能得到高精度的立体视觉定位结果,优于传统的3D欧式空间运动估计方法。 关键词:立体视觉定位;视差空间;立体视觉;视觉导航 中图分类号:TP391.41 文献标志码:A doi:10.3969/j.issn.1003—501X.2012.10.016 Stereo Visual Localization Based on Motion Estimation in Disparity Space XU Yun.xi ,..CHEN Fang (1.Institute ofinformation&Engineering,Huzhou Teachers College,Huzhou 3 1 3000,Zhejiang Province,China; 2.Department ofinformation Science&Electronic Engineering,Zhejiang University,Hangzhou 3 10027,China) Abstract:The motion estimation in stereo visual localization is usually carried out in 3D Euclidean space.3D points are corrupted with heteroscedastic and anisotropic noise,and the depth direction of 3D reconstruction is less accurate than the two other direction.And therefore,the accuracy of motion estimation in 3D Euclidean space is low.We propose a new high—precision stereo visual localization algorithm based on motion estimation in disparity space.Initial robust motion parameters and matching inliers are obtained by four points closed—form linear motion estimation in dispariyt space combined with RANSAC algorithm.Then,we propose nonlinear motion optimization method based on L—M algorithm in the new disparity space re-projection error ifmction.The mothod is appied to optimise the initial motion parameters.The noise in disparity space is homogeneous and isotropic,and OUr initial linear motion estimation and nonlinear optimization method all are carried out in disparity space and can achive globally minimum.Simulated and real experimental result show that O121"method can achive higher localization accuracy than traditional motion estimation method in 3D Euclidean space. Key words:stereo visual localization;disparity space;stereo vision;visual navigation 收稿日期 2012-05-14;收到修改稿日期:2012—08—06 基金项目 国家自然科学基金项目(60872057);浙江省自然科学基金项目(R1090244,Y1101237,Y1110944);湖州市自然科学基金项目 (2Ol 1YZ07);浙江省公益技术应用研究项目(201 1C23 132)资助 作者简介 许允喜(1978.),男(汉族),江苏句容人。讲师,博士研究生,主要研究图像处理、计算机视觉以及人工智能等。 E—mail:xuyunxl@hutc.zj.cn。 http://www gdgc ac。cn 光电工程 2012牟10月 0 引 言 智能车辆或智能移动机器人在自主导航过程中需要实时计算自身所处的位置,即实时定位问题 经典 的里程计从车轮的旋转估计机器人的运动,这在车轮打滑情况下会导致估计错误。GPS信息不是在任何地 方都是有效的,例如森林、矿井、有电波干扰的战场、外星球等机器人应用场合。而利用立体相机进行运 动估计的立体视觉定位方法,也称视觉里程计,最近被成功应用L1 J,例如勇气号和机遇号火星车就采用了 这种立体视觉定位方法 。 立体视觉定位方法一般分为特征检测、特征匹配和运动估计三个计算步骤。目前,立体视觉定位的前 后帧运动估计一般都采用3D一3D运动估计方法 J,即3D欧式空间运动估计,但由于3D特征点在深度方 向上的不确定度分布不均匀,且噪声各向异性,无法得到最优估计,运动估计误差较大。视差空间的噪声 分布在理论上是各向同性的 …,文献[6—7】给出了一种直接在视差空间进行运动估计的计算方法,文献[8] 和[9]把该方法应用在立体视觉里程计算法中,获得了比3D欧式空间运动估计方法更高的计算精度。但该 方法只在旋转角度较小情况下适用,实验在近似直线运动情况下进行,不具有普遍性。文献[10]提出了一 种基于新的视差空间误差投影函数的闭环线J陛运动估计解法,适用于任意运动情况。 本文提出了一种新的基于视差空间运动估计的高精度立体视觉定位算法。算法首先采用文献【1O]提出 的视差空间闭环线性解法和RANSAC算法得到初始运动参数和匹配内点。接着,基于新的视差空间误差 投影函数提出了基于Levenberg-Marquard算法的视差空间运动参数优化方法进一步优化初始运动参数。 本文不详细讨论立体视觉定位的特征检测和特征匹配:特征检测采用CenSurE特征检测子 “,特征匹 配采用U—SURF描述符 匹配。本文安排如下:第1节介绍了视差空间闭环线性估计算法;第2节描述了 基于视差空间线性闭环算法的初始鲁棒运动估计;第3节提出了基于Levenberg-Marquard算法的视差空间 运动优化方法;第4节对本文算法进行了仿真和真实智能车实验。实验结果表明:本文方法是精确的,鲁 棒的,优于传统的3D欧式空间运动估计方法。最后一节对本文进行了总结。 1 视差空间闭环线性运动估计算法 http://www.gdgc ac.crl 茎 查簦 塑 垒塞! 三基于视差空间运动估计的高精度立体视觉定位 (3) 令向量∞=E]表示视差空间,令 =[ , 一 表示视差空间特征点的齐次坐标。 1.2视差空间线性闭环运动算法 1●-=● __ ●j 三_ 二二J O ~厂 设摄像机运动前后两帧中对应特征匹配点的 3D坐标分别为P=( ,】,,z) 和P =( ,y ,Z ) ,假定R 一 0 一厂 和t分别为旋转和平移的变换参数,则有: Z 1 O= . 厂O 0 0 0 0 1 由式(3)和(4)可得出下列方程: 一, . . —...... .....L ] 0f厂0 0 0 0 0 1 (4) y = ]●●●●j鱼_ O 0  .0 0 O .O  —..........: .....L 1● ●●●● ●●● ●J 1 ●●●● ● ●●●J—...............L B —.. ......,..L ,0 O O 0 O 0 尼O 詹f‘0 lR 0  1 (5)  — 一] ● ●-_1 风 0 0 0 l ........。.....。..................L—.厂..。........O 0 0 .......... ...........L —厂O O 0 0 0 , . 0 儿II 0I1●● ●●●●●●●●j _.... ....y Z......... ....。...● .L 厂0 O 0/0 0 设 H(R,f) 0 0 0 1 O O 0 1  一(6) O 0 . 0 O O . 0  1 ●● ●●●●● ●j由式(5)和(6)得到下列视差空间投影函数[10]: —..........。................。.....L1  一 1●●●● ● ●●●●j 一 “’= , w 葡’ 酵 (7) 鲁 ”, 由式(6)得到H(R,t): B -厂 1 t 0 卉设估计的单应矩阵如下式: r33 H= (8) 式(7)可表达为如下的线性方程㈣: ZiO=Cf 0 0一 f—UtVi—U'di (9) 式中: dl 1一v -v:v ̄一v di 0 0一d:u 一d:vi—di'di http://www。gdgc。ac。Cl-i 98 光电工程 2012年10月 0= h h3 h4 h h h7 h8 h9 h。。h l h。:], 每个匹配特征点有3个约束方程,共有12个待估计参数,所以求解这些参数需要4对匹配特征点: 0=Z c (11) 式中:z:[ z …z 】 ,c:[c c T …c 】 。 0参数确定后旋转矩阵R和平移t可由下式计算得到㈣: l h1 h2 h4/f l R:I h h6 h /f l l f・h9 f・h 。h 2 I B・h3 ^ (12) B・h7 ^ (13) 厂・B・h1l 2基于视差空间线性算法的初始鲁棒运动估计 在特征检测和匹配阶段,由于特征检测和匹配难免会出现错误匹配和图像位置偏差,直接利用摄像机 运动前后帧的特征匹配进行运动估计是不鲁棒的。本文采用RANSAC鲁棒参数估计方法 引,结合第1节 的视差空间线性闭环运动估计算法进行摄像机初始鲁棒运动估计,步骤如下: 1)在匹配特征对选择4对,利用第1节的视差空间线性闭环运动估计算法计算旋转矩阵和平移参数。 2)计算满足该运动模型的匹配点对数。各匹配对相对于该运动模型的误差计算如下式,即视差空间投 影误差: —.。....,.......= ,..... ..L 一 0 O 口D ̄(Ut-- )<f, bs(v'- ∞ )<z’,口bs(d,一 ∞ )<z- ∞ (14) 误差小于某固定阂值,则该特征匹配对为匹配内点。  1● ●,,● ,j3)重复步骤1)和2)若干次。  ’4)选取内点数最多的估计参数和点集作为初始运动估计参数和匹配内点。 3视差空间运动参数优化 ,L1  由上述闭环线性运动估计算法求解的旋转矩阵R不是正交矩阵。在利用Levenberg—Marquard算法进行 运动参数优化前需要把 矩阵转化为标准的正交矩阵。把估计的矩阵转化为Fr0 obenius范数下最逼近的正 、 交矩阵可以通过SVD算法解决: :UWVT≈UIVT≈UVT 接着,对旋转 用四元数表达: l g +q 一g —g; 2(g1q2一gog3) 2(glq3+qoq2)I R=I 2(g】q2+qoq3) ~q q;一q; 2(q2q3一qoq1)I (15) i 2(g q3一qoq2) 2(q2鸟3+g0g ) g 一g 一g;+g I 其中:q +q +q;+q :1。x=(q q q,t ty tz) 为表示旋转和平移的6个未知参数。 设共有,2个匹配内点,则视差空间投影误差平方和为 F(x)=Z(fj(x)一哆,) ( (x)一面,) j=l (16) f(x)为视差空间投影函数,即式(7)。面=( ) 为特征点视差空间中的测量位置。该问题可以通 过Levenberg-Marquard非线性最小平方迭代算法求解,其在视差空间求出使投影误差最小的运动参数X。 http://www。gdgc ac。cn 第39卷第10期 许允喜,等:基于视差空间运动估计的高精度立体视觉定位 在计算参数更新步长时需求解下列方程: (t,T 一。J+XI)r ̄=JT ( ( )一 ) ( ) o .,: 一 ( ) Ox1 (17) ≥0为控制参数,使得., J+ 是正定矩阵。在每次迭代后,当投影误差减少时,则 减少一个 因子,而当投影误差增加时,则 增加一个因子。视差空间中(“v d)的噪声分布是确定的。“、v图像坐 标的噪声是由于图像离散化和图像特征提取算法引起的。所有特征点的噪声方差 和 都一样,即 = : 。视差d的噪声为立体匹配的不确定引起。噪声方差 由采用的立体匹配方法决定,一般情况 下 = 。由以上分析可知,视差空间中(U d)噪声方差是独立的且分布均匀。所以任何(U d )协 三 =[喜 三 量] 一 饥一 一 4)计算8x=(J J+ ,) J (/( )一面),贝0 ne、Ⅳ= + 。 6)若 }< ,停止计算,输出运动参数。否则置 : , :x ,转4)。 7)若 j< ,停止计算,输出运动参数。否则置 :X/6,', : ,转4)。 、/7、 分 4实验 为了验证本文算法的有效性,本文进行了仿真实验和真实智能车实验,并与3D欧式空间运动估计算 法[4-5]和广义正交迭代运动估计算法【J bJ进行了对比。 4.1仿真实验 为了验证本文算法的优越性,建立了立体视觉定位算法仿真实验。实验条件为:立体相机的等效焦距 为480,基线长度为0.24 m,图像大小为640x480。在立体匹配和前后帧匹配中都加入高斯噪声和30%的 误匹配。实验共产生400帧序列,每帧进行随机运动。ES E表示基于3D欧式空间运动估计的立体视觉 定位方法,OS ME表示基于广义正交迭代运动估计算法的立体视觉定位方法,DS_ME表示本文的基于视 差空间运动估计的立体视觉定位方法。如图1给出了一组真实行进轨迹和二种算法运动估计轨迹的对比图, 相对于Es—ME和Os.ME方法,DS—ME方法的运动估计估计更接近于基准运动路线。行进终点处3D位 置的均方根误差定义为√( ) +(AY) +(Az)。 姿态角度的均方根误差定义为√(△ +(Ao) +(△ ) 。 表1给出了不同噪声水平下Es—ME、os—ME和DS—ME方法的立体视觉定位误差。很显然,DS_ME方法 定位误差更小,定位结果更精确。 http:llwww。gdgc ac cn 1O0 光电工程 2012年10月 8 4 O 4 0 20 40 6O 80 100 120 z/m 图1仿真实验运动轨迹对比图 图2智能车 Fig.1 The comparison ofmotion trajectories ofsimulated experiment Fig.2 The intelligent vehicle 表1 三种运动估计方法的立体视觉定位误差 Table 1 Stereo visual lOCalization error for three motion estimation method 茸}z 加 m o 4.2真实智能车实验 4.2.1实验1 本文采用‘'New College Dataset”(感谢牛津大学移动机器人研究小组提供)进行了智能车立体视觉定位 实验。智能小车装有窄基线立体相机,基线长度约为0.12 m,如图2所示。 实验采用数据集中的一个闭环路线,如图3所示。闭环路线为绕1个“圆”形行进2周。图4给出了 ESME、OS_—ME和DS_ME方法的运动估计轨迹。由于行进路线为闭环路线,所以终点处位置和方向误差 图3 牛津大学数据集的航拍位置 图4定位算法的运动估计轨迹对比 Fig・3 Oxf0rd data:aerial view oflocation Fig.4 Estimated motion rtajectories —表2闭环误差统计 Table 2 Loop closure error statistics http:llwww.gdgc ac CN . 珈 第39卷第10期 许允喜,等:基于视差空间运动估计的高精度立体视觉定位 ! ! 即为闭环误差,如表2所示。从表2的结果可以看出:相对于ES—ME和OS—ME方法, DS_ME方法闭环 位置和姿态误差都更小,定位结果更精确。 4。2.2实验2 实验2采用法国尼斯大学Andrew Comport数据集。智能汽车装有宽基线立体相机,在城市道路上行 驶,立体相机基线长度约为1 m。该数据集较实验1的数据集更具挑战性,立体匹配误差很大。实验2采 用数据集中的一个闭环路线。图5给出了该数据集一组立体采样图像和航拍位置。图6给出了ESME、 _OS—ME和DS—ME方法的运动估计轨迹。闭环误差如表3所示。从表3的结果可以看出:相对于ESME —和Os_ME方法,Ds.ME方法闭环位置和姿态误差都更小,定位结果更精确。 O 一20 ..40 20 0 20 z/m 图5尼斯大学数据集的航拍位置 图6定位算法的运动估计轨迹对比 Fig.5 Nice data:aerial view oflocation Fig.6 Estimated motion trajectories 表3闭环误差统计 Table 3 Loop closure error statistics 5结论 本文提出了一种新的立体视觉导航定位算法,算法利用了视差空间噪声分布各向同性的性质,在视差 空间内优化运动估计参数。实验结果表明,算法具有高精度、鲁棒性强的优点,优于传统的基于3D欧式 空间的运动估计算法和和广义正交迭代运动估计算法。 参考文献: [11] Konolige K,Agrawal M,Blas M,et a1.Mapping,navigation,and learning for off-road traversal[J].Journal of Field Robotics(S1556—4959),2009,26(1):88一l13. [2]K ̄eip L,Chli M,Siegwart R。Robust Real—Time Visual Odometry with a Single Camera and all IMU[c]//Proceedings of Briitsh Machine Vision Conference(BMVC),Dundee,UK,Aug 29一Sep 1,201 1:1—1 1. 【3] Comport A I,Malis E,Rives P.Real—time Quadrifocal Visual Odometry[J].International Journal of Robotics Research(S0278-3649),2010,29(2/3):245—266. [4]MAIMONE M,CHENG Y,MATTHEIS L.Two years ofvisual odometry on the mars exploration rovers[J].Journal of Field Robotics(S1556—4959),2007,24(3):169—186. [5]彭勃,周文晖,刘济林.基于Harris角点检测的立体视觉里程计[J].兵工学报,2007,28(12):1498—1502。 PENG Bo,ZHOU Wen—hui,LIU Ji—lin.Harris Comer Dectection—based Stereo Visual odometry[J].Acta Armamentaii,2007, 28(12):1498—1502. . http:llwww,gdgc ac cn 102 光电工程 2012年10月 [6 Demi6]rdjian D,Darrell T.Motion estimation from disparity image[C]//Proceedings of international vonferenee on computer vision,Vancouver,BC,United states,July 9-12,2001:628—635. [7]Demirdjian D,Darrell T.Using multiple-hypothesis dispariy matps and image velociy ftor 3-D motion estimation[J】 _International Journal ofComputer Vision(S0920—5691),2002,47(1/3):219~228. [8】 吴功伟,周文晖,顾伟康.基于视差空间的双目视觉里程计[J].传感技术学报,2007,20(6):1432—1436. WU Gong—wei,ZHOU Wen—hui,GU Wei-kang.Disparity Space Based Binocular Visual Odometry[J].Chinese Journal of Sensors and Actuators,2007,2O(6):1432~1436. [9】李智,周丈晖,刘济林.动态场景下基于视差空间的立体视觉里程计[J].浙江大学学报:工学版,2008,42(10):1661—1665. LI Zhi,ZHOU Wen-hui,LIU Ji—lin.Stereo visual odometry from dispariyt space in dynamic environments[J].Journal of Zhejiang University:Engineering Science,2008,42(10):1661—1665. [10】Derpanis K G,Chang P.Closed-form Linear Solution To Motion Estimation In Disparity Space[C】//Proceedings of IEEE Intelligent Vehicle Symposium,Tokyo,Japan,June 13—15,2006:268—275. [1 1】AGRAWAL M,KONOLIGE K.CenSurE:Center surround extremas for realtime feature detection and matching[El// Proceeding of 10th European Conference on Computer Vision,Marseille,France,October 12-18,2008:102—1 15, [12]Bay H,Tuytelaars T,Van Cool L.SURF:Speeded up robust features[J].Computer Vision and Image UⅡderstanding(S 1077—3142),2008,110(3):346—359. [13]Martin A F,Robetr C B.Random sample consensus:fl paradigm ofr model if ̄ing with applications to image analysis and automated cartography[J].Commun.ACM(S0001—0782),1981,24(6):381—395. [14]王江涛,陈得宝,杨新军,等.一种高效的实时视觉姿态测量[J].光电工程,2011,38(1):76—80. WANG Jiang ta0,CHEN De-bao,YANG Xin-jun,et a1.Efifcient and Real—time Vision—based Pose Estimation[J].Opto— Electronic Engineering,201 1,38(1):76—80. [15]许允喜,蒋云良,陈方.多摄像机系统位姿估计的广义正交迭代算法[J].光学学报,2009,29(1):72—77. XU Yun—xi,JIANG Yun—liang,CHEN Fang.A generalized orthogonal iterative algorithm for pose estimation of multiple camera systems[J].Acta Optiea Siniea,2009,29(1):72—77. [16】许允喜,蒋云良,陈方.基于广义正交迭代算法的立体视觉定位[J].光子学报,2011,40(8):1225—1230. XU Yun。xi,JIANG Yun‘linag,CHEN Fang.Stereo visual localization based on generalized orthogonal iterative algorithm[J]. Acta Photonica Sinica,201 l,4Of8):1225-1230. http:11WWW gdgc ac cR 

因篇幅问题不能全部显示,请点此查看更多更全内容