基于双目视觉的目标识别与定位研究

Journal of Mechanical & Electrical Engineering V* !5N〇. 4

Apr. 2018

DOI； 10. 3969/j. issn. 1001 -4551.2018. 04.015

基于双目视觉的目标识别与定位研究！

蒋萌\\王尧尧1!2,陈柏

浙江杭州310027)

1!

(1.南京航空航天大学机电学院，江苏南京210016;2.浙江大学流体动力与机电系统国家重点实验室，

摘要:针对机器人在作业时缺乏自主性与智能性的问题，对基于双目视觉的空间目标识别与定位问题进行了研究。搭建了双目立

体视觉系统并对其进行了标定，获取了两相机的内外参数、相对位姿及畸变系数。采用基于描述子的模板匹配技术，通过随机树算 法对检测到的特征点进行了准确实时地分类识别。对同一场景的两幅图像进行了立体匹配，求取了对应的视差图。结合特征点对 应的视差值及标定结果对其进行了三维重建，对多组特征点对在图像及实际场景里对应的2D-3D位置信息进行了迭代，求取了重 投影误差最小的解，即目标物体的位姿。研究结果表明;所采用的方法可以用于准确、快速、稳定地实现对目标的识别与定位。 关键词：双目视觉;描述子模板匹配;立体匹配;三维重建中图分类号:TP391 ;TP242 文献标志码:A 文章编号：1001 -4551 (2018)04 -0414 -06

Recognition and orientation of object based on binocular vision

JIANGMeng1, WANG Yao-yao1，2, CHEN Bai1，

(1. College of Mechanical & Electrical Engineering，Nanjing University of Aeronautics & Astronautics，

Nanjing 210016，China；2. The State Key Laboratory of Fluid Power and Mechatronic

Systems，Zhejiang University，Hangzhou 310027，China)

of

intelligence while

working，binocular vision was researched on

Abstract

；Aiming at robot’s lack

recognition and orien

binocular stereo vision system was built and calibrated to get parameters and relative pose of the two cameras. Descriptor-based template matching was adapted，detected feature points were classified and recognized by random tree algorithm with high real-time and accuracy. Depth information can be

deduced with

the

disparity of

the

scene

according to stereo matching between the

two

then was achieved by combining the disparity and calibrated parameters. The 2D-3D positions of the recognized feature points in the image and the real-world scene were reprojected and iterated for the solution with least error，which was the desired pose of the object. The results indicate that the

proposed methods can

achieve

accurate，fast

and

stable

recognition

and orientation of the

objec

Key words

；binocular vision； descriptor-based template matching; stereo matching； 3D reconstruction

目标的三维信息，单目视觉无法恢复场景的深度信息， 而基于结构光[7]、激光[8]、物理传感器的主动测距方 法虽能实现快速、准确、无干预地三维测量，但是设备 成本较高，无法达到普及应用。相较之下，基于双目视 觉的三维重建方法，具有设备要求较低、实施较为简 易、算法时空复杂度较低等优势，受到了国内外各界学 者的关注与研究。

〇引言

近年来，人们将机器视觉应用到交通[1]、医 疗[2—3]、生产[4—5]、生活等多个领域[6]，从而提高了机器 人作业的自主性与智能性。

机器视觉分为单目视觉技术与多目视觉技术。在 对物体进行识别、定位、分类等操作中，常常需要获取

收稿日期=2017 -

08 -18

基金项目：国家自然科学基金资助项目（51575256,51705243);江苏省自然科学基金资助项目（BK20170789);浙江大学流体动力与机电系统国 家重点实验室开放基金资助项目（GZKF-201606)

作者简介:蒋萌（1993-)，女,江苏连云港人，硕士研究生，主要从事机器人双目视觉方面的研究。E-mail: juimoisnrao@126.com 通信联系人:陈柏，男，教授，博士生导师。E-mail: chenbye@126.com

第4期蒋萌，等'基于双目视觉的目标识别与定位研究• 415 -

来自 Loccioni 的 STROPPAL、CRISTALLI C[9]设计应用于生

上检测插件器质量的双目视觉检测系

， 测量 的 ，基双目视觉的测量方

法在分辨率、检测速度及稳定性上均优于其他非 测量方法;瓦伦 理工大学的LVORRA E等(1%]用双目立体视觉重 葡萄局部三维模型，重 差小于1mm。相较国外，国在 视觉方面的研究起步较晚，哈尔滨工业大学的 （11]针对堆叠工件的识别与 ，采用Sobel算子与区域增长法相 的算法检测工件边缘，然后基 方向的椭圆 检测工，取得了较Hough变换和最小二乘法更精确的检测结 ，显示基于支持向量机的方法具有较高的稳定性;西 科技大学的、夏菠等[12]采用双目视觉 重建稀疏特征匹配点的三维点云，并在传统RANSAC算法的 基础上，加

态阈值更新和姿态估计收敛判断，降低

匹配的同时

的实时性，实

机器人在室

内、室外环境下姿态的 。

针对 的三维重 ，本文将对基于双

目视觉的目标识别与

进行研究。

1双目视觉系统及其标定

1.1双目视觉模型及投影关系

相机成像过程丢失了场景的深度信息，双目视觉 则

点。

双目视觉的原理如图1所示。

图1双目测距原理图

> $ —左右两个相机的光心；：$:—目标@分别在左右相机的成像平面上所成的像点;f

一相机焦距；8—目标与 观测位置的距离；N —两个相机放置的水平距离，称作基线

假设目标点@在左图像平面所成的像点：的 (!，5)，在右图像平面上所成的像点：的 (!2,52)。则视差）=!1*!2。依据相似三角形原理易得:

8 -f . #8

# ( #点的三

与其在图像中的对应

点

的关系，必须对视觉 进行

，即

相机

成像模型，

实验及计算的方法求解模型的参数。三

维空间点@投影到像平面点P的过程如图2所示。

个投

程涉及

、相机

像

及像素

的转换，

相机的透视

模型易得投影关

'I

~ 4 '

d!

0400_!二

_!二

=-1-0/

dy

]00[-=!!2

-0

0

1

0--1 --1 -⑵T

&一相机的内部参数矩阵;！2 —相机的外部参数矩阵。

1.2

双目视觉系统标定实验

实际上，相机内参还应包含镜头的畸变系数<，2

相机内参数为(/，<，4%，]%，d!，dy #，外参数为（\"，\"，\"， (，，8，/。而求解相机的内外参数、消除畸变的过程就 是相机 的过程。本文采用 友

法对 的视觉 进行 。

实验采集15组 姿态下的

板图像，其

特征点进行

实验，其中一组过程

3所

。

图3 相机标定过程

左右两个相机的参数标定结果如表（1，2)所示。

表1 左右相机的内部参数部参数初始值左相机右相机焦距//mm1212. 194 812. 120 1像 ）!/m2.2e - 62.199e - 62.199e - 6像 ）/m2.2e - 62.2e -62.2e - 6主点行值4〇/pixel1 2961 341.511 273. 17主点列值]/pixel

972951.246944. 554畸变系数<

0

- 603.031

-671. 743

-416 - 机 电表> 左右相机的相对位姿

外部参数量（/(m)转阵R/(°)

65.21 x10 20. 1357轴-2.22x 10 5

0.2488

6.73 x10-4359. 939

其中，两相机布置的实际 距 5.03 cmcm，标

5.21 , 对 （1，2)实际参数值与标参数值， 差很小，足满足后期三维重

的精度要求。

> 描述子模板匹配识别算法

常用的模板匹配方法有基 、基相关性、基状的模板匹配等等， 方法 易 光照的

。故本文采用基于描述子的模板匹配方法，将检测到的特征点与其描述子相

，

匹的

性。对特征的描述方式主要有两大类，

是用

理

角点、边缘等局部特征的强特征描述方式，其中应用最

的是由LOWE DG[13] 的SIFT算法； 则是将特征匹

分

理。SIFT算法虽然匹配特性稳定，但计算量大，

时较长，无法保证实时性;

机树算法相较于其他机器学习算法 效的解决多类别分 ，故本文采用基于角点检测与随机树算法相结合的特征匹配算法(14]。2.1 基于随机树的特征匹配识别

机树模型由根节点与叶节点构成，由树 下分出两个节点，每个节点再分出两个节点，依次递归至

节点不再产生分支，成树叶。个节点

有个 公式，从树 的待测数

公式

的

，决其

进入左节点或是右节点，到达下一

结点后再次进行判定，直至其 的树叶。

基于随机树的模板匹配算法模型如图4所示。

在本文 的基 机树的特征匹 法中，输

节点的数据即为特征点及其 的图像块patch。节点处采取的 方法是在特征点\\的图像块p.3

中随机选取两个像素点S \\$，对它们的灰度值进

工程 第35卷

行比较，判定公式如下：

= ，\\$ #、 # {rleft

，/(p，m& # * /(p，m

$C( #Lright，/(pmi) >/(pm2)

(3)

采用随机树算法对特征进行模式识别分类，首先 要对特征点及其描述子进行样本训练。本研究 模

板的正视图作为初始模板图像，通过Haris算法检测

模板上的Z个特征点，对其进行 &二2

<

3

。以每个特征点为中心建立$ x $像素的图

像块patch，对 像块进行

训练，对检测图

像上的特征点 < 样大小的图像块：<，则识别的

关键

：(< 中是否含有&中的一个特征点，

以及它是哪一个特征点。即确定：< 的类别7P +

C =|-1，1，2,…，Z3,其中-1表示中不包含& 中 的特 点 。

法对目

及光照变化的鲁棒性，

要对大量多、多视角状态下的特征点样本进行 训练，由人工采集较为繁琐，可采用计算机随机生成 大量图像样本。当目 基本

生变形时，特点周

的图像块可视

面模型，则

变换随机生成训练样本。对特征点及图像块进行

A-R变换'

= ;SR

#

(4)

中一目 转变换矩阵;R#—尺度变换 转

矩阵;3—图像的 变化;\"，#+[-#，+ #];3 =

diag|A1，A$3,本文中选取 A1，A$ + [0.4，1.2]。

机生成参数 的 阵A，对&中

每个特征点及其图像块生成与其对应的多个样本集合。

由于训练样本以及概率测试的数据相 大，优

机树变得尤为困难，故常采 加随机树数量

的方

识别的稳定性。在样本训练阶段，大量的

图像块样本 机树 中，其中有的样本包含&中的特征点，有的样本不包含&中的特征点。部 样本

树

，便 对于&中特征

点的概率分布：

@(cp(7P

(5)

式中:2(/P—图像块P所到达的3棵树的树叶。

概率分布即为训练样本中 2处的。类图像块与 2处的所有图像块的比值。在检测阶段， 的像块P是否含有&中的特征点，对应的是 个特征点，对P在

树中

所

的

对应的概率分布

概率分布，平概率分布中概率最大的特征点，即 检测图像块

对应的特征点：

7(p = argmax 去\"

@2(i，p(7(p = & (6)

2.2 基于随机树的目标识别实验

在进行基于随机树的特征匹配识别算法性能验证

第#期蒋萌，等'基于双目视觉的目标识别与定位研究-417 -

之前，首先要

法的各项参数。本文实验

的目

的模板如图\"所示。

图5 实验选定模板

实验的实际情况，本研究设置目

模板

法向量的旋转角度范 [-#，+#]，放Depth[0.4，1.2]。则 要 的参数有随机树的深度，随机树的数目Number以及图像块的 ▲

PatchSize。

本研究

Samp/1，对不同参数条件的算法进

行匹配时间与匹配率的测试。实验效

6所

。

的匹配性能应同时兼具较高的匹配率与较快

Depth的匹

。由实验 见： 机树的深度、 机树的数目PatchSizeNumber以及图像块的 ▲

分

11、30、17时，算法 实

较快的

匹 较 的匹 率。

图7 算法识别效果图

Sample1 —目标旋转的情况；Sample#2〜4)—图像不同 程度旋转与倾斜的情况；Sample6 —遮挡的情况；Sample # 7 $ 8 )—代表过暗过明的情况；Sample9 —杂乱背景的情况

见采用上述算法，不同姿态和环境下的目标物 被 识别。

个样本的匹配率如图8所示。

l.Or

0.4-----1-----------1-----------1----------2 4 6

样本Sarryi/e/幅

图8 实验样本与模板匹配率

由实验 见：

角 大，检测到匹配

的特征点 ，匹率越低；同样，在暗

量的环 ，图像对应的

值

低

，相应地会

损失

匹配点，匹率也较低。

3 三维重建与定位

3.1

双目视觉系统的立体匹配特 点匹 识

目 ，

对目

进行 ，需要 匹配的特征点对应在三维空间

的

信息，由此求解目

的位姿。

对特征点的三维重建，关键是求解其对应的深度

信息。双目 视觉 中，通常采 匹配的方法对采集到的两

像进行匹配，

对应的视差图，恢

-418 -机 电工程第35卷

像的深度信息。需要 行对准的情况下， 面，故进行

的是，只有在两

有 性，也

像是的共校正

采用式（1 # 的关系计算视

的一点，

1 # x(2$ + 1 #

一

像素点邻域内的一个大小为（$\\ +

(常 \\ = $)，在 像的点所在的极线，依

种相似性判

差，而实际应用中，两相机几乎

匹配的两

像必须先 匹配的

实现行对准，这样 短匹配时间。基 法，基

个区域内，

断 进行搜索，与 像 相似的 。

常用的相似性判断 有SAD，SSD，NCC等，其中SAD与SSD算法 较像素及其 的 值，而NCC算法则是 的 值及其协方差。NCC算法相较SAD、SSD 法，对光照 的变

稳定，本文采用NCC算法对两 像的相似度S为：

进行匹配。两

采取的最优化理论方法的 ，

局的 匹 法与基于局部的 局的

匹

法计算量大

法，对 二二

槡（二 _匹分

匹配算时间长，故

像上给

本文选择基于局部的区域匹

S(r，c，d) #

\"\"(?i ( ('，cr) - ?i ( r，c))( g2 ( r!，c + d# - g2 ( r，c))

(7)

/ \" \" (gi(r，c; -

S的值

关性很高，S

，则 节所述。

中:gl，g2 —输入的两 像的灰度值;g —子窗口的 值;S + [-1，1]。

两 -1则

两

相似，S为1，则两

相关。匹

相

rmcf 二 c_n

gi(rc))2(g2(r'，& +d) -g2(rc))2

。

表3顶点三维重建在6、7、8方向的误差

实验样本

Sample 1

SampledSample3SampledSampled)Sample7Sample8Sample9

对应像素点

的视差d二！ -!， 1.1

以

匹配的准确性及效率，本文采

:(1) 模板匹配识 的目 所在区域设

ROI区域， ROI区域与 像进行立匹配；（2)在进行搜索时， 个理的视差范，

搜索

，

（8,9)所示：最小视差

景

中距视觉

近点对应的列

差，最大视差

6误差/mm

-0.242-0.9550.5570.0352.06-0.256-0.310.097误差/mm0.062-0.1020.5190.7620.0450.0680.09-0.1258误差/mm4.4592.682.9160.671.6274.5134.6042.31差越大。

可见，本文所采用的算法重建精度较高。其中，在

大的方向上，对应的重

本研究在完成对特征点的三维重 ，根据2D-3D匹配点的信息，对姿进行求解。在匹配的特 点对中， 解。再多次 小的 解

4组点对，取其中重投

进行

差最小的

4组点对，进行上述处理，依

，取重投

解 姿。9 所 。

景中距离视觉 远点对应的列 差；

(3)采用图像金字塔的方法 匹 ，视差搜索范围应用

像金字塔的顶

像，

像对应的

(8)

视差搜索范围自动进行 。

Mi-Disparity =Z:;ge2 -

( 9 )

视觉的最终目的是恢复景物可视表面的 信

息， 目 ， 论 种匹 方法 所有 像点的视差，因此必须进行

的表面内插重建。深度插

值、误差校正和精度改善是立体匹配的后处理部分。3.2 三维重建与位姿求解实验

上述对两

，则重

像的

像上

匹 视觉 点：4，]对应的

的

Z:ge1

MaxDisparity 二1*92 — I*91

enberg-Marq+ardt算法

Lev-差最

本文对实验设置的9幅样本进行位姿求解，定位

一

坐标：二（！，5，+)。验 法重建的精度，笔者对所选样本图

像中目 顶点的三维重 在6、7、8方向的误差进行分析。分计 的误差，对4个顶点在

值， 3所

顶点在6、7、8方方向的上的误差求

，

、三重建在3个方向上的误差 。因Sample6的顶点被 ，故

图9目标顶点三维重建及定位结果

第4期蒋萌，等'基于双目视觉的目标识别与定位研究-419 -

实验结果验证:对不同条件下物体，均可进行有 效、准确的定位。

urement system of micro-electronic connector based on ma­chine vision [J]. Journal of Applied Sciences，2013,13

(22) ：5363-5369.

[5] STROPPA L，CASTELLINI P，PA ONE N. Self-optimizing

4结束语

robot vision for online quality control [ J ]. Experimental Techniques，2016，40 (3): 1051-1064.

(1) 为解决空间三维物体的识别与定位问题，本

[6] AHMED A A，ELBASHIR M K，OSMAN A A. Distance

文搭建了平行的双目立体视觉系统，建立了双目视觉

alert system using stereo vision and feature extraction [ C ].

对应的成像模型，采用张正友方法对视觉系统进行标

International Conference on Communication， Control， Com­

定，消除光学畸变，获得两个相机的内部参数及相对位 puting and Electronics Engineering，Khartoum： IEEE，2017.姿。实验对比显示:标定结果精度较高。[7] GUEHRING J. Dense 3D surface acquisition by structured

(2) 针对场景中目标的识别问题，本文采用基于 light using off-the-shelf components [ J ]. Proceedings of

SPIE，2000(4309):220-231.描述子的模板匹配方法，将角点检测算法与随机树算

[8 ] KOCH T，BREIIlR M，LI W. Heightmap generation for prin­法相结合，对目标进行分类识别;以匹配时间和匹配率

ted circuit boards ( PCB) using laser triangulation for pre-]3ro- 为标准，确定算法的最佳参数。经实验验证:对旋转、

cessing optimization in industrial recycling applications [ C ].

遮挡、彳质斜等各种条件下的物体，算法均能快速、准确

IEEE International Conference on Industrial Informatics，Bo-

地进行识别。

chum： IEEE，2013.

(3) 基于NCC算法，本文对同一场景对应的两幅

[9] STROPPAL，CRISTALLI C. Stereo vision system for accu­

图像进行了立体匹配，求取视差，结合标定结果对特征 rate 3D measurements of connector pins, positions in produc­点进行三维重建，并根据特征点对在图像及实际场景 tion Lines [ J ]. Experimental Techniques，2017，41 (1):中对应的2D-3D位置信息求解目标位姿。实验结果 69-78.证明:三维重建精度较高，对不同条件下的目标物体均[10] IVORRA E，SaNCHEZ A J，CAMARASA J G，et al. As­

sessment of grape cluster yield components based on 3D de­。

scriptors using stereo vision [ J ]. Food Control，2015，50

参考文献（References):(4):273-282.[1] JAAFARI I E，ANSARI ME，KOUTTI L. Fast edge-based

stereo matching approach for road applications [ J ]. Signal， Image and Video Processing，Springer London，2017，11(2) ：267-274.[2] 董峰，孙立宁，汝长海.基于双目视觉的医疗机器人摆

位系统测量方法[J].光电子•激光，2014(5):1027- 1034.

[3] 吕家国，蒋晓瑜，张鹏炜，等.医疗机器人双目视觉硬件系

统设计与实现[J].中国光学，2014,7(2):307F14.[4] ZHAO D，FENG W， SUN G， et al. High precision meas­

[11] 李胜利.基于双目立体视觉的工件识别与定位技术研究

[D].哈尔滨:哈尔滨工业大学机电工程学院，2016.[12] 张华，夏菠.基于双目视觉的机器人自定位方法研

究[J].华中科技大学学报：自然科学版，2015,43(S1): 104-108.[13] LOWE D G. Distinctive image features from scale-invariant

keypoints [ J ]. International Journal of Computer Vi­sion， 2004 ， 60(2) ：91-110.[14] HARRIS C，STEPHENS M. A combined comer and edge

detector[ R]. London： The Plessey Company PLC，1988.

[编辑:李辉]

本文引用格式：

•基于双目视觉的目标识别与定位研究[J]•机电工程，2〇18,35(4):414-419.

JANG Meng，WANG Yao-yao，CHEN Bai. Recognition and orentation of object based on binocular vision[ J]. Journal of Mechanical & Electrical Engineerng，2018，35(4) ：414 -419. 《机电工程》杂志：http ://www. meem. com. cn

蒋萌，王尧尧，陈柏