第29卷 第17期 Vo1.29 No.1 7 计算机工程与设计 Compeer Engineering and Design 2008年9月 Sept.2008 基于多特征的图像检索算法 陈 蔚, 肖国强 (西南大学计算机与信息科学学院,重庆400715) 摘要:基于内容的图像检索是数字图像处理的一个重要研究方向,有效地提取图像内容特征是其中的一个关键问题。提 出利用最大相关最小距离将图像的纹理特征、高斯密度特征与人脸检测相结合的算法进行图像检索。在建立10 000幅图像 库的基础上验证了算法的可行性,实验结果表明算法能够准确、高效地检索出目标图像;相对于单一特征的检索,算法有效 地提高了图像检索的精度和速度。 关键词:基于内容的图像检索;高斯密度特征;纹理特征;人脸检测;最大相关最小距离 中图法分类号:TP391.41 文献标识码:A 文章编号:1000—7024(2008)17—4507.04 Image retrieval algorithm based on multi—features CHEN Wei.XIA0 Guo—qiang (Faculty of Computer and Information Science,Southwest University,Chongqing 4007 1 5,China) Abstract:Content・based image retrieval is an important research direction of digital image processing,and effective image extraction feature is one ofthe key issues.A new image retrieval method by using max correlation rain distance to combine together texture features, Gaussian density characteristics and face detection of images for image retrieval is presented.The establishment of 1 0 000 images to prove the feasibility ofthe algorithm,the experimental results show that algoritm can hbe accurately and eficifently retrieve target image. Compared to a single retrieval features algorithm that it improves effective image retrieval accuracy and speed. Key words:content—based image retrieval;Gaussian density feature;texture feature;face detection;max correlation min distance 0 引 言 为了从大量的图像信息中快速、准确地找到需要的内容, 基于内容的图像检索成为计算机及其相关学科研究的热点之 一矩阵即灰度共生矩阵为基础,进行二次特征提取。灰度共生 矩阵定义为从灰度为 的像素,离开某个固定位置关系的像素 上的灰度为,的概率 ,即 p(i, =集合{ , }f(x, =i,f(x+DX,Y+Dy) N-1}的元素个数 ( ,J=O,1,2…工一1) =0,l,2…, (1) 。图像内容实质上就是图像中所包含对象的特征(如颜色,形 状,纹理等 。 ),基于内容的图像检索则是抽取与检索图像中所 包含特征;而人脸检测㈨也是数字图像处理中一个热门话题。 纹理是图像内容的重要特征之一,纹理与物体形状之间 存在密切的关系,千变万化的物体形状与嵌套式的分布使纹 理很难准确地表征一幅图像的特征。因此在提取图像纹理特 式中: 、Y——图像中像素坐标,f(x,Y)——该像素的灰度级, 三——灰度级数目,DX、Dy——偏移量。在计算中,表示固定 的位置关系的参数DX,DY的选择既包括偏移量,又包括方向 的选择。为减少计算量,只取0。一180。,45。4225。,90。4270。, 135。一3l5。这4个方向。因此,DX、DY取以下4种值 ( ) =d,DY=0),(£ = ’Dy= ,(£) =O,D】,=a9,( l =一 DY=a9 (2) 征的基础上结合图像高斯密度特征以及人脸检测进行图像检 索,能更准确地表征图像的内容从而提高检索精度;同时在压 缩域中进行图像检索,不需要图像的完全解码,减少了计算 量,提高了检索的速度。 而一幅图像的灰度级数目。一般为256,因此计算灰度共生 矩阵比较复杂,为了解决这一问题,预先将灰度级压缩至16 级,即式(1)中的 为16。 1算法描述 1.1纹理特征 1.1.1灰度共生矩阵 纹理特征 提取的一种有效方法是以灰度级的空间相关 收稿日期:2007—09—17 E-mail:foxchenwei@hotmail.corn 1.1_2灰度共生矩阵特征的数字参数 由共生矩阵产生数字特征参数表示共生矩阵的特征即图 像的纹理特征。Q 为纹理一致性的统计量,Qz为纹理反差统 计量, 为纹理熵的统计量, 为纹理灰度相关性的统计量,则 基金项目:重庆市科委自然科学基金项目(CSTC.2006BB2309)。 作者简介:陈蔚(1982--),男,重庆人,硕士研究生,研究方向为图形图像处理; 肖国强,男,教授,研究方向为信号与信息处理和无线网络 通信。 ・——4507・—— 维普资讯 http://www.cqvip.com Q =∑Zp (f, ) i;0 J 0 £1£一1 (3) (3)以几何中心(仉,b )为极点将图像g(x, )表示在极坐标 p(r, 中,并分别计算极角为0时极径(从中心到图像边缘的像 值,即 (4) 素个数)上的&(Q2=∑∑(i-j) (f i=0』=0 L-I L-I (r,0)exp(一日,)) Q3=∑∑p(i,j)ln[p(i,j)3 i=0』 0 Z—i Z一】 (5) ( = ——=————一Z p(r, ] (1O) ∑∑ijp(i, 一 一 其中Q=1,2,3,4, =(0, , ,3 4, ,5zr/4,3zf2,7zd4),即将每条极 (6) £一l L-I 径平均分成4段,计算后得到 -( , ( ,&( ,&( 作为图像的 高斯密度特征。 £一1 L-1 £一1 £一1 其中: 。=∑∑p(i, , :=∑J∑p(i, , =Y(i-u。) Zp(i, ), 。 。 。 。 。 1 :∑(,一 :) ∑p(f, 。 J=0 l=o 式中: ,_,——灰度共生矩阵中的灰度级对,p(i, ——共生矩阵 中灰度级对 ,)的联合概率。 1.1.3 4个方向的特征提取 由于灰度共生矩阵的特征与方向有着密切的关系,为了 在图像旋转时能稳定提取图像纹理特征,则取4个方向(0。一 180。,45。一225。,90。一27O。,135。一315。)的偏移参数,即 :1, DY=O),( =1,DY=1),(D =0,D】,:1),(D =一1,Dy=1)作为灰 度共生矩阵,分别求其特征参数(Q ,Q2,Q],Q ),然后计算每个特 征参数4个方向的均值,用得到的结果 ,0{ :, ,, , )作 为图像的纹理特征。 1.2高斯密度特征 1.2.1 sobel算子 采用sobel算子 提取图像形状的边缘。图像中的每个像 素都用图1所示的两个模板做卷积,第1个模板对垂直边缘 影响很大;第2个模板对水平边缘影响很大。两个卷积的最 大值作为该像素的输出,运算结果就是一幅边缘幅度图像。 l 2 1 l 0 .1 0 0 0 2 O .2 .1 —2 .1 1 0 1 图1 sobel算子模板 将一幅M N的图像 , )分成8 8的块,然后分别对每 一块进行DCT变换“ ,提取每一个块变换后的DC系数,将这 些DC系数组成一幅新的图像N(x,_y),再用sobel算子提取图 像Ⅳ , 的边缘,计算边缘上的平均值,将此平均值作为~个 阀值T。 1.2.2高斯密度特征的提取 图像的高斯密度特征提取主要是通过将图像表示在极坐 标中,获取图像的几何中心,并计算8个极角(0,ir/4, ,3zc/4, 5 ̄r/4,37r/2,7 ̄r/4)上像素值的分段累加作为图像的特征值,具体 算法描述如下: (1)通过阈值T将图像Ⅳ , )二值化为图像 , ),即 = mp =∑∑g(x,y)x ̄S (8) (2)通过式(7)(8)得到二值图像g , )的几何中心 ,b ),即 =, ( , (9) ——4508・—— 1.3人脸特征 1.3.1人脸检测 人脸特征的获得是在文献[6]的基础上,将视频中的人脸 检测运用到图像,通过人脸检测获得图像特征,使具有人物的 图像检索更为准确,同时也能提高整个图像检索的效率。主 要工作是在手动获得人脸样本图像的基础上,用色调、饱和 度、亮度三色特征在压缩域建立特征库;提取图像库中的图像 和询问图像所需信息,利用Bayesian原理进行信息比较,再利 用中值滤波滤掉无关信息获得待定的人脸区域,然后根据人 脸形状进行二元模板匹配,最后利用亮度的能量信息进行人 脸区域确认,流程图如图2所示。 图2人脸检测流程 1_3.2人脸特征提取 在I.3.i的基础上,提取需要的信息(相关参数如图3所 示,图中rn为图像的高度,n为图像的宽度,图中阴影部分为 人脸部分,(1,d)为人脸区域左上角坐标,(r,u)为人脸区域右下角 坐标,WX=(r—l+1),WX为人脸区域的宽度,ly=(d—u+1),ly为 人脸区域的高度),组成一个人脸特征,即: (1)人脸个数(numfaces),通过人脸检测获得图像中所包含 的人脸个数; (2)人脸形状(shape),通过人脸的高度ly和人脸的宽度WX, 获得人脸的形状比率:shape=ly/wx; (3)人脸位置(position),通过人脸检测获得的人脸区域左 上角和右下角的坐标,得出人脸在图片中的位置,即position ((r十1+1)/2,(u+d+1l,2); (4)人脸面积比率(wratio),通过人脸检测,分别得到图像 的面积和人脸的面积,求出图像中人脸区域的面积与整个图 像面积的比率,即wratio:[(wx ly)/(m*n)]/(wx ly)。 根据以上特征建立图像特征向量组,即【numfaces,shape, 图3人脸特征信息 维普资讯 http://www.cqvip.com
position,wratio】。将图像库中检索出具有人脸的图像特征向量 能。查准率是指实际检索到的图像数与查询相关的图像数所 组构建成特征向量库,作为图像检索的特征:对查询图像进行 相关的人脸检测,以此提高检索的速度与准确性。 占的比例,反映了算法拒绝无关图像的能力,公式如下 1.4图像相似度计算——最大相关最小距离 图像相似度采用循环卷积的概念计算两幅图像的特征向 量的相关系数,由文献[11]的方法得到两个28维的特征向量: a =(X。,X:,…,X: )和b=(Y ,Y ,…,Y 。)。设a 是查询图像的特征向 量,b是图像库中某一幅图像的特征向量。计算a-和b的相关 Precision =÷n= 等 l-rl ̄ 』 c(13) 式中: ——检索结果中与查询图像相关的图像数,Ⅳ,——不 相关的图像数, ——检索出的图像数。查准率越高,说明该 算法的效率越好,实验中 =12。 查全率是指与查询相关且实际检索出的图像数与查询图 像的相关图像数所占比例,反映了算法检索相关图像的能力, 公式如下 系数得到COR。。然后,将a。中的元素向左循环移位后,得到 一个新的向量a2=(X:,x ・・X ,X ,,X。)。同样再计算b和a2的相 关系数得到COR2。用相同的方法可以求出28个相关系数 COR--{COR。,COR2,-.-,COIL ,COIL },取出其中最大的一个作为 查询图像与图像库中一幅图像的特征向量的相关系数,即 P。=MAx{C0R} (11) Recall=÷: nc ̄-nm (14) 式中: 。——检索结果中包含的查询图像的相似图像数,” —— 未检索出的相似图像数, ——与查询图像相似的图像总数。 查全率越高,说明该算法的效率越好。 ANMRR反映的是查询结果中相似图像的平均排列位置, ANMRR越小,表明由查询图像所检索出的相似图像的平均排 根据上述的方法,可以计算出查询图像和图像库中的所 有图像(假设有n幅)的特征向量的相关系数,得到P={P。,P:,…, P P }从所求的相关系数序列P中找出最大的48个相关系数 列位置越靠前,图像的检索性能越好。反之,ANMRR越大,表 明所检索出的相似图像的平均排列位置越靠后,图像的检索 性能越差。 所对应的图像(因为检索结果取12幅图像,如果大于48幅, 则一些相关性不大的图像被检索出来;如果小于48幅,则在 后面利用距离测度时图像数就太少,影响检索精度,故选择 在实验中,将算法分别和文献[13](简称算法A)及将一幅 图像的灰度级量化为32个等级后进行的纹理特征提取的算 法(简称算法B)进行实验比较。3种算法的检索时间,风景、花 卉、人物、汽车、动物、钟表6类图像的查准率、查全率、ANMRR 12的整数倍,即取48幅)。再利用这48幅图像的特征向量, 根据式(12)计算图像的特征向量和查询图像的特征向量之 间的距离。 28 ∑l — l = 一 值如表1所示,从表1得出: (12) (1)本文算法速度最快,这说明通过对DCT系数的处理, 将图像从时域变成频域减少了计算量,提高了检索速度; (2)本文算法的查全率、查准率比A,B算法有了明显的提高; (3)人脸检测明显提高人物的检测效果,这说明对一幅图 像进行多个特征的检索可以提高检索精度,即提高整个检索 最后取最小的l2个距离所对应的12幅图像作为最后图 像检索的结果,用最大相关最小距离的图像检索算法的流程 如图4所示。 H 2实验 像计图与算像这查的4询8距l图幅JH f l所取对出为最应最小的终的12的1幅2查个图询距像 离作 系统的查全率、查准率。 图5是一个具体的检索例子,其中左边第一竖列为查询 图像,第1行是本文算法的结果,第2,3行分别是算法A、B的 图4最大相关最小距离检索流程 蕊 q馨 在MATLAB 7.0上验证算法性能。从l0 oo0图像库中选 出1 000幅风景、花卉、人物、汽车、动物、钟表等JPEG图像作 口目y肇,垒 商譬 ,Q y麓豳号窆5掰 蕊 为实验图像。根据最大相关最小距离的方法,d越小,则两幅 图像越相似;并用查准率、查全率、ANMRR 来评估检索的性 潞 罐 潭y ,t 誓 精冒警 图5 3种方法的检索例子 表1对6类图像的查全率、查准率、ANMRR值及平均检索时间 查全率 本文算法 纹理特征 人物 0 97 O.66 查准率 0.90 O.65 ANMRR 0.03 O.1l 风景 查全率 0.60 0.40 查准率 0.39 0.25 ANMRR O.05 0 08 高斯特征 本文算法 0.54 0.6O 0.59 O.56 0.10 0.10 O-36 049 O.19 0.40 0.14 0.17 纹理特征 高斯特征 本文算法 花 O 39 0.48 0.48 0.36 0 27 041 0_25 0.21 0 1O 汽车 0.16 O.19 0.83 0.21 0.27 0.89 0-33 0 3O 0.O3 纹理特征 高斯特征 动物 0_31 O-29 O-36 O.15 O.22 0.40 钟表 0.62 O.66 0.64 O.51 0.11 0.17 对图像的平均检索时 旬 J 本文算法:2.0s l算法A:4.7s l算法B:3.9s ・——4509・—— 维普资讯 http://www.cqvip.com 结果,从中可以看出,本文算法的检索结果较好,而其它两种 [4]Paul Viola,Michael Jones.Robust real-time face detection[J].In— 算法都出现了干扰图像。 ternational Journal ofComputer Vision,2004,57(2):137—154. 3结束语 [5] Zhao,Chellappa,Rosenfeld,et a1.Face recognition:A literature survey[R].UMD CS—TR一4167,2000. 本文将高斯密度特征运用到图像检索中,结合纹理特征 [6] Wang Hualu,Chang Shih—Fu.A highly efifcient system for auto— 和人脸检测进行图像检索,其中纹理特征的提取以共生矩阵为 matic face region detection in MPEG video[J】.IEEE Transac— 基础并计算其数字参数,人脸检测则是利用色调、饱和度、亮 tions on Circuits and Systems for Video Technology,1997,7(4): 度三色特征在压缩域进行检测,高斯密度特征的提取则是将图 615-628. 像表示在极坐标中进行相应的处理。实验结果表明,在压缩域 [7] 叶永伟.基于小波和区域统计的纹理图像检索系统[J].浙江工 中结合这3个特征进行检索要比在像素域中的速度快,因此可 业大学学报,2003,6(3):306.309. 以将本算法应用于一些实时的系统中;3个特征结合更能表征 [8] 吴冬升,吴乐南,黄波.基于小波模糊聚类的均质纹理和非均质 图像的内容,对不符合要求的图像进行了进一步的过滤,提高 纹理图像检索[J].中国图象图形学报,2003,8(12):1400—1405. 了图像检索的精度。在今后的工作中,将继续研究图像的内容 [9] 何小海,藤奇志.图像通信[M].西安:西安电子科技大学出版, 特征,并结合图像的颜色,形状等特征来提高图像检索的性能。 2006:107—114. 参考文献: [10]阮秋琦.数字图像处理 】.2版.北京:电子工业出版社,2005: 367—473. [1] Smeulders A W M,Worring M,Santini S,et a1.Content—based [11]王剑峰,肖国强.综合距离和相关性的图像检索算法[J].计算机 image retrievals at the end ofthe early years[J].IEEE Trans Pat・ 工程与设计,2007,28(6):2367—2370. tern Anal Mach Intell,2000,22(12):1349—1380. [12]Edoardo A rdizzone,Marcola Cascia.Automatic video database [2] Man junath B S.Color and texture descriptors[J].IEEE Trans on indexing and retrieval[J].Multimedia Tools and Applications, Circuits&Systems for Video Technology,2001,1 1(6):703—715. 1997,4(1):29—56. [3]Jing F’LiM,ZhangH J,et a1.A uniifedframeworkforimage re— [1 3]Ju Han,Kai Kuang Ma.Fuzzy color histogram and its use in color trieval using keyword and visual features[J].IEEE Transactions image retrieval[J].IEEE Transaction on Image Processing, on Image Processing,2005,14(7):979—989. 2002,1 1(8):240—256. (上接第4467页) 要和很多的软件集成,以实现信息的共享与管理。本文以PDM 软件——smarTeam为例,实现了与Matlab的集成,达到了在 PDM软件中能够以图形文件形式来管理、浏览Matlab模型文 件和图形文件的目的,详细介绍了集成的关键技术和方法。通 过在相关项目中的实际应用,取得了很好的效果。 参考文献: 【1] 熊光楞,李伯虎,柴旭东.虚拟样机技术fJ].系统仿真学报,2001, 图7双通道控制方式导弹偏航舵系统设计 13(1):114一l17. 萧健.面向PDM/CAPP集成的产品结构建模[JJ.制造业自动 另外,出于安全性的考虑,可以对不同的节点设置不同的 化,2002,24(2):45—48. 权限。比如可以设置成只有在PDM系统的服务器端才可以 陈宗舜.PDM前世今生[J].微型机与应用,2006,10(1):34—37. 下载各分系统上传的mdl(ifg)文件,由服务器端进行组装、调 曹昌怀.SmarTeam在戚墅堰机车车辆厂的应用[J].内燃机车, 试,然后它将整个系统相应的包含参数及特性的eps(bmp)文 2006,12(1):30—33. 件添加到PDM系统之中供其它节点参考,而一般节点只能下 沈顺成,郑曦.PDM与SolidWorks集成方法的研究[J].计算机 载eps(bmp)文件,而不能下载其它节点的mdl(ifg)文件。因为 应用技术,2006,9(1):36—37. eps(bmp)文件属于图片格式,无法直接进行仿真,这样就有效 刘志俭.MATLAB应用程序接口用户指南[M].北京:科学出版 提高了整个系统相关参数和特性的安伞性。这个例子有效的 社.2000:332—35 1. 展示了在虚拟样机中PDM与Matlab集成技术应用的重要性。 SmarTeam Corporation Ltd.SmarTeam API programmer’S guide 6结束语 [M】.Israel:SmarTeam Corporation Ltd,2001:50—55. SmarTeam Corporation Ltd.SmarTeam administrator's guide PDM产品数据管理软件作为一个集成的平台和框架,需 [M].Israel:SmarTeamCorporationLtd,2001:140—161,262—270. 4510一
因篇幅问题不能全部显示,请点此查看更多更全内容