基于多幅图像的超分辨率重建方法分析

第２９卷第２期　２０１５年３月　兰州文理学院学报（自然科学版）　Ｊｏｕｒｎａｌ　ｏｆ　Ｉ　ａｎｚｈｏｕ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ａｒｔｓ　ａｎｄ　Ｓｃｉｅｎｃｅ（Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅｓ）　Ｖｏ１．２９　ＮＯ．２　Ｍａｒ．２Ｏ１５　文章编号：２０９５—５９９１（２０１　５）０２—００６６—０４　基于多幅图像的超分辨率重建方法分析　孔繁庭　（兰州文理学院电子信息工程学院，甘肃兰州７３００１０）　摘要：图像超分辨率重建是指从一幅或多幅低分辨率、低质量图像中产生高分辨率、高质量图像的数字信号　处理技术．本文分析了基于多幅的图像超分辨率重建方法，并讨论了目前基于多幅的图像超分辨率重建有待解　决的问题．　关键词：图像；超分辨率；图像重建　中图分类号：ＴＮ９１１．７３　文献标识码：Ａ　Ｏ　引言　一效果比单幅的超分辨率重建更好・　１超分辨率存在的理论基础及重建　技术过程　１．１超分辨率存在的理论基础　幅图像的清晰程度主要用分辨率来衡量，　图像的分辨率越高，图像越清晰，而分辨率的提高　是基于图像中代表单位面积像素数目的增加．由　于成像系统传感器制造的限制，高质量、高分辨率　图像无法从硬件获得ｌ＿１］．由此人们自然想到从软　件方面着手来提高图像分辨率．图像的超分辨率　重建就是在这样的背景下产生的，并且发展日新　对于一个线性空间不变的成像系统而言，其　成像过程可用下式描述：　（　）二＝＝　（ｚ）＊，（ｚ），　（１）　其中３，（ｚ）表示物体的像，ｈ（ｚ）为点扩展函数，　月异．图像的超分辨率重建就是指从一幅或多幅　低分辨率的观测图像中重构出一幅高分辨率的图　像的信号处理方法．　厂（ｚ）表示物，＊表示卷积运算．对（１）式两边各　Ｙ（叫）一Ｈ（饥ｔ）Ｆ（叫），　（２）　取Ｆｏｕｒｉｅｒ变换有：　Ｆ（　）一Ｙ（砌）／Ｈ（叫）．　（３）　图像超分辨率重建主要有两种方法，即频域　方法和空域方法．频域方法是由场景经过平移的　一由式（３）可见，由于在截止频率之外，若想复　原出截止频率之外的信息，是行不通的．然而在实　际情况中存在着许多方法对其进行估计，并且这些　方法并不具备Ｆｏｕｒｉｅｒ滤波器的性质，如果采用这　些方法便可很好地重建截止频率之外的信息．　１．２　超分辨率图像重建技术过程　系列低分辨率图像来重建一幅高分辨率图像，　但这类方法只能局限于线性空间不变和全局平移　运动的退化模型ｒ２］，因为包含空域先验知识的能　力有限，所以频域法的分析受到限制．而空域超分　辨率重建算法有效地引入多种先验正则约束，并　且能够处理各种复杂的退化模型．由于空域超分　辨率重建方法非常灵活，所以目前的超分辨率重　图像超分辨率重建技术过程主要由运动参数　估计、图像以及噪声分布形式、图像插值重建等过　程，如图１所示．　系统参数估计　—建研究主要集中在空域中进行研究．　图像超分辨率重建分为基于单幅图像的超分　辨率重建［３　］和基于多幅图像的超分辨率重建两　种．基于多幅的超分辨率重建效果比单幅的超分　辨率重建更好，因为基于多幅图像的超分辨率重　建在单幅图像信息的基础上，还利用了不同幅图　●　运动参　确定图　闵像插　一－　数估计　ｐ　．－像和噪　声分布　形式　值和曩　建　＿－　像之间的信息＿５］，因此，基于多幅的超分辨率重建　收稿日期：２０１５－０１—２Ｏ．　图１　分辨率图像重建技术过程　基金项目：兰州文理学院科研项目（２０１２ＪＣ０３）．　作者简介：孔繁庭（１９７１一），男，甘肃天祝人，副教授，硕士，研究方向为图像处理　第２期　孔繁庭：基于多幅图像的超分辨率重建方法分析　６７　２　多幅图像超分辨率重建方法　多幅图象超分辨方法主要有频率域方法和空　间域方法．频率域方法是基于傅氏变换和反变换　理论对图像进行重建，在频率域消除频谱混叠而　改善图像的分辨率的重建方法，具体重建过程如　图２所示．频率域方法的理论前提理想化程度高，　现实中的多数场合与这种理想化的理论场合相差　较大，因此频域方法目前不再成为研究的主流．相　对于频率域方法，由于空域方法的适用范围较广，　成为目前研究的热点，本文主要讨论空域方法中　的几种具体的图像重建方法．　低●●●分…辨●率●●图●●●　像ｇ２　昌翼．　Ｅ　一　里傅叶　ｌ＿－：　—　—镙１厂｝　＿一ｉ傅弄－　，　　高　……＿　广　变化　复　ｉ原　ｌｌ　ｌＬ　逆变化　圈　ｌ；　率像　图２　频域法图像重建过程　２．１　最大似然估计　对于最大似然估计方法，未知图像的估计通　过给定理想图像对观测图像条件概率密度函数　－Ｐ（ｙ／Ｘ）取极大化得到，假定观测图像的噪声是　自相关矩阵为Ａ　的均值为０的Ｇａｕｓｓｉａｎ随机过　程，可以得到最大似然估计方法可归化的最小平　方估计为：　ｍａｘＰ｛ｙ／Ｘ｝　一　一一　ｍａｘ｛ＥＹ—Ｈ　］　Ａ［　—ＨＸ＿］）　Ｘ　’　。ａｒｇ　ｍａ　ｇｍａｘ一一　｛［　ＨＸ］Ｔ　Ｖ　Ａ［Ｙ一哩＿］），。．　　（４）、　　式（４）两边求微分，并令其为０，容易得到其　拟逆结果为：　Ｄ　ＰＸＭ—Ｐ，　（５）　Ｒ—Ｈ　＿ＡＨ—ａ　Ｈ　ＡＫＨＫ，　（６）　Ｐ—Ｈ　ＡＹ．　（７）　式（５）应用Ｌａｐｌａｃｉａｎ算子Ｓ和权矩阵　，可　以得到：　０　一ａｒｇ　ＩＴＩａｘ｛ＥＹ＿一ＨＸ］ｒＡ　ＥＹ＿一Ｈ　］＋　６［ｓｘ］　Ｖ［Ｓｘ］），　Ｘ：＝＝ａｒｇｍａｘ｛Ｐ｛Ｙ／一～一Ｘ｝Ｐ｛　｝｝，　（８）　则求导就可以得到　Ｄ　ＲＸＭ—Ｐ．　（９）　２．２　最大后验概率的方法　最大后验概率的方法是一种数理随机统计的　方法　］．最大后验概率就是根据己知的多幅低分　辨率图像得出使高分辨率图像的后验概率达到最　大的解．根据贝叶斯原理，高分辨率图像的后验概　率等价于条件概率和先验概率两项之积．　假定加性噪声和ｘ都为均值为０，自相关矩　阵分别为ｗ　和Ｑ的高斯随机过程，容易得到最　大后验概率（ＭＡＰ）估计：　Ｄ　Ｘ—ａｒｇ—ｍａｘ｛Ｐ｛Ｙ／　｝Ｐ｛一　｝）＝＝＝　ａｒｇｍａｘ｛［　一ＨＸ＿］　Ｖ　［　一ＨＸ＿］＋　．．Ｘ　Ｑ　Ｘ｝．　（１０）　对极小值　Ｕ　Ｒｘ＝　，　（１１）　Ｒ—Ｑ　＋Ｈ　ＷＨ—　Ｎ　Ｑ　＋五Ｈ　ＷＫＨＫ，　（１２）　一１　Ｎ　Ｐ—Ｈ　ｗ＿ｙ—ａ　Ｈ　ｗＫＹＫ．　（１３）　一ｌ　２．３　集合理论的方法　对于集合理论方法，待重建图像上的每一个　先验知识应被描述为一个限制凸集，恢复后的图　像视作此集合中的一个点．凸集投影集合理论方　法是一种主要的图像恢复方法　．凸集投影图　像获取模型可表示为：　Ｙ　（　ｌ，　２）一缸（　１，　２）　（　ｌ，　２；咒１，　２）＋　Ｚｚ（　１，　２），　（１４）　其中，Ｙｌ（　，ｍ２）为第ｚ帧低分辨率观测图像，ｘ（ｎ　，　）为原始的高分辨率图像，ｈ　（　，　；　，”　）表示　空间点扩展函数，　（ｍｌ，　ｚ）表示加性噪声．　对于给定的约束集合，其迭代序列可以表示　成如下的式子：　Ｘｔ４－１一Ｔ　Ｔ　一１，　（１５）　其中Ｔｉ一（１一ｈ　）Ｉ＋ｈｉＰ，，ｈ　是松弛投影算子．　对图像的每一个像素定义的闭合凸集为：　Ｃｍ．　一｛ｚ（ｉ１，ｉ　２）：ｒ　’（ｍ１，ｍ２）口Ｃ５　｝，　（１６）　ｒ‘　’（ｍ１，７ｎ２）＝ｇ（ｍ１，ｍ２）一　Ｍ一１Ｍ一２　ａ　ｚ（ｉ１，ｉ２）ｈ（ｍｌ，ｍ２：ｉｌ，ｉ２），　１＝０　２。二Ｏ　６８　兰州文理学院学报（自然科学版）　第２９卷　其间　中的　（　法进行了冈像重建实验．Ｊ｝ｊ高清图像加噪后得到　的４帧低分辨率图像来重建较高分辨率图像，４帧　图像如图３、图４、图５、图６所示，其中位移的大小　表示为（Ｌ，Ｔ），其中Ｌ表示像素数目，Ｔ表示移动　的角度．则第一帧到第四帧的位移分别为：（３，　５）（５，２Ｏ）（１０，３０）（２Ｏ，４０），实验结果如图７所示．　残　差　，　３　几种方法分析的比较　ｍ　＿，　１　丧　３．１　理论分析比较　示　最大似然估计方法是通过给定理想图像对观　表先　示验　测图像条件概率密度函数取极大化得到．最大后　边　验概率的方法中先验知识的引入方式是概率密度　界　　．和似然函数，理论框架是贝叶斯理论，优化算法是　标准迭代算法，重构结果中估计值和解的唯一性　与　与初始估计值无关，而集合理论的方法先先验知　（　。ｃ　识的引人方式是凸约束集，理论框架是集合论思　想，优化算法是迭代投影法，重构结果中，与初始　估计值密切相关，解不唯一．　之　３．２　实验结果分析比较　为了进一步说明三种方法，本文应用　三种方　图３　图４　图５　图６　（ａ）最大似然估计法　（ｂ）最大后验概率法　（ｃ）集合理论法　圈７　三种方法得到的重建图像　在上述方法中，最大似然估计对细节的分辨　较小，效果也最差；最大后验概率的方法可以加入　先验约束，保证了解的存在和唯一，收敛性较高、　容易被平滑掉；集合理论方法可以方便地加入先　验信息，能较好地保持所得图像上的边缘和细节，　但解依赖于初始估计，收敛慢、收敛稳定性不高．　（下转第９２页）　对噪声的抑制能力较强，但运算量较大，这也限制　ｒ它的应用范围，同时这种方法使图像中的细节　＿９２　兰州文理学院学报（自然科学Ｅｔ）　第２９卷　ｍａｎａｇｅｍｅｎｔ，ｔｈｅ　ｗａｙ　ｔｏ｛ａｒｍｅｒｓ　ｗｏｒｋ　ｃｈａｎｇｅｓ，ａｎｄ　ｔｈｅ　ｓｐｏｒｔｓ　ｃｏｇｎｉｔｉｏｎ　ｏｆ　ｔｈｅ　ｖｉｌｌａｇｅｒｓ　ｏｎ　Ｇａｎｓｕ　ｒｕ—　ｒａｌ　ｓｐｏｒｔｓ　ｄｅｖｅｌｏｐｍｅｎｔ．Ｔｈｅ　ｃｏｒｒｅｓｐｏｎｄｉｎｇ　ｃｏｕｎｔｅｒｍｅａｓｕｒｅｓ　ｔｏ　ｐｒｏｍｏｔｅ　ｔｈｅ　ｒｕｒａｌ　ｓｐｏｒｔｓ　ｉｎ　Ｇａｎｓｕ　ｉｓ　ｐｒｏｐｏｓｅｄ．　Ｋｅｙ　ｗｏｒｄｓ：Ｇａｎｓｕ　ｐｒｏｖｉｎｃｅ；ｒｕｒａｌ　ｓｐｏｒｔｓ；ｃｏｎｓｔｒａｉｎｔｓ；ｃｏｕｎｔｅｒ　ｍｅａｓｕｒｅｓ　（上接第６８页）　４结束语　目前，超分辨率研究在各位研究者的努力下　取得了一定的成就，也提出了许多超分辨率图像　重建方法，如基于学习的ＳＲ分辨率图像重建方　法、从训练集中插值生成高频细节的新方法等等，　但与人们期望的图像清晰度还有比较大的差距，　由此超分辨率重建研究任重而道远，需要从以下　几个方面进行改进：一是图像模型建立；二是算法　研究；三是图像盲复原；四是建立和完善图像超分　辨率重建评价系统；五是寻找出重建效果和信噪　比矛盾的最佳折衷．　参考文献：　［１］肖杰雄．基于ＰＯＣＳ算法的超分辨率图像重建［Ｄ］．上　海：上海交通大学，２００９．　［２］孔繁庭．摄像中的超分辨率图像重建算法研究ＥＪ］．硅　谷，２０Ｉ３（ｉ６）：４４—４５．　［３］邵文泽．基于图像建模理论的多幅图像正则化超分辨　率重建算法研究［Ｄ］．南京：南京理工大学，２００８．　Ｅ４］陶洪久，饶俊飞，周祖德．单幅图像的超分辨率重建方　法［Ｊ］．武汉理工大学学报，２００４，２８（６）：９４３—９４６．　［５］陈少冲．一种自适应学习的图像超分辨率重建算法研　究［Ｄ］．西安：西安电子科技大学，２０１１．　［６］李丹萍，俞文静．基于边缘优化的ＰＯＣＳ改进算法　［Ｊ］．现代计算机，２０１３（６）：２１—２５．　［责任编辑：张峻瑜］　Ａｎａｌｙｓｉｓ　ｏｆ　Ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ　Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ　Ｍｅｔｈｏｄｓ　Ｂａｓｅｄ　ｏｎ　Ｍｕｌｔｉｐｌｅ　Ｉｍａｇｅｓ　Ｋ０ＮＧ　Ｆａｎ—ｔｉｎｇ　（Ｌａｎｚｈｏｕ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ａｒｔｓ　ａｎｄ　Ｓｃｉｅｎｃｅ，Ｌａｎｚｈｏｕ　７３００００，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｓｕｐｅｒ—ｒｅｓｏｌｕｔｉｏｎ　ｉｍａｇｅ　ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ　ｍｅｔｈｏｄｓ　ａｔｔｅｍｐｔ　ｔｏ　ｃｒｅａｔｅ　ａ　ｓｉｎｇｌｅ　ｈｉｇｈ—ｒｅｓｏｌｕｔｉｏｎ　ａｎｄ　ｈｉｇｈ—ｑｕａｌｉｔｙ　ｉｍａｇｅ　ｆｒｏｍ　ａ　ｓｉｎｇｌｅ　ｏｒ　ｍｕｌｔｉｐｌｅ　ｌｏｗ—ｒｅｓｏｌｕｔｉｏｎ　ｉｍａｇｅ．Ｔｈｅ　ｓｕｐｅｒ—ｒｅｓｏｌｕｔｉｏｎ　ｉｍａｇｅ　ｒｅｃｏｎ—　ｓｔｒｕｃｔｉｏｎ　ｍｅｔｈｏｄ　ｂａｓｅｄ　ｏｎ　ｍｕｌｔｉｐｌｅ　ｉｍａｇｅ　ｉｓ　ａｎａｌｙｓｅｄ　ａｎｄ　ｔｈｅ　ｐｒｏｂｌｅｍ　ｏｆ　ｔｈｅ　ｐｒｅｓｅｎｔ　ｓｕｐｅｒ—ｒｅｓｏｌｕｔｉｏｎ　ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ　ｗｈｉｃｈ　ｗｉｌｌ　ｂｅ　ｓｏｌｖｅｄ　ｉＳ　ｄｉｓｃｕｓｓｅｄ．　Ｋｅｙ　ｗｏｒｄｓ：ｉｍａｇｅ；ｓｕｐｅｒ—ｒｅｓｏｌｕｔｉｏｎ；ｉｍａｇｅ　ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ