基于小波变换的图像融合算法的实现

第２９卷第８期　２００７年８月　红外技术　Ｉｎｆｒａｒｅｄ　Ｔｅｃｈｎｏｌｏｇｙ　ＶＯ１．２９　ＮＯ．８　Ａｕｇ．　２００７　基于小波变换的图像融合算法的实现　许开宇，　李双一　（上海海事大学，　卜海２００１３５）　摘要：提出了一种基于小波变换的融合算法，算法针对小波变换后的低频分量和高频分量的不同特点，　选用了不同的准则进行融合，通过小波逆变换得到融合图像。实验结果表明，这种算法充分考虑了小　波变换的特点和人眼视觉特性，具有增强图像的空间细节能力，融合效果良好。　关键词：图像融合；小波分解；视觉特性；梯度算法；阈值　中图分类号：ＴＰ３９１　文献标识码：Ａ　文章编号：１００１　８８９１（２００７）０８—０４５５—０４　Ａ　Ｉｍａｇｅｓ　Ｆｕｓｉｏｎ　Ａｌｇｏｒｉｔｈｍ　Ｂａｓｅｄ　ｏｎ　Ｗａｖｅｌｅｔ　Ｔｒａｎｓｆｏｒｍ　ＸＵ　Ｋａｉ—ｙｕ，ＬＩ　Ｓｈｕａｎｇ—ｙｉ　（Ｓｈａｎｇｈａｉ　Ｍａｒｉｔｉｍｅ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ　２００１３５，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ａ　ｎｅｗ　ｉｍａｇｅｓ　ｆｕｓｉｏｎ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｐｒｏｐｏｓｅｄ　ｂａｓｅｄ　ｏｎ　ｗａｖｅｌｅｔ　ｔｒａｎｓｆｏｒｍ．Ａｉｍｉｎｇ　ａｔ　ｔｈｅ　ｃｏｅｆｉｃｉｅｎｔｓ　ｆｏｆ　ｌｏｗ　ｆｒｅｑｕｅｎｃｙ　ａｎｄ　ｈｉｇｈ　ｆｒｅｑｕｅｎｃｙ，ｔｈｉｓ　ａｌｇｏｒｉｔｈｍ　ｃｈｏｏｓｅ　ａ　ｄｉｆｆｅｒｅｎｔ　ｒｕｌｅ　ｔＯ　ｆｕｓｅ　ｔｈｅ　ｉｍａｇｅ，ａｎｄ　ｏｂｔａｉｎ　ｔｈｅ　ｆｕｓｅｄ　ｉｍａｇｅ　ｂｙ　ｗａｖｅｌｅｔ　ｉｎｖｅｒｓｅ　ｔｒａｎｓｆｏｒｍ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ａｌｇｏｒｉｔｈｍ　ｎｏｔ　ｏｎｌｙ　ｃｏｎｓｉｄｅｒ　ｆｕｌｌｙ　ｔｈｅ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｏｆ　ｗａｖｅｌｅｔ　ｔｒａｎｓｆｏｒｍ　ａｎｄ　ｆｅａｔｕｒｅｓ　ｏｆ　ｈｕｍａｎ　ｖｉｓｉｏｎ　ｓｙｓｔｅｍ，ｂｕｔ　ａｌｓｏ　ｉｍｐｒｏｖｅ　ｓｐａｔｉａｌ　ｐｒｅｓｅｎｔａｔｉｏｎ．　Ｋｅｙ　ｗｏｒｄｓ：ｉｍａｇｅ　ｆｕｓｉｏｎ；ｗａｖｅｌｅｔ　ｄｅｃｏｍｐｏｓｉｔｉｏｎ；ｖｉｓｕａｌ　ｃｈａｒａｃｔｅｒｉｓｔｉｃ；ｇｒａｄｉｅｎｔ　ａｌｇｏｒｉｔｈｍ；ｔｈｒｅｓｈｏｌｄ　引言　信息融合既是发达国家的前沿技术，也是我国　“８６３”计划和“九五”规划中重点研究项目。多传　感器数据源的接收、应用以及对高质量图像的需求引　融合操作时又可以根据实际需要来引入双方的细节　信息。从而表现出更强的针对性和实用性，融合效果　更好。尽管小波变换法的融合效果相对比较理想，但　其分解重构实际是一个高通和低通滤波的过程，仍在　一定程度丢失了原始图像中的一些边缘信息，从而使　发了世界范围内对多传感器信息融合研究的普遍关　注【　ＪＪ。其中作为当代三大成像系统（雷达成像系统、工　业电视成像系统、红外成像系统）之一的红外成像系　统中的相关技术研究也很广泛和深入ｌ２　Ｊ。　数据融合可分为三级，即像素级融合、特征级融　合和决策级融合。在像素级融合中的方法主要有ＨＩＳ　融合图像出现振铃效应。为此本文提出了一种新的图　像融合算法，充分考虑了小波变换的特点，将小波变　换和人眼视觉系统特性结合起来。　１融合算法原理　该算法首先对已配准的源图像进行小波多尺度　分解；其次针对小波变换的不同分量，选用不同的融　合准则，即将小波变换后的低频分量分割成若干个　块，计算出每个块的对比度方差，通过一种融合准则，　进行融合形成新的低频分量，对于三个高频分量进行　梯度计算，根据梯度值大小进行高频分量的系数融　合；最后通过小波逆变换重构图像。具体过程如图１　所示。　变换、ＰＣＡ法和小波变换等方法。从实施过程的灵活　性方面评价，ＨＩＳ变换只能而且必须同时对３个波段　进行融合操作，ＰＣＡ分析的输入图像必须有二个或二　个以上，而小波方法则能够完成对单一波段或多个波　段的融合运算¨ｊ　Ｊ。与传统的数据融合方法如ＰＣＡ、ＨＩＳ　等相比，小波融合模型不仅能够针对输入图像的不同　特征来合理选择小波基以及小波变换的次数，而且在　收稿日期：２００７　０５—１８　作者简介：许开宁（１９７０一），女，剐教授，博＝Ｌ。丰要研究方向为　像图形处理和海｝　智能交通系统。　基金项目：上海市教委重点项目（编号：０６ＺＺ４６）　４５５　维普资讯 http://www.cqvip.com 第２９卷第８期　２００７年８月　红外技术　Ｉｎｆｒａｒｅｄ　Ｔｅｃｈｎｏｌｏｇｙ　Ｖｂ１．２９　ＮＯ．８　Ａｕｇ．２００７　图１融合算法原理框图　Ｆｉｇ．１　Ｆｕｓｉｏｎ　ｂｌｏｃｋ　ｄｉａｇｒａｍ　１．１图像小波分解Ｈ＿　】　Ｍａｌｌａｔ在Ｂｕｒｔ和Ａｄｅｌｓｏｎ的塔形图像分解和重构　算法的启发下，提出了小波变换的Ｍａｌｌａｔ快速算法。　若设Ｈ（低通）和Ｇ（高通）为２个一维镜像滤波算　子，其下标ｒ和Ｃ分别对应于图像的行和列，则按照　二维Ｍａｌｌａｔ算法，在尺度．７—１上有如下的Ｍａｌｌａｔ分　解公式：　Ｉｃｆ＝ＨｃＨ　Ｃｊ一１　ｌ　Ｄ　ＧｃＨ　ＣＨ　ＩＤ２，＝ＨｃＧｒｃ『－ｉ　　ＩＤ　＝ＧｃＧｒＣｊ～ｌ　式中：Ｇ、　、　、　分别对应于图像　一　的低频　成分、垂直方向上的高频成分、水平方向上的高频成　分、对角方向上的高频成分。与之相应的二维图像的　Ｍａｌｌａｔ重构算法为：　Ｃｊ一１＝Ｈ　Ｈ　Ｃｆ＋日　日　Ｄ：＋ａｒＧ　Ｄ　＋ａｒａｃｏ　式中：詹、Ｇ分别为　、Ｇ的共轭转置矩阵。若对二　维图像进行Ⅳ层的小波分解，最终将有（３Ⅳ＋１）个　不同频带，其中有３Ｎ个高频带和一个低频带。本文　对数字图像进行了１层小波分解。　１．２低频分量的融合准则　小波系数的低频分量，包含了信号的主要轮廓信　息，它相当于在一定尺度下对原始信号的近似，这部　分分量包含了信号的大部分信息。考虑到人眼视觉系　统的特性，此部分的融合准则借助了均匀度测度Ｌ７】的　概念进行的。　长期以来，研究者们通过对人眼视觉现象的观察　与研究，发现人类的视觉有很多特点，而经常选用的　均方误差有时与视觉系统（ＨＩＳ）的主观视觉效果并　不匹配　】。由于块方差实际上就是均方误差，因此块　方差并不是衡量区域均匀度的理想标准。基于这种考　４５６　虑，在分析视觉系统对比度特性的基础上，提出了一　种有效的衡量图像块均匀度的测度。其定义如下：对　于图像ｆ（ｘ，），）中大小为ＮＸＮ的块　，其均匀度Ｉ，定义　为：　）＝丽１　）×　式中：ｍ　为　的均匀值；ｏＪ（ｍ　）为根据块平均亮度调　整的加权因子，可以由下式确定：　烈　），　、＝ｌｆ　，１、“｝　　（２）　ｔ　本文中选Ⅳ＝８，ａ一１。　计算了均匀度后，再根据它的值大小进行融合。　设两幅图像Ａ和Ｂ，分别计算每个图像各个块的均匀　度测度Ｊ（Ａ　）和　比较两幅图像对应块的均匀度测　度，得出融合图像的第ｉ个块　，融合准则如下式：　Ｊ　Ａｉ　Ｊ（Ａｉ　Ｊ　Ｓ（Ｓ　Ｊ＋Ｔｈ　＝｛Ｂ【（Ａ＋　）　／２　ｏｔＪ（ｈｅｒＡｉ）　Ｊｗｉｓｅ　（Ｂ　）一Ｔｈ　式中：Ｔｈ为阈值参数，是个经验因子。　１．３高频分量的融合准则　小波系数的高频分量包含了图像的细节部分，根　据它的特点我们采用了与低频分量不同的融合准则。　考虑Ｎｄ，波系数变化较大的值，往往表征了图像的细　节。因而根据各个小波系数的梯度进行融合【９】。　设［ＡＬＨ，ＡＨＬ，ＡＨＨ］为源图Ａ的ＬＨ，ＨＬ，ＨＨ三　个小波系数子矩阵，【ＢＬＨ，　Ｌ，ＢＨＨ］为源图Ｂ的ＬＨ，　ＨＬ，ＨＨ三个小波系数子矩阵，【　Ｈ，　，　］为融　合后的ＬＨ，ＨＬ，ＨＨ三个小波系数子矩阵［１０３１】。Ｇｒａｄ　代表梯度幅度，此处可以选用Ｒｏｂｅｒｔｓ算子。　融合准则为：　ＦＬＨ　Ｊ　Ａ　Ｈ，　ｉｆ　Ｇｒａｄ　Ｈ（Ａ）＞Ｇｒａｄ　Ｈ（Ｂ）　‘　ｌ　ＢＬＨ，ｅｌｓｅＧｒａｄＬＨ（Ａ）＜ＧｒａｄＬＨ（Ｂ）　ＦＨＬ　Ｉ　Ａ眦，ｉｆ　Ｇｒａｄ眦（Ａ）＞Ｇｒａｄｔｍ（Ｂ）　‘　ｌ　ＢＨＬ，ｅｌｓｅ　ＧｒａｄＨ　（Ａ）＜ＧｒａｄＨＬ（Ｂ）　ＨＨ　Ｉ　ＡＨＨ，ｉｆ　Ｇｒａｄ￣（Ａ）＞ＧｒａｄＨＨ（Ｂ）　‘　ｌ　ＢＨＨ，ｅｌｓｅＧｒａｄＨＨ（Ａ）＜ＧｒａｄＩ￣（Ｂ）　最后将得到的高频和低频子图像进行小波反变　换，重构融合图像。　２图像融合效果的客观评价　图像融合中常采用以下评价参量来客观、定量地　评价融合图像的效果：　１）熵（Ｅｎｔｒｏｐｙ）　维普资讯 http://www.cqvip.com 第２９卷第８期　２００７年８月　Ｖ＿０１－２９　ＮＯ．８　许歼宁等：基ｊ　小波变换的图像融合算法的实现　Ａｕｇ．２００７　融合后图像的熵值的大小反映了融合图像所包　含的平均信息量的多少，图像的熵定义为：　Ｈ＝一　Ｐｆ　ｌｏｇｐ　』■　’　：　姜粪√　（６）　（３）　这里，Ｍ和Ⅳ分别是图像的行数与列数。　△Ｌ＝ｇ（　＋１，Ｊ）－－ｇ（ｉ，Ｊ）　ａｉｒ＝ｇ（　，　＋１）－－ｇ（ｉ，Ｊ）　（７）　（８）　ｉ＝０　式中：Ｈ为图像的熵；Ｌ为图像的总的灰度级；Ｐ　表　示灰度级为ｉ的像素数Ｍ与图像总像素数Ⅳ之比，即　该灰度级出现的相对频率。　２）交叉熵　式中：ｇ（　，　）为（　，　）像素点的灰度值。　３实验结果及分析　图２、图３所示是两幅用来测试的图像，图２中　的图像Ａ左半模糊右半清晰，图３中的图像Ｂ正好　相反。使Ｊ｝＿｝ｊ上述算法对两幅图像进行图像融合，融合　的结果如图４所示。　交叉熵（Ｃｒｏｓｓ　ｅｎｔｒｏｐｙ）亦称相对熵（Ｒｅｌａｔｉｖｅ　ｅｎｔｒｏｐｙ），交叉熵可用来度量两幅图像间的差异。交　叉熵越小，说明融合后图像　标准参考图像问的差异　越小，即融合效果越好。若标准参考图像为尺、融合　后图像为Ｆ，则参考图像尺与融合图像Ｆ的交叉熵为：　Ｌ—ｌ　ｎ　通过实验我们还将本文提出的融合算法于其他　几种小波融合算法进行了比较分析，主要有：低频部　分的融合原则选择系数较大的值进行融合（简称选大　融合），低频部分的融合原则选择系数均值进行融合　（简称均值融合），高频融合原则仍然采用本文的融　合算法。　图５、图６所示是两幅用来测试的图像，图５为　拍摄的可见光图像，图６为拍摄的红外光图像，图７　为配准后的红外图像，图８为本论文算法融合后得到　的图像，图９、１０分别为用选大融合和均值融合方法　得到的图像。　ＣＥＲＦ＝∑ｐＲ１ｏｇ　ｉ＝０　ｐＦ　（４）　式中：　表示参考图像尺中灰度级ｉ出现的相对频率；　表示融合图像Ｆ中灰度级ｉ出现的相对频率。　３）标准差　图像的标准差反映了各像素灰度相对于该图像　灰度均值的离散情况，标准差越大，则灰度级分布越　分散，而灰度级的起伏和梯度反映了图像的细节、纹　理和边缘信息。标准差ＳＴＤ定义如下：　从主观效果来看，本算法能够较好的保留细节部　分，同时融合了对两幅图像的信息，使得融合后的图　像得到了增强，相对比其他方法有明显的优势。　表１足对上述图像的客观数据统计，融合图像包　含的信息量、图像平均梯度和信噪比这些数据都有了　较大的提升，说明算法较好地提高了图像的质量。　图２图像Ａ　Ｆｉｇ．２　Ｉｍａｇｅ　Ａ　３图像Ｂ　Ｆｉｇ．３　Ｉｍａｇｅ　Ｂ　图４图像融合结果　Ｆｉｇ．４　Ｆｕｓｅｄ　ｉｍａｇｅ　４５７　维普资讯 http://www.cqvip.com

第２９卷第８期　２００７年８月　红外技术　Ｉｎｆｒａｒｅｄ　Ｔｅｃｈｎｏｌｏｇｙ　Ｖ６１．２９　ＮＯ．８　Ａｕｇ．２００７　图５可见光图像　图６红外光图像　图７配准后的红外光图像　Ｆｉｇ．５　Ｖｉｓｉｂｌｅ　ｌｉｇｈｔ　ｉｍａｇｅ　Ｆｉｇ．６　Ｉｎｆｒａｒｅｄ　ｉｍａｇｅ　Ｆｉｇ．７　Ｉｎｆｒａｒｅｄ　ｉｍａｇｅ　ａｆｔｅｒ　ｒｅｇｉｓｔｒａｔｉｏｎ　图８本论文方法融合的图像　图９选大融合　图ｌ０均值融合　Ｆｉｇ．８　Ｆｕｓｅｄ　ｉｍａｇｅ　ｂｙ　ｔｈｅ　ｐａｐｅｒ’Ｓ　ｍｅｔｈｏｄ　Ｆｉｇ．９　Ｆｕｓｅｄ　ｉｍａｇｅ　ｂｙ　ｂｉｇ—ｃｈｏｏｓｉｎｇ　ｍｅｔｈｏｄ　Ｆｉｇ．１０　Ｆｕｓｅｄ　ｉｍａｇｅ　ｂｙ　Ｍｅａｎ　ｆｕｓｉｏｎ　表１客观数据统计　ｌ　２．　Ｔａｂｌｅ　１　Ｓｔａｔｉｓｔｉｃｓ　ｏｆ　ｏｂｊｅｃｔｉｖｅ　ｄａｔａ　【４］Ｎｕｎｅｚ　Ｊ，Ｏｔａｚｕ　Ｘ，Ｆｏｒｓ　Ｏ，ｅｔ　ａ１．Ｍｕｈｉ－ｒｅｓｏｌｕｔｉｏｎ　ｂａｓｅｄ　ｉｍａｇｅ　ｆｕｓｉｏｎ　ｗｉｔｈ　ａｄｄｉｔｉｖｅ　ｗａｖｅｌｅｔ　ｄｅｃｏｍｐｏｓｉｔｉｏｎ［Ｊ］．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｇｅｏｓｃｉｅｎｃｅ　ａｎｄＲｅｍｏｔｅ　Ｓｅｎｓｉｎｇ，１９９９，３７（３）：１２０４￣１２１１．　【５］Ｍａｌｌａｔ　Ｓ　Ｇ．Ａ　ｔｈｅｏｒｙ　ｆｏｒ　ｍｕｌｔｉ－ｒｅｓｏｌｕｔｉｏｎ　ｓｉｇｎａｌ　ｄｅｃｏｍｐｏｓｉｔｉｏｎ：ｔｈｅ　ｗａｖｅｌｅｔ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ［Ｊ］．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｐａｔｔｅｒｎ　Ａｒｉａ　ｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，１９８９，１１（７）：６７４￣６９３．　【６］刘贵喜，杨万海．基于小波分解的图像融合方法及性能评价【ＪＪ．自动　化学报，２００２，（６）：９２７￣９３４．　４结束语　【７］黄继武，Ｙ　Ｑ　Ｓｈｉ，戴宪华．基于视觉系统特性的分割编码算法【ＪＪ．中　本文根据小波变换的系数特点，分别选用了不同　国图像图形学报，１９９９，４（５）：４００￣４０４．　的融合准则，因而保留了图像的细节信息，得到了全　【８］　李红，刘晓华．基于小波变换和视觉特性的多光谱图像融合【ＪＪ．信号　局清晰的图像，融合效果良好。　处理，２００６，２２（１）：３２￣６９．　参考文献：　【９］杨朝霞，逯峰．图像梯度与散度计算及在边缘提取中的应用【Ｊ１．中山　【１１。。。胁　ｌＤ　Ｌ．Ｍａｔｈｅｍａｔｉｃａｌ　Ｔｅｃｈｎｉｑｕｅｓ　ｉｎ　Ｍｕｌｔｉ—ｓｅｎｓＯｒ　Ｄａｔａ　Ｆｕｓｉｏｎ［Ｍ］．　大学学报．２００２，４１（６）：６～９．　Ｂｏｓｔｏｎ＝Ａｎｅｃｈ　Ｈｏｕｓｅ，１９９２　【１０］　刘贵喜，赵曙光．基于梯度塔形分解的多传感器图像融合【ＪＪ．光电　【２］许开宇，胡文骅，陈仁．一种基于Ｃａｎｎｙ算子的船舶目标检测算法ｆＪＪ＿　子・激光，２００１，１２（３）：２９３￣２９６　红外技术，２００６，２８（６）：３１５～３１８．　【１１］　吕晓琪，张宝华．符合人眼视觉特性的医学图像融合算法［Ｊ］．计算机　【３］　Ｉ、Ｄａｕｂｅｃｈｉｅｓ，Ｔｅｎ　Ｌｅｃｔｕｒｅｓ　ｏｎ　Ｗａｖｅｌｅｔｓ［Ａ］．ＣＢＭＳ—ＮＳＦ　Ｒｅｇｉｏｎａｌ　应用研究，２００６，２３（３）：１５３～１５７．　Ｃｏｎｆｅｒｅｎｃｅ　Ｓｅｒｉｅｓ　ｉｎ　Ａｐｐｌｉｅｄ　Ｍａｔｈｅｍａｔｉｃｓ［Ｃ］，６　１，ＳＩＡＭ，Ｐｈｉｌａｄｅｌｐｈｉａ　４５８