像素級圖像融合

1、山東大學(xué)（威海）畢業(yè)論文畢業(yè)設(shè)計(jì)（論文）設(shè)計(jì)(論文)題目像素級圖像融合方法姓 名：李桂楠學(xué) 號：201100800668學(xué) 院：機(jī)電與信息工程學(xué)院專 業(yè)：自動(dòng)化年 級2011級指導(dǎo)教師：孫甲冰山東大學(xué)（威海）畢業(yè)論文目錄目 錄摘 要9Abstract10第一章 緒 論11.1課題背景及來源11.2圖像融合的理論基礎(chǔ)和研究現(xiàn)狀11.3圖像融合的應(yīng)用21.4圖像融合的分類2第二章 像素級圖像融合的預(yù)處理32.1圖像增強(qiáng)32.2圖像校正42.3圖像配準(zhǔn)4第三章 像素級圖像融合的方法綜述53.1加權(quán)平均圖像融合方法53.2 HIS空間圖像融合方法53.3 主成分分析圖像融合方法73.4 偽彩色圖像融合

2、方法8第四章 基于小波變換的像素級圖像融合概述144.1 小波變換的基本理論144.2 基于小波變換的圖像融合 154.3基于小波變換的圖像融合性能分析16第五章 像素級圖像融合方法的研究總結(jié)與展望21參考文獻(xiàn)24謝 辭36山東大學(xué)（威海）畢業(yè)論文摘要摘 要近些年，隨著科學(xué)技術(shù)的飛速發(fā)展，各種各樣的圖像傳感器出現(xiàn)在人們的視野前，這種樣式繁多的圖像傳感器在不同的成像原理和不同的工作環(huán)境下具有不同功能。而因?yàn)槎鄠鞲衅鞯牟粩嘤楷F(xiàn)，圖像融合技術(shù)也越來越多的被應(yīng)用于醫(yī)學(xué)、勘探、海洋資源開發(fā)、生物學(xué)科等領(lǐng)域。圖像融合主要有像素級、決策級和特征級三個(gè)層次，而像素級圖像融合作為基礎(chǔ)能為其他層次的融合提供更準(zhǔn)確

3、、全面、可依賴的圖像信息。本文的主要工作是針對像素級的圖像融合所展開的。關(guān) 鍵 詞圖像融合理論基礎(chǔ)、加權(quán)平均、圖像融合方法、小波變換、IAbstractIn recent years, with the rapid development of science and technology, all kinds of image sensor appear in front of the people's field of vision, image sensor in a wide range of this style in different imaging principle

4、and under different working conditions have different function. And because of multiple sensors, image fusion technology is also more and more been used in medical, exploration, Marine resources development, biological sciences, and other fields, and image fusion for national security more strategic

5、 significance to construction and economic development. Therefore, the study of image fusion is and its important theoretical significance and application prospects.Image fusion is divided into pixel level, feature level and decision level three different levels, image fusion at pixel level and as a

6、 basis for other levels of fusion provide more accurate, comprehensive, image information can be lazy, is advantageous to the image analysis and further research. The research work of this article is the surrounding image fusion at pixel level.Key words image fusion, weighted average, pseudo color i

7、mage fusion method and wavelet transformII山東大學(xué)（威海）畢業(yè)論文緒論第一章 緒 論1.1課題背景及來源在現(xiàn)代化的農(nóng)業(yè)、生活、資源管理開發(fā)、國防等方面的實(shí)際應(yīng)用中，圖像融合被廣泛的開發(fā)應(yīng)用，是較為常用的圖像信息融合技術(shù)，它可以對源圖像中的像素進(jìn)行逐個(gè)的信息融合，盡可能保留源圖像中的重要信息以得到對圖像更精確、更豐富的描述。為了特征級和決策級的研究提供幫助。本章主要工作是對圖像融合的理論和發(fā)展做出介紹，并在該基礎(chǔ)上分析圖像融合在實(shí)際應(yīng)用前景。1.2圖像融合的理論和現(xiàn)狀圖像融合是對不同傳感器所收集到的一幅或者多幅源圖像進(jìn)行融合，用融合技術(shù)合成同一幅包含了多

8、幅源圖像優(yōu)點(diǎn)、內(nèi)容更加全面豐富的圖像，其最早產(chǎn)生于20世紀(jì)70年代末，而該技術(shù)隨著實(shí)際應(yīng)用中的所占比例的增大在其后的時(shí)間內(nèi)有了很大的發(fā)展。雖然圖像融合技術(shù)越來越多地在實(shí)際生活中得到應(yīng)用，但因?yàn)樵摷夹g(shù)所覆蓋領(lǐng)域的廣泛性和該技術(shù)的多樣性，研究結(jié)果只是反映了特定的方面，而不是形成完整的體系?？偠灾?，其中仍有很多問題有待我們的解決和探討。1.3圖像融合的應(yīng)用多傳感器技術(shù)的提高和電子科技技術(shù)方面的提高，圖像融合技術(shù)越來越多的被用于實(shí)際應(yīng)用中。在民用方面，圖像融合在應(yīng)用于各個(gè)領(lǐng)域。遙感方面，隨著遙感技術(shù)的發(fā)展，在同一地區(qū)可使用越來越多不同的傳感器，因此能獲得不同時(shí)間段的各類遙感圖像信息，國土資源規(guī)劃等方

9、面都有效的利用到該技術(shù)。在醫(yī)學(xué)領(lǐng)域，多模醫(yī)學(xué)圖像融合技術(shù)已經(jīng)被廣泛的用于醫(yī)療診斷中，根據(jù)不同影像設(shè)備可反應(yīng)出人體體征情況各有不同，彌補(bǔ)了原來醫(yī)學(xué)單一成像的缺點(diǎn)。在軍事領(lǐng)域，隨著傳感器的種類不停增多，可得到的戰(zhàn)場信息戰(zhàn)況越來越豐富，而有關(guān)于戰(zhàn)場圖像信息的分析也需要越來越準(zhǔn)確，而多傳感器圖像融合技術(shù)則成為控制戰(zhàn)爭態(tài)勢的有效利器。1.4圖像融合的分類（1）按信息表征層次分類 像素級圖像融合：根據(jù)某個(gè)融合規(guī)則直接對源圖像灰度進(jìn)行融合。像素級圖像融合是最低層次的融合，但其保留信息的能力要強(qiáng)于決策級和特征級。但像素級融合對配準(zhǔn)精度的要求也更高。特征級圖像融合：在像素級的基礎(chǔ)上提取其特征信息進(jìn)行綜合性分析和

10、融合處理。特征級融合首先從各個(gè)多傳感器圖像中提取原始信息特征，去掉其中的虛無用特征。特征級圖像融合能壓縮信息，還能保留圖像的復(fù)合特征，可以直接為決策級融合分析提供幫助。決策級圖像融合：是最高層次的融合，從源圖像中獲取特征信息并進(jìn)行預(yù)處理，得出各自的決策，合并成一個(gè)全局性的聯(lián)合決策。決策級圖像融合有較高的實(shí)時(shí)性和容錯(cuò)性，但是在處理過程中損失的圖像信息量大，預(yù)處理的要求也比較高。（2）按圖像源分類同類傳感器圖像融合：對同一傳感器在不同成像模式下獲得圖像進(jìn)行融合。異類傳感器圖像融合：將不同類型的并且彼此相互獨(dú)立傳感器收集到的圖像進(jìn)行融合。遙感圖像融合：對多遙感器所獲得的圖像進(jìn)行融合。（3）按融合方法

11、分類 基于空間域的圖像融合：在像素級別上對圖像直接進(jìn)行處理。其算法有：加權(quán)平均法、主成分分析法、HIS空間法、偽彩色法等等。 基于變換域的圖像融合：首先對多幅源圖像進(jìn)行圖像變換，之后在對其獲得的系數(shù)按準(zhǔn)則進(jìn)行融合，再對其進(jìn)行逆變換得到融合結(jié)果。常用算法有：傅里葉變換，多尺度分解等等。 21山東大學(xué)（威海）畢業(yè)論文系統(tǒng)總體方案第二章 像素級圖像融合的預(yù)處理像素級圖像融合是最底層的圖像融合，它可以獲得另外兩個(gè)層級不能獲得的細(xì)微的源圖像信息，因?yàn)橐_要像素級別，所以在圖像融合前要進(jìn)行預(yù)處理，例如圖像的增強(qiáng)、校正、配準(zhǔn)等。2.1圖像的增強(qiáng)圖像增強(qiáng)是一類圖像預(yù)處理的技術(shù)，其目的是為了獲得效果更明顯、對

12、研究內(nèi)容更加有用的圖像信息。圖像增強(qiáng)的主要方法有：1.空間域增強(qiáng)2.頻率域增強(qiáng)。（一） 空間域增強(qiáng)1.線性變換和非線性變換在對圖像的像元進(jìn)行灰度值的變換以后，我們將會(huì)得到可視度更高、分辨率更為清晰的圖像。根據(jù)變換函數(shù)分類，當(dāng)變換函數(shù)為線性或者分段函數(shù)時(shí)，稱其為線性變換?；叶茸儞Q的過程可以表示為：g(x,y)=Th(x,y),射映射為T，則輸入圖像中的每個(gè)像素的灰度值f（x，y）可以通過該映射，經(jīng)過變換后得到輸出圖像的灰度值h（x，y）。簡單的線性變換公式課定義為：，其中，n和m分別為輸入圖像亮度分量的最大和最小值，d和c分別是輸出圖像亮度分量的最大和最小值。如圖1所示，在線性變換后其灰度范圍明

13、顯擴(kuò)大，由m,n擴(kuò)展為c，d。變換后的圖像中相鄰像素灰度的差值增加，將有效改善圖像視覺效果。線性變換效果圖如下：非線性變換則可以理解為，變換函數(shù)是非線性的，則為非線性變換，它是有選擇的對某一灰度范圍進(jìn)行擴(kuò)展。指數(shù)變換和對數(shù)變換都是比較常用的非線性變換。指數(shù)變換一般公式為： 對數(shù)變換一般公式為： 其中，和分別表示變換前和變換后每個(gè)像元的灰度值。a、b、c為參數(shù)。 圖4 非線性灰度變換2.空間增強(qiáng)為了達(dá)到強(qiáng)化圖像特征信息的目的，則采用空間增強(qiáng)。領(lǐng)域處理：對于某一圖像（i，j），對于該圖像像元的集合i+m，j+n（m、n為任意整數(shù)）稱為該像元的領(lǐng)域。由圖可知g(i,j)可由f（i，j）確定，它們分別

14、為處理前和處理后的像元值，這種處理稱為領(lǐng)域處理。領(lǐng)域運(yùn)算的計(jì)算表達(dá)式為： 為對像元的運(yùn)算法則。 卷積運(yùn)算：在空間域上對圖像做加權(quán)求和的過程。需選定一個(gè)模板。 在運(yùn)算前，需選定一個(gè)大小為的運(yùn)算模板。并建立一個(gè)和模板大小相同的活動(dòng)窗口，再將模板與窗口的對應(yīng)的灰度值做對應(yīng)運(yùn)算。得到新的窗口中心灰度值。其公式為： 將模板和窗口作相同移動(dòng)后再按上式計(jì)算得出新的灰度值。根據(jù)該公式進(jìn)行類推，最后獲得目標(biāo)圖像。平滑：傳感器在成像過程會(huì)存在各種客觀原因造成的誤差，圖像在形成過程中會(huì)出現(xiàn)“噪聲?！逼交哪康氖菫樘岣邎D像質(zhì)量而進(jìn)行的處理。銳化：銳化可突出邊緣和線狀口信息。（二）頻率域增強(qiáng)在圖像處理過程中，像元的灰度

15、值隨著位置變化的頻繁程度用頻率來表示，屬于空間頻率。對于邊緣、線條、噪聲等特征，在短像元距離內(nèi)灰度值變化頻率較大，而在長像元距離內(nèi)灰度值逐漸變化。頻率域增強(qiáng)的過程如下：（三）彩色增強(qiáng)1.偽彩色增強(qiáng)一副黑白的圖像在經(jīng)過一定規(guī)則的變換后得到彩色圖像的過程為偽彩色增強(qiáng)。2.假彩色增強(qiáng)假彩色增強(qiáng)與偽彩色增強(qiáng)不基本相似，而它與偽彩色增強(qiáng)不同在于它與原波段的真實(shí)顏色不相同，它呈現(xiàn)出來的顏色并不是物體的真是顏色。（四）圖像運(yùn)算為了達(dá)到圖像增強(qiáng)的目的，可對圖像運(yùn)用代數(shù)方法進(jìn)行運(yùn)算。1.加法運(yùn)算是指兩幅大小相同的圖像對它們的像元的灰度值進(jìn)行相加。若設(shè)加法運(yùn)算后的圖像為，兩幅圖像分別為，則加法運(yùn)算公式為: 2.差

16、值運(yùn)算差值運(yùn)算是指兩幅同樣大小的圖像對它們的灰度值進(jìn)行相減。若差值運(yùn)算后的圖像為,兩幅圖像為和，則差值運(yùn)算公式為： 3.比值運(yùn)算比值運(yùn)算是針對兩幅大小相同的圖像，對它們對應(yīng)的像元進(jìn)行除法運(yùn)算。若比值運(yùn)算后的圖像為,兩幅圖像為，則比值運(yùn)算公式為： 2.2圖像校正1.準(zhǔn)備工作：對源圖像包含的數(shù)據(jù)信息進(jìn)行收集整理；2.輸入原始數(shù)字影像；3.建立校正變換函數(shù)。（1）多項(xiàng)式校正法；（2）共線方程校正法。2.3圖像配準(zhǔn) （1）對圖像灰度信息進(jìn)行配準(zhǔn) 該方法在圖像灰度上對圖像的相似程度進(jìn)行統(tǒng)計(jì)，主要有互相關(guān)法、序貫相似度檢測匹配法和交互信息。 對于一幅圖像I和一個(gè)模板T，二維交叉相關(guān)函數(shù)定義為： 為圖像上進(jìn)

17、行了相似程度為(u,v)的位移。序貫相似檢測法相對來說是更容易實(shí)現(xiàn)的方法，其準(zhǔn)則定義為：其中，分別為模板和圖像窗口的均值。交互信息I由A、B的個(gè)體熵式中，dn; p(m,n)dmdn;p(m)和p（n）為隨機(jī)變量M和N的邊緣概率密度，p(m,n)為M和N的聯(lián)合概率密度分布。（2）對變換域進(jìn)行圖像配準(zhǔn)相位相關(guān)是重要的配準(zhǔn)方法之一，在對圖像運(yùn)用傅里葉變換時(shí)。設(shè)兩幅圖像，是兩幅圖像的平移量，則：而它們之間的傅里葉變換滿足下式：（3）基于特征的圖像配準(zhǔn)方法 1.特征提取，根據(jù)圖像性質(zhì)提取對配準(zhǔn)有用的特征信息。 2.特征匹配，將兩幅圖像中提取的特征作對應(yīng)。 3.圖像轉(zhuǎn)換，利用特征信息進(jìn)行轉(zhuǎn)換后獲得目標(biāo)圖

18、像。山東大學(xué)（威海）畢業(yè)論文系統(tǒng)軟件設(shè)計(jì)第三章 像素級圖像融合的方法綜述3.1加權(quán)平均圖像融合方法設(shè)有兩幅圖像分別為A和B，它們?nèi)诤虾蟮膱D像為F，則： (3-1)式中，（x,y）為圖像中某一像素的位置，是權(quán)重系數(shù)，它們滿足：。最簡單的加權(quán)平融合方法就是采用平均權(quán)值（）3.2 HIS空間圖像融合方法在HIS中，對于HIS，它表示的是表色系統(tǒng)。由這三個(gè)分量構(gòu)成的HIS模型可以準(zhǔn)確表示彩色圖像，I、H、S分別表示亮度、色調(diào)和飽和度，且互相獨(dú)立另外一種系統(tǒng)是由R、G、B組成的空間。以Landsat TM多光譜圖像與全色Pan圖像的融合為例，HIS空間圖像融合步驟一般為：1.對圖像的RGB空間中的R、G

19、、B變換，得到I、H、S三個(gè)分量；2.再將亮度分量I按規(guī)則融合，得到新的亮度分量；3.再將、H、S反變換回RGB空間，完成融合過程。3.3 主成分分析圖像融合方法主成分分析圖像融合方法對圖像作多維正交線性變換，實(shí)現(xiàn)圖像的相關(guān)和降維。對n個(gè)波段的多光譜圖像進(jìn)行PCA變換時(shí)，對應(yīng)n個(gè)波段圖像同一位置處的像素灰度構(gòu)成了一個(gè)n維矢量數(shù)據(jù)，若各波段圖像大小為，則共有個(gè)維矢量，這些矢量數(shù)據(jù)的協(xié)方差陣可計(jì)算為：，其中，。其中讓的特征值和特征向量使，其中，為的n個(gè)特征值，U的列向量為對應(yīng)的特征向量。而主成分分量y可由x求得，即：，其中， 、分別是第一和第二主成分，以此類推。3.4 偽彩色圖像融合方法 使用偽彩

20、色的意義在于人眼對色彩的分辨要比灰度敏感很多，而且可分辨的色彩種類也較灰度來說多很多。而對于人眼的該特征，通過某種彩色化處理將蘊(yùn)含在各源圖像中的灰度細(xì)節(jié)信息以彩色方式表征出來，可使人眼對圖像有更豐富的感知。第四章 基于像素級小波變換的圖像融合方法概述小波變換是法國工程師在1974年提出來的一門新興理論，是一種新發(fā)展起來的數(shù)學(xué)工具，小波變換是在傅里葉變換的基礎(chǔ)上建立起來的。圖像的小波變換反映了在經(jīng)過小波分解后各個(gè)頻率段信號重新形成的圖像。利用小波分解的方向性可獲得人眼辨析度更高的圖像。但小波基和分解層數(shù)的選取仍是分解過程中有待解決的問題。本章的主要工作就是通過實(shí)驗(yàn)的方法,得出最佳小波基函數(shù)和分解

21、層數(shù)。 4.1 小波變換理論將一個(gè)基本的小波函數(shù)進(jìn)行伸縮和平移變換可以得到對應(yīng)小波函數(shù)，而小波變換是將信號投影到小波函數(shù)上，在將其分解后可得到一系列疊加在一起的小波函數(shù)設(shè)G為理想狀態(tài)下的低通濾波器，H為理想狀態(tài)下的高通濾波器，用它們對源信號多分辨率分解，則兩個(gè)支路輸出必為正交，且?guī)挏p半而不會(huì)引起信息丟失。因此，可在一級濾波后加入降二采樣之后用G和H對低頻分量進(jìn)行濾波，然后再降二采樣，重復(fù)該過程就是對源信號進(jìn)行了多分辨率分解，如下圖2所示： 圖2 圖像的小波變換：這里運(yùn)用到了Mallat快速算法對而為圖像進(jìn)行小波分解。按照二維Mallat算法在尺度j一1上有如下的分解公式： （4-3） 相應(yīng)的

22、重構(gòu)公式如下： （4-4）圖像經(jīng)過小波分解后可獲得低頻近似分量、水平的高頻近似分量、垂直的高頻近似分量以及對角的高頻分量,四個(gè)分量用LL、LH、HL、HH來表示,而分解后的框架如下圖所示， 圖 我們也稱之為塔形框架。4.2 基于小波變換的圖像融合頻率域?qū)τ趫D像融合來說比空間域更為有效。將圖像進(jìn)行N層的小波分解,可獲得一個(gè)高頻帶和一個(gè)包含近似分量的低頻帶。小波分解也被稱為小波金字塔分解，因?yàn)殡S著層數(shù)的增多而數(shù)據(jù)尺寸在變小，最后形成塔狀結(jié)構(gòu)。（1）圖像的小波分解小波分解是對函數(shù)在伸縮和平移后形成的空間，對其投影后構(gòu)成了對信號的多尺度分析。定義下面的符號：所張成的閉包，即 （4-5） 是由子空間構(gòu)成

23、的多分辨率空間，則有如下性質(zhì)1.單調(diào)性： （4-6）2.伸縮性： （4-7） 3.平移不變性： （4-8）4.直和分解： （4-9）5.Riesz基存在性：存在使得是的Riesz基。 (2)基于小波變換的融合方法小波變換的步驟為下： 對將圖像作多尺度分解； 各個(gè)分解層通過圖像特征信息獲得圖像的小波系數(shù)； 變換,得到融合圖像?；谛〔ㄗ儞Q的圖像融合過程如下圖所示： 圖3 基于小波變換的融合過程4.3 基于小波變換的圖像融合性能分析（1）對一個(gè)小波基按不同層數(shù)融合。將兩幅對多聚焦圖像,使用同一小波基函數(shù)按照不同分解層數(shù)采用Matlab7.0編程進(jìn)行仿真實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖4所示。圖4 圖像的熵、均值

24、、標(biāo)準(zhǔn)差和空間分辨率的計(jì)算結(jié)果如表1所示： 表1多聚焦圖像不同分解層數(shù)融合實(shí)驗(yàn)數(shù)據(jù)將前視紅外圖像與微光夜視圖像,使用同一小波基函數(shù)按照不同分解層數(shù)采用Matlab7.0編程進(jìn)行仿真實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖5所示。 圖5 前視紅外圖像與微光夜視圖像不同分解層數(shù)融合結(jié)果圖像的熵、均值、標(biāo)準(zhǔn)差和空間分辨率的計(jì)算結(jié)果結(jié)果如表2所示： 表2 前視紅外圖像與微光夜視圖像不同分解層數(shù)融合實(shí)驗(yàn)結(jié)果將兩幅遙感圖像,使用同一小波基函數(shù)按照不同分解層數(shù)采用Matlab7.O編程進(jìn)行仿真實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖6所示。 圖6 遙感圖像不同分解層數(shù)融合結(jié)果圖像的熵、均值、標(biāo)準(zhǔn)差和空間分辨率的計(jì)算結(jié)果結(jié)果如表3所示：通過上述三組實(shí)驗(yàn)

25、的結(jié)果分析可知,對于按照同一小波基進(jìn)行融合的圖像,空間分辨率會(huì)隨著層數(shù)的增加而增大,說明了圖像的清晰度跟層數(shù)增加成正比;而融合圖像的熵在4-6層時(shí)達(dá)到最大值。（2）不同小波基按同一層數(shù)融合同一實(shí)驗(yàn)環(huán)境下,分別用harr、db、sym、coif等函數(shù)在小波分解后進(jìn)行融合。多聚焦圖像的融合結(jié)果如圖7所示。 圖7 圖像的熵、均值、標(biāo)準(zhǔn)差和空間分辨率計(jì)算結(jié)果如表4所示： 表4 遙感圖像的融合結(jié)果如圖8所示：圖8 遙感圖像不同小波基融合結(jié)果圖像的熵、均值、標(biāo)準(zhǔn)差和空間分辨率計(jì)算結(jié)果如表5所示：試驗(yàn)結(jié)果表明:對遙感圖像來說,融合后圖像的熵值、均值、標(biāo)準(zhǔn)差以及分辨率總體變化不大。山東大學(xué)（威海）畢業(yè)論文第五章 像素級圖像融合方法的研究總結(jié)與展望圖像融合是數(shù)據(jù)融合的一個(gè)重要分支，它涉及到數(shù)學(xué)、計(jì)算機(jī)、軍事、地理資源勘探等方面。而圖像則數(shù)據(jù)的一種體現(xiàn)形式。本文的研究重點(diǎn)則是像素級圖像融合的方法及性能評價(jià)。其中包括了圖像融合的概念、意義、發(fā)展歷史和前景、圖像融合的目的和意義，圖像的小波變換、基于小波變換的圖像融合方法