圖像融合算法概述

1、精選優(yōu)質(zhì)文檔-傾情為你奉上圖像融合算法概述摘要：詳細(xì)介紹了像素級(jí)圖像融合的原理 ,著重分析總結(jié)了目前常用的像素級(jí)圖像融合的方法和質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn),指出了像素級(jí)圖像融合技術(shù)的最新進(jìn)展 ,探討了像素級(jí)圖像融合技術(shù)的發(fā)展趨勢(shì)。關(guān)鍵詞：圖像融合; 多尺度變換; 評(píng)價(jià)標(biāo)準(zhǔn)Abstract: This paper introduced the principles based on image fusion at pixel level in detail, analysed synthetically andsummed up the present routine algorithm of image f

2、usion at pixel level and evaluation criteria of its quality. It pointed out therecent development of image fusion at pixel level, and discussed the development tendency of technique of image fusion at pixellevel.Key words: image fusion; multi-scale transform; evaluation criteria1.引言：圖像融合是通過一個(gè)數(shù)學(xué)模型把來自

3、不同傳感器的多幅圖像綜合成一幅滿足特定應(yīng)用需求的圖像的過程, 從而可以有效地把不同圖像傳感器的優(yōu)點(diǎn)結(jié)合起來, 提高對(duì)圖像信息分析和提取的能力 1 。近年來, 圖像融合技術(shù)廣泛地應(yīng)用于自動(dòng)目標(biāo)識(shí)別、計(jì)算機(jī)視覺、遙感、機(jī)器人、醫(yī)學(xué)圖像處理以及軍事應(yīng)用等領(lǐng)域。圖像融合的主要目的是通過對(duì)多幅圖像間冗余數(shù)據(jù)的處理來提高圖像的可靠性; 通過對(duì)多幅圖像間互補(bǔ)信息的處理來提高圖像的清晰度。根據(jù)融合處理所處的階段不同,圖像融合通?？梢詣澐譃橄袼丶?jí)、特征級(jí)和決策級(jí)。融合的層次不同, 所采用的算法、適用的范圍也不相同。在融合的三個(gè)級(jí)別中, 像素級(jí)作為各級(jí)圖像融合的基礎(chǔ), 盡可能多地保留了場(chǎng)景的原始信息, 提供其他融

4、合層次所不能提供的豐富、精確、可靠的信息, 有利于圖像的進(jìn)一步分析、處理與理解, 進(jìn)而提供最優(yōu)的決策和識(shí)別性能.2. 圖像融合算法概述2.1 圖像融合算法基本理論相對(duì)圖像融合的其他層次, 像素級(jí)圖像融合是直接在采集到的原始圖像上進(jìn)行的, 在各種傳感器原始數(shù)據(jù)未經(jīng)特征提取與分類前就進(jìn)行數(shù)據(jù)綜合與分析, 是最低層次上的融合。在某些場(chǎng)合( 如目標(biāo)識(shí)別) , 實(shí)施像素級(jí)圖像融合之前, 有時(shí)需要先對(duì)參加融合的各圖像進(jìn)行預(yù)處理( 如圖像增強(qiáng)、降噪等) , 其目的是提高檢測(cè)性能。不過這種預(yù)處理并非必需, 但對(duì)參加融合的各圖像必須進(jìn)行精確的配準(zhǔn)。其配準(zhǔn)精度應(yīng)達(dá)到像素級(jí)。像素級(jí)圖像融合通過互補(bǔ)信息的有機(jī)集成,

5、可以減少或抑制單一信息對(duì)被感知對(duì)象或環(huán)境解釋中可能存在的多義性、不完整性、不確定性和誤差, 最大限度地利用各種信息源提供的信息, 從而大大提高在特征提取、分類、目標(biāo)識(shí)別等方面的有效性 2 。圖1 給出了像素級(jí)圖像融合的結(jié)構(gòu)示意圖。2.2基于非多尺度變換的圖像融合方法2.2.1平均與加權(quán)平均方法加權(quán)平均方法將原圖像對(duì)應(yīng)像素的灰度值進(jìn)行加權(quán)平均,生成新的圖像, 它是最直接的融合方法。其中平均方法是加權(quán)平均的特例。使用平均方法進(jìn)行圖像融合, 提高了融合圖像的信噪比, 但削弱了圖像的對(duì)比度, 尤其對(duì)于只出現(xiàn)在其中一幅圖像上的有用信號(hào)。2.2.2像素灰度值選大( 或小) 圖像融合方法假設(shè)參加融合的兩幅原

6、圖像分別為A、B, 圖像大小均為MN, 融合圖像為F, 則針對(duì)原圖像A、B 的像素灰度值選大( 或小) 圖像融合方法可表示為 F( m, n) =max( or min) A( m, n) , B( m, n) 其中: m、n 分別為圖像中像素的行號(hào)和列號(hào)。在融合處理時(shí), 比較原圖像A、B 中對(duì)應(yīng)位置( m, n) 處像素灰度值的大小, 以其中灰度值大( 或小) 的像素作為融合圖像F 在位置( m, n) 處的像素。這種融合方法只是簡(jiǎn)單地選擇原圖像中灰度值大( 或小) 的像素作為融合后的像素, 對(duì)待融合的像素進(jìn)行灰度增強(qiáng)( 或減弱) , 因此該方法的實(shí)用場(chǎng)合非常有限。2.2.3 基于PCA 的

7、圖像融合方法PCA 圖像融合方法首先用三個(gè)或以上波段數(shù)據(jù)求得圖像間的相關(guān)系數(shù)矩陣, 由相關(guān)系數(shù)矩陣計(jì)算特征值和特征向量,再求得各主分量圖像; 然后將高空間分辨率圖像數(shù)據(jù)進(jìn)行對(duì)比度拉伸, 使之與第一主分量圖像數(shù)據(jù)具有相同的均值和方差;最后用拉伸后的高空間分辨率圖像代替第一主分量, 將它與其他主分量經(jīng)PCA 逆變換得到融合圖像。PCA 融合算法的優(yōu)點(diǎn)在于它適用于多光譜圖像的所有波段; 不足之處是在PCA 融合算法中只用高分辨率圖像來簡(jiǎn)單替換低分辨率圖像的第一主成分, 故會(huì)損失低分辨率圖像第一主成分中的一些反映光譜特性的信息, 使得融合圖像的光譜畸變嚴(yán)重。只按統(tǒng)計(jì)的思想, 不考慮圖像各波段的特點(diǎn)是P

8、CA融合算法的致命缺點(diǎn)。2.2.4 基于調(diào)制的圖像融合方法借助通信技術(shù)的思想, 調(diào)制技術(shù)在圖像融合領(lǐng)域也得到了一定的應(yīng)用 3, 4 , 并在某些方面具有較好的效果。用于圖像融合上的調(diào)制手段一般適用于兩幅圖像的融合處理, 具體操作一般是將一幅圖像進(jìn)行歸一化處理; 然后將歸一化的結(jié)果與另一圖像相乘; 最后重新量化后進(jìn)行顯示。用于圖像融合上的調(diào)制技術(shù)一般可分為對(duì)比度調(diào)制技術(shù)和灰度調(diào)制技術(shù)。2.2.5 非線性方法將配準(zhǔn)后的原圖像分為低通和高通兩部分, 自適應(yīng)地修改每一部分, 然后再把它們?nèi)诤铣蓮?fù)合圖像。文獻(xiàn) 5 采用自適應(yīng)的非線性處理方法融合可見光和紅外圖像。2.2.6 邏輯濾波方法邏輯濾波方法是一種

9、利用邏輯運(yùn)算將兩個(gè)像素的數(shù)據(jù)合成為一個(gè)像素的直觀方法, 例如當(dāng)兩個(gè)像素的值都大于某一閾值時(shí), “與”濾波器輸出為“1”( 為“真”) 。圖像通過“與”濾波器而獲得的特征可認(rèn)為是圖像中十分顯著的成分。2.2.7 顏色空間融合法顏色空間融合法的原理是利用圖像數(shù)據(jù)表示成不同的顏色通道。簡(jiǎn)單的做法是把來自不同傳感器的每幅原圖像分別映射到一個(gè)專門的顏色通道, 合并這些通道得到一幅假彩色融合圖像。該類方法的關(guān)鍵是如何使產(chǎn)生的融合圖像更符合人眼視覺特性及獲得更多有用信息。Toet 等人將前視紅外圖像和微光夜視圖像通過非線性處理映射到一個(gè)彩色空間中, 增強(qiáng)了圖像的可視性 6 。文獻(xiàn) 7 研究表明, 通過彩色映

10、射進(jìn)行可見光和紅外圖像的融合, 能夠提高融合結(jié)果的信息量, 有助于提高檢測(cè)性能。2.2.8 最優(yōu)化方法最優(yōu)化方法為場(chǎng)景建立一個(gè)先驗(yàn)?zāi)Ｐ? 把融合任務(wù)表達(dá)成一個(gè)優(yōu)化問題, 包括貝葉斯最優(yōu)化方法和馬爾可夫隨機(jī)場(chǎng)方法。貝葉斯最優(yōu)化方法的目標(biāo)是找到使先驗(yàn)概率最大的融合圖像。文獻(xiàn) 8 提出了一個(gè)簡(jiǎn)單的自適應(yīng)算法估計(jì)傳感器的特性與傳感器之間的關(guān)系, 以進(jìn)行傳感器圖像的融合; 文獻(xiàn) 9 提出了基于圖像信息模型的概率圖像融合方法。馬爾可夫隨機(jī)場(chǎng)方法把融合任務(wù)表示成適當(dāng)?shù)拇鷥r(jià)函數(shù), 該函數(shù)反映了融合的目標(biāo), 模擬退火算法被用來搜索全局最優(yōu)解。文獻(xiàn) 10 提出了基于匹配圖像相似性的Markov 融合模型; 文獻(xiàn)

11、11 提出了一種只考慮圖像邊緣圖構(gòu)造的馬爾可夫隨機(jī)場(chǎng),與迭代條件共同使用, 可實(shí)現(xiàn)圖像的實(shí)時(shí)融合。2.2.9 人工神經(jīng)網(wǎng)絡(luò)方法受生物界多傳感器融合的啟發(fā), 人工神經(jīng)網(wǎng)絡(luò)也被應(yīng)用于圖像融合技術(shù)中。神經(jīng)網(wǎng)絡(luò)的輸入向量經(jīng)過一個(gè)非線性變換可得到一個(gè)輸出向量, 這樣的變換能夠產(chǎn)生從輸入數(shù)據(jù)到輸出數(shù)據(jù)的映射模型, 從而使神經(jīng)網(wǎng)絡(luò)能夠把多個(gè)傳感器數(shù)據(jù)變換為一個(gè)數(shù)據(jù)來表示。由此可見, 神經(jīng)網(wǎng)絡(luò)以其特有的并行性和學(xué)習(xí)方式, 提供了一種完全不同的數(shù)據(jù)融合方法。然而, 要將神經(jīng)網(wǎng)絡(luò)方法應(yīng)用到實(shí)際的融合系統(tǒng)中, 無(wú)論是網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)還是算法規(guī)則方面, 都有許多基礎(chǔ)工作有待解決, 如網(wǎng)絡(luò)模型、網(wǎng)絡(luò)的層次和每一層的節(jié)點(diǎn)數(shù)、

12、網(wǎng)絡(luò)學(xué)習(xí)策略、神經(jīng)網(wǎng)絡(luò)方法與傳統(tǒng)的分類方法的關(guān)系和綜合應(yīng)用等。目前應(yīng)用于圖像融合有三種網(wǎng)絡(luò): a)雙模態(tài)神經(jīng)元網(wǎng)絡(luò)。文獻(xiàn) 12 提出六種類型的雙模態(tài)神經(jīng)元用于可見光和紅外圖像的融合。b) 多層感知器。Fechner 和Godlewski 提出了基于多層感知器神經(jīng)網(wǎng)絡(luò)的圖像融合方法 13 , 通過訓(xùn)練多層感知器識(shí)別前視紅外圖像中感興趣的像素, 將其融入可見光圖像中。c) 脈沖耦合神經(jīng)網(wǎng)絡(luò)( PCNN) 。Broussard 等人借助該網(wǎng)絡(luò)實(shí)現(xiàn)圖像融合來提高目標(biāo)的識(shí)別率 14 , 并證實(shí)了PCNN用于圖像融合的可行性。 2.3基于多尺度變換的圖像融合方法基于多尺度變換的圖像融合方法是像素級(jí)圖像融合

13、方法研究中的一類重要方法?；诙喑叨茸儞Q的融合方法的主要步驟 15 為: 對(duì)原圖像分別進(jìn)行多尺度分解, 得到變換域的一系列子圖像; 采用一定的融合規(guī)則, 提取變換域中每個(gè)尺度上最有效的特征, 得到復(fù)合的多尺度表示; 對(duì)復(fù)合的多尺度表示進(jìn)行多尺度逆變換, 得到融合后的圖像。2.3.1 基于金字塔變換的圖像融合方法Burt 最早提出基于拉普拉斯金字塔變換的融合方法 16 。該方法使用拉普拉斯金字塔和基于像素最大值的融合規(guī)則進(jìn)行人眼立體視覺的雙目融合, 實(shí)際上該方法是選取了局部亮度差異較大的點(diǎn)。這一過程粗略地模擬了人眼雙目觀察事物的過程。用拉普拉斯金字塔得到的融合圖像不能很好地滿足人類的視覺心理。在

14、文獻(xiàn) 17 中, 比率低通金字塔和最大值原則被用于可見光和紅外圖像的融合。比率低通金字塔雖然符合人眼的視覺特征, 但由于噪聲的局部對(duì)比度一般都較大, 基于比率低通金字塔的融合算法對(duì)噪聲比較敏感, 且不穩(wěn)定。為了解決這一問題, Burt 等人 18 提出了基于梯度金字塔變換的融合方法, 該方法用了匹配與顯著性測(cè)度的融合規(guī)則。Richard 等人 19 給出了以上三種金字塔用于圖像融合的定性和定量的結(jié)果。另外, Barron 和Thomas 20 提出一種基于紋理單元的金字塔算法, 它在每層圖像中采用24 個(gè)紋理濾波器以獲取不同方向的細(xì)節(jié)信息。與梯度金字塔算法相比, 它能夠提取出更多的細(xì)節(jié)信息。文

15、獻(xiàn) 21 提出了一種基于形態(tài)學(xué)金字塔變換的圖像融合方法?；诮鹱炙儞Q融合方法的優(yōu)點(diǎn)是可以在不同空間分辨率上有針對(duì)性地突出各圖像的重要特征和細(xì)節(jié)信息, 相對(duì)于簡(jiǎn)單圖像融合方法, 融合效果有明顯的改善。其缺點(diǎn)是圖像的金字塔分解均是圖像的冗余分解, 即分解后各層間數(shù)據(jù)有冗余;同時(shí)在圖像融合中高頻信息損失較大, 在金字塔重建時(shí)可能出現(xiàn)模糊、不穩(wěn)定現(xiàn)象; 圖像的拉普拉斯、比率低通、形態(tài)學(xué)金字塔分解均無(wú)方向性。2.3.2 基于小波變換的圖像融合方法小波變換技術(shù)具有許多其他時(shí)( 空) 頻域所不具有的優(yōu)良特性, 如方向選擇性、正交性、可變的時(shí)頻域分辨率、可調(diào)整的局部支持以及分析數(shù)據(jù)量小等。這些優(yōu)良特性使小波

16、變換成為圖像融合的一種強(qiáng)有力的工具。而且, 小波變換的多尺度變換特性更加符合人類的視覺機(jī)制, 與計(jì)算機(jī)視覺中由粗到細(xì)的認(rèn)知過程更加相似, 更適于圖像融合 22 ?；谛〔ㄗ儞Q的圖像融合方法的基本步驟為: 對(duì)每一幅原圖像分別進(jìn)行小波變換, 建立圖像的小波金字塔分解; 對(duì)各分解層從高到低分別進(jìn)行融合處理, 各分解層上的不同頻率分量可采用不同的融合規(guī)則進(jìn)行融合處理, 最終得到融合后的小波金字塔; 對(duì)融合后所得的小波金字塔進(jìn)行小波逆變換, 所得重構(gòu)圖像即為融合圖像。圖2 給出了基于小波變換的圖像融合方法的結(jié)構(gòu)示意圖。 目前, 基于小波變換的圖像融合方法的研究主要集中在以下幾個(gè)方面:a) 融合規(guī)則及融合

17、算子的選擇。在小波圖像融合過程中, 融合規(guī)則及融合算子的選擇對(duì)融合質(zhì)量至關(guān)重要, 這直接影響到圖像質(zhì)量的好壞。針對(duì)不同類型和特征的圖像, 目前已經(jīng)提出了大量的高、低頻融合規(guī)則。高頻融合規(guī)則主要包括 23 簡(jiǎn)單和加權(quán)平均準(zhǔn)則、取系數(shù)絕對(duì)值較大準(zhǔn)則、基于小波模極大值的融合準(zhǔn)則、基于區(qū)域能量的融合準(zhǔn)則、局部方差準(zhǔn)則、局部平均梯度準(zhǔn)則、局部均方差準(zhǔn)則、消除高頻噪聲法等。通常情況下, 低頻部分融合一般采用平均的線性融合規(guī)則, 但在許多情況下, 這種取平均的線性融合方法會(huì)影響最終的融合效果。文獻(xiàn) 24 中提出了平均與選擇相結(jié)合的低頻融合規(guī)則。該方法考慮了兩幅圖像的相關(guān)性, 在一定程度上符合人眼對(duì)較顯著的點(diǎn)

18、比較敏感這一事實(shí), 融合效果相對(duì)平均法有一定的改善, 但無(wú)顯著的提高。燕文浩等人 25 提出了基于Canny邊緣檢測(cè)算子的低頻融合規(guī)則, 有效地改善了融合圖像邊緣細(xì)節(jié)的準(zhǔn)確度, 提高了融合圖像的分辨率。b) 小波分解與重構(gòu)的形式。Li Ming 等人 26 將離散小波變換應(yīng)用于遙感圖像融合中, 取得了很好的融合效果。在進(jìn)行小波變換時(shí), 由于采用了行列降采樣, 圖像的大小發(fā)生了變化,每層圖像的大小均為上一層圖像的1 /4。這種變化在圖像融合處理過程中有時(shí)是不利的, 特別是在圖像配準(zhǔn)精度不高的情況下, 容易產(chǎn)生分塊效應(yīng)。為此, Zhang Zhong 和Blum 27 提出了基于小波框架的圖像融合

19、算法, 這種算法經(jīng)變換后的圖像大小不發(fā)生變化, 克服了上述缺點(diǎn), 但計(jì)算量相對(duì)較大。多小波是近幾年剛剛發(fā)展起來的小波理論的一個(gè)新的組成部分, 它提供了更加廣泛的小波基選擇范圍, 能夠找到具有更好性質(zhì)的優(yōu)于二進(jìn)制波的小波函數(shù)。Wang Hai-hui 28 提出了基于多小波變換的圖像融合方法, 使圖像的融合效果得到了進(jìn)一步改善。1994 年Sweldens 不依賴于傅里葉, 提出了一種基于提升機(jī)制的小波變換新方法?；谔嵘龣C(jī)制方法能夠?qū)崿F(xiàn)小波變換的快速算法, 可以提高融合速度, 節(jié)省內(nèi)存和存儲(chǔ)空間, 所以基于提升機(jī)制的小波變換開始被應(yīng)用于許多圖像融合之中 29 31 。根據(jù)小波分解與重構(gòu)的形式不

20、同, 基于小波的圖像融合方法大致可分為塔形小波變換( PDWT) 、塔形小波幀變( PDWFT) 、樹狀小波幀變換( TDWFT) 、小波框架、多小波變換、基于提升機(jī)制小波變換( FILWT) 的融合方法。c) 小波融合方法與其他融合方法的結(jié)合。目前, 針對(duì)某類特定的融合原圖像和某種特殊的融合目的, 出現(xiàn)了許多小波方法與其他融合方法相結(jié)合的算法。唐國(guó)良等人 32 提出了基于IHS變換和小波變換的晝夜彩色圖像融合算法; Zhang Yun等人 33 將HIS 與小波技術(shù)結(jié)合起來用于遙感圖像融合中, 明顯降低了融結(jié)果中的顏色扭曲現(xiàn)象; 蔣年德等人 34 提出一種新的基于主分量變換與小波變的圖像融合

21、方法, 該方法使融合圖像在較好地保留光譜信息的同時(shí), 增強(qiáng)了空間細(xì)節(jié)信息?；谛〔ㄗ儞Q的圖像融合方法進(jìn)一步的研究方向主要包括: 新的融合量測(cè)指標(biāo); 新的高、低頻融合規(guī)則; 分解層數(shù)對(duì)融合圖像的影響及層數(shù)優(yōu)化; 新的小波分解與重構(gòu)方法; 小波融合方法與其他融合方法新的結(jié)合。2.4基于Ridgelet 變換的圖像融合方法當(dāng)小波變換推廣到二維或更高維時(shí), 由一維小波張成的可分離小波只有有限的方向, 不能最優(yōu)表示含線或者面奇異的高維函數(shù)。因此, 小波只能反映信號(hào)的點(diǎn)奇異性( 零維) , 而對(duì)諸如二維圖像中的邊緣以及線狀特征等線、面奇異性( 一維或更高維) , 小波則難以表達(dá)其特征。針對(duì)小波變換的不足,

22、 Candes 35 提出了一種適合分析一維或更高維奇異性的脊波( Ridgelet) 變換。脊波變換用于圖像融合的意義在于: a) 脊波變換通過Radon 變換把圖像中線特征轉(zhuǎn)換成點(diǎn)特征, 然后通過小波變換將點(diǎn)的奇異性檢測(cè)出來。其處理過程克服了小波僅僅能反映“過”邊緣的特征, 而無(wú)法表達(dá)“沿”邊緣的特征。b)脊波變換繼承了小波變換的空域和頻域局部特性。c) 脊波變換具有很強(qiáng)的方向性, 可以有效地表示信號(hào)中具有方向性的奇異性特征, 如圖像的線性輪廓等, 為融合圖像提供更多的信息。d) 脊波變換較小波變換具有更好的稀疏性, 克服了小波變換中傳播重要特征在多個(gè)尺度上的缺點(diǎn), 變換后能量更加集中,所

23、以在融合過程中抑制噪聲的能力也比小波變換更強(qiáng)。因此將脊波變換引入圖像融合, 能夠更好地提取原始圖像的特征,為融合圖像提供更多的信息。文獻(xiàn) 36 提出了一種基于脊波變換SAR 與可見光圖像融合方法。該方法在保留合成孔徑雷達(dá)SAR 與可見光圖像重要信息、抑制噪聲能力方面均優(yōu)于小波變換。由于脊波理論建立時(shí)間不長(zhǎng), 還有許多值得研究的課題,例如, 如何能夠減輕甚至消除在重構(gòu)圖像過程中出現(xiàn)的輕微劃痕、如何簡(jiǎn)化脊波的復(fù)雜計(jì)算、尋求快速算法等。2.5 基于Curvelet 變換的圖像融合方法Curvelet 變換是由Candes 提出的Ridgelet 變換演變而來的。Ridgelet 變換對(duì)含有直線奇異的

24、多變量函數(shù)有很好的逼近效果, 能稀疏地表示包含直線邊緣的分片平滑圖像。但是對(duì)于含有曲線奇異的圖像, Ridgelet 變換的逼近性能只與小波變換相當(dāng)。由于多尺度Ridgelet 分析冗余度很大, Candes 和Donoho于1999 年提出了曲線波( Curvelets) 變換理論 37 , 即第一代Curvelet變換。其基本思想是: 首先對(duì)圖像進(jìn)行子帶分解; 然后對(duì)不同尺度的子帶圖像采用不同大小的分塊; 最后對(duì)每個(gè)塊進(jìn)行Ridgelet 分析。由于Curvelet 結(jié)合了Ridgelet 變換的各向異性和小波變換的多尺度特點(diǎn), 它的出現(xiàn)對(duì)于二維信號(hào)分析具有里程碑式的意義, 也開始被應(yīng)用于

25、圖像融合。Choi 等人 38 首次將Curvelet 應(yīng)用于多光譜圖像和全景圖像的融合, 結(jié)果具有更豐富的空間和光譜信息以及更佳的視覺效果。文獻(xiàn) 39 提出了一種基于Curvelet 變換多傳感器圖像融合算法, 該方法相比傳統(tǒng)的基于小波變換的圖像融合算法。能夠有效避免人為效應(yīng)或高頻噪聲的引入, 得到具有更好視覺效果和更優(yōu)量化指標(biāo)的融合圖像。由于第一代Curvelet 變換的數(shù)字實(shí)現(xiàn)比較復(fù)雜, 需要子帶分解、平滑分塊、正規(guī)化和Ridgelet 分析等系列步驟, 且Curvelet金字塔的分解也帶來了巨大的數(shù)據(jù)冗余量, Candes 等人又提出了實(shí)現(xiàn)更簡(jiǎn)單、更便于理解的快速Curvelet 變換

26、算法, 即第二代Curvelet 變換 40, 41 。第二代Curvelet 與第一代在構(gòu)造上已經(jīng)完全不同: 第一代的構(gòu)造思想是通過足夠小的分塊將曲線近似到每個(gè)分塊中的直線來看待, 然后利用局部的Ridgelet分析其特性; 第二代Curvelet與Ridgelet 理論并沒有關(guān)系, 實(shí)現(xiàn)過程也無(wú)須用到Ridgelet, 兩者之間的相同點(diǎn)僅在于緊支撐、框架等抽象的數(shù)學(xué)意義。文獻(xiàn) 42 提出了一種基于第二代Curvelet變換的圖像融合方法, 并應(yīng)用于多聚焦圖像的融合。該方法可以更好地提取原始圖像的特征, 為融合提供更多的信息, 相比第一代Curvelet 變換更易于實(shí)現(xiàn)。3 像素級(jí)圖像融合技

27、術(shù)應(yīng)用領(lǐng)域3. 1 圖像融合理論框架 43不同級(jí)的融合試驗(yàn)表明每一級(jí)都有典型的屬性, 并擁有某種典型的融合方法, 但是所有這些方法應(yīng)存在一個(gè)共同的原理。這促使研究一個(gè)通用的數(shù)學(xué)模型來抽象這些過程, 并將這個(gè)融合模型納入到一個(gè)復(fù)雜的圖像理解系統(tǒng)中, 成為圖像融合的最終目的。文獻(xiàn) 44 給出了一個(gè)統(tǒng)一的圖像融合框架, 在此框架下可分類、比較和評(píng)估現(xiàn)存的一些圖像融合算法。3. 2 新的分解方法1) 矩陣分解法文獻(xiàn) 45 認(rèn)為從不同傳感器獲取的圖像, 可以看做是融合圖像乘以不同的權(quán)重, 故可以使用非負(fù)矩陣分解技術(shù)來進(jìn)行圖像融合。2) 易操縱金字塔分解易操縱金字塔是一種多尺度、多方向、具有自轉(zhuǎn)換能力的圖

28、像分解方法, 它把圖像分解成不同尺度、多方向( 多于三個(gè)方向) 的子帶系列。與小波變換不同,它不僅保持了緊支撐正交小波的特點(diǎn), 而且具有平移不變性及方向可操縱等優(yōu)點(diǎn)。使用基于拉普拉斯變換、小波變換的融合方法, 即使原圖像間存在較小的配準(zhǔn)誤差, 也會(huì)引起融合圖像的嚴(yán)重退化, 出現(xiàn)雙邊緣以及虛假成分?；谝撞倏v金字塔的融合方法能夠克服這些缺點(diǎn)。3) Hermite 變換 46 由 于Hermite 變換基于高斯梯度算子, 對(duì)圖像融合來說, 它具有更好的圖像表示模型。4) 局部余弦基局部基將時(shí)間軸劃分成不同大小的時(shí)間片斷。特別引人注意的是余弦基, 它可以通過設(shè)計(jì)覆蓋每個(gè)時(shí)間片斷的平滑窗口和用不同頻率

29、的余弦函數(shù)相乘得到。通過迭代基于局部余弦基的分割空間可構(gòu)造局部余弦樹, 提供了為特定信號(hào)選擇最優(yōu)基的方法。最好的局部余弦基使時(shí)間分割的片斷隨自適應(yīng)信號(hào)時(shí)頻結(jié)構(gòu)的變化而變化。5) Contourlet 變換在繼承Curvelet 變換的各向異性尺度關(guān)系的基礎(chǔ)上, Donoho 和Vetterli 提出一種新的圖像二維表示方法: Contourlet 變換 47 。它是小波變換的一種新擴(kuò)展, 是一種多分辨率的、局域的、多方向的圖像表示方法。Contourlet 變換的優(yōu)點(diǎn)在于能夠僅使用少量系數(shù)有效地表示平滑輪廓, 而平滑輪廓正是自然圖像中的重要特征。Contourlet 變換不僅提供任意方向上的信

30、息, 采樣冗余度小, 而且使用迭代濾波器組可實(shí)現(xiàn)高效計(jì)算, 計(jì)算復(fù)雜度遠(yuǎn)低于Curvelet 變換。文獻(xiàn) 48 將Contourlet 變換應(yīng)用于遙感全色和多光譜影像的融合。該方法能在保留多光譜影像光譜信息的同時(shí)增強(qiáng)融合圖像的空間細(xì)節(jié)表現(xiàn)能力和信息量。3. 3 神經(jīng)視覺生理學(xué)方法美國(guó)麻省理工學(xué)院林肯實(shí)驗(yàn)室的A. M. Wax-man 利用對(duì)抗受域( 仿響尾蛇雙模式細(xì)胞工作機(jī)理) , 提出了微光夜視圖像和紅外圖像的對(duì)抗融合。荷蘭人力因素所的Toet 提出的另一種偽彩色的可見光圖像和紅外圖像融合方法, 也是一種仿生的顏色對(duì)抗( color opponent) 方法。國(guó)內(nèi), 北京理工大學(xué)利用神經(jīng)視覺

31、生理學(xué)進(jìn)行像素級(jí)圖像融合及其彩色顯示工作正處于世界前沿領(lǐng)域 49 。3. 4 圖像融合和圖像處理算法的互相結(jié)合融合圖像可以提供比單幅圖像更可靠和完全的場(chǎng)景表示。但是, 幾乎所有的融合算法都是基于基本的處理技術(shù), 沒有考慮高層的抽象信息。如今, 這些算法已不能滿足觀察者的復(fù)雜要求, 需要開發(fā)更具有主觀意義的方法。為此, 文獻(xiàn) 50 提出了一個(gè)新的框架。其基本思路是如果用高層的信息, 如圖像邊緣和圖像分割的邊界來指導(dǎo)基本的像素級(jí)融合過程, 就能夠?qū)崿F(xiàn)更具有主觀意義的算法。與傳統(tǒng)的兩個(gè)像素級(jí)融合方法比較表明, 多層融合結(jié)構(gòu)消除了不利的影響, 且融合過程更可靠、圖像變得更清晰、圖像質(zhì)量也更好。3. 5

32、 自適應(yīng)優(yōu)化圖像融合研究自適應(yīng)圖像融合是一個(gè)熱點(diǎn)研究方向, 它要求有一個(gè)策略來決定算法在何時(shí)以及如何滿足特定的融合目的。將圖像融合效果評(píng)價(jià)的信息加入到融合規(guī)則的選取和參數(shù)的選擇過程中, 能更充分地利用信息源提供的信息, 會(huì)得到更好的融合效果。文獻(xiàn) 51 提出了一種先進(jìn)的離散小波變換圖像融合算法: 有兩個(gè)參數(shù)可調(diào), 分別為分解層數(shù)和選擇小波的長(zhǎng)度, 這兩個(gè)參數(shù)決定了圖像融合的質(zhì)量; 然后通過質(zhì)量評(píng)價(jià)因子迭代優(yōu)化融合過程, 達(dá)到最優(yōu)融合。進(jìn)一步, 文獻(xiàn) 52 通過集成客觀融合指標(biāo)到傳統(tǒng)的圖像融合算法構(gòu)建了新框架, 該框架可以自適應(yīng)調(diào)整融合參數(shù), 以達(dá)到最優(yōu)的融合顯示。4 像素級(jí)圖像融合技術(shù)發(fā)展前景

33、目前國(guó)內(nèi)外有關(guān)圖像融合的研究還不夠系統(tǒng)和深入, 還未形成完整的理論框架和體系, 有許多理論和技術(shù)問題亟待解決。未來可能的發(fā)展方向包括以下幾個(gè)方面:a) 圖像配準(zhǔn)方法研究。研究更為有效的特征匹配方法,考慮更復(fù)雜的空間變換模型, 使算法能夠適用于分辨率存在較大差異的圖像間的配準(zhǔn)。b) 圖像融合方法研究。研究一些新的融合方法和規(guī)則,探討如何實(shí)現(xiàn)智能融合、自適應(yīng)融合、快速融合。c) 融合質(zhì)量和融合算法性能評(píng)價(jià)研究。由于圖像信息的多樣性, 如何定義融合算法的客觀評(píng)價(jià)標(biāo)準(zhǔn)是比較復(fù)雜和困難的。所以, 進(jìn)一步完善融合質(zhì)量和融合算法性能的評(píng)價(jià)體系有待延續(xù)。d) 多分辨率分解方式研究。以前多分辨率分解圖像融合方法

34、重點(diǎn)在圖像融合規(guī)則的研究上, 但對(duì)圖像的多分辨率分解方式?jīng)]有給予足夠的關(guān)注。實(shí)際上, 一個(gè)有效的、適于圖像融合的多分辨率表示形式, 對(duì)融合結(jié)果的優(yōu)劣有著至關(guān)重要的影響, 而且研究分解層數(shù)對(duì)融合圖像的影響及如何選取合適的分解層數(shù)也具有重要意義。另外, 不同的多分辨率分解和融合規(guī)則的結(jié)合會(huì)產(chǎn)生不同性能, 現(xiàn)在還缺乏對(duì)其的詳細(xì)研究。e) 動(dòng)態(tài)圖像與序列圖像的融合。目前, 大多數(shù)圖像融合算法只是針對(duì)靜止圖像的。對(duì)于序列圖像的融合, 要充分地利用圖像間存在著強(qiáng)相關(guān)性這一點(diǎn); 此外還要考慮序列圖像融合所需要的實(shí)時(shí)性。f) 系統(tǒng)集成。圖像融合算法是一個(gè)圖像融合系統(tǒng)的核心,但圖像融合系統(tǒng)中的系統(tǒng)集成問題與圖像

35、融合算法一樣非常重要, 值得周全考慮。系統(tǒng)集成是研制一個(gè)實(shí)時(shí)圖像融合系統(tǒng)所關(guān)聯(lián)的實(shí)際問題, 可以說優(yōu)于開發(fā)更復(fù)雜或難以理解的像素級(jí)圖像融合新算法。但迄今為止, 在圖像融合領(lǐng)域中很少有人考慮這些方面。g) 應(yīng)用領(lǐng)域和潛力的進(jìn)一步挖掘。h) 硬件實(shí)現(xiàn)。圖像融合的硬件實(shí)現(xiàn)是困難的, 有必要進(jìn)一步加大力度研究圖像融合技術(shù)的實(shí)際工程實(shí)現(xiàn)方法, 開發(fā)出能夠?qū)崿F(xiàn)各種復(fù)雜融合算法的處理硬件, 以便在數(shù)據(jù)獲取的同時(shí)實(shí)時(shí)地完成融合。參考文獻(xiàn): 1 OH I C, GENDEREN J L. Multisensor image fusion in remote sensing:concepts, methods a

36、nd applications J . International Journalof Remote Sensing, 1998, 19 ( 5 ) : 823- 854 . 2 VARSHNEY P K. Multi-sensor data fusion J . Electro nics andCommunication Eng ineering Journal, 1997 , 9( 12) : 245- 253. 3 LIU J. Smoothing filter-based intensity modulation: a spectral preserveimage fusion tec

37、hnique for improving spatial details J . InternationalJournal of Remote Sensing, 2000, 21 ( 18) : 3461-3472 . 4 ALPARONEl L, BARONTI S, GARZELLI A, et al. Landsat ETM +and SAR image fusion based on generalized intensity modulation J .IEEE Tra ns o n Geosciences and Remote Sensing, 2004, 42( 12 ) : 2

38、832- 2839. 5 THERRIEN C W, SCROFANI J W, KREBS W K. An adaptive techniquefor the enhanced fusion of low-light visible with uncooled thermalinfrared imagery C / / Proc of IEEE International Conference onImaging Processing. Washington D C: IEEE Computer Society, 1997:405- 408 . 6 TOET A, WALRAVEN J. N

39、ew false color mapping for image fusion J . Optical Engineering, 1996, 35 ( 3 ) : 650 -658. 7 TOET A, ILSPEERT J K, WAXMAN A. Fusion of visible and thermalimagery improves situational awareness J . Displa ys, 1997, 18 ( 2 ) :85- 95 . 8 SHARMA R K, PAVEL M. Adaptive and statistical image fusion J .So

40、ciety for Information Disp lays Dig est , 1996, 1 7( 5 ) : 969- 972. 9 SHARMA R K, LEEN T K, PAVEL M. Probabilistic image sensorfusion J . Advances in Neural Informa tion Pro cessing Systems,1999, 11 : 203- 207. 10 AAENCOTT R, CHALMOND B, COLDEFY F. Markov fusion of a pairof noisy images to detect i

41、ntensity valleys J . Intern ational Journalof Compute r Vision, 1995, 16 ( 2) : 135-145. 11 WRIGHT W A, BRISTOL F. Quick Markov randomfield image fusion C / /Proc of SPIE.1998 : 302-308. 12 NEWMAN E A, HARTLINE P H. The infrared vision of snakes J .Scientific American, 1982, 46 ( 3 ) : 116 -127. 13 FECHNER T, GODLEWSKI G. Optimal fusion of TV and infraredimages using artificial neural networks C / /Proc of SPIE. Orlan