遙感影像數(shù)據(jù)融合原理與方法

遙感影像數(shù)據(jù)融合原理與方法第1頁，課件共22頁，創(chuàng)作于2023年2月一.數(shù)據(jù)融合基本涵義數(shù)據(jù)融合（datafusion）最早被應(yīng)用于軍事領(lǐng)域?，F(xiàn)在數(shù)據(jù)融合的主要應(yīng)用領(lǐng)域有：多源影像復(fù)合、機器人和智能儀器系統(tǒng)、戰(zhàn)場和無人駕駛飛機、圖像分析與理解、目標(biāo)檢測與跟蹤、自動目標(biāo)識別等等。在遙感中，數(shù)據(jù)融合屬于一種屬性融合，它是將同一地區(qū)的多源遙感影像數(shù)據(jù)加以智能化合成，產(chǎn)生比單一信息源更精確、更完全、更可靠的估計和判斷。

第2頁，課件共22頁，創(chuàng)作于2023年2月相對于單源遙感影象數(shù)據(jù)，多源遙感影象數(shù)據(jù)所提供的信息具有以下特點：1.冗余性：表示多源遙感影像數(shù)據(jù)對環(huán)境或目標(biāo)的表示、描述或解譯結(jié)果相同；

2.互補性：指信息來自不同的自由度且相互獨立3.合作性：不同傳感器在觀測和處理信息時對其它信息有依賴關(guān)系；

4.信息分層的結(jié)構(gòu)特性：數(shù)據(jù)融合所處理的多源遙感信息可以在不同的信息層次上出現(xiàn)，這些信息抽象層次包括像素層、特征層和決策層，分層結(jié)構(gòu)和并行處理機制還可保證系統(tǒng)的實時性。

第3頁，課件共22頁，創(chuàng)作于2023年2月實質(zhì)：

在統(tǒng)一地理坐標(biāo)系中將對同一目標(biāo)檢測的多幅遙感圖像數(shù)據(jù)采用一定的算法，生成一幅新的、更能有效表示該目標(biāo)的圖像信息。目的：將單一傳感器的多波段信息或不同類別傳感器所提供的信息加以綜合，消除多傳感器信息之間可能存在的冗余和矛盾，加以互補，改善遙感信息提取的及時性和可靠性，提高數(shù)據(jù)的使用效率。

第4頁，課件共22頁，創(chuàng)作于2023年2月二、數(shù)據(jù)融合原理及過程

一般來說，遙感影像的數(shù)據(jù)融合分為預(yù)處理和數(shù)據(jù)融合兩步

1.預(yù)處理：主要包括遙感影像的幾何糾正、大氣訂正、輻射校正及空間配準(zhǔn)

（1）幾何糾正、大氣訂正及輻射校正的目的主要在于去處透視收縮、疊掩、陰影等地形因素以及衛(wèi)星擾動、天氣變化、大氣散射等隨機因素對成像結(jié)果一致性的影響；（2）影像空間配準(zhǔn)的目的在于消除由不同傳感器得到的影像在拍攝角度、時相及分辨率等方面的差異。

第5頁，課件共22頁，創(chuàng)作于2023年2月影像的空間配準(zhǔn)時遙感影像數(shù)據(jù)融合的前提

空間配準(zhǔn)一般可分為以下步驟:(1）特征選擇：在欲配準(zhǔn)的兩幅影像上，選擇如邊界、線狀物交叉點、區(qū)域輪廓線等明顯的特征。

（2）特征匹配：采用一定配準(zhǔn)算法，找處兩幅影像上對應(yīng)的明顯地物點，作為控制點。（3）空間變化：根據(jù)控制點，建立影像間的映射關(guān)系。（4）插值：根據(jù)映射關(guān)系，對非參考影像進行重采樣，獲得同參考影像配準(zhǔn)的影像。

空間配準(zhǔn)的精度一般要求在1~2個像元內(nèi)?？臻g配準(zhǔn)中最關(guān)鍵、最困難的一步就是通過特征匹配尋找對應(yīng)的明顯地物點作為控制點。

第6頁，課件共22頁，創(chuàng)作于2023年2月2.數(shù)據(jù)融合

根據(jù)融合目的和融合層次智能地選擇合適的融合算法，將空間配準(zhǔn)的遙感影像數(shù)據(jù)（或提取的圖像特征或模式識別的屬性說明）進行有機合成，得到目標(biāo)的更準(zhǔn)確表示或估計。對于各種算法所獲得的融合遙感信息，有時還需要做進一步的處理，如“匹配處理”和“類型變換”等，以便得到目標(biāo)的更準(zhǔn)確表示或估計。

第7頁，課件共22頁，創(chuàng)作于2023年2月三、數(shù)據(jù)融合分類及方法

1數(shù)據(jù)融合方法分類

遙感影像的數(shù)據(jù)融合方法分為三類：基于像元（pixel）級的融合、基于特征(feature)級的融合、基于決策(decision)級的融合。融合的水平依次從低到高。1.1像元級融合

像元級融合是一種低水平的融合。像元級融合的流程為：經(jīng)過預(yù)處理的遙感影像數(shù)據(jù)——數(shù)據(jù)融合——特征提取——融合屬性說明。

第8頁，課件共22頁，創(chuàng)作于2023年2月優(yōu)點：保留了盡可能多的信息，具有最高精度。

局限性：1.效率低下。由于處理的傳感器數(shù)據(jù)量大，所以處理時間較長，實時性差。

2.分析數(shù)據(jù)限制。為了便于像元比較，對傳感器信息的配準(zhǔn)精度要求很高，而且要求影像來源于一組同質(zhì)傳感器或同單位的。3.分析能力差。不能實現(xiàn)對影像的有效理解和分析4.糾錯要求。由于底層傳感器信息存在的不確定性、不完全性或不穩(wěn)定性，所以對融合過程中的糾錯能力有較高要求。5.抗干擾性差。

像元級融合所包含的具體融合方法有：代數(shù)法、IHS變換、小波變換、主成分變換（PCT）、K-T變換等

第9頁，課件共22頁，創(chuàng)作于2023年2月1.2特征級融合

特征級融合是一種中等水平的融合。在這一級別中，先是將各遙感影像數(shù)據(jù)進行特征提取，提取的特征信息應(yīng)是原始信息的充分表示量或充分統(tǒng)計量，然后按特征信息對多源數(shù)據(jù)進行分類、聚集和綜合，產(chǎn)生特征矢量，而后采用一些基于特征級融合方法融合這些特征矢量，作出基于融合特征矢量的屬性說明。

特征級融合的流程為：經(jīng)過預(yù)處理的遙感影像數(shù)據(jù)——特征提取——特征級融合——（融合）屬性說明。

第10頁，課件共22頁，創(chuàng)作于2023年2月1.3決策級融合決策級融合是最高水平的融合。融合的結(jié)果為指揮、控制、決策提供了依據(jù)。在這一級別中，首先對每一數(shù)據(jù)進行屬性說明，然后對其結(jié)果加以融合，得到目標(biāo)或環(huán)境的融合屬性說明。決策級融合的優(yōu)點時具有很強的容錯性，很好的開放性，處理時間短、數(shù)據(jù)要求低、分析能力強。而由于對預(yù)處理及特征提取有較高要求，所以決策級融合的代價較高。決策級融合的流程：經(jīng)過預(yù)處理的遙感影像數(shù)據(jù)——特征提取——屬性說明——屬性融合——融合屬性說明。第11頁，課件共22頁，創(chuàng)作于2023年2月表1三級融合層次的特點

融合框架

信息損失

實時性

精度

容錯性

抗干擾力

工作量

融合水平

像元級

小差高差差小低特征級

中中中中中中中決策級

大優(yōu)低優(yōu)優(yōu)大高第12頁，課件共22頁，創(chuàng)作于2023年2月表2三級融合層次下的融合方法像元級特征級決策級代數(shù)法熵法專家系統(tǒng)IHS變換表決法神經(jīng)網(wǎng)絡(luò)小波變換聚類分析Bayes估計K-T變換Bayes估計模糊聚類法主成分變換神經(jīng)網(wǎng)絡(luò)法可靠性理論回歸模型法加權(quán)平均法基于知識的融合法Kalman濾波法Dempater-shafer推理法Dempater-shafer推理法第13頁，課件共22頁，創(chuàng)作于2023年2月2數(shù)據(jù)融合方法介紹

2.1代數(shù)法

代數(shù)法包括加權(quán)融合、單變量圖像差值法、圖像比值法等。（1）加權(quán)融合法（2）單變量圖象差值法（3）圖象比值法

第14頁，課件共22頁，創(chuàng)作于2023年2月2.2圖像回歸法（ImageRegression）

圖像回歸法是首先假定影像的像元值是另一影像的一個線性函數(shù)，通過最小二乘法來進行回歸，然后再用回歸方程計算出的預(yù)測值來減去影像的原始像元值，從而獲得二影像的回歸殘差圖像。經(jīng)過回歸處理后的遙感數(shù)據(jù)在一定程度上類似于進行了相對輻射校正，因而能減弱多時相影像中由于大氣條件和太陽高度角的不同所帶來的影響。

第15頁，課件共22頁，創(chuàng)作于2023年2月2.3主成分變換（PCT）

也稱為W-L變換，數(shù)學(xué)上稱為主成分分析（PCA）。PCT是應(yīng)用于遙感諸多領(lǐng)域的一種方法，包括高光譜數(shù)據(jù)壓縮、信息提取與融合及變化監(jiān)測等。PCT的本質(zhì)是通過去除冗余，將其余信息轉(zhuǎn)入少數(shù)幾幅影像（即主成分）的方法，對大量影像進行概括和消除相關(guān)性。PCT使用相關(guān)系數(shù)陣或協(xié)方差陣來消除原始影像數(shù)據(jù)的相關(guān)性，以達到去除冗余的目的。對于融合后的新圖像來說各波段的信息所作出的貢獻能最大限度地表現(xiàn)出來。

PCT的優(yōu)點是能夠分離信息，減少相關(guān)，從而突出不同的地物目標(biāo)。另外，它對輻射差異具有自動校正的功能，因此無須再做相對輻射校正處理。第16頁，課件共22頁，創(chuàng)作于2023年2月2.4K-T變換

即Kauth-Thomas變換，簡稱K-T變換，又形象地成為“纓帽變換”[14]。它是線性變換的一種，它能使座標(biāo)空間發(fā)生旋轉(zhuǎn)，但旋轉(zhuǎn)后的坐標(biāo)軸不是指向主成分的方向，而是指向另外的方向，這些方向與地面景物有密切的關(guān)系，特別是與植物生長過程和土壤有關(guān)。以此，這種變換著眼于農(nóng)作物生長過程而區(qū)別于其他植被覆蓋，力爭抓住地面景物在多光譜空間的特征。通過這種變換，既可以實現(xiàn)信息壓縮，又可以幫助解譯分析農(nóng)業(yè)特征，因此有很大的實際應(yīng)用意義。

目前對這個變換在多源遙感數(shù)據(jù)融合方面的研究應(yīng)用主要集中在MSS與TM兩種遙感數(shù)據(jù)的應(yīng)用分析方面。

第17頁，課件共22頁，創(chuàng)作于2023年2月2.5小波變換

小波變換是一種新興的數(shù)學(xué)分析方法，已經(jīng)受到了廣泛的重視。小波變換是一種全局變換，在時間域和頻率域同時具有良好的定位能力，對高頻分量采用逐漸精細(xì)的時域和空域步長，可以聚焦到被處理圖像的任何細(xì)節(jié)，從而被譽為“數(shù)學(xué)顯微鏡”。

小波變換常用于雷達影像SAR與TM影像的融合。它具有在提高影像空間分辨率的同時又保持色調(diào)和飽和度不變的優(yōu)越性。

第18頁，課件共22頁，創(chuàng)作于2023年2月2.6IHS變換

3個波段合成的RGB顏色空間是一個對物體顏色屬性描述系統(tǒng)，而IHS色度空間提取出物體的亮度I，色度H，飽和度S，它們分別對應(yīng)3個波段的平均輻射強度、3個波段的數(shù)據(jù)向量和的方向及3個波段等量數(shù)據(jù)的大小。RGB顏色空間和IHS色度空間有著精確的轉(zhuǎn)換關(guān)系。以TM和SAR為例，變換思路是把TM圖像的3個波段合成的RGB假彩色圖像變換到IHS色度空間，然后用SAR圖像代替其中的I值，再變換到RGB顏色空間，形成新的影像。

第19頁，課件共22頁，創(chuàng)作于2023年2月2.7貝葉斯（Bayes）估計

2.8D-S推理法(Dempster-Shafter)2.9人工神經(jīng)網(wǎng)絡(luò)（ANN）

2.10專家系統(tǒng)

第20頁，課件共22頁，創(chuàng)作于2023年2月遙感數(shù)據(jù)融合存在問題及發(fā)展趨勢

遙感影像數(shù)據(jù)融合還是一門很不成熟的技術(shù)，有待于進一步解決的關(guān)鍵