高光譜數(shù)據(jù)降維與可分性準(zhǔn)則

高光譜數(shù)據(jù)降維與可分性準(zhǔn)則1第1頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月第1節(jié)高光譜數(shù)據(jù)降維與可分性準(zhǔn)則

武漢大學(xué)遙感信息工程學(xué)院

龔龑

《高光譜遙感》第四章高光譜數(shù)據(jù)處理第2頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月一、高光譜數(shù)據(jù)的降維問(wèn)題二、類別可分性準(zhǔn)則三、基于幾何距離的可分性準(zhǔn)則四、基于類的概率密度的可分性準(zhǔn)則第四章第1節(jié)高光譜數(shù)據(jù)降維與可分性準(zhǔn)則第3頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月高光譜分辨率的影響

在給定的波長(zhǎng)區(qū)間內(nèi)，高的光譜分辨率導(dǎo)致影像波段數(shù)眾多、連續(xù)。

一方面，高光譜遙感的核心優(yōu)勢(shì)是反映光譜特征的細(xì)微差異；另一方面眾多的波段數(shù)目給數(shù)據(jù)處理帶來(lái)新的問(wèn)題。一、高光譜數(shù)據(jù)的降維問(wèn)題1.1高光譜數(shù)據(jù)的高維特征第4頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月波譜空間與光譜空間波段數(shù)眾多導(dǎo)致光譜空間維數(shù)的增多高光譜多光譜灰度值灰度值一、高光譜數(shù)據(jù)的降維問(wèn)題1.1高光譜數(shù)據(jù)的高維特征波段數(shù)眾多導(dǎo)致波譜曲線信息的豐富“維數(shù)”是指光譜空間的維數(shù)第5頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月

高光譜影像屬于高維空間數(shù)據(jù)，已有的研究結(jié)果表明，這種數(shù)據(jù)有許多不同于低維數(shù)據(jù)的分布特性，這些特性決定了人們?cè)趯?duì)高光譜影像分析時(shí)應(yīng)采用不同策略和方法。一、高光譜數(shù)據(jù)的降維問(wèn)題1.1高光譜數(shù)據(jù)的高維特征第6頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月1.信息冗余大

波段數(shù)量多，但并非每個(gè)波段在任何時(shí)候都是有用信息。波段之間的相關(guān)性導(dǎo)致信息冗余很大，尤其是相鄰波段之間的相關(guān)性很強(qiáng)。一、高光譜數(shù)據(jù)的降維問(wèn)題1.2高維特征帶來(lái)的新問(wèn)題

例如：對(duì)于有N個(gè)波段的高光譜數(shù)據(jù)來(lái)講，當(dāng)前應(yīng)用需求是區(qū)分w1類和w2類。

如果利用任意一個(gè)波段都能達(dá)到這個(gè)目的，那么，僅取一個(gè)波段就包含了足夠信息，其余N-1維特征就是多余的。第7頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月

根據(jù)超維立方體的體積公式，隨著空間維數(shù)的增加，超立方體的體積急劇增加，并且向角部分布。一、高光譜數(shù)據(jù)的降維問(wèn)題1.2高維特征帶來(lái)的新問(wèn)題2.超維幾何體體積第8頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月一、高光譜數(shù)據(jù)的降維問(wèn)題1.2高維特征帶來(lái)的新問(wèn)題2.超維幾何體體積伽馬函數(shù)超立方體中內(nèi)切求的體積與超立方體之比第9頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月例如：密度分析GRID算法一、高光譜數(shù)據(jù)的降維問(wèn)題1.2高維特征帶來(lái)的新問(wèn)題2.超維幾何體體積

由于體積因素影響，高維空間中數(shù)據(jù)的分布呈現(xiàn)出稀疏、嚴(yán)重不規(guī)則等特點(diǎn)，使得常規(guī)的分析算法效果不佳。

第10頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月

思考：既然不同波段包含了不同光譜信息，那么，在利用遙感影像分類時(shí)，是否波段越多，分類越精確？研究表明，事實(shí)并非如此一、高光譜數(shù)據(jù)的降維問(wèn)題1.2高維特征帶來(lái)的新問(wèn)題3.“維數(shù)災(zāi)難”問(wèn)題第11頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月一、高光譜數(shù)據(jù)的降維問(wèn)題1.2高維特征帶來(lái)的新問(wèn)題3.“維數(shù)災(zāi)難”問(wèn)題第12頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月

這說(shuō)明高光譜數(shù)據(jù)區(qū)分地類之間的能力極大地受到訓(xùn)練樣本的限制，在分析高光譜影像時(shí)，要獲得好的分類精度就需要更多的訓(xùn)練樣本。

如果訓(xùn)練樣本不足時(shí)，往往會(huì)出現(xiàn)在樣本點(diǎn)數(shù)目一定的前提下，分類精度隨著特征維數(shù)的增加“先增后降”的現(xiàn)象，這就是所謂的Hughes”維數(shù)災(zāi)難”現(xiàn)象。一、高光譜數(shù)據(jù)的降維問(wèn)題1.2高維特征帶來(lái)的新問(wèn)題3.“維數(shù)災(zāi)難”問(wèn)題第13頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月

隨著空間維數(shù)的增加，要得到同樣精度的估計(jì)值將需要更多的樣本數(shù)。

研究表明，對(duì)于監(jiān)督分類而言，若要得到比較滿意的分類結(jié)果：一、高光譜數(shù)據(jù)的降維問(wèn)題1.2高維特征帶來(lái)的新問(wèn)題4.高維空間中的參數(shù)估計(jì)問(wèn)題

線性分類器需要的樣本數(shù)與空間的維數(shù)呈線性關(guān)系。

對(duì)于基于二次估計(jì)量的分類器，所需的樣本數(shù)與空間的維數(shù)呈平方關(guān)系。第14頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月模式識(shí)別的類別統(tǒng)計(jì)信息向量均值和方差等根據(jù)訓(xùn)練樣本估算出來(lái)訓(xùn)練樣本的數(shù)目相對(duì)于特征空間的維數(shù)的比例參數(shù)估計(jì)不準(zhǔn)確分類精度較低多光譜圖像高高光譜圖像低一、高光譜數(shù)據(jù)的降維問(wèn)題1.2高維特征帶來(lái)的新問(wèn)題4.高維空間中的參數(shù)估計(jì)問(wèn)題因此，“維數(shù)災(zāi)難”現(xiàn)象可以從樣本數(shù)量與數(shù)據(jù)復(fù)雜度關(guān)系理論來(lái)解釋分類精度較高參數(shù)估計(jì)較準(zhǔn)確第15頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月

在高維數(shù)據(jù)空間中，除了數(shù)據(jù)點(diǎn)分布的絕對(duì)位置以外，數(shù)據(jù)分布的形狀和方向?qū)τ诜诸惥哂懈又匾挠绊懽饔谩Ｒ?、高光譜數(shù)據(jù)的降維問(wèn)題1.2高維特征帶來(lái)的新問(wèn)題5.高階統(tǒng)計(jì)特性第16頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月一、高光譜數(shù)據(jù)的降維問(wèn)題1.2高維特征帶來(lái)的新問(wèn)題5.高階統(tǒng)計(jì)特性第17頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月

在低維空間，只使用均值向量進(jìn)行分類的結(jié)果比只使用方差信息得到的結(jié)果的精度高，說(shuō)明在此種情況下，在分類過(guò)程中數(shù)據(jù)分布的位置比分布的形狀和方向作用要大的多，這也是人們通常遇到的情況。

但是，當(dāng)維數(shù)增加時(shí)，只考慮均值信息進(jìn)行分類的精度并不再增加，而考慮方差信息的分類精度卻隨著特征維數(shù)的增加而繼續(xù)增加。一、高光譜數(shù)據(jù)的降維問(wèn)題1.2高維特征帶來(lái)的新問(wèn)題5.高階統(tǒng)計(jì)特性第18頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月綜上所述，高維特征引起了多種問(wèn)題

因此，在高光譜數(shù)據(jù)應(yīng)用的特定階段，可以對(duì)高維數(shù)據(jù)進(jìn)行降維處理，得到具有代表意義的低維光譜特征，并在低維光譜空間中進(jìn)行相應(yīng)分析（聚類分析）。

信息冗余大超維幾何體體積“維數(shù)災(zāi)難”問(wèn)題高維空間中的參數(shù)估計(jì)問(wèn)題高階統(tǒng)計(jì)特性一、高光譜數(shù)據(jù)的降維問(wèn)題1.2高維特征帶來(lái)的新問(wèn)題第19頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月

若為D維空間中的一個(gè)容量為N的數(shù)據(jù)集合，假設(shè)其來(lái)自于維數(shù)為D的某一數(shù)據(jù)集的采樣。降維的目標(biāo)是探求數(shù)據(jù)集合適的低維坐標(biāo)描述，將原數(shù)據(jù)集合投影到低維空間，獲得原數(shù)據(jù)集合的低維簡(jiǎn)潔表示。一、高光譜數(shù)據(jù)的降維問(wèn)題1.3高光譜降維

方法：波段選擇特征變換第20頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月

注意不要走向另一個(gè)極端：降維絕對(duì)不是對(duì)高維光譜信息的舍棄，而是立足于高維數(shù)據(jù)，針對(duì)不同的使用目的得到相應(yīng)低維數(shù)據(jù)。

圖書(shū)館的書(shū)種類繁多，不同專業(yè)的同學(xué)各取所需，只選一小部分，但并不意味著其它的書(shū)是多余的。一、高光譜數(shù)據(jù)的降維問(wèn)題1.3高光譜降維第21頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月高光譜數(shù)據(jù)降維的方法

波段選擇特征變換具體內(nèi)容在下一講中介紹

降維后得到的低維特征空間是否有效進(jìn)行類別區(qū)分？一、高光譜數(shù)據(jù)的降維問(wèn)題1.3高光譜降維第22頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月一、高光譜數(shù)據(jù)的降維問(wèn)題二、類別可分性準(zhǔn)則三、基于幾何距離的可分性準(zhǔn)則四、基于類的概率密度的可分性準(zhǔn)則第四章第1節(jié)高光譜數(shù)據(jù)降維與可分性準(zhǔn)則第23頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月降維得到低維特征形成特征空間分布不同可分性存在差異衡量可分性？可分性判據(jù)定量化的指標(biāo)指導(dǎo)降維二、類別可分性準(zhǔn)則2.1高光譜數(shù)據(jù)降維與類別可分性判據(jù)的關(guān)系第24頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月概念：從高維數(shù)據(jù)中得到了一組用來(lái)分類的特征，需要一個(gè)定量的標(biāo)準(zhǔn)來(lái)衡量特征對(duì)分類的有效性。2.2可分性準(zhǔn)則基本概念

可分性準(zhǔn)則二、類別可分性準(zhǔn)則可分性準(zhǔn)則的主要類型：

基于幾何距離的可分性準(zhǔn)則基于概率密度的可分性準(zhǔn)則特點(diǎn)：通過(guò)已知類別先驗(yàn)知識(shí)，衡量當(dāng)前特征空間對(duì)類別的區(qū)分效果。第25頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月一、高光譜數(shù)據(jù)的降維問(wèn)題二、類別可分性準(zhǔn)則三、基于幾何距離的可分性準(zhǔn)則四、基于類的概率密度的可分性準(zhǔn)則第四章第1節(jié)高光譜數(shù)據(jù)降維與可分性準(zhǔn)則第26頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月

不同的類別不同的分布區(qū)域

類別可分性區(qū)域可分性

區(qū)域可分性通過(guò)幾何距離來(lái)度量三、基于幾何距離的可分性準(zhǔn)則3.1基本思想第27頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月1.點(diǎn)與點(diǎn)的距離在維特征空間中，特征點(diǎn)與特征點(diǎn)之間的歐氏距離為：3.2幾何距離可分性準(zhǔn)則原理三、基于幾何距離的可分性準(zhǔn)則第28頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月當(dāng)前點(diǎn)與點(diǎn)集中每個(gè)點(diǎn)逐個(gè)計(jì)算距離2.點(diǎn)與點(diǎn)集的距離3.2幾何距離可分性準(zhǔn)則原理三、基于幾何距離的可分性準(zhǔn)則第29頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月總體的均值矢量類內(nèi)的均值矢量3.類內(nèi)及總體的均值矢量3.2幾何距離可分性準(zhǔn)則原理三、基于幾何距離的可分性準(zhǔn)則第30頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月類內(nèi)均方歐氏距離定義為：類內(nèi)均方距離也可定義為：3.2幾何距離可分性準(zhǔn)則原理4.類內(nèi)距離先求出各自到類心的距離的平方，再求和兩兩運(yùn)算，不涉及類心三、基于幾何距離的可分性準(zhǔn)則第31頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月

類內(nèi)離差矩陣，反映類內(nèi)部樣本在均值周圍的散布情況。（矩陣的跡）與類內(nèi)均方歐氏距離的關(guān)系：3.2幾何距離可分性準(zhǔn)則原理5.類內(nèi)離差矩陣三、基于幾何距離的可分性準(zhǔn)則第32頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月兩類樣本之間的距離X1X2X3Y1Y2A類B類兩兩之間3.2幾何距離可分性準(zhǔn)則原理6.兩類之間的距離三、基于幾何距離的可分性準(zhǔn)則第33頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月取歐氏距離時(shí)，總的均方距離為總的樣本距離兩類樣本之間的距離類與類兩兩求和3.2幾何距離可分性準(zhǔn)則原理7.各類總的均方距離三、基于幾何距離的可分性準(zhǔn)則第34頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月第i類的離差矩陣第i類的比例A.總的類內(nèi)離差矩陣3.2幾何距離可分性準(zhǔn)則原理7.多類情況離差矩陣三、基于幾何距離的可分性準(zhǔn)則第35頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月第i類樣本均值總體樣本均值每一類只有一個(gè)代表B.類間離差矩陣3.2幾何距離可分性準(zhǔn)則原理7.多類情況離差矩陣三、基于幾何距離的可分性準(zhǔn)則第36頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月任一樣本

實(shí)質(zhì)是樣本總體的協(xié)方差矩陣不涉及類的概念總體樣本均值C.總體離差矩陣3.2幾何距離可分性準(zhǔn)則原理7.多類情況離差矩陣三、基于幾何距離的可分性準(zhǔn)則第37頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月點(diǎn)與點(diǎn)的距離點(diǎn)到點(diǎn)集類內(nèi)的均值矢量類內(nèi)距離類內(nèi)均方距離類內(nèi)離差矩陣總體的均值矢量?jī)深愔g的距離總體離差矩陣各類模式之間總的均方距離如何通過(guò)幾何距離衡量可分性？三、基于幾何距離的可分性準(zhǔn)則3.3判據(jù)構(gòu)造1.離差矩陣分析第38頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月樣本的散布程度樣本越分散矩陣數(shù)值越大

類的內(nèi)部越緊密越好類之間越分散越好降維方案1降維方案2樣本的類別信息已知越小越好越大越好情況復(fù)雜三、基于幾何距離的可分性準(zhǔn)則3.3判據(jù)構(gòu)造1.離差矩陣分析第39頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月原則：數(shù)值的大小直接體現(xiàn)降維后特征空間的類別可分性。常見(jiàn)判據(jù)：3.3判據(jù)構(gòu)造2.依據(jù)可分性準(zhǔn)則構(gòu)造判據(jù)三、基于幾何距離的可分性準(zhǔn)則第40頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月一、高光譜數(shù)據(jù)的降維問(wèn)題二、類別可分性準(zhǔn)則三、基于幾何距離的可分性準(zhǔn)則四、基于類的概率密度的可分性準(zhǔn)則第四章第1節(jié)高光譜數(shù)據(jù)降維與可分性準(zhǔn)則第41頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月

先驗(yàn)概率后驗(yàn)概率條件概率在樣本集中，預(yù)先已知的某一類出現(xiàn)的概率P(Wi)對(duì)于樣本集中的某一模式x，它屬于某類Wi的概率P(Wi|x)在某一類Wi中，模式x出現(xiàn)的概率P(x|Wi)4.1基本概念回顧四、基于概率密度的可分性準(zhǔn)則第42頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月W1

W2

P(x|W1)P(x|W2)P100%0%W2W1100%W1

W2

P(x|W1)P(x|W2)P0%W1W2

各類的條件概率密度函數(shù)P(x|Wi)重疊度越低，特征可分性越好。四、基于概率密度的可分性準(zhǔn)則4.2概率密度分析第43頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月可分性判據(jù)的設(shè)定衡量概率密度重疊度立足于基本性質(zhì)：

Jp>=0;

當(dāng)兩類概率密度完全不重疊時(shí)，Jp取最大值;

當(dāng)兩類概率密度完全重疊時(shí)，Jp等于0;

兩類概率密度具有“對(duì)稱性”。四、基于概率密度的可分性準(zhǔn)則4.3基本性質(zhì)第44頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月

進(jìn)行相關(guān)性運(yùn)算，實(shí)際上是對(duì)兩個(gè)概率