特征提取與選擇課件

第七章特征提取與選擇本文是歷代傳誦的議論文名篇，應引導學生熟讀課文，利用掌握的議論文知識來理解作者的觀點及現實的教育意義。全文層層推進、步步深入的論證，使結構非常清晰，富有說服力，可作為教學難點。積累文言詞匯，理解重點詞句的含義，并了解一些文言實詞的使動用法的作用，正確地翻譯課文。作為本文重點。學習本文宜以讀為主，以講為輔。教師引導學生利用搶記法，比賽法記憶文言詞匯，完成重點。在教師的適當引導下學生的合作、體驗、探究來突破難點。第七章特征提取與選擇第七章特征提取與選擇本文是歷代傳誦的議論文名篇，應引導學生熟讀課文，利用掌握的議論文知識來理解作者的觀點及現實的教育意義。全文層層推進、步步深入的論證，使結構非常清晰，富有說服力，可作為教學難點。積累文言詞匯，理解重點詞句的含義，并了解一些文言實詞的使動用法的作用，正確地翻譯課文。作為本文重點。學習本文宜以讀為主，以講為輔。教師引導學生利用搶記法，比賽法記憶文言詞匯，完成重點。在教師的適當引導下學生的合作、體驗、探究來突破難點。直接選擇法分支定界法；用回歸建模技術確定相關特征等方法。變換法

在使判據J→max的目標下，對n個原始特征進行變換降維，即對原n維特征空間進行坐標變換，然后再取子空間。

主要方法有：基于可分性判據的特征選擇基于誤判概率的特征選擇離散K-L變換法(DKLT)基于決策界的特征選擇等方法。第七章特征提取與選擇本文是歷代傳誦的議論文名篇，應引導學生1第七章-特征提取與選擇課件27.2類別可分性判據

(ClassSeparabilityMeasures)

準則—類別可分性判據:刻劃特征對分類的貢獻。

構造的可分性判據Jij應滿足下列要求：(1)與誤分概率P(e)(或誤分概率的上界、下界)有單調關系，Jij最大值時，P(e)最小。(2)當特征相互獨立時，判據有可加性，即式中xk，是對象不同種類特征的測量值，Jij(●)表示使用括號中特征時第i類與第j類的可分性判據函數。

7.2類別可分性判據

(ClassSeparabil3(3)判據具有“距離”的某些特性：

Jij>0，當i≠j

時

Jij=0，當i=j

時

Jij=Jji(4)Jij對特征數目單調不減，即加入新的特征后，判據值不減

所構造的可分性判據并不一定要求同時具有上述四個性質。

(3)判據具有“距離”的某些特性：

Jij>0，當i≠j47.2.1基于幾何距離的可分性判據

可以用距離或離差測度(散度)來構造類別可分性判據

(一)點與點的距離

在n維特征空間中，點與點之間的歐氏距離為(二)點到點集的距離

點到點集之間的均方歐氏距離為

7.2.1基于幾何距離的可分性判據可以用距離或離差測度(5(三)類內及總體的均值矢量

設N個模式分屬c類,則各類的均值矢量分別為

所有各類模式的總體均值矢量為

式中Pi為相應類的先驗概率。

當用統(tǒng)計量代替先驗概率時，有(三)類內及總體的均值矢量設N個模式分屬c類,則各類的均值6(四)類內距離

類內均方歐氏距離為

類內均方距離也可定義為

(五)類內離差（散布）矩陣(Scatter)

類內離差矩陣定義為

類內離差矩陣SWi的跡等于類內的均方歐氏距離，即

類內離差矩陣表示各類模式在類的均值矢量周圍的散布情況。

(四)類內距離類內均方歐氏距離為

類內均方距離也可定義為

7(六)兩類之間的距離

當式中的距離取歐氏距離時,有

(七)各類模式之間的總的均方距離

當取歐氏距離時

(六)兩類之間的距離當式中的距離取歐氏距離時,有

8(八)多類情況下總的類內、類間及總體離差（散布）矩陣

總的類內離差矩陣定義為

總的類間離差矩陣定義為

總體離差矩陣為

易導出

(八)多類情況下總的類內、類間及總體離差（散布）矩陣總的類9可分性判據（類內緊，類間開）可以證明J1、J2與J4在任何非奇異線性變換下是不變的，J3與坐標系有關。

可分性判據（類內107.2.2基于類的概率密度函數的可分性判據

用兩類概密函數的重迭程度來度量可分性，構造基于類概密的可分性判據Jp，它應滿足：(1)Jp

0；(2)當兩類密度函數完全不重迭時，Jp=max；(3)當兩類密度函數完全重合時，Jp=0；(4)相對兩個概密具有“對稱性”。

(a)(b)7.2.2基于類的概率密度函數的可分性判據用兩類概密函數11(一)Bhattacharyya判據(JB)

在最小誤分概率準則下，誤分概率(受相關定義與應用的啟發(fā)，構造B-判據)(一)Bhattacharyya判據(JB)在最小誤分概率12(二)Chernoff判據(JC)

性質：(1)對一切0<s<1，Jc0；(2)對一切0<s<1，;(3)當參數s和(1-s)互調時，才有對稱性，即

（比JB更廣義的判據）(二)Chernoff判據(JC)性質：（比JB更廣義的判13(二)Chernoff判據(JC)

性質：(4)當各分量x1,x2,…,xn相互獨立時，(5)當各分量x1,x2,…,xn相互獨立時，(6)最小誤分概率（JC不具有三點距離不等式的性質。）(二)Chernoff判據(JC)性質：（JC不具有三點距14(三)散度JD(Divergence)對1類的平均可分性信息為對2類的平均可分性信息為對于1和2兩類總的平均可分性信息稱為散度，其定義為兩類平均可分性信息之和，即(三)散度JD(Divergence)對1類的平均可分性15類別可分性判據小結幾何可分性判據類概率密度可分性判據

(一)Bhattacharyya判據(JB)

(二)Chernoff判據(JC)

(三)散度JD類別可分性判據小結幾何可分性判據16第七章特征提取與選擇7.7特征選擇中的直接挑選法特征的選擇可以在原坐標系中依據某些原則直接選擇特征,：從n個特征中挑選出d個使其Jd最大。7.7.1次優(yōu)搜索法

7.7.2最優(yōu)搜索法第七章特征提取與選擇7.7特征選擇中的直接挑選法特征177.7.1次優(yōu)搜索法(一)單獨最優(yōu)的特征選擇基本思路：計算各特征單獨使用時的判據值J并以遞減排序，選取前d個分類效果最好的特征。一般地講，即使各特征是統(tǒng)計獨立的，這種方法選出的個特征也不一定是最優(yōu)的特征組合；只有可分性判據J是可分的，即

這種方法才能選出一組最優(yōu)特征。7.7.1次優(yōu)搜索法(一)單獨最優(yōu)的特征選擇基本思路：計算18(二)增添特征法7.7.1次優(yōu)搜索法SequentialForwardSelection(二)增添特征法7.7.1次優(yōu)搜索法Sequential19(三)剔減特征法7.7.1次優(yōu)搜索法設已剔除了k個特征，剩下的特征組記為

，將中的各特征xj（j=1,2,…,n-k)分別逐個剔除，并同時計算

值，若：則在這輪中x1應該剔除:這里初值，

過程直到k=n-d為止。(三)剔減特征法7.7.1次優(yōu)搜索法設已剔除了k個特征，剩207.7.1次優(yōu)搜索法(四)增l減r法（l-r法）為了克服前面方法(二)、(三)中的一旦某特征選入或剔除就不能再剔除或選入的缺點，可在選擇過程中加入局部回溯，例如在第k步可先用方法(二)，對已選入的k個特征再一個個地加入新的特征到kl+個特征，然后用方法(三)一個個地剔除r個特征，稱這種方法為增l減r法(lr-法)。7.7.1次優(yōu)搜索法(四)增l減r法（l-r法）為216選2的特征選擇問題(a)搜索樹(b)搜索回溯示意圖7.7.2最優(yōu)搜索法BAB算法s=0s=1s=2s=3s=46選2的特征選擇問題7.7.2最優(yōu)搜索法BAB算法s=022樹的每個節(jié)點表示一種特征組合，樹的每一級各節(jié)點表示從其父節(jié)點的特征組合中去掉一個特征后的特征組合，其標號k表示去掉的特征是xk

。

7.7.2最優(yōu)搜索法BAB算法由于每一級只舍棄一個特征，因此整個搜索樹除根節(jié)點0級外，還需要n-d級，即全樹有n-d級。例如，6個特征中選2個，整個搜索樹有4級。第n-d級是葉節(jié)點，共有Cnd個葉節(jié)點。樹的每個節(jié)點表示一種特征組合，7.7.2最優(yōu)搜索法BAB23BAB算法7.7.2最優(yōu)搜索法表示特征數目為l

的特征集合。表示舍棄s

個特征后余下的特征集合。表示當前節(jié)點的子節(jié)點數。表示集合s中元素的數目。表示第s

級當前節(jié)點上用來作為下一級可舍棄特征的特征集合。BAB算法7.7.2最優(yōu)搜索法表示特征數目為l的特征集合24由于從根節(jié)點要經歷n-d級才能到達葉節(jié)點，s級某節(jié)點后繼的每一個子節(jié)點分別舍棄s中互不相同的一個特征，從而考慮在s+1級可以舍棄的特征方案數（即子節(jié)點數）qs時，必須使這一級舍棄了特征后的Xs+1還剩（n-d)-(s+1)個特征。除了從樹的縱向上每一級舍棄一個特征，實際上從樹的橫向上，一個分支也輪換舍棄一個特征。因此后繼子節(jié)點數qs=rs-（n-d-s-1）BAB算法7.7.2最優(yōu)搜索法由于從根節(jié)點要經歷n-d級才能到達葉節(jié)點，s級某節(jié)點后繼的每25BAB算法7.7.2最優(yōu)搜索法ss+1n-d(n-d)-(s+1)qsrsBAB算法7.7.2最優(yōu)搜索法ss+1n-d(n-d)-(26BAB算法7.7.2最優(yōu)搜索法BAB算法7.7.2最優(yōu)搜索法27BAB算法7.7.2最優(yōu)搜索法BAB算法7.7.2最優(yōu)搜索法28BAB算法7.7.2最優(yōu)搜索法目標：找出葉節(jié)點Lk，使其對應的d個特征的判據J的值最大，即：注意到每個節(jié)點（包括非葉節(jié)點）都可以計算相應的J值。由于判據J值具有單調性，即：該不等式表明，任何節(jié)點的J值均不小于其任何后繼節(jié)點（子節(jié)點）的J值。BAB算法7.7.2最優(yōu)搜索法目標：找出葉節(jié)點Lk，使其對29BAB算法7.7.2最優(yōu)搜索法搜索順序：從上至下、從右至左。四個步驟：1、向下搜索2、更新界值3、向上回溯4、停止回溯再向下搜索BAB算法7.7.2最優(yōu)搜索法搜索順序：從上至下、從右至左30BAB算法7.7.2最優(yōu)搜索法向下搜索：初始，置界值B=0從樹的根節(jié)點沿最右邊的一支自上而下搜索。對于一個節(jié)點，它的子樹最右邊的一支總是無分支的。此時可直接到達葉節(jié)點，計算該葉節(jié)點的J值，并更新界值B。即圖中的虛線可省略而得到最小搜索樹。BAB算法7.7.2最優(yōu)搜索法向下搜索：初始，置界值B=031BAB算法7.7.2最優(yōu)搜索法最小搜索樹BAB算法7.7.2最優(yōu)搜索法最小搜索樹32BAB算法7.7.2最優(yōu)搜索法向上回溯和停止回溯：回溯到有分支的那個節(jié)點則停止回溯轉入向下搜索。例如回溯到qs-1>1的那個節(jié)點，則轉入與當前節(jié)點左鄰的s深度的那個節(jié)點，使該節(jié)點成為當前節(jié)點，按前面的方法沿它最右邊的子樹繼續(xù)搜索。在搜索過程中先要判該節(jié)點的J值是否比B值大。若不大于B值，該節(jié)點以下的各子節(jié)點J值均不會比B大，故無需對該子樹繼續(xù)進行搜索。BAB算法7.7.2最優(yōu)搜索法向上回溯和停止回溯：回溯到有33BAB算法7.7.2最優(yōu)搜索法如果搜索到葉節(jié)點，且該葉節(jié)點代表的特征的可分性判據J>B，則更新界值，即B=J；否則不更新界值。到達葉節(jié)點后，要向上回溯。重復上述過程，直到JB為止。而對應當前（最大）界值B的葉節(jié)點對應的d個特征組合就是所求的最優(yōu)的選擇。BAB算法7.7.2最優(yōu)搜索法如果搜索到葉節(jié)點，且該葉節(jié)點34BAB算法效率高的原因：(1)在構造搜索樹時，同一父節(jié)點的各子樹的右邊的邊要比左邊的少，即樹的結構右邊比左邊簡單；(2)在同一級中按最小的J值從左到右挑選舍棄的特征，即節(jié)點的J值是左小右大，而搜索過程是從右至左進行的；(3)因J的單調性，若樹上某節(jié)點A的可分性判據值JAB，則A子樹上各節(jié)點的J值都不會大于B，因此不需要搜索A子樹。從上可知，有很多特征組合不需計算仍能求得全局最優(yōu)解。BAB算法效率高的原因：(1)在構造搜索樹時，同一父節(jié)點的各35謝謝聆聽！你我同行，共同進步。謝謝聆聽！你我同行，共同進步。36第七章特征提取與選擇本文是歷代傳誦的議論文名篇，應引導學生熟讀課文，利用掌握的議論文知識來理解作者的觀點及現實的教育意義。全文層層推進、步步深入的論證，使結構非常清晰，富有說服力，可作為教學難點。積累文言詞匯，理解重點詞句的含義，并了解一些文言實詞的使動用法的作用，正確地翻譯課文。作為本文重點。學習本文宜以讀為主，以講為輔。教師引導學生利用搶記法，比賽法記憶文言詞匯，完成重點。在教師的適當引導下學生的合作、體驗、探究來突破難點。第七章特征提取與選擇第七章特征提取與選擇本文是歷代傳誦的議論文名篇，應引導學生熟讀課文，利用掌握的議論文知識來理解作者的觀點及現實的教育意義。全文層層推進、步步深入的論證，使結構非常清晰，富有說服力，可作為教學難點。積累文言詞匯，理解重點詞句的含義，并了解一些文言實詞的使動用法的作用，正確地翻譯課文。作為本文重點。學習本文宜以讀為主，以講為輔。教師引導學生利用搶記法，比賽法記憶文言詞匯，完成重點。在教師的適當引導下學生的合作、體驗、探究來突破難點。直接選擇法分支定界法；用回歸建模技術確定相關特征等方法。變換法

在使判據J→max的目標下，對n個原始特征進行變換降維，即對原n維特征空間進行坐標變換，然后再取子空間。

主要方法有：基于可分性判據的特征選擇基于誤判概率的特征選擇離散K-L變換法(DKLT)基于決策界的特征選擇等方法。第七章特征提取與選擇本文是歷代傳誦的議論文名篇，應引導學生37第七章-特征提取與選擇課件387.2類別可分性判據

(ClassSeparabilityMeasures)

準則—類別可分性判據:刻劃特征對分類的貢獻。

構造的可分性判據Jij應滿足下列要求：(1)與誤分概率P(e)(或誤分概率的上界、下界)有單調關系，Jij最大值時，P(e)最小。(2)當特征相互獨立時，判據有可加性，即式中xk，是對象不同種類特征的測量值，Jij(●)表示使用括號中特征時第i類與第j類的可分性判據函數。

7.2類別可分性判據

(ClassSeparabil39(3)判據具有“距離”的某些特性：

Jij>0，當i≠j

時

Jij=0，當i=j

時

Jij=Jji(4)Jij對特征數目單調不減，即加入新的特征后，判據值不減

所構造的可分性判據并不一定要求同時具有上述四個性質。

(3)判據具有“距離”的某些特性：

Jij>0，當i≠j407.2.1基于幾何距離的可分性判據

可以用距離或離差測度(散度)來構造類別可分性判據

(一)點與點的距離

在n維特征空間中，點與點之間的歐氏距離為(二)點到點集的距離

點到點集之間的均方歐氏距離為

7.2.1基于幾何距離的可分性判據可以用距離或離差測度(41(三)類內及總體的均值矢量

設N個模式分屬c類,則各類的均值矢量分別為

所有各類模式的總體均值矢量為

式中Pi為相應類的先驗概率。

當用統(tǒng)計量代替先驗概率時，有(三)類內及總體的均值矢量設N個模式分屬c類,則各類的均值42(四)類內距離

類內均方歐氏距離為

類內均方距離也可定義為

(五)類內離差（散布）矩陣(Scatter)

類內離差矩陣定義為

類內離差矩陣SWi的跡等于類內的均方歐氏距離，即

類內離差矩陣表示各類模式在類的均值矢量周圍的散布情況。

(四)類內距離類內均方歐氏距離為

類內均方距離也可定義為

43(六)兩類之間的距離

當式中的距離取歐氏距離時,有

(七)各類模式之間的總的均方距離

當取歐氏距離時

(六)兩類之間的距離當式中的距離取歐氏距離時,有

44(八)多類情況下總的類內、類間及總體離差（散布）矩陣

總的類內離差矩陣定義為

總的類間離差矩陣定義為

總體離差矩陣為

易導出

(八)多類情況下總的類內、類間及總體離差（散布）矩陣總的類45可分性判據（類內緊，類間開）可以證明J1、J2與J4在任何非奇異線性變換下是不變的，J3與坐標系有關。

可分性判據（類內467.2.2基于類的概率密度函數的可分性判據

用兩類概密函數的重迭程度來度量可分性，構造基于類概密的可分性判據Jp，它應滿足：(1)Jp

0；(2)當兩類密度函數完全不重迭時，Jp=max；(3)當兩類密度函數完全重合時，Jp=0；(4)相對兩個概密具有“對稱性”。

(a)(b)7.2.2基于類的概率密度函數的可分性判據用兩類概密函數47(一)Bhattacharyya判據(JB)

在最小誤分概率準則下，誤分概率(受相關定義與應用的啟發(fā)，構造B-判據)(一)Bhattacharyya判據(JB)在最小誤分概率48(二)Chernoff判據(JC)

性質：(1)對一切0<s<1，Jc0；(2)對一切0<s<1，;(3)當參數s和(1-s)互調時，才有對稱性，即

（比JB更廣義的判據）(二)Chernoff判據(JC)性質：（比JB更廣義的判49(二)Chernoff判據(JC)

性質：(4)當各分量x1,x2,…,xn相互獨立時，(5)當各分量x1,x2,…,xn相互獨立時，(6)最小誤分概率（JC不具有三點距離不等式的性質。）(二)Chernoff判據(JC)性質：（JC不具有三點距50(三)散度JD(Divergence)對1類的平均可分性信息為對2類的平均可分性信息為對于1和2兩類總的平均可分性信息稱為散度，其定義為兩類平均可分性信息之和，即(三)散度JD(Divergence)對1類的平均可分性51類別可分性判據小結幾何可分性判據類概率密度可分性判據

(一)Bhattacharyya判據(JB)

(二)Chernoff判據(JC)

(三)散度JD類別可分性判據小結幾何可分性判據52第七章特征提取與選擇7.7特征選擇中的直接挑選法特征的選擇可以在原坐標系中依據某些原則直接選擇特征,：從n個特征中挑選出d個使其Jd最大。7.7.1次優(yōu)搜索法

7.7.2最優(yōu)搜索法第七章特征提取與選擇7.7特征選擇中的直接挑選法特征537.7.1次優(yōu)搜索法(一)單獨最優(yōu)的特征選擇基本思路：計算各特征單獨使用時的判據值J并以遞減排序，選取前d個分類效果最好的特征。一般地講，即使各特征是統(tǒng)計獨立的，這種方法選出的個特征也不一定是最優(yōu)的特征組合；只有可分性判據J是可分的，即

這種方法才能選出一組最優(yōu)特征。7.7.1次優(yōu)搜索法(一)單獨最優(yōu)的特征選擇基本思路：計算54(二)增添特征法7.7.1次優(yōu)搜索法SequentialForwardSelection(二)增添特征法7.7.1次優(yōu)搜索法Sequential55(三)剔減特征法7.7.1次優(yōu)搜索法設已剔除了k個特征，剩下的特征組記為

，將中的各特征xj（j=1,2,…,n-k)分別逐個剔除，并同時計算

值，若：則在這輪中x1應該剔除:這里初值，

過程直到k=n-d為止。(三)剔減特征法7.7.1次優(yōu)搜索法設已剔除了k個特征，剩567.7.1次優(yōu)搜索法(四)增l減r法（l-r法）為了克服前面方法(二)、(三)中的一旦某特征選入或剔除就不能再剔除或選入的缺點，可在選擇過程中加入局部回溯，例如在第k步可先用方法(二)，對已選入的k個特征再一個個地加入新的特征到kl+個特征，然后用方法(三)一個個地剔除r個特征，稱這種方法為增l減r法(lr-法)。7.7.1次優(yōu)搜索法(四)增l減r法（l-r法）為576選2的特征選擇問題(a)搜索樹(b)搜索回溯示意圖7.7.2最優(yōu)搜索法BAB算法s=0s=1s=2s=3s=46選2的特征選擇問題7.7.2最優(yōu)搜索法BAB算法s=058樹的每個節(jié)點表示一種特征組合，樹的每一級各節(jié)點表示從其父節(jié)點的特征組合中去掉一個特征后的特征組合，其標號k表示去掉的特征是xk

。

7.7.2最優(yōu)搜索法BAB算法由于每一級只舍棄一個特征，因此整個搜索樹除根節(jié)點0級外，還需要n-d級，即全樹有n-d級。例如，6個特征中選2個，整個搜索樹有4級。第n-d級是葉節(jié)點，共有Cnd個葉節(jié)點。樹的每個節(jié)點表示一種特征組合，7.7.2最優(yōu)搜索法BAB59BAB算法7.7.2最優(yōu)搜索法表示特征數目為l

的特征集合。表示舍棄s

個特征后余下的特征集合。表示當前節(jié)點的子節(jié)點數。表示集合s中元素的數目。表示第s

級當前節(jié)點上用來作為下一級可舍棄特征的特征集合。BAB算法7.7.2最優(yōu)搜索法表示特征數目為l的特征集合60由于從根節(jié)點要經歷n-d級才能到達葉節(jié)點，s級某節(jié)點后繼的每一個子節(jié)點分別舍棄s中互不相同的一個特征，從而考慮在s+1級可以舍棄的特征方案數（即子節(jié)點數）qs時，必須使這一級舍棄了特征后的Xs+1還剩（n-d)-(s+1)個特征。除了從樹的縱向上每一級舍棄一個特征，實際上從樹的橫向上，一個分支也輪換舍棄一個特征。因此后繼子節(jié)點數qs=rs-（n-d-s-1）BAB算法7.7.2最優(yōu)搜索法由于從根節(jié)點要經歷n-d級才能到達葉節(jié)點，s級某節(jié)點后繼的每61BAB算法7.7.2最優(yōu)搜索法ss+1n-d(n-d)-(s+1)qsrsBAB算法7.7.2最優(yōu)搜索法ss+1n-d(n-d)-(62BAB算法7.7.2最優(yōu)搜索法BAB算法7.7.2最優(yōu)搜索法63BAB算法7.7.2最優(yōu)搜索法BAB算法7.7.2最優(yōu)搜索法64BAB算法7.7.2最優(yōu)搜索法目標：找出葉節(jié)點Lk，使其對應