特征的選擇與提取特征提取

關(guān)于特征的選擇與提取特征提取學(xué)習(xí)指南

前面章節(jié)討論的問題主要討論模式識(shí)別的重要概念貝葉斯分類器、線性分類器、非線性分類器、KNN等設(shè)計(jì)分類器時(shí)的討論問題在d維特征空間已經(jīng)確定的前提下，討論分類方法與分類器設(shè)計(jì)即：對要分類的樣本怎樣描述這個(gè)問題是已經(jīng)確定的第2頁,共91頁，2024年2月25日，星期天學(xué)習(xí)指南

前面章節(jié)討論的問題例如對蘋果與梨的劃分問題我們使用尺寸、重量和顏色三種度量來描述這種度量方法是已經(jīng)確定好的在這種條件下研究用線性分類器好還是非線性分類器好，以及這些分類器的其它設(shè)計(jì)問題第3頁,共91頁，2024年2月25日，星期天學(xué)習(xí)指南

本章討論的問題對已有的特征空間進(jìn)行改造,著重于研究對樣本究竟用什么樣的度量方法更好譬如用三種度量來描述蘋果與梨那么是否運(yùn)用這三種度量是最有效的呢？顏色：這一個(gè)指標(biāo)對區(qū)分紅蘋果與梨很有效區(qū)分黃蘋果與梨就會(huì)困難得多 即，這個(gè)指標(biāo)就不很有效了第4頁,共91頁，2024年2月25日，星期天學(xué)習(xí)指南

本章討論的問題使用什么樣的特征描述事物，也就是說使用什么樣的特征空間是個(gè)很重要的問題由于對特征空間進(jìn)行改造目的在于提高其某方面的性能，因此又稱特征的優(yōu)化問題第5頁,共91頁，2024年2月25日，星期天學(xué)習(xí)指南

降維主要有兩種途徑對特征空間的改造、優(yōu)化、主要的目的是降維，即把維數(shù)高的特征空間改成維數(shù)低的特征空間，降維主要有兩種途徑特征的選擇: 一種是刪選掉一些次要的特征問題在于如何確定特征的重要性，以及如何刪選特征的提取: 另一種方法是使用變換的手段，在這里主要限定在線性變換的方法上，通過變換來實(shí)現(xiàn)降維第6頁,共91頁，2024年2月25日，星期天本章重點(diǎn)

1．弄清對特征空間進(jìn)行優(yōu)化的含義2．對特征空間進(jìn)行優(yōu)化的兩種基本方法——特征選擇與特征的組合優(yōu)化3．對特征空間進(jìn)行優(yōu)化的一些常用判據(jù)4．利用線段變換進(jìn)行特征空間優(yōu)化的基本方法，第7頁,共91頁，2024年2月25日，星期天本章知識(shí)點(diǎn)

第8頁,共91頁，2024年2月25日，星期天8.1基本概念已經(jīng)討論的問題是在d維特征空間已經(jīng)確定的前提下進(jìn)行的討論的分類器設(shè)計(jì)問題是:選擇什么準(zhǔn)則、使用什么方法,將已確定的d維特征空間劃分成決策域的問題另一個(gè)重要問題如何確定合適的特征空間如何描述每個(gè)樣本和每個(gè)模式第9頁,共91頁，2024年2月25日，星期天基本概念第10頁,共91頁，2024年2月25日，星期天基本概念第11頁,共91頁，2024年2月25日，星期天基本概念第12頁,共91頁，2024年2月25日，星期天基本概念問題的重要性如果所選用的特征空間能使同類物體分布具有緊致性，即各類樣本能分布在該特征空間中彼此分割開的區(qū)域內(nèi)，這就為分類器設(shè)計(jì)成功提供良好的基礎(chǔ)。反之，如果不同類別的樣本在該特征空間中混雜在一起，再好的設(shè)計(jì)方法也無法提高分類器的準(zhǔn)確性。第13頁,共91頁，2024年2月25日，星期天基本概念三個(gè)不同的層次描述1.物理量的獲取與轉(zhuǎn)換指用什么樣的傳感器獲取電信號(hào)攝取景物則要用攝像機(jī)文字與數(shù)字識(shí)別首先要用掃描儀等設(shè)備手寫體文字所用傳感器與印刷體文字也很可能不同這些都屬于物理量的獲取，并且已轉(zhuǎn)換成電信號(hào)，為計(jì)算機(jī)分析打下了基礎(chǔ)對從傳感器中得到的信號(hào)，可稱之為原始信息它要經(jīng)過加工、處理才能得到對模式分類更加有用的信號(hào)第14頁,共91頁，2024年2月25日，星期天基本概念三個(gè)不同的層次描述2．描述事物方法的選擇與設(shè)計(jì)在得到了原始信息之后，要對它進(jìn)一步加工，以獲取對分類最有效的信息這部分信息必須對原始信息進(jìn)行加工，而設(shè)計(jì)所要信息的形式是十分關(guān)鍵的例如:對阿拉伯?dāng)?shù)字的識(shí)別可以提出各種不同的想法 *分析從框架的左邊框到數(shù)字之間的距離變化反映了不同數(shù)字的不同形狀，這可以用來作為數(shù)字分類的依據(jù) *強(qiáng)調(diào)分析不同截面的信號(hào)，如在框架的若干部位沿不同方向截取截面分析從背景到字，以及從字到背景轉(zhuǎn)換的情況第15頁,共91頁，2024年2月25日，星期天基本概念阿拉伯?dāng)?shù)字的識(shí)別可以提出各種不同的想法第16頁,共91頁，2024年2月25日，星期天基本概念三個(gè)不同的層次描述2．描述事物方法的選擇與設(shè)計(jì)設(shè)計(jì)對事物的描述方法是充分發(fā)揮設(shè)計(jì)者智慧的過程這個(gè)層次的工作往往因事物而易，與設(shè)計(jì)者本人的知識(shí)結(jié)構(gòu)也有關(guān)這是一個(gè)目前還無法自動(dòng)進(jìn)行的過程這個(gè)層次的工作是最關(guān)鍵的，但因?yàn)樘狈残裕膊皇潜菊掠懻摰膬?nèi)容第17頁,共91頁，2024年2月25日，星期天基本概念三個(gè)不同的層次描述3.特征空間的優(yōu)化這個(gè)層次的工作發(fā)生在已有了特征的描述方法之后，也就是已有了一個(gè)初始的特征空間，如何對它進(jìn)行改造與優(yōu)化的問題所謂優(yōu)化是要求既降低特征的維數(shù)，又能提高分類器的性能，這就是本章著重討論的問題這里討論的是一些不同模式識(shí)別系統(tǒng)中具有共性的問題，特征選擇與特征提取

第18頁,共91頁，2024年2月25日，星期天基本概念例用RGB顏色空間和HSI顏色空間RGB和HSI是兩種常用的顏色空間，雖然它們描述顏色的范圍是一樣的，也有確定的轉(zhuǎn)換關(guān)系，但是用這兩種不同的特征描述圖像，對以后的識(shí)別工作會(huì)有很大影響第19頁,共91頁，2024年2月25日，星期天基本概念第20頁,共91頁，2024年2月25日，星期天基本概念特征選擇和特征提取對特征空間進(jìn)行優(yōu)化有兩種基本方法一種為特征選擇，一種為特征提取兩者區(qū)別特征選擇:刪掉部分特征特征提取:通過一種映射，也就是說新的每一個(gè)特征是原有特征的一個(gè)函數(shù)第21頁,共91頁，2024年2月25日，星期天基本概念特征選擇和特征提取兩者區(qū)別假設(shè)已有D維特征向量空間，特征選擇:樣本由d維的特征向量描述：d＜D由于X只是Y的一個(gè)子集，因此每個(gè)分量xi必然能在原特征集中找到其對應(yīng)的描述量xi＝y(tǒng)j第22頁,共91頁，2024年2月25日，星期天基本概念特征選擇和特征提取兩者區(qū)別假設(shè)已有D維特征向量空間，特征提取:找到一個(gè)映射關(guān)系：A:Y→X使新樣本特征描述維數(shù)比原維數(shù)降低。其中每個(gè)分量xi是原特征向量各分量的函數(shù)，即第23頁,共91頁，2024年2月25日，星期天基本概念特征選擇和特征提取兩者區(qū)別因此這兩種降維的基本方法是不同的。在實(shí)際應(yīng)用中可將兩者結(jié)合起來使用， 比如先進(jìn)特征提取，然后再進(jìn)一步選擇其中一部分，或反過來。

第24頁,共91頁，2024年2月25日，星期天8.2類別可分離性判據(jù)為什么需要類別可分離性判據(jù)特征選擇與特征提取的任務(wù)是求出一組對分類最有效的特征所謂有效是指在特征維數(shù)減少到同等水平時(shí)，其分類性能最佳因此需要有定量分析比較的方法,判斷所得到的特征維數(shù)及所使用特征是否對分類最有利這種用以定量檢驗(yàn)分類性能的準(zhǔn)則稱為類別可分離性判據(jù)

第25頁,共91頁，2024年2月25日，星期天類別可分離性判據(jù)為什么需要類別可分離性判據(jù)一般說來分類器最基本的性能評估是其分類的錯(cuò)誤率如果能用反映錯(cuò)誤率大小的準(zhǔn)則，在理論上是最合適的對錯(cuò)誤率的計(jì)算是極其復(fù)雜的，以至于很難構(gòu)筑直接基于錯(cuò)誤率的判據(jù)為此人們設(shè)法從另一些更直觀的方法出發(fā)，設(shè)計(jì)出一些準(zhǔn)則，用來檢驗(yàn)不同的特征組合對分類性能好壞的影響，甚至用來導(dǎo)出特征選擇與特征提取的方法 這些準(zhǔn)則就是類別可分離性判據(jù)第26頁,共91頁，2024年2月25日，星期天類別可分離性判據(jù)類別可分離性判據(jù)的種類基于距離度量的可分性判據(jù)基于概率分布的可分性判據(jù)等第27頁,共91頁，2024年2月25日，星期天8.2.1基于距離的可分性判據(jù)基于距離的可分性判據(jù)基于距離度量是人們常用來進(jìn)行分類的重要依據(jù)一般情況下同類物體在特征空間呈聚類狀態(tài)，即從總體上說同類物體內(nèi)各樣本由于具有共性因此類內(nèi)樣本間距離應(yīng)比跨類樣本間距離小Fisher準(zhǔn)則正是以使類間距離盡可能大同時(shí)又保持類內(nèi)距離較小這一種原理為基礎(chǔ)的同樣在特征選擇與特征提取中也使用類似的原理，這一類被稱為基于距離的可分性判據(jù)。第28頁,共91頁，2024年2月25日，星期天基于距離的可分性判據(jù)基于距離的可分性判據(jù)在討論Fisher準(zhǔn)則時(shí)曾用過兩個(gè)描述離散度的矩陣一個(gè)是類間離散矩陣Sb

另一個(gè)是類內(nèi)離散度矩陣SW

SW＝S1+S2

第29頁,共91頁，2024年2月25日，星期天基于距離的可分性判據(jù)基于距離的可分性判據(jù)如果推廣至c類別情況其中

為所有樣本的總均值向量，Pi表示各類別的先驗(yàn)概率，Ei表示i類的期望符號(hào)。第30頁,共91頁，2024年2月25日，星期天基于距離的可分性判據(jù)1計(jì)算特征向量間平均距離的判據(jù)該式可寫成在歐氏距離情況下有第31頁,共91頁，2024年2月25日，星期天基于距離的可分性判據(jù)1計(jì)算特征向量間平均距離的判據(jù)利用均值向量

與總均值向量

，有第32頁,共91頁，2024年2月25日，星期天基于距離的可分性判據(jù)2考慮類內(nèi)類間歐氏距離的其它判據(jù)判據(jù)Jd(X)是計(jì)算特征向量的總平均距離以下一些判據(jù)則基于使類間離散度盡量大，類內(nèi)離散度盡量小的考慮而提出：第33頁,共91頁，2024年2月25日，星期天8.2.2基于概率分布的可分性判據(jù)基于概率分布的可分性判據(jù)上一節(jié)討論的是樣本在特征空間的分布距離作為特征提取的依據(jù)。該種原理直觀，計(jì)算簡便。但是這種原理沒有考慮概率分布，因此當(dāng)不同類樣本中有部分在特征空間中交迭分布時(shí)，簡單地按距離劃分，無法表明與錯(cuò)誤概率之間的聯(lián)系。基于概率分布的可分性判據(jù)則依據(jù)如下觀察到的現(xiàn)象。第34頁,共91頁，2024年2月25日，星期天8.2.2基于概率分布的可分性判據(jù)基于概率分布的可分性判據(jù)觀察現(xiàn)象:不考慮各類的先驗(yàn)概率，或假設(shè)兩類樣本的先驗(yàn)概率相等第35頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)基于概率分布的可分性判據(jù)觀察現(xiàn)象如果兩類條件概率分布互不交迭，即對p(X|ω2)≠0處都有p(X|ω1)＝0，則這兩類就完全可分；另一種極端情況是對所有X都有p(X|ω1)＝p(X|ω2)，則兩類就完全不可分。第36頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)基于概率分布的可分性判據(jù)因此人們設(shè)計(jì)出與概率分布交迭程度有關(guān)的距離度量方法，這些距離Jp有以下幾個(gè)共同點(diǎn)：1.Jp是非負(fù)，即Jp≥02.當(dāng)兩類完全不交迭時(shí)Jp達(dá)到其最大值3.當(dāng)兩類分布密度相同時(shí)，Jp＝0

這種函數(shù)的一般式可表示為：第37頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量Bhattacharyya距離和Chernoff界限Bhattacharyya距離的定義用下式表示Chernoff界限的定義與其相似，為因此JB是JC的一個(gè)特例第38頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量散度

另一種常用的基于概率距離度量的判據(jù)是利用似然比或?qū)?shù)似然比。對兩類問題，其對數(shù)似然比為如果對某個(gè)X，

，則

,反之若兩者差異越大，則

的絕對值也大。第39頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量散度

以上只是對某一X值而言，為了對整個(gè)特征空間概率分布的差異程度作出評價(jià)，將對wi類及對wj的可分性信息分別定義為第40頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量散度

而總的平均可分信息則可表示成第41頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時(shí)基于概率分布距離度量

顯然在一般情況下由于概率分布本身的復(fù)雜形式，以上這些基于概率分布的距離相當(dāng)復(fù)雜。下面討論兩類別正態(tài)分布時(shí)散度判據(jù)的表達(dá)式這些判據(jù)在概率分布具有某種參數(shù)形式，尤其是正態(tài)分布時(shí)可以得到進(jìn)一步簡化第42頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時(shí)基于概率分布距離度量設(shè)兩類別分別表示為則第43頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時(shí)基于概率分布距離度量對數(shù)似然比第44頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時(shí)基于概率分布距離度量利用矩陣跡的性質(zhì)ATB=tr(BAT)，其中A、B表示向量，上式可改寫成第45頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時(shí)基于概率分布距離度量將其代入Iij的計(jì)算公式，并化簡得第46頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時(shí)基于概率分布距離度量由散度JD的定義，

得顯然，如果兩類協(xié)方差矩陣相等，則第47頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時(shí)基于概率分布距離度量在正態(tài)分布時(shí)Bhattacharyya距離JB可表示成：第48頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時(shí)基于概率分布距離度量顯然，如果兩類協(xié)方差矩陣相等，則第49頁,共91頁，2024年2月25日，星期天8.2.3基于熵函數(shù)的可分性判據(jù)我們知道一個(gè)樣本不同類的后驗(yàn)概率是貝葉斯決策的依據(jù)因此在特征空間的任何一點(diǎn)，如果它對不同類別的后驗(yàn)概率差別很大，則為分類提供了很明確的信息而Shannon信息論定義的熵就可以用來對可分類性作出評價(jià)故這方面可分性判據(jù)的定義稱之為基于熵函數(shù)的可分性判據(jù)第50頁,共91頁，2024年2月25日，星期天基于熵函數(shù)的可分性判據(jù)基于熵函數(shù)的可分性判據(jù)分析如果對某些特征，各類后驗(yàn)概率都相等，即此時(shí)這也就是錯(cuò)誤率最大的情況。第51頁,共91頁，2024年2月25日，星期天基于熵函數(shù)的可分性判據(jù)基于熵函數(shù)的可分性判據(jù)分析考慮另一極端，假設(shè)能有一組特征使得

那末此時(shí)的X肯定可劃分為ωi

，而錯(cuò)誤率為零由此可看出，后驗(yàn)概率越集中，錯(cuò)誤概率就越小反之后驗(yàn)概率分布越平緩，即接近均勻分布，則分類錯(cuò)誤概率就越大第52頁,共91頁，2024年2月25日，星期天基于熵函數(shù)的可分性判據(jù)基于熵函數(shù)的可分性判據(jù)熵為了衡量后驗(yàn)概率分布的集中程度，可以借助于信息論中熵的概念，制訂定量指標(biāo)。Shannon熵為另一常用的平方熵

第53頁,共91頁，2024年2月25日，星期天基于熵函數(shù)的可分性判據(jù)基于熵函數(shù)的可分性判據(jù)兩者共性1.熵為正且對稱即函數(shù)式內(nèi)項(xiàng)的次序可以變換不影響熵的值；2.如3.對任意的概率分布第54頁,共91頁，2024年2月25日，星期天8.3特征提取按歐氏距離度量的特征提取方法按概率距離判據(jù)提取特征特征提取方法小結(jié)第55頁,共91頁，2024年2月25日，星期天8.3.1按歐氏距離度量的特征提取方法

按歐氏距離度量的特征提取方法基于距離可分性判據(jù)的特征優(yōu)化過程是通過一個(gè)線性變換實(shí)現(xiàn)特征提取在這里意味著找到一個(gè)線性變換W,對原始特征向量Y=[y1,…，yD]T實(shí)行映射變換W：Y→X，得到維數(shù)減少的向量X=[x1,…，xd]T，即

W為D×d矩陣第56頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法歐氏距離的判據(jù)第57頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法利用W（D×d矩陣）線形變換后，希望變換后的特征向量能滿足使某個(gè)準(zhǔn)則函數(shù)達(dá)到極值的要求使用J2判據(jù)進(jìn)行特征提取注意：如果對特征空間實(shí)行一個(gè)D×D矩陣的非奇異線性變換，J2保持不變第58頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法例如對原特征空間實(shí)行一D×D線性變換A令Sw,Sb為原空間離散度矩陣S*w,S*b為映射后的離散度矩陣，則：

S*b=A

Sb

AT S*w=A

Sw

AT經(jīng)變換后的J2變?yōu)?

J2*(A)=tr[(A

Sw

AT)-1

A

Sb

AT] =tr[(AT)-1

Sw-1Sb

AT]=tr[Sw-1Sb]=J2(A)第59頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法使用J2判據(jù)進(jìn)行特征提取因而以下討論的特征提取變換，只考慮是降維的即用D×d矩陣(d＜D)進(jìn)行變換其目的是在維數(shù)d的條件下，使相應(yīng)的判據(jù)為最大第60頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法使用J2判據(jù)進(jìn)行特征提取將J2判據(jù)表示成變換W的函數(shù)令Sw,Sb為原空間離散度矩陣，S*w,S*b為映射后的離散度矩陣:

S*b=WT

Sb

W S*w=WT

Sw

W則經(jīng)變換后的J2變?yōu)?

J2(W)=tr[(WT

Sw

W)-1

WT

Sb

W]第61頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法使用J2判據(jù)進(jìn)行特征提取求使J2(W)最大的W解可利用特征值方法對W的各分量求偏導(dǎo)數(shù)，并另其為零，可以確定W值。結(jié)論:對J2

，J2

，J5來說,使判據(jù)達(dá)到最大的變換W如下:設(shè)矩陣Sw-1Sb的本征值為λ1，λ2…λD，按大小順序排列為:

λ1≥

λ2

≥…≥λD，第62頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法使用J2判據(jù)進(jìn)行特征提取則選前d個(gè)本征值對應(yīng)的本征向量作為W即:W=[μ1，μ

2…μ

d]此時(shí):

J2(W)=λ1+λ2+…+λd第63頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法例協(xié)方差矩陣是：給定先驗(yàn)概率相等的兩類，其均值向量分別為：求用J2判據(jù)的最優(yōu)特征提取第64頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法例解：根據(jù)前面的分析，應(yīng)先求再求此矩的特征矩陣今有混合均值類間離散度矩陣：第65頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法例解：則類內(nèi)離散度矩陣第66頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法例解：需求

的特征值矩陣的秩是1只有一個(gè)非零特征值解方程:得到因此利用W向量對原始的兩維樣本進(jìn)行線性變換，得到新的一維分布，特征空間從兩維降到一維，并滿足J2判據(jù)。第67頁,共91頁，2024年2月25日，星期天8.3.2按概率距離判據(jù)提取特征

這一節(jié)只是在正態(tài)分布條件下的一種特殊情況進(jìn)行分析，不作基本要求。

第68頁,共91頁，2024年2月25日，星期天8.3.3特征提取方法小結(jié)特征提取方法從其工作原理來看可以分成兩大類對樣本在特征空間分布的距離度量其基本思想是通過原有特征向量線性組合而成新的特征向量做到既降維，又能盡可能體現(xiàn)類間分離，類內(nèi)聚集的原則第69頁,共91頁，2024年2月25日，星期天特征提取方法小結(jié)對樣本在特征空間分布的距離度量在歐氏距離度量的條件下所提出的幾種判據(jù)都是從這一點(diǎn)出發(fā)的第70頁,共91頁，2024年2月25日，星期天特征提取方法小結(jié)從概率分布的差異出發(fā)，制訂出反映概率分布差異的判據(jù)，以此確定特征如何提取這類判據(jù)由于與錯(cuò)誤率之間可能存在單調(diào)或上界關(guān)系等，因此從錯(cuò)誤率角度考慮有一定的合理性但是使用這種方法需要有概率分布的知識(shí)，并且只是在概率分布具有簡單形式時(shí)，計(jì)算才比較簡便第71頁,共91頁，2024年2月25日，星期天特征提取方法小結(jié)從概率分布的差異出發(fā)，制訂出反映概率分布差異的判據(jù)，以此確定特征如何提取熵概念的運(yùn)用是描述概率分布另一種有用的形式利用熵原理構(gòu)造的判據(jù)，進(jìn)行特征提取第72頁,共91頁，2024年2月25日，星期天特征提取方法小結(jié)各個(gè)方法中都有一個(gè)共同的特點(diǎn)即判別函數(shù)的極值往往演變?yōu)檎矣嘘P(guān)距陣的特征值與特征向量，由相應(yīng)的特征向量組成坐標(biāo)系統(tǒng)的基向量計(jì)算有關(guān)矩陣的特征值矩陣與特征向量，選擇前d個(gè)大特征值，以它們相應(yīng)的特征向量構(gòu)成坐標(biāo)系統(tǒng)這是大部分特征提取方法的基本做法。特征選擇方法不相同第73頁,共91頁，2024年2月25日，星期天特征提取方法小結(jié)在特征提取方法中希望所使用的各種判據(jù)能夠滿足以下幾點(diǎn)要求：(1)與錯(cuò)誤概率或其上界或下界有單調(diào)關(guān)系(2)判據(jù)在特征獨(dú)立時(shí)有可加性

第74頁,共91頁，2024年2月25日，星期天特征提取方法小結(jié)在特征提取方法中希望所使用的各種判據(jù)能夠滿足以下幾點(diǎn)要求：(3)可分性判別應(yīng)滿足可分性，及對稱性第75頁,共91頁，2024年2月25日，星期天特征提取方法小結(jié)在特征提取方法中希望所使用的各種判據(jù)能夠滿足以下幾點(diǎn)要求：(4)單調(diào)性是指維數(shù)增多時(shí)，判據(jù)值不應(yīng)減少。第76頁,共91頁，2024年2月25日，星期天主成分分析PCAPrincipleComponentAnalysis通過k-l變換實(shí)現(xiàn)主成分分析第77頁,共91頁，2024年2月25日，星期天K-L變換特征提取思想用映射（或變換）的方法把原始特征變換為較少的新特征降維主成分分析(PCA)基本思想進(jìn)行特征降維變換，不能完全地表示原有的對象，能量總會(huì)有損失。希望找到一種能量最為集中的的變換方法使損失最小第78頁,共91頁，2024年2月25日，星期天K-L變換原始輸入:x變換后特征:y變換矩陣(線性變換):A則:

y=ATx第79頁,共91頁，2024年2月25日，星期天K-L變換思考:希望特征之間關(guān)聯(lián)性盡可能小變換后的相關(guān)矩陣: Ry≡E[yyT] =E[ATxxTA] =ATRxA我們是不是希望Ry是個(gè)對角矩陣？如何選擇A?第80頁,共91頁，2024年2月25日，星期天K-L變換考慮以Rx的特征向量作為A的列，則

Ry=ATRxA =[a1,a2……an]

TRx

[a1