特征提取的原則和方法

特征提取的原則和方法第一頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三要點(diǎn)：特征提取的重要性特征提取的基本任務(wù)特征提取的基本要求特征提取的基本原則特征提取的基本方法課堂練習(xí)1，課堂練習(xí)2第二頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三特征提取的重要性在一個(gè)較完善的模式識(shí)別系統(tǒng)中，或者明顯地或者隱含地要有特征提取的技術(shù)環(huán)節(jié)，通常其處于對(duì)象特征數(shù)據(jù)采集和分類識(shí)別兩個(gè)環(huán)節(jié)之間，特征提取方法的優(yōu)劣極大地影響著分類器的設(shè)計(jì)和性能。舉例返回第三頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三模式識(shí)別系統(tǒng)的基本組成一個(gè)完整的模式識(shí)別系統(tǒng)主要由5個(gè)基本部分組成：傳感器預(yù)處理器特征提取器分類器后處理器輸入決策分割器上下文信息調(diào)整返回第四頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三正常細(xì)胞和癌細(xì)胞的識(shí)別試對(duì)如何區(qū)分正常細(xì)胞和癌細(xì)胞進(jìn)行特征提取，并構(gòu)造分類函數(shù)。返回想一想：有沒(méi)有其他較好的解決辦法？正常細(xì)胞異常細(xì)胞第五頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三細(xì)胞特征的提取過(guò)程找出各種對(duì)識(shí)別可能有用的細(xì)胞屬性選擇容易計(jì)算的細(xì)胞屬性構(gòu)成原始特征對(duì)易計(jì)算屬性進(jìn)行再次選擇和重組產(chǎn)生合理、有效的關(guān)鍵特征返回第六頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三一些對(duì)識(shí)別有用的細(xì)胞屬性細(xì)胞總面積、細(xì)胞總周長(zhǎng)、總光密度、胞核密度、核漿比、細(xì)胞形狀、核內(nèi)文理等這些屬性的數(shù)目可能很多，有些不易計(jì)算和描述，通常需要進(jìn)行選擇，以保留那些容易計(jì)算的屬性。返回第七頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三一些容易計(jì)算的細(xì)胞屬性細(xì)胞總面積、細(xì)胞總周長(zhǎng)、胞核密度等。這些特征稱為原始特征。返回第八頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三關(guān)鍵特征的生成返回第九頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三細(xì)胞分類函數(shù)的構(gòu)造返回第十頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三特征提取的基本任務(wù)特征提取的基本任務(wù)是研究如何從眾多的特征中求出那些對(duì)分類識(shí)別最有效的特征，從而實(shí)現(xiàn)特征空間維數(shù)的壓縮。返回

第十一頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三特征提取的基本要求區(qū)分度高，即樣本類內(nèi)距離應(yīng)盡量小，類間距離盡量大。具有較高的穩(wěn)定性和魯棒性。易于提取，在保證系統(tǒng)性能的前提下，特征的維數(shù)不宜過(guò)高，以減少運(yùn)算量和提高系統(tǒng)的效率。返回第十二頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三特征提取的基本原則目的性原則簡(jiǎn)約性原則返回第十三頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三目的性原則以分類的目的為指導(dǎo)：當(dāng)分類的目的決定之后，如何找到合適的特征就成為模式識(shí)別的核心問(wèn)題。解決不同的分類問(wèn)題通常需要提取不同的特征，需要具體問(wèn)題具體分析。舉例：例1，例2。返回第十四頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三不同的問(wèn)題需要不同的特征問(wèn)題1問(wèn)題2問(wèn)題3返回第十五頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三分類問(wèn)題1返回第十六頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三分類問(wèn)題2返回第十七頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三分類問(wèn)題3返回第十八頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三言語(yǔ)識(shí)別和說(shuō)話人識(shí)別在言語(yǔ)識(shí)別中，需要設(shè)法提取不同人語(yǔ)音中的共性在說(shuō)話人識(shí)別中，則需要設(shè)法提取不同人語(yǔ)音中的區(qū)別返回第十九頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三簡(jiǎn)約性原則尋找對(duì)分類最有效的特征:在保證所要求的分類識(shí)別的正確率和節(jié)省資源的前提下，使用最少的特征達(dá)到所要求的分類識(shí)別的正確率。通常需要構(gòu)造準(zhǔn)則函數(shù)，使得所選特征在該準(zhǔn)則下最優(yōu)。舉例返回第二十頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三特征提取準(zhǔn)則函數(shù)舉例如果設(shè)J是一個(gè)準(zhǔn)則函數(shù)，那么從n個(gè)原始特征選擇d個(gè)關(guān)鍵特征時(shí)，應(yīng)滿足其中是n個(gè)特征中的任意d個(gè)原始特征返回第二十一頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三特征提取的基本方法總結(jié)各種可能對(duì)分類和識(shí)別有幫助的可計(jì)算屬性，從中生成原始特征對(duì)原始特征進(jìn)行直接選擇，變換選擇或多級(jí)選擇產(chǎn)生關(guān)鍵特征。返回第二十二頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三直接選擇從n個(gè)特征中直接選擇兩個(gè)特征從n個(gè)特征中直接選擇m個(gè)特征返回第二十三頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三從n個(gè)特征中直接選擇兩個(gè)特征返回其中第二十四頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三從n個(gè)特征中直接選擇m個(gè)特征返回其中第二十五頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三變換選擇對(duì)n個(gè)特征進(jìn)行線性變換產(chǎn)生m個(gè)特征主成分分析K-L變換（Karhunen-Loève變換）Fisher變換返回第二十六頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三主成分分析主成分分析的基本思想零維主成分分析一維主成分分析多維主成分分析主成分析的數(shù)學(xué)變換返回第二十七頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三主成分分析的基本思想尋找在最小均方差意義下最能夠代表原始數(shù)據(jù)的投影方法。返回第二十八頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三零維主成分分析設(shè)有n個(gè)d維樣本X1,X2,…,Xn，如何僅僅用一個(gè)d維向量X0來(lái)最好地表達(dá)這n個(gè)樣本，使X0與其他樣本Xk(k=1,2,…,n)的距離平方和最小。如果定義平方誤差準(zhǔn)則函數(shù)J0(X0)如下：那么當(dāng)X0等于樣本均值時(shí)J0(X0)最小，即：試證明之。返回第二十九頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三零維主成分的證明返回第三十頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三一維主成分分析作一條通過(guò)均值的直線，如果e表示直線方向的單位向量，那么直線的方程為：其中a表示直線上某點(diǎn)離開m的距離。如果用m+ake來(lái)代表Xk，那么通過(guò)最小化平方誤差準(zhǔn)則函數(shù)，可以求得一組最優(yōu)的ak和最優(yōu)的方向e：返回第三十一頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三最優(yōu)的ak由于，將對(duì)ak求偏導(dǎo)，并且令結(jié)果為0可得：返回第三十二頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三最優(yōu)的方向e定義離散度矩陣(scattermatrix)為：將代入化簡(jiǎn)得：關(guān)鍵在的條件下求的最大值返回第三十三頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三的最大值計(jì)算構(gòu)造拉格朗日函數(shù)：對(duì)e求偏導(dǎo)，并且令結(jié)果為0，得：因此，為S的最大本征值，e為S的最大本征值對(duì)應(yīng)的單位本征向量。返回第三十四頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三多維主成分分析如果考慮過(guò)樣本均值的多維子空間：并定義新的平方誤差準(zhǔn)則函數(shù)：則可進(jìn)行多維主成分分析，結(jié)果為：是S的前個(gè)本征值對(duì)應(yīng)的本征向量返回第三十五頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三主成分析的數(shù)學(xué)變換如果選擇

個(gè)主成分，那么數(shù)學(xué)變換為：返回第三十六頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三對(duì)n個(gè)特征進(jìn)行線性變換產(chǎn)生m個(gè)特征返回第三十七頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三K-L變換K-L變換的計(jì)算過(guò)程K-L變換舉例K-L變換的原理K-L變換的特點(diǎn)返回第三十八頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三K-L變換的計(jì)算過(guò)程1.把給定n維樣本表示為X1,X2,…,XP2.計(jì)算樣本均值3.計(jì)算協(xié)方差矩陣Snn4.計(jì)算Snn的特征根及特征向量5.生成變換矩陣

6.構(gòu)造K-L變換7.計(jì)算均方誤差

返回第三十九頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算樣本均值返回第四十頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算協(xié)方差矩陣返回第四十一頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算特征根及特征向量計(jì)算上式的所有特征根1,2,…,n及相應(yīng)的單位化特征向量1,2,…,n。返回第四十二頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三生成變換矩陣選擇前m個(gè)（最大的m個(gè)）特征根對(duì)應(yīng)的單位化特征向量1,2,…,m生成變換矩陣:返回第四十三頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三構(gòu)造K-L變換其中yk代表第k主成分，第1主成分代表最分散的方向。返回第四十四頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算均方誤差返回第四十五頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三K-L變換舉例已知計(jì)算從2維中選擇1維的K-L變換計(jì)算過(guò)程計(jì)算結(jié)果示意圖返回第四十六頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算過(guò)程計(jì)算樣本均值計(jì)算協(xié)方差矩陣S22計(jì)算S22的特征根及特征向量生成變換矩陣

構(gòu)造K-L變換計(jì)算均方誤差

返回第四十七頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算樣本均值返回第四十八頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算協(xié)方差矩陣返回第四十九頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算特征根及特征向量計(jì)算特征根計(jì)算特征向量返回第五十頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算特征根返回第五十一頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算特征向量計(jì)算結(jié)果。返回第五十二頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三特征向量的計(jì)算結(jié)果返回第五十三頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三生成變換矩陣返回第五十四頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三構(gòu)造K-L變換返回第五十五頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算均方誤差返回第五十六頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算結(jié)果示意圖返回第五十七頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三K-L變換的原理隨機(jī)向量的坐標(biāo)基表示坐標(biāo)基表示的分量計(jì)算隨機(jī)向量的坐標(biāo)基截?cái)啾硎咀鴺?biāo)基截?cái)啾硎镜恼`差估計(jì)坐標(biāo)基截?cái)啾硎镜淖顑?yōu)條件返回第五十八頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三隨機(jī)向量的坐標(biāo)基表示設(shè)X是一個(gè)n維的隨機(jī)向量，則它可以用下式無(wú)誤差地展開：

其中i是n維列向量，且滿足：返回第五十九頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三坐標(biāo)基表示的分量計(jì)算返回第六十頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三隨機(jī)向量的坐標(biāo)基截?cái)啾硎炯俣ㄖ槐Ａ鬥向量的分量的一個(gè)子集{y1,y2,…,ym}，m<n，可以對(duì)X構(gòu)造下面的截?cái)喙烙?jì)量：

其中bi是選定常數(shù)。返回第六十一頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三坐標(biāo)基截?cái)啾硎镜恼`差估計(jì)誤差向量均方誤差返回第六十二頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三誤差向量返回第六十三頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三均方誤差其中E[f(X)]表示f(X)的均值。返回第六十四頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三向量函數(shù)的均值設(shè)f(X)是向量X的標(biāo)量函數(shù)，如果選取X的N個(gè)樣本Xi(i=1,2,…,N)，則f(X)的均值定義為：返回第六十五頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三坐標(biāo)基截?cái)啾硎镜淖顑?yōu)條件最優(yōu)的bi值可以通過(guò)下式得到：所以此時(shí)的均方誤差返回第六十六頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三最優(yōu)條件下的均方誤差其中是X的協(xié)方差矩陣。此時(shí)的極值條件。返回第六十七頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三均方誤差的極值條件可用Lagrange乘數(shù)法求出2的最小值:其中i為L(zhǎng)anguage乘數(shù)。返回取極小值的必要條件為：第六十八頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三極值條件的簡(jiǎn)化及誤差表示這說(shuō)明i是協(xié)方差矩陣X的本征向量，i是X的相應(yīng)的第i個(gè)本征值。從而不難得到：返回第六十九頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三K-L變換的特點(diǎn)每個(gè)特征yi在代表X方面的有效性由與它相對(duì)應(yīng)的本征值i所確定，本征值的大小可以作為特征選擇的依據(jù)。各個(gè)特征互不相關(guān)，也就是說(shuō)Y的協(xié)方差矩陣是對(duì)角的。X的本征向量在滿足正交歸一條件時(shí)使2(m)為最小值返回第七十頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三Fisher變換Fisher變換的基本思想Fisher最優(yōu)方向，舉例Fisher最優(yōu)方向的數(shù)學(xué)描述Fisher變換的求解方法及舉例Fisher變換的缺點(diǎn)返回第七十一頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三Fisher變換的基本思想Fisher變換，又稱Fisher線性判別，是一種降低特征空間維數(shù)的方法。其基本思想是：把d維空間的所有模式投影到一條過(guò)原點(diǎn)的直線，從而把維數(shù)降低到1。返回第七十二頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三Fisher最優(yōu)方向求Fisher變換的關(guān)鍵是要尋找最優(yōu)的投影方向，即Fisher最優(yōu)方向，滿足下面兩個(gè)條件：1.各類模式投影均值彼此間相距盡可能大2.使同類模式的投影比較密集返回第七十三頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三Fisher最優(yōu)方向舉例x2x1返回第七十四頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三Fisher最優(yōu)方向的數(shù)學(xué)描述樣本和投影直線的表示樣本均值及其投影均值投影均值間的距離投影類內(nèi)離散度Fisher準(zhǔn)則函數(shù)及其Rayleigh比表示返回第七十五頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三樣本和投影直線的表示設(shè)給定兩類樣本集1和2，各有n1和n2個(gè)d維樣本。Fisher變換的目標(biāo)是要找到一條直線，使得該直線對(duì)樣本分類最有利。令W表示直線的方向，。1和2對(duì)直線的投影得到的集合分別是1和2，即:yi(i=1,2)，Xi

，使得y=WTX。返回第七十六頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三樣本均值及其投影均值設(shè)mi是第i類d維樣本的均值：這些樣本在直線W上的投影的均值是：返回第七十七頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三投影均值間的距離返回第七十八頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三投影類內(nèi)離散度一類模式投影的密集程度可以用類內(nèi)離散度來(lái)表示，即：總的模式投影的密集程度可以表示為總的類內(nèi)離散度，即：返回第七十九頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三Fisher準(zhǔn)則函數(shù)Fisher最優(yōu)方向以用下面的Fisher準(zhǔn)則函數(shù)來(lái)描述求Fisher最優(yōu)方向的問(wèn)題可轉(zhuǎn)化為求W使得J(W)達(dá)到極大的問(wèn)題。返回

第八十頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三Fisher準(zhǔn)則函數(shù)的Rayleigh比表示輔助定義投影轉(zhuǎn)化Rayleigh比表示返回第八十一頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三輔助定義1.第i類離散度矩陣：2.類內(nèi)離散度矩陣：3.類間離散度矩陣：返回第八十二頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三投影轉(zhuǎn)化返回第八十三頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三Rayleigh比表示Fisher準(zhǔn)則函數(shù)可以寫成W的顯示函數(shù)：Rayleigh比表示具有下面的性質(zhì)：1.J(W)=J(aW)，a是任意實(shí)數(shù)2.J(W)的極值只與W的方向有關(guān)，與W的大小無(wú)關(guān)返回第八十四頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三Fisher變換的求解方法用Lagrange乘數(shù)法求極值直接計(jì)算偏導(dǎo)求極值Fisher方向的表示Fisher變換的表示返回第八十五頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三用Lagrange乘數(shù)法求極值令構(gòu)造Lagrange函數(shù)：極大值條件為：即：返回第八十六頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三直接計(jì)算偏導(dǎo)求極值返回第八十七頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三Fisher方向的表示若Sw非奇異，則有：因?yàn)槠渲惺浅?shù)，所以：返回

第八十八頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三Fisher變換的表示由于比例因子不影響直線的方向，因此Fisher方向可簡(jiǎn)化為將該W單位化后，可構(gòu)造Fisher變換如下：返回第八十九頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三Fisher變換的求解舉例已知兩類樣本如下：求Fisher變換計(jì)算類心，計(jì)算類內(nèi)離散度計(jì)算Fisher方向，構(gòu)造Fisher變換返回第九十頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算類心返回第九十一頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算類內(nèi)離散度返回第九十二頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三計(jì)算Fisher方向返回第九十三頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三構(gòu)造Fisher變換單位化的Fisher方向?yàn)镕isher變換為:返回第九十四頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三Fisher變換的缺點(diǎn)Fisher變換得到的結(jié)果有一定局限，它只是對(duì)準(zhǔn)則函數(shù)最優(yōu)，即J(W)最大，在許多情況下，結(jié)果并不理想。返回第九十五頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三多級(jí)選擇多級(jí)選擇的神經(jīng)生物學(xué)基礎(chǔ)多級(jí)選擇的基本過(guò)程返回第九十六頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三多級(jí)選擇的神經(jīng)生物學(xué)基礎(chǔ)視覺(jué)信息的傳遞通路視覺(jué)信息的傳遞過(guò)程視覺(jué)信息的分級(jí)處理仿生智能、生物特征識(shí)別和生物信息計(jì)算是當(dāng)前的幾個(gè)熱點(diǎn)研究領(lǐng)域返回第九十七頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三視覺(jué)信息的傳遞通路返回第九十八頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三視覺(jué)信息的傳遞過(guò)程返回視感受細(xì)胞神經(jīng)節(jié)細(xì)胞外側(cè)膝狀體視覺(jué)皮層中樞第九十九頁(yè)，共一百一十五頁(yè)，編輯于2023年，星期三視覺(jué)信息的分級(jí)處理在動(dòng)物和人的視覺(jué)信息系統(tǒng)中存在著對(duì)特定信息起反應(yīng)的神經(jīng)元，形成由簡(jiǎn)單到復(fù)雜的分級(jí)信息處理結(jié)構(gòu)，主要表現(xiàn)在不同層次上的細(xì)胞具有不同的感受野