模式識(shí)別理論及應(yīng)用

1、模式識(shí)別理論及應(yīng)用第六章 模式特征的選擇與提取 第1頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四內(nèi)容目錄IPL第六章 模式特征的選擇與提取 6.1 引言3245 6.2 類別可分離性判據(jù)6.3 特征提取與K-L變換6.4 特征的選擇6.5 討論1模式識(shí)別與神經(jīng)網(wǎng)絡(luò)第2頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四6.1 引言特征的選擇與提取是模式識(shí)別中重要而困難的一個(gè)環(huán)節(jié)：分析各種特征的有效性并選出最有代表性的特征是模式識(shí)別的關(guān)鍵一步降低特征維數(shù)在很多情況下是有效設(shè)計(jì)分類器的重要課題三大類特征：物理、結(jié)構(gòu)和數(shù)學(xué)特征物理和結(jié)構(gòu)特征：易于為人的直覺感知，但有時(shí)難于定量描述，因

2、而不易用于機(jī)器判別數(shù)學(xué)特征：易于用機(jī)器定量描述和判別，如基于統(tǒng)計(jì)的特征第3頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四特征的形成特征形成 (acquisition)：信號(hào)獲取或測(cè)量原始測(cè)量原始特征實(shí)例：數(shù)字圖象中的各像素灰度值人體的各種生理指標(biāo)原始特征分析：原始測(cè)量不能反映對(duì)象本質(zhì)高維原始特征不利于分類器設(shè)計(jì)：計(jì)算量大，冗余，樣本分布十分稀疏引言第4頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四特征的選擇與提取兩類提取有效信息、壓縮特征空間的方法：特征提取和特征選擇特征提取 (extraction)：用映射（或變換）的方法把原始特征變換為較少的新特征特征選擇(select

3、ion) ：從原始特征中挑選出一些最有代表性，分類性能最好的特征特征的選擇與提取與具體問題有很大關(guān)系，目前沒有理論能給出對(duì)任何問題都有效的特征選擇與提取方法引言第5頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四特征的選擇與提取舉例細(xì)胞自動(dòng)識(shí)別：原始測(cè)量：（正常與異常）細(xì)胞的數(shù)字圖像原始特征（特征的形成，找到一組代表細(xì)胞性質(zhì)的特征）：細(xì)胞面積，胞核面積，形狀系數(shù)，光密度，核內(nèi)紋理，和漿比壓縮特征：原始特征的維數(shù)仍很高，需壓縮以便于分類特征選擇：挑選最有分類信息的特征特征提?。簲?shù)學(xué)變換傅立葉變換或小波變換用PCA方法作特征壓縮引言第6頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期

4、四6.2 類別可分離性判據(jù)類別可分離性判據(jù)：衡量不同特征及其組合對(duì)分類是否有效的定量準(zhǔn)則理想準(zhǔn)則：某組特征使分類器錯(cuò)誤概率最小實(shí)際的類別可分離性判據(jù)應(yīng)滿足的條件：度量特性：與錯(cuò)誤率有單調(diào)關(guān)系當(dāng)特征獨(dú)立時(shí)有可加性：?jiǎn)握{(diào)性：常見類別可分離性判據(jù)：基于距離、概率分布、熵函數(shù)第7頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四基于距離的可分性判據(jù)類間可分性:=所有樣本間的平均距離：可分性判據(jù)(8-1)squared Euclidian(8-5)類內(nèi)平均距離類間距離(8-6)第8頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四基于距離的可分性判據(jù)矩陣形式可分性判據(jù)基于距離的準(zhǔn)則概念直觀，

5、計(jì)算方便，但與錯(cuò)誤率沒有直接聯(lián)系樣本類間離散度矩陣樣本類內(nèi)離散度矩陣類間可分離性判據(jù)第9頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四基于概率的可分性判據(jù)基于概率的可分性判據(jù)：用概率密度函數(shù)間的距離來度量可分性判據(jù)散度：第10頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四正態(tài)分布的散度可分性判據(jù)Mahalanobis第11頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四基于熵函數(shù)的可分性判據(jù)熵函數(shù)：可分性判據(jù)Shannon熵：平方熵：熵函數(shù)期望表征類別的分離程度：第12頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四類別可分離性判據(jù)應(yīng)用舉例圖像分割：Otsu

6、灰度圖像閾值算法(Otsu thresholding)圖像有L階灰度，ni是灰度為i的像素?cái)?shù)，圖像總像素?cái)?shù) N= n1+n2+ + nL灰度為i的像素概率：pi = ni/N類間方差：可分性判據(jù)第13頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四Otsu thresholding灰度圖像閾值:可分性判據(jù)Otsu灰度圖像二值化算法演示及程序分析:第14頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四6.3 特征提取與K-L變換特征提取：用映射（或變換）的方法把原始特征變換為較少的新特征PCA (Principle Component Analysis)方法：進(jìn)行特征降維變換，不

7、能完全地表示原有的對(duì)象，能量總會(huì)有損失。希望找到一種能量最為集中的的變換方法使損失最小K-L (Karhunen-Loeve)變換：最優(yōu)正交線性變換，相應(yīng)的特征提取方法被稱為PCA方法第15頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四K-L變換離散K-L變換：對(duì)向量x用確定的完備正交歸一向量系uj展開特征提取第16頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四離散K-L變換的均方誤差用有限項(xiàng)估計(jì)x ：特征提取該估計(jì)的均方誤差：第17頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四求解最小均方誤差正交基用Lagrange乘子法：特征提取結(jié)論：以相關(guān)矩陣R的d個(gè)本征向

8、量為基向量來展開x時(shí)，其均方誤差為：K-L變換：當(dāng)取矩陣R的d個(gè)最大本征值對(duì)應(yīng)的本征向量來展開x時(shí)，其截?cái)嗑秸`差最小。這d個(gè)本征向量組成的正交坐標(biāo)系稱作x所在的D維空間的d維K-L變換坐標(biāo)系， x在K-L坐標(biāo)系上的展開系數(shù)向量y稱作x的K-L變換第18頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四K-L變換的表示K-L變換的向量展開表示：特征提取K-L變換的矩陣表示：第19頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四K-L變換的性質(zhì)y的相關(guān)矩陣是對(duì)角矩陣：特征提取第20頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四K-L變換的性質(zhì)特征提取K-L坐標(biāo)系把矩陣R對(duì)

9、角化，即通過K-L變換消除原有向量x的各分量間的相關(guān)性，從而有可能去掉那些帶有較少信息的分量以達(dá)到降低特征維數(shù)的目的第21頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四K-L變換圖解x1x2u2u1二次曲線方程標(biāo)準(zhǔn)二次曲線方程特征提取第22頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四K-L變換的數(shù)據(jù)壓縮圖解取2x1變換矩陣U=u1，則x的K-L變換y為： y = UTx = u1T x = y1變換的能量損失為特征提取第23頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四K-L變換的產(chǎn)生矩陣數(shù)據(jù)集KN=xi的K-L變換的產(chǎn)生矩陣由數(shù)據(jù)的二階統(tǒng)計(jì)量決定，即K-L坐標(biāo)

10、系的基向量為某種基于數(shù)據(jù)x的二階統(tǒng)計(jì)量的產(chǎn)生矩陣的本征向量K-L變換的產(chǎn)生矩陣可以有多種選擇：x的相關(guān)函數(shù)矩陣R=ExxTx的協(xié)方差矩陣C=E(x-) (x-)T樣本總類內(nèi)離散度矩陣：特征提取第24頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四未知類別樣本的K-L變換用總體樣本的協(xié)方差矩陣C=E(x-) (x-)T進(jìn)行K-L變換，K-L坐標(biāo)系U=u1,u2,.,ud按照C的本征值的下降次序選擇例：設(shè)一樣本集的協(xié)方差矩陣是：求最優(yōu)2x1特征提取器U解答：計(jì)算特征值及特征向量V, D=eig(C);特征值D=24.736, 2.263T,特征向量:由于12，故最優(yōu)2x1特征提取器此時(shí)的K

11、-L變換式為：特征提取第25頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四6.4 特征的選擇特征選擇:=從原始特征中挑選出一些最有代表性、分類性能最好的特征進(jìn)行分類從D個(gè)特征中選取d個(gè),共 種組合。若不限定特征選擇個(gè)數(shù)，則共2D種組合 典型的組合優(yōu)化問題特征選擇的方法大體可分兩大類：Filter方法：根據(jù)獨(dú)立于分類器的指標(biāo)J來評(píng)價(jià)所選擇的特征子集S，然后在所有可能的特征子集中搜索出使得J最大的特征子集作為最優(yōu)特征子集。不考慮所使用的學(xué)習(xí)算法。Wrapper方法：將特征選擇和分類器結(jié)合在一起，在學(xué)習(xí)過程中表現(xiàn)優(yōu)異的的特征子集會(huì)被選中。第26頁，共31頁，2022年，5月20日，6點(diǎn)28

12、分，星期四經(jīng)典特征選擇算法許多特征選擇算法力求解決搜索問題，經(jīng)典算法有：分支定界法單獨(dú)最優(yōu)特征組合法順序后退法順序前進(jìn)法模擬退火法Tabu搜索法遺傳算法特征選擇第27頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四單獨(dú)最優(yōu)特征組合計(jì)算各特征單獨(dú)使用時(shí)的可分性判據(jù)J并加以排隊(duì)，取前d個(gè)作為選擇結(jié)果不一定是最優(yōu)結(jié)果當(dāng)可分性判據(jù)對(duì)各特征具有(廣義)可加性，該方法可以選出一組最優(yōu)的特征來，例：各類具有正態(tài)分布各特征統(tǒng)計(jì)獨(dú)立可分性判據(jù)基于Mahalanobis距離特征選擇第28頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四順序后退法該方法根據(jù)特征子集的分類表現(xiàn)來選擇特征搜索特征子集：從全體特征開始，每次剔除一個(gè)特征，使得所保留的特征集合有最大的分類識(shí)別率依次迭代，直至識(shí)別率開始下降為止用“l(fā)eave-one-out”方法估計(jì)平均識(shí)別率：用N-1個(gè)樣本判斷余下一個(gè)的類別，N次取平均特征選擇第29頁，共31頁，2022年，5月20日，6點(diǎn)28分，星期四6.5 討論特征的選擇與提取是模式識(shí)別中重要而困難的一步模式識(shí)別的第一步：分析各種特征的有效性并選出最有代表性的特征降低特征維數(shù)在很多情況下