第八章特性提取

TableofContents8.1

基本概念特征選擇與提取是模式識(shí)別中重要而困難的一個(gè)環(huán)節(jié)：分析各種特征的有效性并選出最有代表性的特征是模式識(shí)別系統(tǒng)設(shè)計(jì)的關(guān)鍵步驟。降低特征維數(shù)在很多情況下是有效設(shè)計(jì)分類器的重要課題。計(jì)算上更易實(shí)現(xiàn)。消除特征間的相關(guān)性，使新特征更有利于分類。引言數(shù)據(jù)獲取預(yù)處理特征提取

與選擇分類決策分類器

設(shè)計(jì)信號(hào)空間特征空間xa8.1.1三大類特征三大類特征：物理、結(jié)構(gòu)和數(shù)學(xué)特征物理和結(jié)構(gòu)特征：易于為人的直覺感知，但有時(shí)難于定量描述，因而不易用于機(jī)器判別。數(shù)學(xué)特征：易于用機(jī)器定量描述和判別，如基于統(tǒng)計(jì)的特征。討論的重點(diǎn)是根據(jù)學(xué)習(xí)樣本來選擇和提取數(shù)學(xué)特征，而物理和結(jié)構(gòu)特征的測(cè)量與分析涉及研究對(duì)象本身的物理規(guī)律。引言8.1.2有關(guān)特征的基本概念特征形成(acquisition)：信號(hào)獲取或測(cè)量→原始測(cè)量，其值域稱為測(cè)量空間：對(duì)象表示x=測(cè)量空間的點(diǎn)原始特征：通過基本計(jì)算產(chǎn)生基本特征y實(shí)例：數(shù)字圖象中的各像素灰度值人體的各種生理指標(biāo)原始測(cè)量和原始特征分析：原始測(cè)量不能反映對(duì)象（類別）本質(zhì)高維原始特征不利于分類器設(shè)計(jì)：計(jì)算量大，數(shù)據(jù)冗余，樣本分布十分稀疏。引言特征的選擇與提取兩類提取有效信息、壓縮特征空間的方法：特征提取和特征選擇特征提取(extraction)：用映射（或變換）的方法把高維原始特征變換為較少的新特征。特征選擇(selection)

：從原始特征中挑選出一些最有代表性、分類性能最好的特征。特征的選擇與提取與具體問題有很大關(guān)系，目前沒有理論能給出對(duì)任何問題都有效的特征選擇與提取方法。引言特征的選擇與提取舉例細(xì)胞圖像自動(dòng)分類：原始測(cè)量：（正常與異常）細(xì)胞的數(shù)字圖像原始特征（特征的形成，找到一組代表細(xì)胞性質(zhì)的特征）：細(xì)胞面積，胞核面積，形狀系數(shù)，光密度，核內(nèi)紋理，核漿比等等壓縮特征：原始特征的維數(shù)仍很高，需壓縮以便于分類特征選擇：挑選最有分類信息的特征，方法有：專家知識(shí)，數(shù)學(xué)方法特征提?。簲?shù)學(xué)變換，消除特征之間的相關(guān)性。傅立葉變換或小波變換用PCA方法作特征壓縮引言8.2基于類別可分性判據(jù)的特征提取特征提取：用映射（或變換）的方法把高維原始特征變換為較少的新特征。線性變換：特征有效性=類別可分性

類別可分性判據(jù)J：衡量不同特征及其組合對(duì)分類是否有效的定量準(zhǔn)則基于可分性判據(jù)的特征提取，就是求最優(yōu)變換W*基于距離可分性判據(jù)的特征提取樣本類間

離散度矩陣樣本類內(nèi)

離散度矩陣類間可分離性判據(jù)可分性判據(jù)8.3主成分分析方法特征提?。河糜成洌ɑ蜃儞Q）的方法把高維原始特征變換為較少的新特征主成分分析PCA(PrincipleComponentAnalysis)方法：K.Pearson提出，從一組特征中計(jì)算出一組按重要性排列的新特征，它們是原特征的線性組合，并且相互之間不相關(guān)。第一主成分變換特征

提取構(gòu)造拉格朗日函數(shù)：第一主成分變換特征

提取最優(yōu)解推廣特征

提取數(shù)據(jù)中大部分信息集中在較少的幾個(gè)主成分上根據(jù)給定的比例，選擇適當(dāng)數(shù)目的主成分作為樣本的新特征8.4K-L(Karhunen-Loeve)變換特征提取：

用映射（或變換）的方法把高維原始特征變換為較少的新特征K-L(Karhunen-Loeve)變換：

特征降維變換后，不能完全地表示原有的對(duì)象，信息總會(huì)有損失。希望找到一種信息能量最為集中的的變換方法，使降維后信息損失最小。最優(yōu)正交線性變換。K-L變換（展開）離散K-L變換：對(duì)（隨機(jī)）向量x用確定的完備正交歸一向量組（系）uj展開特征

提取組合系數(shù)有限項(xiàng)K-L展開的均方誤差用有限項(xiàng)估計(jì)x

：該估計(jì)的均方誤差：特征

提取記矩陣則求解最小均方誤差正交基用Lagrange乘子法，得到：結(jié)論：以相關(guān)矩陣R的d個(gè)本征向量為基向量來展開x時(shí)，其均方誤差為：K-L變換：當(dāng)取矩陣R的d個(gè)最大本征值對(duì)應(yīng)的本征向量來展開x時(shí)，其截?cái)嗑秸`差，在所有用d維正交坐標(biāo)系展開中最小。這d個(gè)本征向量組成的正交坐標(biāo)系稱作x所在的D維空間的d維K-L變換坐標(biāo)系，x在K-L坐標(biāo)系上的展開系數(shù)向量y稱作x的K-L變換特征

提取K-L變換的表示K-L變換的向量展開表示：K-L變換的矩陣表示：特征

提取K-L變換的性質(zhì)K-L變換是信號(hào)的最佳壓縮表示，誤差最小。y的相關(guān)矩陣是對(duì)角矩陣，即各分量互不相關(guān)。特征

提取K-L坐標(biāo)系將相關(guān)函數(shù)矩陣對(duì)角化K-L坐標(biāo)系將相關(guān)函數(shù)矩陣對(duì)角化，即通過K-L變換消除原有向量x的各分量間的相關(guān)性，從而有可能去掉那些帶有較少信息的分量以達(dá)到降低特征維數(shù)的目的。特征

提取K-L變換圖解x1x2u2u1二次

曲線方程標(biāo)準(zhǔn)二次

曲線方程特征

提取等概率密度軌跡K-L變換的數(shù)據(jù)壓縮例解以2x1變換為例，有兩個(gè)本證向量，取變換矩陣U=[u1]，則x的K-L變換y為：

y=UTx=u1Tx=y1變換的能量損失為特征

提取未知類別樣本的K-L變換常用總體樣本的協(xié)方差矩陣C=E[(x-μ)(x-μ)T]

進(jìn)行K-L變換，K-L坐標(biāo)系U=[u1,u2,...,ud]按照C的本征值的下降次序選擇。例：設(shè)一樣本集的協(xié)方差矩陣是：

求最優(yōu)2x1特征提取器U

解答：計(jì)算特征值及特征向量[V,D]=eig(C);

特征值D=[24.736,2.263]T,特征向量:

由于λ1>λ2，故最優(yōu)2x1特征提取器

此時(shí)的K-L變換式為：特征

提取8.5

討論特征的選擇與提取是模式識(shí)別中重