模式識別 課件 第9章 特征提取

第9章特征提取主要內(nèi)容9.1概述9.2基于類別可分性判據(jù)的特征提取9.3K-L變換9.4其他降維方法簡介對研究對象進行觀測，獲取原始特征的過程稱為特征提取，跟具體問題密切相關(guān)對原始特征進行映射，映射后降低維數(shù)，消除或減少特征之間的相關(guān)性，或改變表現(xiàn)形式，以利于分類，稱為特征提取，也稱作特征變換線性變換和非線性變換9.1概述特征提取根據(jù)訓(xùn)練樣本求適當(dāng)?shù)腤，使某種特征變換的準(zhǔn)則最優(yōu)。9.1概述線性特征變換

關(guān)鍵：確定變換陣W非線性特征變換

高維數(shù)據(jù)的低維可視化9.2基于類別可分性判據(jù)的特征提取根據(jù)判據(jù)求解最優(yōu)W核心思想例：基于散布矩陣可分性判據(jù)的特征提取

9.2基于類別可分性判據(jù)的特征提取

提取過程僅取第一個特征值，即是Fisher線性判別法需要已知類別的數(shù)據(jù)，監(jiān)督降維方法9.2基于類別可分性判據(jù)的特征提取

例題9.2基于類別可分性判據(jù)的特征提取

9.2基于類別可分性判據(jù)的特征提取

9.2基于類別可分性判據(jù)的特征提取簡易解法：與前面所求只差一系數(shù)，降維后兩類完全可分，只是特征比例變化9.3K-L變換

用有限的m項來估計x，即：9.3K-L變換（1）定義均方誤差推導(dǎo)求均方誤差取極值時的u

9.3K-L變換總結(jié)例題自相關(guān)矩陣求特征值

9.3K-L變換求特征向量變換矩陣U計算K-L變換9.3K-L變換U為正交矩陣變換后的向量z的自相關(guān)矩陣，是對角矩陣，且對角元素就是x的自相關(guān)矩陣的特征值顯然，通過K-L變換，消除了原有向量x的各分量之間的相關(guān)性，即變換后的數(shù)據(jù)z的各分量之間的信息是相互獨立的。9.3K-L變換（2）K-L變換的性質(zhì)9.3K-L變換（3）信息量分析協(xié)方差矩陣作為產(chǎn)生矩陣

采用大特征值對應(yīng)的特征向量組成變換矩陣，能對應(yīng)地保留原向量中方差大的成分，K-L變換起到了減小相關(guān)性、突出差異性的效果，稱之為主成分分析。n個互不相關(guān)的主成分包含了原數(shù)據(jù)中的全部信息主成分的方差之和：

n個主成分的貢獻率依次遞減，第一主成分貢獻率最大，數(shù)據(jù)的大部分信息集中在較少的幾個主成分上累積貢獻率：反映前m個主成分綜合原始變量信息的能力選幾個主成分代替原始變量合適？取較小的m，使得前m個主成分的累積貢獻率不低于某一水平（如85%以上），達到降維的目的。貢獻率9.3K-L變換主成分的特點主成分是原變量的線性組合；各個主成分之間互不相關(guān)；主成分按照方差從大到小依次排列，第一主成分對應(yīng)最大的方差（特征值）；每個主成分的均值為0，其方差為協(xié)方差陣對應(yīng)的特征值；不同的主成分軸之間相互正交。9.3K-L變換

設(shè)計思路9.3K-L變換（4）仿真實現(xiàn)獲取訓(xùn)練數(shù)據(jù)，計算其協(xié)方差矩陣、協(xié)方差矩陣的特征值、特征向量，構(gòu)成降維變換矩陣，對訓(xùn)練數(shù)據(jù)降維，并利用主成分重建原始數(shù)據(jù)，觀察原始數(shù)據(jù)和重建數(shù)據(jù)的差別。程序clc,clear;X=[-5-5;-5-4;-4-5;-5-6;-6-5;55;54;45;56;65];[N,n]=size(X);V=cov(X)*(N-1)/N;[coefflamda]=eigs(V);[lamda_sort,index]=sort(diag(lamda),'descend');lamda=lamda(index,index);coeff=coeff(:,index);result1(1,:)={'特征值','特征向量'};fori=1:nresult1(1+i,1)=num2cell(lamda(i,i));endresult1(2:n+1,2)=(num2cell(coeff,1))';9.3K-L變換score=coeff'*X';result2(1,:)={'各樣本第一主成分','各樣本第二主成分'};result2(2:N+1,:)=(num2cell(score(:,1:N)))';figure;plot(score(1,:),score(2,:),'ko'),title('K-L變換');xlabel('第一主成分得分');ylabel('第二主成分得分');reconstructed=score'*coeff';9.3K-L變換result1=

'特征值''特征向量'

[50.4000][0.707106781186548;0.707106781186548]

[0.4000]

[-0.707106781186548;0.707106781186548]運行結(jié)果result2=

'各樣本第一主成分''各樣本第二主成分'

[-7.0711]

[0]

[-6.3640]

[0.7071]

[-6.3640]

[-0.7071]

[-7.7782]

[-0.7071]

[-7.7782]

[0.7071]

[7.0711]

[0]

[6.3640]

[-0.7071]

[6.3640]

[0.7071]

[7.7782]

[0.7071]

[7.7782]

[-0.7071]9.3K-L變換reconstructed=-5.0000-5.0000-5.0000-4.0000-4.0000-5.0000-5.0000-6.0000-6.0000-5.00005.00005.00005.00004.00004.00005.00005.00006.00006.00005.00009.3K-L變換9.3K-L變換（5）奇異值分解

用前m個大的奇異值近似描述矩陣X降維9.3K-L變換

9.4其他降維方法簡介

（1）獨立成分分析ICA9.4其他降維方法簡介fisheriris數(shù)據(jù)獨立成分的兩兩分布獨立成分的個數(shù)和混合信號的維數(shù)一致，用于降維時，不能確定選擇哪些獨立成分作為降維后的數(shù)據(jù)。

9.4其他降維方法簡介基于ICA的fisheriris數(shù)據(jù)降維9.4其他降維方法簡介SparseFiltering，從特征分布的稀疏性角度對特征進行評價，并定義了相應(yīng)的目標(biāo)函數(shù)，通過優(yōu)化算法實現(xiàn)特征提取非線性特征變換（2）稀疏濾波對fisheriris數(shù)據(jù)進行二維特征提取9.4其他降維方法簡介MultidimensionalScaling，MDS，一種經(jīng)典的數(shù)據(jù)映射方法，根據(jù)樣本之間的距離關(guān)系或不相似度關(guān)系在低維空間生成對樣本的一種表示。度量型MDS：把樣本間的距離或不相似度看做一種定量的度量，在低維空間里的表示能夠盡可能保持這種度量關(guān)系。非度量型MDS，也稱作順序MDS，把樣本間的距離或不相似度關(guān)系僅看作一種定性關(guān)系，在低維空間里的表示只需保持這種關(guān)系的順序?？捎迷趯Ψ菙?shù)值對象的研究中，在生物學(xué)、醫(yī)學(xué)、心理學(xué)、社會學(xué)、經(jīng)濟、金融等方面都有很多應(yīng)用。（3）多維尺度法9.4其他降維方法簡介經(jīng)典尺度法

問題描述

構(gòu)成矩陣：9.4其他降維方法簡介求解

求樣本矩陣X：

9.4其他降維方法簡介經(jīng)典尺度法實現(xiàn)數(shù)據(jù)降維度量型MDS9.4其他降維方法簡介

非度量型MDS9.4其他降維方法簡介

9.4其他降維方法簡介等度量映射213當(dāng)樣本在高維空間按照某種復(fù)雜結(jié)構(gòu)分布時，直接計算兩個樣本點之間的歐氏距離，損失了樣本分布的結(jié)構(gòu)信息。測地距離（GeodesicDistance）：