第九章 基于K-L展開式的特征提取

模式識(shí)別

第九章特征的選擇與提取

回顧：兩類提取有效信息、壓縮特征空間的方法：特征提取

(extraction)：用映射（或變換）的方法把原始特征變換為較少的新特征特征選擇(selection)

：從原始特征中挑選出一些最有代表性，分類性能最好的特征常見類別可分離性判據(jù)：－基于距離的可分性判據(jù)－基于概率密度分布的判據(jù)9.3基于K－L展開式的特征提取K-L變換，是一種常用的正交變換，K-L變換常用來作為數(shù)據(jù)壓縮，這里我們用它作降維。學(xué)習(xí)這一節(jié)主要要掌握以下幾個(gè)問題：1．什么是正交變換；2．K-L變換是一種最佳的正交變換，要弄清是什么意義的最佳，也就是說它最佳的定義；3．K-L變換的性質(zhì)；4．K-L變換的重要應(yīng)用。

§9.3基于K－L展開式的特征提取正交變換概念變換是一種工具，它的用途歸根結(jié)底是用來描述事物，特別是描述信號(hào)用的。例如我們看到一個(gè)復(fù)雜的時(shí)序信號(hào)，希望能夠?qū)λM(jìn)行描述。描述事物的基本方法之一是將復(fù)雜的事物化成簡(jiǎn)單事物的組合,或?qū)ζ溥M(jìn)行分解，分析其組成的成分。例如對(duì)一波形，我們希望知道它是快速變化的(高頻)，還是緩慢變化的(低頻)，或是一成不變的(常量)。如果它既有快速變化的成分，又有緩慢變化的成分，又有常量部分，那么我們往往希望將它的成分析取出來。這時(shí)我們就要用到變換?！?.3基于K－L展開式的特征提取正交變換概念變換的實(shí)質(zhì)是一套度量用的工具，例如用大尺子度量大的東西，用小尺子度量小的東西，在信號(hào)處理中用高頻，低頻或常量來衡量一個(gè)信號(hào)中的各種不同成分。對(duì)某一套完整的工具就稱為某種變換。如傅里葉變換就是用一套隨時(shí)間正弦、余弦變化的信號(hào)作為度量工具，這些正弦，余弦信號(hào)的頻率是各不相同的，才能度量出信號(hào)中相應(yīng)的不同頻率成分?！?.3基于K－L展開式的特征提取圖6-1圖6-2a圖6-2b例如，圖6-1中的信號(hào)只有一個(gè)單一頻率的簡(jiǎn)諧信號(hào)，而圖6-2(a)中信號(hào)就不是一個(gè)簡(jiǎn)諧信號(hào)所描述的，它起碼可以分解成圖6-2中的兩個(gè)成分，一是基波，另一是三次諧波?！?.3基于K－L展開式的特征提取由此可以看出，對(duì)事物可以有不同的描述方法，如圖6-2(a)是對(duì)信號(hào)的一種描述，而圖6-2(b)則利用成分分解，得到該事物的另一種描述。當(dāng)將一事物從一種描述轉(zhuǎn)換成另一種描述時(shí)，就要用不同的工具，因而每一套工具稱為一種變換。為了對(duì)復(fù)雜事物進(jìn)行經(jīng)濟(jì)有效的描述，我們希望將其分解成相互獨(dú)立的成分，譬如我們分析其快速變化的成分時(shí)，就希望它只不再混雜其它成分。傅里葉變換為例，希望它分析出某種頻率的成分，就不要包含其它任何頻率的成分。這就要求，作為變換的工具中的每個(gè)成分是相互獨(dú)立的，用其中某一個(gè)工具就只能從信號(hào)中分析出一種成分，而分析不出其它成分?！?.3基于K－L展開式的特征提取

用變換對(duì)信號(hào)進(jìn)行分析，所使用的數(shù)學(xué)工具是點(diǎn)積。點(diǎn)積的實(shí)質(zhì)就是兩個(gè)信號(hào)中相同成分之間乘積之總和。圖6-3(a)中是兩個(gè)隨時(shí)間連續(xù)變化的信號(hào)，它們之間的點(diǎn)積運(yùn)算定義為圖6-3a在這里同一成分是指同一時(shí)刻t兩個(gè)信號(hào)的值F(t)與G(t)。積分就是在整個(gè)時(shí)間域上求和?！?.3基于K－L展開式的特征提取圖6-3(b)中的向量A與B在一個(gè)二維空間定義，它們兩者分別含有成分為(a1,a2)與(b1,b2)，a1與b1是兩者的同一種成分，a2與b2則是另一種成分。故它們的點(diǎn)積定義為a1b1+a2b2，在這種條件下就不需要積分，而只是簡(jiǎn)單求和。圖6-3b§9.3基于K－L展開式的特征提取點(diǎn)積運(yùn)算的結(jié)果是一個(gè)數(shù)值，或大于零，小于零或等于零等于零的情況在圖6-3(b)中出現(xiàn)在A與B之間夾角為90°的情況，這表明B中沒有A的成分，A中也沒有B的成分，因此又稱相互正交。由此我們知道作為一種變換，如果這種變換中的每一種成分與其它成分都正交時(shí)，它們之間的關(guān)系就相互獨(dú)立了，每一種成分的作用是其它成分所不能代替的。拿傅里葉變換來說，頻率為f的成分只能靠變換頻率為f的成分去析取。另一方面也說明了這套變換必須是完備的，也就是它必須包含一切必要的成分，例如必須有基波的任何一次整數(shù)倍頻率的諧波，否則就會(huì)對(duì)信號(hào)分析不全面。§9.3基于K－L展開式的特征提取上式中要求uiTuj=1，是考慮到ui是作為度量事物的單位應(yīng)用的，它本身的模應(yīng)該為1，ui又稱為某一個(gè)基。而被分解后的任何事物(在此指信號(hào))可等成各種成分之和。故任一信號(hào)X可表示成：

其中ci是相應(yīng)基ui的相應(yīng)成分。綜合以上分析，我們可以將對(duì)這種變換的定義總結(jié)為：

如果將這種變換中的每一成分，用一個(gè)向量ui表示，i是其下標(biāo)，原理上可以到∞，則我們要求的正交變換可表示成：§9.3基于K－L展開式的特征提取基于Karhunen-Loeve變換的特征提取方法是以在特征空間分布的樣本特征向量為原始數(shù)據(jù)，通過實(shí)行K-L變換，找到維數(shù)較少的組合特征，達(dá)到降維的目的。由于樣本的描述都是離散的向量，因此我們只討論K-L變換的離散情況。K-L變換：對(duì)給定一個(gè)D維訓(xùn)練樣本集（原始特征空間），進(jìn)行特征空間的降維，降到d維，d<D。也就是說將d+1維以上的成分略去，顯然原信號(hào)會(huì)因此受到一些損失。§9.3基于K－L展開式的特征提取K-L變換的最佳體現(xiàn)在對(duì)給定一個(gè)訓(xùn)練樣本集條件下，能使這種誤差從總體上來說是最小。注意這里講的是總體，這是因?yàn)榻稻S以后，訓(xùn)練樣本集中的每個(gè)樣本數(shù)據(jù)都受到損失，要衡量的是總體效果。這種情況下最常用的指標(biāo)是均方誤差最小，或稱均方誤差的期望值最小。這就是說要找的正交變換能使一組樣本集的均方誤差的期望值為最小?！?.3基于K－L展開式的特征提取K-L變換是一種正交變換，即將一個(gè)向量x，在某一種坐標(biāo)系統(tǒng)中的描述，轉(zhuǎn)換成用另一種基向量組成的坐標(biāo)系來表示。這組基向量是正交的，其中每個(gè)坐標(biāo)基向量用uj表示，j=1,…,∞，因此，一個(gè)向量x可表示成我們將表示的無限多維基向量坐標(biāo)系統(tǒng)改成有限維坐標(biāo)系近似，即：§9.3基于K－L展開式的特征提取我們希望在同樣維數(shù)條件下，使向量X的估計(jì)量誤差最小。確切地說是使所引起的均方誤差為最小。X§9.3基于K－L展開式的特征提取要使均方誤差最小是一個(gè)求極值的問題，即求最佳的正交變換的基ui，i=1,…∞。因此還要滿足變換是正交歸一這個(gè)條件，因此這是一個(gè)求條件極值的問題，一般方法是利用拉格朗日乘子法將條件數(shù)值轉(zhuǎn)換成一個(gè)求無條件極值的問題，實(shí)質(zhì)求解過程是對(duì)拉格朗日函數(shù)g(ui)求偏導(dǎo)而得出的結(jié)果。

§9.3基于K－L展開式的特征提取§9.3基于K－L展開式的特征提取§9.3基于K－L展開式的特征提取用矩陣ψ=E[xxT

]

的前d

個(gè)本征值（從大到小排列）對(duì)應(yīng)的本征向量作為基來展開x

時(shí)，截?cái)嗾`差在所有用d

維正交坐標(biāo)系展開中是最小的。uj

，j=1,2,…,d

張成了新的特征空間.展開系數(shù)cj=ujTx,

j=1,2,…,d

則組成了新的特征向量.§9.3基于K－L展開式的特征提取向量應(yīng)是矩陣的特征值的特征向量，而此時(shí)截?cái)嗾`差為。如將按其大小順序排列，即則取前d項(xiàng)特征值對(duì)應(yīng)的特征向量組成的坐標(biāo)系，可使向量的均方誤差為最小。滿足上述條件的變換就是K-L變換?！?.3基于K－L展開式的特征提取K-L變換的基并沒有固定的形式，它是從對(duì)給定數(shù)據(jù)集{x}進(jìn)行計(jì)算產(chǎn)生的。換句話說，給定的數(shù)據(jù)集不同，得到的K-L變換基函數(shù)也因此而不同。正是因?yàn)樗鼘?duì)給定數(shù)據(jù)集{x}存在依賴關(guān)系，它在降低維數(shù)時(shí)仍能較好地描述數(shù)據(jù)，因此是模式識(shí)別中降低特征空間維數(shù)的有效方法。但是由于它的正交基函數(shù)族是從訓(xùn)練樣本集中計(jì)算出來的，因此并不存在一種對(duì)任何數(shù)據(jù)都適用的K-L變換基，一般的作法是先用一組訓(xùn)練數(shù)據(jù)計(jì)算出K-L變換基，然后用這組基來分析其它數(shù)據(jù)。K－L變換的性質(zhì)K－L變換的性質(zhì)K－L變換的性質(zhì)K－L變換的產(chǎn)生矩陣當(dāng)樣本所屬類別未知時(shí)：x的相關(guān)函數(shù)矩陣x的協(xié)方差矩陣K－L變換的產(chǎn)生矩陣未知類別樣本的K－L變換舉例用總體樣本的協(xié)方差矩陣C=E[(x-μ)(x-μ)T]

進(jìn)行K-L變換，K-L坐標(biāo)系U=[u1,u2,...,ud]按照C的本征值的下降次序選擇例：設(shè)一樣本集的協(xié)方差矩陣是：

求最優(yōu)2x1特征提取器U

解：計(jì)算特征值及特征向量[V,D]=eig(C);

特征值D=[24.736,2.263]T,特征向量: