模式識別-第11講-基于K-L展開式的特征提取

1、 模式識別授課教師 薛耀紅第11講 基于K-L變換的特征提取回顧：回顧： 兩類提取有效信息、壓縮特征空間的方法： 特征提取 (extraction)：用映射（或變換）的方法把原始特征變換為較少的新特征 特征選擇(selection) ：從原始特征中挑選出一些最有代表性，分類性能最好的特征 常見類別可分離性判據(jù)：常見類別可分離性判據(jù)： 基于距離的可分性判據(jù)基于距離的可分性判據(jù) 基于概率密度分布的判據(jù)基于概率密度分布的判據(jù)基于基于K KL L展開式的特征提取展開式的特征提取 K-L變換，是一種常用的變換，是一種常用的，K-L變變換常用來作為換常用來作為，這里我們用它作，這里我們用它作。 學(xué)習(xí)這一節(jié)

2、主要要掌握以下幾個問題：學(xué)習(xí)這一節(jié)主要要掌握以下幾個問題： 1什么是正交變換；什么是正交變換； 2K-L變換是一種最佳的正交變換，要弄清是變換是一種最佳的正交變換，要弄清是什么意義的最佳，也就是說它最佳的定義；什么意義的最佳，也就是說它最佳的定義； 3K-L變換的性質(zhì)；變換的性質(zhì)； 4K-L變換的重要應(yīng)用。變換的重要應(yīng)用。 基于基于K KL L展開式的特征提取展開式的特征提取 變換是一種工具，它的用途歸根結(jié)底是用來變換是一種工具，它的用途歸根結(jié)底是用來描述事物描述事物，特別是描述信號用的。例如我們看到一個復(fù)雜的時序信特別是描述信號用的。例如我們看到一個復(fù)雜的時序信號，希望能夠?qū)λM行描述。描述

3、事物的基本方法之一號，希望能夠?qū)λM行描述。描述事物的基本方法之一是將復(fù)雜的事物化成簡單事物的組合是將復(fù)雜的事物化成簡單事物的組合, 或?qū)ζ溥M行分解，或?qū)ζ溥M行分解，分析其組成的成分。分析其組成的成分。 例如對一波形，我們希望知道它是快速變化的例如對一波形，我們希望知道它是快速變化的(高頻高頻)，還是緩慢變化的還是緩慢變化的(低頻低頻)，或是一成不變的，或是一成不變的(常量常量)。如果。如果它既有快速變化的成分，又有緩慢變化的成分，又有常它既有快速變化的成分，又有緩慢變化的成分，又有常量部分，那么我們往往希望量部分，那么我們往往希望將它的成分析取出來將它的成分析取出來。這時。這時我們就要用到我

4、們就要用到基于基于K KL L展開式的特征提取展開式的特征提取 變換的變換的，例如用大尺，例如用大尺子度量大的東西，用小尺子度量小的東西，在子度量大的東西，用小尺子度量小的東西，在信號處理中用高頻，低頻或常量來衡量一個信信號處理中用高頻，低頻或常量來衡量一個信號中的各種不同成分。對某一套完整的工具就號中的各種不同成分。對某一套完整的工具就稱為某種變換。稱為某種變換。 如如就是用一套隨時間正弦、余弦變就是用一套隨時間正弦、余弦變化的信號作為度量工具，這些正弦，余弦信號化的信號作為度量工具，這些正弦，余弦信號的頻率是各不相同的，才能度量出信號中相應(yīng)的頻率是各不相同的，才能度量出信號中相應(yīng)的不同頻率

5、成分。的不同頻率成分。基于基于K KL L展開式的特征提取展開式的特征提取圖6-1圖6-2a圖6-2bq例如，圖例如，圖6-1中的信號只有一個單一頻率的簡諧信號，而中的信號只有一個單一頻率的簡諧信號，而圖圖6-2(a)中信號就不是一個簡諧信號所描述的，它起碼可中信號就不是一個簡諧信號所描述的，它起碼可以分解成圖以分解成圖6-2中的兩個成分，一是基波，另一是三次諧波。中的兩個成分，一是基波，另一是三次諧波?；诨贙 KL L展開式的特征提取展開式的特征提取 由此可以看出，對事物可以有不同的描述方法，如圖由此可以看出，對事物可以有不同的描述方法，如圖6-2(a)是對信號的是對信號的，而圖，而圖6

6、-2(b)則利用則利用，得到該事物的得到該事物的。當(dāng)將一事物從一種描述轉(zhuǎn)換成。當(dāng)將一事物從一種描述轉(zhuǎn)換成另一種描述時，就要用不同的工具，因而另一種描述時，就要用不同的工具，因而。 為了對復(fù)雜事物進行經(jīng)濟有效的描述，我們希望為了對復(fù)雜事物進行經(jīng)濟有效的描述，我們希望將其分解將其分解成相互獨立的成分成相互獨立的成分，譬如我們分析其快速變化的成分時，譬如我們分析其快速變化的成分時，就希望它只不再混雜其它成分。就希望它只不再混雜其它成分。 傅里葉變換為例，希望它分析出某種頻率的成分，就不傅里葉變換為例，希望它分析出某種頻率的成分，就不要包含其它任何頻率的成分。這就要求，要包含其它任何頻率的成分。這就要

7、求，作為變換的工具作為變換的工具中的每個成分是中的每個成分是的，用其中某一個工具就只能從的，用其中某一個工具就只能從信號中分析出一種成分，而分析不出其它成分。信號中分析出一種成分，而分析不出其它成分?；诨贙 KL L展開式的特征提取展開式的特征提取 用變換對信號進行分析，所使用的數(shù)學(xué)工具是用變換對信號進行分析，所使用的數(shù)學(xué)工具是。點積的。點積的實質(zhì)就是兩個信號中相同成分之間乘積之總和。圖實質(zhì)就是兩個信號中相同成分之間乘積之總和。圖6-3(a)中是中是兩個隨時間連續(xù)變化的信號，它們之間的點積運算定義為兩個隨時間連續(xù)變化的信號，它們之間的點積運算定義為圖6-3a在這里同一成分是指同一時刻在這里

8、同一成分是指同一時刻t兩個信號的值兩個信號的值F(t)與與G(t)。積分就是。積分就是在在。基于基于K KL L展開式的特征提取展開式的特征提取圖圖6-3(b)中的向量中的向量A與與B在一個二維空間定義，它們兩者分別含有成在一個二維空間定義，它們兩者分別含有成分為分為(a1,a2)與與(b1,b2)，a1與與b1是兩者的同一種成分，是兩者的同一種成分，a2與與b2則是則是另一種成分。故它們的點積定義為另一種成分。故它們的點積定義為a1b1+a2b2，在這種條件下就不在這種條件下就不需要積分，而只是需要積分，而只是圖6-3b基于基于K KL L展開式的特征提取展開式的特征提取點積運算的結(jié)果是一個

9、數(shù)值，或大于零，小于零或等于零點積運算的結(jié)果是一個數(shù)值，或大于零，小于零或等于零等于零的情況在圖等于零的情況在圖6-3(b)中出現(xiàn)在中出現(xiàn)在A與與B之間夾角為之間夾角為90的的情況，這表明情況，這表明B中沒有中沒有A的成分，的成分，A中也沒有中也沒有B的成分，因的成分，因此又稱此又稱。由此我們知道作為一種變換，由此我們知道作為一種變換，如果這種變換中的每一種成分如果這種變換中的每一種成分與其它成分都正交時，它們之間的關(guān)系就相互獨立了與其它成分都正交時，它們之間的關(guān)系就相互獨立了，每一，每一種成分的作用是其它成分所不能代替的。拿傅里葉變換來說，種成分的作用是其它成分所不能代替的。拿傅里葉變換來說

10、，頻率為頻率為f的成分只能靠變換頻率為的成分只能靠變換頻率為f的成分去析取。的成分去析取。另一方面也說明了這套變換必須是完備的，也就是它必須包另一方面也說明了這套變換必須是完備的，也就是它必須包含一切必要的成分，例如必須有基波的任何一次整數(shù)倍頻率含一切必要的成分，例如必須有基波的任何一次整數(shù)倍頻率的諧波，否則就會對信號分析不全面。的諧波，否則就會對信號分析不全面。基于基于K KL L展開式的特征提取展開式的特征提取上式中要求上式中要求uiTuj=1，是考慮到，是考慮到ui是作為度量事物的單位應(yīng)是作為度量事物的單位應(yīng)用的，它本身的模應(yīng)該為用的，它本身的模應(yīng)該為1，ui又稱為又稱為。而被分解后。而

11、被分解后的任何事物的任何事物(在此指信號在此指信號)可等成各種成分之和。故任一信號可等成各種成分之和。故任一信號X可表示成：可表示成： 其中其中ci是相應(yīng)基是相應(yīng)基ui的相應(yīng)成分。的相應(yīng)成分。 綜合以上分析，我們可以將對這種變換的定義總結(jié)為：綜合以上分析，我們可以將對這種變換的定義總結(jié)為：如果將這種變換中的每一成分，用一個向量如果將這種變換中的每一成分，用一個向量ui表示，表示，i是其是其下標，原理上可以到下標，原理上可以到，則我們要求的正交變換可表示成：，則我們要求的正交變換可表示成：基于基于K KL L展開式的特征提取展開式的特征提取 基于基于Karhunen-Loeve變換的特征提取方法

12、是變換的特征提取方法是由于樣本的描述都是離散的向量，因此我們只討論由于樣本的描述都是離散的向量，因此我們只討論K-L變換的離散情況。變換的離散情況。 K-L變換：對給定一個變換：對給定一個D維訓(xùn)練樣本集（原始特征空維訓(xùn)練樣本集（原始特征空間），進行特征空間的降維，降到間），進行特征空間的降維，降到d維，維，d2，故最優(yōu)2x1特征提取器此時的K-L變換式為：19.59.59.57.5C0.8750.4820.4820.875V10.8750.482Uu120.8750.482TTxUxyxux基于基于K KL L變換的數(shù)據(jù)壓縮舉例變換的數(shù)據(jù)壓縮舉例i給出樣本數(shù)據(jù)如下：給出樣本數(shù)據(jù)如下：試用試用K

13、-LK-L變換作一維數(shù)據(jù)壓縮。變換作一維數(shù)據(jù)壓縮。：1 1）求總體均值向量；）求總體均值向量；2 2）求）求產(chǎn)生矩陣產(chǎn)生矩陣 ； 3 3）求產(chǎn)生矩陣的特征值）求產(chǎn)生矩陣的特征值i 及特征向量及特征向量 ； 4 4）按）按i排序，確定變換矩陣排序，確定變換矩陣W； 5 5）利用）利用 求新的一維樣本。求新的一維樣本。54,45,56,65,5556,65,54,45,55TyW xK KL L變換的一些典型應(yīng)用變換的一些典型應(yīng)用上面我們從數(shù)學(xué)的角度分析了上面我們從數(shù)學(xué)的角度分析了K-L變換的變換的性質(zhì)。歸結(jié)起來，性質(zhì)。歸結(jié)起來，。下面結(jié)合一些應(yīng)用實例來下面結(jié)合一些應(yīng)用實例來說明如何運用說明如何運

14、用K-L變換的這一性質(zhì)。變換的這一性質(zhì)。K KL L變換的一些典型應(yīng)用變換的一些典型應(yīng)用以人臉圖象這個例子看，以人臉圖象這個例子看，K-L變換的降維效果是十分明顯的。變換的降維效果是十分明顯的。對一幅人臉圖象，如果它由對一幅人臉圖象，如果它由M行與行與N列象素組成，則原始的特列象素組成，則原始的特征空間維數(shù)就應(yīng)為征空間維數(shù)就應(yīng)為MN。而如果在。而如果在K-L變換以后只用到變換以后只用到30個個基，那么維數(shù)就降至基，那么維數(shù)就降至30，由此可見降維的效果是極其明顯的。，由此可見降維的效果是極其明顯的。另一方面降維與數(shù)據(jù)壓縮又是緊密聯(lián)系在一起的。譬如原訓(xùn)另一方面降維與數(shù)據(jù)壓縮又是緊密聯(lián)系在一起的。

15、譬如原訓(xùn)練樣本集的數(shù)量為練樣本集的數(shù)量為V，而現(xiàn)采用，而現(xiàn)采用30個基，每個基實質(zhì)上是一個基，每個基實質(zhì)上是一幅圖象，再加上每幅圖像的描述參數(shù)，數(shù)據(jù)量是大大降低，幅圖象，再加上每幅圖像的描述參數(shù)，數(shù)據(jù)量是大大降低，尤其是圖象數(shù)很大時，壓縮量是十分明顯的。尤其是圖象數(shù)很大時，壓縮量是十分明顯的。 1降維與壓縮降維與壓縮K KL L變換的一些典型應(yīng)用變換的一些典型應(yīng)用使用使用K-L變換不僅僅起到降維與壓縮數(shù)據(jù)的作用，更重要的變換不僅僅起到降維與壓縮數(shù)據(jù)的作用，更重要的是是每個描述量都有明確的意義每個描述量都有明確的意義，因而改變某一個參數(shù)就可讓，因而改變某一個參數(shù)就可讓圖象按所需要的方向變化。在沒

16、有使用圖象按所需要的方向變化。在沒有使用K-L變換的原數(shù)據(jù)集變換的原數(shù)據(jù)集中對圖象的描述量是每個象素的灰度值，而孤立地改變某個中對圖象的描述量是每個象素的灰度值，而孤立地改變某個象素的灰度值是沒有意義的。象素的灰度值是沒有意義的。而在使用而在使用K-L變換后，每個描述量都有其各自的作用。因此變換后，每個描述量都有其各自的作用。因此通過改變這些參數(shù)的值就可實現(xiàn)對模型的有效描述，這在通過改變這些參數(shù)的值就可實現(xiàn)對模型的有效描述，這在圖象生成中是很有用的。因此利用圖象生成中是很有用的。因此利用K-L變換構(gòu)造出變換構(gòu)造出可控制的，可控制的，連續(xù)可調(diào)的參數(shù)模型，連續(xù)可調(diào)的參數(shù)模型，這在人臉識別與人臉圖象

17、重構(gòu)采方這在人臉識別與人臉圖象重構(gòu)采方面的應(yīng)用是十分有效的。面的應(yīng)用是十分有效的。2構(gòu)造參數(shù)模型構(gòu)造參數(shù)模型K KL L變換的一些典型應(yīng)用變換的一些典型應(yīng)用圖像重構(gòu)K KL L變換的一些典型應(yīng)用變換的一些典型應(yīng)用是一個著名的方法。其原理：是一個著名的方法。其原理： 首先搜集要識別的人的人臉圖象，建立人臉圖象庫；首先搜集要識別的人的人臉圖象，建立人臉圖象庫； 利用利用K-L變換變換確定相應(yīng)確定相應(yīng)的的“特征臉特征臉”圖像圖像， 再反過來用再反過來用這些這些“特征臉特征臉”圖像圖像對對人臉圖象庫中的人臉圖人臉圖象庫中的人臉圖象進行象進行K-L變換變換，從而得到，從而得到每幅圖象的參數(shù)向量每幅圖象的

18、參數(shù)向量，并將每幅圖，并將每幅圖的參數(shù)向量存起來。的參數(shù)向量存起來。在識別時，先對一張所輸入的臉圖象進行在識別時，先對一張所輸入的臉圖象進行必要的規(guī)范化必要的規(guī)范化，再，再進行進行K-L變換分析，得到其變換分析，得到其參數(shù)向量參數(shù)向量。將這個參數(shù)向量與庫中每幅圖的參數(shù)向量進行將這個參數(shù)向量與庫中每幅圖的參數(shù)向量進行比較比較，找到最，找到最相似的參數(shù)向量，也就等于找到最相似的人臉，從而認為所輸相似的參數(shù)向量，也就等于找到最相似的人臉，從而認為所輸入的人臉圖象就是庫內(nèi)該人的一張人臉入的人臉圖象就是庫內(nèi)該人的一張人臉, 完成了識別過程。完成了識別過程。 3人臉識別人臉識別 利用特征臉法進行人臉識別的

19、過程由訓(xùn)練階段和識別階段兩個階段組成 其具體步驟如下： 訓(xùn)練階段 第一步：假設(shè)訓(xùn)練集有200個樣本，由灰度圖組成，每個樣本大小為M*N 寫出訓(xùn)練樣本矩陣： 其中向量xi為由第i個圖像的每一列向量堆疊成一列的MN維列向量,即把矩陣向量化,如下圖所示：Txxxx20021,.,訓(xùn)練階段 如：第i個圖像矩陣為 則xi為987654321963852741訓(xùn)練階段 第二步：計算平均臉 計算訓(xùn)練圖片的平均臉：20012001iiix訓(xùn)練階段 第三步：計算差值臉 計算每一張人臉與平均臉的差值ixdii訓(xùn)練階段 第四步：構(gòu)建協(xié)方差矩陣TiTiiAAddC20012001200120021,.,dddA訓(xùn)練階

20、段 第五步：求協(xié)方差矩陣的特征值和特征向量，構(gòu)造特征臉空間 協(xié)方差矩陣的維數(shù)為MN*MN，考慮其維數(shù)較大，計算量比較大，所以采用奇異值分解(SingularValue Decomposition ,SVD)定理，通過求解 的特征值和特征向量來獲得 的特征值和特征向量。TAAAAT訓(xùn)練階段 求出 的特征值 及其正交歸一化特征向量 根據(jù)特征值的貢獻率選取前p個最大特征值及其對應(yīng)的特征向量 貢獻率是指選取的特征值的和與占所有特征值的和比，即：iiAATiiiiaiiipiii20011訓(xùn)練階段 一般取 即使訓(xùn)練樣本在前p個特征向量集上的投影有99%的能量 求出原協(xié)方差矩陣的特征向量 則“特征臉”空間

21、為： %99a),.,2 , 1(1piAvuiiipuuuw，,.,21訓(xùn)練階段 第六步 將每一幅人臉與平均臉的差值臉矢量投影到“特征臉”空間，即200,.,2 , 1idwiTi識別階段 第一步：將待識別的人臉圖像 與平均臉的差值臉投影到特征臉空間，得到其特征向量表示：Tw識別階段 第二步：定義閾值,1max, ,1,2,.,2002iji ji j 識別階段 第三步：采用歐式距離來計算 與每個人臉的距離i200,.,2 , 122iii識別階段 為了區(qū)分人臉和非人臉，還需要計算原始圖像 與由特征臉空間重建的圖像 之間的距離 其中：f22fwf識別階段 根據(jù)以下規(guī)則對人臉進行分類： 1)若

22、 ，則輸入圖像不是人臉圖像； 2)若 ，且 ， 則輸入圖像包含未知人臉； 3)若 ，且 ， 則輸入圖像為庫中第k個人的人臉。iiii2D-PCA 2D-PCA是在基本PCA算法上的改進，主要不同是協(xié)方差矩陣構(gòu)造方法不同，選取前P個最大特征值和特征向量也有所不同。訓(xùn)練階段 1 設(shè)訓(xùn)練樣本集合為： 其中： i表示第i個人，即類別數(shù)， j表示第i個人的第j幅圖像 N表示識別的人數(shù)， K表示每個人包含K幅圖像， M表示樣本總數(shù)且M=NK,1,2,.,1,2,.,im njsRiN JK訓(xùn)練階段 2 計算所有訓(xùn)練樣本的平均圖像NiKjijSMS111訓(xùn)練階段 3 計算樣本的協(xié)方差矩陣： SSSSMGijTNiKjij111訓(xùn)練階段 4 求出協(xié)方差矩陣的特征值，選取其中最大特征值 對應(yīng)的正交特征向量 作為投影空間。 用投影矩陣Y的總離散