核函數(shù)在主成分分析中的應(yīng)用技術(shù)條件

1、核函數(shù)在主成分分析中的應(yīng)用技術(shù)條件中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）28-6659-04智能時(shí)代的到來(lái)，模式識(shí)別得到了廣泛的重視和應(yīng)用。支持向量機(jī)（SVM）由于有著堅(jiān)實(shí)的統(tǒng)計(jì)學(xué)理論基礎(chǔ)，能夠?qū)崿F(xiàn)結(jié)構(gòu)風(fēng)險(xiǎn)最小化，特別是能夠克服機(jī)器學(xué)習(xí)中經(jīng)常遇到的維數(shù)災(zāi)難;問(wèn)題，并且在二類分類中表現(xiàn)出優(yōu)異的性能，從而在分類中占有重要地位。SVM不僅能夠進(jìn)行線性分類，而且在非線性分類中也表現(xiàn)出良好的性能。這歸因于SVM中成功應(yīng)用了核函數(shù)的思想，把在低維空間中不可分的輸入數(shù)據(jù)映射到高維的特征空間（也叫希爾伯特空間）中去，在高維空間中就有可能可分。核函數(shù)思想在SVM中的成功

2、應(yīng)用，打開了核函數(shù)的應(yīng)用領(lǐng)域，從本質(zhì)上來(lái)說(shuō)，只要一個(gè)應(yīng)用中直接或間接地需要用到兩個(gè)向量?jī)?nèi)積的運(yùn)算，核函數(shù)都有可能在該領(lǐng)域有所作為。這樣，核函數(shù)的應(yīng)用，并沒(méi)有改變本來(lái)應(yīng)用的思路，同時(shí)，核函數(shù)注重的是兩個(gè)向量之間的內(nèi)積結(jié)果，使得在應(yīng)用中并不需要知道真正的變換函數(shù)是什么，從而方便了分類或聚類等應(yīng)用。主成分分析（Principal component analysis，PCA）在模式識(shí)別中得到了廣泛的應(yīng)用，是一個(gè)對(duì)線性輸入空間進(jìn)行降維的有效方法，但實(shí)際工程應(yīng)用中的數(shù)據(jù)空間往往不是線性的，如果能夠?qū)⒑撕瘮?shù)的思想應(yīng)用到PCA中，就能夠使得PCA對(duì)非線性的數(shù)據(jù)空間也能夠進(jìn)行有效降維，能夠有效改進(jìn)模式識(shí)別的算

3、法效率，降低對(duì)存儲(chǔ)空間的要求。當(dāng)前對(duì)核主成分分析的研究取得了很多成果，在應(yīng)用中也得到了有效應(yīng)用。但是，核主成分分析的具體實(shí)現(xiàn)過(guò)程、核函數(shù)的參數(shù)選擇、核函數(shù)的直接構(gòu)造、由函數(shù)產(chǎn)生核以及主成分分析不考慮分類類別的改進(jìn)上，還有很多工作需要做，該文在以上幾方面予以分析，并在應(yīng)用中予以實(shí)驗(yàn)驗(yàn)證。1 核函數(shù)核函數(shù)的研究起源于1909年，Mercer提出了核的定理與條件，1940年后，再生核得到研究，1964年Aizermann等人將核的思想運(yùn)用到機(jī)器學(xué)習(xí)領(lǐng)域，1992年Vapnik等人在SVM中成功應(yīng)用了核函數(shù)，從此核函數(shù)得到了深入的研究與應(yīng)用。核函數(shù)是一個(gè)n維歐氏空間Rn到希爾伯特空間H的變換上的內(nèi)積函

4、數(shù)，即K（x1，x2）= （Φ（x1）Φ（x2） ）。核函數(shù)具有一個(gè)重要特性：一個(gè)對(duì)稱函數(shù)K（x1，x2）是核函數(shù)，那么K（x1，x2）對(duì)應(yīng)于x1，x2…xn的Gram矩陣非負(fù)定；反過(guò)來(lái)，若K（x1，x2）對(duì)應(yīng)于x1，x2…xn的Gram矩陣非負(fù)定，則K（x1，x2）是核函數(shù)。因此尋找核函數(shù)可以利用以上性質(zhì)，只要找到一個(gè)對(duì)稱函數(shù)K（x1，x2），做出其對(duì)應(yīng)的Gram矩陣，判斷該矩陣的正定性就可以得出K（x1，x2）是否是核函數(shù)。當(dāng)前較為廣泛使用并有效的核函數(shù)有高斯徑向基核函數(shù)、多項(xiàng)式函數(shù)K（x1，x2）=（x1x2）+1）d。但是，在實(shí)際工程應(yīng)用中，

5、有些應(yīng)用場(chǎng)合，數(shù)據(jù)分布具有一定的特殊形式，通過(guò)多項(xiàng)式核函數(shù)或高斯徑向基核函數(shù)并不能達(dá)到最佳效果，即使通過(guò)大量的實(shí)驗(yàn)，也很難找到最恰當(dāng)?shù)暮撕瘮?shù)參數(shù)。這時(shí)，可以根據(jù)數(shù)據(jù)分布的特點(diǎn)，進(jìn)行核函數(shù)構(gòu)造，這樣構(gòu)造出的核函數(shù)在數(shù)據(jù)處理上有可能達(dá)到很高的效率。另外，還可以根據(jù)某些不是核函數(shù)的函數(shù)，通過(guò)一定的方式，構(gòu)造出核函數(shù)。因?yàn)?，根?jù)核函數(shù)的性質(zhì)，一個(gè)函數(shù)若是核函數(shù)，它對(duì)應(yīng)的Gram矩陣必是非負(fù)定的。那么，若一個(gè)函數(shù)不滿足這個(gè)特性，則可以通過(guò)一個(gè)過(guò)渡函數(shù)，運(yùn)用以下公式將它改造為核函數(shù)：其中，N為輸入空間中樣本的個(gè)數(shù)，x1、x2是輸入空間的向量，trans（）是一個(gè)過(guò)渡函數(shù)。實(shí)際上，Sigmoid核函數(shù)f（x

6、）=1/（1+e-x）在手寫數(shù)字識(shí)別領(lǐng)域得到了應(yīng)用并取得較好效果，但是Sigmoid函數(shù)對(duì)應(yīng)的Gram矩陣不具有非負(fù)定特性，因此，嚴(yán)格意義上來(lái)說(shuō)Sigmoid函數(shù)不是一個(gè)真正的核函數(shù)，而是一個(gè)經(jīng)過(guò)某個(gè)過(guò)渡函數(shù)改造成的核函數(shù)?！?】2 主成分分析2.1 主成分分析（PCA）在對(duì)輸入數(shù)據(jù)進(jìn)行模式識(shí)別時(shí)，經(jīng)常會(huì)發(fā)現(xiàn)樣本數(shù)和輸入的向量的維數(shù)很大的情況，這對(duì)處理時(shí)間和所占用的空間有很高的要求，處理得不好，會(huì)導(dǎo)致主存溢出的情況。因此，對(duì)于很大的維數(shù)，往往需要通過(guò)某種手段，將維數(shù)降低。實(shí)際上，這種情況是可行的。因?yàn)?，在采集的?shù)據(jù)樣本中，很多屬性之間有著關(guān)聯(lián)。例如對(duì)學(xué)生考試進(jìn)行分析，若有七門功課：語(yǔ)文、數(shù)學(xué)、

7、英語(yǔ)、政治、生物、物理、化學(xué)，這些科目的成績(jī)中很多科目成績(jī)之間是相關(guān)的；再如，在定制襯衣時(shí)，需要身高、胸圍、坐高、臂長(zhǎng)、腰圍、肋圍等六項(xiàng)數(shù)據(jù)，但這些數(shù)據(jù)往往是相關(guān)的，實(shí)際中只要身高、胸圍、腰圍幾項(xiàng)即可。主成分分析（PCA）是數(shù)據(jù)降維的有效手段，特別是對(duì)于線性數(shù)據(jù)。PCA通過(guò)變換使得結(jié)果具有最大的均方差，在二維空間中，能夠?qū)⒚總€(gè)樣本投影到一個(gè)一維空間中。對(duì)于n維空間，可以將輸入數(shù)據(jù)樣本的協(xié)方差矩陣求出。協(xié)方差矩陣cov為： A為nXp數(shù)據(jù)輸入矩陣協(xié)方差矩陣是個(gè)對(duì)稱矩陣，對(duì)角線上diag（cov（A）的元素即為對(duì)應(yīng)向量的標(biāo)準(zhǔn)差。協(xié)方差矩陣保持了原始輸入空間的信息，特別是，若原始輸入空間數(shù)據(jù)滿足高斯

8、分布，則該輸入數(shù)據(jù)的所有信息都在協(xié)方差矩陣中反映出來(lái)。將協(xié)方差矩陣cov（A）求出特征值和特征向量，并將這些向量按照特征值的大小按降序排列。根據(jù)應(yīng)用的需要，對(duì)特征值進(jìn)行分析。將特征值的累計(jì)貢獻(xiàn)率計(jì)算出來(lái)，并根據(jù)應(yīng)用的要求，若一般應(yīng)用環(huán)境，累計(jì)貢獻(xiàn)率取85%即可；對(duì)于一些精度要求高的應(yīng)用，累計(jì)貢獻(xiàn)率取95%甚至以上。這樣，將大于累計(jì)貢獻(xiàn)率的特征值取出，將對(duì)應(yīng)的特征向量排列成矩陣，將輸入空間的數(shù)據(jù)通過(guò)該特征向量矩陣進(jìn)行轉(zhuǎn)換，就得到降維后的輸入數(shù)據(jù)。例如，當(dāng)一個(gè)輸入空間有30個(gè)數(shù)據(jù)，每個(gè)數(shù)據(jù)7個(gè)特征，經(jīng)過(guò)計(jì)算得到7X7的協(xié)方差矩陣，對(duì)此協(xié)方差矩陣求特征值、特征向量，假設(shè)根據(jù)累計(jì)貢獻(xiàn)率的要求，只需要4

9、個(gè)主特征，得到一個(gè)7X4的特征向量矩陣。用輸入樣本數(shù)據(jù)或測(cè)試樣本乘以這個(gè)矩陣，就得到降維后的數(shù)據(jù)。當(dāng)然，數(shù)據(jù)原始信息會(huì)有一定的損失，但很小，一般不影響分類結(jié)果。經(jīng)過(guò)PCA降維后的數(shù)據(jù)，可以通過(guò)降維過(guò)程的逆操作，恢復(fù)成原來(lái)的數(shù)據(jù)。累計(jì)貢獻(xiàn)率閾值越大，恢復(fù)數(shù)據(jù)的精度也就越高。注意降維過(guò)程減去了均值，恢復(fù)數(shù)據(jù)要加上這個(gè)均值。2.2 Fisher判別分析（FDA）PCA主要應(yīng)用在線性數(shù)據(jù)降維上，在降維的過(guò)程中，可以發(fā)現(xiàn)主要通過(guò)協(xié)方差矩陣，對(duì)原始輸入數(shù)據(jù)進(jìn)行處理，并沒(méi)有用到類別的信息，因此PCA是一種無(wú)監(jiān)督的線性降維方式，這種降維方式對(duì)于有些分類，對(duì)導(dǎo)致較大偏差。Fisher判別分析（FDA）在對(duì)主要成

10、分進(jìn)行分析時(shí)，不僅要進(jìn)行原始數(shù)據(jù)的處理，同時(shí)要關(guān)注類別信息，因此，被稱為有監(jiān)督的主成分分析。FDA采用類間散布矩陣和類內(nèi)散布矩陣，然后計(jì)算特征值和對(duì)應(yīng)的特征向量。Fisher判別分析（FDA）采用類內(nèi)聚集程度與類間離散程度的比值也決定，該比值越大，說(shuō)明對(duì)分類的貢獻(xiàn)越大，該成分就有可能成為是主成分。2.3 核主成分分析與核Fisher判別分析主成分分析（PCA）對(duì)線性輸入空間數(shù)據(jù)有良好的降維效果，采用核函數(shù)的思想，將核函數(shù)應(yīng)用到PCA中，形成核主成分分析，這樣，將在低維空間非線性很難降維的數(shù)據(jù)通過(guò)核函數(shù)映射到高維特征空間（希爾伯特空間）中，通過(guò)選擇適當(dāng)?shù)暮撕瘮?shù)與參數(shù)，就有可能在高維空間中進(jìn)行有效

11、降維。FDA也可以采用核函數(shù)思想改進(jìn)為核Fisher判別分析。在分類中，有了降維后的數(shù)據(jù)，時(shí)間和空間效率能夠提升，但在核主成分分析時(shí)沒(méi)有對(duì)類別信息加以利用，因此在實(shí)際的分類中，可以采用核主成分分析結(jié)合核Fisher判別分析進(jìn)行，這樣對(duì)有些難以分類的數(shù)據(jù)集能夠有效進(jìn)行分類。3 核主成分分析及其應(yīng)用3.1 核主成分分析的過(guò)程傳統(tǒng)PCA中，首先需要計(jì)算協(xié)方差矩陣：采用核函數(shù)的特征空間的協(xié)方差矩陣為：，其中若輸入空間數(shù)據(jù)滿足中心化;，即=0，則上式可簡(jiǎn)化為：根據(jù)PCA的特點(diǎn)及再生核理論，最優(yōu)投影軸應(yīng)該是特征空間中的樣本的線性組合，寫成拉格朗日函數(shù)形式并對(duì)線性相關(guān)系數(shù)求導(dǎo)，得：，其中為特征空間的樣本之間

12、線性組合的系數(shù)。到了這一步，就可以對(duì)K矩陣求特征值和特征向量即可。以上核主成分分析是假設(shè)數(shù)據(jù)的中心化即均值為零的情況。若不滿足此條件，可以通過(guò)對(duì)特征空間的所有數(shù)據(jù)在希爾伯特空間平移一個(gè)均值的距離，這樣的平移不改變特征數(shù)據(jù)的形狀。在進(jìn)行核主成分分析時(shí)，也可以通過(guò)以下公式進(jìn)行核矩陣K的中心化（標(biāo)準(zhǔn)化）：3.2 核主成分分析的應(yīng)用與實(shí)現(xiàn)要點(diǎn)Matlab在模式識(shí)別上具有直觀、有強(qiáng)大的計(jì)算能力以及繪圖能力，下面以Matlab 7.1作為平臺(tái)，對(duì)核主成分分析進(jìn)行實(shí)現(xiàn)。3.2.1 傳統(tǒng)PCA在Matlab上的實(shí)現(xiàn)傳統(tǒng)PCA在Matlab中有兩個(gè)函數(shù)可以完成數(shù)據(jù)降維。若輸入數(shù)據(jù)的協(xié)方差矩陣已知，則可以通過(guò)pc

13、acov（）函數(shù)進(jìn)行PCA降維。設(shè)協(xié)方差矩陣為V，則通過(guò)=pcacov（V）就能得到V的所有特征值的降序排列l(wèi)，每個(gè)主成分的貢獻(xiàn)率e以及主成分系數(shù)c?？梢酝ㄟ^(guò)函數(shù)barttest（）進(jìn)行Bartlett維數(shù)校驗(yàn)，通過(guò)pcares（）函數(shù)進(jìn)行主成分的殘差分析。最常用的做PCA分析的函數(shù)是pcacomp（），只需要輸入數(shù)據(jù)矩陣X，就可以通過(guò)：=princomp進(jìn)行PCA降維分析。C代表主成分的系數(shù)矩陣，s代表主成分矩陣，l代表降序排列的樣本協(xié)方差矩陣的特征值，t2代表某個(gè)樣品對(duì)應(yīng)的霍特林（Hotelling） T2的統(tǒng)計(jì)量，這個(gè)統(tǒng)計(jì)量可以用來(lái)進(jìn)行設(shè)備運(yùn)行的故障檢測(cè)，用來(lái)表示某個(gè)觀測(cè)值與觀測(cè)數(shù)據(jù)中心

14、的距離，可以用作異常點(diǎn)分析。在對(duì)輸入數(shù)據(jù)矩陣計(jì)算協(xié)方差矩陣時(shí)，需要進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化?？梢杂萌N方法進(jìn)行標(biāo)準(zhǔn)化（設(shè)輸入數(shù)據(jù)矩陣為X，是一個(gè)nXp矩陣）：1） s=std（X）stds=X./s（ones（n，1），：）=princomp（stds）2） s=std（X）stds=X./repmat（s，n，1）=princomp（stds）3） s=zscore（X）=princomp（stds）此外，在協(xié)方差的計(jì)算上，計(jì)算的順序?qū)?huì)大大影響最終的結(jié)果。如100個(gè)樣本30維特征，應(yīng)該計(jì)算出的協(xié)方差矩陣是30X30，若沒(méi)有注意到這一點(diǎn)，最終可能算出的協(xié)方差矩陣是100X100。3.2.2 核主成分

15、分析在Matlab上的實(shí)現(xiàn)Matlab在模式識(shí)別工具箱stprtool里提供了進(jìn)行核主成分分析的kpca（）函數(shù)。stprtool工具箱不是Matlab 7.1的標(biāo)準(zhǔn)工具箱，需要下載后并設(shè)置到Matlab路徑下。%X是數(shù)據(jù)輸入矩陣，數(shù)據(jù)分布可以不是線性，可以是圓狀、橢圓狀等opt.ker=rbf%opt是結(jié)構(gòu)變量，ker分量指出核函數(shù)類型，arg是參數(shù)opt.arg=5opt.new_dim=2 %new_dim是輸出維數(shù)Y=kpca（X，opt）采用kpca函數(shù)很簡(jiǎn)單，但并不靈活。下面采用類Matlab來(lái)進(jìn)行核主成分分析的算法實(shí)現(xiàn)。由于很多場(chǎng)合下的數(shù)據(jù)分布接近高斯分布，并且高斯分布的協(xié)方差矩

16、陣對(duì)原始信息無(wú)丟失，下面核函數(shù)采用高斯徑向基函數(shù)，高斯徑向基函數(shù)需要輸入一個(gè)參數(shù)。步驟如下：1） 準(zhǔn)備好訓(xùn)練數(shù)據(jù)T，測(cè)試數(shù)據(jù)TT，并設(shè)置高斯徑向基函數(shù)的參數(shù)rbf，累計(jì)貢獻(xiàn)率大小為thres；2） 訓(xùn)練數(shù)據(jù)T、測(cè)試數(shù)據(jù)TT標(biāo)準(zhǔn)化；3） 運(yùn)用高斯核函數(shù)計(jì)算核矩陣，由于核矩陣是對(duì)稱的，只需要計(jì)算出上三角矩陣即可，另一半元素用賦值完成，可以提高運(yùn)算效率；K（i，j）=exp（-norm（T（i，：）-T（j，：）2/rbf）；4） 運(yùn)用K_new=K-U*K-K*U+U*K*U中心化高斯核矩陣；5） 對(duì)K_new進(jìn)行特征值及特征向量的計(jì)算：=eig（K_new）；6） 計(jì)算累計(jì)貢獻(xiàn)率；7） 找出累計(jì)

17、貢獻(xiàn)率大于或等于thres的特征值，將對(duì)應(yīng)的特征向量組成矩陣；8） 對(duì)測(cè)試數(shù)據(jù)TT進(jìn)行測(cè)試。上述算法可以看出，采用了核函數(shù)，PCA成為核主成分分析，但具體的實(shí)現(xiàn)過(guò)程與傳統(tǒng)的PCA很類似，但帶來(lái)的效果是可以進(jìn)行非線性降維。并且采用了核函數(shù)，從線性空間向高維空間的轉(zhuǎn)換并不需要具體關(guān)心轉(zhuǎn)換函數(shù)的形式。3.3 核主成分分析的效果下面用上述的核主成分分析算法對(duì)Matlab 7.1自帶的cities.mat數(shù)據(jù)進(jìn)行分析。cities.mat共收集了美國(guó)329個(gè)城市在歷史上一段時(shí)期內(nèi)城市生活質(zhì)量的數(shù)據(jù)統(tǒng)計(jì)，共有9個(gè)指標(biāo)：藝術(shù)、住房、健康、氣候、娛樂(lè)、犯罪率、經(jīng)濟(jì)、交通和教育。不同指標(biāo)的數(shù)據(jù)值相差很大，需要進(jìn)

18、行標(biāo)準(zhǔn)化處理。圖1 核主成分分析后的第1主成分和第3主成分圖2 cities的主成分pareto圖從運(yùn)行的結(jié)果看，核主成分分析能夠?qū)ities.mat的數(shù)據(jù)進(jìn)行降維，效果與傳統(tǒng)PCA精度相當(dāng)，運(yùn)用tic、toc指令進(jìn)行計(jì)時(shí)，傳統(tǒng)PCA執(zhí)行時(shí)間約 2.6秒，核主成分分析需時(shí)4.6秒，這是因?yàn)楹酥鞒煞址治鲂枰?jì)算核矩陣，高斯核需要計(jì)算二范數(shù)以及exp運(yùn)算。但核主成分分析由于采用了核，計(jì)算量上有所增加，但對(duì)線性、非線性輸入空間都能進(jìn)行有效降維。4 結(jié)束語(yǔ)核主成分分析在傳統(tǒng)的主成分分析的基礎(chǔ)上，有機(jī)地結(jié)合了核函數(shù)的思想，從而使得核主成分分析能夠有效處理非線性的輸入空間數(shù)據(jù)的降維。核主成分分析如果結(jié)合核聚類、核Fisher判別分析，充分利用輸入數(shù)據(jù)的特點(diǎn)和分類類別，進(jìn)行數(shù)據(jù)維度的降低，不僅能夠加速分類的效率，而且能夠提高精度。由于核函數(shù)的引入，因此，對(duì)于核函數(shù)的參數(shù)選擇，核函數(shù)根據(jù)數(shù)據(jù)輸入特點(diǎn)的直接構(gòu)造，或從任一函數(shù)生成一個(gè)核函數(shù)就顯得至關(guān)重要。未來(lái)的進(jìn)一步應(yīng)用將會(huì)在核函數(shù)的生成與核主成分分析、核Fisher判別分析的結(jié)合上，作為模式識(shí)別的預(yù)處理，將做深入的探討。參考文獻(xiàn)：