PCA降維度實(shí)驗(yàn)報(bào)告

《電子商務(wù)》實(shí)驗(yàn)報(bào)告PCA降維題目〔22〕PCA成員2023年6月1日摘要為了提高統(tǒng)計(jì)模式識別的正確識別率，人們通常需要采集數(shù)量巨大的數(shù)據(jù)特征，使得原始空間或輸入空間的維數(shù)可能高達(dá)幾千維或萬維。如果直接在輸入空間上進(jìn)行分類器訓(xùn)練，就可能帶來兩個(gè)棘手的問題：〔1〕很多在低維空間具有良好性能的分類算法在計(jì)算上變得不可行；〔2〕在訓(xùn)練樣本容量一定的前提下，特征維數(shù)的增加將使得樣本統(tǒng)計(jì)特性的估計(jì)變得更加困難，從而降低分類器的推廣能力或泛化能力，呈現(xiàn)所謂的“過學(xué)習(xí)〞或“過訓(xùn)練〞的現(xiàn)象。要防止出現(xiàn)“過學(xué)習(xí)〞的情況，用于統(tǒng)計(jì)分類器訓(xùn)練的訓(xùn)練樣本個(gè)數(shù)必須隨著維數(shù)的增長而呈指數(shù)增長，從而造成人們所說的“維數(shù)災(zāi)難〞。這一問題可以通過降維來解決。因?yàn)楦呔S數(shù)據(jù)中包含了大量的冗余并隱藏了重要關(guān)系的相關(guān)性，降維的目的就是消除冗余，減少被處理數(shù)據(jù)的數(shù)量，同時(shí)還能保持?jǐn)?shù)據(jù)的特征完整性，本次實(shí)驗(yàn)使用26維度的語音參數(shù)MFCC驗(yàn)證PCA降維算法。關(guān)鍵字：降維、PCA、MFCC算法分析PCA簡介PCA的目標(biāo)是為了發(fā)現(xiàn)這種特征之間的線性關(guān)系，檢測出這些線性關(guān)系，并且去除這線性關(guān)系。PCA稱為主成分分析或者主元分析。是一種數(shù)據(jù)分析的降維方法，一般常用于圖像處理，它可以從多元事物中解析出主要影響因素，揭示事物的本質(zhì)，簡化復(fù)雜的問題。計(jì)算主成分的目的是將高維數(shù)據(jù)投影到較低維空間。一類事物的特征會很多，而每個(gè)特征也有很高的維數(shù)。但有些維數(shù)之間有很大的相似性，相同的維數(shù)難以區(qū)分特性，所以PCA的目標(biāo)是為了發(fā)現(xiàn)這種特性維度之間的線性關(guān)系，檢測出這些線性關(guān)系，并且去除這線性關(guān)系。PCA算法設(shè)X1、X2….，Xp為原始變量，F(xiàn)1、F2…，F(xiàn)m為m個(gè)主成分因子其使方差Var(F1)越大，表示F1包含的信息越多，故稱F1為第一主成分。(1)Fi與Fj互不相關(guān)，Cov(Fi，F(xiàn)j)=0(2)F1是X1，X2，…，Xp的一切線性組合中方差最大的,……,即Fm是與F1，F(xiàn)2，……，F(xiàn)m－1都不相關(guān)的X1，X2，…，XP的所有線性組合中方差最大者。F1，F(xiàn)2，…，F(xiàn)m〔m≤p〕為構(gòu)造的新變量指標(biāo)，即原變量指標(biāo)的第一、第二、……、第m個(gè)主成分。PCA降維步驟〔1〕計(jì)算原變量協(xié)方差矩陣〔2〕求出Σ的特征值及相應(yīng)的正交化單位特征向量Σ的前m個(gè)較大的特征值12…m>0,就是前m個(gè)主成分對應(yīng)的方差，對應(yīng)的單位特征向量就是原來變量在主成分Fi上的載荷系數(shù)〔數(shù)學(xué)上可以證明〕，那么原變量的第i個(gè)主成分Fi為：主成分的方差〔信息〕奉獻(xiàn)率用來反映信息量的大小，為：〔3〕選擇主成分最終要選擇幾個(gè)主成分，即F1,F2,……,Fm中m確實(shí)定是通過方差累計(jì)奉獻(xiàn)率G(m)來確定當(dāng)累積奉獻(xiàn)率大于85%時(shí)，就認(rèn)為能足夠反映原來變量的信息了，對應(yīng)的m就是抽取的前m個(gè)主成分。實(shí)驗(yàn)過程2.1實(shí)驗(yàn)環(huán)境MATLAB2023a+windows8操作系統(tǒng)MATLAB是一種用于算法開發(fā)、數(shù)據(jù)可視化、數(shù)據(jù)分析以及數(shù)值計(jì)算的高級技術(shù)計(jì)算語言和交互式環(huán)境。除了矩陣運(yùn)算、繪制函數(shù)/數(shù)據(jù)圖像等常用功能外，MATLAB還可以用來創(chuàng)立用戶界面及與調(diào)用其它語言〔包括C，C++和FORTRAN〕編寫的程序。而2023a是第一個(gè)支持中文的MATLAB版本。Windows8是由微軟公司于2023年10月26日正式推出的操作系統(tǒng)。系統(tǒng)獨(dú)特的metro開始界面和觸控式交互系統(tǒng)，旨在讓人們的日常電腦操作更加簡單和快捷，為人們提供高效易行的工作環(huán)境。其支持來自Intel、AMD的芯片架構(gòu)，被應(yīng)用于個(gè)人電腦和平板電腦上。該系統(tǒng)具有更好的續(xù)航能力，且啟動(dòng)速度更快、占用內(nèi)存更少，并兼容Windows7所支持的軟件和硬件。實(shí)驗(yàn)步驟翻開MATLAB2023a，點(diǎn)擊，將MATLAB的工作文件夾定位到mfcc.mat所在目錄下，如下列圖：圖2-1雙擊mfcc.mat，將數(shù)據(jù)加載到工作區(qū)。在命令行窗口輸入命令：[coeff,score,latent,tsquared]=pca(mfcc);并回車，得到MATLAB自帶的pca算法運(yùn)行后的數(shù)據(jù)，如下列圖：圖2-2在命令行窗口輸入命令：rate=cumsum(latent)./sum(latent);并回車，得到特征值的累計(jì)奉獻(xiàn)率，如下列圖：圖2-3根據(jù)奉獻(xiàn)率分析，需要保持95%以上的特征，所以選擇前21個(gè)特征向量。在命令行窗口輸入命令：tranMatrix=coeff(:,1:21);并回車，得到主成分變換矩陣，那么從原來的26維空間降到21維空間。在命令行窗口輸入命令：mfcc_result=bsxfun(@minus,mfcc,mean(mfcc,1))*tranMatrix;并回車，得到降維結(jié)果。選中工作區(qū)mfcc_result，點(diǎn)擊右鍵，選擇“另存為〞，保存在mfcc.mat同一文件夾下，命名為mfcc_result.mat，如下列圖：圖2-4實(shí)驗(yàn)分析3.1MATLAB的PCA函數(shù)分析[coeff,score,latent,tsquared]=pca(X)為MATLAB自帶的函數(shù)，其各個(gè)變量代表的意義如下：X：為要輸入的n維原始數(shù)據(jù)。coeff：是X矩陣所對應(yīng)的協(xié)方差陣V的所有特征向量組成的矩陣，即變換矩陣或稱投影矩陣，每列對應(yīng)一個(gè)特征值的特征向量，列的排列順序是按特征值的大小遞減排序。score：也就是說原X矩陣在主成分空間的表示。它是對原始數(shù)據(jù)進(jìn)行的分析，進(jìn)而在新的坐標(biāo)系下獲得的數(shù)據(jù),并將這n維數(shù)據(jù)按奉獻(xiàn)率由大到小排列。latent：是一維列向量，是X所對應(yīng)的協(xié)方差矩陣的特征值向量，每一個(gè)數(shù)據(jù)是對應(yīng)score里相應(yīng)維的奉獻(xiàn)率，因?yàn)閿?shù)據(jù)有n維所以列向量有n個(gè)數(shù)據(jù)，由大到小排列。tsquared：是表示對每個(gè)樣本點(diǎn)Hotelling的T方統(tǒng)計(jì)量。實(shí)驗(yàn)代碼行分析[coeff,score,latent,tsquared]=pca(mfcc)：通過MATLAB自帶的函數(shù)，得到mfcc數(shù)據(jù)的MATLABpca函數(shù)分析結(jié)果。rate=cumsum(latent)./sum(latent)：計(jì)算特征值的累計(jì)奉獻(xiàn)率，算出降維后的空間所能表示原空間的程度。tranMatrix=coeff(:,1:21)：根據(jù)得到的累計(jì)奉獻(xiàn)率，分析需要保存的維度數(shù)，因?yàn)橹恍枰鼙硎驹臻g95%以上的特性，就可以保證數(shù)據(jù)完整性。通過查看rate的結(jié)果，前21個(gè)特征值就可以表示原空間95%的特性，同時(shí)原空間所有的特征向量組成的矩陣為coeff，所以保存coeff的前21個(gè)列向量。mfcc_result=bsxfun(@minus,mfcc,mean(mfcc,1))*tranMatrix：score為原空間在主成分空間的表示，但是進(jìn)行了維數(shù)據(jù)按奉獻(xiàn)率，其計(jì)算表達(dá)式為score=bsxfun(@minus,mfcc,mean(mfcc,1))*coeff。由于soeff的特征維度數(shù)也是經(jīng)過排序的，所以不能直接用原數(shù)據(jù)mfcc*tranMatrix得到降維后的空間，只能通過bsxfun(@minus,mfcc,mean(mfcc,1))*tranMatrix來計(jì)算。實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)得到的結(jié)果保存在mfcc_result.mat文件中，最終降維后的數(shù)據(jù)有以下變化：結(jié)果數(shù)據(jù)沒有打亂樣本的排列順序。結(jié)果數(shù)據(jù)的維度排列順序進(jìn)行了改變，按維度對數(shù)據(jù)的奉獻(xiàn)度進(jìn)行降序排列。結(jié)果數(shù)據(jù)保存了原始數(shù)據(jù)至少95%的特性，并且減少了5個(gè)維度，總體降維很成功。本次實(shí)驗(yàn)采用的PCA算法在數(shù)據(jù)進(jìn)行降維的同時(shí)對數(shù)據(jù)進(jìn)行了處理，所以最終數(shù)據(jù)與原始數(shù)據(jù)不能進(jìn)行直接比照，需要使用本結(jié)果數(shù)據(jù)進(jìn)行數(shù)據(jù)識別時(shí)，請參照“1.3PCA降維步驟〞進(jìn)行測試數(shù)據(jù)的處理。以下為結(jié)果數(shù)據(jù)的局部顯示截圖：圖4-1結(jié)論P(yáng)CA的原理就是將原來的樣本數(shù)據(jù)投影到一個(gè)新的空間中，相當(dāng)于在矩陣分析里面學(xué)習(xí)的將一組矩陣映射到另外的坐標(biāo)系下。通過一個(gè)轉(zhuǎn)換坐標(biāo)，也可以理解成把一組坐標(biāo)轉(zhuǎn)換到另外一組坐標(biāo)系下，但是在新的坐標(biāo)系下，表示原來的原本不需要那么多的變量，只需要原來樣本的最大的一個(gè)線性無關(guān)組的特征值對應(yīng)的空間的坐標(biāo)即可。PCA還具有以下一些優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：它利用降維技術(shù)用少數(shù)幾個(gè)綜合維度來代替原始特征的多個(gè)維度，這些綜合維度集中了原始維度的大局部信息；它通過計(jì)算綜合主成分函數(shù)得分，對客觀現(xiàn)象進(jìn)行了科學(xué)評價(jià)，得到維度奉獻(xiàn)率的排名，對維度重要性的估算非常理性化。缺點(diǎn)：當(dāng)主成分的因子符合的符號有正負(fù)時(shí)，綜合評價(jià)函數(shù)意義就不明確，命名清晰性低，只能涉及一組維度的相關(guān)關(guān)系，出現(xiàn)兩組維度時(shí)可以使用典型相關(guān)分析。最后還有一點(diǎn)值得注意的，PCA降維是通過協(xié)方差尋找各維度的相關(guān)性，考慮到相關(guān)性最小的維度之間聯(lián)系最少，這些