PCA降維度實驗報告

《電子商務》實驗報告PCA降維題目〔22〕PCA成員2023年6月1日摘要為了提高統(tǒng)計模式識別的正確識別率，人們通常需要采集數(shù)量巨大的數(shù)據(jù)特征，使得原始空間或輸入空間的維數(shù)可能高達幾千維或萬維。如果直接在輸入空間上進行分類器訓練，就可能帶來兩個棘手的問題：〔1〕很多在低維空間具有良好性能的分類算法在計算上變得不可行；〔2〕在訓練樣本容量一定的前提下，特征維數(shù)的增加將使得樣本統(tǒng)計特性的估計變得更加困難，從而降低分類器的推廣能力或泛化能力，呈現(xiàn)所謂的“過學習〞或“過訓練〞的現(xiàn)象。要防止出現(xiàn)“過學習〞的情況，用于統(tǒng)計分類器訓練的訓練樣本個數(shù)必須隨著維數(shù)的增長而呈指數(shù)增長，從而造成人們所說的“維數(shù)災難〞。這一問題可以通過降維來解決。因為高維數(shù)據(jù)中包含了大量的冗余并隱藏了重要關系的相關性，降維的目的就是消除冗余，減少被處理數(shù)據(jù)的數(shù)量，同時還能保持數(shù)據(jù)的特征完整性，本次實驗使用26維度的語音參數(shù)MFCC驗證PCA降維算法。關鍵字：降維、PCA、MFCC算法分析PCA簡介PCA的目標是為了發(fā)現(xiàn)這種特征之間的線性關系，檢測出這些線性關系，并且去除這線性關系。PCA稱為主成分分析或者主元分析。是一種數(shù)據(jù)分析的降維方法，一般常用于圖像處理，它可以從多元事物中解析出主要影響因素，揭示事物的本質，簡化復雜的問題。計算主成分的目的是將高維數(shù)據(jù)投影到較低維空間。一類事物的特征會很多，而每個特征也有很高的維數(shù)。但有些維數(shù)之間有很大的相似性，相同的維數(shù)難以區(qū)分特性，所以PCA的目標是為了發(fā)現(xiàn)這種特性維度之間的線性關系，檢測出這些線性關系，并且去除這線性關系。PCA算法設X1、X2….，Xp為原始變量，F(xiàn)1、F2…，F(xiàn)m為m個主成分因子其使方差Var(F1)越大，表示F1包含的信息越多，故稱F1為第一主成分。(1)Fi與Fj互不相關，Cov(Fi，F(xiàn)j)=0(2)F1是X1，X2，…，Xp的一切線性組合中方差最大的,……,即Fm是與F1，F(xiàn)2，……，F(xiàn)m－1都不相關的X1，X2，…，XP的所有線性組合中方差最大者。F1，F(xiàn)2，…，F(xiàn)m〔m≤p〕為構造的新變量指標，即原變量指標的第一、第二、……、第m個主成分。PCA降維步驟〔1〕計算原變量協(xié)方差矩陣〔2〕求出Σ的特征值及相應的正交化單位特征向量Σ的前m個較大的特征值12…m>0,就是前m個主成分對應的方差，對應的單位特征向量就是原來變量在主成分Fi上的載荷系數(shù)〔數(shù)學上可以證明〕，那么原變量的第i個主成分Fi為：主成分的方差〔信息〕奉獻率用來反映信息量的大小，為：〔3〕選擇主成分最終要選擇幾個主成分，即F1,F2,……,Fm中m確實定是通過方差累計奉獻率G(m)來確定當累積奉獻率大于85%時，就認為能足夠反映原來變量的信息了，對應的m就是抽取的前m個主成分。實驗過程2.1實驗環(huán)境MATLAB2023a+windows8操作系統(tǒng)MATLAB是一種用于算法開發(fā)、數(shù)據(jù)可視化、數(shù)據(jù)分析以及數(shù)值計算的高級技術計算語言和交互式環(huán)境。除了矩陣運算、繪制函數(shù)/數(shù)據(jù)圖像等常用功能外，MATLAB還可以用來創(chuàng)立用戶界面及與調用其它語言〔包括C，C++和FORTRAN〕編寫的程序。而2023a是第一個支持中文的MATLAB版本。Windows8是由微軟公司于2023年10月26日正式推出的操作系統(tǒng)。系統(tǒng)獨特的metro開始界面和觸控式交互系統(tǒng)，旨在讓人們的日常電腦操作更加簡單和快捷，為人們提供高效易行的工作環(huán)境。其支持來自Intel、AMD的芯片架構，被應用于個人電腦和平板電腦上。該系統(tǒng)具有更好的續(xù)航能力，且啟動速度更快、占用內存更少，并兼容Windows7所支持的軟件和硬件。實驗步驟翻開MATLAB2023a，點擊，將MATLAB的工作文件夾定位到mfcc.mat所在目錄下，如下列圖：圖2-1雙擊mfcc.mat，將數(shù)據(jù)加載到工作區(qū)。在命令行窗口輸入命令：[coeff,score,latent,tsquared]=pca(mfcc);并回車，得到MATLAB自帶的pca算法運行后的數(shù)據(jù)，如下列圖：圖2-2在命令行窗口輸入命令：rate=cumsum(latent)./sum(latent);并回車，得到特征值的累計奉獻率，如下列圖：圖2-3根據(jù)奉獻率分析，需要保持95%以上的特征，所以選擇前21個特征向量。在命令行窗口輸入命令：tranMatrix=coeff(:,1:21);并回車，得到主成分變換矩陣，那么從原來的26維空間降到21維空間。在命令行窗口輸入命令：mfcc_result=bsxfun(@minus,mfcc,mean(mfcc,1))*tranMatrix;并回車，得到降維結果。選中工作區(qū)mfcc_result，點擊右鍵，選擇“另存為〞，保存在mfcc.mat同一文件夾下，命名為mfcc_result.mat，如下列圖：圖2-4實驗分析3.1MATLAB的PCA函數(shù)分析[coeff,score,latent,tsquared]=pca(X)為MATLAB自帶的函數(shù)，其各個變量代表的意義如下：X：為要輸入的n維原始數(shù)據(jù)。coeff：是X矩陣所對應的協(xié)方差陣V的所有特征向量組成的矩陣，即變換矩陣或稱投影矩陣，每列對應一個特征值的特征向量，列的排列順序是按特征值的大小遞減排序。score：也就是說原X矩陣在主成分空間的表示。它是對原始數(shù)據(jù)進行的分析，進而在新的坐標系下獲得的數(shù)據(jù),并將這n維數(shù)據(jù)按奉獻率由大到小排列。latent：是一維列向量，是X所對應的協(xié)方差矩陣的特征值向量，每一個數(shù)據(jù)是對應score里相應維的奉獻率，因為數(shù)據(jù)有n維所以列向量有n個數(shù)據(jù)，由大到小排列。tsquared：是表示對每個樣本點Hotelling的T方統(tǒng)計量。實驗代碼行分析[coeff,score,latent,tsquared]=pca(mfcc)：通過MATLAB自帶的函數(shù)，得到mfcc數(shù)據(jù)的MATLABpca函數(shù)分析結果。rate=cumsum(latent)./sum(latent)：計算特征值的累計奉獻率，算出降維后的空間所能表示原空間的程度。tranMatrix=coeff(:,1:21)：根據(jù)得到的累計奉獻率，分析需要保存的維度數(shù)，因為只需要能表示原空間95%以上的特性，就可以保證數(shù)據(jù)完整性。通過查看rate的結果，前21個特征值就可以表示原空間95%的特性，同時原空間所有的特征向量組成的矩陣為coeff，所以保存coeff的前21個列向量。mfcc_result=bsxfun(@minus,mfcc,mean(mfcc,1))*tranMatrix：score為原空間在主成分空間的表示，但是進行了維數(shù)據(jù)按奉獻率，其計算表達式為score=bsxfun(@minus,mfcc,mean(mfcc,1))*coeff。由于soeff的特征維度數(shù)也是經(jīng)過排序的，所以不能直接用原數(shù)據(jù)mfcc*tranMatrix得到降維后的空間，只能通過bsxfun(@minus,mfcc,mean(mfcc,1))*tranMatrix來計算。實驗結果實驗得到的結果保存在mfcc_result.mat文件中，最終降維后的數(shù)據(jù)有以下變化：結果數(shù)據(jù)沒有打亂樣本的排列順序。結果數(shù)據(jù)的維度排列順序進行了改變，按維度對數(shù)據(jù)的奉獻度進行降序排列。結果數(shù)據(jù)保存了原始數(shù)據(jù)至少95%的特性，并且減少了5個維度，總體降維很成功。本次實驗采用的PCA算法在數(shù)據(jù)進行降維的同時對數(shù)據(jù)進行了處理，所以最終數(shù)據(jù)與原始數(shù)據(jù)不能進行直接比照，需要使用本結果數(shù)據(jù)進行數(shù)據(jù)識別時，請參照“1.3PCA降維步驟〞進行測試數(shù)據(jù)的處理。以下為結果數(shù)據(jù)的局部顯示截圖：圖4-1結論PCA的原理就是將原來的樣本數(shù)據(jù)投影到一個新的空間中，相當于在矩陣分析里面學習的將一組矩陣映射到另外的坐標系下。通過一個轉換坐標，也可以理解成把一組坐標轉換到另外一組坐標系下，但是在新的坐標系下，表示原來的原本不需要那么多的變量，只需要原來樣本的最大的一個線性無關組的特征值對應的空間的坐標即可。PCA還具有以下一些優(yōu)缺點：優(yōu)點：它利用降維技術用少數(shù)幾個綜合維度來代替原始特征的多個維度，這些綜合維度集中了原始維度的大局部信息；它通過計算綜合主成分函數(shù)得分，對客觀現(xiàn)象進行了科學評價，得到維度奉獻率的排名，對維度重要性的估算非常理性化。缺點：當主成分的因子符合的符號有正負時，綜合評價函數(shù)意義就不明確，命名清晰性低，只能涉及一組維度的相關關系，出現(xiàn)兩組維度時可以使用典型相關分析。最后還有一點值得注意的，PCA降維是通過協(xié)方差尋找各維度的相關性，考慮到相關性最小的維度之間聯(lián)系最少，這些