【教學講解課件教案】 pca和lda

PCA和LDA

葛永新PCA和LDAContents特征臉的物理含義關于主成分的理解作者信息

論文信息

訓練階段識別階段Contents特征臉的物理含義關于主成分的理解作者信息論論文信息TurkM，PentlandA．Eigenfacesforrecognition[J]．JoumalofCognitiveNeumseience，1991，3(1)：71—86.

論文信息TurkM，PentlandA．Eigenfac作者信息（1/2）MatthewTurkProfessorComputerScienceDepartmentMediaArtsandTechnologyProgramUniversityofCalifornia,SantaBarbara

Researchinterests:Computervisionandimaging,perceptualinterfaces,multimodalinteraction,human-computerinteraction,gesturerecognition,artificialintelligence

/~mturk/作者信息（1/2）MatthewTurkProfes4作者信息（1/2）Prof.AlexPaulPentland

ToshibaProfessorofMedia,Arts,andSciences

MassachusettsInstituteofTechnology

/~pentland

Director,HumanDynamicsLaboratoryDirector,MediaLabEntrepreneurshipProgram

作者信息（1/2）Prof.AlexPaulPentl5關于主成分的理解（1/3）五行是一種哲學觀，認為萬事萬物都是由金木水火土這五種要素組成

西方人：所有事物都是由元素周期表中的103種元素組成的水：H2O=2*H+1*O線性代數(shù)尋找基向量的過程

關于主成分的理解（1/3）五行是一種哲學觀，認為萬事萬物都是6關于主成分的理解（2/3）PCA的基礎就是K-L變換，是一種常用的正交變化，K-L變換思想如下：假設X為n維隨機變量，X可以用n個基向量的加權和表示

其中是加權系數(shù)，是基向量，其矩陣表示形式是

其系數(shù)向量為關于主成分的理解（2/3）PCA的基礎就是K-L變換，是一種7關于主成分的理解（3/3）綜上所述，K-L展開式的系數(shù)可用下列步驟求出

求隨機向量X的自相關矩陣R=E（XTX），通常我們采用數(shù)據集的協(xié)方差矩陣作為K-L坐標系的產生矩陣；求出自相關矩陣或協(xié)方差矩陣的特征值和特征向量，；3.展開式系數(shù)即為，由正交性可得，此二式為K-L變換公式

關于主成分的理解（3/3）綜上所述，K-L展開式的系數(shù)可用下8特征臉的物理含義（1/4）比如ORL人臉數(shù)據庫中有400幅人臉圖像，是不是可以找到一組基，讓所有的人臉庫中的人臉都可以用這組基的線性組合來表示特征臉的物理含義（1/4）比如ORL人臉數(shù)據庫中有400幅人9特征臉的物理含義（2/4）意義何在？1.維度大大減少假設數(shù)據庫中的圖像大小為112*92，那么存儲這些圖像所需要的空間大小為112*92*200=4121600；假設我們尋找一組基，不妨假定為40維（即40幅人臉圖像），則數(shù)據庫中的每幅圖像都可以用這40幅圖像表示，則這個數(shù)據庫所需的存儲空間為40*400=16000；對比：4121600/16000=257.6特征臉的物理含義（2/4）意義何在？1.維度大大減少10特征臉的物理含義（3/4）意義何在？2.投影方向區(qū)分度大命題1：隨機變量方差越大，包含的信息越多，特別地，如果一個變量方差為0，則該變量為常數(shù)，不包含任何信息。命題2：所有原始數(shù)據在主分量上的投影方差為特征值。PCA思想：尋找主分量，即尋找一組向量，使得原始數(shù)據在這組向量上的投影值的方差盡可能大。最大方差對應的向量就是第一主分量，以此類推特征臉的物理含義（3/4）意義何在？2.投影方向區(qū)分度大11特征臉的物理含義（4/4）意義何在？3.去除原始數(shù)據的相關性t=COV(X,Y),t=1,相關；t=0，不相關命題：對于矩陣A來說，如果AAT是一個對角矩陣，則A中的向量是非相關的。1）特征臉，即基是正交的，非相關2）投影系數(shù)，可以證明也是非相關的特征臉的物理含義（4/4）意義何在？3.去除原始數(shù)據的相關12訓練階段（1/12）訓練階段即是尋求最優(yōu)特征臉（基）第一步：假設訓練集有400個樣本，由灰度圖組成，每個樣本的大小為M*N寫出訓練樣本矩陣：

X=(x1,x2,…,x200)其中向量x為由第個圖像的每一列向量堆成一列的MN維列向量，即把矩陣向量化，如下圖所示：訓練階段（1/12）訓練階段即是尋求最優(yōu)特征臉（基）第一步：13訓練階段（2/12）如：第i個圖像的矩陣為

則xi用這個列向量來表示訓練階段（2/12）如：第i個圖像的矩陣為14訓練階段（3/12）第二步：計算平均臉計算訓練圖片的平均臉訓練階段（3/12）第二步：計算平均臉15訓練階段（4/12）平均臉示意圖訓練階段（4/12）16訓練階段（5/12）第三步：計算差值臉（也叫去平均化）計算每張人臉與平均臉的差值訓練階段（5/12）第三步：計算差值臉（也叫去平均化）17訓練階段（6/12）

差值臉示意圖訓練階段（6/12）18訓練階段（7/12）第四步：構建協(xié)方差矩陣訓練階段（7/12）第四步：構建協(xié)方差矩陣19訓練階段（8/12）第五步：求協(xié)方差矩陣的特征值和特征向量，構造特征臉空間協(xié)方差矩陣的維數(shù)為MN*MN，考慮其維數(shù)較大，計算量也比較大，所以一般采用奇異值分解（SingularValueDecomposition,SVD），通過求解ATA來獲得AAT的特征值和特征向量。訓練階段（8/12）第五步：求協(xié)方差矩陣的特征值和特征向量，20訓練階段（9/12）求出ATA的特征值及其正交歸一化特征向量協(xié)方差vi根據特征值的貢獻率選取前p個最大特征值及其對應的特征向量貢獻率是指選取的特征值之和與所有特征值之和的比，即訓練階段（9/12）求出ATA的特征值及其正交歸一化21訓練階段（10/12）選取的特征臉示例Discussion:對應較大特征值的特征向量，用于表示人體的大體形狀（低頻信息），而對應于較小特征值的特征向量則用于描述人臉的具體細節(jié)（高頻信息）訓練階段（10/12）22訓練階段（11/12）第六步：將每一幅人臉與平均臉的差值臉矢量投影到“特征臉”空間，即訓練階段（11/12）第六步：將每一幅人臉與平均臉的差值臉矢23訓練階段（12/12）一般選取即使訓練樣本在前p個特征向量集上的投影有99%的能量求出原協(xié)方差矩陣的特征向量則“特征臉”空間為訓練階段（12/12）一般選取24識別階段（1/5）第一步：將待識別的人臉圖像T與平均臉的差值臉投影到特征空間，得到其特征向量表示：識別階段（1/5）第一步：將待識別的人臉圖像T與平均臉的差值25識別階段（2/5）待識別的人臉圖像T及其與平均臉的差值臉識別階段（2/5）待識別的人臉圖像T26識別階段（3/5）第二步：采用歐式距離來計算與每個人臉之間的距離：識別階段（3/5）第二步：采用歐式距離來計算與每27識別階段（4/5）第三步：根據前面計算的歐式距離，找出與測試圖像最小的圖像標簽，即為測試圖像的標簽：識別階段（4/5）第三步：根據前面計算的歐式距離，找出與測試28識別階段（5/5）數(shù)據庫中最接近的圖測試圖識別階段（5/5）數(shù)據庫中最接近的圖29

ThankYou!Qusetions?ThankYou!QusPCA和LDA

葛永新PCA和LDAContents特征臉的物理含義關于主成分的理解作者信息

論文信息

訓練階段識別階段Contents特征臉的物理含義關于主成分的理解作者信息論論文信息TurkM，PentlandA．Eigenfacesforrecognition[J]．JoumalofCognitiveNeumseience，1991，3(1)：71—86.

論文信息TurkM，PentlandA．Eigenfac作者信息（1/2）MatthewTurkProfessorComputerScienceDepartmentMediaArtsandTechnologyProgramUniversityofCalifornia,SantaBarbara

Researchinterests:Computervisionandimaging,perceptualinterfaces,multimodalinteraction,human-computerinteraction,gesturerecognition,artificialintelligence

/~mturk/作者信息（1/2）MatthewTurkProfes34作者信息（1/2）Prof.AlexPaulPentland

ToshibaProfessorofMedia,Arts,andSciences

MassachusettsInstituteofTechnology

/~pentland

Director,HumanDynamicsLaboratoryDirector,MediaLabEntrepreneurshipProgram

作者信息（1/2）Prof.AlexPaulPentl35關于主成分的理解（1/3）五行是一種哲學觀，認為萬事萬物都是由金木水火土這五種要素組成

西方人：所有事物都是由元素周期表中的103種元素組成的水：H2O=2*H+1*O線性代數(shù)尋找基向量的過程

關于主成分的理解（1/3）五行是一種哲學觀，認為萬事萬物都是36關于主成分的理解（2/3）PCA的基礎就是K-L變換，是一種常用的正交變化，K-L變換思想如下：假設X為n維隨機變量，X可以用n個基向量的加權和表示

其中是加權系數(shù)，是基向量，其矩陣表示形式是

其系數(shù)向量為關于主成分的理解（2/3）PCA的基礎就是K-L變換，是一種37關于主成分的理解（3/3）綜上所述，K-L展開式的系數(shù)可用下列步驟求出

求隨機向量X的自相關矩陣R=E（XTX），通常我們采用數(shù)據集的協(xié)方差矩陣作為K-L坐標系的產生矩陣；求出自相關矩陣或協(xié)方差矩陣的特征值和特征向量，；3.展開式系數(shù)即為，由正交性可得，此二式為K-L變換公式

關于主成分的理解（3/3）綜上所述，K-L展開式的系數(shù)可用下38特征臉的物理含義（1/4）比如ORL人臉數(shù)據庫中有400幅人臉圖像，是不是可以找到一組基，讓所有的人臉庫中的人臉都可以用這組基的線性組合來表示特征臉的物理含義（1/4）比如ORL人臉數(shù)據庫中有400幅人39特征臉的物理含義（2/4）意義何在？1.維度大大減少假設數(shù)據庫中的圖像大小為112*92，那么存儲這些圖像所需要的空間大小為112*92*200=4121600；假設我們尋找一組基，不妨假定為40維（即40幅人臉圖像），則數(shù)據庫中的每幅圖像都可以用這40幅圖像表示，則這個數(shù)據庫所需的存儲空間為40*400=16000；對比：4121600/16000=257.6特征臉的物理含義（2/4）意義何在？1.維度大大減少40特征臉的物理含義（3/4）意義何在？2.投影方向區(qū)分度大命題1：隨機變量方差越大，包含的信息越多，特別地，如果一個變量方差為0，則該變量為常數(shù)，不包含任何信息。命題2：所有原始數(shù)據在主分量上的投影方差為特征值。PCA思想：尋找主分量，即尋找一組向量，使得原始數(shù)據在這組向量上的投影值的方差盡可能大。最大方差對應的向量就是第一主分量，以此類推特征臉的物理含義（3/4）意義何在？2.投影方向區(qū)分度大41特征臉的物理含義（4/4）意義何在？3.去除原始數(shù)據的相關性t=COV(X,Y),t=1,相關；t=0，不相關命題：對于矩陣A來說，如果AAT是一個對角矩陣，則A中的向量是非相關的。1）特征臉，即基是正交的，非相關2）投影系數(shù)，可以證明也是非相關的特征臉的物理含義（4/4）意義何在？3.去除原始數(shù)據的相關42訓練階段（1/12）訓練階段即是尋求最優(yōu)特征臉（基）第一步：假設訓練集有400個樣本，由灰度圖組成，每個樣本的大小為M*N寫出訓練樣本矩陣：

X=(x1,x2,…,x200)其中向量x為由第個圖像的每一列向量堆成一列的MN維列向量，即把矩陣向量化，如下圖所示：訓練階段（1/12）訓練階段即是尋求最優(yōu)特征臉（基）第一步：43訓練階段（2/12）如：第i個圖像的矩陣為

則xi用這個列向量來表示訓練階段（2/12）如：第i個圖像的矩陣為44訓練階段（3/12）第二步：計算平均臉計算訓練圖片的平均臉訓練階段（3/12）第二步：計算平均臉45訓練階段（4/12）平均臉示意圖訓練階段（4/12）46訓練階段（5/12）第三步：計算差值臉（也叫去平均化）計算每張人臉與平均臉的差值訓練階段（5/12）第三步：計算差值臉（也叫去平均化）47訓練階段（6/12）

差值臉示意圖訓練階段（6/12）48訓練階段（7/12）第四步：構建協(xié)方差矩陣訓練階段（7/12）第四步：構建協(xié)方差矩陣49訓練階段（8/12）第五步：求協(xié)方差矩陣的特征值和特征向量，構造特征臉空間協(xié)方差矩陣的維數(shù)為MN*MN，考慮其維數(shù)較大，計算量也比較大，所以一般采用奇異值分解（SingularValueDecomposition,SVD），通過求解ATA來獲得AAT的特征值和特征向量。訓練階段（8/12）第五步：求協(xié)方差矩陣的特征值和特征向量，50訓練階段（9/12）求出ATA的特征值及其正交歸一化特征向量協(xié)方差vi根據特征值的貢獻率選取前p個最大特征值及其對應的特征向量貢獻率是指選取的特征值之和與所有特征值之和的比，即訓練階段（9/12）求出ATA的特征值及其正交歸一化51訓練階段（10/12）