模式識別文獻(xiàn)綜述報(bào)告(共13頁)

1、 文獻(xiàn)(wnxin)綜述報(bào)告 指導(dǎo)老師： 馬 麗 學(xué) 號：20111000700 班 級： 075111 姓 名： 劉 建 成 績： 目 錄 一、 報(bào)告(bogo)內(nèi)容要點(diǎn) 二、 應(yīng)用主成分(chng fn)分解(PCA)法的圖像融合技術(shù) 三、 基于(jy)類內(nèi)加權(quán)平均值的模塊 PCA 算法 四、 PCA-LDA 算法在性別鑒別中的應(yīng)用 五、 一種面向數(shù)據(jù)學(xué)習(xí)的快速PCA算法 六、 Theory of fractional covariance matrix and its applications in PCA and 2D-PCA 七、 課程心得體會 八、 參考文獻(xiàn) 報(bào)告內(nèi)容(nirng)

2、要點(diǎn) 每篇論文主要使用什么(shn me)算法實(shí)現(xiàn)什么 論文(lnwn)有沒有對算法做出改進(jìn)（為什么改進(jìn)，原算法存在什么問題，改進(jìn)方法是什么） 論文中做了什么對比試驗(yàn)，實(shí)驗(yàn)結(jié)論是什么？可以加入自己的分析和想法，例如這篇論文還存在什么問題或者缺點(diǎn)，這篇論文所作出的改進(jìn)策略是否好，你自己對算法有沒有什么改進(jìn)的想法？二、 應(yīng)用主成分分解(PCA)法的圖像融合技術(shù)第一篇 應(yīng)用主成分分解(PCA)法的圖像融合技術(shù) ，作者主要是實(shí)現(xiàn)用PCA可以提取圖像數(shù)據(jù)中主要成分這一特點(diǎn)，從元圖像獲得協(xié)方差矩陣的特征值和特征向量，據(jù)此確定圖像融合算法中的加權(quán)系數(shù)和最終融合圖像。作者在圖像融合的算法上進(jìn)行改進(jìn)，用PCA獲

3、得待融合的每幅圖像的加權(quán)系數(shù)Wi。是這樣實(shí)現(xiàn)的：計(jì)算待融合的i幅圖像數(shù)據(jù)矩陣的協(xié)方差矩陣，從中獲得i，用圖像所對應(yīng)的i在所有和中所占比例作為這幅圖像的加權(quán)系數(shù)。算法流程:設(shè)共有 N 幅源圖, 把每幅圖像看作一維向量記做(1) 由源圖像構(gòu)造數(shù)據(jù)矩陣 (2) 計(jì)算數(shù)據(jù)矩陣 X 的協(xié)方差矩陣C為圖像的方差,為第 i 幅源圖像(t xin)的平均灰度值。(3) 計(jì)算(j sun)協(xié)方差矩陣的 C 的特征值 及相應(yīng)(xingyng)的特征向量 由特征值方程 求出特征值 i和對應(yīng)的特征向量 i(i=1,2,m)。(4) 確定加權(quán)系數(shù)i (5) 計(jì)算最終融合圖像 F得到的圖像可以用下式來表達(dá)： 作者做了幾種

4、確定加權(quán)系數(shù)算法的對比試驗(yàn)，并且實(shí)驗(yàn)結(jié)果如下，可見PCA分解確定加權(quán)系數(shù)得到的圖像交互信息量和聯(lián)合熵都優(yōu)于另外兩個(gè)，所以是相對較好的算法。結(jié)合我們模式識別課程所學(xué)，其實(shí)PCA算法應(yīng)用于圖像融合就相當(dāng)于遙感數(shù)據(jù)圖像中各個(gè)波段的圖像融合在一起。作者在論文中提到：他是將每幅圖像都看做一維的向量，其實(shí)也就相當(dāng)于我們一個(gè)波段的圖像向量（zy3中145*145,1）。我們在MATLAB中實(shí)現(xiàn)的PCA提取前K個(gè)主成分，也就是前K個(gè)波段的圖像融合在一起。加權(quán)系數(shù)也是從各個(gè)特征值確定，取對應(yīng)特征向量矩陣來對圖像進(jìn)行變換。按照融合前是否對圖像進(jìn)行(jnxng)多尺度分解, 作者將已有的圖像融合算法分為多尺度分解和

5、非多尺度分解兩大類。本文作者創(chuàng)新點(diǎn)在于利用主稱分分解(PCA)可以保留原數(shù)據(jù)中的主要信息的特點(diǎn), 在非多尺度分解的框架下, 發(fā)展了一種基于 PCA 分解確定加權(quán)系數(shù)的圖像融合算法。在對比實(shí)驗(yàn)中經(jīng)過定量的觀察和定性的計(jì)算發(fā)現(xiàn)該算法優(yōu)于其它的非多尺度融合方法。 我的想法(xing f)：若能將該圖像融合辦法加入多尺度(chd)分解算法, 必將取得更好的融合圖像。三、 基于類內(nèi)加權(quán)平均值的模塊 PCA 算法本文作者針對主成分分析(PCA)算法在人臉識別中識別率低的問題，提出一種基于類內(nèi)加權(quán)平均值的模塊 PCA 算法。該算法對每一類訓(xùn)練樣本中每個(gè)訓(xùn)練樣本的每個(gè)子塊求類內(nèi)加權(quán)平均值，用類內(nèi)加權(quán)平均值對訓(xùn)

6、練樣本類內(nèi)的相應(yīng)子塊進(jìn)行規(guī)范化處理。由所有規(guī)范化后的子塊構(gòu)成總體散布矩陣，得到最優(yōu)投影矩陣，由訓(xùn)練集全體子塊的中間值對訓(xùn)練樣本子塊和測試樣本子塊進(jìn)行規(guī)范化后投影到最優(yōu)投影矩陣，得到識別特征，并用最近距離分類器分類。 作者在本文中是對模塊PCA算法的改進(jìn)，主要是基于類內(nèi)加權(quán)平均值，其基本思想是先將一個(gè) m n的圖像矩陣 I 分成 p q分塊圖像矩陣，即其中，每個(gè)子圖像矩陣Ikl 是矩陣，然后將所有訓(xùn)練圖像樣本的子圖像矩陣看作訓(xùn)練樣本圖像向量施行 PCA 方法。相對于傳統(tǒng)模塊 PCA 算法(sun f)的改進(jìn)是：在求總體散布矩陣時(shí)不是用所有訓(xùn)練(xnlin)樣本子塊的平均值，而是用子塊的類內(nèi)加權(quán)平

7、均值。這樣可以減小訓(xùn)練樣本均值偏離類中心對求取最優(yōu)投影矩陣的影響，有利于識別率的提高. 對比(dub)試驗(yàn)：作者做了傳統(tǒng) PCA 算法、22 模塊 PCA 算法和基于類內(nèi)加權(quán)平均值的 22 模塊 PCA算法的實(shí)驗(yàn).并且得出的結(jié)果為：傳統(tǒng) PCA 算法的識別率最低，最高識別率只有 77%，模塊 PCA 算法提高了識別率，而基于類內(nèi)加權(quán)平均值的分塊 PCA 算法優(yōu)于該方法。在 42 分塊情況下，改進(jìn)的算法比普通模塊 PCA 算法有更高的識別率并且魯棒性更強(qiáng)。42 分塊方式優(yōu)于 22 分塊方式。 在44分塊方式下的正確識別率有很大下降，這是因?yàn)閷γ繌垐D片分的塊數(shù)越多，每個(gè)子塊包含的可區(qū)分信息量越少，

8、會出現(xiàn)較多的相似子塊，不利于分類，導(dǎo)致正確識別率下降。在這種情況下同樣基于類內(nèi)加權(quán)平均值的模塊 PCA 算法仍然優(yōu)于普通模塊 PCA 算法。模塊 PCA 人臉識別算法的突出優(yōu)點(diǎn)是能夠抽取圖像的局部特征，這些局部特征更好地反映了圖像之間的差異，便于模式識別。同時(shí)，由于對原始數(shù)字圖像進(jìn)行分塊，可以方便地在較小的圖像上使用鑒別分析的方法，因此過程簡便。為了進(jìn)一步提高識別率，作者對模塊 PCA 人臉識別算法進(jìn)行了改進(jìn)，提出了基于類內(nèi)加權(quán)平均值的模塊 PCA 算法。在ORL 人臉庫上的實(shí)驗(yàn)表明，此方法優(yōu)于傳統(tǒng)的 PCA 算法和普通模塊 PCA 算法。我的想法：對同一個(gè)數(shù)據(jù)庫，原始圖像采用不同的分塊，獲得

9、的最高識別率一般不同，所以我認(rèn)為這個(gè)算法可以繼續(xù)尋找最佳分塊方式以獲得最高識別率以及如何簡化分塊 PCA 算法。 四、 PCA-LDA 算法在性別鑒別中的應(yīng)用 本文的PCA-LDA 算法是將PCA 算法與LDA 算法構(gòu)造的特征子空間進(jìn)行融合，獲得其融合特征空間；然后，將訓(xùn)練樣本與測試樣本分別朝該融合特征空間投影，獲得識別特征；最后，利用最近鄰準(zhǔn)則完成性別鑒別。 算法(sun f)流程： 設(shè)訓(xùn)練樣本表示(biosh)為N ， N表示訓(xùn)練(xnlin)樣本數(shù)。在訓(xùn)練過程中，首先讀入訓(xùn)練樣本 xi，i = 1,., N ，并計(jì)算訓(xùn)練樣本的均值avg ，即其中，。同樣，利用訓(xùn)練樣本可計(jì)算每類訓(xùn)練樣本的

10、均值。性別鑒別屬于兩類模式識別問題，劃分類別僅為男女兩類。接著，對訓(xùn)練樣本規(guī)范化。然后，計(jì)算協(xié)方差矩陣Q 的特征值與特征向量，并取其較大l 個(gè)特征值對應(yīng)的特征向量，組成PCA 算法的特征子空間根據(jù)即可把訓(xùn)練樣本矩陣X 投影到特征子空間W1 中。其中，Y 稱為訓(xùn)練樣本矩陣X 的PCA 降維特征，即識別特征。顯然，m n維的訓(xùn)練樣本圖像經(jīng)過 PCA 算法獲得了l 1 維的降維特征。數(shù)據(jù)量得到了大大壓縮。 從這篇論文中我知道，通過 PCA 算法的特征子空間的投影，每一幅人臉圖像就對應(yīng)于該特征子空間中的一個(gè)點(diǎn)。同樣，特征子空間中的任一點(diǎn)也對應(yīng)于一幅圖像。特征子空間中的點(diǎn)重構(gòu)后的圖像很像“人臉”，所以被

11、稱為“特征臉”。有了“特征臉”組成的降維子空間，任何一幅人臉圖像都可以向其做投影并獲得PCA 降維特征，該特征表征了圖像在特征子空間中的位置。因此，在PCA 算法中，原來的人臉圖像識別問題就轉(zhuǎn)化為依據(jù)特征子空間中的訓(xùn)練樣本點(diǎn)進(jìn)行分類的問題。 對比實(shí)驗(yàn)：本文作者對PCA-LDA 算法與PCA 算法進(jìn)行對比，他們的特征空間維數(shù)與正確識別率的關(guān)系如下圖： 試驗(yàn)結(jié)果為：PCA-LDA 算法的融合特征空間的不同選擇，以及不同的訓(xùn)練樣本數(shù)均影響性別鑒別的正確識別率。同時(shí)，PCA-LDA 算法比PCA 算法識別性能好，對樣本數(shù)據(jù)具有較好的魯棒性。 本文(bnwn)作者(zuzh)結(jié)合 PCA 算法(sun

12、f)與LDA 算法的特點(diǎn)，提出了用于性別鑒別的PCA-LDA 算法。該算法將原始圖像投影到PCA-LDA 算法構(gòu)造的融合特征空間中，去掉了圖像大量的冗余信息，同時(shí)，保留了圖像的有用信息。該算法既實(shí)現(xiàn)了PCA算法的特征壓縮，又解決了LDA 算法出現(xiàn)的小樣本集問題，為性別鑒別提供了一種新途徑。 我的想法：在作者對算法改進(jìn)的基礎(chǔ)上進(jìn)行有效地實(shí)現(xiàn)PCA 算法與LDA 算法特征子空間的融合以及有效地選擇融合特征空間的維數(shù)，應(yīng)該可以更加優(yōu)化算法。五、 一種面向數(shù)據(jù)學(xué)習(xí)的快速PCA算法 因?yàn)楦呔S數(shù)據(jù)的主成分分析較難處理,而且計(jì)算時(shí)間和空間復(fù)雜度隨著數(shù)據(jù)維數(shù)的增加而急劇增加。鑒于此，作者在文中提出了一種直接面

13、向數(shù)據(jù)學(xué)習(xí)的PCA算法,即在迭代中新的權(quán)向量等于所有樣本向量的加權(quán)和,這樣可以不必計(jì)算數(shù)據(jù)協(xié)方差矩陣.在解決給定樣本向量或平穩(wěn)隨機(jī)過程的PCA問題時(shí),該算法能夠彌補(bǔ)目前批量的算法和增量算法存在的不足。此外,作者還從理論上證明該算法的收斂性。 作者提出的PCA算法基于一種直接面向數(shù)據(jù)學(xué)習(xí)的思想,即在迭代中新的權(quán)向量是所有數(shù)據(jù)向量的加權(quán)和,稱為直接面向數(shù)據(jù)學(xué)習(xí)的PCA算法(Data-Oriented PCA, DOPCA).在解決給定數(shù)據(jù)或平穩(wěn)隨機(jī)過程的PCA問題時(shí),DOPCA算法能夠彌補(bǔ)目前批量算法和增量算法存在的不足.首先,它不需要計(jì)算數(shù)據(jù)協(xié)方差矩陣,運(yùn)算復(fù)雜度低,可解決高維數(shù)據(jù)問題.其次,D

14、OPCA算法具有單邊漸近的收斂特性,能夠較為快地求出最優(yōu)特征向量的精確解.除此之外,本文作者還證明PCA子空間的收斂一致性,并提出一種快速算法,使計(jì)算效率更高,收斂速度加快.算法流程如下：1.求解第1個(gè)特征向量2.求解高階特征向量3.快速(kui s)計(jì)算算法具體(jt)如下：前p個(gè)特征向量的DOPCA基本算法step 1 選擇(xunz)需要計(jì)算的特征向量數(shù)p,并使k=1.step 2 隨機(jī)初始化權(quán)向量wkstep 3 更新權(quán)向量：step 4 歸一化權(quán)向量:step 5 若wk未收斂,則返回到step 3.否則,轉(zhuǎn)到step 6.step 7 k=k+1,回到step 2直到k =p.在s

15、tep 6緊縮所有樣本向量,數(shù)據(jù)矩陣X的每一列對應(yīng)一個(gè)樣本向量.當(dāng)?shù)趉個(gè)特征向量的當(dāng)前值wk和更新以前的值滿足時(shí)迭代收斂.通常地,可允許有很小的收斂容差,即判斷迭代收斂的標(biāo)準(zhǔn)為其中,E是收斂容差,abs(#)是求絕對值運(yùn)算.對比實(shí)驗(yàn)：實(shí)驗(yàn)1：平均迭代次數(shù)l與樣本向量維數(shù)之間的關(guān)系.實(shí)驗(yàn)2：計(jì)算時(shí)間隨著向量空間維數(shù)或樣本數(shù)目的增加總體呈現(xiàn)線性增長趨勢.實(shí)驗(yàn)3：采用ORL人臉圖像數(shù)據(jù)庫進(jìn)行特征臉提取實(shí)驗(yàn).CCIPCA(Candid Covariance-Free Incre-mentalPCA)算法比隨機(jī)梯度上升(Stochastic GradientAscen,t SGA)算法和廣義Hebbia

16、n算法(Generalized Hebbian Algorithm, GHA)6有更好的收斂特性,所以僅用CCIPCA作為增量學(xué)習(xí)算法的代表進(jìn)行比較.在特征臉實(shí)驗(yàn)中,由于數(shù)據(jù)庫中只有400張圖像,所以可用矩陣計(jì)算方法來求特征向量.但是,當(dāng)數(shù)據(jù)量較大時(shí),矩陣計(jì)算方法就很難處理了,而用DOPCA就可求出特征向量的精確解.實(shí)驗(yàn)結(jié)果表明,DOPCA算法收斂速度快,能求出最優(yōu)特征向量的精確解,是一種解決大數(shù)據(jù)量高維PCA問題的有效方法。這篇論文主要研究不需計(jì)算協(xié)方差矩陣而求解高維數(shù)據(jù)特征向量精確解的辦法?；诿嫦驍?shù)據(jù)學(xué)習(xí)的思想,本文提出一種簡單的DOPCA算法。經(jīng)過分析,這個(gè)算法可精確收斂到數(shù)據(jù)協(xié)方差矩

17、陣的特征向量.利用迭代向量在高階線性子空間投影, FastDOPCA可進(jìn)一步加快收斂速度.在這篇論文中，面向數(shù)據(jù)學(xué)習(xí)的思想給了我很大的啟示，它可以應(yīng)用在很多的算法中，大大提高算法的速度和效率。Theory of fractional covariance matrix and its applications in PCA and 2D-PCA 在這篇論文中，作者給了定義的部分方差和部分協(xié)方差的新定義。此外，還給出部分協(xié)方差矩陣的定義?；诓糠謪f(xié)方差矩陣，主成分分析（PCA）和二維主成分分析（2D-PCA），作者提出了兩種新的技術(shù)，叫做部分主成分分析（FPCA）和二維部分主成分分析 （2D-F

18、PCA），它把PCA和2D-PCA成部分順序形式，并擴(kuò)展了PCA和2D-PCA的過渡識別范圍(fnwi)。為了比較FPCA及2D-FPCA的性能，并且在ORL和Yale這兩個(gè)人臉圖像數(shù)據(jù)庫進(jìn)行了一系列的對比實(shí)驗(yàn)。對比(dub)實(shí)驗(yàn)：PCA和FPCA的對比(dub)FPCA與傳統(tǒng)的無監(jiān)督的PCA方法在ORL人臉庫進(jìn)行性能評估的對比。該ORL人臉庫包含從40個(gè)人，每個(gè)提供10個(gè)不同的圖像。對于圖像的拍攝時(shí)間不同。面部表情（眼睛的開或閉、微笑或不笑）和面部細(xì)節(jié)（戴眼鏡或不戴眼鏡）也各不相同。首先，對每一類第一個(gè)五張圖像樣本做訓(xùn)練數(shù)據(jù)，剩余的圖像作為測試數(shù)據(jù)。因此，總的訓(xùn)練和測試數(shù)量是200。所有圖像

19、都是灰度像素規(guī)范化到 23X28像素。部分協(xié)方差由得到的矩陣。這里，部分協(xié)方差矩陣的大小是644X644，我們很容易計(jì)算其特征值以及對應(yīng)的特征向量，并且貢獻(xiàn)率特征值由計(jì)算可得。 根據(jù)特征值的貢獻(xiàn)率，我們選擇對應(yīng)于P最大特征值的特征向量，E1，E2，。 。 。 ，EP，作為投影軸。圖像的投影由可以投影到軸上，我們在低維空間中得到構(gòu)造子圖像。最近鄰分類器與歐幾里德距離應(yīng)用于分類。結(jié)果很顯然，在相同的維度FPCA最佳(zu ji)識別的精度總是高于PCA?？偟膩碚fFPCA的頂部的識別精度大約5，比PCA更高。2.2D-PCA和2D-FPCA的對比(dub)2D-FPCA與經(jīng)典的無監(jiān)督方法(fngf)

20、2DPCA在Yale人臉庫進(jìn)行性能評估的比較。 Yale人臉數(shù)據(jù)庫包含15個(gè)人的165圖像 （每個(gè)人都有11種不同的圖像）在不同光照下的各種表情。在該實(shí)驗(yàn)每個(gè)圖像是人為裁剪并調(diào)整到40X40個(gè)像素。首先，將試驗(yàn) 在每類中隨機(jī)選擇六個(gè)圖像作為，而其余保持進(jìn)行測試。該 FCM是由計(jì)算。計(jì)算FCM的特征向量后，很容易由獲得2D-FPCA和2D-PCA的CRE。 結(jié)果顯示如下圖，然后，最近鄰分類器與歐氏距離最終用于分類。 它的識別類似于2D-PCA方法。實(shí)驗(yàn)結(jié)果表明，兩個(gè)新的技術(shù)優(yōu)于標(biāo)準(zhǔn)的PCA和2D-PCA如果0和1之間選擇不同的順序。結(jié)果很顯然，在同維度2D-FPCA的最佳平均識別精度優(yōu)于2D-P

21、CA。我的想法(xing f)：從論文中我們(w men)知道，在一般(ybn)情況下，降序的FPCA頂端識別精度比PCA高大約5。，降維且降序時(shí)2D-FPCA的平均識別精度比2D-PCA大了約5而比2D-PCA大了10。 整體而言，本文中FPCA及2D-FPCA的性能比PCA和2D-PCA的更好。 我會認(rèn)為作者提出的部分方差和部分協(xié)方差在未來可以應(yīng)用在圖像處理并可以對圖像分析提供有價(jià)值的信息。 課程(kchng)心得體會 非常高興選擇了馬麗老師的通選課程，老師的作風(fēng)一向嚴(yán)謹(jǐn)(ynjn)認(rèn)真，樸素求實(shí)，這也正是我能夠把模式識別這門課程學(xué)得相當(dāng)深刻的原因。 而在模式識別的課程中，PCA算法可以說是最感興趣的一個(gè)算法，因?yàn)閺木W(wǎng)上查閱資料得知，其在人臉識別的領(lǐng)域有著非常高的地位，這迎合了我從小的科幻夢想。并且，馬老師在課堂上對PCA和LDA的對比給了我非常深刻的印象。PCA和LDA有著不同的決策函數(shù)線，所有樣本點(diǎn)在PCA決策函數(shù)上的投影特點(diǎn)是：方差最大，但是可分性不好，而且各點(diǎn)直接由重合部分。而在LDA上的投影特點(diǎn)是：可分性最好(zu ho)，各個(gè)點(diǎn)的投影布容易重合，利于分類。而從性能上來說，PCA對高光譜數(shù)據(jù)圖像可以提取前K個(gè)重要成分，取掉冗余數(shù)據(jù)部分。LDA則是擁有比PCA更好的分類器，這取決于它的決策函數(shù)可分性能良好。 鑒于對PCA算法的濃厚興趣，