矩陣分析和流形學習

1、重慶郵電大學研究生堂下考試答卷2011-2012學年第 1 學期考試科目 高等代數(shù)與矩陣分析 姓 名 李淑芳 年 級 2011級2班 專 業(yè) 計算機技術(shù) 電 話2011年 12 月 27 日矩陣分析和流形學習課本矩陣分析的內(nèi)容主要包括：線性空間和線性變換、矩陣的性質(zhì)及其基本運算、矩陣分解、矩陣函數(shù)、矩陣的廣義逆等。以課本詳細詳系、系統(tǒng)、全面地介紹矩陣分析的主要理論、方法及應用。在信息化時代，數(shù)學應用于諸多方面，甚至涉及到現(xiàn)實世界的第一個方面，特別是應用在計算機領域，矩陣分析是數(shù)學的一個分支，其中的方法或是算法加上適當?shù)墓ぞ?，為計算機領域的發(fā)展提供了一個好的平臺?，F(xiàn)在，

2、隨著信息時代的到來，使得數(shù)據(jù)集更新更快、數(shù)據(jù)維度更高以及非結(jié)構(gòu)化性等問題更突出。在科研研究的過程中不可避免地遇到大量的高維數(shù)據(jù)，這就需要一種技術(shù)能夠使在保持數(shù)據(jù)信息足夠完整的意義下從海量數(shù)據(jù)集中提取出有效而又合理的約簡數(shù)據(jù)，滿足人的存儲需求和感知需要。流形學習這一非監(jiān)督學習方法應運而生，引起越來越多機器學習和認知科學工作者的重視。而在海量的高維數(shù)據(jù)中，往往只有少量的有用信息，如果想快速高效的搜集到人們想要的、有用的那些少量信息且快速的處理信息，這就需要一些關鍵技術(shù)的支持，即是必須采用相應的降維技術(shù)。而流形學習正是在數(shù)據(jù)降維方面有著重要的貢獻。然而，降維的過程與矩陣分析中的內(nèi)容有著密切的關系?；?/p>

3、于流形的降維方法能充分利用數(shù)據(jù)中所隱藏的低維有價值信息，進一步提高檢索性能。Seung從神經(jīng)心理學的角度提出“感知以流形的形式存在，視覺記憶也可能是以穩(wěn)態(tài)的流形存儲”，為流形提供了與人類認識相關的理由。流形學習的方法主要有主成分分析（PCA）、多維尺度化（MDS）、基于局部切空間排列法（LTSA）和基于等度規(guī)映射（ISOMAP）、局部線性嵌入算法（LLE）、拉普拉斯特征映射（LE）等。另外，流形學習方法在人臉識別、圖像處理、模式識別、計算機視覺、認知科學、人工智能、人機交互等眾多學科中有著廣泛的應用。流形學習的定義：流形是局部具有歐氏空間性質(zhì)的空間。假設數(shù)據(jù)是均勻采樣于一個高維歐氏空間中的低維

4、流形，流形學習就是從高維采樣數(shù)據(jù)中恢復低維流形結(jié)構(gòu)，即找到高維空間中的低維流形，并求出相應的嵌入映射，以實現(xiàn)維數(shù)約簡或者數(shù)據(jù)可視化。它是從觀測到的現(xiàn)象中去尋找事物的本質(zhì)，找到產(chǎn)生數(shù)據(jù)的內(nèi)在規(guī)律。流形學習用數(shù)學語言描述是：令Y且¦: Y是一個光滑的嵌套，其中D >> d。那么流形學習的目標是基于上的一個給定被觀測數(shù)據(jù)集合去恢復Y與¦ ，也就是在Y 中隨機產(chǎn)生隱藏的數(shù)據(jù)，然后通過¦ 映射到觀測空間，使得。從流形學習的定義中可以看出，這是一個把數(shù)據(jù)從高維映射到低維的過程，用到了線性變換，當然少不了矩陣的分解及其基本運算。下面用流形學習算法中的一種算法多維尺度

5、分析（Multidimensional Scaling, MDS）來說明矩陣分析這一課和的內(nèi)容與流形學習研究的相關度。多維尺度分析（Multidimensional Scaling, MDS）是一種經(jīng)典的線性降維方法，其主要思想是：根據(jù)數(shù)據(jù)點間的歐氏距離，構(gòu)造關系矩陣，為了盡可能地保持每對觀測數(shù)據(jù)點間的歐氏距離，只需對此關系矩陣進行特征分解，從而獲得每個數(shù)據(jù)在低維空間中的低維坐標。設給定的高維觀測數(shù)據(jù)點集為，觀測數(shù)據(jù)點對, 間的歐氏距離為，傳統(tǒng)MDS 的算法步驟如下：a) 首先根據(jù)求出的兩點之間的歐氏距離構(gòu)造n階平方歐式距離矩陣。b) 將矩陣A進行雙中心化計算，即計算（其中H 為中心化矩陣，將矩陣H左乘和右乘時稱為雙中心化）。c) 計算低維坐標Y。即將B奇異值分解，設B的最大的d個特征值，對應特征向量，則d維低維坐標為。雖然作為線性方法，MDS在流形學習中不能有效發(fā)現(xiàn)內(nèi)在低維結(jié)構(gòu)。但是從這一基本的算法中我們可以清楚的看出矩陣分析在流形學習研究中的應用。在這個MDS算法中，運用到了矩陣中的線性空間變換、矩陣特征值和特征向量的計算、矩陣的中心化計算、矩陣的奇異值的分解等相關知識點。想象一下，如果沒有這些知識點做基礎，這些算法如何進行。總結(jié)：在流形學習中的各個算法中大都用到矩陣的相關的許多知識點，特別是矩陣分解、線性空間變換等。當然，只用矩陣中知識來解決在流形學習算法研