矩陣分析和流形學(xué)習(xí)

1、重慶郵電大學(xué)研究生堂下考試答卷2011-2012學(xué)年第 1 學(xué)期考試科目 高等代數(shù)與矩陣分析 姓 名 李淑芳 年 級(jí) 2011級(jí)2班 專 業(yè) 計(jì)算機(jī)技術(shù) 電 話2011年 12 月 27 日矩陣分析和流形學(xué)習(xí)課本矩陣分析的內(nèi)容主要包括：線性空間和線性變換、矩陣的性質(zhì)及其基本運(yùn)算、矩陣分解、矩陣函數(shù)、矩陣的廣義逆等。以課本詳細(xì)詳系、系統(tǒng)、全面地介紹矩陣分析的主要理論、方法及應(yīng)用。在信息化時(shí)代，數(shù)學(xué)應(yīng)用于諸多方面，甚至涉及到現(xiàn)實(shí)世界的第一個(gè)方面，特別是應(yīng)用在計(jì)算機(jī)領(lǐng)域，矩陣分析是數(shù)學(xué)的一個(gè)分支，其中的方法或是算法加上適當(dāng)?shù)墓ぞ?，為?jì)算機(jī)領(lǐng)域的發(fā)展提供了一個(gè)好的平臺(tái)。現(xiàn)在，

2、隨著信息時(shí)代的到來，使得數(shù)據(jù)集更新更快、數(shù)據(jù)維度更高以及非結(jié)構(gòu)化性等問題更突出。在科研研究的過程中不可避免地遇到大量的高維數(shù)據(jù)，這就需要一種技術(shù)能夠使在保持?jǐn)?shù)據(jù)信息足夠完整的意義下從海量數(shù)據(jù)集中提取出有效而又合理的約簡(jiǎn)數(shù)據(jù)，滿足人的存儲(chǔ)需求和感知需要。流形學(xué)習(xí)這一非監(jiān)督學(xué)習(xí)方法應(yīng)運(yùn)而生，引起越來越多機(jī)器學(xué)習(xí)和認(rèn)知科學(xué)工作者的重視。而在海量的高維數(shù)據(jù)中，往往只有少量的有用信息，如果想快速高效的搜集到人們想要的、有用的那些少量信息且快速的處理信息，這就需要一些關(guān)鍵技術(shù)的支持，即是必須采用相應(yīng)的降維技術(shù)。而流形學(xué)習(xí)正是在數(shù)據(jù)降維方面有著重要的貢獻(xiàn)。然而，降維的過程與矩陣分析中的內(nèi)容有著密切的關(guān)系?；?/p>

3、于流形的降維方法能充分利用數(shù)據(jù)中所隱藏的低維有價(jià)值信息，進(jìn)一步提高檢索性能。Seung從神經(jīng)心理學(xué)的角度提出“感知以流形的形式存在，視覺記憶也可能是以穩(wěn)態(tài)的流形存儲(chǔ)”，為流形提供了與人類認(rèn)識(shí)相關(guān)的理由。流形學(xué)習(xí)的方法主要有主成分分析（PCA）、多維尺度化（MDS）、基于局部切空間排列法（LTSA）和基于等度規(guī)映射（ISOMAP）、局部線性嵌入算法（LLE）、拉普拉斯特征映射（LE）等。另外，流形學(xué)習(xí)方法在人臉識(shí)別、圖像處理、模式識(shí)別、計(jì)算機(jī)視覺、認(rèn)知科學(xué)、人工智能、人機(jī)交互等眾多學(xué)科中有著廣泛的應(yīng)用。流形學(xué)習(xí)的定義：流形是局部具有歐氏空間性質(zhì)的空間。假設(shè)數(shù)據(jù)是均勻采樣于一個(gè)高維歐氏空間中的低維

4、流形，流形學(xué)習(xí)就是從高維采樣數(shù)據(jù)中恢復(fù)低維流形結(jié)構(gòu)，即找到高維空間中的低維流形，并求出相應(yīng)的嵌入映射，以實(shí)現(xiàn)維數(shù)約簡(jiǎn)或者數(shù)據(jù)可視化。它是從觀測(cè)到的現(xiàn)象中去尋找事物的本質(zhì)，找到產(chǎn)生數(shù)據(jù)的內(nèi)在規(guī)律。流形學(xué)習(xí)用數(shù)學(xué)語言描述是：令Y且¦: Y是一個(gè)光滑的嵌套，其中D >> d。那么流形學(xué)習(xí)的目標(biāo)是基于上的一個(gè)給定被觀測(cè)數(shù)據(jù)集合去恢復(fù)Y與¦ ，也就是在Y 中隨機(jī)產(chǎn)生隱藏的數(shù)據(jù)，然后通過¦ 映射到觀測(cè)空間，使得。從流形學(xué)習(xí)的定義中可以看出，這是一個(gè)把數(shù)據(jù)從高維映射到低維的過程，用到了線性變換，當(dāng)然少不了矩陣的分解及其基本運(yùn)算。下面用流形學(xué)習(xí)算法中的一種算法多維尺度

5、分析（Multidimensional Scaling, MDS）來說明矩陣分析這一課和的內(nèi)容與流形學(xué)習(xí)研究的相關(guān)度。多維尺度分析（Multidimensional Scaling, MDS）是一種經(jīng)典的線性降維方法，其主要思想是：根據(jù)數(shù)據(jù)點(diǎn)間的歐氏距離，構(gòu)造關(guān)系矩陣，為了盡可能地保持每對(duì)觀測(cè)數(shù)據(jù)點(diǎn)間的歐氏距離，只需對(duì)此關(guān)系矩陣進(jìn)行特征分解，從而獲得每個(gè)數(shù)據(jù)在低維空間中的低維坐標(biāo)。設(shè)給定的高維觀測(cè)數(shù)據(jù)點(diǎn)集為，觀測(cè)數(shù)據(jù)點(diǎn)對(duì), 間的歐氏距離為，傳統(tǒng)MDS 的算法步驟如下：a) 首先根據(jù)求出的兩點(diǎn)之間的歐氏距離構(gòu)造n階平方歐式距離矩陣。b) 將矩陣A進(jìn)行雙中心化計(jì)算，即計(jì)算（其中H 為中心化矩陣，將矩陣H左乘和右乘時(shí)稱為雙中心化）。c) 計(jì)算低維坐標(biāo)Y。即將B奇異值分解，設(shè)B的最大的d個(gè)特征值，對(duì)應(yīng)特征向量，則d維低維坐標(biāo)為。雖然作為線性方法，MDS在流形學(xué)習(xí)中不能有效發(fā)現(xiàn)內(nèi)在低維結(jié)構(gòu)。但是從這一基本的算法中我們可以清楚的看出矩陣分析在流形學(xué)習(xí)研究中的應(yīng)用。在這個(gè)MDS算法中，運(yùn)用到了矩陣中的線性空間變換、矩陣特征值和特征向量的計(jì)算、矩陣的中心化計(jì)算、矩陣的奇異值的分解等相關(guān)知識(shí)點(diǎn)。想象一下，如果沒有這些知識(shí)點(diǎn)做基礎(chǔ)，這些算法如何進(jìn)行?？偨Y(jié)：在流形學(xué)習(xí)中的各個(gè)算法中大都用到矩陣的相關(guān)的許多知識(shí)點(diǎn)，特別是矩陣分解、線性空間變換等。當(dāng)然，只用矩陣中知識(shí)來解決在流形學(xué)習(xí)算法研