矩陣論的應用

1、精選優(yōu)質文檔-傾情為你奉上廣義逆在多元分析中的應用劉雯雯 信通院 學號：B摘 要：多元分析的一個重要內容就是研究隨機向量之間的關系，在一元統(tǒng)計中，用相關系數(shù)來描述隨機變量之間的關系，Hotelling1和張堯庭教授2先后定義了度量兩個隨機向量相關程度的數(shù)量指標，并稱之為廣義相關系數(shù)。這一章主要利用Moore-Penrose廣義逆矩陣來引人了隨機向量之間的相關系數(shù)廣義相關系數(shù)，并探討了隨機向量的典型相關系數(shù)和廣義相關系數(shù)之間的關系。關鍵詞：特征值 廣義相關系數(shù) 典型相關系數(shù) 正交陣 可逆矩陣1.引言矩陣概念和線性代數(shù)學科的引進和發(fā)展是源于研究線性方程組系數(shù)而產(chǎn)生的行列式的發(fā)展.萊布尼茲,微積分學

2、的兩個奠基者之一,在1693年使用了行列式,克萊姆于1750年提出了用行列式求解線性方程組的公式(即今天著名的克萊姆法則).相對比地,行列式的隱含使用最早出現(xiàn)在18世紀晚期拉格郎日關于雙線性型的著作里.拉格郎日希望刻畫多變量函數(shù)的極大值與極小值.他的方法今天以拉格郎日乘數(shù)法聞名.為此,他首先要求第一個偏導數(shù)為0,再需要關于第二個偏導數(shù)的矩陣成立一個條件.這個條件今天稱之為正定或負定,盡管拉格郎日沒有明顯地使用矩陣. 在1800年左右,高斯發(fā)現(xiàn)了高斯消去法,他用此方法解決了天體計算和后來大地測量(關于測量或確定地球形狀或定位地球表面一個點的應用數(shù)學分支,稱之為大地測量學)計算中的最小平方問題.盡

3、管高斯的名字相伴隨從線性方程組逐次逍去變量的這項技術,但從發(fā)現(xiàn)的早在幾個世紀前的中文手稿中解釋了如何用"高斯的"消去法解帶有三個未知量的三個方程構成的線性方程組.多年來,高斯消去法被認為是大地測量學,而非數(shù)學,發(fā)展的一部分.首次印刷出來的高斯約當消去法是在W. 約當寫的關于大地測量學的手冊里.許多人錯誤地認為著名數(shù)學家C.約當是"高斯約當"消去法中的約當. 為了矩陣代數(shù)的豐富發(fā)展,人們既需要適當?shù)母拍?還需要適當?shù)木仃嚦朔?這兩種需要在同一時間和同一地點交匯了.在1814年于英格蘭,J.J.西勒維斯特首先引進了術語"Matrix",作

4、為一列數(shù)的名稱,這是胚胎的拉丁詞.矩陣代數(shù)于1855年由亞瑟 凱萊的工作得到了發(fā)展.凱萊研究了線性變換的合成,導致定義了矩陣乘法,使得合成變換ST的系數(shù)矩陣是S的矩陣與T的矩陣的乘積.他繼續(xù)研究這些合成包括矩陣逆的代數(shù).著名的凱萊哈密爾頓定理斷言,一個方陣是它的特征多項式的根.這個定理于1858年在凱萊的"關于矩陣理論備忘錄"的著作里給出.代表矩陣的單個字母A的使用對于矩陣代數(shù)的發(fā)展是關鍵的.早期的公式det(AB)=det(A)det(B)提供了矩陣代數(shù)與行列式的聯(lián)系.凱萊寫下了"有許多事情說明關于矩陣的理論,似乎對我而言,比行列式理論重要". 數(shù)學家

5、們也試圖發(fā)展向量代數(shù),但沒有任意維數(shù)的兩個向量積的自然定義.涉及到非交換向量積(亦即VW×不一定等于WV×)的第一個向量代數(shù)由赫爾曼 格拉斯曼在他的書"維數(shù)理論"(1844)提出來的.格拉斯曼的書也引進了一個列矩陣與一個行矩陣的乘積,導致了今天所謂的單純的或秩1的矩陣.在19世紀晚期,美國數(shù)學物理學家W.吉布斯發(fā)表了關于向量分析的著名論文.在那篇論文里,吉布斯把一般的矩陣,他稱之為并向量(dyadics),表示為單純矩陣(吉布斯稱為并向量(dyads)的和.后來物理學家P.A.M.迪拉克引進了術語"行-列"(bra-ket)來表示我們

6、現(xiàn)在稱之為行向量乘以列向量的純量積,術語"列-行(ket-bra)"表示一列向量乘以行向量的積,從而導致如同上面的我們現(xiàn)在稱做的單純矩陣.我們現(xiàn)在把列矩陣和向量視為同一的習慣是由物理學家們在20世紀引進的. 矩陣一直與線性變換緊密結合著.直到1900年,它們僅僅是線性變換理論的有限維的情形.向量空間的現(xiàn)代定義是由皮亞諾于1888年引進的.不久,其元素是函數(shù)的抽象向量空間跟著出現(xiàn)了.第二次世界大戰(zhàn)后隨著數(shù)字計算機的發(fā)展,矩陣,特別是矩陣的數(shù)值分析方面有新的進展.約翰 馮諾伊曼和赫爾曼戈德斯坦于1947年在分析舍入誤差中引進了條件數(shù).阿蘭 圖靈和馮諾伊曼在程序存儲計算機方面是二

7、十世紀的巨人.圖靈于1948年引進了矩陣的LU分解,L是對角線上為1的下三角矩陣,U是梯形矩陣.在解一系列線性方程組時普遍采用LU分解,每個方程組有同一系數(shù)矩陣.QR分解的好處是在10年后認識到的.Q是其列為正交向量的矩陣而R是上三角矩陣,其對角線元素是正的.QR分解用于各種計算如解方程,找特征值的計算機算法中.矩陣理論在數(shù)值計算、線性規(guī)劃、數(shù)據(jù)分析、科學試驗、信號傳輸?shù)戎卮箢I域有著極其廣泛的應用。隨著科技日新月異地進步，人類社會開始步入信息化、數(shù)字化時代，矩陣在生產(chǎn)實踐中的應用越來越廣泛，矩陣理論的研究也就越來越重要1。矩陣理論在現(xiàn)代統(tǒng)計學的許多分支有著廣泛的應用，成為統(tǒng)計學中不可缺少的工具

8、，而且，隨著研究的深入和應用的發(fā)展，矩陣與統(tǒng)計學之間的關系會越來越深刻。一方面，統(tǒng)計學對矩陣研究提出了許多新的研究課題，刺激了有關矩陣理論研究的發(fā)展;另一方面，矩陣理論中的結果被越來越多地應用于統(tǒng)計學的理論研究及其應用中。近三十年，許多統(tǒng)計學家致力于這方面的研究，并撰寫了很多這方面的論文和著作，其中很多結論在統(tǒng)計學的研究中發(fā)揮著很大的作用。近三十年矩陣研究中一些與統(tǒng)計學有密切關系的新發(fā)展，包括它們在統(tǒng)計中的應用，這些研究結果一開始就淵源于統(tǒng)計問題。本文皆在向讀者介紹矩陣論中并與統(tǒng)計學密切有關的如下幾個方面：矩陣偏序、矩陣不等式、廣義逆矩陣等，這些方面與統(tǒng)計學息息相關，特別是在多元分析和線性模型

9、參數(shù)估計中都有著重要的應用。廣義逆矩陣是對逆矩陣的推廣。廣義逆矩陣是上世紀矩陣理論的一項極為重要的新發(fā)展7，廣義逆的概念最早由Redholm于1908年提出的，他給出TFredholm積分算子的廣義逆，Hurwitz于1912年利用有限維Fredholm積分算子的零空間給出了此類廣義逆的一個簡單的代數(shù)表征，Hilbert于1904年討論廣義Green函數(shù)時曾提出了微分算子的廣義逆，之后許多學者研究了微分算子的廣義逆，特別是Myller、westfall、Reid等。1920年，Moore首次提出了矩陣的廣義逆，他利用投影矩陣定義了唯一的廣義逆。Bjerhammer在不知道Moore結果的情形下

10、，重新提出了廣義逆矩陣的定義，利用廣義逆給出了線性方程組的解。Bott和Duffin在研究電網(wǎng)絡理論時，引進了后來被稱為Bott-Duffin廣義逆。但這時期的研究工作是零散的。在Penrose1955年證明了Moore所定義的廣義逆是滿足四個矩陣方程的唯一的矩陣之后，廣義逆矩陣得到迅速發(fā)展并在應用學科的諸多領域獲得廣泛的應用。近四十年來，廣義逆矩陣理論在最優(yōu)化、數(shù)理統(tǒng)計、算子理論、經(jīng)濟學和計算數(shù)學等眾多數(shù)學分支和工程科技領域發(fā)揮了重大作用。尤其在研究最小二乘問題、病態(tài)線性、非線性問題，回歸，分布估計，多元分析等統(tǒng)計問題，規(guī)劃問題，控制論，網(wǎng)絡問題的過程中，廣義逆是不可或缺的研究工具。 若A為

11、非奇異矩陣,則線性方程組Ax=b的解為x=A(-1)b，其中A的A的逆矩陣A(-1)滿足A(-1)A=AA(-1)=I(I為單位矩陣)。若A是奇異陣或長方陣,Ax=b可能無解或有很多解。若有解,則解為x=Xb+(I-XA),其中是維數(shù)與A的列數(shù)相同的任意向量,X是滿足AXA=A的任何一個矩陣，通常稱X為A的廣義逆矩陣,用Ag、A-或A(1)等符號表示,有時簡稱廣義逆。當A非奇異時,A(-1)也滿足AA(-1)A=A,且x=A(-1)b+(I-A(-1)A)=A(-1)b。故非異陣的廣義逆矩陣就是它的逆矩陣，說明廣義逆矩陣確是通常逆矩陣概念的推廣。 1955年R.彭羅斯證明了對每個m×

12、n階矩陣A,都存在惟一的n×m階矩陣X，滿足：AXA=A；XAX=X；(AX)*AX；(XA)*XA。通常稱X為A的穆爾-彭羅斯廣義逆矩陣,簡稱M-P逆，記作A+。當A非奇異時，A(-1)也滿足,因此M-P逆也是通常逆矩陣的推廣。在矛盾線性方程組Axb的最小二乘解中,xA(-1)b是范數(shù)最小的一個解。廣義逆的計算方法大致可分為三類：以滿秩分解和奇異值分解為基礎的直接法，迭代法和其他一些常用于低階矩陣的非凡方法。本文介紹了Moore-Penrose廣義逆在多元分析中的應用。多元分析的一個重要內容就是研究隨機向量之間的關系。對于不同類型的矩陣A和B，討論了隨機向量和y的典型相關系數(shù)與Ax

13、和By的典型相關系數(shù)之間的關系，從而得到了x和y的廣義相關系數(shù)與Ax和By的廣義相關系數(shù)之間的關系。設x ,y分別為p×1和q×1隨機向量，它們的方差陣和協(xié)方差陣分別為從而 （1.1）矩陣V+yy Vyx V+xx Vxy的特征值都是非負的且都不大于1,非零特征值設為。其中矩陣A+表示A的Moore -Penrose廣義逆。由典型相關系數(shù)的定義知，稱為典型相關系數(shù)，它在典型相關分析中起著重要作用。2.廣義逆矩陣廣義逆矩陣的研究可以追溯到1935年的Moore的著名論個條件：定義了A的廣義逆X。但是，在此后的20年中，這種廣義逆幾乎沒有引起×人們的多少注意，直到19

14、55年，Penrose證明了滿足上述條件的廣義逆具有唯一性后，廣義逆的研究才真正為人們所重視，基于這個原因人們把滿足上述四個條件的的廣義逆稱為Moore-Penrose廣義逆。本節(jié)主要介紹以下兩種經(jīng)常應用的廣義逆：2.1廣義逆A-定義2. 1對矩陣Am×n,一切滿足方程組的矩陣X，稱為矩陣A的廣義逆，記為A-。 下面的定理解決了A-的存在性和構造性問題。定理2.1設A為m ×n矩陣，rk (A) =r，若這里P和Q分別為m ×m，n ×n的可逆陣，則這里B，C和D為適當階數(shù)的任意矩陣。下面的兩個定理圓滿地解決了用廣義逆矩陣表示相容線性方程組集的問題。定理

15、2.2設Ax =b為一相容方程組，則(1)對任一廣義逆A-，x=A-b必為解；(2)齊次方程組Ax=0的通解為x =(I -A -A )z，這里z為任意的向量，A-為任意固定的一個廣義逆；(3)Ax =b的通解為其中A-為任意固定的一個廣義逆，z為任意的向量。定理2. 3設Ax =b為相容線性方程組，且b0，那么，當A-取遍A的所有廣義逆時，x =A- b構成了該方程組的全部解。下面一定理討論分塊矩陣的廣義逆。定理2.4(分塊矩陣的廣義逆)(1)若A11-1存在，則 (2)若A22-1存在，則 (3)若則或其中，2.2廣義逆A+從上段的介紹知，一般來說廣義逆A-有無窮多個。在這無窮多個A-中，

16、有一個A-占有特殊的地位，它就是本節(jié)一開始提到的Moore-Penrose廣義逆。定義2. 2設A為任一矩陣，若X滿足下述四個條件：則稱矩陣X為A的Moore-Penrose廣義逆，記為A+。引理2.1(奇異值分解)設A為m×n秩為r的矩陣，則存在兩個正交陣Pm×m和Qn×n，使得其中而為A*A的非零特征值。定理2. 4(1)設A的分解式滿足上式，則(2)對任何矩陣A，A+惟一。因為A+是一個特殊的A-，因此，它除了具有A-的全部性質外，還有以下性質：定理2. 53.隨機向量的典型相關系數(shù)和廣義相關系數(shù)對于不為零的常數(shù)a ,b，顯然，ax與by的典型相關系數(shù)和x與

17、y的典型相關數(shù)是相同的。下面分別討論對于不同類型的矩陣A, B ,Ax與By的典型相關系數(shù)和x與y的典型相關系數(shù)之間的關系（參見文獻3）。定理3.1設A和B分別是p ×p和q ×q可逆方陣，并且AV+xxVxx=V+xxVxxA, BV+yyVyy=V+yyVyyB, 則Ax與By的典型相關系數(shù)和x與y的典型相關系數(shù)相等。證明：因為 （3.1）故Ax與By的典型相關系數(shù)i>0滿足下列方程： （3.2）其中I是單位矩陣。下面驗證 （3.3）事實上，注意到：，所以同理，這就驗證了（3.3）式的成立。把（3.3）式代入（3.2）式得：（3.4）從而證明了i是x與y的典型相關

18、系數(shù)。由于廣義相關系數(shù)是用典型相關系數(shù)定義的（參見文獻4），故有推論3.1當滿足（3.3）式時，隨機向量x與y的廣義相關系數(shù)和Ax與By的廣義相關系數(shù)相同。定理3.2設A是p×p可逆陣，B是q×q可逆陣，x與y分別為p維和q維隨機向量，且Vxx，Vyy也都可逆，則Ax與By的典型相關系數(shù)和x與y的典型相關系數(shù)相同。證明：由于所以Ax與By的典型相關系數(shù)i>0滿足 （3.5）由于A，B，Vxx，Vyy都可逆，上式易化為 （3.6）這樣就證明了定理3.2。推論3.2 在定理2.2的條件下，Ax與By的廣義相關系數(shù)與x和y的廣義相關系數(shù)相同。定理3.3 設A是n×

19、p列正交陣，B是m×q列正交陣，則Ax與By的典型相關系數(shù)和x與y的典型相關系數(shù)相等。證明：因為Ax與By的典型相關系數(shù)i滿足 （3.7）注意到A，B都是列正交陣，據(jù)3.2知代入（3.7）式得 （3.8）又因為對矩陣D,F，我們易證DF與FD的非零特征值是相同的。從而由（3.8）式得這就證明了i是隨機變量x與y的典型相關系數(shù)，定理證畢。推論3.3當A， B是列正交時，Ax與By的廣義相關系數(shù)和x與y的廣義相關系數(shù)相等。定理3.4設A是n×p列滿秩陣，B是m×q列滿秩陣，Vxx，Vyy可逆時，則Ax與By的典型相關系數(shù)和x與y的典型相關系數(shù)相等。證明：設A, B的譜分解分別為其中P1，P2，Q1，Q2都是列正交陣，1，2是主對元素大于零的對角矩陣。令i>0是Ax與By的典型相關系數(shù)，則i是下列方程的解。 （3.9）把A，B的譜分解代入上式，并注意到P1，P2，Q1，Q2的正交性，上式可化為： （3.10） 由于Vxy，Vyy，1，2 ，Q1，Q2都是可逆陣，故代入（3.10）式即得定理由此獲證。推論3.4 設A是n×p列滿秩陣，B是m