第一章矩陣代數(shù)

1、第一章第一章 矩陣代數(shù)矩陣代數(shù) 矩陣代數(shù)是多元統(tǒng)計(jì)分析的重要工具，矩陣代數(shù)是多元統(tǒng)計(jì)分析的重要工具，本書大部分章節(jié)都要用到有關(guān)的知識(shí)。鑒于本書大部分章節(jié)都要用到有關(guān)的知識(shí)。鑒于多元統(tǒng)計(jì)分析的特殊需要，還有一些內(nèi)容并多元統(tǒng)計(jì)分析的特殊需要，還有一些內(nèi)容并不是每本矩陣代數(shù)教科書中都能找到的。不是每本矩陣代數(shù)教科書中都能找到的。 這里除了介紹行列式、矩陣、逆、廣義這里除了介紹行列式、矩陣、逆、廣義逆、特征根和特征向量的定義、性質(zhì)和求法逆、特征根和特征向量的定義、性質(zhì)和求法外，還要討論矩陣的分塊、因子分解及矩陣外，還要討論矩陣的分塊、因子分解及矩陣求導(dǎo)等。但不追求敘述的嚴(yán)格性（即有些定求導(dǎo)等。但不追求

2、敘述的嚴(yán)格性（即有些定義包含的條件不再明顯地寫出）。義包含的條件不再明顯地寫出）。 1.1 定定 義義npnnppaaaaaaaaaA212222111211 若若p1，A只有一列，稱為列向量，為了使只有一列，稱為列向量，為了使記號(hào)區(qū)別于矩陣，記作記號(hào)區(qū)別于矩陣，記作 當(dāng)當(dāng)n1時(shí)時(shí),A只有一行只有一行,稱為行向量稱為行向量,記為記為 若若A的元素全為零的元素全為零,A稱為零矩陣稱為零矩陣,記作記作A0111naaanaaaa21 或paaaaT111paaaa21 或 若若A為方陣，為方陣，a11，a22，ann稱為它的對(duì)角稱為它的對(duì)角線元素線元素. 若方陣若方陣A的非對(duì)角線元素全為零，稱的非

3、對(duì)角線元素全為零，稱A為對(duì)為對(duì)角陣，角陣，簡(jiǎn)記成簡(jiǎn)記成 Adiag（a11，a22，ann） nnaaaA0000002211 特別地特別地:若對(duì)角線元素全為若對(duì)角線元素全為1,非對(duì)角線元素全非對(duì)角線元素全為零，稱為零，稱A為單位陣為單位陣,記成記成 I 或或 E100010001I 若若A為為np陣，它的轉(zhuǎn)置陣，它的轉(zhuǎn)置A是是pn陣，是將陣，是將A的行（列）變成列（行）得到的，即的行（列）變成列（行）得到的，即 因此，行向量的轉(zhuǎn)置是列向量，列向量的轉(zhuǎn)因此，行向量的轉(zhuǎn)置是列向量，列向量的轉(zhuǎn)置是行向量。置是行向量。 若若A是方陣，且是方陣，且AA，即即aijaji，則稱則稱A為為對(duì)稱陣；若對(duì)稱陣

4、；若AA，即即aijaji，則稱則稱A為反對(duì)為反對(duì)稱陣，顯然反對(duì)稱陣的對(duì)角線元素全為零。稱陣，顯然反對(duì)稱陣的對(duì)角線元素全為零。npppnnaaaaaaaaaA212221212111 若方陣若方陣A（aij）的元素的元素aij0，對(duì)于一切對(duì)于一切ij，則稱則稱A為下三角陣。為下三角陣。 若若A為下三角陣，則為下三角陣，則A為上三角陣。為上三角陣。 顯然，既是上三角陣又是下三角陣的方陣為全顯然，既是上三角陣又是下三角陣的方陣為全對(duì)角陣。對(duì)角陣。 nnnnaaaaaaA21222111000 下三角陣nnnnaaaaaaA000 22211111上三角陣 矩陣的運(yùn)算矩陣的運(yùn)算1. AB（aijbi

5、j）(A,B是同型矩陣是同型矩陣)2. 若若c為一常數(shù)，為一常數(shù)，cA（caij）3. 若若A與與B分別為分別為pq與與qr陣，則陣，則A與與B的積為的積為pr階矩陣階矩陣rpqkkjikbaAB1例:已知 654321 A110101 BB 3-2A 1) 求TBA 2)111001654321 111054 TBA 2)978341 3-2A 1) : B解容易驗(yàn)證，上述三種運(yùn)算符合如下的規(guī)律容易驗(yàn)證，上述三種運(yùn)算符合如下的規(guī)律 A（1）A0 （AB）BA （A）A （AB）AB A（BC）（）（AB）C A（BC）ABAC （AB）CACBC AIIAA c（AB）（）（cA）BA（cB

6、） c（AB）cAcB （其中其中c為一常數(shù)）為一常數(shù)） 若若AAAAI，則方陣則方陣A稱為稱為正交正交的。的。 若若A2A，方陣方陣A稱為稱為冪等冪等的。的。 對(duì)稱的冪等陣稱為對(duì)稱的冪等陣稱為投影陣投影陣。例如：例如： 正交陣正交陣2210221010221022121212121 投影陣0011 冪等陣 若 是一個(gè)n維列向量，易見 是一個(gè)數(shù)， 而 是一個(gè)n階方陣.naaa21:例niinnnaaaaaaaaaa12222212121 則22221222112112121nnnnnnnaaaaaaaaaaaaaaaaaaaaa 設(shè)設(shè)A（aij）為為pq陣，將它分成四塊，陣，將它分成四塊， 使

7、得使得A11：ks（kp, s q），）， A12：k（qs） A21：(pk)s， A22：（：（pk）（）（qs） 22211211AAAAA若若A和和B有相同行列的分塊，則有相同行列的分塊，則若若C為為qr陣，它分成陣，它分成其中其中 C11：sm（mr），）， C12：s（rm），）， C21：（：（qs）m， C22：（：（qs）（）（rm）2222212112121111BABABABABA22211211CCCCC則由矩陣的乘法定義可以驗(yàn)證有如下等式：則由矩陣的乘法定義可以驗(yàn)證有如下等式： 這就是說，可以把每個(gè)塊看成一個(gè)這就是說，可以把每個(gè)塊看成一個(gè)“元素元素”，A和和C看成看成

8、“22矩陣矩陣”，然后用通常矩陣的乘法去進(jìn)，然后用通常矩陣的乘法去進(jìn)行，就得上式的右端。行，就得上式的右端。222212212122112122121211121211112221121122211211CACACACACACACACACCCCAAAAAC1.2 行列式、矩陣的逆和秩 一、行列式一、行列式 若若A為為p階方陣，記階方陣，記 其中（其中（j1，jp）為（為（1，p）的一個(gè)排列，的一個(gè)排列， 是對(duì)所有可能的是對(duì)所有可能的p！個(gè)排列求和，個(gè)排列求和， t為這個(gè)排列的逆序數(shù)，為這個(gè)排列的逆序數(shù)， 稱稱 為為A的行列式。的行列式。ppjjjtaaaA2121) 1(A1.2 行列式、矩陣

9、的逆和秩 由行列式的定義來計(jì)算行列式是頗為復(fù)雜的，由行列式的定義來計(jì)算行列式是頗為復(fù)雜的，通常利用如下一些行列式性質(zhì)來計(jì)算行列式：通常利用如下一些行列式性質(zhì)來計(jì)算行列式：（）若）若A的某行或某列為零，則的某行或某列為零，則 （）0AAA（）將）將A的某行（或列）乘以數(shù)的某行（或列）乘以數(shù)a所得方陣的行列式所得方陣的行列式 等于等于a ，由此得由此得（）若）若A的某兩行的某兩行(或列或列)恒等恒等,或成比例或成比例,則則 （）若將）若將A的某一行（或列）乘上一個(gè)常數(shù)后加到另的某一行（或列）乘上一個(gè)常數(shù)后加到另 一行（或列）相應(yīng)的元素上，所得矩陣的行列一行（或列）相應(yīng)的元素上，所得矩陣的行列 式等

10、于式等于 。（）若將）若將A的兩行（或列）互換，所得矩陣的行列式的兩行（或列）互換，所得矩陣的行列式 等于等于 0AAaaAnAAA 下面的一些性質(zhì)是經(jīng)常用到的：下面的一些性質(zhì)是經(jīng)常用到的： （1）若）若A1，Ak是是p階方陣，則階方陣，則 (即方陣乘積的行列式等于它們行列式的乘積即方陣乘積的行列式等于它們行列式的乘積.) （2）若分塊矩陣）若分塊矩陣 A11和和A22都是方陣，且都是方陣，且A120或或A210，則則kkAAAAAA2121221122211211AAAAAA22211211AAAAA即即A的行列式等于其對(duì)角線元素的乘積的行列式等于其對(duì)角線元素的乘積 （3）設(shè)）設(shè)A與與B分別

11、為分別為pq與與qp陣，則陣，則 （4）若）若A為正交陣，則為正交陣，則 （5）若）若A為三角陣（上三角或下三角），則為三角陣（上三角或下三角），則BAIABIqp1AiiiaA 若若A為為p階方陣，將元素階方陣，將元素aij所在的第所在的第i行和第行和第j列列去掉所得矩陣的行列式，稱為元素去掉所得矩陣的行列式，稱為元素aij的的余子式余子式，aij的的代數(shù)余子式代數(shù)余子式Aij是用（是用（1）i+j乘以它的余子式。乘以它的余子式。可以證明：可以證明： （i1,2, p）在本書中，用在本書中，用Ar(aij)rr（i、j1r）表示表示A的左上角的的左上角的r（rp）階方陣階方陣PjijijAa

12、A1 設(shè)設(shè)A為為p階方陣，階方陣， 若若 0，則稱，則稱A是非奇異是非奇異(或非退化或非退化)陣；陣； 若若 0，則稱，則稱A是奇異是奇異(或退化或退化)陣。陣。 若若A是是p階非奇異陣，則存在一個(gè)唯一的矩陣階非奇異陣，則存在一個(gè)唯一的矩陣B，使得使得ABI，B叫做叫做A的逆，并記的逆，并記BA1 B的元素可以通過下式求得：的元素可以通過下式求得：bijAji/一般情況下，上式只有理論上的價(jià)值，在多元統(tǒng)計(jì)分一般情況下，上式只有理論上的價(jià)值，在多元統(tǒng)計(jì)分析中可用其他途徑求矩陣的逆析中可用其他途徑求矩陣的逆。 二、逆矩陣二、逆矩陣AAA二、逆矩陣二、逆矩陣 逆矩陣有如下基本性質(zhì)：逆矩陣有如下基本性

13、質(zhì)： （1）AA1A1AI； （2） （3）若）若A與與B均為均為p階非奇異陣階非奇異陣,則則 (AB)1B1A1 （4）設(shè)設(shè)A為為p階非奇異陣，階非奇異陣， 則方程則方程 11AA1 AxxA的解為（5） ，即逆陣的行列式等于原矩陣行列式即逆陣的行列式等于原矩陣行列式 的倒數(shù)。的倒數(shù)。（6）若）若A是正交矩陣，由是正交矩陣，由AAI知知A1A； 若若A是對(duì)角陣是對(duì)角陣,Adiag(a11，app), 且且aii0, i1，p，則則 A1diag（7）上（下）三角陣的逆陣仍為上（下）三角陣。上（下）三角陣的逆陣仍為上（下）三角陣。（8）設(shè)將非退化方陣分塊為）設(shè)將非退化方陣分塊為 其中A11和A

14、22為方陣11AA1111,ppaa22211211AAAAA若 0，則若 0，則若 0及 0 則 式中以上這些公式稱為分塊求逆的公式，它們?cè)诶碚撏茖?dǎo)和應(yīng)用中都十分有用。 11A1122111211122112212111111211122121111111AAAAAAAAAAAAAA22A1221212112112212212112112212212121112111AAAAAAAAAAAAAA11A22A112212112112212212121112111AAAAAAAAA121112122122211221211211 AAAAAAAAAA （8）中的三個(gè)公式我們只證第一個(gè)，第二個(gè)可類

15、似地證明，結(jié)合前二個(gè)可得第三個(gè)。為證明第一個(gè)，我們?cè)O(shè) 0，則有將兩邊求逆，得用分別左乘及右乘上式，得11A122111211122211211111210000AAIAAIAAAAIIAAI11111111211222112111121111220000AAIAAIAAAAIAAI， IAAI012111IAAI111210IAAIAAIAAIAAAA111221122111121111222112110000（9）若）若A,B 為非退化方陣為非退化方陣(不必同階不必同階),則則1111100BCABABCA1111100BDBAABDA1110000BABA0000111ABBA（10）設(shè)A

16、和B分別為p和q階方陣，C和D分別為pq 和qp矩陣。令TACBD，則T1A1A1CB（BBDA1CB）1BDA1 特別,若BI， (C和D為向量)時(shí)，（11）設(shè)方陣A用(8)中的分塊矩陣表示, 若 0，則 若 0，則 22A21122AAA11A12211AAAdDcC ,111111)()(AdcAdIcAAdcA現(xiàn)證（10）中的公式，我們直接驗(yàn)證：（ACBD）A1A1CB（BBDA1CB）1 BDA1ICB（BBDA1CB）1 BDA1CBDA1CBDA1CB（BBDA1CB）1 BDA1ICB B1（I+DA1CB）（BBDA1CB）1 BDA1ICB B1B1（BBDA1CB）（BB

17、DA1CB）1 BDA1I利用前面式子，兩邊取行列式得從而得到（11）中第二個(gè)公式，第一個(gè)公式可以類似地得到 122111221112111222112111112100101101AAAAAAAAAAAA三、矩陣的秩三、矩陣的秩 設(shè)設(shè)A為為pq矩陣，若存在矩陣，若存在A的一個(gè)的一個(gè)r階子方陣的行列階子方陣的行列式不為零，而所有式不為零，而所有A的（的（r1）階子方陣的行列式階子方陣的行列式（如果存在的話）均為零，則稱（如果存在的話）均為零，則稱A的秩為的秩為r， 記作記作rank(A)r或或R(A)r。 矩陣的秩反映了矩陣的特性矩陣的秩反映了矩陣的特性。 秩的基本性質(zhì)：（1）rank（A）0

18、，當(dāng)且僅當(dāng)A0；（2）若A為pq陣，則0rank（A）min（p，q）；（3）rank（A）rank（A）；（4）rankrankrank（A）rank（B）（5）rank（AB）min（rank（A），rank（B）；（6）rank（AB）rank（A）rank（B）；（7）若A和C為非奇異方陣，則 rank（ABC）rank（B）。 1.3 特征根和特征向量特征根和特征向量 設(shè)A為p階方陣，則方程 是的p次多項(xiàng)式，由多項(xiàng)式理論知道，必有p個(gè)根（可以有重根）滿足上式。雖然A是實(shí)數(shù)矩陣，但方程的根可能為實(shí)數(shù)，也可能為復(fù)數(shù)，記作1，2，p，它們稱為A的特征根。 有時(shí),為了強(qiáng)調(diào)它們與A的關(guān)系，而記

19、成 1（A），p（A）0pIA 1.3 特征根和特征向量特征根和特征向量 設(shè)i是A的特征根，由于AiI0，故矩陣AiI退化。 從而，存在一個(gè)非零p維向量 ，使得i0)(iiIA 稱為對(duì)應(yīng)于i的A的特征向量，今后總設(shè)i1ii 例如，若 ，11求它的特征根，和特征向量11A 解：若 ，11它的特征根是方程的解，解得11，21。相應(yīng)的特征向量為， 特征根和特征向量是兩個(gè)極為重要的概念，它們特征根和特征向量是兩個(gè)極為重要的概念，它們?cè)谂袆e分析、主成分分析典型相關(guān)分析等方法中起了在判別分析、主成分分析典型相關(guān)分析等方法中起了重要的作用。重要的作用。 11A0)1(1001112222221l22222l

20、這里介紹它們有關(guān)的一些性質(zhì)： （1）若A為實(shí)對(duì)稱矩陣，A的特征根全為實(shí)數(shù)，故可按大小次序排成12p。若ij，則相應(yīng)的特征向量 0jill（2）A和A有相同的特征根。（3）若A和B是pq和qp陣，則AB和BA有相同的非零特征根。() 即A的行列式等于其特征根的乘積； 從而A非奇異當(dāng)且僅當(dāng)iiAA)(0)(Ai (5)設(shè)A的特征根是1，2，p，則 cA的特征根為c1，cp； AcI的特征根為1c，pc； A1 （若A1存在）的特征根為(6)設(shè)A為正交陣,則i(A)1, i1，p(7) 若Adiag(a1,ap),則 a1,ap為A的特征根， 相應(yīng)的特征向量為: (8)若A是三角陣(上三角陣或下三角

21、陣),則A的特征根 為其對(duì)角線元素。 11211,p)0 , 0 , 1 (1e,)0 , 1 , 0(2e) 1 , 0 , 0(,pe（9）若A為投影陣，則A的特征根非零即1， 且恰有rrank（A）個(gè)特征根為1， pr個(gè)特征根為0。（10）若A有m個(gè)相同的特征根（m重根），則相應(yīng)于這個(gè)特征根有m個(gè)線性無關(guān)的特征向量，而這些特征向量的任何線性組合仍為它的特征向量， 故由這m個(gè)特征向量可構(gòu)造一線性空間，稱為該特征根對(duì)應(yīng)的特征空間。 若i和j是A的兩個(gè)不同的特征根，則它們對(duì)應(yīng)的特征空間相互正交。 定義：若A是p階方陣,它的對(duì)角線元素之和稱為跡， 記作tr（A），即 tr（A）a11app 若A

22、的特征根是1,p，則 tr（A）1p 這表明，特征根和跡有密切的關(guān)系，由定義容易驗(yàn)證下列性質(zhì)： tr（AB）tr（BA） tr（A）tr（A） tr（AB）tr（A）tr（B）為了記號(hào)簡(jiǎn)單，以后用etrA表示exp（trA） 1.4 正定陣、非負(fù)定陣和投影陣正定陣、非負(fù)定陣和投影陣 若若A是是 p 階對(duì)稱陣階對(duì)稱陣,且對(duì)于一切列向量且對(duì)于一切列向量 則稱則稱A是正定陣，記作是正定陣，記作A0； 若若 則稱則稱A是非負(fù)定陣，記作是非負(fù)定陣，記作A0。 AB表示表示AB0；AB表示表示AB0 成立有 0 0,XAXXRXp成立有 0 0, XAXXRXp 1.4 正定陣、非負(fù)定陣和投影陣正定陣、非

23、負(fù)定陣和投影陣下面列舉正定陣和非負(fù)定陣的一些性質(zhì)： （1）一個(gè)對(duì)稱陣是正(非負(fù))定的，當(dāng)且僅當(dāng)它的特征根為正（非負(fù)）的。 （2）BB0，對(duì)一切矩陣B成立。 （3）若A0，則A10； （4）設(shè)A0，則A0，當(dāng)且僅當(dāng)A0； （5）設(shè)A0是p階方陣,B是qp陣(pq)， 則 BAB0， 且 BAB0，當(dāng)且僅當(dāng) rank(B) q （6）若A0，則cA0，其中c為正數(shù)。 （7）若A0，B0，AB0，則 B1A10，則AB （8）若A0，將A分塊為 其中，A11為方陣，則A110，A220，22211211AAAAA02112212112 .11AAAAA01211121221 .22AAAAA 若A0

24、，因它是對(duì)稱陣，則必存在一個(gè)正交陣，使 Adiag（1，p）= 式中，1，p為A的特征根， 的列向量為相應(yīng)的特征向量。 于是 A由性質(zhì)（1）1，p均非負(fù)，即0， 記f（）diag（f（1），f（p）， f（A）f（） 特別 定義： 稱為A的平方根 由于 0，得 02121121,pdiag 2121A21A2121A （9）若A0（0），使得A ； 在性質(zhì)(2)中曾指出,對(duì)一切B，BB0，進(jìn)一步研究還發(fā)現(xiàn)： （10）rank（B）rank（BB）rank（B）。 21A21A投影陣已在1.1中定義，它是對(duì)稱冪等陣。在多元分析中，下列性質(zhì)是最重要的： （1）A是投影陣，則tr（A）rank（A）

25、 （2）若A是投影陣，則IA也為投影陣。 （3）若A是秩為r的投影陣，則A有r個(gè)特征根為1，其余為0。故滿秩的投影陣必為I。 （4）若A和B均為投影陣，且ABI， 則ABBA0。 （5）若X為np陣，np，rank（X）p，則 PxX（XX）1X是投影陣， 且rank（Px）p。這是易于驗(yàn)證的。 設(shè)A和B均為p階對(duì)稱陣，B0，方程AB0 (1)的根稱為A相對(duì)于B的特征根。 由(1)可得: XXPXXXXXXXXXXXXP1112)()()( 0 2121IABB或01IAB所以求A相對(duì)于B的特征根的問題，可化為求一般矩陣特征根的問題)C ( 1 AB令) D(2121ABB令用1，p表示A相對(duì)

26、于B的特征根，由于Ai B0 （0ip），故存在 稱 為對(duì)應(yīng)i的A相對(duì)于B的特征向量。如何求相對(duì)特征向量呢？,il設(shè) 是對(duì)應(yīng)的 的特征向量，則l2121ABBDil0)(iilBA使得 是對(duì)應(yīng)的A相對(duì)于B的特征向量lB21 最后討論一個(gè)與特征根有關(guān)的極值問題，它將在主成份分析和典型相關(guān)分析中用到。 設(shè)A為p階對(duì)稱陣，12p為其特征根， 為相應(yīng)的標(biāo)準(zhǔn)化特征向量，則對(duì)于任意p維非零向量x,有pll,1110sup/supAxxxxAxxxxpxxAxxxxAxx10inf/inf10, 1, 0/supkxkilxxxAxxi 若AA，B0，u1u2up為A相對(duì)于B的特征根，類似可得 ， 若 為對(duì)

27、應(yīng)于u1，u2，up的 的特征向量，則10, 1, 0/supkxkilxBxxAxxi10/supuBxxAxxxpxuBxxAxx/inf0plll,.,212121ABB 1.5 矩陣的因子分解矩陣的因子分解 矩陣的因子分解在多元分析的理論推導(dǎo)中是十分有用的，利用它發(fā)展了許多有效的計(jì)算方法。有些結(jié)果在前幾節(jié)中已經(jīng)出現(xiàn)過，為了方便，現(xiàn)將所有結(jié)果收集在本節(jié)內(nèi)，以備查閱。 1.5 矩陣的因子分解矩陣的因子分解A （1）若A為pp對(duì)稱陣,則存在正交陣及對(duì)角陣diag（1，p），使得 記 則上式成為 它稱為A的譜分解),(21ppiiiiA1 當(dāng)A為投影陣，且秩為r時(shí)， 1r=1, r1p0，這時(shí)

28、，上式成為,111rrriiiA（2）若A0（0），則存在 0（0），使得（3）設(shè)A0是p階秩為r的矩陣，則 （a）存在一個(gè)秩為r的pr陣B，使得ABB （b）存在一個(gè)p階非奇異陣C，使得21A2121AAA CICAr000 (c) 存在一個(gè)對(duì)角元素非負(fù)的上三角陣T， 使得 ATT 上式稱為喬列斯基（cholesky）分解， 若A0，這個(gè)分解是唯一的。（4）設(shè)A是np陣（np）， 則存在np陣U, U UIp，B0， 使得 AUB 上式還可以進(jìn)一步分解為 AUV其中diag(1，p)，V為p階正交陣。由于上式表明， 是AA的的特征根， V的行向量是AA的特征向量。又因AAU2U，故U的列向量

29、是AA的特征向量。VVVUUVAA2 221,p（5）設(shè)A和B分別為km和kn陣，mn， 則AABB，當(dāng)且僅當(dāng)存在mn陣H， 使得HHIm，AHB。（6）設(shè)A1，Ak為p階對(duì)稱陣， 且AiAj0，(ij; i，j1，2，k) 則存在一個(gè)正交陣H， 使得HAiHi， i為對(duì)角陣，i1，2，k。 這個(gè)性質(zhì)稱為同時(shí)對(duì)角化。（7）設(shè)A和B為p階方陣，A0，BB， 則存在p階非奇異陣H，使得 AHH， BHA； diag(1，p)是A1B的特征根。 1.6 廣義逆廣義逆設(shè)A為np陣，若存在一個(gè)pn陣X，使得AXAA則X稱為A的廣義逆，記為 XA 對(duì)于任意A,一定存在廣義逆(不一定唯一) 性質(zhì): （1）若

30、A非奇異(A是方陣)，則A唯一, 且AA1 （2）rank（A ）rank（A）； （3）rank(A)rank(AA)rank(AA) tr(AA)tr(AA)； AA和AA都是冪等陣。 若rank（A）p則AAIp； 若rank（A）n則AAIn； （4）對(duì)任意矩陣A，有AAAAAAAAAAAA)(,)(（5） 是一個(gè)投影陣,且與 的取法無關(guān).AAAA)( )(AA 1.7 矩陣求導(dǎo)矩陣求導(dǎo) 矩陣求導(dǎo)是普通求導(dǎo)的推廣，它在極大似然估計(jì)和最小二乘估計(jì)中是個(gè)有用的工具。一、矩陣對(duì)標(biāo)量的導(dǎo)數(shù)一、矩陣對(duì)標(biāo)量的導(dǎo)數(shù) 設(shè)Y（yij（t）是pq陣，它的元素是t的函數(shù)， 定義由定義立即可得如下關(guān)系式：dt

31、dydtdydtdydtdydttdydtdrpqpqij1111)(dtdYdtdXdtYXdi)( )(dtdYXYdtdXdtXYdii)( )(（Eij表示在一個(gè)mn陣中，（i,j）元素為1，其余為零）dtXddtdXiii )(ijijExXiv )(BAExAXBvijij)( )(二、矩陣的標(biāo)量函數(shù)對(duì)矩陣的導(dǎo)數(shù)二、矩陣的標(biāo)量函數(shù)對(duì)矩陣的導(dǎo)數(shù) 設(shè)yf（X）是mn矩陣X的函數(shù)，y對(duì)X的導(dǎo)數(shù)定義為: 其中xij為X的第（i，j）元素。nmijmnmnxfxfxfxfxfdXdYdXdf1111 這里x為列向量XdXdfdXXdfi)()( )(BAXAXBtriii)( )(IXXtr

32、ii)( )(XXXXaadiagAAAXAXtrivnn若當(dāng)),()( )(11xAAxAxxv)( )(（這時(shí)X必為方陣）性質(zhì):三、向量對(duì)向量的導(dǎo)數(shù)三、向量對(duì)向量的導(dǎo)數(shù) 設(shè)x為n維向量 定義y對(duì)x的微商是)()()(11XFyyXfXfymmdXdFxFxFxfxfxfxfdxdynnmnnmnm111111容易驗(yàn)證： 若yAx，則Axy四、微四、微 分分 若f(X)f(x1,xn)是可微函數(shù)，它的微分是 這里dx(dx1，dxn) 若f（X）是一個(gè)mn陣X的函數(shù)，它的微分可類似地定義為其中dX為（dxij）為mn陣。dxxfdxxfdfinii1minjjijdXXftrdxixfdf1

33、1 d（XY）（dX）YX（dY）； 矩陣的微分和導(dǎo)數(shù)之間有很密切的關(guān)系，利用矩陣的微分，可方便地求得有關(guān)的導(dǎo)數(shù)。 設(shè)f（x）是X的標(biāo)量函數(shù)，且存在A，使 dftr（AdX）則 AXfAXAXr)(XAAXAXXtr)()(不難驗(yàn)證，微分有如下的關(guān)系式： d（X+Y）dXdY； d（cX）c（dX）， 實(shí)數(shù)c（dX）dX； d（tr（X）tr（dX）； 例如，由 dtr(AX)tr(d(AX)）tr（AdX） 則 又如，由 dtr(XAX)tr(dX)AXXAdX) tr(AX+AX)dX)得 AXAXtr)(XAAXAXXtr)()(1.8 線性方程組的求解、消去變換線性方程組的求解、消去變

34、換 jiajiaajiaajiaaaaaijijiijjijji,1,* 在多元分析中，經(jīng)常要解線性方程組，求矩陣的逆和行列式，或進(jìn)行某種遞推運(yùn)算，通過消去變換可以達(dá)到所有的目的。 矩陣的消去變換是古典高斯（Gauss）消去法的發(fā)展，它有計(jì)算量少、省內(nèi)存等優(yōu)點(diǎn)，故在多元分析中被廣泛使用。 設(shè)A（aij）是nm陣，若aij0，將A變換為A*（a*ij），使得 這個(gè)變換稱為（i，j）為樞軸的消去變換，記作A*TijA 由定義可以驗(yàn)證，消去變換有如下的性質(zhì)： （1）Tij（TijA）A，即對(duì)A連續(xù)施行兩次（i，j）消去變換，其結(jié)果A不變。 （2）若ik，j ，則Tij（TkA） （3）若將A部分為2

35、2211211AAAAA使得A11為rr階方陣，若對(duì)A施行T11，Trr（若可能施行的話），這時(shí)A變成 其中A22.1A22A21A A12。 1 .2211121121111111211121221112112111111AAAAAAAAAAAAAAA111 這個(gè)性質(zhì)有如下的應(yīng)用： 1. 解線性方程組。設(shè)C為pp非奇異陣， 和 為p維向量，方程的解為 C1 。如何得到 的數(shù)值解呢？令A(yù)（C： ），對(duì)A作消去變換T11，T22，Tpp（若可能的話），則變換后的A為（C1：C1 ）于是同時(shí)得到C1和xC1 在回歸分析中，進(jìn)一步還要求殘差平方和。這時(shí)造一個(gè)更大的矩陣，叫增廣矩陣。設(shè)為對(duì)A作T11，

36、Tpp后，變成xbbxCxbxbbb2dbbcAbcbdcbbcc12111 而最后一個(gè)對(duì)角d2bc1b即為欲求的殘差平方和。 2. 求矩陣的逆。設(shè)A為p階非奇異方陣，對(duì)它施行T11，Tpp，即得A1； 3. 求矩陣的行列式。設(shè)A（aij）為p階非奇異方陣，令 T11T22TkkA（ ），k0，1，p定義 aij，則)(kija)0(ija11)1(pjjjjaA 1.9 特征根和特征向量的計(jì)算特征根和特征向量的計(jì)算 在多元分析中將多次遇到計(jì)算特征根和特征向量的問題。這里只給出求積矩陣特征根和特征向量的雅可比法，這個(gè)方法簡(jiǎn)單有效。至于一般的方法，線性代數(shù)中已有介紹。 雅可比法是利用對(duì)稱陣的一個(gè)

37、事實(shí)：任一pp對(duì)稱陣A，則存在一個(gè)pp正交陣T，使得那么1，就p就是A的特征根，T的列向量就是相應(yīng)的特征向量。 雅可比法首先是從二維得到啟發(fā)的，這時(shí) 令 ， ),(1pdiagATT22211211aaaaAcossinsincosT2211121221aaatg 顯見，T為正交陣，且其中 1a11cos22a12sincosa22sin2 2a11sin22a12sincosa22cos2這就將原來矩陣化成了對(duì)角陣。顯見，A和 的跡都是a11a22，但它們的對(duì)角元素的平方和就不相等了。A的對(duì)角元素的平方和為 ，而 的對(duì)角元素的平方和為 即 的對(duì)角元素平方和不小于A的對(duì)角元素的平方和，增大的量

38、正好等于非對(duì)角線上即元素的平方和，這是因?yàn)檎蛔儞Q不改變對(duì)稱陣元素的平方和。 基于上述事實(shí)，雅可比法的思想是對(duì)A作一系列正交變換，每一次變換使對(duì)角元素的平方和增加，非對(duì)角元素的平方和減少，直到接近于零。 2100ATT222211aa22221121222221122222212)()()(aaaaaaAtrTATtrtr 雅可比法的計(jì)算步驟如下： 1. 記A(0)A，選A(0)非對(duì)角元素的絕對(duì)值最大者，記為 ，i0j0 2. 令)0()0(max00ijjijiaa000000)0(0221jjiijiaaaarctg作正交變換對(duì)A(0)作變換00000010010cossinsincosjnijiIIIT)() 1(0)0(0) 1(ijaTATA 容易驗(yàn)證 3. 設(shè)已作了m次變換，得A(m) ，取它非對(duì)角線元素絕對(duì)值最大者，記為 令 )0()1(ijijaa0000,;,jijjii00)0(02)0(02)0()1(cossin2sincos00000000jijjiijiaaaa00)0(02)0(02)0()1(cossin2cossin00000000jijjiijiaaaa0)0()1(0000jjiiaa00)1(0)0(0)0()1(,s