多元正態(tài)分布教案

1、第一章第一章 多元正態(tài)分布多元正態(tài)分布主要內(nèi)容主要內(nèi)容 1 1 一元分布一元分布2 2 多元分布的基本概念多元分布的基本概念3 3 隨機(jī)向量的數(shù)字特征隨機(jī)向量的數(shù)字特征4 4 多元正態(tài)分布多元正態(tài)分布5 5 樣本分布樣本分布1 1 一元分布一元分布一、一、 一元隨機(jī)變量與概率分布函數(shù)一元隨機(jī)變量與概率分布函數(shù)二、概率分布函數(shù)的類型二、概率分布函數(shù)的類型三、隨機(jī)變量的數(shù)字特征三、隨機(jī)變量的數(shù)字特征四、一些重要的一元分布四、一些重要的一元分布2 2 多元分布的基本概念多元分布的基本概念 一、隨機(jī)向量一、隨機(jī)向量二、多元概率分布函數(shù)二、多元概率分布函數(shù)三、多元概率密度函數(shù)三、多元概率密度函數(shù)四、邊際

2、分布四、邊際分布五、條件分布五、條件分布六、獨(dú)立性六、獨(dú)立性2 2 多元分布的基本概念多元分布的基本概念 一、隨機(jī)向量一、隨機(jī)向量),(21 pxxxx1.對(duì)同一個(gè)體觀測(cè)的對(duì)同一個(gè)體觀測(cè)的p個(gè)變量：個(gè)變量：2.第第 個(gè)樣品的觀測(cè)值：個(gè)樣品的觀測(cè)值：()12(,) ,1,2,pxxxxn3.樣本資料矩陣：樣本資料矩陣：(1)1112121222(2)1212( )(,)qqqnnnqnXxxxxxxXXXXXxxxX定義：設(shè)定義：設(shè) 為為p個(gè)隨機(jī)變量，則由它們個(gè)隨機(jī)變量，則由它們組成的向量組成的向量 稱作隨機(jī)向量。稱作隨機(jī)向量。12( ,)pxx xx12,px xx 1 1、分布函數(shù)的定義、分

3、布函數(shù)的定義 隨機(jī)向量隨機(jī)向量 的概率分布函數(shù)定義為的概率分布函數(shù)定義為),(21 pxxxx121122( )(,)(,)pppF aF a aaP xa xaxa 2 2、分布函數(shù)的性質(zhì)、分布函數(shù)的性質(zhì) 非非降的右連續(xù)函數(shù)；降的右連續(xù)函數(shù)；二、多元概率分布函數(shù)二、多元概率分布函數(shù)121122( )(,)(,)pppF aF a aaP xa xaxa 分布函數(shù)的取值范圍為分布函數(shù)的取值范圍為00，11，即，即 120( )(,)1pF aF a aa 分布函數(shù)當(dāng)變量取值為無(wú)窮大時(shí)，函數(shù)值收斂到分布函數(shù)當(dāng)變量取值為無(wú)窮大時(shí)，函數(shù)值收斂到1 1，即，即( ,)1F 三、多元概率密度函數(shù)三、多元

4、概率密度函數(shù) 1 1、定義、定義隨機(jī)向量隨機(jī)向量 的分布函數(shù)可以表示為的分布函數(shù)可以表示為),(21 pxxxx),(),(221121pppaxaxaxPaaaF 1121( ,)paappf x xxdxdx 則稱則稱 為連續(xù)型隨機(jī)向量。為連續(xù)型隨機(jī)向量。 稱稱非負(fù)非負(fù)函數(shù)函數(shù) 為為x x的多元概率密度函數(shù)。的多元概率密度函數(shù)。 ),(21pxxxf),(21 pxxxx若若 在點(diǎn)在點(diǎn) 連續(xù)，則連續(xù)，則12(,)pF x xx12(,)px xx),(),(212121ppppxxxFxxxxxxf 12(,)1pF x xx且有0，即1),(1211 ppdxdxxxxfv注：一個(gè)注：一

5、個(gè)P維變量的函數(shù)維變量的函數(shù) 能做為某個(gè)隨機(jī)能做為某個(gè)隨機(jī)向量的分布函數(shù)，當(dāng)且僅當(dāng)向量的分布函數(shù)，當(dāng)且僅當(dāng) 思考：思考： 分析分析P3例例11(1) ( )0,(2)( )1ppRf xxRf x dx ( )f x 例：兩個(gè)常用的離散多元分布兩個(gè)常用的離散多元分布 （1 1）多項(xiàng)分布）多項(xiàng)分布12(,)mx xxx若有如下分布11122112!(,)!mkkmmmmnP xk xkxkppk kk01ip其中，1,2,im ；12mkkkn121mppp 則稱 服從多項(xiàng)分布。12(,)mx xxx （2 2）多元超幾何分布）多元超幾何分布有如下分布若),(21 mxxxx nNkNkNkxk

6、xkxPmmmm112211),(),min(, 1 , 0iiNnk 則 服從多元超幾何。mi, 2 , 1 nkkkm 21NNNNm 21),(21 mxxxx四、邊際分布四、邊際分布 設(shè)連續(xù)隨機(jī)向量 ， 12( ,)px xx x不妨設(shè) 是 的q個(gè)分量組成，則 的分布為 (1)12(,)qx xx x12(,)px xxx(1)12(,)qx xx x),(),(221121)1 (qqqaxaxaxPaaaF),(12211pqqqxxaxaxaxP1121( ,)qaappf x xxdxdx 11211(,)qaapqpqf x xxdxdxdxdx 所以所以 的密度函數(shù)為的密度

7、函數(shù)為(1)12(,)qx xx xpqpqdxdxxxxfxxf1211)1(),(),(1)(1)()()()()FFff稱為的邊際分布函數(shù)，稱為的邊際分布密度函數(shù)。例例 有概率密度函數(shù)),(21xxx)sinsin1 (21),(212212221xxexxfxx 試分別求 的邊際密度函數(shù)。21,xx2212221211122212222122()( ,)1(1 sinsin)21(1 sinsin)2xxxxf xf x x dxexx dxeexx dx解：解： 22221212222211212211( )sinsin22xxxxf xeedxexex dx21212xe，1x22

8、2221()2xfxe同理，1x思考：P3例11中的邊際密度函數(shù)如何？五、條件分布五、條件分布 1 1、問(wèn)題的引入、問(wèn)題的引入 若若A A和和B B是任意兩個(gè)事件，且是任意兩個(gè)事件，且 ，則稱，則稱為在為在B B事件發(fā)生的條件下，事件事件發(fā)生的條件下，事件A A發(fā)生的條件概率。發(fā)生的條件概率。( )0P B )(/ )()/(BPABPBAP例：考慮隨機(jī)向量 ，其中 表示人的身高（單位：米）， 表示人的體重（單位：公斤），在身高為1.9米的人群中，體重 的分布就再也不是原來(lái)的分布了，而是在 的條件分布。),(21xxx1x2x90. 11x2x 2 2、條件分布的定義、條件分布的定義 連續(xù)隨機(jī)

9、向量 ),(21 pxxxx 不妨設(shè) 是 的q個(gè)分量組成。 是余下的p-q個(gè)分量組成， ),(21)1(qxxxx),(21pxxxx),(21)2(pqqxxxx),(),(),|,(1)2(2111pqppqqxxfxxxfxxxxf是 條件下， 的分條件密度函數(shù)。),(21)2(pqqxxxx),(21)1(qxxxx 例例 設(shè)X=(x1,x2)有概率密度函數(shù)其它010 , 10) 1(56),(21212121xxxxxxxf試求條件密度函數(shù)f(x1/x2）和f(x2/x1）。)(),()|(112112xfxxfxxf)(),()|(222121xfxxfxxf因?yàn)榉治觯悍治觯?所以

10、先求邊際分布 1211112206()(41)5f xxx xdx12112206(41)5xx xdx212156512xx 5256)(222xxf同理121456512) 14(56)(),()|(12121222121222112xxxxxxxxxfxxfxxf13) 14(35256) 14(56)(),()|(1212122121222121xxxxxxxxxfxxfxxf六、六、 獨(dú)立性獨(dú)立性 1 1、定義、定義設(shè) 和 是兩個(gè)隨機(jī)向量，若 對(duì)一切 、成立，則稱 和 相互獨(dú)立。y)()(),(yxyxyFFFxxxyxy(2) 設(shè) 是 個(gè)隨機(jī)向量，若 對(duì)一切 成立，則 相互獨(dú)立。n

11、21xxx,n)()()(),(21mmmFFFFxxxxxx2121nm n21xxx,n21xxx,(1) 設(shè) 和 是兩個(gè)連續(xù)隨機(jī)向量， 和 相互獨(dú)立，當(dāng)且僅當(dāng) 或?qū)σ磺?、 成立。)()(),(yxyxyFFFx)()|(xyxxffxyxyxy2、獨(dú)立性的判別：、獨(dú)立性的判別： 例例 設(shè)X=(x1,x2,x3)有概率密度函數(shù)其它00,0, 0),(321)(321321xxxexxxfxxx試證 x1,x2,x3相互獨(dú)立。1231()112300()xxxxf xedx dxe 1232()221300()xxxxfxedx dxe 1233()331200()xxxxfxedx dx

12、e 3 3 隨機(jī)向量的數(shù)字特征隨機(jī)向量的數(shù)字特征一、數(shù)學(xué)期望：均值一、數(shù)學(xué)期望：均值二、協(xié)方差矩陣二、協(xié)方差矩陣三、相關(guān)系數(shù)矩陣三、相關(guān)系數(shù)矩陣3 3 隨機(jī)向量的數(shù)字特征隨機(jī)向量的數(shù)字特征一、數(shù)學(xué)期望：均值一、數(shù)學(xué)期望：均值1 1、定義：、定義：pqppqqxxxxxxxxx212221212111X 是由隨機(jī)變量構(gòu)成的隨機(jī)矩陣，定義X的數(shù)學(xué)期望為)()()()()()()()()()(212221212111pqppqqxExExExExExExExExEEX特別當(dāng)時(shí) ，便可得到隨機(jī)向量 的數(shù)學(xué)期望為1q),(21pxxxx) )(,),(),()(21pxExExEEx 2 2、性質(zhì)、性質(zhì)

13、 1） 設(shè)為常數(shù)，則 ； )()(XXaEaE2）設(shè) 分別為常數(shù)矩陣，則CBA,CBXACAXB)()(EE 3）設(shè) 為 個(gè)同階矩陣，則n21XXX,n)(n21XXXEn21XXXEEE 二、協(xié)方差矩陣二、協(xié)方差矩陣 1 1、定義：、定義：設(shè) 和 分別為 維和 維隨機(jī)向量，則其協(xié)方差矩陣為),(21pxxxx),(21qyyyypq)()()()()()(22112211qqppyEyyEyyEyxExxExxExE),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(212221212111YXyxyxyxyxyxyxyxy

14、xyxqpppqq的協(xié)方差矩陣為),(21pxxxx)var(),cov(),cov(),cov()var(),cov(),cov(),cov()var()(2122121211pppppxxxxxxxxxxxxxxxVarx2 2、協(xié)方差矩陣的性質(zhì)、協(xié)方差矩陣的性質(zhì) 1）若x x=(x1,x2,，xp) 和y y=(y1,y2,，yp)不相關(guān)，則111212122212cov( ,)cov( ,)cov( ,)cov(,)cov(,)cov(,)cov(x,y)cov(,)cov(,)cov(,)0qqpppqx yx yx yxyxyxyxyxyxy顯然，x與y相互獨(dú)立時(shí)，上式成立。 若(

15、x1,x2,，xp)的分量相互獨(dú)立, 則協(xié)方差矩陣 除主對(duì)角線上的元素外均為零，即)var(000)var(000)var()(21pxxxVarx2）隨機(jī)向量X的協(xié)方差矩陣是非負(fù)定矩陣。 證：設(shè)a為任意與X有相同維數(shù)的常數(shù)向量，則axxEaaa)()(axxaE0)(2xaE 3）設(shè)A是常數(shù)矩陣，b為常數(shù)向量，則 V(AX+b)=AV(X)AV(AX+b)=AV(X)A ； )(bAX V()()EAXbAb()()AXbAbAxxA)(EAxA)(V4)若x x=(x1,x2,，xp) 和y y=(y1,y2,，yq)分別是p和q維隨機(jī)向量，A和B為常數(shù)矩陣，則 (,)A( , )CovC

16、ovAx Byx y B),(ByAxCov證 )()(xBBxxAAxEEEBxxA)(E5)若k1,k2,，kn是n個(gè)不全為零的常數(shù)， x1,x2,，xn是相互獨(dú)立的p維隨機(jī)向量，則12()nV kkk12nxxx22212()()()nk Vk Vk V12nxxx 三、相關(guān)系數(shù)矩陣三、相關(guān)系數(shù)矩陣 若x x=(x1,x2,，xp) 和y y=(y1,y2,，yq)分別是p和q維隨機(jī)向量，則其相關(guān)系數(shù)矩陣為),(),(),(),(),(),(),(),(),(),(212221212111qpppqqyxyxyxyxyxyxyxyxyxyx( , )x y0若，兩隨機(jī)向量不相關(guān)。cov(

17、 ,)( ,)( )()iiiiiix yx yV xV y其中：x=(x1,x2,，xp)的相關(guān)系數(shù)矩陣為111212122212( ,)( ,)( ,)(,)(,)(,)R( )(,)(,)(,)ppijp pppppr x xr x xr x xr x xr x xr x xrr xxr xxr xx4 多元正態(tài)分布多元正態(tài)分布一、多元正態(tài)分布的定義一、多元正態(tài)分布的定義二、多元正態(tài)分布的性質(zhì)二、多元正態(tài)分布的性質(zhì)三、多元正態(tài)分布的條件分布和獨(dú)立性三、多元正態(tài)分布的條件分布和獨(dú)立性四、均值向量和協(xié)方差陣的點(diǎn)估計(jì)四、均值向量和協(xié)方差陣的點(diǎn)估計(jì)4 多元正態(tài)分布多元正態(tài)分布121 221121

18、2( ,)1( ,)(2 )exp()()(0)2( ,)( ,).ppppppXx xxf x xxxxXx xxpXpXN 若 元隨機(jī)變量 =的概率密度函數(shù)為： 則稱 =遵從 元正態(tài)分布，也稱 為 元正態(tài)變量。記為 ：定義 ： ( ,) E( )D().pXNXX 設(shè)，則，定理 ：一、多元正態(tài)分布的定義一、多元正態(tài)分布的定義v例：二元正態(tài)分布的密度公式 設(shè) 遵從二元正態(tài)分布，則12=(,)XX X21112112211121222221222121222212121,1,(1),1(1)rrrrrrr 故X1與X2的密度函數(shù)為211122 1/22212121122222122()11(,

19、)exp2(1)2(1)()()()2xf x xrrxxxr 思考：r=0,r0,r p 設(shè)樣品相互獨(dú)立，同遵從于 元正態(tài)分布，且，則122( )111ni1i=1nnii=1iipnipi=1xXxXXXnnXx是 的無(wú)偏估計(jì)。1、總體均值 的估計(jì)值為樣本均值向量m( )( )n211112211i 1n22222i 1n2i 111()()()()()()()()()()1()iiiiiiippiiippippSXXXXnnxXxXxXxXxXxXxXxXnxXni 1nni 1i 1ni 12、總體協(xié)方差陣的極大似然估計(jì)為：m11Sn 不是的無(wú)偏估計(jì)，樣本協(xié)方差陣為無(wú)偏估計(jì)，故一般用作

20、為總體協(xié)方差陣的估計(jì)。5 5 樣本分布樣本分布 一、維希特一、維希特（Wishart）分布的基本概念分布的基本概念二、維希特二、維希特（Wishart）分布的性質(zhì)分布的性質(zhì)三、多元正態(tài)總體的抽樣分布三、多元正態(tài)總體的抽樣分布 四、基于維斯特四、基于維斯特（Wishart）分布的統(tǒng)計(jì)量分布的統(tǒng)計(jì)量5 5 樣本分布樣本分布 一、維希特一、維希特（Wishart）分布的基本概念分布的基本概念 1 1、定義、定義 隨機(jī)矩陣的分布隨機(jī)矩陣的分布npnnppxxxxxxxxx212222111211X設(shè)隨機(jī)矩陣 矩陣中的每一個(gè)元素均為隨機(jī)變量，則矩陣X的分布是其列向量拉長(zhǎng)，組成一個(gè)長(zhǎng)向量的分布。npnpp

21、xxxxxx1221111x 2 2、定義、定義 維希特維希特（Wishart）分布的統(tǒng)計(jì)量分布的統(tǒng)計(jì)量 設(shè) 個(gè)隨機(jī)向量 n), 3 , 2 , 1(),(21niXXXipiiiXnpnnpnnppXXXXXXXXXXXX21212222111211X 獨(dú)立同分布于 ，則隨機(jī)矩陣),( pN n1iii 服從自由度為 的非中心維斯特分布，記為 。n),( nWpnlljilXX1 112111112112222212221212npnpppnpnnnpAX Xxxxxxxxxxxxxxxxxxx 在一元正態(tài)隨機(jī)變量中，我們?cè)?jīng)討論了 分布，在多元正態(tài)隨機(jī)變量也有類似的樣本分布，即維希特分布。

22、2當(dāng) ， 時(shí)，由卡方分布的定義可知221( )niiAxn可見(jiàn)可見(jiàn)維希特分布是卡方分布在多元下的推廣維希特分布是卡方分布在多元下的推廣。1 p1 定理定理1：若 ，且 ， ，則 的分布密度為特別，當(dāng) 和 時(shí)， 服從 分布。),(nWppn 0 0,)21(|2)21exp(|)(1221)1(212)1( ainAtraaFpinnppnpp1 p1 23 3、維希特、維希特（Wishart）分布的密度函數(shù)分布的密度函數(shù)二、維斯特二、維斯特(Wishart)分布的性質(zhì)分布的性質(zhì) （1）若A1和A2獨(dú)立，其分布分別 和 ， 則 的分布為 ，即維斯特(Wishart)分布有可加性。),(1nWp)

23、,(2nWp21 ),(21nnWp （2） ，C為mp階的矩陣，則 的分布為 分布。),(nWpCC),(CC nWm（3） ， 為任一p元常向量，滿足 ,則 .),(nWpa0aa 2( )a Aanaa三、三、 多元正態(tài)分布總體的抽樣分布多元正態(tài)分布總體的抽樣分布 定理定理1 1：設(shè)X1,X2,Xn是來(lái)自多元正態(tài)總體Np(,)的簡(jiǎn)單隨機(jī)樣本，有),(11211 pxxx1x),(222212 pxxxx),(21 npnnnxxxx11niin 令 ， n1iXXXXS)(ii 則有XXXXSi nnjj111( ,)pNn、2S、 和 相互獨(dú)立), 1(3 nWSp、), 4 , 3

24、, 2 , 1(ni iX)(1)(0120 xx0nT )()(01 xx0n服從自由度為 的卡方分布。p定理定理2 2 設(shè) 獨(dú)立同正態(tài)分布，則統(tǒng)計(jì)量 在一元正態(tài)的情形下，我們有樣本的統(tǒng)計(jì)量在一元正態(tài)的情形下，我們有樣本的統(tǒng)計(jì)量當(dāng)總體的方差未知時(shí)，我們必須用樣本的方差當(dāng)總體的方差未知時(shí)，我們必須用樣本的方差來(lái)代替總體的方差，則來(lái)代替總體的方差，則那么在多元正態(tài)的情形下，是否有相同的問(wèn)題呢？回答那么在多元正態(tài)的情形下，是否有相同的問(wèn)題呢？回答是肯定的。是肯定的。) 1 , 0( NnxZ niixxnS122*)(11) 1(* ntnSxt定義定義1 1： 則相互獨(dú)立和設(shè),),(),( pp

25、NunW),(212uunpTn 稱T2服從參數(shù)為P和n的非中心霍特林（Hotelling)分布。定理定理3 3：),()()(212npTxxn 則相互獨(dú)立和設(shè),),(),(ppNxnW 當(dāng) 時(shí)， 服從自由度為n的中心霍特林分布，記為 。0uu12 nuu12 n),(2npT) 1,(12pnpFTnppn另見(jiàn)書(shū)另見(jiàn)書(shū)P89,定義定義1.8 ),(11211 pxxx1x),(222212pxxxx),(21 npnnnxxxx11niixxn令樣本均值()()iiSxxxxni 1樣本離差矩陣) 1,()()() 1(212npTxSxnn 則) 1,(1),(2 pnpFpnnpnpT且 定理定理4 4：設(shè) 是來(lái)自多元正態(tài)總體 的簡(jiǎn)單隨機(jī)