多元正態(tài)分布教案

1、第一章第一章 多元正態(tài)分布多元正態(tài)分布主要內(nèi)容主要內(nèi)容 1 1 一元分布一元分布2 2 多元分布的基本概念多元分布的基本概念3 3 隨機向量的數(shù)字特征隨機向量的數(shù)字特征4 4 多元正態(tài)分布多元正態(tài)分布5 5 樣本分布樣本分布1 1 一元分布一元分布一、一、 一元隨機變量與概率分布函數(shù)一元隨機變量與概率分布函數(shù)二、概率分布函數(shù)的類型二、概率分布函數(shù)的類型三、隨機變量的數(shù)字特征三、隨機變量的數(shù)字特征四、一些重要的一元分布四、一些重要的一元分布2 2 多元分布的基本概念多元分布的基本概念 一、隨機向量一、隨機向量二、多元概率分布函數(shù)二、多元概率分布函數(shù)三、多元概率密度函數(shù)三、多元概率密度函數(shù)四、邊際

2、分布四、邊際分布五、條件分布五、條件分布六、獨立性六、獨立性2 2 多元分布的基本概念多元分布的基本概念 一、隨機向量一、隨機向量),(21 pxxxx1.對同一個體觀測的對同一個體觀測的p個變量：個變量：2.第第 個樣品的觀測值：個樣品的觀測值：()12(,) ,1,2,pxxxxn3.樣本資料矩陣：樣本資料矩陣：(1)1112121222(2)1212( )(,)qqqnnnqnXxxxxxxXXXXXxxxX定義：設(shè)定義：設(shè) 為為p個隨機變量，則由它們個隨機變量，則由它們組成的向量組成的向量 稱作隨機向量。稱作隨機向量。12( ,)pxx xx12,px xx 1 1、分布函數(shù)的定義、分

3、布函數(shù)的定義 隨機向量隨機向量 的概率分布函數(shù)定義為的概率分布函數(shù)定義為),(21 pxxxx121122( )(,)(,)pppF aF a aaP xa xaxa 2 2、分布函數(shù)的性質(zhì)、分布函數(shù)的性質(zhì) 非非降的右連續(xù)函數(shù)；降的右連續(xù)函數(shù)；二、多元概率分布函數(shù)二、多元概率分布函數(shù)121122( )(,)(,)pppF aF a aaP xa xaxa 分布函數(shù)的取值范圍為分布函數(shù)的取值范圍為00，11，即，即 120( )(,)1pF aF a aa 分布函數(shù)當變量取值為無窮大時，函數(shù)值收斂到分布函數(shù)當變量取值為無窮大時，函數(shù)值收斂到1 1，即，即( ,)1F 三、多元概率密度函數(shù)三、多元

4、概率密度函數(shù) 1 1、定義、定義隨機向量隨機向量 的分布函數(shù)可以表示為的分布函數(shù)可以表示為),(21 pxxxx),(),(221121pppaxaxaxPaaaF 1121( ,)paappf x xxdxdx 則稱則稱 為連續(xù)型隨機向量。為連續(xù)型隨機向量。 稱稱非負非負函數(shù)函數(shù) 為為x x的多元概率密度函數(shù)。的多元概率密度函數(shù)。 ),(21pxxxf),(21 pxxxx若若 在點在點 連續(xù)，則連續(xù)，則12(,)pF x xx12(,)px xx),(),(212121ppppxxxFxxxxxxf 12(,)1pF x xx且有0，即1),(1211 ppdxdxxxxfv注：一個注：一

5、個P維變量的函數(shù)維變量的函數(shù) 能做為某個隨機能做為某個隨機向量的分布函數(shù)，當且僅當向量的分布函數(shù)，當且僅當 思考：思考： 分析分析P3例例11(1) ( )0,(2)( )1ppRf xxRf x dx ( )f x 例：兩個常用的離散多元分布兩個常用的離散多元分布 （1 1）多項分布）多項分布12(,)mx xxx若有如下分布11122112!(,)!mkkmmmmnP xk xkxkppk kk01ip其中，1,2,im ；12mkkkn121mppp 則稱 服從多項分布。12(,)mx xxx （2 2）多元超幾何分布）多元超幾何分布有如下分布若),(21 mxxxx nNkNkNkxk

6、xkxPmmmm112211),(),min(, 1 , 0iiNnk 則 服從多元超幾何。mi, 2 , 1 nkkkm 21NNNNm 21),(21 mxxxx四、邊際分布四、邊際分布 設(shè)連續(xù)隨機向量 ， 12( ,)px xx x不妨設(shè) 是 的q個分量組成，則 的分布為 (1)12(,)qx xx x12(,)px xxx(1)12(,)qx xx x),(),(221121)1 (qqqaxaxaxPaaaF),(12211pqqqxxaxaxaxP1121( ,)qaappf x xxdxdx 11211(,)qaapqpqf x xxdxdxdxdx 所以所以 的密度函數(shù)為的密度

7、函數(shù)為(1)12(,)qx xx xpqpqdxdxxxxfxxf1211)1(),(),(1)(1)()()()()FFff稱為的邊際分布函數(shù)，稱為的邊際分布密度函數(shù)。例例 有概率密度函數(shù)),(21xxx)sinsin1 (21),(212212221xxexxfxx 試分別求 的邊際密度函數(shù)。21,xx2212221211122212222122()( ,)1(1 sinsin)21(1 sinsin)2xxxxf xf x x dxexx dxeexx dx解：解： 22221212222211212211( )sinsin22xxxxf xeedxexex dx21212xe，1x22

8、2221()2xfxe同理，1x思考：P3例11中的邊際密度函數(shù)如何？五、條件分布五、條件分布 1 1、問題的引入、問題的引入 若若A A和和B B是任意兩個事件，且是任意兩個事件，且 ，則稱，則稱為在為在B B事件發(fā)生的條件下，事件事件發(fā)生的條件下，事件A A發(fā)生的條件概率。發(fā)生的條件概率。( )0P B )(/ )()/(BPABPBAP例：考慮隨機向量 ，其中 表示人的身高（單位：米）， 表示人的體重（單位：公斤），在身高為1.9米的人群中，體重 的分布就再也不是原來的分布了，而是在 的條件分布。),(21xxx1x2x90. 11x2x 2 2、條件分布的定義、條件分布的定義 連續(xù)隨機

9、向量 ),(21 pxxxx 不妨設(shè) 是 的q個分量組成。 是余下的p-q個分量組成， ),(21)1(qxxxx),(21pxxxx),(21)2(pqqxxxx),(),(),|,(1)2(2111pqppqqxxfxxxfxxxxf是 條件下， 的分條件密度函數(shù)。),(21)2(pqqxxxx),(21)1(qxxxx 例例 設(shè)X=(x1,x2)有概率密度函數(shù)其它010 , 10) 1(56),(21212121xxxxxxxf試求條件密度函數(shù)f(x1/x2）和f(x2/x1）。)(),()|(112112xfxxfxxf)(),()|(222121xfxxfxxf因為分析：分析： 所以

10、先求邊際分布 1211112206()(41)5f xxx xdx12112206(41)5xx xdx212156512xx 5256)(222xxf同理121456512) 14(56)(),()|(12121222121222112xxxxxxxxxfxxfxxf13) 14(35256) 14(56)(),()|(1212122121222121xxxxxxxxxfxxfxxf六、六、 獨立性獨立性 1 1、定義、定義設(shè) 和 是兩個隨機向量，若 對一切 、成立，則稱 和 相互獨立。y)()(),(yxyxyFFFxxxyxy(2) 設(shè) 是 個隨機向量，若 對一切 成立，則 相互獨立。n

11、21xxx,n)()()(),(21mmmFFFFxxxxxx2121nm n21xxx,n21xxx,(1) 設(shè) 和 是兩個連續(xù)隨機向量， 和 相互獨立，當且僅當 或?qū)σ磺?、 成立。)()(),(yxyxyFFFx)()|(xyxxffxyxyxy2、獨立性的判別：、獨立性的判別： 例例 設(shè)X=(x1,x2,x3)有概率密度函數(shù)其它00,0, 0),(321)(321321xxxexxxfxxx試證 x1,x2,x3相互獨立。1231()112300()xxxxf xedx dxe 1232()221300()xxxxfxedx dxe 1233()331200()xxxxfxedx dx

12、e 3 3 隨機向量的數(shù)字特征隨機向量的數(shù)字特征一、數(shù)學期望：均值一、數(shù)學期望：均值二、協(xié)方差矩陣二、協(xié)方差矩陣三、相關(guān)系數(shù)矩陣三、相關(guān)系數(shù)矩陣3 3 隨機向量的數(shù)字特征隨機向量的數(shù)字特征一、數(shù)學期望：均值一、數(shù)學期望：均值1 1、定義：、定義：pqppqqxxxxxxxxx212221212111X 是由隨機變量構(gòu)成的隨機矩陣，定義X的數(shù)學期望為)()()()()()()()()()(212221212111pqppqqxExExExExExExExExEEX特別當時 ，便可得到隨機向量 的數(shù)學期望為1q),(21pxxxx) )(,),(),()(21pxExExEEx 2 2、性質(zhì)、性質(zhì)

13、 1） 設(shè)為常數(shù)，則 ； )()(XXaEaE2）設(shè) 分別為常數(shù)矩陣，則CBA,CBXACAXB)()(EE 3）設(shè) 為 個同階矩陣，則n21XXX,n)(n21XXXEn21XXXEEE 二、協(xié)方差矩陣二、協(xié)方差矩陣 1 1、定義：、定義：設(shè) 和 分別為 維和 維隨機向量，則其協(xié)方差矩陣為),(21pxxxx),(21qyyyypq)()()()()()(22112211qqppyEyyEyyEyxExxExxExE),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(212221212111YXyxyxyxyxyxyxyxy

14、xyxqpppqq的協(xié)方差矩陣為),(21pxxxx)var(),cov(),cov(),cov()var(),cov(),cov(),cov()var()(2122121211pppppxxxxxxxxxxxxxxxVarx2 2、協(xié)方差矩陣的性質(zhì)、協(xié)方差矩陣的性質(zhì) 1）若x x=(x1,x2,，xp) 和y y=(y1,y2,，yp)不相關(guān)，則111212122212cov( ,)cov( ,)cov( ,)cov(,)cov(,)cov(,)cov(x,y)cov(,)cov(,)cov(,)0qqpppqx yx yx yxyxyxyxyxyxy顯然，x與y相互獨立時，上式成立。 若(

15、x1,x2,，xp)的分量相互獨立, 則協(xié)方差矩陣 除主對角線上的元素外均為零，即)var(000)var(000)var()(21pxxxVarx2）隨機向量X的協(xié)方差矩陣是非負定矩陣。 證：設(shè)a為任意與X有相同維數(shù)的常數(shù)向量，則axxEaaa)()(axxaE0)(2xaE 3）設(shè)A是常數(shù)矩陣，b為常數(shù)向量，則 V(AX+b)=AV(X)AV(AX+b)=AV(X)A ； )(bAX V()()EAXbAb()()AXbAbAxxA)(EAxA)(V4)若x x=(x1,x2,，xp) 和y y=(y1,y2,，yq)分別是p和q維隨機向量，A和B為常數(shù)矩陣，則 (,)A( , )CovC

16、ovAx Byx y B),(ByAxCov證 )()(xBBxxAAxEEEBxxA)(E5)若k1,k2,，kn是n個不全為零的常數(shù)， x1,x2,，xn是相互獨立的p維隨機向量，則12()nV kkk12nxxx22212()()()nk Vk Vk V12nxxx 三、相關(guān)系數(shù)矩陣三、相關(guān)系數(shù)矩陣 若x x=(x1,x2,，xp) 和y y=(y1,y2,，yq)分別是p和q維隨機向量，則其相關(guān)系數(shù)矩陣為),(),(),(),(),(),(),(),(),(),(212221212111qpppqqyxyxyxyxyxyxyxyxyxyx( , )x y0若，兩隨機向量不相關(guān)。cov(

17、 ,)( ,)( )()iiiiiix yx yV xV y其中：x=(x1,x2,，xp)的相關(guān)系數(shù)矩陣為111212122212( ,)( ,)( ,)(,)(,)(,)R( )(,)(,)(,)ppijp pppppr x xr x xr x xr x xr x xr x xrr xxr xxr xx4 多元正態(tài)分布多元正態(tài)分布一、多元正態(tài)分布的定義一、多元正態(tài)分布的定義二、多元正態(tài)分布的性質(zhì)二、多元正態(tài)分布的性質(zhì)三、多元正態(tài)分布的條件分布和獨立性三、多元正態(tài)分布的條件分布和獨立性四、均值向量和協(xié)方差陣的點估計四、均值向量和協(xié)方差陣的點估計4 多元正態(tài)分布多元正態(tài)分布121 221121

18、2( ,)1( ,)(2 )exp()()(0)2( ,)( ,).ppppppXx xxf x xxxxXx xxpXpXN 若 元隨機變量 =的概率密度函數(shù)為： 則稱 =遵從 元正態(tài)分布，也稱 為 元正態(tài)變量。記為 ：定義 ： ( ,) E( )D().pXNXX 設(shè)，則，定理 ：一、多元正態(tài)分布的定義一、多元正態(tài)分布的定義v例：二元正態(tài)分布的密度公式 設(shè) 遵從二元正態(tài)分布，則12=(,)XX X21112112211121222221222121222212121,1,(1),1(1)rrrrrrr 故X1與X2的密度函數(shù)為211122 1/22212121122222122()11(,

19、)exp2(1)2(1)()()()2xf x xrrxxxr 思考：r=0,r0,r p 設(shè)樣品相互獨立，同遵從于 元正態(tài)分布，且，則122( )111ni1i=1nnii=1iipnipi=1xXxXXXnnXx是 的無偏估計。1、總體均值 的估計值為樣本均值向量m( )( )n211112211i 1n22222i 1n2i 111()()()()()()()()()()1()iiiiiiippiiippippSXXXXnnxXxXxXxXxXxXxXxXnxXni 1nni 1i 1ni 12、總體協(xié)方差陣的極大似然估計為：m11Sn 不是的無偏估計，樣本協(xié)方差陣為無偏估計，故一般用作

20、為總體協(xié)方差陣的估計。5 5 樣本分布樣本分布 一、維希特一、維希特（Wishart）分布的基本概念分布的基本概念二、維希特二、維希特（Wishart）分布的性質(zhì)分布的性質(zhì)三、多元正態(tài)總體的抽樣分布三、多元正態(tài)總體的抽樣分布 四、基于維斯特四、基于維斯特（Wishart）分布的統(tǒng)計量分布的統(tǒng)計量5 5 樣本分布樣本分布 一、維希特一、維希特（Wishart）分布的基本概念分布的基本概念 1 1、定義、定義 隨機矩陣的分布隨機矩陣的分布npnnppxxxxxxxxx212222111211X設(shè)隨機矩陣 矩陣中的每一個元素均為隨機變量，則矩陣X的分布是其列向量拉長，組成一個長向量的分布。npnpp

21、xxxxxx1221111x 2 2、定義、定義 維希特維希特（Wishart）分布的統(tǒng)計量分布的統(tǒng)計量 設(shè) 個隨機向量 n), 3 , 2 , 1(),(21niXXXipiiiXnpnnpnnppXXXXXXXXXXXX21212222111211X 獨立同分布于 ，則隨機矩陣),( pN n1iii 服從自由度為 的非中心維斯特分布，記為 。n),( nWpnlljilXX1 112111112112222212221212npnpppnpnnnpAX Xxxxxxxxxxxxxxxxxxx 在一元正態(tài)隨機變量中，我們曾經(jīng)討論了 分布，在多元正態(tài)隨機變量也有類似的樣本分布，即維希特分布。

22、2當 ， 時，由卡方分布的定義可知221( )niiAxn可見可見維希特分布是卡方分布在多元下的推廣維希特分布是卡方分布在多元下的推廣。1 p1 定理定理1：若 ，且 ， ，則 的分布密度為特別，當 和 時， 服從 分布。),(nWppn 0 0,)21(|2)21exp(|)(1221)1(212)1( ainAtraaFpinnppnpp1 p1 23 3、維希特、維希特（Wishart）分布的密度函數(shù)分布的密度函數(shù)二、維斯特二、維斯特(Wishart)分布的性質(zhì)分布的性質(zhì) （1）若A1和A2獨立，其分布分別 和 ， 則 的分布為 ，即維斯特(Wishart)分布有可加性。),(1nWp)

23、,(2nWp21 ),(21nnWp （2） ，C為mp階的矩陣，則 的分布為 分布。),(nWpCC),(CC nWm（3） ， 為任一p元常向量，滿足 ,則 .),(nWpa0aa 2( )a Aanaa三、三、 多元正態(tài)分布總體的抽樣分布多元正態(tài)分布總體的抽樣分布 定理定理1 1：設(shè)X1,X2,Xn是來自多元正態(tài)總體Np(,)的簡單隨機樣本，有),(11211 pxxx1x),(222212 pxxxx),(21 npnnnxxxx11niin 令 ， n1iXXXXS)(ii 則有XXXXSi nnjj111( ,)pNn、2S、 和 相互獨立), 1(3 nWSp、), 4 , 3

24、, 2 , 1(ni iX)(1)(0120 xx0nT )()(01 xx0n服從自由度為 的卡方分布。p定理定理2 2 設(shè) 獨立同正態(tài)分布，則統(tǒng)計量 在一元正態(tài)的情形下，我們有樣本的統(tǒng)計量在一元正態(tài)的情形下，我們有樣本的統(tǒng)計量當總體的方差未知時，我們必須用樣本的方差當總體的方差未知時，我們必須用樣本的方差來代替總體的方差，則來代替總體的方差，則那么在多元正態(tài)的情形下，是否有相同的問題呢？回答那么在多元正態(tài)的情形下，是否有相同的問題呢？回答是肯定的。是肯定的。) 1 , 0( NnxZ niixxnS122*)(11) 1(* ntnSxt定義定義1 1： 則相互獨立和設(shè),),(),( pp

25、NunW),(212uunpTn 稱T2服從參數(shù)為P和n的非中心霍特林（Hotelling)分布。定理定理3 3：),()()(212npTxxn 則相互獨立和設(shè),),(),(ppNxnW 當 時， 服從自由度為n的中心霍特林分布，記為 。0uu12 nuu12 n),(2npT) 1,(12pnpFTnppn另見書另見書P89,定義定義1.8 ),(11211 pxxx1x),(222212pxxxx),(21 npnnnxxxx11niixxn令樣本均值()()iiSxxxxni 1樣本離差矩陣) 1,()()() 1(212npTxSxnn 則) 1,(1),(2 pnpFpnnpnpT且 定理定理4 4：設(shè) 是來自多元正態(tài)總體 的簡單隨機