概率論與數(shù)理統(tǒng)計：4-4協(xié)方差、相關(guān)系數(shù)、矩、協(xié)方差矩陣

1、概率論與數(shù)理統(tǒng)計第四章第四章 隨機變量的數(shù)字特征隨機變量的數(shù)字特征 4 4協(xié)方差、相關(guān)系數(shù)、矩、協(xié)方差矩陣協(xié)方差、相關(guān)系數(shù)、矩、協(xié)方差矩陣概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計4.4.1 協(xié)方差及相關(guān)系數(shù)協(xié)方差及相關(guān)系數(shù) 如果兩個隨機變量如果兩個隨機變量X和和Y是相互獨立的，則是相互獨立的，則E X-E(X) Y-E(Y) =0這意味著當這意味著當E X-E(X) Y-E(Y) 0時，時，X、Y不相不相互獨立，而是存在著一定的關(guān)系?；オ毩?，而是存在著一定的關(guān)系。 概率論與數(shù)理統(tǒng)計定義定義 對二維隨機變量對二維隨機變量(X,Y),量量 E X-E(X) Y-E(Y) 稱為隨機變量稱為隨機變量 X與與

2、Y 的的協(xié)方差協(xié)方差(covariance),記為記為 Cov( X ,Y ).即即 Cov( X ,Y )= E X-E(X) Y-E(Y) 為隨機變量為隨機變量X與與Y 的的相關(guān)系數(shù)相關(guān)系數(shù)(correlation coefficient) ,)(0 ,)(0 YDXD若若)()(),(YDXDYXCovXY 稱稱XY 是一個無量綱的量。是一個無量綱的量。概率論與數(shù)理統(tǒng)計 對二維離散型隨機變量（對二維離散型隨機變量（X ,Y）有有 ijjijipYEyXExYXCov)()(),(11 對二維連續(xù)型隨機變量（對二維連續(xù)型隨機變量（X, Y ）有有 ),()()(),(dxdyyxfYEyX

3、ExYXCov 概率論與數(shù)理統(tǒng)計由數(shù)學(xué)期望和方差的性質(zhì)得到由數(shù)學(xué)期望和方差的性質(zhì)得到 ),(2)()()(YXCovYDXDYXD )()()(),(YEXEXYEYXCov 協(xié)方差具有下述性質(zhì)協(xié)方差具有下述性質(zhì) : ),(),( 1XYCovYXCov ),(),( 2YXabCovbYaXCov ),(),(),( 32121YXCovYXCovYXXCov 概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計)1()(,)(ppYDpYE 同理同理于是于是),1()(,)(ppXDpXE )1()()()(),(2ppppYEXEXYEYXCov 1)1()1()1()()(),( ppppppYDXDYX

4、CovXY ,)(pXYE 而而概率論與數(shù)理統(tǒng)計解解 0sin21)()()(ddfgXE 0cos21)()()(ddfhYE ，其它，其它0,21)( f由題意有由題意有概率論與數(shù)理統(tǒng)計 0cossin21)(dXYE 21cos21)()()(212ddfhYE 21sin21)()()(222ddfgXE0)()()(),( YEXEXYEYXCov因因0)()(),( YDXDYXCovXY 得得概率論與數(shù)理統(tǒng)計相關(guān)系數(shù)相關(guān)系數(shù) 也是表征隨機變量也是表征隨機變量 X、Y 之間線性關(guān)之間線性關(guān) XY 系緊密程度的量，具有下述性質(zhì)系緊密程度的量，具有下述性質(zhì) （1）如果隨機變量）如果隨機

5、變量 X、Y 相互獨立，相互獨立， 則則 0 XY 概率論與數(shù)理統(tǒng)計)()()()( )()()()(2XDaXDbXaEbaXXEXEYDXDYEYXEXEXY （2）若若)0( abaXY，則則1 XY 。 事事實實上上，由由bXaEYEbaXY )()(,， )()(2XDaYD 得得 0 10 1, )()(2aaaaXDaXEXaE，當當, 1 XY 則稱則稱與與正相關(guān)正相關(guān)；當當1 XY 時時為為負相關(guān)負相關(guān)。 概率論與數(shù)理統(tǒng)計1 XY (3)0)()()()(2 YDYEYXDXEXE事實上，由事實上，由 有有2)()()()(YDYEYXDXEXE )()()()()()(2)

6、()(22YDYEYYDXDYEYXEXXDXEXE 22)()()()()()(2)()(YDYEYEYDXDYEYXEXEXDXEXE 022)()(2)()( XYXYYDYDXDXD 1 XY 即即概率論與數(shù)理統(tǒng)計以下四個結(jié)論彼此等價以下四個結(jié)論彼此等價 )(0 ,)(0YDXD若若 0 (1)XY 0)( )2( X,YCov )()()( )3(YEXEXYE D(Y)D(X)Y) D(X )4(概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計例例 1 , 01 ,1),(2222yxyxyxf 221121,121),()(xxXxxdydyyxfxf 易知易知X,Y的邊緣概率密度的邊緣概率密度

7、設(shè)設(shè)二維二維隨機變量隨機變量（，）的的概率密度為概率密度為 221121,121),()(yyYyydxdxyxfyf 因為因為)()(),(yfxfyxfYX 故與不獨立。故與不獨立。 概率論與數(shù)理統(tǒng)計另一方面，易知另一方面，易知E(X)=E(Y)=0上述情況，上述情況，“ 不相關(guān)不相關(guān)”和和“相互獨立相互獨立”是不等價的，是不等價的，這是因為不相關(guān)只是就線性關(guān)系來說的這是因為不相關(guān)只是就線性關(guān)系來說的,而相互獨立而相互獨立是就一般關(guān)系而言的是就一般關(guān)系而言的 。不過從下面例子可以看到，。不過從下面例子可以看到，當當 （X,Y ) 服從二維正態(tài)分布時，服從二維正態(tài)分布時，X 與與 Y 不相關(guān)

8、不相關(guān)與相互獨立是等價的。與相互獨立是等價的。 12201)(),( yxxyXYEYXCov 而而0 XY , X 與與 Y 不相關(guān)。不相關(guān)。 從而從而概率論與數(shù)理統(tǒng)計exp121),(221 yxf )()(2)()1(212222212121212 yyxx求求X與與Y的的相相關(guān)關(guān)系系數(shù)數(shù)XY 。 概率論與數(shù)理統(tǒng)計 xedyyxfxfxX- ,21),()(2122)(1 yedxyxfyfyY- ,21),()(2222)(2 解解 由由前前述述知知道道),(YX的的邊邊緣緣概概率率密密度度為為 .)(,)(,)(,)( 222121 YDXDYEXE于是于是概率論與數(shù)理統(tǒng)計 2121

9、2)( 21221)(121 xeyxdxdyexy211222)1(21 1111222),(11 xuxyt令令dxdyyxfyxYXCov),()( )(),( 21 而而概率論與數(shù)理統(tǒng)計 dtdueutuYXCovtu2222122122)1(21),( )(21)(2222212222212222 dtteduuedtetdueututu 22221 21 )()(),( YDXDYXCovXY于是于是概率論與數(shù)理統(tǒng)計 可見二維正態(tài)隨機變量（可見二維正態(tài)隨機變量（X,Y）的概率密度的參數(shù)的概率密度的參數(shù) 就是就是 X 與與 Y 的的相關(guān)系數(shù)相關(guān)系數(shù)。 因而二維正態(tài)隨機變量的分布完全可

10、由因而二維正態(tài)隨機變量的分布完全可由 X、 Y 的各自的各自 的數(shù)學(xué)期望、方差以及它們的相關(guān)系數(shù)所確定。的數(shù)學(xué)期望、方差以及它們的相關(guān)系數(shù)所確定。由前面討論可知，由前面討論可知， 若若（X，Y）服從二維正態(tài)分布服從二維正態(tài)分布那么那么 X 和和 Y 相互獨立的充要條件為相互獨立的充要條件為 ，現(xiàn)在還知道，現(xiàn)在還知道 0 XY 故知對于二維正態(tài)隨機變量（故知對于二維正態(tài)隨機變量（X,Y）來說來說X 與與 Y 不相關(guān)不相關(guān)與與 X 和和 Y 相互獨立相互獨立是等價的是等價的。概率論與數(shù)理統(tǒng)計下面我們來說明相關(guān)系數(shù)的統(tǒng)計含義：下面我們來說明相關(guān)系數(shù)的統(tǒng)計含義：例如，考察二維隨機變量（例如，考察二維隨

11、機變量（X ，Y）,其含義分別為其含義分別為 ),(燈泡某原件的質(zhì)量燈泡某原件的質(zhì)量燈泡的壽命燈泡的壽命YXYX概率論與數(shù)理統(tǒng)計下面我們來考察下面我們來考察 X 與與 Y 之間的聯(lián)系。之間的聯(lián)系。為此作了為此作了 n 次試驗，次試驗， 得到得到 n 組實驗數(shù)據(jù)：組實驗數(shù)據(jù)： ),( , ),( ),(2211nnyxyxyx在在xoy平面上描出這些點，若是下述幾種情況，平面上描出這些點，若是下述幾種情況，我們用數(shù)據(jù)點的分布來說明這關(guān)系：我們用數(shù)據(jù)點的分布來說明這關(guān)系：概率論與數(shù)理統(tǒng)計oxy X 、Y 是相互不關(guān)聯(lián)的，即是相互不關(guān)聯(lián)的，即該原件的質(zhì)量對產(chǎn)品的壽命該原件的質(zhì)量對產(chǎn)品的壽命不發(fā)生影響

12、。不發(fā)生影響。 oxy 介于上述二者之間，即介于上述二者之間，即 X 與與 Y 有一定的線性關(guān)聯(lián)性，但較第有一定的線性關(guān)聯(lián)性，但較第 一種弱一種弱 。 oxy X 、Y 是線性關(guān)聯(lián)的，即該原是線性關(guān)聯(lián)的，即該原件件 的質(zhì)量直接影響的產(chǎn)品的壽的質(zhì)量直接影響的產(chǎn)品的壽命。命。概率論與數(shù)理統(tǒng)計我們可以用數(shù)量關(guān)系我們可以用數(shù)量關(guān)系 ： 來刻劃來刻劃 nkkkbaxyn12)(1minX 與與 Y 之間線性關(guān)系的程度，之間線性關(guān)系的程度， 式中極小值是對式中極小值是對 a 和和b 而取的；上式值越小，表明各點的而取的；上式值越小，表明各點的偏離直線偏離直線 y=ax+b 程度越小程度越小，進而，進而 X

13、 與與 Y 的的線性關(guān)系越強線性關(guān)系越強； 反之反之,則線則線 性關(guān)系較弱。性關(guān)系較弱。概率論與數(shù)理統(tǒng)計)(2)(2)(2)()( )(22222YbEXabEXYaEbXEaYEbaXYEe 來衡量來衡量 以以 aX+b 近似表達近似表達 Y 的好壞程度的好壞程度 , e的值越小的值越小表示表示 X 與與 Y 之間的線性關(guān)系越強，即之間的線性關(guān)系越強，即 aX+b與與Y 的近似程度越好。的近似程度越好。對于二維隨機變量（對于二維隨機變量（X,Y），），用用均方誤差均方誤差概率論與數(shù)理統(tǒng)計這樣，我們就取這樣，我們就取a、b 使使 e取到最小取到最小下面就來求最佳近似式下面就來求最佳近似式aX+

14、b中的中的a,b為此，為此， 將將 e=e (a, b) 對對 a, b 求偏導(dǎo)求偏導(dǎo),并令其為零，得并令其為零，得 0)(2)(2)(22 XbEXYEXaEae0)(2)(22 YEXaEbbe概率論與數(shù)理統(tǒng)計解得解得 )(),(0XDYXCova )(),()()()()(00XDYXCovXEYEXEaYEb )()1( )(),(220000minYDbXaYEbaeeXY 于是得于是得 概率論與數(shù)理統(tǒng)計)()1(2minYDeXY 由式由式 可以看出，可以看出，均方誤差均方誤差 e 是是XY 的嚴格單調(diào)減函數(shù)，于是，相關(guān)系數(shù)的含義就明的嚴格單調(diào)減函數(shù)，于是，相關(guān)系數(shù)的含義就明 XY

15、 顯了。顯了。較大，則較大，則 e 較小，較小， 表明表明 X 、Y 線性相關(guān)的線性相關(guān)的 程度較好，特別，有程度較好，特別，有 1 XY 10 XY 1XY 0 XY X與與 Y 之間是之間是 Y=aX+b的線性關(guān)系的線性關(guān)系 X與與 Y 有一定程度的線性關(guān)系有一定程度的線性關(guān)系 X與與 Y 線性相關(guān)程度較差線性相關(guān)程度較差 X與與 Y 沒有線性關(guān)系，即沒有線性關(guān)系，即 X 與與 Y 不相關(guān)不相關(guān) 概率論與數(shù)理統(tǒng)計2)(baXYE 使使 取最小值的直線方程為取最小值的直線方程為)()(),()()(),(XEXDYXCovYExXDYXCovbaxy )()()()(XDXExYDYEyXY

16、 或或說明該直線通過（說明該直線通過（E(X),E(Y)），），通常稱之為通常稱之為Y關(guān)于關(guān)于X的的回歸直線回歸直線.概率論與數(shù)理統(tǒng)計4.4.2 矩矩 定義定義 設(shè)設(shè) X 和和 Y 是隨機變量是隨機變量(以下假設(shè)各隨機變量以下假設(shè)各隨機變量 的期望均存在）的期望均存在） （1）稱）稱), 2 , 1( )( kXEk為為 X 的的 k 階原點矩階原點矩，簡稱，簡稱 k 階矩階矩 (kth moment)。（2）稱）稱), 2 , 1( )( kXEXEk為為 X 的的 k 階階中心矩中心矩(kth central moment)。概率論與數(shù)理統(tǒng)計（3）稱）稱), 2 , 1,( )( lkYX

17、Elk為為 X 、Y 的的 k +l 階混合矩階混合矩。), 2 , 1( )()( kYEYXEXElk（4）稱）稱為為 X 、Y 的的 k +l 階混合中心矩階混合中心矩。顯然，顯然， E(X) 是是 X 的一階原點矩，的一階原點矩，D(X) 是是 X 的二階的二階 中心矩，中心矩，Cov(X,Y)是是 X、Y 的二階混合中心矩。的二階混合中心矩。 概率論與數(shù)理統(tǒng)計4.4.3 協(xié)方差矩陣協(xié)方差矩陣 將它們寫成矩陣的形式：將它們寫成矩陣的形式： 22211211CCCCC 21111)( XEXEC 22222)( XEXEC )()( 221112XEXXEXEC )()( 112221X

18、EXXEXEC 二維隨機變量二維隨機變量 有四個二階中心矩有四個二階中心矩(設(shè)它們設(shè)它們 都存在都存在)，分記為，分記為 ),(21XX概率論與數(shù)理統(tǒng)計設(shè)設(shè) n 維隨機變量維隨機變量 的二階混合中心矩的二階混合中心矩 ),(21nXXXX njiXEXXEXEXXCovCjjiijiij, 2 , 1, )()(),( 都存在都存在, 則稱矩陣則稱矩陣 C 為為 n 維隨機變量維隨機變量 的的協(xié)方差矩陣協(xié)方差矩陣。其中。其中 矩陣矩陣 C 為為 ),(21nXXXX 212222111211 nnnnnnCCCCCCCCCC), 2 , 1,(njijiccjiij 由于由于 因而上述矩陣是因

19、而上述矩陣是一個一個對稱矩陣（對稱矩陣（symmetric matrix）概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計二維正態(tài)隨機變量二維正態(tài)隨機變量 的概率密度為的概率密度為),(21XXexp121),(22121 xxf )()(2)()1(2122222212211212112 xxxx 21xxX 21 概率論與數(shù)理統(tǒng)計 2221212122211211 CCCCC)1(22221 C它的行列是它的行列是 2121212211 CC它的逆矩陣為它的逆矩陣為),(21XX的的協(xié)方差協(xié)方差矩陣矩陣為為 概率論與數(shù)理統(tǒng)計)()(1 XCXT 2211212121222211),(1 xxxxC)()(

20、2)()1(122222212211212112 xxxx于是于是 的概率密度可寫成的概率密度可寫成),(21XX )()(21exp)2(1),(1212221 XCXCxxfT概率論與數(shù)理統(tǒng)計推廣到推廣到n維正態(tài)隨機變量維正態(tài)隨機變量 的情況的情況.),(21nXXX引入列矩陣引入列矩陣 nxxxX21 )()()(2121nnXEXEXE n維正態(tài)隨機變量維正態(tài)隨機變量 的概率密度定義為的概率密度定義為),(21nXXX )()(21exp)2(1),(121221 XCXCxxxfTnn其中，其中，C是是 的協(xié)方差矩陣的協(xié)方差矩陣),(21nXXX概率論與數(shù)理統(tǒng)計n 維隨機變量維隨機變

21、量 具有以下三條重要性質(zhì)：具有以下三條重要性質(zhì)： ),(21nXXXnnXlXlXl 2211(1) n維隨機變量維隨機變量 服從服從n維正態(tài)分布的維正態(tài)分布的),(21nXXXnXXX,21充要條件是充要條件是 的任意的線性組合的任意的線性組合服從服從一維正態(tài)分布一維正態(tài)分布(其中其中 不全為零不全為零)。nlll,21概率論與數(shù)理統(tǒng)計(3) 設(shè)設(shè) 服從服從維正態(tài)分布，則維正態(tài)分布，則),(21nXXX相互獨立與兩兩不相關(guān)是等價的相互獨立與兩兩不相關(guān)是等價的.nXXX,21nXXX,21(2) 若若 服從服從 n 維正態(tài)分布，設(shè)維正態(tài)分布，設(shè) ),(21nXXXkYYY,21多維正態(tài)分布多維正態(tài)分布 。（此為正態(tài)變量的線性變換不變性（此為正態(tài)變量的線性變換不變性 ）是是 線性函數(shù)，則線性函數(shù)，則 也服從也服從),(21