大學數(shù)學概率篇之隨機變量的數(shù)字特征——協(xié)方差與相關(guān)系數(shù)

1、 一、協(xié)方差的定義一、協(xié)方差的定義 二、協(xié)方差的性質(zhì)二、協(xié)方差的性質(zhì) 三、相關(guān)系數(shù)的定義三、相關(guān)系數(shù)的定義 四、相關(guān)系數(shù)的性質(zhì)四、相關(guān)系數(shù)的性質(zhì) 五、矩的概念與協(xié)方差矩陣五、矩的概念與協(xié)方差矩陣 六、六、n n維正態(tài)分布的概率密度與性質(zhì)維正態(tài)分布的概率密度與性質(zhì) 七、小結(jié)七、小結(jié) 前面我們介紹了隨機變量的數(shù)學期望前面我們介紹了隨機變量的數(shù)學期望和方差，對于多維隨機變量，反映分量之和方差，對于多維隨機變量，反映分量之間關(guān)系的數(shù)字特征中，最重要的，就是本間關(guān)系的數(shù)字特征中，最重要的，就是本講要討論的講要討論的協(xié)方差和相關(guān)系數(shù)協(xié)方差和相關(guān)系數(shù)本節(jié)將要討論的協(xié)方差是反映隨機本節(jié)將要討論的協(xié)方差是反映隨

2、機變量之間依賴變量之間依賴關(guān)系關(guān)系的一個數(shù)字特征的一個數(shù)字特征.在一定程度上反映了隨機變量在一定程度上反映了隨機變量X與與Y之間的關(guān)系之間的關(guān)系.完完在證明方差的性質(zhì)時，在證明方差的性質(zhì)時， 已經(jīng)知道，已經(jīng)知道，當當X與與Y相互獨相互獨立時，立時， 有有. 0)()( YEYXEXE反之則說明，反之則說明，當當0)()( YEYXEXE時，時，X與與Y一定不相互獨立，一定不相互獨立，這說明量這說明量)()(YEYXEXE 一、協(xié)方差的定義一、協(xié)方差的定義定義定義設設),(YX為二維隨機向量，為二維隨機向量， 若若)()(YEYXEXE 存在，存在，則稱其為隨機變量則稱其為隨機變量X和和Y的的協(xié)

3、方差協(xié)方差， 記為記為),cov(YX即即).()(),cov(YEYXEXEYX 按定義，按定義，其概率分布為其概率分布為), 2 , 1,(, jipyYxXPijii則則.)()(),cov(, jiijjipYEyXExYX若若),(YX為連續(xù)型隨機向量，為連續(xù)型隨機向量，其概率密度為其概率密度為),(yxf),(YX為離型隨機向量，為離型隨機向量，若若),cov(YX .),()()(dxdyyxfYEyXEx利用數(shù)學期望的性質(zhì)，利用數(shù)學期望的性質(zhì)，易將協(xié)方差的計算易將協(xié)方差的計算化簡化簡.)()(),cov(YEYXEXEYX )()()()()(XEYEYEXEXYE )()(Y

4、EXE ).()()(YEXEXYE 特別地，特別地，. 0),cov( YX有有X與與Y獨立時，獨立時，當當完完協(xié)方差計算的簡化公式協(xié)方差計算的簡化公式二、協(xié)方差的性質(zhì)二、協(xié)方差的性質(zhì)1. 協(xié)方差的基本性質(zhì)協(xié)方差的基本性質(zhì)(1);(),cov(XDXX (2);,cov(),cov(XYYX (3),cov(),cov(YXabbYaX 常數(shù)；常數(shù)；(4), 0),cov( XC(5);,cov(),cov(),cov(2121YXYXYXX 其中其中ba,是是為任意常數(shù)；為任意常數(shù)；C(6)當當X與與Y相互獨立，相互獨立，. 0),cov( YX則則2. 隨機變量和的方差與協(xié)方差的關(guān)系隨機

5、變量和的方差與協(xié)方差的關(guān)系),cov(2)()()(YXYDXDYXD 特別地，特別地，若若X與與Y相互獨立，相互獨立，).()()(YDXDYXD 注注： 上述結(jié)果可推廣至上述結(jié)果可推廣至n維情形：維情形： njijiniiniiXXXDXD111);,cov(2)()(則則若若nXXX,21兩兩獨立，兩兩獨立， niiniiXDXD11);()(則有則有 可以證明：可以證明： 若若YX,的方差存在，的方差存在，則協(xié)方差則協(xié)方差),(YX一定存在且滿足下列不等式：一定存在且滿足下列不等式：)()(),cov(YEYXEXEYX . )()(YDXD 完完例例1已知離散型隨機向量已知離散型隨機

6、向量),(YX的概率分布如右表的概率分布如右表, ,求求).,cov(YX1 . 0015. 021 . 005. 03 . 0102 . 01 . 00201 XY解解容易求得容易求得X的概率分的概率分, 3 . 00 XP,45. 01 XP;25. 02 XPY的概率分布為的概率分布為,55. 01 YP,25. 00 YP, 2 . 02 YP布為布為計算得計算得0202 . 0001 . 0)1(0)( XYE1 . 0215 . 0013 . 0)1(1 1 . 02200215. 0)1(2 . 0 2 . 0225. 0055. 0)1()( YE.15. 0 25. 0245

7、. 013 . 00)( XE,95. 0 于是于是)()()(),cov(YEXEXYEYX .1425. 015. 095. 0 完完, 3 . 00 XP,45. 01 XP;25. 02 XP,55. 01 YP,25. 00 YP, 2 . 02 YP例例2 設連續(xù)型隨機變量設連續(xù)型隨機變量),(YX的密度函數(shù)為的密度函數(shù)為, 010,8),( 其其它它yxxyyxf求求).,cov(YX解解由由),(YX的密度函數(shù)可求得其邊緣密度函的密度函數(shù)可求得其邊緣密度函數(shù)分別為數(shù)分別為: :, 010),1(4)(2 其其它它xxxxfX, 010,4)(3 其其它它yyyfY dxxxfX

8、EX)()( 102)1(4dxxxx,15/8 dyyyfYEY)()( 1034dyyy, 5/4 dxdyyxxyfXYE),()( 1108xdyxyxydx, 9/4 , 010),1(4)(2 其其它它xxxxfX, 010,4)(3 其其它它yyyfY)(XE,15/8 )(YE, 5/4 )(XYE, 9/4 從而從而)()()(),cov(YEXEXYEYX 完完,225/4 協(xié)方差的大小在一定程度上反映了協(xié)方差的大小在一定程度上反映了X和和Y相互間的關(guān)系，但它還受相互間的關(guān)系，但它還受X與與Y本身度量單位本身度量單位的影響的影響. 例如：例如：Cov(kX, kY)=k2C

9、ov(X,Y)為避免隨機變量本身度量單位不同而影響它們相互為避免隨機變量本身度量單位不同而影響它們相互關(guān)系的度量，關(guān)系的度量， 可將每個隨機變量標準化，可將每個隨機變量標準化，即取即取,)()(,)()(YDYEYYXDXEXX 并將并將),cov( YX作為作為X與與Y之間相互關(guān)系的一種度之間相互關(guān)系的一種度量，量，而而,)()(),cov(),cov(YDXDYXYX 定義定義 設設),(YX為二維隨機向量，為二維隨機向量，, 0)( XD, 0)( YD稱稱)()(),cov(YDXDYXXY 為隨機變量為隨機變量X和和Y的的相關(guān)系數(shù)相關(guān)系數(shù)， 有時也記有時也記XY 為為. 特別地，特別

10、地，當當0 XY 時，時，稱稱X與與Y不相關(guān)不相關(guān).三、相關(guān)系數(shù)的定義三、相關(guān)系數(shù)的定義四、相關(guān)系數(shù)的性質(zhì)四、相關(guān)系數(shù)的性質(zhì)性質(zhì)性質(zhì)1.; 1 XY 證證 由方差的性質(zhì)和協(xié)方差的定義知，由方差的性質(zhì)和協(xié)方差的定義知， 對任意實數(shù)對任意實數(shù), b有有),cov(2)()()(02YXbYDXDbbXYD 令令,)(),cov(XDYXb 則則)(),cov()()(2XDYXYDbXYD ,1)()()(),cov(1)(22XYYDYDXDYXYD ,1)()()(),cov(1)(22XYYDYDXDYXYD 由于方差由于方差)(YD是正的，是正的，故必有故必有, 012 XY 所以所以.

11、1 XY 注意到此時注意到此時, 0),cov( YX易見結(jié)論成立易見結(jié)論成立. 注注：X與與Y相互獨立相互獨立X與與Y不相關(guān)不相關(guān).性質(zhì)性質(zhì)2.若若X和和Y相互獨立，相互獨立，; 0 XY 則則例例1 設設X服從服從(-1/2, 1/2)內(nèi)的均勻分布內(nèi)的均勻分布,而而Y=cos X,（請課下自行驗證）（請課下自行驗證）因而因而 =0， 即即X和和Y不相關(guān)不相關(guān) .但但Y與與X有嚴格的函數(shù)關(guān)系，有嚴格的函數(shù)關(guān)系，即即X和和Y不獨立不獨立 .不難求得，不難求得，Cov(X,Y)=0，性質(zhì)性質(zhì)3.若若, 0)(, 0)( YDXD則則1 XY 存在常數(shù)存在常數(shù)),0(, aba使使, 1 baXY

12、P而且而且0 a時，時，. 1 XY 注注：相關(guān)系數(shù)刻畫了相關(guān)系數(shù)刻畫了X和和Y間間“線性相關(guān)線性相關(guān)”的的程度程度.XY 的值越接近于的值越接近于1，Y與與X線性相關(guān)程度越高；線性相關(guān)程度越高；XY 的值越接近于的值越接近于0，Y與與X線性相關(guān)程度越弱；線性相關(guān)程度越弱；1 XY 時，時，Y與與X有嚴格線性關(guān)系；有嚴格線性關(guān)系；0 XY 時，時，Y與與X無線性關(guān)系；無線性關(guān)系；即即X和和Y以概率以概率1線性相關(guān)線性相關(guān).而且而且0 a時，時，. 1 XY 這里注意：這里注意：只說明只說明Y與與X沒有線性沒有線性關(guān)系關(guān)系. 并不能說明并不能說明Y與與X之間沒有其它函數(shù)關(guān)系之間沒有其它函數(shù)關(guān)系.

13、與與從而不能推出從而不能推出YX獨立獨立.0 XY 時，時，當當4. 設設,)(2baXYEe 稱其為用稱其為用baX 來來近似近似Y的的均方誤差均方誤差， 則有下列結(jié)論：則有下列結(jié)論：若若, 0)(, 0)( YDXD則則)()(),(/ ),cov(000XEaYEbXDYXa 使均方誤差達到最小使均方誤差達到最小. =E(Y2)+b2E(X2)+a2- 2bE(XY)+2abE(X) - 2aE(Y)e =EY-(a+bX)2 0)(2)(2)(20)(2)(222XaEXYEXbEbeYEXbEaae)(),(0XDYXCovb 解得解得)()(00XEbYEa這樣求出的最佳逼近為這樣

14、求出的最佳逼近為L(X)=a0+b0X注注：示示Y的好壞程度，的好壞程度，我們可用均方誤差我們可用均方誤差e來衡量以來衡量以baX 近似表近似表似程度越好，似程度越好， 且知最佳的線性近似為且知最佳的線性近似為,00bXa 其余均方誤差其余均方誤差).1)(2XYYDe 能說明能說明XY 越接近越接近1，e越小越小. 反之，反之，XY 越近于越近于0，e就越大，就越大，Y與與X的的線性相關(guān)性越小線性相關(guān)性越小.e值越小表示值越小表示baX 與與Y的近的近而而從這個側(cè)面也從這個側(cè)面也完完例例3 設設),(YX的分布律為的分布律為14/14/14/14/12/14/1004/142/104/14/

15、1012112iixYPyYPYX 易知易知, 0)( XE, 2/5)( YE, 0)( XYE于是于是, 0 XY YX,不相關(guān)不相關(guān). . 這表示這表示YX,不存不存在線性關(guān)系在線性關(guān)系, , 但但,1201, 2 YPXPYXP,1201, 2 YPXPYXP知知YX,不是相互獨立的不是相互獨立的.事實上事實上, ,X和和Y具有關(guān)系具有關(guān)系: :,2XY Y的值完全可由的值完全可由X的值所確定的值所確定. .完完例例4 設設 服從服從, 上的均勻分布上的均勻分布, , 且且,sin X cos Y判斷判斷X與與Y是否不相關(guān)是否不相關(guān), , 是否獨立是否獨立.解解 由于由于, 0sin2

16、1)( dXE, 0cos21)( dYE而而. 0cossin21)(2 dXYE因此因此),()()(YEXEXYE 從而從而X與與Y不相關(guān)不相關(guān). . 但由于但由于X與與Y滿足關(guān)系滿足關(guān)系: :122 YX所以所以X與與Y不獨立不獨立.完完例例5 已知已知),3, 1(2NX),4, 0(2NY且且X與與Y的相關(guān)系數(shù)的相關(guān)系數(shù).21 XY 設設,23YXZ 求求)(ZD及及.XZ 解解因因,3)(2 XD,4)(2 YD且且XYYDXDYX )()(),cov( 2143, 6 所以所以 2,3cov2)(41)(91YXYDXD 23)(YXDZD),cov(21312)(41)(91

17、YXYDXD , 7 因因,3)(2 XD,4)(2 YD且且),cov(YX, 6 所以所以)(ZD, 7 又因又因 23,cov),cov(YXXZX 2,cov3,covYXXX),cov(21),cov(31YXYX , 6),cov(21)(31 YXXD故故.772736)()(),cov( ZDXDZXXZ 例例6 設二維隨機變量設二維隨機變量),(),(2121 NYX求相關(guān)系數(shù)求相關(guān)系數(shù).XY 解解根據(jù)二維正態(tài)分布的邊緣概率密度知根據(jù)二維正態(tài)分布的邊緣概率密度知,)(1 XE,)(2 YE,)(21 XD,)(22 YD而而 dxdyyxfxxYX),()(),cov(21

18、)(12121221 yx.2)()1(21exp2121211222dxdyxxy 例例6 設二維隨機變量設二維隨機變量),(),(2121 NYX求相關(guān)系數(shù)求相關(guān)系數(shù).XY 解解 令令,1111222 xyt,11 xu則有則有 tuYX2211(21),cov( dtdueutu2/ )(22122) dtedueutu22221222 例例6 設二維隨機變量設二維隨機變量),(),(2121 NYX求相關(guān)系數(shù)求相關(guān)系數(shù).XY 解解 則有則有),cov(YX dtedueutu22221222 dtteduuetu222212221 ,22221 即有即有,),cov(21 YX于是于是

19、.)()(),cov( YDXDYXXY注注: : 從本例的結(jié)果可見從本例的結(jié)果可見, , 二維正態(tài)隨機變量二維正態(tài)隨機變量,(X)Y的分布完全由的分布完全由X和和Y各自的數(shù)學期望、各自的數(shù)學期望、方差以及方差以及它們的相關(guān)系數(shù)所確定它們的相關(guān)系數(shù)所確定. . 此外此外, , 易見有結(jié)論易見有結(jié)論: :若若),(YX服從二維正態(tài)分布服從二維正態(tài)分布, , 則則X與與Y相互獨立相互獨立,當且僅當當且僅當X與與Y不相關(guān)不相關(guān). .五、矩的概念五、矩的概念定義定義 設設X和和Y為隨機變量，為隨機變量，lk,為正整為正整數(shù)，數(shù)，)(kXE為為k階原點矩階原點矩 (簡稱簡稱k階矩階矩);)(kXEXE

20、為為k階中心矩階中心矩)(kXE為為k階絕對原點矩階絕對原點矩；)(kXEXE 為為k階絕對中心矩階絕對中心矩；稱稱)(tkYXE為為X和和Y的的lk 階混合矩階混合矩;)()(tkYEYXEXE 為為X和和Y的的lk 混合中心矩混合中心矩.注注: 由定義可見：由定義可見：(1)X的數(shù)學期望的數(shù)學期望)(XE是是X的一階原點矩；的一階原點矩；(2)X的方差的方差)(XD是是X的二階中心矩；的二階中心矩；(3) 協(xié)方差協(xié)方差),(YXCov是是X與與Y的二階混合中的二階混合中心矩心矩.完完六、協(xié)方差矩陣六、協(xié)方差矩陣將二維隨機變量將二維隨機變量),(21XX的四個二階中心矩的四個二階中心矩,)(

21、21111XEXEc ,)(22222XEXEc ),()(221112XEXXEXEc ).()(112221XEXXEXEc 排成矩陣的形式：排成矩陣的形式： 22211211cccc對稱矩陣對稱矩陣稱此矩陣為稱此矩陣為),(21XX的的協(xié)方差矩陣協(xié)方差矩陣.類似定義類似定義n維隨機變量維隨機變量),(21nXXX的協(xié)方差的協(xié)方差矩陣矩陣. 若若),cov(jiijXXc njiXEXXEXEjjii, 2 , 1,)()( 都存在，都存在， nnnnnncccccccccC212222111211為為),(21nXXX的的協(xié)方差矩陣協(xié)方差矩陣.完完稱稱六、六、n維正態(tài)分布的概率密度與性質(zhì)

22、維正態(tài)分布的概率密度與性質(zhì)先考慮二維正態(tài)分布的概率密度，先考慮二維正態(tài)分布的概率密度，再將其推廣到再將其推廣到n維情形維情形. 二維正態(tài)隨機向量二維正態(tài)隨機向量),(21XX的概率密度為的概率密度為 2222211111211122)1(21221121 xxxxe),(21xxf記記,21 xxX,21 協(xié)方差矩陣協(xié)方差矩陣,22211211 ccccC易驗算易驗算)()(1 XCXT,22211211 ccccC易驗算易驗算)()(1 XCXT故二維正態(tài)隨機向量故二維正態(tài)隨機向量),(21XX的概率密度可用矩陣的概率密度可用矩陣表示為表示為),(21xxfexp)2(12/12/2C )(

23、)(211 XCXT其中其中TX)( 是是)( X的轉(zhuǎn)置的轉(zhuǎn)置.進一步，進一步，向量，向量， 若它的概率密度為若它的概率密度為設設),(21nTXXXX 是一個是一個n維隨機維隨機若它的概率密度為若它的概率密度為設設),(21nTXXXX 是一個是一個n維隨機維隨機向量，向量，),(21nxxxfexp)2(12/12/Cn )()(211 XCXT則稱則稱X服從服從n維正態(tài)分布維正態(tài)分布.其中，其中，C是是),(21nXXX的協(xié)方差矩陣，的協(xié)方差矩陣，C是它的行列式，是它的行列式，1 C表示表示C的逆矩陣，的逆矩陣，X和和 是是n維列向量，維列向量， 而而TX)( 是是)( X的轉(zhuǎn)置的轉(zhuǎn)置.完完n維正態(tài)分布的幾條重要性質(zhì)維正態(tài)分布的幾條重要性質(zhì)1.n維正態(tài)變量維正態(tài)變量),(21nXXX的每一個分量的每一個分量), 2 , 1(niXi 都是正態(tài)變量，都是正態(tài)變量，反之，反之，若若,21XX2.n維正態(tài)變量維正態(tài)變量),(21nXXX服從服從n維正態(tài)維正態(tài)分布的充要條件是分布的充要條件是nXXX,21任意線性組合任意線性組合nnXlXlXl 2211均服從一維正態(tài)分布均服從一維正態(tài)分布正態(tài)變量正態(tài)變量.都是都是nnX,nlll,21不全為不全為零）零）.（其中（其中3.若若),(21nXXX服從服從n維正態(tài)分布，