協(xié)方差與相關(guān)系數(shù)ppt課件

1、 一、協(xié)方差的定義一、協(xié)方差的定義 二、協(xié)方差的性質(zhì)二、協(xié)方差的性質(zhì) 三、相關(guān)系數(shù)的定義三、相關(guān)系數(shù)的定義 四、相關(guān)系數(shù)的性質(zhì)四、相關(guān)系數(shù)的性質(zhì) 五、矩的概念與協(xié)方差矩陣五、矩的概念與協(xié)方差矩陣 六、六、n n維正態(tài)分布的概率密度與性質(zhì)維正態(tài)分布的概率密度與性質(zhì) 七、小結(jié)七、小結(jié) 前面我們引見了隨機(jī)變量的數(shù)學(xué)期望前面我們引見了隨機(jī)變量的數(shù)學(xué)期望和方差，對于多維隨機(jī)變量，反映分量之和方差，對于多維隨機(jī)變量，反映分量之間關(guān)系的數(shù)字特征中，最重要的，就是本間關(guān)系的數(shù)字特征中，最重要的，就是本講要討論的講要討論的協(xié)方差和相關(guān)系數(shù)協(xié)方差和相關(guān)系數(shù)本節(jié)將要討論的協(xié)方差是反映隨機(jī)變量之間依賴本節(jié)將要討論的協(xié)

2、方差是反映隨機(jī)變量之間依賴關(guān)系的一個數(shù)字特征關(guān)系的一個數(shù)字特征.在一定程度上反映了隨機(jī)變量在一定程度上反映了隨機(jī)變量X與與Y之間的關(guān)系之間的關(guān)系.完完在證明方差的性質(zhì)時，在證明方差的性質(zhì)時， 曾經(jīng)知道，曾經(jīng)知道，當(dāng)當(dāng)X與與Y相互獨(dú)相互獨(dú)立時，立時， 有有. 0)()( YEYXEXE反之那么闡明，反之那么闡明，當(dāng)當(dāng)0)()( YEYXEXE時，時，X與與Y一定不相互獨(dú)立，一定不相互獨(dú)立，這闡明量這闡明量)()(YEYXEXE 一、協(xié)方差的定義一、協(xié)方差的定義定義定義設(shè)設(shè)),(YX為二維隨機(jī)向量，為二維隨機(jī)向量， 假設(shè)假設(shè))()(YEYXEXE 存在，存在，那么稱其為隨機(jī)變量那么稱其為隨機(jī)變量X

3、和和Y的協(xié)方差，的協(xié)方差， 記為記為),cov(YX即即).()(),cov(YEYXEXEYX 按定義，按定義，其概率分布為其概率分布為), 2 , 1,(, jipyYxXPijii那么那么.)()(),cov(, jiijjipYEyXExYX假設(shè)假設(shè)),(YX為延續(xù)型隨機(jī)向量，為延續(xù)型隨機(jī)向量，其概率密度為其概率密度為),(yxf),(YX為離型隨機(jī)向量，為離型隨機(jī)向量，假設(shè)假設(shè)),cov(YX .),()()(dxdyyxfYEyXEx利用數(shù)學(xué)期望的性質(zhì)，利用數(shù)學(xué)期望的性質(zhì)，易將協(xié)方差的計(jì)算易將協(xié)方差的計(jì)算化簡化簡.)()(),cov(YEYXEXEYX )()()()()(XEYE

4、YEXEXYE )()(YEXE ).()()(YEXEXYE 特別地，特別地，. 0),cov( YX有有X與與Y獨(dú)立時，獨(dú)立時，當(dāng)當(dāng)完完協(xié)方差計(jì)算的簡化公式協(xié)方差計(jì)算的簡化公式二、協(xié)方差的性質(zhì)二、協(xié)方差的性質(zhì)1. 協(xié)方差的根本性質(zhì)協(xié)方差的根本性質(zhì)(1);(),cov(XDXX (2);,cov(),cov(XYYX (3),cov(),cov(YXabbYaX 常數(shù)；常數(shù)；(4), 0),cov( XC(5);,cov(),cov(),cov(2121YXYXYXX 其中其中ba,是是為恣意常數(shù)；為恣意常數(shù)；C(6)當(dāng)當(dāng)X與與Y相互獨(dú)立，相互獨(dú)立，. 0),cov( YX那么那么2. 隨機(jī)

5、變量和的方差與協(xié)方差的關(guān)系隨機(jī)變量和的方差與協(xié)方差的關(guān)系),cov(2)()()(YXYDXDYXD 特別地，特別地，假設(shè)假設(shè)X與與Y相互獨(dú)立，相互獨(dú)立，).()()(YDXDYXD 注：注： 上述結(jié)果可推行至上述結(jié)果可推行至n維情形：維情形： njijiniiniiXXXDXD111);,cov(2)()(那么那么假設(shè)假設(shè)nXXX,21兩兩獨(dú)立，兩兩獨(dú)立， niiniiXDXD11);()(那么有那么有 可以證明：可以證明： 假設(shè)假設(shè)YX,的方差存在，的方差存在，那么協(xié)方差那么協(xié)方差),(YX一定存在且滿足以下不等式：一定存在且滿足以下不等式：)()(),cov(YEYXEXEYX . )(

6、)(YDXD 完完例例1知離散型隨機(jī)向量知離散型隨機(jī)向量),(YX的概率分布如右表的概率分布如右表,求求).,cov(YX1 . 0015. 021 . 005. 03 . 0102 . 01 . 00201 XY解解容易求得容易求得X的概率分的概率分, 3 . 00 XP,45. 01 XP;25. 02 XPY的概率分布為的概率分布為,55. 01 YP,25. 00 YP, 2 . 02 YP布為布為計(jì)算得計(jì)算得0202 . 0001 . 0)1(0)( XYE1 . 0215 . 0013 . 0)1(1 1 . 02200215. 0)1(2 . 0 2 . 0225. 0055.

7、0)1()( YE.15. 0 25. 0245. 013 . 00)( XE,95. 0 于是于是)()()(),cov(YEXEXYEYX .1425. 015. 095. 0 完完, 3 . 00 XP,45. 01 XP;25. 02 XP,55. 01 YP,25. 00 YP, 2 . 02 YP例例2 設(shè)延續(xù)型隨機(jī)變量設(shè)延續(xù)型隨機(jī)變量),(YX的密度函數(shù)為的密度函數(shù)為, 010,8),( 其其它它yxxyyxf求求).,cov(YX解解由由),(YX的密度函數(shù)可求得其邊緣密度函的密度函數(shù)可求得其邊緣密度函數(shù)分別為數(shù)分別為:, 010),1(4)(2 其其它它xxxxfX, 010

8、,4)(3 其其它它yyyfY dxxxfXEX)()( 102)1(4dxxxx,15/8 dyyyfYEY)()( 1034dyyy, 5/4 dxdyyxxyfXYE),()( 1108xdyxyxydx, 9/4 , 010),1(4)(2 其其它它xxxxfX, 010,4)(3 其其它它yyyfY)(XE,15/8 )(YE, 5/4 )(XYE, 9/4 從而從而)()()(),cov(YEXEXYEYX 完完,225/4 協(xié)方差的大小在一定程度上反映了協(xié)方差的大小在一定程度上反映了X和和Y相互間的關(guān)系，但它還受相互間的關(guān)系，但它還受X與與Y本身度量單位本身度量單位的影響的影響.

9、 例如：例如：Cov(kX, kY)=k2Cov(X,Y)為防止隨機(jī)變量本身度量單位不同而影響它們相互為防止隨機(jī)變量本身度量單位不同而影響它們相互關(guān)系的度量，關(guān)系的度量， 可將每個隨機(jī)變量規(guī)范化，可將每個隨機(jī)變量規(guī)范化，即取即取,)()(,)()(YDYEYYXDXEXX 并將并將),cov( YX作為作為X與與Y之間相互關(guān)系的一種度之間相互關(guān)系的一種度量，量，而而,)()(),cov(),cov(YDXDYXYX 定義定義 設(shè)設(shè)),(YX為二維隨機(jī)向量，為二維隨機(jī)向量，, 0)( XD, 0)( YD稱稱)()(),cov(YDXDYXXY 為隨機(jī)變量為隨機(jī)變量X和和Y的相關(guān)系數(shù)，的相關(guān)系數(shù)

10、， 有時也記有時也記XY 為為. 特別地，特別地，當(dāng)當(dāng)0 XY 時，時，稱稱X與與Y不相關(guān)不相關(guān).三、相關(guān)系數(shù)的定義三、相關(guān)系數(shù)的定義四、相關(guān)系數(shù)的性質(zhì)四、相關(guān)系數(shù)的性質(zhì)性質(zhì)性質(zhì)1.; 1 XY 證證 由方差的性質(zhì)和協(xié)方差的定義知，由方差的性質(zhì)和協(xié)方差的定義知， 對恣意實(shí)數(shù)對恣意實(shí)數(shù), b有有),cov(2)()()(02YXbYDXDbbXYD 令令,)(),cov(XDYXb 那么那么)(),cov()()(2XDYXYDbXYD ,1)()()(),cov(1)(22XYYDYDXDYXYD ,1)()()(),cov(1)(22XYYDYDXDYXYD 由于方差由于方差)(YD是正的，

11、是正的，故必有故必有, 012 XY 所以所以. 1 XY 留意到此時留意到此時, 0),cov( YX易見結(jié)論成立易見結(jié)論成立. 注：注：X與與Y相互獨(dú)立相互獨(dú)立X與與Y不相關(guān)不相關(guān).性質(zhì)性質(zhì)2.假設(shè)假設(shè)X和和Y相互獨(dú)立，相互獨(dú)立，; 0 XY 那么那么例例1 設(shè)設(shè)X服從服從(-1/2, 1/2)內(nèi)的均勻分布內(nèi)的均勻分布,而而Y=cos X,請課下自行驗(yàn)證請課下自行驗(yàn)證因此因此 =0， 即即X和和Y不相關(guān)不相關(guān) .但但Y與與X有嚴(yán)厲的函數(shù)關(guān)系，有嚴(yán)厲的函數(shù)關(guān)系，即即X和和Y不獨(dú)立不獨(dú)立 .不難求得，不難求得，Cov(X,Y)=0，性質(zhì)性質(zhì)3.假設(shè)假設(shè), 0)(, 0)( YDXD那么那么1

12、XY 存在常數(shù)存在常數(shù)),0(, aba使使, 1 baXYP而且而且0 a時，時，. 1 XY 注：注：相關(guān)系數(shù)描寫了相關(guān)系數(shù)描寫了X和和Y間間“線性相關(guān)的線性相關(guān)的 程度程度.XY 的值越接近于的值越接近于1，Y與與X線性相關(guān)程度越高；線性相關(guān)程度越高；XY 的值越接近于的值越接近于0，Y與與X線性相關(guān)程度越弱；線性相關(guān)程度越弱；1 XY 時，時，Y與與X有嚴(yán)厲線性關(guān)系；有嚴(yán)厲線性關(guān)系；0 XY 時，時，Y與與X無線性關(guān)系；無線性關(guān)系；即即X和和Y以概率以概率1線性相關(guān)線性相關(guān).而且而且0 a時，時，. 1 XY 這里留意：這里留意：只闡明只闡明Y與與X沒有線性沒有線性關(guān)系關(guān)系. 并不能闡

13、明并不能闡明Y與與X之間沒有其它函數(shù)關(guān)系之間沒有其它函數(shù)關(guān)系.與與從而不能推出從而不能推出YX獨(dú)立獨(dú)立.0 XY 時，時，當(dāng)當(dāng)4. 設(shè)設(shè),)(2baXYEe 稱其為用稱其為用baX 來來近似近似Y的均方誤差，的均方誤差， 那么有以下結(jié)論：那么有以下結(jié)論：假設(shè)假設(shè), 0)(, 0)( YDXD那么那么)()(),(/ ),cov(000XEaYEbXDYXa 使均方誤差到達(dá)最小使均方誤差到達(dá)最小. =E(Y2)+b2E(X2)+a2- 2bE(XY)+2abE(X) - 2aE(Y)e =EY-(a+bX)2 0)(2)(2)(20)(2)(222XaEXYEXbEbeYEXbEaae)(),(

14、0XDYXCovb 解得解得)()(00XEbYEa這樣求出的最正確逼近為這樣求出的最正確逼近為L(X)=a0+b0X注：注：示示Y的好壞程度，的好壞程度，我們可用均方誤差我們可用均方誤差e來衡量以來衡量以baX 近似表近似表似程度越好，似程度越好， 且知最正確的線性近似為且知最正確的線性近似為,00bXa 其他均方誤差其他均方誤差).1)(2XYYDe 能闡明能闡明XY 越接近越接近1，e越小越小. 反之，反之，XY 越近于越近于0，e就越大，就越大，Y與與X的的線性相關(guān)性越小線性相關(guān)性越小.e值越小表示值越小表示baX 與與Y的近的近而而從這個側(cè)面也從這個側(cè)面也完完例例3 設(shè)設(shè)),(YX的

15、分布律為的分布律為14/14/14/14/12/14/1004/142/104/14/1012112iixYPyYPYX 易知易知, 0)( XE, 2/5)( YE, 0)( XYE于是于是, 0 XY YX,不相關(guān)不相關(guān). 這表示這表示YX,不存不存在線性關(guān)系在線性關(guān)系, 但但,1201, 2 YPXPYXP,1201, 2 YPXPYXP知知YX,不是相互獨(dú)立的不是相互獨(dú)立的.現(xiàn)實(shí)上現(xiàn)實(shí)上,X和和Y具有關(guān)系具有關(guān)系:,2XY Y的值完全可由的值完全可由X的值所確定的值所確定.完完例例4 設(shè)設(shè) 服從服從, 上的均勻分布上的均勻分布, 且且,sin X cos Y判別判別X與與Y能否不相關(guān)能

16、否不相關(guān), 能否獨(dú)立能否獨(dú)立.解解 由于由于, 0sin21)( dXE, 0cos21)( dYE而而. 0cossin21)(2 dXYE因此因此),()()(YEXEXYE 從而從而X與與Y不相關(guān)不相關(guān). 但由于但由于X與與Y滿足關(guān)系滿足關(guān)系:122 YX所以所以X與與Y不獨(dú)立不獨(dú)立.完完例例5 知知),3, 1(2NX),4, 0(2NY且且X與與Y的相關(guān)系數(shù)的相關(guān)系數(shù).21 XY 設(shè)設(shè),23YXZ 求求)(ZD及及.XZ 解解因因,3)(2 XD,4)(2 YD且且XYYDXDYX )()(),cov( 2143, 6 所以所以 2,3cov2)(41)(91YXYDXD 23)(Y

17、XDZD),cov(21312)(41)(91YXYDXD , 7 因因,3)(2 XD,4)(2 YD且且),cov(YX, 6 所以所以)(ZD, 7 又因又因 23,cov),cov(YXXZX 2,cov3,covYXXX),cov(21),cov(31YXYX , 6),cov(21)(31 YXXD故故.772736)()(),cov( ZDXDZXXZ 例例6 設(shè)二維隨機(jī)變量設(shè)二維隨機(jī)變量),(),(2121 NYX求相關(guān)系數(shù)求相關(guān)系數(shù).XY 解解根據(jù)二維正態(tài)分布的邊緣概率密度知根據(jù)二維正態(tài)分布的邊緣概率密度知,)(1 XE,)(2 YE,)(21 XD,)(22 YD而而 dx

18、dyyxfxxYX),()(),cov(21 )(12121221 yx.2)()1(21exp2121211222dxdyxxy 例例6 設(shè)二維隨機(jī)變量設(shè)二維隨機(jī)變量),(),(2121 NYX求相關(guān)系數(shù)求相關(guān)系數(shù).XY 解解 令令,1111222 xyt,11 xu那么有那么有 tuYX2211(21),cov( dtdueutu2/ )(22122) dtedueutu22221222 例例6 設(shè)二維隨機(jī)變量設(shè)二維隨機(jī)變量),(),(2121 NYX求相關(guān)系數(shù)求相關(guān)系數(shù).XY 解解 那么有那么有),cov(YX dtedueutu22221222 dtteduuetu222212221

19、,22221 即有即有,),cov(21 YX于是于是.)()(),cov( YDXDYXXY注注: 從本例的結(jié)果可見從本例的結(jié)果可見, 二維正態(tài)隨機(jī)變量二維正態(tài)隨機(jī)變量,(X)Y的分布完全由的分布完全由X和和Y各自的數(shù)學(xué)期望、各自的數(shù)學(xué)期望、方差以及方差以及它們的相關(guān)系數(shù)所確定它們的相關(guān)系數(shù)所確定. 此外此外, 易見有結(jié)論易見有結(jié)論:假設(shè)假設(shè)),(YX服從二維正態(tài)分布服從二維正態(tài)分布, 那么那么X與與Y相互獨(dú)立相互獨(dú)立,當(dāng)且僅當(dāng)當(dāng)且僅當(dāng)X與與Y不相關(guān)不相關(guān).五、矩的概念五、矩的概念定義定義 設(shè)設(shè)X和和Y為隨機(jī)變量，為隨機(jī)變量，lk,為正整為正整數(shù)，數(shù)，)(kXE為為k階原點(diǎn)矩階原點(diǎn)矩 (簡稱

20、簡稱k階矩階矩);)(kXEXE 為為k階中心矩階中心矩)(kXE為為k階絕對原點(diǎn)矩；階絕對原點(diǎn)矩；)(kXEXE 為為k階絕對中心矩；階絕對中心矩；稱稱)(tkYXE為為X和和Y的的lk 階混合矩階混合矩;)()(tkYEYXEXE 為為X和和Y的的lk 混合中心矩混合中心矩.注注: 由定義可見：由定義可見：(1)X的數(shù)學(xué)期望的數(shù)學(xué)期望)(XE是是X的一階原點(diǎn)矩；的一階原點(diǎn)矩；(2)X的方差的方差)(XD是是X的二階中心矩；的二階中心矩；(3) 協(xié)方差協(xié)方差),(YXCov是是X與與Y的二階混合中的二階混合中心矩心矩.完完六、協(xié)方差矩陣六、協(xié)方差矩陣將二維隨機(jī)變量將二維隨機(jī)變量),(21XX

21、的四個二階中心矩的四個二階中心矩,)(21111XEXEc ,)(22222XEXEc ),()(221112XEXXEXEc ).()(112221XEXXEXEc 排成矩陣的方式：排成矩陣的方式： 22211211cccc對稱矩陣對稱矩陣稱此矩陣為稱此矩陣為),(21XX的協(xié)方差矩陣的協(xié)方差矩陣.類似定義類似定義n維隨機(jī)變量維隨機(jī)變量),(21nXXX的協(xié)方差的協(xié)方差矩陣矩陣. 假設(shè)假設(shè)),cov(jiijXXc njiXEXXEXEjjii, 2 , 1,)()( 都存在，都存在， nnnnnncccccccccC212222111211為為),(21nXXX的協(xié)方差矩陣的協(xié)方差矩陣.完

22、完稱稱六、六、n維正態(tài)分布的概率密度與性質(zhì)維正態(tài)分布的概率密度與性質(zhì)先思索二維正態(tài)分布的概率密度，先思索二維正態(tài)分布的概率密度，再將其推行到再將其推行到n維情形維情形. 二維正態(tài)隨機(jī)向量二維正態(tài)隨機(jī)向量),(21XX的概率密度為的概率密度為 2222211111211122)1(21221121 xxxxe),(21xxf記記,21 xxX,21 協(xié)方差矩陣協(xié)方差矩陣,22211211 ccccC易驗(yàn)算易驗(yàn)算)()(1 XCXT,22211211 ccccC易驗(yàn)算易驗(yàn)算)()(1 XCXT故二維正態(tài)隨機(jī)向量故二維正態(tài)隨機(jī)向量),(21XX的概率密度可用矩陣的概率密度可用矩陣表示為表示為),(2

23、1xxfexp)2(12/12/2C )()(211 XCXT其中其中TX)( 是是)( X的轉(zhuǎn)置的轉(zhuǎn)置.進(jìn)一步，進(jìn)一步，向量，向量， 假設(shè)它的概率密度為假設(shè)它的概率密度為設(shè)設(shè)),(21nTXXXX 是一個是一個n維隨機(jī)維隨機(jī)假設(shè)它的概率密度為假設(shè)它的概率密度為設(shè)設(shè)),(21nTXXXX 是一個是一個n維隨機(jī)向量，維隨機(jī)向量，),(21nxxxfexp)2(12/12/Cn )()(211 XCXT那么稱那么稱X服從服從n維正態(tài)分布維正態(tài)分布.其中，其中，C是是),(21nXXX的協(xié)方差矩陣，的協(xié)方差矩陣，C是它的行列式，是它的行列式，1 C表示表示C的逆矩陣，的逆矩陣，X和和 是是n維列向量，維列向量， 而而TX)( 是是)( X的轉(zhuǎn)置的轉(zhuǎn)置.完完n維正態(tài)分布的幾條重要性質(zhì)維正態(tài)分布的幾條重要性質(zhì)1.n維正態(tài)變量維正態(tài)變量),(21nXXX的每一個分量的每一個分量), 2 , 1(niXi 都是正態(tài)變量，都是正態(tài)變量，反之，反之，假設(shè)假設(shè),21XX2.n維正態(tài)變量維正態(tài)變量),(21nXXX服從服從n維正態(tài)維正態(tài)分布的充要條件是分布的充要條件是nXXX,21恣意線性組合恣意線性組合nnXlXlXl 2211均服從一維正態(tài)分布均服從一維正態(tài)分布正態(tài)變量正態(tài)變量.都是都是nnX,nlll,21不全為不全為零零.其中其中3.假設(shè)假設(shè)),(21nXXX服從服從n維正態(tài)分布，