第四章 協(xié)方差及相關(guān)系數(shù) 矩及協(xié)方差矩陣2016

1、高等院校非數(shù)學(xué)類本科數(shù)學(xué)課程 大 學(xué) 數(shù) 學(xué)(四) 概率論與數(shù)理統(tǒng)計(jì) 腳本編寫(xiě)：孟益民 教案制作：孟益民第四章 數(shù)字特征理解數(shù)學(xué)期望概念，掌握它的性質(zhì)與計(jì)算。理解方差概念，掌握它的性質(zhì)與計(jì)算。掌握（01）分布，二項(xiàng)分布，泊松分布，正態(tài)正態(tài)分布，指數(shù)分布的數(shù)學(xué)期望與方差。掌握協(xié)方差、相關(guān)系數(shù)的概念及計(jì)算。了解矩、協(xié)方差矩陣的概念。 前面我們介紹了隨機(jī)變量的數(shù)學(xué)期望和方差，對(duì)于二前面我們介紹了隨機(jī)變量的數(shù)學(xué)期望和方差，對(duì)于二維隨機(jī)變量維隨機(jī)變量（X, Y），），我們除了討論我們除了討論X與與Y的數(shù)學(xué)期望和方的數(shù)學(xué)期望和方差以外，還要討論描述差以外，還要討論描述X和和Y之間關(guān)系的數(shù)字特征，這就是之間

2、關(guān)系的數(shù)字特征，這就是本講要討論的本講要討論的協(xié)方差和相關(guān)系數(shù)協(xié)方差和相關(guān)系數(shù)第四節(jié) 協(xié)方差及相關(guān)系數(shù)一、協(xié)方差二、相關(guān)系數(shù)三、矩第五節(jié) 矩、協(xié)方差矩陣定性的思考定性的思考 通常人們?cè)谘芯繂蝹€(gè)的隨機(jī)變量的時(shí)候, 并不關(guān)心它們的分布, 而是關(guān)心它們的數(shù)學(xué)期望和方差, 這也是因?yàn)榉植紨y帶了太多的信息, 很難給人們一個(gè)快捷的印象.而人們?cè)谘芯績(jī)蓚€(gè)隨機(jī)變量的關(guān)系的時(shí)候, 也不關(guān)心它們的聯(lián)合分布, 這是因?yàn)閿y帶了更多信息的內(nèi)容. 人們關(guān)心的是, 這兩個(gè)隨機(jī)變量是聯(lián)系非常緊密呢? 還是毫無(wú)關(guān)系?即相互獨(dú)立? 人們希望用一個(gè)數(shù)字就能夠在相當(dāng)程度上描述兩個(gè)隨機(jī)變量的聯(lián)系程度. 當(dāng)然, 從數(shù)學(xué)上看, 這是不可能

3、的，因?yàn)槁?lián)合分布的信息量為許多個(gè)數(shù), 甚至無(wú)窮多個(gè)數(shù), 因此一個(gè)數(shù)不可能反映出無(wú)窮多個(gè)數(shù)攜帶的信息. 但是我們?nèi)匀幌Ｍ軌蛘业矫枋鏊鼈冎g相互關(guān)系的一個(gè)數(shù), 至少在大多數(shù)實(shí)際情況下能夠描繪兩個(gè)隨機(jī)變量聯(lián)系的緊密程度, 例如, 如果這個(gè)數(shù)字越接近于零, 說(shuō)明這兩個(gè)隨機(jī)變量的聯(lián)系越差, 越接近于相互獨(dú)立, 反之則聯(lián)系越緊密, 越接近于相互之間有關(guān)系.例如 這樣一些問(wèn)題都希望能夠用一個(gè)數(shù)字就表示出來(lái), 這就人們想到要用協(xié)方差和相關(guān)系數(shù)的原因.一個(gè)人的身高和體重是非常有關(guān)系的, 但是又并不完全是嚴(yán)格的函數(shù)關(guān)系, 那么關(guān)系程度究竟有多大呢?一個(gè)人的吸煙量和他的平均壽命是有關(guān)系的, 這個(gè)關(guān)系量又有多大呢?

4、一種化肥的施用量和農(nóng)作物的產(chǎn)量是有關(guān)系的, 這個(gè)關(guān)系的大小又是如何呢?一、協(xié)方差一、協(xié)方差D(X+ Y)=EX + Y -E(X + Y)2 =EX -E X + Y -E Y2 =E(X -EX)2+(Y -E Y)2+2(X -EX)(Y -E Y) =E(X -EX)2+E(Y -E Y)2+2E(X -EX)(Y -E Y) =DX +DY+2E(X -EX)(Y -E Y) 對(duì)于兩個(gè)隨機(jī)變量X 和Y 當(dāng)它們是完全相等的時(shí)候, 聯(lián)系是最緊密的了.而當(dāng)它們相互獨(dú)立的時(shí)候, 聯(lián)系是最差的了.我們先研究它們的和X +Y 的方差: 量EX-E(X)Y-E(Y)稱為隨機(jī)變量X與Y 的協(xié)方差協(xié)方差

5、.記為Cov(X,Y), 即 Cov(X,Y)=EX-E(X)Y-E(Y).定義定義1 1協(xié)方差的計(jì)算協(xié)方差的計(jì)算即相乘的均值減去均值的相乘. 其中EX和EY是通過(guò)邊緣分布計(jì)算的, 因此關(guān)鍵是如何計(jì)算E(XY).在已知兩個(gè)隨機(jī)變量X 和Y 的聯(lián)合分布的情況下怎樣計(jì)算它們的協(xié)方差Cov(X,Y)呢, Cov(X,Y)=E(X-EX)(Y-EY) =EXY-XEY-YEX+EXEY =E(XY)-EXEY-EYEX+EXEY =E(XY)-EXEY 對(duì)于離散型隨機(jī)變量, 假設(shè)X,Y 的概率函數(shù)為P(X=Xi,Y=yj)=pij, (i,j=1,2,.),則ijijjipyxE(XY) (x,y)d

6、ydxxyE(XY) 對(duì)于連續(xù)型隨機(jī)變量, 假設(shè)X,Y 的聯(lián)合概率密度為 , 則),(yx(1) Cov(aX, bY)=abCov(X,Y), a,b是常數(shù).(2)Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y).(3) CovX,Y=CovY,X, CovX,X=D(X). 對(duì)于任意兩個(gè)隨機(jī)變量X 和Y, 下列等式成立: D(X+Y)=D(X)+D(Y)+2Cov(X, Y). 由定義, 知協(xié)方差具有下述性質(zhì):Cov(X,Y)=E(XY)-E(X)E(Y)將Cov(X,Y)的定義式展開(kāi), 易得Cov(X,Y)=EX-E(X)Y-E(Y).隨機(jī)變量隨機(jī)變量和的方差與協(xié)方差的關(guān)

7、系和的方差與協(xié)方差的關(guān)系 D(X+Y)=DX+DY+2Cov(X, Y)當(dāng)X 和Y 相互獨(dú)立時(shí)相互獨(dú)立時(shí), 聯(lián)系最不緊密, 這時(shí)候Cov(X,Y)=0, 因此 D(X+Y)=DX +DY 而當(dāng)X=Y 時(shí), 聯(lián)系最緊密, 這時(shí)候 DX =DY =Cov(X,Y), 因此D(X +Y)=D(2X)=4DXCov(X,Y)=E(XY)-E(X)E(Y) 假設(shè)X,Y 的聯(lián)合概率函數(shù)如下表所示X Y01/31-101/121/301/60025/12003613012031212502010031061003111121311001)()()(E(XY)例1而X與Y 的邊緣分布及數(shù)學(xué)期望為:X-102P

8、5/121/65/12Y01/31P7/121/121/343222136131253613EXEYE(XY)Cov(X,Y)3613313611251210125 EY,EX則例2密度分別為相互獨(dú)立，它們的概率，設(shè)隨機(jī)變量YX ., 0, 0 ,其它xexfxX ., 0, 10 ,2其它yyyfY.3,YXXCov求由題設(shè)條件可得解解 01dxxeXEx 0211dxexXDx . 103 ,3,3,XDYXCovXXCovYXXCov. 0222kbkkbkNbkXYNX為常數(shù)，其中，則，若 xiN(0,1)(i=1,2,3), 并且x1,x2,x3相互獨(dú)立,., 33113123213

9、1xCovE),Cov(,)(,iiii求),N(,D,DEii3103131031則例3解解32313212222)E()E(iii3131312113111EE)E(),Cov(iiCov(X,Y)=E(XY)-E(X)E(Y)因此. 0 3122,Cov()()(iiiii因此,而相互獨(dú)立必互不相關(guān)也相互獨(dú)立,與則也相互獨(dú)立,與則相互獨(dú)立,與因此而它們都是正態(tài)分布,互不相關(guān),與即,E)E( )E() , (),N(,)(EEiiiiii03131cov32023232312而因二、相關(guān)系數(shù)與隨機(jī)變量的相關(guān)性二、相關(guān)系數(shù)與隨機(jī)變量的相關(guān)性 設(shè)隨機(jī)變量X 與Y 的方差均存在，并且均不為零，定

10、義定義2 2D(Y)D(X)Cov(X,Y)XY 則稱為隨機(jī)變量X 與Y 的相關(guān)系數(shù).D(Y)D(X)Cov(X,Y)XY Cov(X,Y)=E(XY)-E(X)E(Y)：相關(guān)系數(shù)具有以下性質(zhì). 0,. 1XYYX則相互獨(dú)立與若隨機(jī)變量. 1 . 2XY. 1 1. 3baXYPbaXY使，的必要條件是存在常數(shù). 0, 1, 0, 1 ,0,. 4aaabaXYXYXY則即的線性函數(shù)是如果隨機(jī)變量定義定義3 10.20;,1,1.XYXYXYXY設(shè)隨機(jī)變量 與 的相關(guān)系數(shù)為若，則稱 與 不相關(guān)若，則稱 與 相關(guān) 特別地 若則稱 與以概率 線性相關(guān) YDXDYXDYEXEXYEYXCovYX54

11、0 30,21不線性相關(guān)與相關(guān)系數(shù)刻劃了相關(guān)系數(shù)刻劃了X和和Y間間“線性相關(guān)線性相關(guān)”的程度的程度. .若若 =0， Y 與與 X 無(wú)線性關(guān)系無(wú)線性關(guān)系; Y與與X有嚴(yán)格線性關(guān)系有嚴(yán)格線性關(guān)系;, 1 若若若若 0| |1, | | 的值越接近于的值越接近于1, Y 與與 X 的線性相關(guān)程度越高的線性相關(guān)程度越高; ; | | 的值越接近于的值越接近于0, Y與與X的線性相關(guān)程度越弱的線性相關(guān)程度越弱. 結(jié)結(jié) 論論.,. 1不相關(guān)與則相互獨(dú)立與如果YXYXCov(X,Y)=E(XY)-E(X)E(Y). 2未必獨(dú)立、不相關(guān)時(shí)，與YXYX“X與與Y獨(dú)立獨(dú)立”和和“X與與Y不相關(guān)不相關(guān)”有何關(guān)系？

12、有何關(guān)系？例：例：othersxxyyxf , 010 , , 1),(E(X)=2/3E(Y)=0E(XY)=0=E(X)E(Y)Cov(X,Y)=0othersxxxfX , 010 ,2)( 0,0 1 ,110 ,1)(othersyyyyyfY因而 =0， 即即X和和Y不相關(guān)不相關(guān) .但X和Y不獨(dú)立不獨(dú)立 .設(shè)(X,Y )服從二維正態(tài)分布, 它的概率密度為 則可以證明X,Y 的相關(guān)系數(shù) XY 正好就是 , 即 XY=, 而且服從二維正態(tài)分布的隨機(jī)變量X,Y 相互獨(dú)立的充分必要條件是此相關(guān)系數(shù)為0.,)(y)(y(x)(x)(f(x,y)22222121212122212121exp1

13、21對(duì)服從二維正態(tài)分布的隨機(jī)向量（X，Y）而言，X與 Y 不線性相關(guān)與相互獨(dú)立是等價(jià)的.但對(duì)下述情形，獨(dú)立與不相關(guān)等價(jià)但對(duì)下述情形，獨(dú)立與不相關(guān)等價(jià): :前面，我們已經(jīng)看到前面，我們已經(jīng)看到： 若若 X 與與 Y 獨(dú)立，則獨(dú)立，則 X 與與Y不相關(guān)不相關(guān)，但由但由X與與Y不相關(guān)，不一定能推出不相關(guān)，不一定能推出X與與Y獨(dú)立獨(dú)立. .定義定義 設(shè)X 和Y 是隨機(jī)變量, 若E(Xk), k=1,2,.存在, 稱它為X 的k 階原點(diǎn)矩, 簡(jiǎn)稱k 階矩.若EX-E(X)k, k=1,2,.存在, 稱它為X 的k 階中心矩.三、矩三、矩若 E(XkYl), （ k,l=1,2,）存在, 稱它為X 和Y 的k+l 階原點(diǎn)混合矩.若 EX-E(X)kY-E(Y)l, k,l=1,2,.存在, 稱它為X 和Y 的k+l 階中心混合矩.因此, E(X)是X 的一階原點(diǎn)矩, D(X)是X 的二階中心矩, Cov(X,Y)是X 和Y 的二階中心混合矩.協(xié)方差矩陣協(xié)方差矩陣將二維隨機(jī)變量（X1,X2）的四個(gè)二階中心矩)(21111XEXEc)()(221112XEXXEXEc排成矩陣的形式排成矩陣的形式:)()(112221XEXXEXEc)(22222XEXEc稱