協(xié)方差與相關(guān)系數(shù)

協(xié)方差與相關(guān)系數(shù)對(duì)于二維隨機(jī)向量(X,Y)來(lái)說(shuō),數(shù)學(xué)期望E(X)、E(Y)只反映了X與Y各自的平均值,方差只反映了X與Y各自離開(kāi)均值的偏離程度,它們對(duì)X與Y之間相互關(guān)系不提供任何信息.但二維隨機(jī)向量(X,Y)的概率密度p(x,y)或分布列pij全面地描述了(X,Y)的統(tǒng)計(jì)規(guī)律,也包含有X與Y之間關(guān)系的信息.我們希望有一個(gè)數(shù)字特征能夠在一定程度上反映這種聯(lián)系.問(wèn)題的提出：2021/5/91二、相關(guān)系數(shù)的概念及性質(zhì)一、協(xié)方差的概念及性質(zhì)三、協(xié)方差的關(guān)系式2021/5/92定義：設(shè)二維隨機(jī)向量(X,Y)的數(shù)學(xué)期望(E(X),E(Y))存在,若E[(X-E(X))(Y-E(Y))]存在,則稱它為隨機(jī)變量X與Y的協(xié)方差,記為Cov(X,Y),即Cov(X,Y)=E[(X-E(X))(Y-E(Y))]協(xié)方差有計(jì)算公式Cov(X,Y)=E(XY)-E(X)E(Y)任意兩個(gè)隨機(jī)變量X與Y的和的方差為D(X+Y)=D(X)+D(Y)+2Cov(X,Y)§1協(xié)方差2021/5/93協(xié)方差的性質(zhì)1.2.a,b是常數(shù)3.4.2021/5/94定理:Cov(X,Y)=Cov(Y,X)證明

Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E[(Y-E(Y))(X-E(X))]=Cov(Y,X)定理:

Cov(aX,bY)=abCov(X,Y),a,b是常數(shù)證明

Cov(aX,bY)=E[(aX-E(aX))(bY-E(bY))]=E{[a(X-E(X))][b(Y-E(Y))]}=abE{[X-E(X)][Y-E(Y)]}=abCov(X,Y)2021/5/95定理:Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)證明Cov(X+Y,Z)=E{[(X+Y)-E(X+Y)][Z-E(Z)]=E{[(X-E(X))+(Y-E(Y))][Z-E(Z)]}=E{[X-E(X)][Z-E(Z)]+[Y-E(Y)][Z-E(Z)]}=E{[X-E(X)][Z-E(Z)]}+E{[Y-E(Y)][Z-E(Z)]}=Cov(X,Z)+Cov(Y,Z)2021/5/96協(xié)方差的數(shù)值在一定程度上反映了X與Y相互間的聯(lián)系,但它受X與Y本身數(shù)值大小的影響.如令X*=kX,Y*=kY,這時(shí)X*與Y*間的相互聯(lián)系和X與Y的相互聯(lián)系應(yīng)該是一樣的,但是Cov(X*,Y*)=k2Cov(X,Y)為了克服這一缺點(diǎn),在計(jì)算X與Y的協(xié)方差之前,先對(duì)X與Y進(jìn)行標(biāo)準(zhǔn)化:再來(lái)計(jì)算X*和Y*的協(xié)方差，這樣就引進(jìn)了相關(guān)系數(shù)的概念.2021/5/97定義:設(shè)二維隨機(jī)變量(X,Y)的方差D(X)>0,D(Y)>0,協(xié)方差Cov(X,Y)均存在,則稱為隨機(jī)變量X與Y的相關(guān)系數(shù)或標(biāo)準(zhǔn)協(xié)方差.§2相關(guān)系數(shù)2021/5/98引理:對(duì)于二維隨機(jī)向量(X,Y),若E(X2),E(Y2)存在,則有|E(XY)|2≤E(X2)E(Y2)證明:考慮實(shí)變量t的二次函數(shù)h(t)=E[(tX-Y)2]=t2E(X2)-2tE(XY)+E(Y2)因?yàn)閷?duì)一切t,有(tX-Y)2≥0,所以h(t)≥0.從而二次方程h(t)=0或者沒(méi)有實(shí)根,或者只有重根,因而，由二次方程根的判別式知識(shí)得|E(XY)|2≤E(X2)E(Y2)2021/5/99§2.1相關(guān)系數(shù)的性質(zhì)性質(zhì)1:隨機(jī)變量X和Y的相關(guān)系數(shù)滿足|ρXY|≤1.性質(zhì)2:

|ρXY|=1的充要條件是,存在常數(shù)a,b使得P{Y=a+bX}=1.性質(zhì)3:若X與Y相互獨(dú)立,則ρXY=0.2021/5/910性質(zhì)1:隨機(jī)變量X和Y的相關(guān)系數(shù)滿足|ρXY|≤1.證明令則從而|ρXY|≤1.2021/5/911性質(zhì)2:|ρXY|=1的充要條件是,存在常數(shù)a,b使得

P{Y=aX+b}=1證明令由ρXY2=[E(X*Y*)]2≤E(X*)E(Y*)=1知|ρXY|=1等價(jià)于[E(X*Y*)]2-E(X*)E(Y*)=0它又等價(jià)于h(t)=E[(tX*-Y*)2]=0有重根t0.又因?yàn)镋(t0X*-Y*)=t0E(X*)-E(Y*)=0所以D(t0X*-Y*)=0,由方差的性質(zhì)知它等價(jià)于P{t0X*-Y*

=0}=1,即P{Y=aX+b}=1其中a=t0σ(Y)/σ(X),b=E(Y)-t0E(X)

σ(Y)/σ(X).2021/5/912性質(zhì)3:若X與Y相互獨(dú)立,則ρXY=0.證明若X與Y相互獨(dú)立,則E(XY)=E(X)E(Y),又Cov(X,Y)=E(XY)-E(X)E(Y),所以2021/5/913§2.2相關(guān)系數(shù)的含義考慮以X的線性函數(shù)a+bX來(lái)近似表示Y.以均方誤差e=E{[Y-(a+bX)]2}=E(Y2)+b2E(X2)+a2-2bE(XY)+2abE(X)-2aE(Y)來(lái)衡量以a+bX近似表達(dá)Y的好壞程度.e的值越小表示a+bX與Y的近似程度越好.為此令從而得解得2021/5/914相關(guān)系數(shù)只是隨機(jī)變量間線性關(guān)系強(qiáng)弱的一個(gè)度量.當(dāng)|ρXY|=1時(shí),說(shuō)明X與Y間存在著線性關(guān)系(除去一個(gè)零概率事件以外).當(dāng)|ρXY|<1時(shí),這種線性相關(guān)程度隨著ρXY的減小而減弱.定義:(1)當(dāng)ρXY=1時(shí),稱X與Y正線性相關(guān);(2)當(dāng)ρXY=-1時(shí),稱X與Y負(fù)線性相關(guān);(3)當(dāng)ρXY=0時(shí),稱X與Y不相關(guān).注:(1)X與Y不相關(guān),只是意味著X與Y不線性相關(guān),但可能存在著別的函數(shù)關(guān)系;(2)若ρXY存在,則當(dāng)X與Y獨(dú)立時(shí),X與Y一定不相關(guān);但X與Y不相關(guān)時(shí),X與Y不一定獨(dú)立.2021/5/915oXYoooXXXYYY0<ρ<1-1<ρ<0ρ=1ρ=-1相關(guān)情況示意圖2021/5/916證由協(xié)方差的定義及數(shù)學(xué)期望的性質(zhì)，得定理:§3協(xié)方差的關(guān)系式2021/5/917證由方差公式及協(xié)方差的定義，得定理:2021/5/918YX-10100.07