概率論與數(shù)理統(tǒng)計(jì)課件-第四章

除了

X

與

Y

的描述

X

與

Y

之間對(duì)于二維隨量（X,Y）,數(shù)學(xué)期望和方差以外，還需相互關(guān)系的數(shù)字特征。4.4.1

協(xié)方差及相關(guān)系數(shù)如果兩個(gè)隨量X和Y是相互獨(dú)立的，則E{

[

X-E(X)]

[Y-E(Y)

]

}=0這意味著當(dāng)E{[X-E(X)][Y-E(Y)]}0時(shí)，X、Y不相互獨(dú)立，而是存在著一定的關(guān)系。定義

對(duì)二維隨 量(X,Y),量

E{

[

X-E(X)]

[

Y-E(Y)

]

}稱為隨 量

X與

Y

的協(xié)方差(covariance),記為Cov(X

,Y

).即Cov(X,Y

)=

E{[X-E(X)][

Y-E(Y)

]}若

0

D(

X

)

,0

D(Y

)

,Cov(

X

,Y

)D(

X

)

D(Y

)XY

稱為隨 量X與Y

的相關(guān)系數(shù)(correlation

coefficient)XY

是一個(gè)無(wú)量綱的量。對(duì)二維離散型隨 量（X

,Y）有

E(Y

)]

pij

Cov(

X

,Y

)

[

xi

E(

X

)][

y

ji

1

j1對(duì)二維連續(xù)型隨 量（X,

Y）有f(d,x)Y

(

)]

,(([))][Cov

X

Y

由數(shù)學(xué)期望和方差的性質(zhì)得到D(

X

Y

)

D(

X

)

D(Y

)

2Cov(

X

,Y

)Cov(

X

,Y

)

E(

XY

)

E(

X

)E(Y

)協(xié)方差具有下述性質(zhì):12Cov(

X

,Y

)

Cov(Y

,

X

)Cov(aX

,bY

)

abCov(

X

,Y

)Cov(

X1

X2

,Y

)

Cov(

X1

,Y

)

Cov(

X2

,Y

)3例

1

設(shè)（X,Y）的聯(lián)合分布律為XY0101-p010p0<p<1,求Cov(X,Y)和XY

.E(

X

)

p,

D(

X

)

p(1

p),

同理

E(Y

)

p,

D(Y

)

p(1

p)于是Cov(

X

,Y

)

E(

XY

)

E(

X

)E(Y

)

p

p2

p(1

p)解：易知

X

的分布律為PX

1

p,

PX

0

1

pp(1

p)p(1

p)D(Y

)D(

X

)Cov(

X

,Y

)

p(1

p)XY

1E(

XY

)

p,而E(

X

)

g(

)

f

(

)d

21

sind

0E(Y

)

)d

21

cosd

0h(

)

f

(例2：設(shè)

服從[

,

]上的均勻分布，又X

sin

，Y

cos求Cov(X

,Y

),XY

。解

由題意有

1f

(

)

2

,

0，其它

2E(

XY

)

1

sin

cosd

0E(Y

2

)

221

cos2

d

11h

(

)

f

(

)d

g2

(

)

f

(

)d

E(

X

2

)

221

sin2

d

1Cov(

X

,Y

)

E(

XY

)

E(

X

)E(Y

)

0因

0Cov(

X

,Y

)D(

X

)

D(Y

)XY

得相關(guān)系數(shù)

XY

也是表征隨 量

X、Y

之間線性關(guān)系緊密程度的量，具有下述性質(zhì)（1）如果隨量

X、Y

相互獨(dú)立，

則

XY

0

E{[

X

E(

X

)][aX

b

aE(

X

)

b]}D(

X

)

a2

D(

X

)D(

X

)

D(Y

)

E{[

X

E(

X

)][Y

E(Y

)]}XY（2）若Y

aX

b(a

0)，則

XY

1。事實(shí)上，由Y

aX

b,

E(Y

)

aE(

X

)

b，D(Y

)

a2

D(X

)得a

D(

X

)

a

1，

a

0

aE{[

X

E(

X

)]2

}

a

1,a

0當(dāng)XY

1,則稱Ｘ與Ｙ正相關(guān)；當(dāng)XY

1時(shí)為負(fù)相關(guān)。

XY(3)E[X

E(X

)

Y

E(Y

)]2

0

有D(

X

)

D(Y

)事實(shí)上，由E[

X

E(

X

)

Y

E(Y

)]2D(

X

)

D(Y

)E(

X

)][Y

E(Y

)]D(

X

)

D(Y

)2D(Y

)Y

E(Y

)

[ ]

}2D(

X

)X

E(

X

)

[

X

E{[

]

2E[Y

E(Y

)]2E[

X

E(

X

)]2D(Y

)E[

X

E(

X

)][Y

E(Y

)]D(

X

)

D(Y

)

2D(

X

)

D(

X

)

2D(

X

)即XYD(Y

)

D(Y

)

2

2

0XY

1

XY若0

D(X

)

,0

D(Y

)

以下四個(gè)結(jié)論彼此等價(jià)(1)

0XYCov(

X,Y

)

0E(

XY

)

E(

X

)E(Y

)D(X

Y)

D(X)

D(Y)通常將適合XY

0的隨量X

與Y

稱為互不相關(guān)（alienation）.由相關(guān)系數(shù)的性質(zhì)（1）可知，如果X與Y互相獨(dú)立，則它們亦互不相關(guān).但是：上述命題之逆不真.例

0,

1

,f

(

x,

y)

y2

1

y2

1x2x2

12f易知X,Y的邊緣概率密度設(shè)二維隨量（Ｘ，Ｙ）的概率密度為,

y

12 1

y2f

(

x,

y)dx

11

y21

y2

dxYf

(

y)

因?yàn)?/p>

f

(

x,

y)

f

X

(

x)

fY

(

y)故Ｘ與Ｙ不獨(dú)立。另一方面，易知E(X)=E(Y)=0上述情況，“不相關(guān)”和“相互獨(dú)立”是不等價(jià)的，這是因?yàn)椴幌嚓P(guān)只是就線性關(guān)系來(lái)說(shuō)的,而相互獨(dú)立是就一般關(guān)系而言的。不過(guò)從下面例子可以看到，當(dāng)（X,Y)服從二維正態(tài)分布時(shí)，X

與Y

不相關(guān)與相互獨(dú)立是等價(jià)的。x2

y2

1xy

1

0而

Cov(

X

,Y

)

E(

XY

)

XY從而

0

,

X

與

Y

不相關(guān)。exp1f

(

x,

y)

1

22

1

2221

221

[

1

2

1

2

2

]2(1

2

)

(

y

)2

(

x

)(

y

)

1 (

x

)2例３：設(shè)(X

,Y

)服從二維正態(tài)分布，它的概率密度為求X

與Y

的相關(guān)系數(shù)XY

。e

, -

x

f

(

x,

y)dy

(

x

)2Xf

(

x)

12112

21e

, -

y

f

(

x,

y)dx

(

y

)2Yf

(

y)

222

22解 由前述知道(

X

,Y

)的邊緣概率密度為,

E(Y

)

22,

D(Y

)

.212

,

D(

X

)

1E(

X

)

于是

(

x

1

)212

2211

21

2

2

(

x

)(

y

)e1dxdy

2

1

1

[

y2

x1

]2

e2(1

2

)1

2

1

令t

1

(

y

2

x

1

x

11

2

),

u

而Cov(X

,Y

)21(

x

)(

y

)

f

(

x,

y)dxdy

u2

t

2Cov(

X

,Y

)

2dtdu21

22

21

2(

1

tu

u

)e21((

1

222222

t

2

u2

u2te

2

dt

)ue

du)(

1

2

1

2

2u

e

du)(

t

2t

e

2

dt

)

2

2

1

22

1

2

Cov(

X

,Y

)D(

X

)

D(Y

)XY于是可見(jiàn)二維正態(tài)隨

量（X,Y）的概率密度的參數(shù)就是

X

與

Y

的相關(guān)系數(shù)。因而二維正態(tài)隨量的分布完全可由

X、

Y

的各自的數(shù)學(xué)期望、方差以及它們的相關(guān)系數(shù)所確定。由前面

可知，

若（X，Y）服從二維正態(tài)分布那么

X

和

Y

相互獨(dú)立的充要條件為

0，現(xiàn)在還知道

XY故知對(duì)于二維正態(tài)隨

量（X,Y）來(lái)說(shuō)X

與

Y

不相關(guān)與

X

和

Y

相互獨(dú)立是等價(jià)的。下面 來(lái)說(shuō)明相關(guān)系數(shù)的統(tǒng)計(jì)含義：例如， 二維隨 量（X

，Y）,其含義分別為Y

燈泡某原件的質(zhì)量X

燈泡的YX),(下面

來(lái)

X

與

Y之間的聯(lián)系。為此作了n次試驗(yàn)，得到n

組實(shí)驗(yàn)數(shù)據(jù)：(

x1

,

y1

), (

x2

,

y2

),

, (

xn

,

yn

)在xoy平面上描出這些點(diǎn)，若是下述幾種情況，用數(shù)據(jù)點(diǎn)的分布來(lái)說(shuō)明這關(guān)系：oxyX、Y

是相互不關(guān)聯(lián)的，即該原件的質(zhì)量對(duì)產(chǎn)品的不發(fā)生影響。oxy介于上述二者之間，即X

與Y有一定的線性關(guān)聯(lián)性，但較第一種弱。oxyX

、Y

是線性關(guān)聯(lián)的，即該原件的質(zhì)量直接影響的產(chǎn)品的壽命。nk

1(y

ax

b)2來(lái)刻劃k

k可以用數(shù)量關(guān)系：min

1

nX與Y

之間線性關(guān)系的程度，式中極小值是對(duì)a

和b而取的；上式值越小，表明各點(diǎn)的偏離直線y=ax+b程度越小，進(jìn)而X與Y

的線性關(guān)系越強(qiáng)；反之,則線性關(guān)系較弱。e

E[Y

(aX

b)]2

E(Y

2

)

a2

E(

X

2

)

b2

2aE(

XY

)

2abE(

X

)

2bE(Y

)來(lái)衡量

以

aX+b

近似表達(dá)

Y

的好壞程度,

e的值越小表示

X

與

Y之間的線性關(guān)系越強(qiáng)，即

aX+b與Y的近似程度越好。對(duì)于二維隨

量（X,Y），用均方誤差這樣， 就取a、b

使

e取到最小下面就來(lái)求最佳近似式aX+b中的a,b為此，

將

e=e

(a,b)

對(duì)

a, b

求偏導(dǎo),并令其為零，得

ae

2aE(

X

2

)

2E(

XY

)

2bE(

X

)

0

e

bb

aE

E(X2Y22)(0解得D(

X

)a

Cov(

X

,Y

)0D(

X

)0

0Cov(

X

,Y

)

b

E(Y

)

a

E(

X

)

E(Y

)

E(

X

)

(1

2XY20

0min0

0)D(Y

)e

e(a

,b

)

E{[Y

(a X

b

)]

}于是得)D(Y

)

(1

2XYmin由式e可以看出，均方誤差

e

是

XY的嚴(yán)格單調(diào)減函數(shù)，于是，相關(guān)系數(shù)的含義就明顯了。XY較大，則

e

較小，

表明

X

、Y線性相關(guān)的程度較好，特別，有XY

0

XYXYXY

0X與Y

之間是Y=aX+b的線性關(guān)系X與Y

有一定程度的線性關(guān)系X與Y

線性相關(guān)程度較差X與

Y

沒(méi)有線性關(guān)系，即

X

與

Y不相關(guān)使E[Y

(aX

b)]2

取最小值的直線方程為y

ax

b

Cov(

X

,Y

)

x

E(Y

)

Cov(

X

,Y

)

E(

X

)D(

X

)

D(

X

)D(Y

)

D(

X

)x

E(

X

)y

E(Y

)

XY或說(shuō)明該直線通過(guò)（E(X),E(Y)），通常稱之為Y關(guān)于X的回歸直線.4.4.2

矩量(以下假設(shè)各隨

量定義

設(shè)

X

和

Y

是隨的期望均存在）（1）稱

E(

X

k

)(k

1,2,)為X

的k

階原點(diǎn)矩，簡(jiǎn)稱k階矩(kth

moment)。（2）稱1,(E{[

X

E(

X

)]k

}

k

為X

的k

階中心矩(kthcentral

moment)。（3）稱(k,

l

1,2,)E(

X

kY

l

)為

X

、Y的

k+l

階混合矩。(k

1,2,)E{[

X

E(

X

)]k

[Y

E(Y

)]l

}（4）稱為

X

、Y的

k+l

階混合中心矩。顯然，E(X)是X

的一階原點(diǎn)矩，D(X)是X

的二階中心矩，Cov(X,Y)是X、Y

的二階混合中心矩。將它們寫(xiě)成矩陣的形式：1211C21

C22

C

CC

E(

X1

)]

2

C11

E[

X14.4.3

協(xié)方差矩陣二維隨

量

(

X1

,

X

2

)有四個(gè)二階中心矩(設(shè)它們都存在)，分記為222

2

2

E[

X

E(

X

)]

E(

X

)]

E(

X1

)][

X2C

E[

X12

1

221

2

2

1

1C

E[

X

E(

X

)][

X

E(

X

)]

C稱此矩陣為隨量(X1

,X2

)的協(xié)方差矩陣（covariance

matrix）設(shè)

n維隨

量

2

,,

Xn

)

的二階混合中心矩Cij

Cov(

Xi

,

X

j

)

E{[

Xi

E(

Xi

)][

X

j

E(

X

j

)]}i,

j

1,2,,

n都存在,

則稱矩陣

C

為

n維隨

量

2

,,

Xn

)的協(xié)方差矩陣。其中矩陣C

為21

22

n1

n

2

nn

2n

CCCC1n

C11

C12CC

C

C

ij

ji由于

,1(,,2j,,i)cin

因而上述矩陣是一個(gè)對(duì)稱矩陣（symmetric

matrix）一般來(lái)說(shuō)，n

維隨

量的分布式不知道的，或者是復(fù)雜，以致在數(shù)學(xué)上不易處理的，因此在實(shí)際應(yīng)用中方差矩陣就顯得更重要了。。下面介紹

n

維正態(tài)隨

量的概率密度

先將二維正態(tài)隨

量的概率密度改寫(xiě)成另一種形式，以便將它推廣到

n

維隨

量的場(chǎng)合中去。二維正態(tài)隨量(X1

,X

2

)的概率密度為exp1f

(

x1

,

x2

)

1

22

1

222

2

2

]21

1

2

)(2)

[

1

1

2

1

1

22

)(1

(

x

)(

1

x

)(2現(xiàn)在將上式中花括號(hào)內(nèi)的式子寫(xiě)成矩陣形式，為此引入下面的列矩陣

2

x

X

x1

2

1

221

21

2212221

1211

C

CC

CC

C

1

(1

)2

2

22它的行列是C

1

21 2

11

21

C

22它的逆矩陣為(X1

,X2

)的協(xié)方差矩陣為(

X

)T

C

1

(

X

)

1

1

(22

111

2

x

C)(22

22

]2121[

11

2

2

)1(

1

x

)(2

(

)(2)于是(X1

,X

2

)的概率密度可寫(xiě)成)(

CXX

)(T

112122212

1(2)

Cfx(x,)

exp推廣到n維正態(tài)隨

量的情況.21

E(

X1

)引入列矩陣

n

x

x

X

2

x1

22

n

n

E(

X

)

E(

X

)

1

n維正態(tài)隨

量(n

)的概率密度定義為

expT

CX1X21

()()

112n

2(2)

C21

2nf

其中，C是的協(xié)方差矩陣n維隨

量有以下三條重要性質(zhì)：21

21

21

,,

ln

Xn(1)

n維隨

量充要條件是l1

X1

l2

X2服從n維正態(tài)分布的任意的線性組合服從一維正態(tài)分布(其中l(wèi)1

,l2

,,ln不全為零)。(3)

設(shè)從ｎ維正態(tài)分布，則n

兩兩不相關(guān)是等價(jià)的.21

相互獨(dú)立與n211

2

k(2)

若

服從

n維正態(tài)分布，設(shè)

Y

,Y

,,Y是X

j

(j

1,2,,n)線性函數(shù)，則(Y1

,Y2

,,Yk

)也服從正態(tài)分布。（此為正態(tài)變量的線性變換不變性）1、 設(shè)二維隨 量（X，Y）服從二維正態(tài)分布，則

X

Y

,

X

Y

不相關(guān)的充分條件為E(

X

)

E(Y

)E(

X

2

)

[E(

X

)]2

E(Y

2

)

[E(Y

)]2E(

X

2

)

E(Y

2)D

()[(2

)]2

()[(2

EEEXE)X]2習(xí)題2、設(shè)(

X

,Y

)

~

N

(

,

,

2

,

2

,

)，則（X，Y）的協(xié)方1

2

1

2差矩陣為 ，X

與

Y

相互獨(dú)立，當(dāng)且僅當(dāng)3、設(shè)隨

量X

和Y

獨(dú)立，且X

服從均值為1，標(biāo)準(zhǔn)差為2

的正態(tài)分布，且

Y

服從標(biāo)準(zhǔn)正態(tài)分布，則

Z

2X

Y

3的概率密度為4、設(shè)二維隨

量（X,Y）的密度函數(shù)為21

2f

(

x,

y)

1[

(

x,

y)

(

x,

y)]其中1

(x,y),2

(x,y)都是二維正態(tài)密度函數(shù)，且它們對(duì)應(yīng)的二維隨

量的相關(guān)系數(shù)分別為

1

和

1

，它們的3

3邊緣密度函數(shù)所對(duì)應(yīng)的隨

量的數(shù)學(xué)期望都是零，方差是

1.

則

fX

(

x)=

，

fY

(

y)=，

XY

=5、已知（X，Y）的聯(lián)合分布律為YX-101-11/81/81/801/801/811/81/81/8驗(yàn)證X

與Y

是不相關(guān)的，但X

與Y

不是相互獨(dú)立的6、設(shè)隨量（X，Y）具有概率密度0,其他1,

y

x,0

x

1f

(

x,

y)

求E(X

),E(Y

),cov(X

,Y

)7、設(shè)有n

個(gè)人參加一個(gè)聚會(huì)，每人帶一件禮品，后放在一處，再做n

個(gè)記號(hào)（1，2，…，n），由每人隨機(jī)的抽取，然后對(duì)號(hào)領(lǐng)取禮品，記X

為領(lǐng)到自己禮品的人數(shù)，求X

的數(shù)學(xué)期望和方差。8、設(shè)隨量（X，Y）的概率密度為01

(

x

y),0

x

2,0

y

2,f

(

x,

y)

8,

其他求E(

X

),

E(Y

),cov(

X

,Y

),

,

D(

X

Y

)XY9、已知隨量X，Y，Z，E(X

)

E(Y

)

1,E(Z

)

121，2DXDYDZ()()()01,,YZXY

XZ

1

,

求E(X

Y

Z

),D(X

Y

Z

)10、設(shè)二維隨量（

X，

Y

）的聯(lián)合密度為

1

,

x2

y2

1f

(

x,

y)

0,

x2

y2

1分別求X

與Y

的數(shù)學(xué)期望和方差；求X

與Y

的協(xié)方差與相關(guān)系數(shù)；問(wèn)X

與Y

是否相關(guān)，是否獨(dú)立11、已知隨量

X

與

Y

分別服從N

(1,32

),

N

(0,4)2

，且相關(guān)系數(shù)XY

1，設(shè)Z

X

Y2

3

2求：（1）E（Z），D（Z）

（2）XZ12、在長(zhǎng)為

a

的線段上任取兩點(diǎn)，求兩點(diǎn)間距離的數(shù)學(xué)期望和方差。13、對(duì)于兩個(gè)隨

量V，W，若E(V

2),

E(W

2)存在證明[E(VW

)]2

E(V

2

)E(W

2

)。這一不等式稱為

—

（Cauchy—Schwarz）不等式14、Suppose

that

X

and