第一章多元正態(tài)分布

2023/2/41第一章多元正態(tài)分布目錄上頁(yè)下頁(yè)返回結(jié)束§1.1多元分布的基本概念§1.2統(tǒng)計(jì)距離和馬氏距離§1.3多元正態(tài)分布§1.4均值向量和協(xié)方差陣的估計(jì)§1.5常用分布及抽樣分布2023/2/42一元正態(tài)分布在統(tǒng)計(jì)學(xué)的理論和實(shí)際應(yīng)用中都有著重要的地位。同樣，在多變量統(tǒng)計(jì)學(xué)中，多元正態(tài)分布也占有相當(dāng)重要的位置。原因是：許多隨機(jī)向量確實(shí)遵從正態(tài)分布，或近似遵從正態(tài)分布；對(duì)于多元正態(tài)分布，已有一整套統(tǒng)計(jì)推斷方法，并且得到了許多完整的結(jié)果。目錄上頁(yè)下頁(yè)返回結(jié)束2023/2/43多元正態(tài)分布是最常用的一種多元概率分布。除此之外，還有多元對(duì)數(shù)正態(tài)分布，多項(xiàng)式分布，多元超幾何分布，多元分布、多元分布、多元指數(shù)分布等。本章從多維變量及多元分布的基本概念開始，著重介紹多元正態(tài)分布的定義及一些重要性質(zhì)。目錄上頁(yè)下頁(yè)返回結(jié)束2023/2/44§1.1多元分布的基本概念目錄上頁(yè)下頁(yè)返回結(jié)束§1.1.1隨機(jī)向量§1.1.2分布函數(shù)與密度函數(shù)§1.1.3多元變量的獨(dú)立性§1.1.4隨機(jī)向量的數(shù)字特征2023/2/45§1.1.1隨機(jī)向量表示對(duì)同一個(gè)體觀測(cè)的個(gè)變量。若觀測(cè)了個(gè)個(gè)體，則可得到如下表1-1的數(shù)據(jù)，稱每一個(gè)個(gè)體的個(gè)變量為一個(gè)樣品，而全體個(gè)樣品形成一個(gè)樣本。目錄上頁(yè)下頁(yè)返回結(jié)束假定所討論的是多個(gè)變量的總體，所研究的數(shù)據(jù)是同時(shí)觀測(cè)個(gè)指標(biāo)（即變量），又進(jìn)行了次觀測(cè)得到的，把這個(gè)指標(biāo)表示為常用向量2023/2/46

橫看表1-1，記，

它表示第個(gè)樣品的觀測(cè)值。豎看表1-1,第列的元素表示對(duì)第個(gè)變量的n次觀測(cè)數(shù)值。下面為表1-1…n

…2…1…變量序號(hào)目錄上頁(yè)下頁(yè)返回結(jié)束2023/2/47因此,樣本資料矩陣可用矩陣語言表示為:目錄上頁(yè)下頁(yè)返回結(jié)束注：若無特別說明，本書所稱向量均指列向量定義1.1

設(shè)為p個(gè)隨機(jī)變量，由它們組成的向量稱為隨機(jī)向量。2023/2/48

§1.1.2分布函數(shù)與密度函數(shù)描述一維隨機(jī)變量的最基本工具是分布函數(shù)，類似地描述隨機(jī)向量的最基本工具還是分布函數(shù)。目錄上頁(yè)下頁(yè)返回結(jié)束定義1.2

設(shè)是一隨機(jī)向量，它的多元分布函數(shù)是式中：2023/2/49目錄上頁(yè)下頁(yè)返回結(jié)束定義1.3：設(shè)=,若存在一個(gè)非負(fù)函數(shù)

,使得對(duì)一切成立，則稱

（或

）有分布密度

并稱

為連續(xù)型隨機(jī)向量。2023/2/410§1.1.3多元變量的獨(dú)立性目錄上頁(yè)下頁(yè)返回結(jié)束定義1.4：兩個(gè)隨機(jī)向量

和

稱為是相互獨(dú)立的，若注意:在上述定義中，和的維數(shù)一般是不同的。若有密度

，用分別表示

和的分布密度，則

和

獨(dú)立當(dāng)且僅當(dāng)

(1.5)2023/2/411§1.1.4隨機(jī)向量的數(shù)字特征是一個(gè)p維向量，稱為均值向量.目錄上頁(yè)下頁(yè)返回結(jié)束當(dāng)為常數(shù)矩陣時(shí)，由定義可立即推出如下性質(zhì)：)(????éPPm)()（1.6）.)(

)((2121μX=úúúúùêêêêé=úúúúùêêêê=XEXEXEEmm1、隨機(jī)向量X的均值設(shè)有P個(gè)分量.若

存在，我們定義隨機(jī)向量X的均值為:2023/2/412目錄上頁(yè)下頁(yè)返回結(jié)束2、隨機(jī)向量

自協(xié)方差陣則稱Σ為X的自協(xié)方差陣2023/2/413目錄上頁(yè)下頁(yè)返回結(jié)束3、隨機(jī)向量X和Y的協(xié)差陣當(dāng)A、B為常數(shù)矩陣時(shí)，由定義可推出協(xié)差陣有如下性質(zhì)：設(shè)分別為n維和p維隨機(jī)向量，它們之間的協(xié)方差陣定義為一個(gè)n×p矩陣，其元素為

稱X和Y是不相關(guān)的。2023/2/414目錄上頁(yè)下頁(yè)返回結(jié)束（3）設(shè)X為維隨機(jī)向量，期望和協(xié)方差存在記則對(duì)于任何隨機(jī)向量

來說，其協(xié)差陣∑都是對(duì)稱陣，同時(shí)總是非負(fù)定（也稱半正定）的。大多數(shù)情形下是正定的。2023/2/415目錄上頁(yè)下頁(yè)返回結(jié)束4、隨機(jī)向量X的相關(guān)陣若隨機(jī)向量的協(xié)差陣存在,且每個(gè)分量的方差大于零，則X的相關(guān)陣定義為:

也稱為分量

與

之間的（線性）相關(guān)系數(shù)。2023/2/416在數(shù)據(jù)處理時(shí)，為了克服由于指標(biāo)的量綱不同對(duì)統(tǒng)計(jì)分析結(jié)果帶來的影響，往往在使用某種統(tǒng)計(jì)分析方法之前，常需將每個(gè)指標(biāo)“標(biāo)準(zhǔn)化”，即做如下變換目錄上頁(yè)下頁(yè)返回結(jié)束2023/2/417§1.2統(tǒng)計(jì)距離和馬氏距離目錄上頁(yè)下頁(yè)返回結(jié)束歐氏距離馬氏距離2023/2/418歐氏距離在多指標(biāo)統(tǒng)計(jì)分析中,距離的概念十分重要,樣品間的不少特征都可用距離去描述。大部分多元方法是建立在簡(jiǎn)單的距離概念基礎(chǔ)上的。即平時(shí)人們熟悉的歐氏距離,或稱直線距離.如幾何平面上的點(diǎn)p=(x1,x2)到原點(diǎn)O=(0,0)的歐氏距離,依勾股定理有目錄上頁(yè)下頁(yè)返回結(jié)束2023/2/419但就大部分統(tǒng)計(jì)問題而言，歐氏距離是不能令人滿意的。這里因?yàn)?，每個(gè)坐標(biāo)對(duì)歐氏距離的貢獻(xiàn)是同等的。當(dāng)坐標(biāo)軸表示測(cè)量值時(shí)，它們往往帶有大小不等的隨機(jī)波動(dòng)，在這種情況下，合理的辦法是對(duì)坐標(biāo)加權(quán)，使得變化較大的坐標(biāo)比變化小的坐標(biāo)有較小的權(quán)系數(shù)，這就產(chǎn)生了各種距離。歐氏距離還有一個(gè)缺點(diǎn)，這就是當(dāng)各個(gè)分量為不同性質(zhì)的量時(shí)，“距離”的大小竟然與指標(biāo)的單位有關(guān)。

目錄上頁(yè)下頁(yè)返回結(jié)束2023/2/420目錄上頁(yè)下頁(yè)返回結(jié)束例如，橫軸代表重量（以kg為單位），縱軸

代表長(zhǎng)度（以cm為單位）。有四個(gè)點(diǎn)A、B、C、D見圖1.1，它們的坐標(biāo)如圖1.1所示圖1.12023/2/421目錄上頁(yè)下頁(yè)返回結(jié)束這時(shí)顯然AB比CD要長(zhǎng)。結(jié)果CD反而比AB長(zhǎng)！這顯然是不夠合理的?，F(xiàn)在，如果

用mm作單位，

單位保持不變，此時(shí)A坐標(biāo)為（0，50），C坐標(biāo)為（0，100），則2023/2/422目錄上頁(yè)下頁(yè)返回結(jié)束因此，有必要建立一種距離，這種距離要能夠體現(xiàn)各個(gè)變量在變差大小上的不同，以及有時(shí)存在著的相關(guān)性，還要求距離與各變量所用的單位無關(guān)。看來我們選擇的距離要依賴于樣本方差和協(xié)方差。因此，采用“統(tǒng)計(jì)距離”這個(gè)術(shù)語，以區(qū)別通常習(xí)慣用的歐氏距離。最常用的一種統(tǒng)計(jì)距離是印度統(tǒng)計(jì)學(xué)家馬哈拉諾比斯（Mahalanobis）于1936年引入的距離，稱為“馬氏距離”。

2023/2/423目錄上頁(yè)下頁(yè)返回結(jié)束下面先用一個(gè)一維的例子說明歐氏距離與馬氏距離在概率上的差異。設(shè)有兩個(gè)一維正態(tài)總體。若有一個(gè)樣品，其值在A處，A點(diǎn)距離哪個(gè)總體近些呢？由圖1-2圖1-22023/2/424目錄上頁(yè)下頁(yè)返回結(jié)束由圖1-2可看出,從絕對(duì)長(zhǎng)度來看,A點(diǎn)距左面總體G1近些,即A點(diǎn)到比A點(diǎn)到

要“近一些”（這里用的是歐氏距離，比較的是A點(diǎn)坐標(biāo)與到

值之差的絕對(duì)值），但從概率觀點(diǎn)來看，A點(diǎn)在

右側(cè)約4

處，A點(diǎn)在

的左側(cè)約3

處，若以標(biāo)準(zhǔn)差的觀點(diǎn)來衡量，A點(diǎn)離

比A點(diǎn)離

要“近一些”。顯然，后者是從概率角度上來考慮的，因而更為合理些，它是用坐標(biāo)差平方除以方差（或說乘以方差的倒數(shù)），從而化為無量綱數(shù)。2023/2/425馬氏距離設(shè)X、Y從均值向量為μ，協(xié)方差陣為∑的總體G中抽取的兩個(gè)樣品，定義X、Y兩點(diǎn)之間的馬氏距離為(1.21)

)()(),(1/2YXΣY)XYX--=-dmXG(1.22)

)()(),(1/2μ）XΣμ)(XX--=-Gdm的馬氏距離為與總體定義目錄上頁(yè)下頁(yè)返回結(jié)束2023/2/426設(shè)表示一個(gè)點(diǎn)集，表示距離，它是到的函數(shù)，可以證明,馬氏距離符合如下距離的四條基本公理:；（1），（2）當(dāng)且僅當(dāng)；

（3）

（4）

目錄上頁(yè)下頁(yè)返回結(jié)束2023/2/427§1.3多元正態(tài)分布

多元正態(tài)分布是一元正態(tài)分布的推廣。迄今為止,多元分析的主要理論都是建立在多元正態(tài)總體基礎(chǔ)上的,多元正態(tài)分布是多元分析的基礎(chǔ)。另一方面，許多實(shí)際問題的分布常是多元正態(tài)分布或近似正態(tài)分布，或雖本身不是正態(tài)分布，但它的樣本均值近似于多元正態(tài)分布。本節(jié)將介紹多元正態(tài)分布的定義，并簡(jiǎn)要給出它的基本性質(zhì)。目錄上頁(yè)下頁(yè)返回結(jié)束2023/2/428§1.3多元正態(tài)分布目錄上頁(yè)下頁(yè)返回結(jié)束§1.3.1多元正態(tài)分布的定義§1.3.2多元正態(tài)分布的性質(zhì)§1.3.3條件分布和獨(dú)立性2023/2/429§1.3.1多元正態(tài)分布的定義|∑|為協(xié)差陣∑的行列式。目錄上頁(yè)下頁(yè)返回結(jié)束

定義1.5

若p元隨機(jī)向量

的概率密度函數(shù)為：則稱遵從

元正態(tài)分布，也稱X為P元正態(tài)變量。記為2023/2/430定理1.1將正態(tài)分布的參數(shù)μ和∑賦于了明確的統(tǒng)計(jì)意義。有關(guān)這個(gè)定理的證明可參見文獻(xiàn)[3]。多元正態(tài)分布不止定義1.5一種形式，更廣泛地可采用特征函數(shù)來定義，也可用一切線性組合均為正態(tài)的性質(zhì)來定義等，有關(guān)這些定義的方式參見文獻(xiàn)[3]。目錄上頁(yè)下頁(yè)返回結(jié)束定理1.1：設(shè)

則

2023/2/431§1.3.2多元正態(tài)分布的性質(zhì)目錄上頁(yè)下頁(yè)返回結(jié)束1、如果正態(tài)隨機(jī)向量

的協(xié)方差陣∑是對(duì)角陣，則X的各分量是相互獨(dú)立的隨機(jī)變量。容易驗(yàn)證，

，但顯然不是正態(tài)分布。2、多元正態(tài)分布隨機(jī)向量X的任何一個(gè)分量子集的分布（稱為X的邊緣分布）仍然遵從正態(tài)分布。而反之，若一個(gè)隨機(jī)向量的任何邊緣分布均為正態(tài)，并不能導(dǎo)出它是多元正態(tài)分布。例如，設(shè)

有分布密度聯(lián)合正態(tài)邊緣正態(tài)2023/2/432目錄上頁(yè)下頁(yè)返回結(jié)束4、若，則若為定值，隨著的變化其軌跡為一橢球面，是的密度函數(shù)的等值面.若給定，則為到的馬氏距離。m

3、多元正態(tài)向量的任意線性變換仍然遵從多元正態(tài)分布。即設(shè)

，而m維隨機(jī)向量，其中

是m×p階的常數(shù)矩陣，b是m維的常向量。則m維隨機(jī)向量Z也是正態(tài)的，且

。即Z遵從m元態(tài)分布，其均值向量為

，協(xié)差陣為

。~~2023/2/433§1.3.3條件分布和獨(dú)立性目錄上頁(yè)下頁(yè)返回結(jié)束

我們希望求給定

的條件分布，即的分布。下一個(gè)定理指出：正態(tài)分布的條件分布仍為正態(tài)分布。設(shè)

p≥2,將X、μ和Σ剖分如下：2023/2/434證明參見文獻(xiàn)[3]。目錄上頁(yè)下頁(yè)返回結(jié)束定理1.2

設(shè)

，Σ>0，則2023/2/435例：制定服裝標(biāo)準(zhǔn)，測(cè)得五個(gè)指標(biāo)，分別為X1身高，X2胸圍，

X3腰圍，X4上體上，X5臀圍，它們服從先取μ(1)μ(2)Σ11Σ12Σ21Σ22由定理1.22023/2/436往求2023/2/437結(jié)論：已知一個(gè)人的上臂和臀圍時(shí)，身高、胸圍和腰圍的條件方差大大縮小了，減少了誤差2023/2/438

(1.28)目錄上頁(yè)下頁(yè)返回結(jié)束定理1.3

設(shè)

，Σ>0，將X，μ，Σ剖分如下：則有如下的條件均值和條件協(xié)差陣的遞推公式：(1.29)

(1.30)

2023/2/439在定理1.2中，我們給出了對(duì)X、μ和Σ作形如(1.25)式剖分時(shí)條件協(xié)差陣的表達(dá)式及其與非條件協(xié)差陣的關(guān)系，令表示的元素，則可以定義偏相關(guān)系數(shù)的概念如下：