多元正態(tài)分布

關(guān)于多元正態(tài)分布2024/4/1912024/4/192第一章多元正態(tài)分布一元正態(tài)分布在統(tǒng)計(jì)學(xué)的理論和實(shí)際應(yīng)用中都有著重要的地位。同樣，在多變量統(tǒng)計(jì)學(xué)中，多元正態(tài)分布也占有相當(dāng)重要的位置。原因是：許多隨機(jī)向量確實(shí)遵從正態(tài)分布，或近似遵從正態(tài)分布；對于多元正態(tài)分布，已有一整套統(tǒng)計(jì)推斷方法，并且得到了許多完整的結(jié)果。目錄上頁下頁返回結(jié)束第2頁,共61頁，2024年2月25日，星期天2024/4/193第一章多元正態(tài)分布多元正態(tài)分布是最常用的一種多元概率分布。除此之外，還有多元對數(shù)正態(tài)分布，多項(xiàng)式分布，多元超幾何分布，多元分布、多元分布、多元指數(shù)分布等。本章從多維變量及多元分布的基本概念開始，著重介紹多元正態(tài)分布的定義及一些重要性質(zhì)。目錄上頁下頁返回結(jié)束第3頁,共61頁，2024年2月25日，星期天2024/4/194§1.1多元分布的基本概念目錄上頁下頁返回結(jié)束§1.1.1隨機(jī)向量§1.1.2分布函數(shù)與密度函數(shù)§1.1.3多元變量的獨(dú)立性§1.1.4隨機(jī)向量的數(shù)字特征第4頁,共61頁，2024年2月25日，星期天2024/4/195§1.1.1隨機(jī)向量表示對同一個(gè)體觀測的個(gè)變量。若觀測了個(gè)個(gè)體，則可得到如下表1-1的數(shù)據(jù)，稱每一個(gè)個(gè)體的個(gè)變量為一個(gè)樣品，而全體個(gè)樣品形成一個(gè)樣本。假定所討論的是多個(gè)變量的總體，所研究的數(shù)據(jù)是同時(shí)觀測個(gè)指標(biāo)（即變量），又進(jìn)行了次觀測得到的，把這個(gè)指標(biāo)表示為常用向量目錄上頁下頁返回結(jié)束第5頁,共61頁，2024年2月25日，星期天2024/4/196橫看表1-1，記，

它表示第個(gè)樣品的觀測值。豎看表1-1,第列的元素表示對第個(gè)變量的n次觀測數(shù)值。下面為表1-1…n

…2…1…變量序號目錄上頁下頁返回結(jié)束§1.1.1隨機(jī)向量第6頁,共61頁，2024年2月25日，星期天2024/4/197§1.1.1隨機(jī)向量因此,樣本資料矩陣可用矩陣語言表示為:目錄上頁下頁返回結(jié)束若無特別說明，本書所稱向量均指列向量定義1.1設(shè)為p個(gè)隨機(jī)變量，由它們組成的向量稱為隨機(jī)向量。

第7頁,共61頁，2024年2月25日，星期天2024/4/198

§1.1.2分布函數(shù)與密度函數(shù)描述隨機(jī)變量的最基本工具是分布函數(shù)，類似地描述隨機(jī)向量的最基本工具還是分布函數(shù)。目錄上頁下頁返回結(jié)束多元分布函數(shù)的有關(guān)性質(zhì)此處從略。定義1.2設(shè)是以隨機(jī)向量，它的多元分布函數(shù)是式中：第8頁,共61頁，2024年2月25日，星期天2024/4/199§1.1.2分布函數(shù)與密度函數(shù)目錄上頁下頁返回結(jié)束定義1.3：設(shè)=,若存在一個(gè)非負(fù)的函數(shù)

,使得對一切成立，則稱

（或

）有分布密度

并稱

為連續(xù)型隨機(jī)向量。一個(gè)p維變量的函數(shù)f(·)能作為

中某個(gè)隨機(jī)向量的分布密度，當(dāng)且僅當(dāng)?shù)?頁,共61頁，2024年2月25日，星期天2024/4/1910§1.1.3多元變量的獨(dú)立性目錄上頁下頁返回結(jié)束定義1.4：兩個(gè)隨機(jī)向量

和

稱為是相互獨(dú)立的，若注意:在上述定義中，和的維數(shù)一般是不同的。對一切成立。若

為的聯(lián)合分布函數(shù)，分別為

和

的分布函數(shù)，則

與

獨(dú)立當(dāng)且僅當(dāng)（1.4）若有密度

，用分別表示

和的分布密度，則

和

獨(dú)立當(dāng)且僅當(dāng)

(1.5)第10頁,共61頁，2024年2月25日，星期天2024/4/1911§1.1.4隨機(jī)向量的數(shù)字特征

是一個(gè)p維向量，稱為均值向量.目錄上頁下頁返回結(jié)束當(dāng)為常數(shù)矩陣時(shí)，由定義可立即推出如下性質(zhì)：)(????éPPm)()6.1)(

)((2121μX=úúúúùêêêêé=úúúúùêêêê=XEXEXEEmm1、隨機(jī)向量X的均值設(shè)有P個(gè)分量。若

存在，我們定義隨機(jī)向量X的均值為:第11頁,共61頁，2024年2月25日，星期天2024/4/1912§1.1.4隨機(jī)向量的數(shù)字特征目錄上頁下頁返回結(jié)束2、隨機(jī)向量

自協(xié)方差陣稱它為

維隨機(jī)向量

的協(xié)方差陣，簡稱為

的協(xié)方差陣。稱為

的廣義方差，它是協(xié)差陣的行列式之值。第12頁,共61頁，2024年2月25日，星期天2024/4/1913目錄上頁下頁返回結(jié)束§1.1.4隨機(jī)向量的數(shù)字特征3、隨機(jī)向量X和Y的協(xié)差陣設(shè)分別為

維和

維隨機(jī)向量，它們之間的協(xié)方差陣定義為一個(gè)

矩陣，其元素是，即

當(dāng)A、B為常數(shù)矩陣時(shí)，由定義可推出協(xié)差陣有如下性質(zhì)：第13頁,共61頁，2024年2月25日，星期天2024/4/1914目錄上頁下頁返回結(jié)束§1.1.4隨機(jī)向量的數(shù)字特征（3）設(shè)X為維隨機(jī)向量，期望和協(xié)方差存在記則對于任何隨機(jī)向量

來說，其協(xié)差陣∑都是對稱陣，同時(shí)總是非負(fù)定（也稱半正定）的。大多數(shù)情形下是正定的。第14頁,共61頁，2024年2月25日，星期天2024/4/1915目錄上頁下頁返回結(jié)束§1.1.4隨機(jī)向量的數(shù)字特征4、隨機(jī)向量X的相關(guān)陣若隨機(jī)向量的協(xié)差陣存在,且每個(gè)分量的方差大于零，則X的相關(guān)陣定義為:

也稱為分量

與

之間的（線性）相關(guān)系數(shù)。第15頁,共61頁，2024年2月25日，星期天2024/4/1916在數(shù)據(jù)處理時(shí)，為了克服由于指標(biāo)的量綱不同對統(tǒng)計(jì)分析結(jié)果帶來的影響，往往在使用某種統(tǒng)計(jì)分析方法之前，常需將每個(gè)指標(biāo)“標(biāo)準(zhǔn)化”，即做如下變換目錄上頁下頁返回結(jié)束§1.1.4隨機(jī)向量的數(shù)字特征第16頁,共61頁，2024年2月25日，星期天2024/4/1917§1.2統(tǒng)計(jì)距離和馬氏距離目錄上頁下頁返回結(jié)束歐氏距離馬氏距離第17頁,共61頁，2024年2月25日，星期天2024/4/1918§1.2統(tǒng)計(jì)距離和馬氏距離歐氏距離在多指標(biāo)統(tǒng)計(jì)分析中,距離的概念十分重要,樣品間的不少特征都可用距離去描述。大部分多元方法是建立在簡單的距離概念基礎(chǔ)上的。即平時(shí)人們熟悉的歐氏距離,或稱直線距離.如幾何平面上的點(diǎn)p=(x1,x2)到原點(diǎn)O=(0,0)的歐氏距離,依勾股定理有目錄上頁下頁返回結(jié)束第18頁,共61頁，2024年2月25日，星期天2024/4/1919§1.2統(tǒng)計(jì)距離和馬氏距離但就大部分統(tǒng)計(jì)問題而言，歐氏距離是不能令人滿意的。這里因?yàn)?，每個(gè)坐標(biāo)對歐氏距離的貢獻(xiàn)是同等的。當(dāng)坐標(biāo)軸表示測量值時(shí)，它們往往帶有大小不等的隨機(jī)波動，在這種情況下，合理的辦法是對坐標(biāo)加權(quán)，使得變化較大的坐標(biāo)比變化小的坐標(biāo)有較小的權(quán)系數(shù)，這就產(chǎn)生了各種距離。歐氏距離還有一個(gè)缺點(diǎn)，這就是當(dāng)各個(gè)分量為不同性質(zhì)的量時(shí)，“距離”的大小竟然與指標(biāo)的單位有關(guān)。

目錄上頁下頁返回結(jié)束第19頁,共61頁，2024年2月25日，星期天2024/4/1920§1.2統(tǒng)計(jì)距離和馬氏距離目錄上頁下頁返回結(jié)束例如，橫軸代表重量（以kg為單位），縱軸

代表長度（以cm為單位）。有四個(gè)點(diǎn)A、B、C、D見圖1.1，它們的坐標(biāo)如圖1.1所示第20頁,共61頁，2024年2月25日，星期天2024/4/1921§1.2統(tǒng)計(jì)距離和馬氏距離目錄上頁下頁返回結(jié)束這時(shí)顯然AB比CD要長。結(jié)果CD反而比AB長！這顯然是不夠合理的。現(xiàn)在，如果

用mm作單位，

單位保持不變，此時(shí)A坐標(biāo)為（0，50），C坐標(biāo)為（0，100），則第21頁,共61頁，2024年2月25日，星期天2024/4/1922§1.2統(tǒng)計(jì)距離和馬氏距離目錄上頁下頁返回結(jié)束因此，有必要建立一種距離，這種距離要能夠體現(xiàn)各個(gè)變量在變差大小上的不同，以及有時(shí)存在著的相關(guān)性，還要求距離與各變量所用的單位無關(guān)?？磥砦覀冞x擇的距離要依賴于樣本方差和協(xié)方差。因此，采用“統(tǒng)計(jì)距離”這個(gè)術(shù)語，以區(qū)別通常習(xí)慣用的歐氏距離。最常用的一種統(tǒng)計(jì)距離是印度統(tǒng)計(jì)學(xué)家馬哈拉諾比斯（Mahalanobis）于1936年引入的距離，稱為“馬氏距離”。

第22頁,共61頁，2024年2月25日，星期天2024/4/1923§1.2統(tǒng)計(jì)距離和馬氏距離目錄上頁下頁返回結(jié)束下面先用一個(gè)一維的例子說明歐氏距離與馬氏距離在概率上的差異。設(shè)有兩個(gè)一維正態(tài)總體。若有一個(gè)樣品，其值在A處，A點(diǎn)距離哪個(gè)總體近些呢？由圖1-2圖1-2第23頁,共61頁，2024年2月25日，星期天2024/4/1924§1.2統(tǒng)計(jì)距離和馬氏距離目錄上頁下頁返回結(jié)束由圖1-2可看出,從絕對長度來看,A點(diǎn)距左面總體G1近些,即A點(diǎn)到比A點(diǎn)到

要“近一些”（這里用的是歐氏距離，比較的是A點(diǎn)坐標(biāo)與到

值之差的絕對值），但從概率觀點(diǎn)來看，A點(diǎn)在

右側(cè)約4

處，A點(diǎn)在

的左側(cè)約3

處，若以標(biāo)準(zhǔn)差的觀點(diǎn)來衡量，A點(diǎn)離

比A點(diǎn)離

要“近一些”。顯然，后者是從概率角度上來考慮的，因而更為合理些，它是用坐標(biāo)差平方除以方差（或說乘以方差的倒數(shù)），從而化為無量綱數(shù)，推廣到多維就要乘以協(xié)方差陣∑的逆矩陣

，這就是馬氏距離的概念，以后將會看到，這一距離在多元分析中起著十分重要的作用。1m第24頁,共61頁，2024年2月25日，星期天2024/4/1925§1.2統(tǒng)計(jì)距離和馬氏距離馬氏距離設(shè)X、Y從均值向量為μ，協(xié)方差陣為∑的總體G中抽取的兩個(gè)樣品，定義X、Y兩點(diǎn)之間的馬氏距離為(1.21)

)()(),(1/2YXΣYXYX--=-dmXG(1.22)

)()(),(1/2μXΣμXX--=-Gdm的馬氏距離為與總體定義目錄上頁下頁返回結(jié)束第25頁,共61頁，2024年2月25日，星期天2024/4/1926§1.2統(tǒng)計(jì)距離和馬氏距離設(shè)表示一個(gè)點(diǎn)集，表示距離，它是到的函數(shù)，可以證明,馬氏距離符合如下距離的四條基本公理:；（1），（2）當(dāng)且僅當(dāng)；（3）（4）目錄上頁下頁返回結(jié)束第26頁,共61頁，2024年2月25日，星期天2024/4/1927§1.3多元正態(tài)分布

多元正態(tài)分布是一元正態(tài)分布的推廣。迄今為止,多元分析的主要理論都是建立在多元正態(tài)總體基礎(chǔ)上的,多元正態(tài)分布是多元分析的基礎(chǔ)。另一方面，許多實(shí)際問題的分布常是多元正態(tài)分布或近似正態(tài)分布，或雖本身不是正態(tài)分布，但它的樣本均值近似于多元正態(tài)分布。本節(jié)將介紹多元正態(tài)分布的定義，并簡要給出它的基本性質(zhì)。目錄上頁下頁返回結(jié)束第27頁,共61頁，2024年2月25日，星期天2024/4/1928§1.3多元正態(tài)分布目錄上頁下頁返回結(jié)束§1.3.1多元正態(tài)分布的定義§1.3.2多元正態(tài)分布的性質(zhì)§1.3.3條件分布和獨(dú)立性第28頁,共61頁，2024年2月25日，星期天2024/4/1929§1.3.1多元正態(tài)分布的定義|∑|為協(xié)差陣∑的行列式。目錄上頁下頁返回結(jié)束

定義1.5：若

元隨機(jī)向量

的概率密度函數(shù)為：則稱遵從

元正態(tài)分布，也稱X為P元正態(tài)變量。記為第29頁,共61頁，2024年2月25日，星期天2024/4/1930定理1.1將正態(tài)分布的參數(shù)μ和∑賦于了明確的統(tǒng)計(jì)意義。有關(guān)這個(gè)定理的證明可參見文獻(xiàn)[3]。多元正態(tài)分布不止定義1.5一種形式，更廣泛地可采用特征函數(shù)來定義，也可用一切線性組合均為正態(tài)的性質(zhì)來定義等，有關(guān)這些定義的方式參見文獻(xiàn)[3]。目錄上頁下頁返回結(jié)束§1.3.1多元正態(tài)分布的定義定理1.1：設(shè)

則

第30頁,共61頁，2024年2月25日，星期天2024/4/1931§1.3.2多元正態(tài)分布的性質(zhì)目錄上頁下頁返回結(jié)束1、如果正態(tài)隨機(jī)向量

的協(xié)方差陣∑是對角陣，則X的各分量是相互獨(dú)立的隨機(jī)變量。證明參見文獻(xiàn)[4]，p.33。

容易驗(yàn)證，

，但顯然不是正態(tài)分布。2、多元正態(tài)分布隨機(jī)向量X的任何一個(gè)分量子集的分布（稱為X的邊緣分布）仍然遵從正態(tài)分布。而反之，若一個(gè)隨機(jī)向量的任何邊緣分布均為正態(tài)，并不能導(dǎo)出它是多元正態(tài)分布。例如，設(shè)

有分布密度第31頁,共61頁，2024年2月25日，星期天2024/4/1932§1.3.2多元正態(tài)分布的性質(zhì)目錄上頁下頁返回結(jié)束4、若，則若為定值，隨著的變化其軌跡為一橢球面，是的密度函數(shù)的等值面.若給定，則為到的馬氏距離。m

3、多元正態(tài)向量的任意線性變換仍然遵從多元正態(tài)分布。即設(shè)

，而m維隨機(jī)向量，其中

是m×p階的常數(shù)矩陣，b是m維的常向量。則m維隨機(jī)向量Z也是正態(tài)的，且

。即Z遵從m元態(tài)分布，其均值向量為

，協(xié)差陣為

。第32頁,共61頁，2024年2月25日，星期天2024/4/1933§1.3.3條件分布和獨(dú)立性目錄上頁下頁返回結(jié)束

我們希望求給定

的條件分布，即的分布。下一個(gè)定理指出：正態(tài)分布的條件分布仍為正態(tài)分布。設(shè)

p≥2,將X、μ和Σ剖分如下：第33頁,共61頁，2024年2月25日，星期天2024/4/1934證明參見文獻(xiàn)[3]。目錄上頁下頁返回結(jié)束§1.3.3條件分布和獨(dú)立性定理1.2：設(shè)

，Σ>0，則第34頁,共61頁，2024年2月25日，星期天2024/4/1935

(1.28)目錄上頁下頁返回結(jié)束§1.3.3條件分布和獨(dú)立性定理1.3：設(shè)

，Σ>0，將X，μ，Σ剖分如下：第35頁,共61頁，2024年2月25日，星期天2024/4/1936則有如下的條件均值和條件協(xié)差陣的遞推公式：(1.29)

(1.30)

其中，證明參見[3]目錄上頁下頁返回結(jié)束§1.3.3條件分布和獨(dú)立性第36頁,共61頁，2024年2月25日，星期天2024/4/1937在定理1.2中，我們給出了對X、μ和Σ作形如(1.25)式剖分時(shí)條件協(xié)差陣的表達(dá)式及其與非條件協(xié)差陣的關(guān)系，令表示的元素，則可以定義偏相關(guān)系數(shù)的概念如下：定義1.6：當(dāng)給定時(shí)，與的偏相關(guān)系數(shù)為：目錄上頁下頁返回結(jié)束§1.3.3條件分布和獨(dú)立性第37頁,共61頁，2024年2月25日，星期天2024/4/1938目錄上頁下頁返回結(jié)束§1.3.3條件分布和獨(dú)立性定理1.4：設(shè)將X、μ、Σ按同樣方式剖分為其中，

證明參見文獻(xiàn)[3]第38頁,共61頁，2024年2月25日，星期天2024/4/1939§1.4均值向量和協(xié)方差陣的估計(jì)上節(jié)已經(jīng)給出了多元正態(tài)分布的定義和有關(guān)的性質(zhì),在實(shí)際問題中,通?？梢约俣ū谎芯康膶ο笫嵌嘣龖B(tài)分布,但分布中的參數(shù)μ和Σ是未知的,一般的做法是通過樣本來估計(jì)。目錄上頁下頁返回結(jié)束第39頁,共61頁，2024年2月25日，星期天2024/4/1940§1.4均值向量和協(xié)方差陣的估計(jì)均值向量的估計(jì)在一般情況下,如果樣本資料陣為：目錄上頁下頁返回結(jié)束第40頁,共61頁，2024年2月25日，星期天2024/4/1941§1.4均值向量和協(xié)方差陣的估計(jì)即均值向量μ的估計(jì)量,就是樣本均值向量.這可由極大似然法推導(dǎo)出來。推導(dǎo)過程參見文獻(xiàn)[3]。目錄上頁下頁返回結(jié)束設(shè)樣品相互獨(dú)立,同遵從于P元正態(tài)分布

,而且

,Σ>0,則總體參數(shù)均值μ的估計(jì)量是第41頁,共61頁，2024年2月25日，星期天2024/4/1942§1.4均值向量和協(xié)方差陣的估計(jì)協(xié)方差陣的估計(jì)總體參數(shù)協(xié)差陣Σ的極大似然估計(jì)是目錄上頁下頁返回結(jié)束第42頁,共61頁，2024年2月25日，星期天2024/4/1943§1.4均值向量和協(xié)方差陣的估計(jì)目錄上頁下頁返回結(jié)束其中L是離差陣，它是每一個(gè)樣品（向量）與樣本均值（向量）的離差積形成的n個(gè)

階對稱陣的和。同一元相似，不是Σ的無偏估計(jì)，為了得到無偏估計(jì)我們常用樣本協(xié)差陣作為總體協(xié)差陣的估計(jì)。第43頁,共61頁，2024年2月25日，星期天2024/4/1944§1.5常用分布及抽樣分布多元統(tǒng)計(jì)研究的是多指標(biāo)問題,為了了解總體的特征,通過對總體抽樣得到代表總體的樣本,但因?yàn)樾畔⑹欠稚⒃诿總€(gè)樣本上的,就需要對樣本進(jìn)行加工,把樣本的信息濃縮到不包含未知量的樣本函數(shù)中,這個(gè)函數(shù)稱為統(tǒng)計(jì)量,如前面介紹的樣本均值向量、樣本離差陣等都是統(tǒng)計(jì)量.統(tǒng)計(jì)量的分布稱為抽樣分布.在數(shù)理統(tǒng)計(jì)中常用的抽樣分布有分布、分布和分布.在多元統(tǒng)計(jì)中,與之對應(yīng)的分布非別為Wishart分布、

分布和Wilks分布.目錄上頁下頁返回結(jié)束第44頁,共61頁，2024年2月25日，星期天2024/4/1945§1.5常用分布及抽樣分布1.5.2分布與分布1.5.1分布與Wishart分布1.5.3中心分布與Wilks分布目錄上頁下頁返回結(jié)束第45頁,共61頁，2024年2月25日，星期天2024/4/1946分布有兩個(gè)重要的性質(zhì):§1.5.1分布與Wishart分布在數(shù)理統(tǒng)計(jì)中,若(),且相互獨(dú)立,則所服從的分布為自由度為的分布(chisquareddistribution),記為.目錄上頁下頁返回結(jié)束1、若,且相互獨(dú)立,則稱為相互獨(dú)立的具有可加性第46頁,共61頁，2024年2月25日，星期天2024/4/19472.設(shè)(),且相互獨(dú)立,為個(gè)階對稱陣,且(階單位陣),記,則為相互獨(dú)立的分布的充要條件為.此時(shí),.這個(gè)性質(zhì)稱為Cochran定理,在方差分析和回歸分析中起著重要作用.目錄上頁下頁返回結(jié)束§1.5.1分布與Wishart分布第47頁,共61頁，2024年2月25日，星期天2024/4/1948

(1.32)

定義1.7

設(shè)相互獨(dú)立,且,記,則隨機(jī)矩陣：所服從的分布稱為自由度為的維非中心Wishart分布,記為,其中,,,稱為非中心參數(shù),當(dāng)時(shí)稱為中心Wishart分布,記為am目錄上頁下頁返回結(jié)束§1.5.1分布與Wishart分布第48頁,共61頁，2024年2月25日，星期天2024/4/1949由Wishart分布的定義知,當(dāng)時(shí),退化為,此時(shí)中心Wishart分布就退化為,由此可以看出,Wishart分布實(shí)際上是分布在多維正態(tài)情形下的推廣.下面不加證明的給出Wishart分布的5條重要性質(zhì):個(gè)隨機(jī)樣本,為樣本均值,樣本離差陣為維正態(tài)總體1.若是從中抽取的,則.相互獨(dú)立.和(1)(2),目錄上頁下頁返回結(jié)束§1.5.1分布與Wishart分布第49頁,共61頁，2024年2月25日，星期天2024/4/19503.若,為非奇異陣,則,為任一4.若元常向量,滿足則

目錄上頁下頁返回結(jié)束§1.5.1分布與Wishart分布2.若且相互獨(dú)立,則第50頁,共61頁，2024年2月25日，星期天2024/4/1951特別的,設(shè)和分別為和的第個(gè)對角元,則：5.若,為任一元非零常向量,比值目錄上頁下頁返回結(jié)束§1.5.1分布與Wishart分布第51頁,共61頁，2024年2月25日，星期天2024/4/1952§1.5.2分布與分布在數(shù)理統(tǒng)計(jì)中,若,,且與相互獨(dú)立,則稱服從自由度為的分布,又稱為學(xué)生分布(studentdistribution),記為.如果將平方,即,則,即分布的平方服從第一自由度為1第二自由度為的中心分布.目錄上頁下頁返回結(jié)束第52頁,共61頁，2024年2月25日，星期天2024/4/1953中心分布可化為中心分布,其關(guān)系為:顯然,當(dāng)時(shí),有.定義1.8

設(shè),,,,,與相互獨(dú)立,則稱隨機(jī)變量

(1.33)所服從的分布稱為第一自由度為第二自由度為的中心分布,記為目錄上頁下頁返回結(jié)束§1.5.2分布與分布第53頁,共61頁，2024年