新版多元正態(tài)分布培訓課件.ppt

1、第一章 多元正態(tài)分布 目錄 上頁 下頁 返回 結(jié)束 1.1 多元分布的基本概念1.2 統(tǒng)計距離和馬氏距離1.3 多元正態(tài)分布1.4 均值向量和協(xié)方差陣的估計1.5 常用分布及抽樣分布1.第一章 多元正態(tài)分布一元正態(tài)分布在統(tǒng)計學的理論和實際應用中都有著重要的地位。同樣，在多變量統(tǒng)計學中，多元正態(tài)分布也占有相當重要的位置。原因是：許多隨機向量確實遵從正態(tài)分布，或近似遵從正態(tài)分布；對于多元正態(tài)分布，已有一整套統(tǒng)計推斷方法，并且得到了許多完整的結(jié)果。 目錄 上頁 下頁 返回 結(jié)束 2.第一章 多元正態(tài)分布 多元正態(tài)分布是最常用的一種多元概率分布。除此之外，還有多元對數(shù)正態(tài)分布，多項式分布，多元超幾何分

2、布，多元 分布、多元 分布、多元指數(shù)分布等。本章從多維變量及多元分布的基本概念開始，著重介紹多元正態(tài)分布的定義及一些重要性質(zhì)。 目錄 上頁 下頁 返回 結(jié)束 3.1.1多元分布的基本概念 目錄 上頁 下頁 返回 結(jié)束 1.1.1 隨機向量1.1.2 分布函數(shù)與密度函數(shù)1.1.3 多元變量的獨立性1.1.4 隨機向量的數(shù)字特征4.1.1.1 隨機向量 表示對同一個體觀測的 個變量。若觀測了 個個體，則可得到如下表1-1的數(shù)據(jù)，稱每一個個體的 個變量為一個樣品，而全體 個樣品形成一個樣本。 假定所討論的是多個變量的總體，所研究的數(shù)據(jù)是同時觀測 個指標（即變量），又進行了 次觀測得到的，把這 個指標

3、表示為 常用向量 目錄 上頁 下頁 返回 結(jié)束 5. 橫看表1-1，記 ， 它表示第 個樣品的觀測值。豎看表1-1,第 列的元素 表示對 第個變量 的n次觀測數(shù)值。下面為表1-1n 21 變量序號 目錄 上頁 下頁 返回 結(jié)束 1.1.1 隨機向量6.因此,樣本資料矩陣可用矩陣語言表示為:定義1.1 設 為 個隨機變量，由它們組成的向量 稱為隨機向量。 目錄 上頁 下頁 返回 結(jié)束 1.1.1 隨機向量若無特別說明，本書所稱向量均指列向量7. 定義1.2 設 是一隨機向量，它的多元分布函數(shù)是 式中， ，并記成 。1.1.2 分布函數(shù)與密度函數(shù) 描述隨機變量的最基本工具是分布函數(shù)，類似地描述隨機

4、向量的最基本工具還是分布函數(shù)。 目錄 上頁 下頁 返回 結(jié)束 多元分布函數(shù)的有關性質(zhì)此處從略。8.1.1.2 分布函數(shù)與密度函數(shù) 目錄 上頁 下頁 返回 結(jié)束 定義1.3：設 = ,若存在一個非負的函數(shù) ,使得 對一切 成立，則稱 （或 ）有分布密度 并稱 為連續(xù)型隨機向量。 一個 維變量的函數(shù) 能作為 中某個隨機向量的分布密度，當且僅當9.1.1.3 多元變量的獨立性 目錄 上頁 下頁 返回 結(jié)束 對一切 成立。若 為 的聯(lián)合分布函數(shù)， 分別為 和 的分布函數(shù)，則 與 獨立當且僅當 （1.4）定義1.4：兩個隨機向量 和 稱為是相互獨立的，若注意:在上述定義中， 和 的維數(shù)一般是不同的。 若

5、 有密度 ，用 分別表示 和 的分布密度，則 和 獨立當且僅當 (1.5)10.1.1.4 隨機向量的數(shù)字特征是一個 維向量，稱為均值向量. 目錄 上頁 下頁 返回 結(jié)束 當 為常數(shù)矩陣時，由定義可立即推出如下性質(zhì)：1、隨機向量 的均值 設 有 個分量。若 存在， 定義隨機向量 的均值為)(PPm)()6.1)( )(2121X=XEXEXEEmm11.1.1.4 隨機向量的數(shù)字特征 目錄 上頁 下頁 返回 結(jié)束 2、隨機向量 自協(xié)方差陣 稱它為 維隨機向量 的協(xié)方差陣，簡稱為 的協(xié)方差陣。稱 為 的廣義方差，它是協(xié)差陣的行列式之值。12. 目錄 上頁 下頁 返回 結(jié)束 1.1.4 隨機向量的

6、數(shù)字特征3、隨機向量X 和Y 的協(xié)差陣 設 分別為 維和 維隨機向量，它們之間的協(xié)方差陣定義為一個 矩陣，其元素是 ，即 當A、B為常數(shù)矩陣時，由定義可推出協(xié)差陣有如下性質(zhì)：13. 目錄 上頁 下頁 返回 結(jié)束 1.1.4 隨機向量的數(shù)字特征（3）設X為 維隨機向量，期望和協(xié)方差存在記 則 對于任何隨機向量 來說，其協(xié)差陣都是對稱陣，同時總是非負定（也稱半正定）的。大多數(shù)情形下是正定的。14. 目錄 上頁 下頁 返回 結(jié)束 1.1.4 隨機向量的數(shù)字特征 4、隨機向量X 的相關陣 若隨機向量 的協(xié)差陣存在,且每個分量的方差大于零，則X的相關陣定義為: 也稱為分量 與 之間的（線性）相關系數(shù)。1

7、5. 在數(shù)據(jù)處理時，為了克服由于指標的量綱不同對統(tǒng)計分析結(jié)果帶來的影響，往往在使用某種統(tǒng)計分析方法之前，常需將每個指標“標準化”，即做如下變換 目錄 上頁 下頁 返回 結(jié)束 1.1.4 隨機向量的數(shù)字特征16.中國人民大學六西格瑪質(zhì)量管理研究中心隨機向量數(shù)字特征的例子17.中國人民大學六西格瑪質(zhì)量管理研究中心例1-1 例1-1 焊接技術(shù)培訓班有10名學生：基礎焊接技術(shù)（BWT），焊接技術(shù)提高（AWT）和焊接車間實踐（PWW）的成績?nèi)绫?-1所示（數(shù)據(jù)文件MV_焊接成績.BTW）。 18.中國人民大學六西格瑪質(zhì)量管理研究中心例1-1請注意：樣本資料陣在形式上與在MINITAB軟件中的工作表是完全

8、一致的，工作表的第i行表示第i個樣品，工作表的第j列表示對第j個變量的觀測值，變量名稱常列在表頭19.中國人民大學六西格瑪質(zhì)量管理研究中心樣本均值向量的計算20.中國人民大學六西格瑪質(zhì)量管理研究中心樣本協(xié)方差陣（也稱為樣本方差陣）的計算21.中國人民大學六西格瑪質(zhì)量管理研究中心樣本協(xié)方差陣（也稱為樣本方差陣）的計算由于樣本協(xié)方差陣是對稱的，會話區(qū)窗口結(jié)果中只顯示了協(xié)方差陣的下三角部分，所以整個樣本協(xié)方差陣全部寫出則應是：如果采用存儲功能，則存儲的樣本協(xié)方差陣就是整個方陣而不是三角陣，這個矩陣對角線上的3個數(shù)74.6222、70.2222、34.9，分別是基礎焊接技術(shù)（BWT），焊接技術(shù)提高（A

9、WT）和焊接車間實踐（PWW）三門課成績的樣本方差。 樣本離差陣等于樣本協(xié)方差陣乘以n1，所以例1-1樣本離差陣就是22.中國人民大學六西格瑪質(zhì)量管理研究中心樣本相關陣R計算：23.中國人民大學六西格瑪質(zhì)量管理研究中心樣本相關陣R計算：由于樣本相關陣是對稱的，對角線上全是1，會話區(qū)窗口結(jié)果中只顯示了扣除對角線后的下三角部分，所以整個樣本相關陣全部寫出則應是： 如果采用存儲功能，則存儲的樣本相關陣就是方陣而不是三角陣。 24.1.2 統(tǒng)計距離和馬氏距離 目錄 上頁 下頁 返回 結(jié)束 歐氏距離馬氏距離25.1.2 統(tǒng)計距離和馬氏距離歐氏距離 在多指標統(tǒng)計分析中,距離的概念十分重要,樣品間的不少特征

10、都可用距離去描述。大部分多元方法是建立在簡單的距離概念基礎上的。即平時人們熟悉的歐氏距離,或稱直線距離.如幾何平面上的點p=(x1,x2)到原點O=(0,0)的歐氏距離,依勾股定理有 目錄 上頁 下頁 返回 結(jié)束 26.1.2 統(tǒng)計距離和馬氏距離 但就大部分統(tǒng)計問題而言，歐氏距離是不能令人滿意的。這里因為，每個坐標對歐氏距離的貢獻是同等的。當坐標軸表示測量值時，它們往往帶有大小不等的隨機波動，在這種情況下，合理的辦法是對坐標加權(quán)，使得變化較大的坐標比變化小的坐標有較小的權(quán)系數(shù)，這就產(chǎn)生了各種距離。 歐氏距離還有一個缺點，這就是當各個分量為不同性質(zhì)的量時，“距離”的大小竟然與指標的單位有關。 目

11、錄 上頁 下頁 返回 結(jié)束 27.1.2 統(tǒng)計距離和馬氏距離 目錄 上頁 下頁 返回 結(jié)束 例如，橫軸 代表重量（以kg為單位），縱軸 代表長度（以cm為單位）。有四個點A、B、C、D見圖1.1，它們的坐標如圖1.1所示28.1.2 統(tǒng)計距離和馬氏距離 目錄 上頁 下頁 返回 結(jié)束 這時顯然AB比CD要長。 現(xiàn)在，如果 用mm作單位， 單位保持不變，此時A坐標為（0，50），C坐標為（0，100），則結(jié)果CD反而比AB長！這顯然是不夠合理的。 29.1.2 統(tǒng)計距離和馬氏距離 目錄 上頁 下頁 返回 結(jié)束 因此，有必要建立一種距離，這種距離要能夠體現(xiàn)各個變量在變差大小上的不同，以及有時存在著的

12、相關性，還要求距離與各變量所用的單位無關?？磥砦覀冞x擇的距離要依賴于樣本方差和協(xié)方差。因此，采用“統(tǒng)計距離” 這個術(shù)語，以區(qū)別通常習慣用的歐氏距離。最常用的一種統(tǒng)計距離是印度統(tǒng)計學家馬哈拉諾比斯（Mahalanobis）于1936年引入的距離，稱為“馬氏距離”。 30.1.2 統(tǒng)計距離和馬氏距離 目錄 上頁 下頁 返回 結(jié)束 下面先用一個一維的例子說明歐氏距離與馬氏距離在概率上的差異。設有兩個一維正態(tài)總體 。若有一個樣品，其值在A處，A點距離哪個總體近些呢？由圖1-2圖1-231.1.2 統(tǒng)計距離和馬氏距離 目錄 上頁 下頁 返回 結(jié)束 由圖1-2可看出,從絕對長度來看,A點距左面總體G1近些

13、,即A點到 比A點到 要“近一些”（這里用的是歐氏距離，比較的是A點坐標與 到 值之差的絕對值），但從概率觀點來看，A點在 右側(cè)約4 處，A點在 的左側(cè)約3 處，若以標準差的觀點來衡量，A點離 比A點離 要“近一些”。顯然，后者是從概率角度上來考慮的，因而更為合理些，它是用坐標差平方除以方差（或說乘以方差的倒數(shù)），從而化為無量綱數(shù)，推廣到多維就要乘以協(xié)方差陣的逆矩陣 ，這就是馬氏距離的概念，以后將會看到，這一距離在多元分析中起著十分重要的作用。 32.1.2 統(tǒng)計距離和馬氏距離馬氏距離 設X、Y從均值向量為，協(xié)方差陣為的總體G中抽取的兩個樣品，定義X、Y兩點之間的馬氏距離為(1.21) )()

14、(),(1/2YXYXYX-=-dmXG(1.22) )()(),(1/2XXX-=-Gdm的馬氏距離為與總體定義 目錄 上頁 下頁 返回 結(jié)束 33.1.2 統(tǒng)計距離和馬氏距離 設 表示一個點集， 表示距離，它 是到 的函數(shù)，可以證明,馬氏距離符合如下距離的四條基本公理 :；（1） ， （2） 當且僅當 ； （3） （4） 目錄 上頁 下頁 返回 結(jié)束 34. 1.3 多元正態(tài)分布 多元正態(tài)分布是一元正態(tài)分布的推廣。迄今為止,多元分析的主要理論都是建立在多元正態(tài)總體基礎上的,多元正態(tài)分布是多元分析的基礎。另一方面，許多實際問題的分布常是多元正態(tài)分布或近似正態(tài)分布，或雖本身不是正態(tài)分布，但它的

15、樣本均值近似于多元正態(tài)分布。 本節(jié)將介紹多元正態(tài)分布的定義，并簡要給出它的基本性質(zhì)。 目錄 上頁 下頁 返回 結(jié)束 35. 1.3 多元正態(tài)分布 目錄 上頁 下頁 返回 結(jié)束 1.3.1多元正態(tài)分布的定義1.3.2多元正態(tài)分布的性質(zhì)1.3.3條件分布和獨立性36.1.3.1 多元正態(tài)分布的定義|為協(xié)差陣的行列式。 目錄 上頁 下頁 返回 結(jié)束 定義1.5：若 元隨機向量 的概率密度函數(shù)為： 則稱 遵從 元正態(tài)分布，也稱X為 元正態(tài)變量。記為37. 定理1.1將正態(tài)分布的參數(shù)和賦于了明確的統(tǒng)計意義。有關這個定理的證明可參見文獻3。 多元正態(tài)分布不止定義1.5一種形式，更廣泛地可采用特征函數(shù)來定義

16、，也可用一切線性組合均為正態(tài)的性質(zhì)來定義等，有關這些定義的方式參見文獻3。 目錄 上頁 下頁 返回 結(jié)束 1.3.1 多元正態(tài)分布的定義 定理1.1：設 則 38.1.3.2 多元正態(tài)分布的性質(zhì) 目錄 上頁 下頁 返回 結(jié)束 1、如果正態(tài)隨機向量 的協(xié)方差陣是對角陣，則X的各分量是相互獨立的隨機變量。證明參見文獻4，p.33。 容易驗證， ，但 顯然不是正態(tài)分布。 2、多元正態(tài)分布隨機向量X的任何一個分量子集的分布（稱為X的邊緣分布）仍然遵從正態(tài)分布。而反之，若一個隨機向量的任何邊緣分布均為正態(tài)，并不能導出它是多元正態(tài)分布。例如，設 有分布密度39. 1.3.2 多元正態(tài)分布的性質(zhì) 目錄 上頁

17、 下頁 返回 結(jié)束 3、多元正態(tài)向量 的任意線性變換仍然遵從多元正態(tài)分布。即設 ，而 維隨機向量 ，其中 是 階的常數(shù)矩陣， 是 維的常向量。則 維隨機向量 也是正態(tài)的，且 。即 遵從 元正態(tài)分布，其均值向量為 ，協(xié)差陣為 。 4、若 ，則 若為定值，隨著 的變化其軌跡為一橢球面，是 的密度函數(shù)的等值面.若 給定，則 為 到 的馬氏距離。 40. 1.3.3 條件分布和獨立性 目錄 上頁 下頁 返回 結(jié)束 我們希望求給定 的條件分布，即 的分布。下一個定理指出：正態(tài)分布的條件分布仍為正態(tài)分布。設 p2,將X、和剖分如下：41.證明參見文獻3。 目錄 上頁 下頁 返回 結(jié)束 1.3.3 條件分布

18、和獨立性定理1.2：設 ，0，則 42. (1.28) 目錄 上頁 下頁 返回 結(jié)束 1.3.3 條件分布和獨立性定理1.3：設 ，0，將X，剖分如下：43.則 有如下的條件均值和條件協(xié)差陣的遞推公式：(1.29) (1.30) 其中 ， 證明參見3 目錄 上頁 下頁 返回 結(jié)束 1.3.3 條件分布和獨立性44.服裝標準例子45.定理1.2和定理1.3在20世紀70年代中期為國家標準部門制定服裝標準時有成功的應用，見參考文獻3。在制定服裝標準時需抽樣進行人體測量，現(xiàn)從某年齡段女子測量取出部分結(jié)果如下： X1：身高，X2：胸圍，X3：腰圍，X4：上體長，X5：臀圍，已知它們遵從N5（，），其中

19、 46.47.48.再利用（1.30）式得 49.這說明,若已知一個人的上體的長和臀圍,則身高、胸圍和腰圍的條件方差比原來的方差大大縮小。 此時我們可看到 50. 在定理1.2中，我們給出了對X、和作形如(1.25)式剖分時條件協(xié)差陣 的表達式及其與非條件協(xié)差陣的關系，令 表示 的元素，則可以定義偏相關系數(shù)的概念如下： 定義1.6：當 給定時， 與 的偏相關系數(shù)為： 目錄 上頁 下頁 返回 結(jié)束 1.3.3 條件分布和獨立性51. 偏相關系數(shù) 以x1表示某種商品的銷售量， x2表示消費者人均可支配收入， x3表示商品價格。從經(jīng)驗上看，銷售量x1與消費者人均可支配收入x2之間應該有正相關，簡單相

20、關系數(shù)r12應該是正的。但是如果你計算出的r12是個負數(shù)也不要感到驚訝，這是因為還有其它沒有被固定的變量在發(fā)揮影響，例如商品價格x3在這期間大幅提高了。反映固定x3后x1與x2相關程度的偏相關系數(shù)r12；3會是個正數(shù)。52. 1.3.3 條件分布和獨立性在上面制定服裝標準的例子中，給定X4和X5的偏相關系數(shù)為： 53. 目錄 上頁 下頁 返回 結(jié)束 1.3.3 條件分布和獨立性 定理1.4：設 將X、按同樣方式剖分為 其中， 證明參見文獻354.1.4 均值向量和協(xié)方差陣的估計 上節(jié)已經(jīng)給出了多元正態(tài)分布的定義和有關的性質(zhì),在實際問題中,通常可以假定被研究的對象是多元正態(tài)分布,但分布中的參數(shù)和

21、是未知的,一般的做法是通過樣本來估計。 目錄 上頁 下頁 返回 結(jié)束 55.1.4 均值向量和協(xié)方差陣的估計均值向量的估計 在一般情況下,如果樣本資料陣為： 目錄 上頁 下頁 返回 結(jié)束 56.1.4 均值向量和協(xié)方差陣的估計 即均值向量的估計量,就是樣本均值向量.這可由極大似然法推導出來。推導過程參見文獻3。 目錄 上頁 下頁 返回 結(jié)束 設樣品 相互獨立,同遵從于P元正態(tài)分布 ,而且 ,0,則總體參數(shù)均值的估計量是57.1.4 均值向量和協(xié)方差陣的估計協(xié)方差陣的估計總體參數(shù)協(xié)差陣的極大似然估計是 目錄 上頁 下頁 返回 結(jié)束 58.1.4 均值向量和協(xié)方差陣的估計 目錄 上頁 下頁 返回

22、結(jié)束 其中L是離差陣，它是每一個樣品（向量）與樣本均值（向量）的離差積形成的n個 階對稱陣的和。同一元相似， 不是的無偏估計，為了得到無偏估計我們常用樣本協(xié)差陣 作為總體協(xié)差陣的估計。 59.1.5常用分布及抽樣分布 多元統(tǒng)計研究的是多指標問題,為了了解總體的特征,通過對總體抽樣得到代表總體的樣本,但因為信息是分散在每個樣本上的,就需要對樣本進行加工,把樣本的信息濃縮到不包含未知量的樣本函數(shù)中,這個函數(shù)稱為統(tǒng)計量,如前面介紹的樣本均值向量 、樣本離差陣 等都是統(tǒng)計量.統(tǒng)計量的分布稱為抽樣分布. 在數(shù)理統(tǒng)計中常用的抽樣分布有 分布、 分布和 分布.在多元統(tǒng)計中,與之對應的分布分別為Wishart

23、分布、 分布和Wilks分布. 目錄 上頁 下頁 返回 結(jié)束 60.1.5常用分布及抽樣分布1.5.2 分布與 分布1.5.1 分布與Wishart分布1.5.3 中心分布與Wilks分布 目錄 上頁 下頁 返回 結(jié)束 61.分布有兩個重要的性質(zhì):1.5.1 分布與Wishart分布 在數(shù)理統(tǒng)計中,若 ( ),且相互獨立,則 所服從的分布為自由度為 的 分布(chi squared distribution),記為 . 目錄 上頁 下頁 返回 結(jié)束 1、若 , 且相互獨立,則稱為相互獨立 的具有可加性62. 2. 設 ( ),且相互獨立, 為 個 階對稱陣,且 (階單位陣),記 , 則 為相互

24、獨立的 分布的充要條件為 .此時 , . 這個性質(zhì)稱為Cochran定理,在方差分析和回歸分析中起著重要作用. 目錄 上頁 下頁 返回 結(jié)束 1.5.1 分布與Wishart分布63. (1.32) 定義1.7 設 相互獨立,且 ,記 ,則隨機矩陣： 所服從的分布稱為自由度為 的 維非中心Wishart分布,記為 , 其中, , , 稱為非中心參數(shù),當 時稱為中心Wishart分布,記為m 目錄 上頁 下頁 返回 結(jié)束 1.5.1 分布與Wishart分布64. 由Wishart分布的定義知,當 時, 退化為 ,此時中心Wishart分布就退化為 ,由此可以看出, Wishart分布實際上是

25、分布在多維正態(tài)情形下的推廣.下面不加證明的給出Wishart分布的5條重要性質(zhì): 個隨機樣本, 為樣本均值, 樣本離差陣為維正態(tài)總體1.若 是從中抽取的, 則.相互獨立.和(1) (2) , 目錄 上頁 下頁 返回 結(jié)束 1.5.1 分布與Wishart分布65.3.若,為非奇異陣,則,為任一4.若元常向量,滿足則 目錄 上頁 下頁 返回 結(jié)束 1.5.1 分布與Wishart分布2.若 且相互獨立,則66.特別的,設 和 分別為 和 的第 個對角元,則： 5. 若 , 為任一 元非零常向量,比值 目錄 上頁 下頁 返回 結(jié)束 1.5.1 分布與Wishart分布67.1.5.2 分布與 分布 在數(shù)理統(tǒng)計中,若 , ,且 與 相互獨立,則稱 服從自由度為 的 分布,又稱為學生分布(student distribu