多元統(tǒng)計(jì)分析人大何曉群第一章.ppt

1、2020/8/1，1，2020/8/1，2，第1章多元正態(tài)分布，從頭到尾，1.1多元分布的基本概念，1.2統(tǒng)計(jì)距離和馬氏距離，1.3多元正態(tài)分布，1.4平均向量和協(xié)方差矩陣的估計(jì)，1.5共同分布和抽樣分布，2020/8/1同樣，多元正態(tài)分布在多元統(tǒng)計(jì)中起著重要的作用。原因是：許多隨機(jī)向量確實(shí)遵循正態(tài)分布，或者近似遵循正態(tài)分布；對(duì)于多元正態(tài)分布，已經(jīng)有了一套統(tǒng)計(jì)推斷方法，并獲得了許多完整的結(jié)果。目錄的上一頁(yè)返回到末尾，2020/8/1，4，第1章多元正態(tài)分布，多元正態(tài)分布是最常用的多元概率分布。此外，還有多元對(duì)數(shù)正態(tài)分布、多項(xiàng)式分布、多元超幾何分布、多元分布、多元分布、多元指數(shù)分布等。本章從多維

2、變量和多元正態(tài)分布的基本概念入手，重點(diǎn)介紹了多元正態(tài)分布的定義和一些重要性質(zhì)。從上一頁(yè)到下一頁(yè)的返回結(jié)束，2020/8/1，5，1.1多元分布的基本概念，從上一頁(yè)到下一頁(yè)的返回結(jié)束，1.1.1隨機(jī)向量，1.1.2分布函數(shù)和密度函數(shù)，1.1.3多元變量的獨(dú)立性，1.1.4隨機(jī)向量的數(shù)字特征，2020/8/4如果觀察一個(gè)個(gè)體，可以獲得下面表1-1中的數(shù)據(jù)，這意味著每個(gè)個(gè)體的變量是一個(gè)樣本，所有樣本假設(shè)我們正在討論多個(gè)變量的總和，并且所研究的數(shù)據(jù)是通過(guò)同時(shí)觀察兩個(gè)指標(biāo)(即變量)并進(jìn)行二次觀察而獲得的。這個(gè)指標(biāo)表示為一個(gè)公共向量，返回的結(jié)尾是從目錄的上一頁(yè)到下一頁(yè)。查看表1-1，記住它代表第一個(gè)樣品的

3、觀察值。垂直查看表1-1，列中的元素表示變量n次的觀測(cè)值。以下是表1-1。目錄上一頁(yè)的返回結(jié)束，1.1.1隨機(jī)向量，以及2020/8/1，8，1.1.1隨機(jī)向量。因此，樣本數(shù)據(jù)矩陣可以用矩陣語(yǔ)言表示為：從目錄的上一頁(yè)到下一頁(yè)的返回結(jié)束。除非另有說(shuō)明，本書所指的向量是指列向量，定義為2020/8/1，9，1.1.2分布函數(shù)和密度函數(shù)，描述隨機(jī)變量最基本的工具是分布函數(shù)，描述隨機(jī)向量最基本的工具是分布函數(shù)。目錄的首頁(yè)返回到末尾，這里省略了多元分布函數(shù)的相關(guān)屬性。定義1.2假設(shè)它是一個(gè)隨機(jī)向量，并且它的多元分布函數(shù)是，其中：2020/8/1，10，1.1.2分布函數(shù)和密度函數(shù)，目錄的上一頁(yè)返回到末尾

4、，定義1.3:如果有一個(gè)非負(fù)函數(shù)，那么它被稱為(，p維變量的函數(shù)f()可以用作隨機(jī)向量的分布密度，如果并且僅當(dāng)，2020/8/1，11，1.1.3 上一頁(yè)到下一頁(yè)的返回結(jié)束、定義了1.4:兩個(gè)隨機(jī)向量的和是相互獨(dú)立的，如果、是為所有事物建立的。 如果是的聯(lián)合分布函數(shù)，分別是和的分布函數(shù)，那么和是獨(dú)立的當(dāng)且僅當(dāng)(1.4)，如果有密度，那么和是獨(dú)立的當(dāng)且僅當(dāng)(1.5)，2020/8/1，12，1.1.4隨機(jī)向量是一個(gè)稱為均值向量的P維向量。如果存在，我們定義隨機(jī)向量x的平均值為：2020/8/1，13，1.1.4，隨機(jī)向量的返回在目錄的頂部和底部結(jié)束，2，隨機(jī)向量自協(xié)方差矩陣，稱為維數(shù)隨機(jī)向量的協(xié)

5、方差矩陣，或簡(jiǎn)稱隨機(jī)向量的協(xié)方差矩陣。它被稱為廣義方差，是協(xié)方差矩陣的決定值。，2020/8/1，14，從上一頁(yè)返回到下一頁(yè)的末尾，1.1.4隨機(jī)向量的數(shù)字特征，3，隨機(jī)向量X和y的協(xié)方差矩陣，分別讓它們是維隨機(jī)向量，它們之間的協(xié)方差矩陣被定義為矩陣，并且其元素是，即，當(dāng)a和b是常數(shù)矩陣時(shí)，它由1.1.4隨機(jī)向量的數(shù)字特征決定，(3)讓X是維隨機(jī)向量，并且有期望和協(xié)方差的規(guī)則。對(duì)于任何隨機(jī)向量，其協(xié)方差矩陣是對(duì)稱的，并且總是非負(fù)定的(也稱為半正定的)。在大多數(shù)情況下是肯定的。2020/8/1/16，從上一頁(yè)返回到下一頁(yè)結(jié)束，1.1.4隨機(jī)向量的數(shù)字特征，4，隨機(jī)向量的相關(guān)矩陣x如果隨機(jī)向量的協(xié)

6、方差矩陣存在并且每個(gè)分量的方差大于零，則x的相關(guān)矩陣被定義為：這也稱為分量和之間的(線性)相關(guān)系數(shù)。2020/8/1，17，在數(shù)據(jù)處理中，為了克服不同維度的指標(biāo)對(duì)統(tǒng)計(jì)分析結(jié)果的影響，往往需要在使用一定的統(tǒng)計(jì)分析方法之前對(duì)每個(gè)指標(biāo)進(jìn)行“標(biāo)準(zhǔn)化”，即進(jìn)行以下轉(zhuǎn)換，目錄的前一頁(yè)返回到末尾，1.1.4隨機(jī)向量的數(shù)字特征，2020/8/1，11后一頁(yè)的末尾，歐氏距離，馬氏距離，2020/8/1，19，1.2統(tǒng)計(jì)距離和大多數(shù)多元方法都是基于簡(jiǎn)單的距離概念。也就是歐幾里得距離，或者說(shuō)直線距離，這是人們平時(shí)所熟悉的。例如，幾何平面上從點(diǎn)p=(x1，x2)到原點(diǎn)O=(0，0)的歐氏距離，根據(jù)畢達(dá)哥拉斯定理，上一

7、頁(yè)到下一頁(yè)的返回結(jié)束，而統(tǒng)計(jì)距離和馬氏距離在2020年8月1日，20日，1.2，但是就大多數(shù)統(tǒng)計(jì)問(wèn)題而言，歐氏距離是不令人滿意的。這里，每個(gè)坐標(biāo)對(duì)歐氏距離的貢獻(xiàn)是相等的。當(dāng)坐標(biāo)軸代表測(cè)量值時(shí)，它們通常具有不同大小的隨機(jī)波動(dòng)。在這種情況下，合理的方法是對(duì)坐標(biāo)進(jìn)行加權(quán)，使得變化較大的坐標(biāo)比變化較小的坐標(biāo)具有較小的加權(quán)系數(shù)，從而導(dǎo)致不同的距離。歐氏距離還有另一個(gè)缺點(diǎn)，即當(dāng)每個(gè)分量都是一個(gè)具有不同性質(zhì)的量時(shí)，“距離”的大小實(shí)際上與指數(shù)的單位有關(guān)。目錄的上一頁(yè)和下一頁(yè)的返回結(jié)束，2020年8月1日的統(tǒng)計(jì)距離和馬氏距離，1.2，以及目錄的上一頁(yè)和下一頁(yè)的返回結(jié)束，例如，橫軸表示重量(以千克為單位)，縱軸表

8、示長(zhǎng)度(以厘米為單位)。如圖1.1所示，有四個(gè)點(diǎn)a、b、c和d，它們的坐標(biāo)如圖1.1所示。距離和馬哈拉諾比斯距離在2020年8月1日、22日和1.2日計(jì)算，返回目錄的下一頁(yè)結(jié)束。此時(shí)，AB明顯比CD長(zhǎng)。因此，光盤比AB長(zhǎng)！這顯然不合理?，F(xiàn)在，如果以毫米為單位，單位保持不變，此時(shí)，A坐標(biāo)為(0，50)，C坐標(biāo)為(0，100)，則距離和馬氏距離將在2020年8月1日，23日，1.2計(jì)算，目錄的上一頁(yè)和下一頁(yè)的返回將結(jié)束。因此，有必要建立一個(gè)距離，似乎我們選擇的距離取決于樣本方差和協(xié)方差。因此，術(shù)語(yǔ)“統(tǒng)計(jì)距離”被用來(lái)區(qū)分歐幾里得距離。最常用的統(tǒng)計(jì)距離是印度統(tǒng)計(jì)學(xué)家馬哈拉諾比斯在1936年引入的距離，

9、它被稱為馬哈拉諾比斯距離。2020/8/1，24，1.2統(tǒng)計(jì)距離和馬氏距離，目錄的首頁(yè)返回到末尾，并使用一維示例來(lái)說(shuō)明歐氏距離和馬氏距離之間的概率差異。有兩個(gè)一維正常人口。如果有一個(gè)樣本的值為a，那么a更接近哪個(gè)種群？從圖1-2，圖1-2，2020/8/1，25，1.2，統(tǒng)計(jì)距離和馬氏距離，目錄的上一頁(yè)和下一頁(yè)的返回結(jié)束，從圖1-2可以看出，從絕對(duì)長(zhǎng)度來(lái)看，點(diǎn)A更接近左G1整體，也就是說(shuō)，點(diǎn)A比點(diǎn)A“更接近”(這里使用的是歐幾里德距離，顯然，后者是從概率的角度考慮的，所以更合理。它將坐標(biāo)差的平方除以方差(或乘以方差的倒數(shù))，然后轉(zhuǎn)化為無(wú)量綱數(shù)。當(dāng)它推廣到多維時(shí)，它將乘以協(xié)方差矩陣的逆矩陣。這就

10、是馬氏距離的概念，它將在多元分析中發(fā)揮非常重要的作用。2020/8/1，26，1.2統(tǒng)計(jì)距離和馬氏距離，讓X和Y從均值向量為且協(xié)方差矩陣為的總體G中取兩個(gè)樣本，并將X和Y之間的馬氏距離定義為，上一頁(yè)和下一頁(yè)的返回結(jié)束，2020/8/1，27，1.2統(tǒng)計(jì)距離和馬氏距離。(3)，(4)，從上一頁(yè)返回到下一頁(yè)的結(jié)尾，2020/8/1，28，1.3多元正態(tài)分布，多元正態(tài)分布是一元正態(tài)分布的推廣。到目前為止，多元分析的主要理論是基于多元正態(tài)總體，多元正態(tài)分布是多元分析的基礎(chǔ)。另一方面，許多實(shí)際問(wèn)題的分布往往是多元正態(tài)分布或近似正態(tài)分布，或者雖然不是正態(tài)分布，但其樣本均值與多元正態(tài)分布相似。本節(jié)將介紹多元

11、正態(tài)分布的定義，并簡(jiǎn)要給出其基本性質(zhì)。從上一頁(yè)返回到下一頁(yè)的目錄結(jié)束，多元正態(tài)分布于2020年8月1日1.3，從上一頁(yè)返回到下一頁(yè)的目錄結(jié)束，多元正態(tài)分布的定義于2020年8月1日1.3.1，| |是協(xié)方差矩陣的行列式。從上一頁(yè)返回到下一頁(yè)的結(jié)尾，定義1.5:如果元隨機(jī)向量的概率密度函數(shù)為：則稱其符合元正態(tài)分布，x也稱為p元正態(tài)變量。值得注意的是，2020年8月1日，定理1.1給出了正態(tài)分布參數(shù)和的顯式統(tǒng)計(jì)意義。這個(gè)定理的證明可以在參考文獻(xiàn)3中找到。多元正態(tài)分布不僅可以用1.5來(lái)定義，還可以用特征函數(shù)來(lái)定義，還可以用所有線性組合都是正態(tài)等性質(zhì)來(lái)定義。關(guān)于這些定義的方式，請(qǐng)參見(jiàn)文件3。1.3.1

12、多元正態(tài)分布的定義，定理1.1:假設(shè)，2020/8/1，32，1.3.2多元正態(tài)分布的性質(zhì)，1。如果正態(tài)隨機(jī)向量的協(xié)方差矩陣是對(duì)角矩陣，那么X的每個(gè)分量都是一個(gè)獨(dú)立的隨機(jī)變量。有關(guān)證明，請(qǐng)參見(jiàn)第33頁(yè)的參考4。很容易驗(yàn)證，但它顯然不是正態(tài)分布。多元正態(tài)分布隨機(jī)向量X的任何分量子集的分布(稱為X的邊分布)仍然服從正態(tài)分布。相反，如果隨機(jī)向量的任何邊分布是正態(tài)的，就不能推斷它是多元正態(tài)分布。例如，給定分布密度，2020/8/1，33，1.3.2多元正態(tài)分布，4，如果它是一個(gè)固定值，它的軌跡是一個(gè)隨變化的橢球，這是密度函數(shù)的等值面。如果給定的話，它就是馬哈拉諾比斯距離。多元正態(tài)向量的任意線性變換仍然

13、服從多元正態(tài)分布。即m維隨機(jī)向量，它是mp階的常數(shù)矩陣，b是m維的常數(shù)向量。m維隨機(jī)向量z也是正常的。也就是說(shuō)，z遵循m元狀態(tài)分布，其平均向量為，協(xié)方差矩陣為。2020/8/1，34，1.3.3條件分布和獨(dú)立性，目錄返回到最后的前一頁(yè)，我們希望找到給定的條件分布，即分布的。下一個(gè)定理指出正態(tài)分布的條件分布仍然是正態(tài)分布。讓p2除以x，如下所示：2020/8/1/35，有關(guān)證明，請(qǐng)參見(jiàn)參考文獻(xiàn)3。1.3.3條件分布和獨(dú)立性，定理1.2: let，0，然后，2020/8/1，36、(1.28)，目錄背對(duì)背，1.3.3條件分布和獨(dú)立性，定理1.3: let，0然后有以下條件均值和條件協(xié)方差矩陣的遞歸

14、公式：(1.29)、(1.30)。有關(guān)證明，請(qǐng)參見(jiàn)定理1.2中的3，從上一頁(yè)返回到下一頁(yè)的結(jié)束，1.3.3條件分布和獨(dú)立性，2020年8月1日，38，當(dāng)x和和被分解為(1.25)時(shí)，我們給出了條件協(xié)方差矩陣的表達(dá)式及其與非條件協(xié)方差矩陣的關(guān)系。讓所表示的元素將偏相關(guān)系數(shù)的概念定義如下：定義1.6:給定時(shí)，和的偏相關(guān)系數(shù)為：上一頁(yè)的返回結(jié)束，1.3.3條件分布和獨(dú)立性，2020。從上一頁(yè)到下一頁(yè)的返回結(jié)束，1.3.3條件分布和獨(dú)立性，定理1.4:讓x，以相同的方式分成，其中，為了證明，參見(jiàn)參考文獻(xiàn)3，2020/8/1，40，1.4中的平均向量和協(xié)方差矩陣的估計(jì)，多元正態(tài)分布的定義和相關(guān)性質(zhì)已在前面的部分給出，從上一頁(yè)到下一頁(yè)的返回結(jié)束，2020年8月1日的平均向量和協(xié)方差矩陣的估計(jì)一般情況下，如果樣本數(shù)據(jù)矩陣為：從上一頁(yè)返回到下一頁(yè)的結(jié)束，則均值向量和協(xié)方差矩陣的估計(jì)在2020年8月1日42，1.4，即均值向量的估計(jì)為樣本均值向量。推導(dǎo)過(guò)程見(jiàn)參考文獻(xiàn)3。返回結(jié)束，讓樣本彼此獨(dú)立并遵循p元正態(tài)分布，此外，如果為0，則總體參數(shù)的平均值的估計(jì)為，2020/8/1，43，1.4，平均向量和協(xié)方差矩陣的估計(jì)，協(xié)方差矩陣的估計(jì)，以及總體參數(shù)的協(xié)方差矩陣的最大似然估計(jì)為，返回結(jié)束，2020，1.4平均向量和協(xié)方差矩陣的估計(jì)，