多元統(tǒng)計(jì)分析方法

多元統(tǒng)計(jì)分析方法主要內(nèi)容主成分分析因子分析判別分析聚類分析主成分分析主要思想:減少指標(biāo)個(gè)數(shù)，將多個(gè)指標(biāo)組合形成幾個(gè)較少的綜合指標(biāo)希望得到的綜合指標(biāo)之間互不相關(guān)希望綜合之后能絕大部分的保留原有的信息主成分分析設(shè)p維隨機(jī)變量 的協(xié)方差矩陣為由高代的知識(shí)有,必存在正交矩陣 ,使其中向量為為特征值,其對(duì)應(yīng)的特征的對(duì)應(yīng)列。主成分分析作變換的協(xié)方差矩陣為說(shuō)明 的各個(gè)分量之間是互不相關(guān)的,且對(duì) 的第i個(gè)分量的方差為主成分分析 是對(duì) 作的正交變換,是可逆的,因此他們包含的信息也是相等的。隨機(jī)變量包含的信息由方差大小來(lái)衡量,因此衡量總信息的多少主成分分析稱為 的第j個(gè)主成分,為主成分 的貢獻(xiàn)率,稱的累計(jì)貢獻(xiàn)率。為主成分分析實(shí)際一般從貢獻(xiàn)率大的主成分開(kāi)始選擇,依次選 擇直到累計(jì)貢獻(xiàn)率達(dá)到85%以上,當(dāng)然也可以根 據(jù)自己的選擇和要求來(lái)確定最低的累計(jì)貢獻(xiàn)率。第i個(gè)主成分實(shí)際上是p個(gè)原始變量的線性組合, 線性組合的權(quán)重是正交矩陣的第i列的對(duì)應(yīng)元 素。因子分析模型形式為因子分析假設(shè)有?因子分析不妨假設(shè)記的影響,而 說(shuō)明特其中 說(shuō)明公共因子對(duì) 殊因子的影響。記說(shuō)明公共因子 對(duì) 的影響,是度量這個(gè)公共因 子作用的重要尺度。因子分析矩陣A的統(tǒng)計(jì)意義如下:因子分析假設(shè)已知記可以證明因子分析在實(shí)際中,只知道樣本的協(xié)方差矩陣對(duì)協(xié)方差矩陣做譜分解其中因子分析先取第一個(gè)特征值和相應(yīng)特征向量,檢查是否接近于對(duì)角矩陣,如果接近,則表明公共因子只有一個(gè),剩下的都是特殊因子的影響。如果不接近對(duì)角矩陣,那么考慮取第二個(gè)特征值和相應(yīng)特征向量,檢查因子分析如何判定對(duì)角矩陣,可以設(shè)定一個(gè)很小的值,比 如0.001,如果矩陣的非對(duì)角元都比它小,則可 以近似認(rèn)為該矩陣是一個(gè)對(duì)角陣如果最后滿足條件為則認(rèn)為有k個(gè)公共因子。主成分和因子分析的比較它們的目的是相同的。選擇標(biāo)準(zhǔn)不一樣,主成分分析是讓剩余方差的總和比較小,而因子分析是讓剩余的協(xié)方差矩陣近似為對(duì)角陣。如果能得到兩者的統(tǒng)一最好。在很多統(tǒng)計(jì)軟件中沒(méi)有單獨(dú)列出主成分分析的內(nèi)容,而是包括在因子分析中。判別分析有G個(gè)總體，每個(gè)總體中的個(gè)體都含有p項(xiàng)指標(biāo)， 各總體的分布函數(shù)分別為:對(duì)給定的一個(gè)屬于未知類屬的個(gè)體，希望由它的p個(gè)指標(biāo)的觀測(cè)值來(lái)判別它的類屬。判別分析距離判別Bayes（貝葉斯）判別Fisher（費(fèi)歇）判別距離判別以簡(jiǎn)單的兩總體來(lái)說(shuō)明問(wèn)題。設(shè)有兩個(gè)p維總體A1.A2，它們分別服從現(xiàn)有一個(gè)來(lái)自二總體之一的一個(gè)個(gè)體要判斷它來(lái)自哪個(gè)總體？？？？距離判別馬氏距離:個(gè)體到總體的距離為距離判別的思想即求出馬氏距離之后，看哪個(gè)值小 就判定此個(gè)體屬于哪個(gè)總體。但有誤差，因此一般 只有兩個(gè)總體的均值之間有顯著性差異的時(shí)候才使 用距離判別。推廣到多個(gè)總體時(shí)思想是一樣的，也可以推廣到非 正態(tài)總體，只要二階矩存在就可以。實(shí)際問(wèn)題中的距離判別問(wèn)題實(shí)際問(wèn)題中，各個(gè)總體的均值和協(xié)方差矩陣都是未知的。需要先從各個(gè)總體中抽出一些樣本，根據(jù)樣本來(lái)估計(jì)各個(gè)總體的均值和相同的協(xié)方差矩陣，然后以這些估計(jì)來(lái)計(jì)算相應(yīng)的馬氏距離。實(shí)際中不是比較他們的距離，而是根據(jù)總體的性質(zhì)確定出兩個(gè)總體的接受域。如果各個(gè)總體的方差不相等怎么辦？？Bayes判別在各個(gè)總體的分布密度和先驗(yàn)概率已知的情形下使 用。是目前使用最多的判別方法之一。Bayes判別Bayes判別可以證明Bayes判別的劃分為如下:函數(shù) 具有明顯的概率意義,它表示來(lái)自總體 的樣品錯(cuò)分到 的平均損失,上式也說(shuō)明總的平 均損失達(dá)到最小與每個(gè)的平均損失最小是等價(jià)的。Fisher判別假設(shè)有k個(gè)p維總體,Fisher判別的思想為 找一個(gè)p維向量V,得到線性判別函數(shù)Fisher判別Fisher判別Fisher判別令則 相當(dāng)一元方差分析中的組間差，而 相當(dāng) 于組內(nèi)差，由前面講的Fisher判別的思想有？？？？Fisher判別要選擇U使得 盡量大，而 盡量小，即選擇U 使得下式達(dá)到極大:Fisher判別