三-常用的統(tǒng)計(jì)分析方法課件

1、常用的統(tǒng)計(jì)分析方法一 回歸分析研究變量（指標(biāo)）之間關(guān)系的一種統(tǒng)計(jì)方法，也就是要建立一個(gè)變量和另一個(gè)變量（或幾個(gè)變量）之間的數(shù)學(xué)表達(dá)式。一元線性回歸 對(duì)斜率檢驗(yàn)的假設(shè)是，總體回歸系數(shù)b=0。檢驗(yàn)該假設(shè)的t值計(jì)算公式是： 對(duì)截距檢驗(yàn)的假設(shè)是，總體回歸方程截距a=0。檢驗(yàn)該假設(shè)的t值計(jì)算公式是：在兩公式中，SEb是回歸系數(shù)的標(biāo)準(zhǔn)誤。SEa是截距的標(biāo)準(zhǔn)誤。1 一元線性回歸方程最優(yōu)線性回歸方程：常用的方法是最小二乘法，也就是使直線與各點(diǎn)的縱向距離最小，即使實(shí)測(cè)值y與 之差的平方和 達(dá)到最小，因此，求回歸方程問(wèn)題，歸根結(jié)底就是求 最小時(shí)a和b的問(wèn)題。A稱為截距，b為回歸直線的斜率，它們又稱為回歸系數(shù)。2

2、一元回歸方程的檢驗(yàn)（1）回歸系數(shù)的顯著性檢驗(yàn)一元線性回歸（2）R2判定系數(shù) （3）方差分析 表明判定系數(shù)等于回歸平方和在總平方和中所占的比率，體現(xiàn)了回歸模型所解釋的因變量變異的百分比。如果R2 0.775，說(shuō)明變異中又77.5是由變量x引起的。 R2 1表明因變量與自變量為函數(shù)關(guān)系。 R2 0，表示自變量與因變量無(wú)線性關(guān)系。 (a) (b) (c) (d)(e) (f) (g)一元線性回歸各種殘差與預(yù)測(cè)值關(guān)系示意圖以預(yù)測(cè)值為橫軸，測(cè)定值與預(yù)測(cè)值之間的誤差（殘差）為縱軸，繪制殘差的散點(diǎn)圖例：在某鉑礦氧化帶的探槽中，采集了18個(gè)樣品，分析其中鉑與砷含量，其結(jié)果見(jiàn)表12345678910111213

3、1415161718Y1.591.691.811.891.491.893.132.312.660.852.281.152.220.30.780.30.30.3X0.40.780.540.540.540.651.0410.70.30.600.7800.540.540-0.03由圖可見(jiàn)，它們之間呈現(xiàn)線性關(guān)系Y=a+bX 若用則實(shí)測(cè)值Y與Yi間，就會(huì)有誤差：最小二乘法原理：誤差平方和達(dá)到最小的回歸直線是最好的?；貧w方程：Y=0.433+2.146X 回歸分析是研究隨機(jī)變量對(duì)其它變量（可以是隨機(jī)變量，也可以是確定性變量）的依賴關(guān)系的一種統(tǒng)計(jì)分折方法。雖然回歸分析與相關(guān)分析之間有微小的區(qū)別，人們常常把它

4、們統(tǒng)稱為回歸分析或相關(guān)分析?；貧w分析主要解決以下幾方面的問(wèn)題： （1）建立回歸方程 b0b1X1b2X2bpXp （2）討論回歸方程中各自變量的作用，或者說(shuō)檢驗(yàn) 每個(gè)自變量對(duì)回歸的貢獻(xiàn)大小。 （3）最優(yōu)回歸方程的選擇。 （4）對(duì)因變量y的預(yù)測(cè)或控制。二 多元回歸分析多元線性回歸的概念1 多元回歸分析的模型 （1）校正R2判定系數(shù)的公式 其中k為自變量的個(gè)數(shù)，n為觀測(cè)量數(shù)目 偏回歸系數(shù)和常數(shù)項(xiàng)的t檢驗(yàn)的公式 2 多元線性回歸分析中的統(tǒng)計(jì)指標(biāo)（2）ZeroOrder（3）Part Correlation（4） Partial Correlation回歸菜單線性回歸主對(duì)話框Dependent：因變量

5、Independent：自變量Enter：強(qiáng)行進(jìn)入法，候選自變量全部納入模型，不作任何篩選。Stepwise：逐步法Remove：強(qiáng)制剔除法Backward：向后法Forward：向前法WLS Weight：加權(quán)最小二乘法的回歸分析設(shè)定運(yùn)算規(guī)則對(duì)話框選入一個(gè)篩選變量，并利用右側(cè)的Rules鈕建立一個(gè)選擇條件，這樣，滿足該條件的記錄才會(huì)進(jìn)入回歸分析。當(dāng)然，也可以通過(guò)Data菜單中的Select Case過(guò)程來(lái)選擇記錄，兩者功能是等價(jià)的。輸出統(tǒng)計(jì)量對(duì)話框Estimates：可輸出回歸系數(shù)及其標(biāo)準(zhǔn)誤，t值、p值，還有標(biāo)準(zhǔn)化回歸系數(shù)Beta；Confidence intervals：輸出每個(gè)回歸系數(shù)的

6、95%的可信區(qū)間；Covariance Matrix：輸出各個(gè)自變量的相關(guān)矩陣和方差、協(xié)方差矩陣。Model fit：模型擬和過(guò)程中進(jìn)入、退出的變量的列表，以及有關(guān)擬和優(yōu)度的檢驗(yàn)。選擇對(duì)話框Use probability of F采用F檢驗(yàn)的概率值作為判據(jù)，圖中為系統(tǒng)默認(rèn)值。檔一個(gè)變量的Sig值Entry值時(shí)，該變量被引入回歸方程，當(dāng)Sig值Removal值時(shí)，該變量從回歸方程剔除。注意：Entry值要小于Removal值，且必須大于0簡(jiǎn)單散點(diǎn)圖對(duì)話框圖散點(diǎn)圖示例例： 四川某鉑族元素礦區(qū)，該礦區(qū)內(nèi)的基性、超基性巖漿巖具有明顯的鉑族元素礦化特征，請(qǐng)用逐步回歸分析方法，求出Pt含量與其它元素的回歸

7、方程。線性回歸方程： y=0.010X1-16.154X2+168.944自變量: Pt 例：某鎢礦床礦石定量分析結(jié)果及WO3預(yù)報(bào)值 統(tǒng)計(jì)分析得線性回歸方程：y 49.21795.709X24.732X7獨(dú)立變量 WO3二 相 關(guān) 分 析 Correlations 相關(guān)分析的概念與相關(guān)分析過(guò)程基本概念：Pearson積矩相關(guān) Spearman相關(guān)系數(shù) 式中Ri是第i個(gè)x值的秩，Si是第i個(gè)y值的秩。分別是Ri和Si的平均值。相關(guān)系數(shù)是描述線性相關(guān)關(guān)系強(qiáng)弱程度和方向的統(tǒng)計(jì)量。1 正態(tài)分布的等間隔測(cè)度的變量X和y間相關(guān)系數(shù)2 數(shù)據(jù)分布不滿足正態(tài)分布的條件是Pearson相關(guān)系數(shù)的非參數(shù)形式，是根據(jù)

8、數(shù)據(jù)的秩而不是根據(jù)實(shí)際值計(jì)算的基本概念：Kendalls tau-b ：其中 ti（或ui）是x（或y）的第i 組結(jié)點(diǎn)x（或y）值的數(shù)目，n為觀測(cè)量數(shù)。*如果數(shù)據(jù)不滿足正態(tài)分布的條件，應(yīng)使用Spearman和Kendall相關(guān)分析方法基本概念：關(guān)于相關(guān)系數(shù)統(tǒng)計(jì)意義的檢驗(yàn) 式中r是相關(guān)系數(shù)，n是樣本觀測(cè)量數(shù)，n2是自由度。當(dāng)tt0.05(n-2)時(shí)，pt0.05(n-k-2)時(shí)，p0.05拒絕原假設(shè) 偏相關(guān)分析的主對(duì)話框偏相關(guān)的選擇項(xiàng)對(duì)話框偏相關(guān)應(yīng)用實(shí)例輸出1 四川綿陽(yáng)地區(qū)3年生中山柏的數(shù)據(jù)，分析月生長(zhǎng)量與月平均氣溫、月降雨量、月平均日照時(shí)數(shù)、月平均濕度這四個(gè)氣候因素哪個(gè)因素有關(guān)。數(shù)據(jù)來(lái)源于袁佳

9、祖編著灰色系統(tǒng)理論，數(shù)據(jù)編號(hào)data10-03。 各變量的描述統(tǒng)計(jì)量生長(zhǎng)量與各變量間Pearson相關(guān)分析結(jié)果距 離 分 析Distance 距離分析的主對(duì)話框圖不相似性距離測(cè)度選擇項(xiàng)對(duì)話框 相似性測(cè)度選擇項(xiàng)對(duì)話框 距離分析實(shí)例 觀測(cè)量間的歐氏距離 變量間不相似性分析例題輸出變量間的不相似性測(cè)度 標(biāo)準(zhǔn)化后的歐氏距離變量間的相似性測(cè)度例題相關(guān)系數(shù)矩陣注意使用輔助方法GraphScatter三 聚類分析 定義：根據(jù)研究對(duì)象（樣品或變量）的多種特征在數(shù)值上可能存在著的相似性程度，將它們聚合為不同的點(diǎn)群的一種多元統(tǒng)計(jì)分析方法。 分類：聚類分析按其研究對(duì)象的不同可分為兩類：一類是對(duì)樣品分類，稱Q型分析；

10、另一類是對(duì)變量分類，稱R型分析。 距離尺度（1）距離系數(shù)Z 把n個(gè)研究對(duì)象（個(gè)體）表示為m維坐標(biāo)空間中的n個(gè)點(diǎn)，很自然這些點(diǎn)之間的歐氏距離可用來(lái)度量?jī)蓛牲c(diǎn)之間的親疏關(guān)系，即兩點(diǎn)之間的空間距離愈近，它們就愈相似。（2）相關(guān)系數(shù)rij 相關(guān)系數(shù)rij是第i個(gè)樣品與第j個(gè)樣品的相關(guān)程度的一種度量 聚類分析一般步驟：（1）選擇描述事物對(duì)象的變量（或指標(biāo)）。要求選取的變量既要能夠全面反映對(duì)象性質(zhì)的各個(gè)方面，又要使不同變量反映的對(duì)象性質(zhì)有所差別。（2）形成數(shù)據(jù)文件，建立樣品資料矩陣。（3）確定數(shù)據(jù)是否需要標(biāo)準(zhǔn)化。（4）確定表示對(duì)象距離或相似程度的統(tǒng)計(jì)量。（5）選擇適當(dāng)?shù)氖挛飳?duì)象聚類方法，進(jìn)行聚類。例5.3

11、 由圖可見(jiàn)，SiO2、Mo、Cu、Ag屬于一類；CaO、MgO屬于一類。前一類為礦化作用帶進(jìn)圍巖中的組分，并富集形成銅鉬礦。后一類CaO、MgO為圍巖成分 。 各種聚類分析過(guò)程的位置 1 TwoStep Cluster兩步聚類，可以分析大數(shù)據(jù)文件；2 KMeans Cluster快速聚類分析過(guò)程，僅對(duì)現(xiàn)測(cè)量進(jìn)行快速聚類；3 Hierarchical Cluster進(jìn)行樣本聚類和變量聚類的過(guò)程；4 Discriminate進(jìn)行判別分析的過(guò)程。兩 步 聚 類Two Step Cluster兩步聚類分析主對(duì)話框 要求模型中的變量是獨(dú)立的，分變量是多項(xiàng)式分布，連續(xù)變量是正態(tài)分布。Categoreica

12、l：分類變量Continuous Variables：連續(xù)型變量Distance Measure：計(jì)算兩類間相似程度的算法。快 速 樣 本 聚 類 K-Means Cluster QUICK CLUSTER過(guò)程 K-Means Cluster Analysis主對(duì)話框 分 層 聚 類 Hierarchical Cluster 尺度變量距離計(jì)算方法舉例Euclidean distance（歐氏距離） Squared Euclidean distance（歐氏距離平方） Pearson correlation（皮爾遜相關(guān)） 計(jì)數(shù)變量對(duì)的不相似性測(cè)度的方法舉例 Chi-square measure（

13、2測(cè)度） Phi-square measure（兩組頻數(shù)間的2測(cè)度） 二值變量的距離或不相似性測(cè)度的約定 首先應(yīng)該明確，對(duì)二值變量，系統(tǒng)默認(rèn)用1表示某特性的出現(xiàn)（或發(fā)生、存在等），用0表示某特性不出現(xiàn)（或不發(fā)生、不存在）。(2) 對(duì)二值變量的相似性或不相似性測(cè)度都基于一個(gè)四格表。第二特性第一特性發(fā)生不發(fā)生發(fā)生ab不發(fā)生cd二值變量的距離或不相似性測(cè)度方法舉例 Euclidean distance，二值歐氏距離 根據(jù)四格表計(jì)算SQRT(b+c) Squared Euclidean distance，二值歐氏距離平方 Size difference，不對(duì)稱指數(shù)，其值范圍在01之間 Pattern

14、difference 根據(jù)四格表計(jì)算bc/n2 Variance，方差不相似性測(cè)度 根據(jù)四格表計(jì)算(b+c)/4n Dispersion，是一個(gè)相似性指數(shù) 分層聚類分析主對(duì)話框 分層聚類分析的方法選擇對(duì)話框 聚類方法選擇”下拉菜單測(cè)度連續(xù)變量距離的方法 測(cè)度二值變量距離和相似性的方法 對(duì)數(shù)值進(jìn)行標(biāo)準(zhǔn)化的方法選擇菜單選擇輸出統(tǒng)計(jì)量的對(duì)話框 選擇統(tǒng)計(jì)圖表的對(duì)話框 四 因子分析與對(duì)應(yīng)分析 FACTOR 主成分分析與因子分析概述 身高體重?cái)?shù)據(jù) 變量觀測(cè)量i身高h(yuǎn)體重w1h1w12h2w23h3w34h4w4nhnwn主成分概念示意圖 用p1一個(gè)指標(biāo)來(lái)代替原始變量h、w研究n個(gè)觀測(cè)對(duì)象的差異。p1、p2

15、可以用原始變量h、w的線性組合來(lái)表示： 主成分分析與因子分析概述 變量j觀測(cè)量ix1x2x3x4x5xm1x11x12x13x14x15x1m2x21x22x23x24x25x2m3x31x32x33X34x35x3m4x41x42x43X44x45x4m5x51x52x53x54x55x5mnxn1xn2xn3xn4xn5xnm參與因子分析的觀測(cè)量與變量數(shù)據(jù) 推廣到一般情況，實(shí)測(cè)變量X1-Xm，共測(cè)得n個(gè)觀測(cè)數(shù)據(jù)主成分分析中的主要統(tǒng)計(jì)量 主成分分析與因子分析概述第i個(gè)特征值 關(guān)于特征方程的根 主成分分析與因子分析概述第i個(gè)成分的貢獻(xiàn)率：前k個(gè)成分的累計(jì)貢獻(xiàn)率 主成分分析與因子分析概述為第i個(gè)成分和第j個(gè)變量的相關(guān)系數(shù)載荷(loading)因子分析的概念設(shè)有原始變量：x1，x2，x3，xm。它們與潛在因子之間的關(guān)系可以表示為 其中z1zm為m個(gè)潛在因子，共性因子 ； e1em為個(gè)性因子 因子分析的概念公因子數(shù)為k，初始因