多元分析的基本原理

多元分析的基本原理第1頁，共43頁，2023年，2月20日，星期一第八章

多元分析的基本原理本章學(xué)習(xí)要點(diǎn)本章內(nèi)容結(jié)構(gòu)

第2頁，共43頁，2023年，2月20日，星期一第一節(jié)

概述

一什么是多元分析

1多變量系統(tǒng)（1）產(chǎn)品的指標(biāo)（2）教育系統(tǒng)（3）單變量分析(如圖所示)

（4）單變量分析的困難：變量的相關(guān)性第3頁，共43頁，2023年，2月20日，星期一2多元分析法（1）變量相關(guān)性的例子：P180

有相關(guān)性，但是又不能用一個確定的方程描述相互關(guān)系（2）多元分析法：P181

（3）例子第4頁，共43頁，2023年，2月20日，星期一二多元分析法的分類（從應(yīng)用的角度）

1用于求綜合特性的多元分析法研究的關(guān)鍵是：多個變量的綜合特性主要方法有：主成分分析、相關(guān)分析

2用于預(yù)測的多元分析法研究的關(guān)鍵是：通過對多個變量的綜合研究，進(jìn)行系統(tǒng)預(yù)測主要方法有：多元回歸法、因子分析法、判別函數(shù)法第5頁，共43頁，2023年，2月20日，星期一三多元分析在教育中的應(yīng)用

1需求

2應(yīng)用舉例

3發(fā)展動態(tài)第6頁，共43頁，2023年，2月20日，星期一第二節(jié)

回歸分析

零：引入1多變量之間的關(guān)系確定的函數(shù)關(guān)系，變量之間的關(guān)系可以通過計(jì)算直接得到不確定的相關(guān)關(guān)系，教育中的例子很多2回歸分析的任務(wù)用確定的函數(shù)關(guān)系來描述多個相關(guān)變量之間的關(guān)系3回歸分析的分類（根據(jù)回歸函數(shù)的不同）

第7頁，共43頁，2023年，2月20日，星期一一直線回歸（一元線性回歸）1線性回歸方程

y=ax+b

其中a、b為回歸系數(shù)，通過n(大于2)組樣本數(shù)據(jù)，可以計(jì)算出a、b。(如果x、y是確定的函數(shù)關(guān)系,n只需要為2：P184）2樣本數(shù)據(jù)（觀測值）設(shè)n=3，有（x1,y1）（x2,y2）（x3,y3）三組數(shù)據(jù)把x1、x2、x3分別代入回歸方程，得到三個對應(yīng)的計(jì)算值y第8頁，共43頁，2023年，2月20日，星期一3觀測值y與計(jì)算值y的差異

三組差異分別是：第9頁，共43頁，2023年，2月20日，星期一4求回歸系數(shù)（1）對誤差求極值（使誤差最?。└腻e：P184(a、b互換位置)，經(jīng)整理得：改錯：P185(a、b互換位置)第10頁，共43頁，2023年，2月20日，星期一（2）回歸系數(shù)

第11頁，共43頁，2023年，2月20日，星期一5寫出回歸方程并進(jìn)行預(yù)測6例：（三個學(xué)生的數(shù)學(xué)、物理成績）（1）設(shè)樣本數(shù)據(jù)為(70,75)、(80,85)、(90,90)（2）計(jì)算回歸系數(shù)得：a=0.75，b=23.3（3）寫出回歸方程：y=0.75x+23.3(4）進(jìn)行預(yù)測設(shè)某學(xué)生數(shù)學(xué)考試得：x=85，預(yù)測物理成績得：y=0.75*85+23.3=87第12頁，共43頁，2023年，2月20日，星期一第13頁，共43頁，2023年，2月20日，星期一7一般情況[樣本數(shù)由3變?yōu)閚（n>3）]通過完全一樣的方法，公式（8—5）變?yōu)椋焊腻e：(a、b互換位置)最后得回歸系數(shù)：改錯：(a、b互換位置)第14頁，共43頁，2023年，2月20日，星期一二多元線性回歸

1線性回歸方程

y=a0+a1x1+a2x2+….+apxp

其中a0、a1、a2….ap為回歸系數(shù)，通過m(大于p)組樣本數(shù)據(jù)，可以計(jì)算出回歸系數(shù)。

2樣本數(shù)據(jù)（觀測值）(x11,x12,….x1p,z1),,,,(xm1,xm2,….xmp,zm）把xi1、xi2…..xip分別代入回歸方程，得到對應(yīng)的計(jì)算值yi第15頁，共43頁，2023年，2月20日，星期一3觀測值zi與計(jì)算值yi的差異第16頁，共43頁，2023年，2月20日，星期一根據(jù)微分學(xué)中的極值原理，a0,a1,,,ap應(yīng)是下列方程的解第17頁，共43頁，2023年，2月20日，星期一經(jīng)整理，得：第18頁，共43頁，2023年，2月20日，星期一4求回歸系數(shù)再整理上述方程，得：………第19頁，共43頁，2023年，2月20日，星期一上述方程組用矩陣表示，得：當(dāng)(X’X)滿秩時(即|X’X|≠0),逆矩陣(X’X)-1存在,系數(shù)矩陣A可以表示為：第20頁，共43頁，2023年，2月20日，星期一其中A=(a0,a1,a1,,,,ap)’,稱為回歸方程的系數(shù)矩陣（一列矩陣）而矩陣X則為：而X’是X的轉(zhuǎn)置矩陣，Z是個一列矩陣第21頁，共43頁，2023年，2月20日，星期一三多項(xiàng)式回歸（略）四指數(shù)回歸（略）第22頁，共43頁，2023年，2月20日，星期一五回歸分析的應(yīng)用1一元線性回歸

(1)樣本測量值

(2)計(jì)算回歸系數(shù)得，a=12（這里a=R）,b=0

(3)寫出回歸方程：U=12I(如圖所示)

(4)進(jìn)行預(yù)測:設(shè)某次測量電流得I=0.8,預(yù)測電壓得：U=12*0.8=9.6第23頁，共43頁，2023年，2月20日，星期一2多元線性回歸（1）樣本數(shù)據(jù)（取自1979年某高考班）設(shè)考生的物理成績?yōu)橐蜃兞?z)，語文(x1)、數(shù)學(xué)(x2)、政治(x3)15個考生的測量；測量成績?nèi)缦拢╩=15,p=3）：編號語文數(shù)學(xué)政治物理 編號 語文數(shù)學(xué)政治物理1 61.5315932 9 50.53267572 35 23 40.58 10 57.53047．5373 56.5 40 53 69 11 47 5863 684 35 19 58.5 21 12 28 2852 275 50.5 60 49 66 13 58 2272 41641.5 15 59 41 14 36 2339 207 59 46 68.557 15 453353308 41 26 557 第24頁，共43頁，2023年，2月20日，星期一（2)

計(jì)算回歸系數(shù)根據(jù)矩陣公式計(jì)算得a0=-44.6023,a1=0.4166,a2=0.9729,a3=0.5780（3）回歸方程

y=-44.6023+0.4166*x1+0.9729*x2+0.5780*x3(4）進(jìn)行預(yù)測某學(xué)生考試成績：語文=40，數(shù)學(xué)=90，政治=60

預(yù)測物理成績?yōu)閥=94.4第25頁，共43頁，2023年，2月20日，星期一第五節(jié)聚類分析

分類學(xué)：根據(jù)事物性質(zhì)進(jìn)行分類，性質(zhì)相近的分在一類，性質(zhì)差別大的分在不同的類一般分類方法的缺陷：往往帶有主觀性和任意性，不能揭示客觀事物內(nèi)在的本質(zhì)聯(lián)系和差別多元統(tǒng)計(jì)的應(yīng)用：形成了數(shù)值分類學(xué)注：本節(jié)選用另一教材，與本書略有不同（數(shù)據(jù)矩陣行、列相反）第26頁，共43頁，2023年，2月20日，星期一一基本原理（系統(tǒng)聚類法，此外還有動態(tài)聚類法）1設(shè)有n個樣品，m個指標(biāo)，有數(shù)據(jù)矩陣：第27頁，共43頁，2023年，2月20日，星期一2規(guī)格化變換（使各個指標(biāo)權(quán)重相同，即同等重要）

其中的兩個極值分別是第j列最大值和最小值結(jié)果：每一列數(shù)據(jù)的最大值為1，最小值為0。然后，重新構(gòu)造矩陣，仍用X表示注：也可不做規(guī)格化處理直接用原始數(shù)據(jù)，各指標(biāo)權(quán)重可能不同第28頁，共43頁，2023年，2月20日，星期一3確定距離（親疏關(guān)系）（1）距離的性質(zhì)多元統(tǒng)計(jì)分析中的距離dij（樣品Xi和Xj之間的距離）滿足下列3個性質(zhì)：①

dij≥0,對一切Xi、Xj，當(dāng)且僅當(dāng)Xi=Xj時，有dij=0；②

dij=dji,即Xi與Xj的距離=Xj與Xi的距離；③

對于樣品Xi、Xj、Xk，有dij≤dik+dkj,這是幾何學(xué)中三角不等式的推廣（任意兩邊之和大于第三邊）。第29頁，共43頁，2023年，2月20日，星期一任意兩個樣品距離越小，說明它們越接近（一致），計(jì)算距離的方法很多，主要有歐氏距離、馬氏距離（P98）、B-模距離、閔可夫斯基距離（參見<<應(yīng)用數(shù)理統(tǒng)計(jì)>>吳國防科技大學(xué)出版社：P271（2）

歐氏距離（我們只介紹歐氏距離）表示第i個樣品與第j個樣品之間的距離（矩陣表示形式）（一般表示形式）第30頁，共43頁，2023年，2月20日，星期一（3）距離矩陣（按上述方法分別算出任意兩個樣品之間的距離）該矩陣共有n行、n列第31頁，共43頁，2023年，2月20日，星期一4開始聚類（初始為n類，每個樣品為1類）①從D中找出一個最小值（最小距離法）涉及到的兩個類；②在數(shù)據(jù)矩陣X中，把上述兩類合并成一類，兩組數(shù)據(jù)取平均值，總的類就減少了一個；③重新計(jì)算D（實(shí)際上只要計(jì)算剛合并的那個類與其他各類的距離）④重復(fù)①、②、③，直到所有的樣品都?xì)w為一類或者歸為所需要的類為止。5畫出聚類譜系圖第32頁，共43頁，2023年，2月20日，星期一二應(yīng)用例(10名學(xué)生三次測驗(yàn)成績,要求為4類)1原始數(shù)據(jù)及規(guī)格化數(shù)據(jù)第33頁，共43頁，2023年，2月20日，星期一2計(jì)算距離矩陣

第34頁，共43頁，2023年，2月20日，星期一3開始聚類

(1)開始,第5類和第6類的距離最小(＝0.1919）,把第5類和第6類聚類

(2)現(xiàn)在還有9個類，數(shù)據(jù)如下：第35頁，共43頁，2023年，2月20日，星期一(3)重新計(jì)算距離矩陣（實(shí)際上只要計(jì)算（5，6）合類與其它各類的距離）

第36頁，共43頁，2023年，2月20日，星期一(4)此時，第2類和第9類的距離最小(=0.2266）,把第2類和第9類聚類(5)現(xiàn)在還有8個類，數(shù)據(jù)如下：

第37頁，共43頁，2023年，2月20日，星期一（6）依次類推，重復(fù)上述步驟，經(jīng)過6次聚類之后，可得最后4個類的距離矩陣

第38頁，共43頁，2023年，2月20日，星期一4畫出聚類譜系圖

第39頁，共43頁，2023年，2月20日，星期一本章小結(jié)： 多元統(tǒng)計(jì)方法比較符合教育應(yīng)用中的許多問題，按照具體的技術(shù)方法，我們主要介紹了一元和多元回歸分析、主成分分析、聚類分析，這些方法的