方差分析與回歸分析

關(guān)于方差分析與回歸分析第1頁，課件共138頁，創(chuàng)作于2023年2月2方差分析(Analysisofvariance,簡稱:ANOVA),是由英國統(tǒng)計學家費歇爾(Fisher)在20世紀20年代提出的,可用于推斷兩個或兩個以上總體均值是否有差異的顯著性檢驗.第2頁，課件共138頁，創(chuàng)作于2023年2月39.1單因素方差分析例1.1

為了比較三種不同類型日光燈管的壽命(小時),現(xiàn)將從每種類型日光燈管中抽取8個,總共24個日光燈管進行老化試驗,根據(jù)下面經(jīng)老化試驗后測算得出的各個日光燈管的壽命(小時)，試判斷三種不同類型日光燈管的壽命是不是有存在差異.第3頁，課件共138頁，創(chuàng)作于2023年2月4日光燈管的壽命(小時)類型壽命(小時)類型I52906210574050005930612060805310類型II58405500598062506470599054705840類型.III71306660634064707580656072906730引起日光燈管壽命不同的原因有二個方面:其一,由于日光燈類型不同,而引起壽命不同.其二,同一種類型日光燈管,由于其它隨機因素的影響,也使其壽命不同.第4頁，課件共138頁，創(chuàng)作于2023年2月5在方差分析中,通常把研究對象的特征值,即所考察的試驗結(jié)果(例如日光燈管的壽命)稱為試驗指標.對試驗指標產(chǎn)生影響的原因稱為因素,“日光燈管類型”即為因素.因素中各個不同狀態(tài)稱為水平,如日光燈管三個不同的類型,即為三個水平.第5頁，課件共138頁，創(chuàng)作于2023年2月6單因素方差分析僅考慮有一個因素A對試驗指標的影響.假如因素A有r個水平,分別在第i水平下進行了多次獨立觀測,所得到的試驗指標的數(shù)據(jù)第6頁，課件共138頁，創(chuàng)作于2023年2月7各個總體相互獨立.因此,可寫成如下的數(shù)學模型:第7頁，課件共138頁，創(chuàng)作于2023年2月8

方差分析的目的就是要比較因素A

的r個水平下試驗指標理論均值的差異,問題可歸結(jié)為比較這r個總體的均值差異.第8頁，課件共138頁，創(chuàng)作于2023年2月9檢驗假設(shè)不全相等.第9頁，課件共138頁，創(chuàng)作于2023年2月10假設(shè)等價于不全為零.第10頁，課件共138頁，創(chuàng)作于2023年2月11為給出上面的檢驗，主要采用的方法是平方和分解。即假設(shè)數(shù)據(jù)總的差異用總離差平方和分解為二個部分:

一部分是由于因素A引起的差異,即效應(yīng)平方和；另一部分則由隨機誤差所引起的差異，即誤差平方和

.第11頁，課件共138頁，創(chuàng)作于2023年2月12第12頁，課件共138頁，創(chuàng)作于2023年2月13證明：

第13頁，課件共138頁，創(chuàng)作于2023年2月14第14頁，課件共138頁，創(chuàng)作于2023年2月15第15頁，課件共138頁，創(chuàng)作于2023年2月16第16頁，課件共138頁，創(chuàng)作于2023年2月17第17頁，課件共138頁，創(chuàng)作于2023年2月18定理9.1.1第18頁，課件共138頁，創(chuàng)作于2023年2月19方差來源平方和自由度均方F因素Ar-1誤差n-r總和n-1單因素試驗方差分析表第19頁，課件共138頁，創(chuàng)作于2023年2月20第20頁，課件共138頁，創(chuàng)作于2023年2月21

例1.2設(shè)有5種治療蕁麻疹的藥，要比較它們的療效。假設(shè)將30個病人分成5組，每組6人，令同組病人使用一種藥，并記錄病人從使用藥物開始到痊愈所需時間，得到下面的記錄：(=0.05)第21頁，課件共138頁，創(chuàng)作于2023年2月22藥物類型治愈所需天數(shù)x15，8，7，7，10，824，6，6，3，5，636，4，4，5，4，347，4，6，6，3，559，3，5，7，7，6第22頁，課件共138頁，創(chuàng)作于2023年2月23這里藥物是因子，共有5個水平，這是一個單因素方差分析問題，要檢驗的假設(shè)是“所有藥物的效果都沒有差別”。

第23頁，課件共138頁，創(chuàng)作于2023年2月24第24頁，課件共138頁，創(chuàng)作于2023年2月25方差來源平方和自由度均方F因素A36.46749.1173.90誤差58.500252.334總和94.96729第25頁，課件共138頁，創(chuàng)作于2023年2月26未知參數(shù)的估計第26頁，課件共138頁，創(chuàng)作于2023年2月27第27頁，課件共138頁，創(chuàng)作于2023年2月28置信區(qū)間第28頁，課件共138頁，創(chuàng)作于2023年2月29第29頁，課件共138頁，創(chuàng)作于2023年2月30第30頁，課件共138頁，創(chuàng)作于2023年2月31假設(shè)檢驗第31頁，課件共138頁，創(chuàng)作于2023年2月32第32頁，課件共138頁，創(chuàng)作于2023年2月33例1.4(續(xù)1.2)(1)判斷第一種、第二種藥物的差異；

(2)判斷第一種、第三種藥物的差異；

(3)判斷第三種、第五種藥物的差異；解：僅檢驗(1)，(2)和(3)留作思考題.第33頁，課件共138頁，創(chuàng)作于2023年2月34第34頁，課件共138頁，創(chuàng)作于2023年2月35在Excel上實現(xiàn)方差分析先加載''數(shù)據(jù)分析"這個模塊,方法如下:在excel工作表中點擊主菜單中“工具”點擊下拉式菜單中“加載宏”就會出現(xiàn)一個“加載宏”的框.

在“分析工具庫”前的框內(nèi)打勾點擊“確定”.這時候再點擊下拉式菜單會新出現(xiàn)“數(shù)據(jù)分析”.然后就可以進行統(tǒng)計分析了.第35頁，課件共138頁，創(chuàng)作于2023年2月36以下面的例子來說明用Excel進行方差分析的方法:保險公司某一險種在四個不同地區(qū)一年的索賠額情況記錄如表所示.試判斷在四個不同地區(qū)索賠額有無顯著的差異?第36頁，課件共138頁，創(chuàng)作于2023年2月37保險索賠記錄地區(qū)索賠額(萬元)A11.601.611.651.681.701.701.78A21.501.641.401.701.75A31.641.551.601.621.641.601.741.80A41.511.521.531.571.641.60第37頁，課件共138頁，創(chuàng)作于2023年2月38在Excel工作表中輸入上面的數(shù)據(jù)點擊主菜單中“工具”點擊下拉式菜單中“數(shù)據(jù)分析”就會出現(xiàn)一個“數(shù)據(jù)分析”的框.

點擊菜單中“方差分析:單因素方差分析”點擊“確定”,出現(xiàn)“方差分析:單因素方差分析”框.第38頁，課件共138頁，創(chuàng)作于2023年2月39在“輸入?yún)^(qū)域”中標定你已經(jīng)輸入的數(shù)據(jù)的位置(本例為$B$3:$I$6),根據(jù)你輸入數(shù)據(jù)分組情況(是按行分或按列分,本例點擊“行”)確定分組.選定方差分析中F檢驗的顯著水平選定輸出結(jié)果的位置點擊“確定”.

在你指定的區(qū)域中出現(xiàn)如下兩張表:第39頁，課件共138頁，創(chuàng)作于2023年2月40組觀測數(shù)求和平均方差行1行2行3行4758611.727.9913.199.371.6741.5981.6491.5620.00380.02100.00670.0026表一：摘要第40頁，課件共138頁，創(chuàng)作于2023年2月41方差來源平方和自由度均方FP-valueFcrit組間0.049230.01642.16590.12083.0491

組內(nèi)0.1666220.0076總計0.215825表二：方差分析表第41頁，課件共138頁，創(chuàng)作于2023年2月42根據(jù)Excel給出的方差分析表,假設(shè)H0的判別有二種方法:第42頁，課件共138頁，創(chuàng)作于2023年2月43第43頁，課件共138頁，創(chuàng)作于2023年2月44第44頁，課件共138頁，創(chuàng)作于2023年2月45方差分析的前提進行方差分析必須具備三個基本的條件：(1)獨立性.數(shù)據(jù)是來自r個獨立總體的簡單隨機樣本；(2)正態(tài)性.r個獨立總體均為正態(tài)總體；(3)方差齊性.r個獨立總體的方差相等.如何判斷這些條件是否成立？這些條件對于方差分析的結(jié)論影響又是如何？第45頁，課件共138頁，創(chuàng)作于2023年2月46方差分析和其它統(tǒng)計推斷一樣,樣本的獨立性對方差分析是非常重要的,在實際應(yīng)用中會經(jīng)常遇到非隨機樣本的情況,這時使用方差分析得出的結(jié)論不可靠.因此,在安排試驗或采集數(shù)據(jù)的過程中,一定要注意樣本的獨立性問題.第46頁，課件共138頁，創(chuàng)作于2023年2月47在實際中,沒有一個總體真正服從正態(tài)分布的,而方差分析卻依賴于正態(tài)性的假設(shè).不過由經(jīng)驗可知,方差分析F檢驗對正態(tài)性的假設(shè)并不是非常敏感,即,實際所得到的數(shù)據(jù),若沒有異常值和偏性,或者說,數(shù)據(jù)顯示的分布比較對稱的話,即使樣本容量比較小(如每個水平下的樣本容量僅為5左右),方差分析的結(jié)果仍是值得信賴的.第47頁，課件共138頁，創(chuàng)作于2023年2月48方差齊性對于方差分析是非常重要的,因此在方差分析之前往往要進行方差齊性的診斷,檢驗方差齊性假設(shè)通常采用Barlett檢驗.不過，也可采用如下的經(jīng)驗準則:當最大樣本標準差不超過最小樣本標準差的兩倍時,方差分析F檢驗結(jié)果近似正確.第48頁，課件共138頁，創(chuàng)作于2023年2月499.4一元線性回歸一、確定性關(guān)系：當自變量給定一個值時，就確定應(yīng)變量的值與之對應(yīng)。如：在自由落體中，物體下落的高度h與下落時間t之間有函數(shù)關(guān)系：

變量與變量之間的關(guān)系

第49頁，課件共138頁，創(chuàng)作于2023年2月50二、相關(guān)性關(guān)系：

變量之間的關(guān)系并不確定，而是表現(xiàn)為具有隨機性的一種“趨勢”。即對自變量x的同一值，在不同的觀測中，因變量Y可以取不同的值，而且取值是隨機的，但對應(yīng)x在一定范圍的不同值，對Y進行觀測時，可以觀察到Y(jié)隨x的變化而呈現(xiàn)有一定趨勢的變化。為統(tǒng)一記號，后面一律用y表示因變量.第50頁，課件共138頁，創(chuàng)作于2023年2月51如：身高與體重，不存在這樣的函數(shù)可以由身高計算出體重，但從統(tǒng)計意義上來說，身高者，體也重。如：父親的身高與兒子的身高之間也有一定聯(lián)系,通常父親高，兒子也高。第51頁，課件共138頁，創(chuàng)作于2023年2月52我們以一個例子來建立回歸模型某戶人家打算安裝太陽能熱水器.為了了解加熱溫度與燃氣消耗的關(guān)系,記錄了16個月燃氣的消耗量,數(shù)據(jù)見下表.第52頁，課件共138頁，創(chuàng)作于2023年2月53

月份平均加熱溫度燃氣用量

月份平均加熱溫度燃氣用量Nov.246.3Jul.01.2Dec.5110.9Aug.11.2Jan.438.9Sep.62.1Feb.337.5Oct.123.1Mar.265.3Nov.306.4Apr.134Dec.327.2May.41.7Jan.5211Jun.01.2Feb.306.9第53頁，課件共138頁，創(chuàng)作于2023年2月54第54頁，課件共138頁，創(chuàng)作于2023年2月55如果以加熱溫度作為橫軸,以消耗燃氣量作為縱軸,得到散點圖的形狀大致呈線性.如果假設(shè)中間有一條直線，這些點均勻地散布在直線的兩側(cè).表示除了溫度外還有其它的因素影響燃氣消耗量.第55頁，課件共138頁，創(chuàng)作于2023年2月56在回歸分析時,我們稱“燃氣消耗量”為響應(yīng)變量記為y,“加熱溫度”為解釋變量記為x,由所得數(shù)據(jù)計算相關(guān)系數(shù)得r=0.995,表明加熱溫度與燃氣消耗之間有非常好的線性相關(guān)性.第56頁，課件共138頁，創(chuàng)作于2023年2月57加熱溫度x的變化是引起燃氣消耗量y變化的主要因素,還有其他一些因素對燃氣消耗量y也起著影響,但這些因素是次要的.從數(shù)學形式來考慮,由于加熱溫度x的變化而引起燃氣消耗量y變化的主要部分記為β0+β1x，其中β0,β1是未知參數(shù)，另一部分是由其他隨機因素引起的記為ε,即y=β0+β1x+ε.第57頁，課件共138頁，創(chuàng)作于2023年2月58對從總體(x,y)中抽取的一個樣本(x1,y1),(x2,y2),…,(xn,yn)一元線性回歸模型:第58頁，課件共138頁，創(chuàng)作于2023年2月59在模型假定下yi(i=1,2,…,n)也是相互獨立,服從正態(tài)分布N(β0+β1xi,σ2)

.由所得樣本可給出未知參數(shù)β0,β1的點估計,分別記為稱為y關(guān)于x的一元線性回歸方程.第59頁，課件共138頁，創(chuàng)作于2023年2月60第60頁，課件共138頁，創(chuàng)作于2023年2月61一元線性回歸要解決的問題：第61頁，課件共138頁，創(chuàng)作于2023年2月62參數(shù)估計第62頁，課件共138頁，創(chuàng)作于2023年2月63整理得正規(guī)方程系數(shù)行列式第63頁，課件共138頁，創(chuàng)作于2023年2月64第64頁，課件共138頁，創(chuàng)作于2023年2月65第65頁，課件共138頁，創(chuàng)作于2023年2月66

在誤差為正態(tài)分布假定下，的最小二乘估計等價于極大似然估計。第66頁，課件共138頁，創(chuàng)作于2023年2月67采用最大似然估計給出參數(shù)的估計與最小二乘法給出的估計完全一致。采用最大似然估計給出誤差的估計如下：此估計不是的無偏估計。第67頁，課件共138頁，創(chuàng)作于2023年2月68例3.1K.Pearson收集了大量父親身高與兒子身高的資料。其中十對如下：父親身高x（吋）60626465666768707274兒子身高y（吋）63.665.26665.566.967.167.468.370.170求y關(guān)于x的線性回歸方程。第68頁，課件共138頁，創(chuàng)作于2023年2月69第69頁，課件共138頁，創(chuàng)作于2023年2月70參數(shù)性質(zhì)第70頁，課件共138頁，創(chuàng)作于2023年2月71即為正態(tài)隨機變量的線性組合，所以服從正態(tài)分布。證明（1）第71頁，課件共138頁，創(chuàng)作于2023年2月72（2）類似可得。第72頁，課件共138頁，創(chuàng)作于2023年2月73（3）回歸方程顯著性檢驗

采用最小二乘法估計參數(shù)，并不需要事先知道y與x之間一定具有相關(guān)關(guān)系。因此μ(x)是否為x的線性函數(shù)：一要根據(jù)專業(yè)知識和實踐來判斷，二要根據(jù)實際觀察得到的數(shù)據(jù)用假設(shè)檢驗方法來判斷。第73頁，課件共138頁，創(chuàng)作于2023年2月74（1）影響y取值的，除了x，還有其他不可忽略的因素；（2）E(y)與x的關(guān)系不是線性關(guān)系，而是其他關(guān)系；（3）y與x不存在關(guān)系。若原假設(shè)被拒絕，說明回歸效果是顯著的，否則，若接受原假設(shè)，說明y與x不是線性關(guān)系，回歸方程無意義?；貧w效果不顯著的原因可能有以下幾種：第74頁，課件共138頁，創(chuàng)作于2023年2月75第75頁，課件共138頁，創(chuàng)作于2023年2月76第76頁，課件共138頁，創(chuàng)作于2023年2月77回歸方程的檢驗采用方差分析方法:令描述之間的總的差異大小，稱SST為總平方和。第77頁，課件共138頁，創(chuàng)作于2023年2月78將總平方和分解為兩部分：可以證明：SST=SSR+SSE稱為回歸平方和稱為殘差平方和第78頁，課件共138頁，創(chuàng)作于2023年2月79第79頁，課件共138頁，創(chuàng)作于2023年2月80第80頁，課件共138頁，創(chuàng)作于2023年2月81第81頁，課件共138頁，創(chuàng)作于2023年2月82第82頁，課件共138頁，創(chuàng)作于2023年2月83采用t檢驗回歸系數(shù)的檢驗第83頁，課件共138頁，創(chuàng)作于2023年2月84例3.2檢驗例3.1中回歸效果是否顯著，取α=0.05。第84頁，課件共138頁，創(chuàng)作于2023年2月85(4)回歸系數(shù)的置信區(qū)間由第85頁，課件共138頁，創(chuàng)作于2023年2月86第86頁，課件共138頁，創(chuàng)作于2023年2月87回歸參數(shù)估計和顯著性檢驗的Excel實現(xiàn)

例3.3（續(xù))前面我們已經(jīng)分析了加熱溫度與燃氣消耗量之間的關(guān)系,認為兩者具有較好的線性關(guān)系,下面我們進一步建立燃氣消耗量(響應(yīng)變量)與加熱溫度(解釋變量)之間的回歸方程.采用Excel中的“數(shù)據(jù)分析”模塊.第87頁，課件共138頁，創(chuàng)作于2023年2月88平均加熱溫度燃氣用量接前行

平均加熱溫度燃氣用量1246.3901.225110.91011.23438.91162.14337.512123.15265.313306.4613414327.2741.7155211801.216306.9在Excel的A1:C17輸入下標：

第88頁，課件共138頁，創(chuàng)作于2023年2月89在Excel工作表中輸入上面的數(shù)據(jù)點擊主菜單中“工具”點擊下拉式菜單中“數(shù)據(jù)分析”就會出現(xiàn)一個“數(shù)據(jù)分析”的框，點擊菜單中“回歸”，點擊“確定”,出現(xiàn)“回歸”框.第89頁，課件共138頁，創(chuàng)作于2023年2月90在“Y值輸入?yún)^(qū)域”中標定你已經(jīng)輸入的響應(yīng)變量數(shù)據(jù)的位置（本例為$C$2:$C$17),在“X值輸入?yún)^(qū)域”中標定你已經(jīng)輸入的解釋變量數(shù)據(jù)的位置(注意:數(shù)據(jù)按“列”輸入)（本例為$B$2:$B$17),“置信度”中輸入你已經(jīng)確定置信度的值選定輸出結(jié)果的位置點擊“確定”.在指定位置輸出相應(yīng)的方差分析表和回歸系數(shù)輸出結(jié)果,例3.3的輸出結(jié)果如下所示,第90頁，課件共138頁，創(chuàng)作于2023年2月91

自由度平方和均方F值P_值

回歸1168.581168.5811467.5511.415E-15顯著！誤差141.6080.115總的15170.189方差分析表第91頁，課件共138頁，創(chuàng)作于2023年2月92

Coef.標準誤差tStatPvalueLower95%Upper95%Intercept1.0890.1397.8411.729E-060.7911.387X0.1890.00538.3091.415E-150.1780.200與方差分析中P-值一致！第92頁，課件共138頁，創(chuàng)作于2023年2月93預(yù)測預(yù)測一般有兩種意義.第93頁，課件共138頁，創(chuàng)作于2023年2月94(5)E(y0)的點估計及置信區(qū)間故作為E(y0)的點估計，是無偏估計.E(y0)的置信水平為1-α的置信區(qū)間為第94頁，課件共138頁，創(chuàng)作于2023年2月95因此，根據(jù)觀測結(jié)果，點預(yù)測為(6)y0的點預(yù)測及區(qū)間預(yù)測第95頁，課件共138頁，創(chuàng)作于2023年2月96第96頁，課件共138頁，創(chuàng)作于2023年2月97第97頁，課件共138頁，創(chuàng)作于2023年2月98第98頁，課件共138頁，創(chuàng)作于2023年2月99第99頁，課件共138頁，創(chuàng)作于2023年2月100Excel只能輸出預(yù)測值，無法輸出預(yù)測區(qū)間.預(yù)測區(qū)間計算如下：上例中x值置于B2:B17,y值置于C2:C17，在Excel第18行，B18,C18,D18,E18,F18,G18分別為52.034222.313299.7234719.4382.145第100頁，課件共138頁，創(chuàng)作于2023年2月10152.034222.313299.7234719.4382.145第101頁，課件共138頁，創(chuàng)作于2023年2月102例3.5合金鋼的強度y與鋼材中碳的含量x有密切關(guān)系。為了冶煉出符合要求強度的鋼常常通過控制鋼水中的碳含量來達到目的，為此需要了解y與x之間的關(guān)系。其中x：碳含量（％）y：鋼的強度（kg/mm2）數(shù)據(jù)見右表：yxx240.50.030.000939.50.040.0016410.050.002541.50.070.0049430.090.0081420.10.01450.120.014447.50.150.0225530.170.0289560.20.04第102頁，課件共138頁，創(chuàng)作于2023年2月103（1）畫出散點圖；（2）設(shè)μ(x)=β0+β1x,求β0，β1的估計；（3）求誤差方差的估計，畫出殘差圖；（4）檢驗回歸系數(shù)β1是否為零（取α=0.05)；（5）求回歸系數(shù)β1的95％置信區(qū)間；（6）求在x=0.06點，回歸函數(shù)的點估計和95％置信區(qū)間；（7）求在x=0.06點，y的點預(yù)測和95％區(qū)間預(yù)測。(8)模型還可以改進嗎？第103頁，課件共138頁，創(chuàng)作于2023年2月104（1）合金鋼的強度y與鋼材中碳的含量x的散點圖第104頁，課件共138頁，創(chuàng)作于2023年2月105方差分析

dfSSMSFSignificanceF回歸1255.4116255.411674.332892.54E-05殘差827.488413.436051顯著總計9282.9

Coefficients標準誤差tStatP-valueLower95%Upper95%Intercept35.45061.2429228.52222.47E-09顯著32.584438.3168XVar.192.641110.74528.621652.54E-05顯著67.8627117.420第105頁，課件共138頁，創(chuàng)作于2023年2月106第106頁，課件共138頁，創(chuàng)作于2023年2月107第107頁，課件共138頁，創(chuàng)作于2023年2月108顯著水平為0.05第108頁，課件共138頁，創(chuàng)作于2023年2月109第109頁，課件共138頁，創(chuàng)作于2023年2月110方差分析

dfSSMSFSignificanceF回歸分析2276.3151138.1576146.86691.92E-06殘差76.5848940.940699顯著總計9282.9

Coefficients標準誤差tStatP-valueLower95%Upper95%Intercept40.6441.2793231.76997.91E-0937.618843.6691XVar.1-30.48326.7175-1.140950.29142-93.6632.6935XVar.2550.475116.7764.713940.00217274.344826.606不顯著第110頁，課件共138頁，創(chuàng)作于2023年2月111方差分析

dfSSMSFSignificanceF回歸分析1275.0905275.0905281.80221.61E-07殘差87.8094650.976183總計9282.9

Coefficients標準誤差tStatP-valueLower95%Upper95%Intercept39.27740.4580485.75093.82E-1338.221240.3337XVar.1420.22325.032716.78701.61E-07362.497477.948第111頁，課件共138頁，創(chuàng)作于2023年2月112回歸函數(shù)線性的診斷誤差方差齊性診斷誤差的獨立性診斷誤差的正態(tài)性診斷9.6回歸診斷第112頁，課件共138頁，創(chuàng)作于2023年2月113一、回歸函數(shù)線性的診斷第113頁，課件共138頁，創(chuàng)作于2023年2月114第114頁，課件共138頁，創(chuàng)作于2023年