l第八章 方差分析和回歸分析.ppt

1、第八章 方差分析和回歸分析,方差分析 回歸分析,教學(xué)目的和要求： 熟悉單因子方差分析 理解回歸分析的基本思想，掌握一元線性回歸模型,教學(xué)重點(diǎn)和難點(diǎn): 重點(diǎn)：?jiǎn)我蜃臃讲罘治龊鸵辉€性回歸分析 難點(diǎn)：方差分析的運(yùn)用及線性回歸模型的建立和其顯著性檢驗(yàn),8.1 方差分析,8.1.1 單因子方差分析,1. 提出問(wèn)題 設(shè)某因子有r個(gè)水平，即為 ，在每一水平下各作m次獨(dú)立重復(fù)試驗(yàn)，若記第 個(gè)水平下第 j 次重復(fù)的實(shí)驗(yàn)結(jié)果為 ，所有試驗(yàn)的結(jié)果可列于表如下：,對(duì)這個(gè)試驗(yàn)要研究的問(wèn)題是：r個(gè)水平 間有無(wú)顯著差異.,2、基本假設(shè),（1）第 個(gè)水平下的數(shù)據(jù) 是來(lái)自正態(tài)總體 的一個(gè)樣本.,（2） 個(gè)方差相同，即,（3）

2、諸數(shù)據(jù) 都相互獨(dú)立,在這三個(gè)基本假定下，要檢驗(yàn)的假設(shè)是,方差分析就是在方差相等的條件下，對(duì)若干個(gè)正態(tài)均值是否相等的假設(shè)檢驗(yàn).,稱為組內(nèi)平方和或誤差平方和，其自由度,稱為組間平方和或因子A的平方和，其自由 度,4、方差分析表,5、判斷 在 成立的條件下， 對(duì)給定的顯著水平 ，其拒絕域 為， 其中 可查表,若 ，則可以認(rèn)為因子A顯著，即諸正態(tài)均值間有顯著差異；,若 ，則說(shuō)明因子A不顯著，即保留原假設(shè),8.1.2 數(shù)據(jù)結(jié)構(gòu)式及其參數(shù)估計(jì),要檢驗(yàn)的假設(shè)檢驗(yàn)可改寫為,水平均值 的估計(jì),主效應(yīng) 的估計(jì),誤差方差 的估計(jì),8.2.3重復(fù)數(shù)不等情形下的方差分析,1、獲得數(shù)據(jù) 設(shè)因子A有r個(gè)水平 ，并且第r個(gè)水

3、平 下重復(fù)進(jìn)行 次試驗(yàn)，可得如下數(shù)據(jù),2. 基本假定、平方和分解、方差分析和判斷準(zhǔn)則都和前面一樣，只是因子A的平方和的計(jì)算公式略有不同：記 ，則,3. 數(shù)據(jù)結(jié)構(gòu)式及參數(shù)估計(jì)式基本同前，需要注意下面兩點(diǎn)：,（1）總均值,（2）主效應(yīng)約束條件為,8.2 線性回歸分析,8.2.1 一元情形,以前我們所研究的函數(shù)關(guān)系是完全確定的，但在實(shí)際問(wèn)題中，常常會(huì)遇到兩個(gè)變量之間具有密切關(guān)系卻又不能用一個(gè)確定的數(shù)學(xué)式子表達(dá)，這種非確定性的關(guān)系稱為相關(guān)關(guān)系。通過(guò)大量的試驗(yàn)和觀察，用統(tǒng)計(jì)的方法找到試驗(yàn)結(jié)果的統(tǒng)計(jì)規(guī)律，這種方法稱為回歸分析.,一元回歸分析是研究?jī)蓚€(gè)變量之間的相關(guān)關(guān)系的方法。如果兩個(gè)變量之間的關(guān)系是線性的

4、，這就是一元線性回歸問(wèn)題。一元線性回歸問(wèn)題主要分以下三個(gè)方面：,（1）通過(guò)對(duì)大量試驗(yàn)數(shù)據(jù)的分析、處理，得到兩個(gè)變量之間的經(jīng)驗(yàn)公式即一元線性回歸方程.,（2）對(duì)經(jīng)驗(yàn)公式的可信程度進(jìn)行檢驗(yàn)，判斷經(jīng)驗(yàn)公式是否可信.,（3）利用已建立的經(jīng)驗(yàn)公式，進(jìn)行預(yù)測(cè)和控制.,1散點(diǎn)圖與回歸直線 在一元線性回歸分析里，主要是考察隨機(jī)變量 y 與普通變量 x 之間的關(guān)系。通過(guò)試驗(yàn)，可得到x、y 的若干對(duì)實(shí)測(cè)數(shù)據(jù)，將這些數(shù)據(jù)在坐標(biāo)系中描繪出來(lái)，所得到的圖叫做散點(diǎn)圖.,例1 在硝酸鈉（NaNO3）的溶解度試驗(yàn)中，測(cè)得在不同溫度x（）下，溶解于100份水中的硝酸鈉份數(shù) y 的數(shù)據(jù)如下：,給出散點(diǎn)圖并試建 x 與 y 的經(jīng)驗(yàn)

5、公式.,解：將每對(duì)觀察值（xi，yi）在直角坐標(biāo)系中描出，得散點(diǎn)圖. 從圖可看出，這些點(diǎn)雖不在一條直線上，但都在一條直線附近.,于是，很自然會(huì)想到用一條直線來(lái)近似地表示 x 與 y 之間的關(guān)系，這條直線的方程就叫做 y對(duì) x 的一元線性回歸方程。設(shè)這條直線的方程為 其中 a、b 叫做回歸系數(shù)（表示直線上 y 的值與實(shí)際值 yi 不同）,下面是怎樣確定 a 和 b ，使直線總的看來(lái)最靠近這幾個(gè)點(diǎn).,2最小二乘法,在一次試驗(yàn)中，取得 n 對(duì)數(shù)據(jù)（xi，yi），其中 yi 是隨機(jī)變量 y 對(duì)應(yīng)于 xi 的觀察值. 我們所要求的直線應(yīng)該是使所有 之和最小的一條直線，其中 . 由于絕對(duì)值在處理上比較麻煩

6、，所以用平方和來(lái)代替，即要求a、b的 值使 最小。利用多元函數(shù)求極 值的方法求回歸系數(shù) ，得,其中,從而得到一元線性回歸方程 ，其中 稱為參數(shù) a、b 的最小二乘估計(jì)，上述方法叫做最小二乘估計(jì)法.,下面計(jì)算例1中 y 對(duì) x 的一元線性回歸方程. 這里 n=9，（xi，yi）由例1給出，計(jì)算出,故所求回歸方程為,3. 回歸方程的顯著性檢驗(yàn),一般的情況下，給定 n 對(duì)數(shù)組，總是能建立一個(gè)方程，因?yàn)橥耆梢园垂阶?，但是這個(gè)方程是否有效，還需作檢驗(yàn)，也就是說(shuō)回歸的顯著不顯著需要檢驗(yàn). 若回歸方程中 ，則回歸方程變成 不再與 x 有關(guān)，因此 是否為零是檢驗(yàn)的原假設(shè)與備擇假設(shè)，為了尋求檢驗(yàn)的統(tǒng)計(jì)量.,

7、我們把總體平方和分解，令,稱為剩余平方和 稱為回歸平方和,再來(lái)分析它們的分布,若能求出 的自由度，則 的自由度也就知道了.,為了求 的自由度，只要求出的 數(shù)學(xué)期望就可. 由于,又 成立條件下,因而,又寫成,在 ，若統(tǒng)計(jì)量 ，回歸顯著，否定,4. 相關(guān)性檢驗(yàn) 在使用由試驗(yàn)數(shù)據(jù)求出回歸方程的最小二乘法之前，并沒(méi)有判定兩個(gè)變量之間是否具有線性的相關(guān)關(guān)系. 因此，即使在平面上一些并不呈現(xiàn)線性關(guān)系的點(diǎn)之間，也照樣可以求出一條回歸直線，這顯然毫無(wú)意義. 因此，我們要用假設(shè)檢驗(yàn)的方法進(jìn)行相關(guān)關(guān)系的檢驗(yàn)，其方法如下：,（1）假設(shè)H0：y 與 x 存在密切的線性相關(guān)關(guān)系,（2）計(jì)算相關(guān)系數(shù),（3）給定 ，根據(jù)自

8、由度 ，查項(xiàng)關(guān)系數(shù) 表，求出臨界值,（4）作出判斷：如果 時(shí)，接受假設(shè)H0，即認(rèn)為在顯著性水平 下，y 與 x 的線性相關(guān)關(guān)系較顯著；,如果 時(shí)，則可認(rèn)為在顯著性水平 下，y 與 x 的線性相關(guān)關(guān)系不顯著，即拒絕假設(shè)H0 .,5. 預(yù)測(cè)與控制 在求出隨機(jī)變量 y 與變量 x 的一元線性回歸方程，并通過(guò)相關(guān)性檢驗(yàn)后，便能用回歸方程進(jìn)行預(yù)測(cè)和控制.,（1）預(yù)測(cè) 點(diǎn)預(yù)測(cè)：對(duì)給定的x=x0，根據(jù)回歸方程求得 ，作為 的預(yù)測(cè)值，這種方法叫做點(diǎn)預(yù)測(cè).,區(qū)間預(yù)測(cè)：區(qū)間預(yù)測(cè)就是對(duì)給定的 x=x0，利用區(qū)間估計(jì)的方法求出 y0 的置信區(qū)間. 對(duì)給定的 x=x0，由回歸方程可計(jì)算一個(gè)回歸值,一般地（特別當(dāng) n 很

9、大時(shí)） 相互獨(dú)立，而且服從同一正態(tài)分布,可以證明，統(tǒng)計(jì)量 是 的無(wú)偏估計(jì)量，其中,從而可近似地認(rèn)為,于是，我們得到 y0 的95%預(yù)測(cè)區(qū)間為,于是，我們得到 y0 的99%預(yù)測(cè)區(qū)間為,上述預(yù)測(cè)區(qū)間在 n 較大且 較小時(shí)適用.,（2）控制 控制是預(yù)測(cè)的反問(wèn)題，就是如何控制 x 值使 y 落在指定范圍內(nèi)，也就是給定 y 的變化范圍求 x 的變化范圍,如果希望 y 在區(qū)間（y1，y2）內(nèi)取值（y1 與y2 已知），則x的控制區(qū)間的兩個(gè)端點(diǎn) x1、x2可由下述方程解出,當(dāng)回歸系數(shù) 時(shí)，控制區(qū)間為（x1，x2） 當(dāng) 時(shí)，控制區(qū)間為（x2，x1）,應(yīng)當(dāng)指出下面兩點(diǎn)： （1）y的取值范圍一般僅限于在已試驗(yàn)過(guò)

10、的y的變化范圍之內(nèi)，不能任意外推,（2）對(duì)y的指定區(qū)間（y1，y2）不能任意小，按上面的方程組計(jì)算時(shí)，y1、y2必須滿足 時(shí)，所求的 x 的控制區(qū)間才有意義,8.2.2 多元線性回歸,實(shí)際應(yīng)用中，很多情況要用到多元回歸的方法才能更好地描述變量間的關(guān)系，因此有必要在本節(jié)對(duì)多元線性回歸做一簡(jiǎn)單介紹，就方法的實(shí)質(zhì)來(lái)說(shuō)，處理多元的方法與處理一元的方法基本相同，只是多元線性回歸的方法復(fù)雜些，計(jì)算量也大得多，一般都用計(jì)算機(jī)進(jìn)行處理.,1、多元線性回歸的模型,設(shè)因變量 y 與自變量 之間有關(guān)系式,抽樣得 n 組觀測(cè)數(shù)據(jù),其中 是自變量 的第 j 個(gè)觀測(cè)值， 是因變量 y 的第 j 個(gè)值，得模型的數(shù)據(jù)結(jié)構(gòu)式,

11、上述模型即稱為 k 元正態(tài)線性回歸模型，其中 及 都是未知待估的參數(shù)，對(duì) k 元線性模型，需討論的問(wèn)題與一元時(shí)相同.,其中,通常稱該方程為正規(guī)方程組，其中前 k 個(gè)方程的系數(shù)矩陣記為 ，當(dāng) 可逆時(shí)，正規(guī)方程組有解，便可得 的最小二乘估計(jì) .,即,代入模型，略去隨機(jī)項(xiàng)得經(jīng)驗(yàn)回歸方程為,類似一元可以證明 都是相應(yīng)的 的無(wú)偏估計(jì)，且 的無(wú)偏估計(jì)為,3. 回歸方程的顯著性檢驗(yàn),與一元的情形一樣，上面的討論是在 y 與 之間呈現(xiàn)線性相關(guān)的前提下進(jìn)行的，所求的經(jīng)驗(yàn)方程是否有顯著意義，還需對(duì) y 與諸 間是否存在線性相關(guān)關(guān)系作顯著性假設(shè)檢驗(yàn)，與一元類似，對(duì) 是否有顯著意義，可通過(guò)檢驗(yàn),為了找檢驗(yàn)H0的檢驗(yàn)統(tǒng)計(jì)量，也需將總偏差平方和 作分解,這里 . 分別稱 為殘差平方和、回歸平方和，可以證明,取F作H0的檢驗(yàn)計(jì)量，對(duì)給定的水平 ，查 分布表可