概率論與數(shù)理統(tǒng)計(jì)第九章

概率論與數(shù)理統(tǒng)計(jì)第九章第一頁(yè)，共二十六頁(yè)，編輯于2023年，星期六“回歸”一詞的歷史淵源“回歸”一詞最早由FrancisGalton引入。Galton發(fā)現(xiàn)，雖然父母的身高對(duì)子女的身高起到?jīng)Q定性作用，但給定父母的身高后，他們兒女輩的平均身高卻趨向于或者“回歸”到社會(huì)平均水平。Galton的普遍回歸定律（lawofuniversalregression)。Galton的朋友KarlPearson通過(guò)收集一些家庭的1000多名成員的父子身高數(shù)據(jù)，證明兒子確實(shí)“回歸到中等（regressiontomediocrity)”第二頁(yè)，共二十六頁(yè)，編輯于2023年，星期六1.回歸分析的概念現(xiàn)實(shí)世界中，變量之間相互依賴(lài)、相互制約的關(guān)系，可大致分為兩類(lèi)：一類(lèi)是函數(shù)關(guān)系，即變量之間存在著確定的關(guān)系．例如圓半徑與圓面積的關(guān)系是s=r2另一類(lèi)是相關(guān)關(guān)系．例如身高與體重的關(guān)系；家庭收入與支出的關(guān)系；又如農(nóng)作物的單位面積產(chǎn)量與降雨量、施肥量等的關(guān)系.這類(lèi)關(guān)系不能用函數(shù)來(lái)表達(dá)．變量之間的這種非確定性關(guān)系，稱(chēng)為相關(guān)關(guān)系．第三頁(yè)，共二十六頁(yè)，編輯于2023年，星期六對(duì)于相關(guān)關(guān)系，雖然不能求出變量之間精確的函數(shù)關(guān)系式，但是通過(guò)大量的觀測(cè)數(shù)據(jù)，可以發(fā)現(xiàn)它們之間存在著一定的統(tǒng)計(jì)規(guī)律性．由一個(gè)(或一組)非隨機(jī)變量來(lái)估計(jì)或預(yù)測(cè)某一個(gè)隨機(jī)變量的觀測(cè)值時(shí)，所建立的數(shù)學(xué)模型和所進(jìn)行的統(tǒng)計(jì)分析，稱(chēng)為回歸分析.如果這個(gè)模型是線性的，就稱(chēng)為線性回歸分析.研究?jī)蓚€(gè)變量間的相關(guān)關(guān)系的回歸分析，稱(chēng)為一元回歸分析．第四頁(yè)，共二十六頁(yè)，編輯于2023年，星期六2.一元線性回歸在一元回歸分析里，我們要考察的是隨機(jī)變量

y

與一般變量x

之間的相互關(guān)系．雖然x和y

之間沒(méi)有確定的函數(shù)關(guān)系.但是我們可以借助函數(shù)關(guān)系來(lái)表達(dá)它們之間的統(tǒng)計(jì)規(guī)律性．用以近似地描述具有相關(guān)關(guān)系的變量間的聯(lián)系的函數(shù)，稱(chēng)為回歸函數(shù)．由于y與x

之間不存在完全確定的函數(shù)關(guān)系，因此必須把隨機(jī)波動(dòng)產(chǎn)生的影響考慮在內(nèi).于是我們的模型的一般形式為y=f(x)+.

其中是隨機(jī)項(xiàng)．第五頁(yè)，共二十六頁(yè)，編輯于2023年，星期六進(jìn)行n

次獨(dú)立試驗(yàn)，觀測(cè)值如下表所示：其中xi,yi表示x和y在第i次試驗(yàn)中的觀測(cè)值，則有通常把點(diǎn)(xi,yi)(i=1,2,…,n)畫(huà)在直角坐標(biāo)平面上，這樣得到的圖就是散點(diǎn)圖．第六頁(yè)，共二十六頁(yè)，編輯于2023年，星期六例某種合成纖維的強(qiáng)度與其拉伸倍數(shù)有直接關(guān)系，下表是實(shí)際測(cè)定的24個(gè)纖維樣品的強(qiáng)度與相應(yīng)拉伸倍數(shù)的記錄。第七頁(yè)，共二十六頁(yè)，編輯于2023年，星期六數(shù)據(jù)表格第八頁(yè)，共二十六頁(yè)，編輯于2023年，星期六將數(shù)據(jù)描繪到坐標(biāo)紙上第九頁(yè)，共二十六頁(yè)，編輯于2023年，星期六我們稱(chēng)這個(gè)方程為y對(duì)x的回歸直線方程，如果所有的散點(diǎn)大體上散布在某一條直線附近，就可以認(rèn)為y對(duì)x的回歸函數(shù)的類(lèi)型為直線型：并稱(chēng)其中的b為回歸系數(shù).在y的上方加是為了區(qū)別于y的實(shí)際觀測(cè)值y.如果隨機(jī)變量y與非隨機(jī)變量x之間存在著線性相關(guān)關(guān)系，則可用回歸直線方程來(lái)描述．怎樣確定該方程中未知參數(shù)a和b的值呢？第十頁(yè)，共二十六頁(yè)，編輯于2023年，星期六取一個(gè)容量為n的樣本(xi,yi)(i=1,2,…,n)，則有其中，滿足(1)(2)相互獨(dú)立.

我們用即來(lái)描述點(diǎn)(xi,yi)(與回歸直線沿平行于縱軸方向的遠(yuǎn)近距離，則第十一頁(yè)，共二十六頁(yè)，編輯于2023年，星期六為了定量地描述回歸直線與n

個(gè)觀測(cè)點(diǎn)的接近程度．要找出一條總的看來(lái)最接近這n個(gè)觀測(cè)點(diǎn)的直線，就是要找出使Q達(dá)到最小值的a,b(記作)．由于平方又叫做二乘方．因此把這種使“偏差平方和為最小”的方法稱(chēng)為最小二乘法.這樣求得的稱(chēng)為a,b的最小二乘估計(jì)．的求法如下：第十二頁(yè)，共二十六頁(yè)，編輯于2023年，星期六整理可得

——法方程(正規(guī)方程)解這個(gè)方程組，可得其中第十三頁(yè)，共二十六頁(yè)，編輯于2023年，星期六可以證明，所求得的，確實(shí)使取得最小值.

于是，所求的回歸直線方程為

例1煉鋼基本上是一個(gè)氧化脫碳過(guò)程，設(shè)某平爐的熔畢碳(全部爐料熔化完畢時(shí)，鋼液含碳量)x與精煉時(shí)間y的生產(chǎn)紀(jì)錄列表如下：x134150180104190163200121154177y135170200100215175220125150185求x,y的關(guān)系式(經(jīng)驗(yàn)公式)．第十四頁(yè)，共二十六頁(yè)，編輯于2023年，星期六解列表計(jì)算序號(hào)1234567891010412113415015416317718019020010012513517015017518520021522010816146411795622500237162656931329324003610040000100001562518225289002250030625342254000046225484001040015125180902550023100285253274536000408504400015731675256027294725274335第十五頁(yè)，共二十六頁(yè)，編輯于2023年，星期六第十六頁(yè)，共二十六頁(yè)，編輯于2023年，星期六因此，熔畢碳與精煉時(shí)間間的回歸方程為第十七頁(yè)，共二十六頁(yè)，編輯于2023年，星期六前面提到，只有當(dāng)兩個(gè)變量間存在線性相關(guān)關(guān)系時(shí)，才能用直線方程大致表示它們之間的關(guān)系.但是，對(duì)任意兩個(gè)變量的一組觀察數(shù)據(jù)都可以用最小二乘法形式上求得對(duì)的回歸直線.這樣就需要考察與間是否確有線性相關(guān)關(guān)系，能否用直線方程來(lái)表示，即判斷回歸方程是否有意義.這種問(wèn)題一般稱(chēng)為回歸方程的顯著性檢驗(yàn)．一元線性回歸的統(tǒng)計(jì)分析第十八頁(yè)，共二十六頁(yè)，編輯于2023年，星期六在的假設(shè)下，如果b=0，說(shuō)明

x

值的變化對(duì)y沒(méi)有影響，因而變量x

不能控制變量y

，用回歸直線方程不能描述兩個(gè)變量y與x之間的關(guān)系，因此，要判明y與x是否確有線性相關(guān)關(guān)系，就是要檢驗(yàn)假設(shè)H0:b=0．這和前面介紹的假設(shè)檢驗(yàn)一樣，首先要構(gòu)造統(tǒng)計(jì)量.下面我們先導(dǎo)出一個(gè)具有統(tǒng)計(jì)意義的分解公式：第十九頁(yè)，共二十六頁(yè)，編輯于2023年，星期六設(shè)xi

，yi(i=1,2,…,n)為變量x

，y

間的一組容量為n的樣本，為由這組樣本出發(fā)求得的變量x

，y

間的回歸直線方程，則

就表示了觀測(cè)數(shù)據(jù)的總的變動(dòng)情況，故稱(chēng)Lyy

為總變動(dòng)平方和．因?yàn)榈诙?yè)，共二十六頁(yè)，編輯于2023年，星期六而第二十一頁(yè)，共二十六頁(yè)，編輯于2023年，星期六所以這里第二十二頁(yè)，共二十六頁(yè)，編輯于2023年，星期六上面的公式稱(chēng)為變動(dòng)平方和的分解公式.量U主要描述離的分散程度．而由公式看出的分散性又由的分散性通過(guò)對(duì)于的線性影響反映出來(lái)的，由此稱(chēng)為回歸平方和.量表示觀察值與經(jīng)驗(yàn)回歸所對(duì)應(yīng)的縱坐標(biāo)它是扣除了直線上的偏離情況，

x對(duì)y的線性影響后所剩余的平方和，因此稱(chēng)Q為剩余平方和(或殘差平方和)，它主要反映了試驗(yàn)誤差的大?。诙?yè)，共二十六頁(yè)，編輯于2023年，星期六不難想到，要分析樣本值是否顯著地存在確定的線性相關(guān)關(guān)系，可以用與進(jìn)行比較，如果比值相當(dāng)大(從幾何上看就是之間是否存在線性關(guān)系，即樣本是否近似地存在著線性關(guān)系，可以構(gòu)造統(tǒng)計(jì)量縱向偏差相對(duì)于橫向來(lái)說(shuō)要小的多)，就可以認(rèn)為存在著線性相關(guān)關(guān)系.由此，啟示我們，要檢驗(yàn)x與y第二十四頁(yè)，共二十六頁(yè)，編輯于2023年，星期六數(shù)學(xué)上已經(jīng)證明：在成立時(shí)，.這樣，我們得到顯著性檢驗(yàn)的步驟如下：(1)選取統(tǒng)計(jì)量；(2)計(jì)算和的觀察值和,并按計(jì)算；(3)對(duì)給定的顯著水平(一般或),從分布表中查出，使得如果，則否定假設(shè)，即可以認(rèn)為回歸方程在水平上顯著，反之，不能斷定變量x和y之間的線性關(guān)系，即回歸方程意義不大．第二十五頁(yè)，共二十六頁(yè)，編輯于2023年，星期六例2在例1的條件下，檢驗(yàn)x

，y之間的線性相關(guān)關(guān)系的顯著性(=0.05)．解

(1)選取統(tǒng)計(jì)量