一元線性回歸的參數(shù)估計(jì)

1、第五章 回歸分析“回歸”一詞的由來回歸分析的基本概念1. 函數(shù)關(guān)系和在一個(gè)實(shí)際問題中會(huì)遇到多個(gè)變量，可將其區(qū)分為自變量和因變量. 自變量和因變量之間的關(guān)系又可分為兩類：函數(shù)關(guān)系和統(tǒng)計(jì)相關(guān)關(guān)系.函數(shù)關(guān)系統(tǒng)計(jì)相關(guān)關(guān)系：統(tǒng)計(jì)相關(guān)關(guān)系. 統(tǒng)計(jì)相關(guān)關(guān)系（Regression Analysis）回歸函數(shù)線性回歸（Linear Regression）非線性回歸（Nonlinear Regression）一元回歸（Simple Regression）多元回歸（Multiple Regression）§5.1 一元線性回歸中的參數(shù)估計(jì)一元線性回歸的數(shù)學(xué)模型與主要問題(1) 一元回歸的數(shù)學(xué)模型 一元回歸

2、模型：設(shè)是一元可控變量，是依賴于的隨機(jī)變量，二者具有相關(guān)關(guān)系，通常稱為自變量或預(yù)報(bào)變量；為因變量或響應(yīng)變量.設(shè)想的值由兩部分組成：一部分是由能夠決定的，記為；另一部分是由其它未加考慮的因素（包括隨機(jī)因素）所產(chǎn)生的影響，看作隨機(jī)誤差，記為，且有理由要求. 故有 （5.1-1）稱(5.1-1)式為對(duì)的一元回歸模型，為回歸函數(shù)；其中，稱為回歸方程.一元線性回歸模型：若進(jìn)一步假定回歸函數(shù)為，且存在，則有 (5.1-2)稱(5.1-2)式為對(duì)的一元線性回歸模型，其中均為未知參數(shù)，稱為回歸系數(shù)，而，此時(shí)回歸方程是線性方程，稱為回歸直線.一元正態(tài)線性回歸模型：應(yīng)用中，為對(duì)回歸方程的合理性進(jìn)行檢驗(yàn)，還假定，于

3、是模型（5.1-2）化為 (5.1-3)稱(5.1-3)式為對(duì)的一元正態(tài)線性回歸模型，此時(shí).為研究與之間的內(nèi)在關(guān)系，在的點(diǎn)上，做次獨(dú)立試驗(yàn)，得到，于是有點(diǎn). 畫出散點(diǎn)圖，如果這個(gè)點(diǎn)（很大時(shí)）分布在一條直線附近，直觀上就可認(rèn)為與的關(guān)系具有(5.1-3)式的將視為的子樣值，(5.1-3)又化為 (5.1-4)顯然此時(shí)有，且當(dāng)時(shí)相互獨(dú)立.由求出回歸系數(shù)的估計(jì)值后得到直線方程，稱為經(jīng)驗(yàn)回歸直線.圖1，圖2（2）一元線性回歸的主要問題對(duì)未知參數(shù)的估計(jì)；對(duì)參數(shù)及回歸模型的假設(shè)檢驗(yàn)；對(duì)因變量的預(yù)測(cè)。對(duì)未知參數(shù)的估計(jì)的最小二乘估計(jì) 已知與試驗(yàn)值 ，構(gòu)造的試驗(yàn)值與理論回歸值的離差平方和 （5.1-5）以使取得最

4、小值的為的估計(jì)值，稱之為最小二乘估計(jì). 為此，令于是有關(guān)于的線性方程組 （5.1-6）（5.1-6）式的解是由容量為的子樣值得到的，只在這個(gè)點(diǎn)處的試驗(yàn)值與理論回歸值的離差平方和最小，因此，解不是的真值，只是估計(jì)值。故有 （5.1-7）其中,. （5.1-7）式稱為正規(guī)方程組解得 （5.1-8）（5.1-8）式中的稱為未知參數(shù)的最小二乘估計(jì)。于是，即：經(jīng)驗(yàn)回歸直線恒過點(diǎn).的矩估計(jì)，則可用的子樣均值去估計(jì)其母體均值，即有.但，其中未知，以其最小二乘估計(jì)代替，于是的矩估計(jì)為 （5.1-9）其中稱為殘差平方和。將（5.1-8）式中的代入，得 （5.1-10）于是 （5.1-11）估計(jì)量的另一組表達(dá)式記

5、，則（5.1-8）（5.1-10）（5.1-11）式分別化為 （5.1-8） （5.1-10） （5.1-11）未知參數(shù)估計(jì)量的分布對(duì)于一元正態(tài)線性回歸模型（5.1-4）有定理5.1.1：. 即（5.1-8）式中的估計(jì)量分別是的無偏估計(jì).定理5.1.2：，且分別與相互獨(dú)立。（說明：二次型中的滿足正規(guī)方程組（5.1-7），即有2個(gè)獨(dú)立的線性約束條件，故自由度是）。，從而，即矩估計(jì)只是的一個(gè)漸近無偏估計(jì).為糾偏，令，則，即是的一個(gè)無偏估計(jì).定理5.1.3：.（由定理5.1.1、定理及分布定義可以證得）定理5.1.4：.子樣相關(guān)系數(shù)及意義為刻畫點(diǎn)之間線性關(guān)聯(lián)程度，（1）定義：即可以證得.（2）意義：

6、故越接近1時(shí)，越接近0，說明線性回歸分析的效果越好；特別，當(dāng)時(shí)，說明觀測(cè)點(diǎn)全部落在上。例年齡（歲）1.01.52.02.53.0平均體重 (kg)9.7510.8112.0712.8813.74又設(shè), , 且相互獨(dú)立，.（1）求的最小二乘估計(jì)；（2）求殘差平方和，標(biāo)準(zhǔn)差的估計(jì)，子樣相關(guān)系數(shù).解：先畫散點(diǎn)圖>>X=1.0 1.5 2.0 2.5 3.0;>>Y=9.75 10.81 12.07 12.88 13.74;>>plot(X,Y,'ro')（1）由于,，. 故于是經(jīng)驗(yàn)回歸直線為.可以將經(jīng)驗(yàn)回歸直線與散點(diǎn)圖畫在一起.>>ho

7、ld on>>y=7.83+2.01*X;>>plot(X,y,'b-')（2）可見這組數(shù)據(jù)下的年齡與平均體重的線性關(guān)聯(lián)程度很高。例 (P222Ex5.1)過原點(diǎn)的一元回歸的線性模型為，其中之間獨(dú)立，且. 試由用最小二乘法估計(jì)；用矩法估計(jì).解： 回歸模型為，故滿足，離差平方和為求使成立的，令 其中：，. 的矩估計(jì)：，則的矩估計(jì)為例 (P224Ex5.7)具有重復(fù)試驗(yàn)一元線性回歸表述如下:對(duì)做次試驗(yàn)，在每一個(gè)上對(duì)作次試驗(yàn)，其觀察值為，而. 一元回歸的線性模型為，且相互獨(dú)立，試求的最小二乘估計(jì)。解：，離差平方和為求使，令即亦即簡(jiǎn)記為解此正規(guī)方程組得由下表易求的值，得到經(jīng)驗(yàn)回歸直線.例5.1.4 (P224Ex5.8)對(duì)自變量和因變量都分組的情形，經(jīng)驗(yàn)回歸直線的配置方法如下：對(duì)和作次試驗(yàn)，得對(duì)試驗(yàn)值，把自變量的試驗(yàn)值分成組，組中值記為，各組以組中值為代表；把因變量是試驗(yàn)值分成組，組中值記為，同樣各組以組中值為代表。若有對(duì)，.試求的最小二乘估計(jì)。解：設(shè)，則，離差平方和為求使，令即亦即解此正規(guī)方程組得其中：，.由下表