線性回歸模型參數(shù)估計淺談

1、 中圖分類號： O151.2 （申請學(xué)士學(xué)位）論文題目 線性回歸模型參數(shù)估計淺談 作者姓名 所學(xué)專業(yè)名稱 數(shù)學(xué)與應(yīng)用數(shù)學(xué) 指導(dǎo)教師 摘要：.1Abstract.11緒論21.1背景22最小二乘法的簡單原理及應(yīng)用32.1問題的引入32.2最小二乘法原理的證明4最小二乘法原理的初等證明42.2.2 利用歐氏空間證明最小二乘法52.3 最小二乘法簡單運用舉例62.3.1 用最小二乘法求中學(xué)數(shù)學(xué)中直線型經(jīng)驗公式的最佳近似解72.3.2 實驗數(shù)據(jù)的最小二乘法擬合73一般線性回歸模型的參數(shù)估計83.1一般線性回歸模型與最小二乘估計93.2 模擬分析113.3修正的最小二乘估計11總結(jié)15參考文獻(xiàn)16致 謝

2、17線性回歸模型參數(shù)估計淺談?wù)鹤钚《朔ㄊ菑恼`差擬合角度對回歸模型進(jìn)行參數(shù)估計或系統(tǒng)辨識, ，并在參數(shù)估計、系統(tǒng)辨識以及預(yù)測、預(yù)報等眾多領(lǐng)域中得到極為廣泛的應(yīng)用。然而，最小二乘法因其抽象、難懂常常被大家所忽視。傳統(tǒng)的最小二乘估計在處理一般線性回歸模型的參數(shù)和的估計問題時,若遇到異常數(shù)據(jù)模型擬和得往往不好,現(xiàn)給出這個估計方法的修正:修正的最小二乘估計.結(jié)果表明此方法在處理異常數(shù)據(jù)時具有明顯的優(yōu)越性.關(guān)鍵詞：線性回歸模型；參數(shù)估計；最小二乘估計；修正的最小二乘估計中圖分類號：O151.2Linear Regression Model Parameter Estimation ShowingAb

3、stract: Least squares fitting Angle is from error estimates parameters of the regression model, system identification, in the parameter estimation, system identification and variety of fields and forecasting get extremely extensive application. However, the least squares because its abstract and obs

4、cure often ignored by everybody. The traditional least squares estimate in dealing with general linear regression model parameters and when the estimation problem, if encounter abnormal data model fitting and often bad, here presented another method of estimating: fixed the least-square estimation.

5、The results show that this method in dealing with abnormal data has obvious superiority when. Key words: Linear regression model: Parameter estimate; Least squares estimate; Fixed the least-square estimation 1 緒 論回歸分析是一種傳統(tǒng)的應(yīng)用性較強的科學(xué)方法，是現(xiàn)代應(yīng)用統(tǒng)計學(xué)的一個重要的分支，在各個科學(xué)領(lǐng)域都得到了廣泛的應(yīng)用。它不僅能夠把隱藏在大規(guī)模原始數(shù)據(jù)群體中的重要信息提煉出來，而且能

6、把握住數(shù)據(jù)群體的主要特征，從而得到變量間相關(guān)關(guān)系的數(shù)學(xué)表達(dá)式，利用概率統(tǒng)計知識對此關(guān)系進(jìn)行分析，以判別其有效性，還可以利用關(guān)系式，由一個或多個變量值去預(yù)測和控制另一個因變量的取值，從而知道這種預(yù)測和控制達(dá)到的程度，并進(jìn)行因素分析。1.1背 景線性回歸是利用數(shù)理統(tǒng)計中的回歸分析，來確定兩種或兩種以上變數(shù)間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法之一，運用十分廣泛。在實際問題中我們常常會遇到多個變量同處于一個過程之中，它們相互聯(lián)系、相互制約。在有的變量間有完全確定的函數(shù)關(guān)系，比如圓面積與半徑之間存在關(guān)系式。另外還有一些變量，它們之間也有一定的關(guān)系，然而這種關(guān)系并不完全確定，比如正常人的血壓與年齡有一定

7、的關(guān)系，一般講年齡大的人血壓相對高一些，但是它們之間就不能用一個確定的函數(shù)關(guān)系式表達(dá)出來?；貧w分析就是尋找這類不完全確定變量間的數(shù)學(xué)關(guān)系式并進(jìn)行統(tǒng)計推斷的一種方法。無論是國內(nèi)還是國外對與線性回歸的研究都是與日俱增，無論是對與一元線性回歸還是多元線性回歸的問題，國內(nèi)外都對其做出了各種不同的參數(shù)估計。Giles J A, Giles D E A, Ohtani,K在1996年發(fā)布了確切的風(fēng)險和線性回歸的一些前測問卷發(fā)放平衡損失5，國內(nèi)對與線性回歸的參考文獻(xiàn)也很多，王虹（2000）分析了線性回歸主成份在教學(xué)評估中的應(yīng)用3，張紅兵和張曉青（2004）發(fā)表了PVC異型材工藝參數(shù)的主成份分析法4，王松桂、

8、史建江、尹素菊等（2004）線性模型引論也介紹了線性回歸模型中的參數(shù)估計7。本文主要研究如何從現(xiàn)實問題中構(gòu)造適當(dāng)?shù)牡木€性回歸模型得出回歸方程，最小二乘估計簡單原理和應(yīng)用，修正的最小二乘法估計解決一般線性回歸模型參數(shù)估計，顯著性檢驗的正確性，模擬的清晰化。2 最小二乘法的簡單原理及應(yīng)用最小二乘法是從誤差擬合角度對回歸模型進(jìn)行參數(shù)估計或系統(tǒng)辨識，并在參數(shù)估計、系統(tǒng)辨識以及預(yù)測、預(yù)報等眾多領(lǐng)域中得到極為廣泛的應(yīng)用。然而，最小二乘法因其抽象、難懂常常被大家所忽視。 最小二乘法作為一種傳統(tǒng)的參數(shù)估計方法，早已經(jīng)被大家所了解。然而許多人對最小二乘法的認(rèn)識都比較模糊，僅僅把最小二乘法理解為簡單的線性參數(shù)估計

9、。事實上，最小二乘法在參數(shù)估計、系統(tǒng)辨識以及預(yù)測、預(yù)報等眾多領(lǐng)域都有著廣泛的應(yīng)用。2.1問題的引入已知某種材料在生產(chǎn)過程中的廢品率與某種化學(xué)成分有關(guān)。 下列表中記載了某工廠生產(chǎn)中與相應(yīng)的的幾次數(shù)值：（%）1.000.90.90.810.60.560.35（%）3.63.73.83.94.04.14.2我們想找出對的一個近似公式。解：把表中數(shù)值劃出圖來看， 發(fā)現(xiàn)它的變化趨勢近于一條直線。因此我們決定選取的一次式來表達(dá)。 當(dāng)然最好能選擇適當(dāng)?shù)氖瓜旅娴牡仁蕉汲闪ⅰ?實際上是不可能的，任何代入上面各式都會發(fā)生誤差。 于是想找使上面各式的誤差的平方和最小，即找到使最小。這里討論的是誤差的平方即二乘方，故

10、稱為最小二乘法?，F(xiàn)在轉(zhuǎn)向為一般的最小二乘法問題： 實系數(shù)線性方程組 （2.1）可能無解。 即任何一組實數(shù)都可能使 （2.2）不等于零。2.2最小二乘法原理的證明最小二乘法原理的初等證明定理1：是方程組（2.1）的最小二乘解的充要條件是是方程組 (2.3)的解。證明：設(shè) (2.4)把整理為關(guān)于的二次函數(shù)得：其中。必要性：設(shè)是方程組(2.3)的最小二乘解，知有最小值，且是最小值點。由二次函數(shù)的性質(zhì)得知二次函數(shù)，故不全為零（與列滿秩的假設(shè)一致），且滿足： (2.5)化簡得： (2.6)這就是方程組(2.6)。 不難看出方程組(2.6)的系數(shù)矩陣為(表示的轉(zhuǎn)置矩陣)，由列滿秩知,故(2.6)有唯一解。

11、 必要性得證。充分性：設(shè)是方程組(2.2) 的解，由( j=1,2,.,n)滿足方程組(2.6)，也就是滿足(2.4)式，再由于列滿秩，不全為零，故中二次項系數(shù)，中式有最小值且最小值點為,所以是方程組(2.1)的最小二乘解。2.2.2 利用歐氏空間證明最小二乘法下面我們利用歐氏空間的概念來表達(dá)最小二乘法，并給出最小二乘解所滿足的代數(shù)條件。令， 用距離的概念，（2.2）就是最小二乘法就是找，使與的距離最短，但從（2.2），知道向量就是把的各列向量分別記為。由它們生成的子空間為，就是中的向量。于是最小二乘法問題可敘述成：找使(2.2)最小，就是在中找一向量，使得它到的距離比到子空間中其它向量的距離

12、都短。應(yīng)用前面所給出的結(jié)論，設(shè)是所要求的向量，則必須垂直于子空間。為此只需而且必須根據(jù)矩陣乘法規(guī)則，上述一串等式可以寫成矩陣相乘的式子，即而按行正好排成矩陣，上述一串等式結(jié)合起來就是或這就是最小二乘解所滿足的代數(shù)方程，它是一個線性方程組，系數(shù)矩陣,常數(shù)項是。2.3 最小二乘法簡單運用舉例2.3.1 用最小二乘法求中學(xué)數(shù)學(xué)中直線型經(jīng)驗公式的最佳近似解例 一個彈簧的長度和它懸掛的重量間的關(guān)系如下：W24681012L8.910.111.212.013.113.9求關(guān)于、W的經(jīng)驗公式。解：設(shè)所求的經(jīng)驗公式為 把表中各數(shù)據(jù)代入此方程得方程組：有最小二乘法原理知：解得：，。2.3.2 實驗數(shù)據(jù)的最小二乘

13、法擬合例 在落體運動中，物體的位移與時間的關(guān)系可表為表示位移，表示初速度，為重力加速度。在一次落體實驗中，得到如下數(shù)據(jù)：t（秒）00.10.20.30.40.5s（厘米）0.617.041.076.0120.5175.1試根據(jù)以上數(shù)據(jù)確定 和、。解：現(xiàn)在要用五個實驗點擬合的是二次多項式（=5,=21），即 。有最小二乘法的曲線擬合原理知, 所擬合的二次多項式為所以厘米/秒。3 一般線性回歸模型的參數(shù)估計最小二乘估計是擬和一般線性回歸模型的常用方法。由于其估計值的優(yōu)良性質(zhì)，很多文獻(xiàn)都對該方法進(jìn)行了詳細(xì)介紹。 (3.1)本文利用該方法擬和上述線性模型，并回顧最小二乘估計的一些性質(zhì)，然后用具體數(shù)據(jù)集

14、來評估所擬和的模型.通過擬和后的殘差，發(fā)現(xiàn)最小二乘法的不足，從而提出新的擬和方法“修正的最小二乘法”，并用于擬和上數(shù)據(jù)集.新的結(jié)果表明，本文擬和方法是切實可行的,并在分析上數(shù)據(jù)時,具有優(yōu)越性。3.1 一般線性回歸模型與最小二乘估計考慮不相關(guān)的觀察滿足 (3.2) 記，則(3.2)亦即 (3.3) 其中是階單位陣，和是未知參數(shù)，為已知的自變量矩陣。問題是對于觀察，如何估計參數(shù)和？最小二乘法是十分普通的估計參數(shù)向量和的一種方法.具體的說，就是極小化“觀察和其期望之間差的平方”： (3.4)上式極小化問題的解稱為參數(shù)的“最小二乘估計”。由于上式是關(guān)于可微的，所以應(yīng)滿足下列“正規(guī)方程” (3.5)如果

15、是可逆的，則是唯一確定的。一般地，我們可以假定是可逆的，由于是的線性形式，所以在線性估計類中研究的性質(zhì)是十分有意義的.。定理2設(shè)(3.3)成立，則的全部線性無偏估計類中，的最小二乘估計是唯一的一個方差一致最小的估計。這個定理表明：一方面是無偏估計，即=，另一方面，是在線性無偏估計限制條件下，方差一致最小者。從而，的均方誤差也是一致最小的(因為“均方誤差”=偏差的平方+方差)，然而，定理1只有在模型(3.3)中假設(shè)成立時才成立。如果觀察是相關(guān)的，不妨假定，這時我們有與(3.3)相對應(yīng)的一般線性回歸模型： (3.6)由于0, 所以我們可以作變換，于是模型(3.6)可以改寫成 (3.7)其中從而問題

16、轉(zhuǎn)化成模型(3.3)中的參數(shù)估計問題。這樣與(3.3)的最小二乘估計相對應(yīng)，我們可得到(3.7)中的的最小二乘估計。(這里，由于可逆)。在(3.7)下，上述有類似定理1的結(jié)果成立。 注1 如果(3.6)中假設(shè)中，則不存在，這時,我們可使用的“廣義逆”來代替而求得的最小二乘估計。其中表示的廣義逆。但這時不是唯一的,因為不唯一（稱為廣義逆）。注2 如果不可逆或不可逆，則所對應(yīng)的最小二乘估計并不是好的估計，這時存在一些修正的估計。如嶺估計：.注3 當(dāng)時，即為“最大似然估計”.。但是實際問題中，我們不知道是否正態(tài)，這不一定是一個好的估計。下面我們考察的估計，它反映了觀察誤差的大小，因而在實用上很重要。

17、考慮殘差。其中，作為第i次觀察誤差的估計。因而一般地說,當(dāng)越大(或小)時，傾向于大(或小)。因此，的平方和，即 (3.8)是衡量大小的一個合理指標(biāo),稱為“殘差平方和”,記為,則 (3.9)利用二次型期望公式,可得，于是令 (3.10)則是的無偏估計。注 4 上述估計和都是基于最小二乘原理(即標(biāo)準(zhǔn)(3.4)式)。它們具有一些優(yōu)良性質(zhì)，如“一致最小方差無偏性”，但是這些性質(zhì)都是在模型(3.3)的假設(shè)成立時得到的。如果不成立，則需要其他的估計方法。3.2 模擬分析為了評估最小二乘估計，我們考慮下列回歸模型(一元情形) (3.11)其中，利用統(tǒng)計軟件SAS生成一容量的偽隨機樣本獨立同分布,且為標(biāo)準(zhǔn)正態(tài)

18、分布。然后利用(11)得到相應(yīng)的，結(jié)果見表4。表4 用SAS軟件得到的模型(3.11)的隨機樣本0.050.100.150.200.250.300.350.400.71720.61140.59761.16270.97302.42210.22582.37540.450.500.550.600.650.700.750.801.05981.34512.28422.70212.26712.21673.04642.26420.850.900.951.002.45071.00163.38962.4428利用上節(jié)介紹的最小二乘法(模型(3.3)和正規(guī)方程(3.5)，可求得相應(yīng)的最小二乘估計： (3.12)(

19、1)人造異常值:對于上述觀察，把第3個觀察值增加1, 這樣是一個異常點.對如此得到的新數(shù)據(jù)集，采用最小二乘方法擬合，得到，。顯然,最小二乘估計與真實參數(shù)，相差太遠(yuǎn)，效果很不好。因而，我們需要對最小二乘方法加以修正，這就導(dǎo)致了下節(jié)的修正的最小二乘法。3.3 修正的最小二乘估計上一節(jié)介紹了最小二乘估計，當(dāng)有異常值出現(xiàn)時，有較大的偏離。這里提出一種新的估計方法，它是以最小二乘法為基礎(chǔ)修正的，稱之為“修正的最小二乘法”?；氐?3.4),可以看到最小二乘估計極小化“向量與之間的距離”。由于是一個人造異常值,它使得上例中新的向量與之間的距離發(fā)生了變化(因為被人工增加了1),從而導(dǎo)致了的估計發(fā)生了變化。經(jīng)過

20、分析,發(fā)現(xiàn)是所有中最大的。為此,這里考慮修正(3.4)的右邊得其中 ， 為常數(shù)。 修正的最小二乘估計將是極小化上式的解。這個似乎依賴于，但經(jīng)驗表明：如果靠近1.345倍誤差標(biāo)準(zhǔn)差，則對不太敏感。在下述分析中，我們?nèi)?。其中為模型誤差的標(biāo)準(zhǔn)差的穩(wěn)健估計。求解是一個非線性優(yōu)化問題，簡單的單純形算法可以用于求解此問題,，MATLAB軟件中的函數(shù)fminsearch可執(zhí)行相應(yīng)的任務(wù)。下面討論的具體計算問題：1) 計算最小二乘估計并求出殘差，2) 估計殘差，的標(biāo)準(zhǔn)誤差.將排序并去掉開頭和末尾各2.5%的數(shù)據(jù)點,然后計算剩余數(shù)據(jù)的樣本標(biāo)準(zhǔn)差,即得到S。3) 以為初值,利用MATLAB中的函數(shù)fminsear

21、ch計算。由于初值是相合估計,所以上述迭代過程收斂速度很快?，F(xiàn)在應(yīng)用前面的修正的最小二乘估計來分析第3節(jié)中表1中數(shù)據(jù)集，發(fā)現(xiàn)和（?。┡c(3.12)中估計很接近，但當(dāng)用于新數(shù)據(jù)時，得到擬合系數(shù)（=0.5548，=2.3421）這表明修正的最小二乘估計在兩個數(shù)據(jù)集的擬合中都很好。下面給出相關(guān)例子來說明。例1 在動物學(xué)研究中，有時需要找出某種動物的體積與重量的關(guān)系。因為動物的重量相對而言容易測量，而測量體積比較困難，因此，人們希望用動物的重量預(yù)測其體積。下面是18只某種動物的體積與重量數(shù)據(jù)，在這里，動物重量被看作自變量，用表示，單位是，動物體積則作為因變量，用表示，單位為,18組數(shù)據(jù)列于表5中。表

22、18只某種動物的重量與體積數(shù)據(jù)10.410.215.114.816.515.910.510.415.115.116.716.611.911.615.114.517.116.712.111.915.715.717.116.713.813.515.815.217.817.615.014.516.015.818.418.3為能用動物重量估計動物體積，必須建立動物體積y關(guān)于動物重量x的回歸方程。通過觀察發(fā)現(xiàn)倆個變量之間有一個線性相關(guān)關(guān)系，下面求該線性回歸方程，計算過程見表6表6 計算表由此給出回歸方程為接下來我們考慮關(guān)于回歸方程的顯著性檢驗。經(jīng)計算有，把諸平方和一如方程分析表上，繼續(xù)計算，具體見表7表

23、7 動物體積與重量回歸方程的方差分析表來源平方和 自由度均方和F比回歸2346.9殘差總計若取=0.01，則,由于，由此，在顯著性水平0.01下回歸方程是顯著的。如果測得某動物的重量為，該動物的估計值為若取=0.05，則，又，從而該動物體積的概率為0.95的預(yù)測區(qū)間為求近似預(yù)測區(qū)間，由于，故有，則所求區(qū)間為(17.2858-0.3924,17.2858+0.3924)=(16.8934,17.6782)此處近似預(yù)測區(qū)間與精確預(yù)測區(qū)間差距已不大了，當(dāng)更大一些，兩者差距會更小一些。例2 在生產(chǎn)中積累了32組某種鑄件在不同腐蝕時間下腐蝕深度的數(shù)據(jù)，求得回歸方程為且誤差方差的無偏估計為，總偏差平方和為

24、0.1246.(1) 對回歸方程作顯著性檢驗（），列出方差分析表；(2) 求樣本相關(guān)系數(shù)；(3) 若腐蝕時間，試給出的0.95近似預(yù)測區(qū)間。解：(1)由已知條件可以得到，因此,把這些平方和移至如下方差分析表上，繼續(xù)計算來源平方和自由度均方和F比回歸0.0810410.0810455.8127殘差0.4356300.001452總計0.124631若取顯著性水平，則,因此回歸方程是顯著的，此處，此處，回歸方程顯著性檢驗的值為 。這是一個很小的概率，說明回歸方程顯著性很高。（2）樣本相關(guān)系數(shù)(3)若腐蝕時間，則的預(yù)測值為其0.95近似預(yù)測區(qū)間半徑為從而y的0395近似預(yù)測區(qū)間為1.5247-0.0

25、747,1.5247+0.0747=1.4500,1.5994.總結(jié)本文首先較為全面的介紹了研究目標(biāo)、研究內(nèi)容和研究意義，使得研究目標(biāo)更為明確。然后引入了最小二乘估計的原理和它的簡單應(yīng)用舉例，給出了最小二乘估計的初等證明，然后利用歐式空間來證明最小二乘估計，最后通過一個例子來對最小二乘估計有個更清楚的了解。既然證明了最小二乘估計，現(xiàn)在我們需要通過最小二乘估計解決一般線性回歸中的參數(shù)估計。在線性回歸模型的參數(shù)估計中，最小二乘估計是最基本的，但是它是最重要的。本文就一般線性回歸模型中的參數(shù)估計用最小二乘估計做出了模擬分析，而后推導(dǎo)了修正的最小二乘估計并證明了它的正確性?；貧w分析是研究變量間相關(guān)關(guān)系

26、的一門學(xué)科。它通過對客觀食物中變量的大量觀察或試驗獲得的數(shù)據(jù)，去尋找隱藏在數(shù)據(jù)背后的相關(guān)關(guān)系，給出他們的表達(dá)形式回歸函數(shù)的估計。參考文獻(xiàn)1 李德強, 黃莎白, 基于正交最小二乘法的小波網(wǎng)絡(luò)在系統(tǒng)辨識中的應(yīng)用J. 控制與決策, 2003(3)：49-67.2 景春國, 白秋果, 最小二乘法在原油含水分析儀標(biāo)定中的應(yīng)用J. 儀器儀表學(xué)報, 2003(1)：18-30. 3 王虹, 主成份分析在教學(xué)評估中的應(yīng)用J. 山西師范大學(xué)學(xué)報(自然科學(xué)版), 2000(3)：21-27.4 張紅兵, 張曉青, PVC異型材工藝參數(shù)的主成份分析法J.北京機械工業(yè)學(xué)院學(xué)報, 2004(4)：81-92.5 Giles J A,