普通最小二乘法OLS

1、E 2.2d Jft小二乘原理應(yīng)該能夠最好地?cái)M合樣本數(shù)據(jù)。其中yi為被解釋變量的估計(jì)值，它是由參數(shù)估計(jì)量和解釋普通最小二乘法（OLS普通最小二乘法（Ordinary Least Square，簡(jiǎn)稱 OLS，是應(yīng)用最多的 參數(shù)估計(jì)方法，也是從最小二乘原理出發(fā)的其他估計(jì)方法的基礎(chǔ)，是必須熟練掌握的一種方法。在已經(jīng)獲得樣本觀測(cè)值yi，Xi （ i=1,2,n ）的情況下（見圖2.2.1中的散點(diǎn)），假如模型（2.2.1 ）的參數(shù)估計(jì)量AA已經(jīng)求得到，為和,并且是最合理的參數(shù)估計(jì)量，那么直線方程（見圖 2.2.1中的直線）i=1,2,nyi - - 0 ： i Xi(2.2.2)精選資料，歡迎下載變量的

2、觀測(cè)值計(jì)算得到的。那么，被解釋變量的估計(jì)值與觀測(cè)值應(yīng)該在總體上最為接近,斷的標(biāo)準(zhǔn)是二者之差的平方和最小。nQ 八- 必)2 八 u2 二 Q(Ji Tn2 n2Q斶“=遲彳=遲(y-?) Y (y-陀-)wig%!)(2.2.3)為什么用平方和？因?yàn)槎咧羁烧韶?fù)，簡(jiǎn)單求和可能將很大的誤差抵消掉，只有平方和才能反映二者在總體上的接近程度。這就是最小二乘原則。那么，就可以從最小二乘 原則和樣本觀測(cè)值出發(fā)，求得參數(shù)估計(jì)量。由于naQ八-yJ2n11AA(yi -oUXi)2AAA是0、：1的二次函數(shù)并且非負(fù)，所以其極小值總是存在的。根據(jù)羅彼塔法則，當(dāng)Q對(duì)：0、A：1的一階偏導(dǎo)數(shù)為0時(shí)，Q達(dá)到最小

3、。即容易推得特征方程:nzi =1(yi -解得:。八?。,卄？i(224)f?o-f?xJ=E (y -？戶x®-?o-f?xj =遲' yiXiXi2Xi(225 )所以有:n' xy -C Xi)C yi)i di =1izi =1-X)(w - y)f?x于是得到了符合最小二乘原則的參數(shù)估計(jì)量。為減少計(jì)算工作量，許多教科書介紹了采用樣本值的式。由于現(xiàn)在計(jì)量經(jīng)濟(jì)學(xué)計(jì)算機(jī)軟件被普遍采用,' ( - X)2i =1(226 )離差形式的參數(shù)估計(jì)量的計(jì)算公計(jì)算工作量已經(jīng)不是什么問題。但離差形式的計(jì)算公式在其他方面也有應(yīng)用，故在此寫出有關(guān)公式，不作詳細(xì)說明。記X

4、iXiyi（226 ）的參數(shù)估計(jì)量可以寫成n'送 Xj2（227）tdJ?° = y-f?x至此，完成了模型估計(jì)的第一項(xiàng)任務(wù)。下面進(jìn)行模型估計(jì)的第二項(xiàng)任務(wù)，即求隨機(jī)誤差項(xiàng)方 差的估計(jì)量。記e = 4 =比?為第j個(gè)樣本觀測(cè)點(diǎn)的殘差，即被解釋變量的估計(jì) 值與觀測(cè)值之差。則隨機(jī)誤差項(xiàng)方差的估計(jì)量為寸2?2J e'- ?!（228）n -2在關(guān)于二?2的無偏性的證明中，將給出（2.2.8 ）的推導(dǎo)過程，有興趣的讀者可以參考 有關(guān)資料。在結(jié)束普通最小二乘估計(jì)的時(shí)候，需要交代一個(gè)重要的概念，即“估計(jì)量”和“估計(jì)值”的區(qū)別。由（2.2.6 ）給出的參數(shù)估計(jì)結(jié)果是由一個(gè)具體樣本資料計(jì)算出來的，它是一個(gè)“估AA計(jì)值”，或者“點(diǎn)估計(jì)”，是參數(shù)估計(jì)量 7和:1的一個(gè)具體數(shù)值；但從另一個(gè)角度，僅僅AAA把（2.2.6 ）看成0和：1的一個(gè)表達(dá)式，那么，則是yi的函數(shù)，而yi是隨機(jī)變量，所以0AA和一1也是隨機(jī)變量，在這個(gè)角度上，稱之為“估計(jì)量”。在本章后續(xù)內(nèi)容中，有時(shí)把