加權(quán)OLS權(quán)數(shù)確定

#淺談加權(quán)最小二乘法及其殘差圖——兼答孫小素副教授何曉群劉文卿ABSTRACTThepaperintroducessomeproblemsinrelationtoweightedleastsquareregression,andanswersaquestionaboutweightedresidualplots.關(guān)鍵詞：異方差；加權(quán)最小二乘法；殘差圖；SPSS一、引言好幾年沒(méi)有翻《統(tǒng)計(jì)研究》了。最近，有一同行朋友打電話告訴我《統(tǒng)計(jì)研究》2005年第11期上刊登了一篇有關(guān)我與劉文卿合作編著的《應(yīng)用回歸分析》（2001.6.中國(guó)人民大學(xué)出版社）教材的文章。趕緊找到這期的《統(tǒng)計(jì)研究》，看到其中孫小素副教授的文章《加權(quán)最小二乘法殘差圖問(wèn)題探討——與何曉群教授商榷》一文，以下簡(jiǎn)稱《孫文》。認(rèn)真拜讀后感觸良多。首先衷心感謝孫小素副教授閱讀了我們《應(yīng)用回歸分析》拙作的部分章節(jié)，同時(shí)感謝《統(tǒng)計(jì)研究》給我們提供這樣一個(gè)好的機(jī)會(huì)，使我們能夠借助貴刊對(duì)加權(quán)最小二乘法的有關(guān)問(wèn)題談?wù)劯嗟恼J(rèn)識(shí)。《孫文》談到《應(yīng)用回歸分析》教材中有關(guān)加權(quán)最小二乘法殘差圖的問(wèn)題。擺出了與加權(quán)最小二乘法相關(guān)的三類殘差圖，指出第三類殘差圖的局限性。直接的問(wèn)題是三類殘差圖的作用，而更深層的原因應(yīng)該是對(duì)加權(quán)最小二乘法統(tǒng)計(jì)思想的理解和認(rèn)識(shí)上的差異。二、對(duì)加權(quán)最小二乘法的認(rèn)識(shí)加權(quán)最小二乘估計(jì)方法拙作《應(yīng)用回歸分析》中對(duì)加權(quán)最小二乘法有詳盡的講述，這里僅做簡(jiǎn)要介紹。多元線性回歸方程普通最小二乘法的離差平方和為：Q（卩,卩，…,卩）=丫（y-卩-卩x卩x）2（1）01pi01i1pipi=1八八八普通最小二乘估計(jì)就是尋找參數(shù)卩，卩，…，卩的估計(jì)值卩，卩，…,卩使式（1）的離01p01p差平方和Q達(dá)極小。式（1）中每個(gè)平方項(xiàng)的權(quán)數(shù)相同，是普通最小二乘回歸參數(shù)估計(jì)方法。在誤差項(xiàng)匕等方差不相關(guān)的條件下，普通最小二乘估計(jì)是回歸參數(shù)的最小方差線性無(wú)偏估i計(jì)。然而在異方差的條件下，平方和中的每一項(xiàng)的地位是不相同的，誤差項(xiàng)s的方差b2大ii的項(xiàng)，在式（1）平方和中的取值就偏大，在平方和中的作用就大，因而普通最小二乘估計(jì)的回歸線就被拉向方差大的項(xiàng)，方差大的項(xiàng)的擬合程度就好，而方差小的項(xiàng)的擬合程度就差。由式（1）求出的0，0，…,0仍然是卩，卩，…,卩的無(wú)偏估計(jì)，但不再是最小方差線性01p01p無(wú)偏估計(jì)。加權(quán)最小二乘估計(jì)的方法是在平方和中加入一個(gè)適當(dāng)?shù)臋?quán)數(shù)w，以調(diào)整各項(xiàng)在平方和中的作用，加權(quán)最小二乘的離差平方和為：Q(卩,卩,…,卩)=丫w(y-卩-卩x卩x)2(2)w01pii01i1pipi=1八八八加權(quán)最小二乘估計(jì)就是尋找參數(shù)卩，卩，…，卩的估計(jì)值卩，卩，…,卩使式(2)的離差01p0w1wpw平方和Q達(dá)極小。所得加權(quán)最小二乘經(jīng)驗(yàn)回歸方程記做wy=卩+pxh—卩x(3)w0w1w1pwp理論上最優(yōu)的權(quán)數(shù)w為誤差項(xiàng)方差G2的倒數(shù)，即ii1w=——(4)ib2i誤差項(xiàng)方差大的項(xiàng)接受小的權(quán)數(shù)，以降低其在式(2)平方和中的作用;誤差項(xiàng)方差小的項(xiàng)接受大的權(quán)數(shù)，以提高其在平方和中的作用。由(2)式求出的加權(quán)最小二乘估計(jì)PP，…，P就是參數(shù)卩0，片，…，卩的最小方差線性無(wú)偏估計(jì)。0w1wpw01p一個(gè)需要解決的問(wèn)題是誤差項(xiàng)的方差b2是未知的，因此無(wú)法真正按照式(4)選取權(quán)數(shù)。i在實(shí)際問(wèn)題中誤差項(xiàng)方差b2通常與自變量的水平有關(guān),可以利用這種關(guān)系確定權(quán)數(shù)。例如ib2與第j個(gè)自變量取值的平方成比例時(shí)，即b2=kx2時(shí),這時(shí)取權(quán)數(shù)為TOC\o"1-5"\h\ziiij1w=(5)ix2ij更一般的情況是誤差項(xiàng)方差b2與某個(gè)自變量x取值的幕函數(shù)xm成比例，即b2=kxm,ijijiij其中m是待定的未知參數(shù)。此時(shí)權(quán)數(shù)為1w=——(6)ixmij這時(shí)確定權(quán)數(shù)w的問(wèn)題轉(zhuǎn)化為確定幕參數(shù)m的問(wèn)題，可以借助SPSS軟件解決?！稇?yīng)i用回歸》書中和《孫文》中都講了這個(gè)方法，本文不再重述。需要注意的是，在實(shí)際問(wèn)題中比例關(guān)系b2=kxm只是近似的，式(6)確定的權(quán)數(shù)w只是式(4)最優(yōu)權(quán)數(shù)的近似值，因iiji此所得的參數(shù)最小二乘估計(jì)也只是近似的最小方差線性無(wú)偏估計(jì)。變量變換的加權(quán)最小二乘法《孫文》中談到：加權(quán)最小二乘法的實(shí)質(zhì)是要對(duì)原始數(shù)據(jù)實(shí)施變換，獲得新的解釋變量和被解釋變量，變換的方法是：TOC\o"1-5"\h\zy=y-x-2(y表示變換后的被解釋變量)(7)mx'=x-x-2，h=0，1，2,……，p(x'是對(duì)應(yīng)于原始變量x的新解釋變量)(8)hhjhh對(duì)變換后的變量(y',x',x'，…,x')重新進(jìn)行普通最小二成估計(jì)(注意，此處的回歸01pm模型不包含常數(shù)項(xiàng)，增加了數(shù)據(jù)變換后派生出的一個(gè)新解釋變量x'=x-2)，即可得到加0j權(quán)最小二乘法的經(jīng)驗(yàn)回歸方程：y'=0x'+px'+…+0x'(9)w0w01w1pwp以上是《孫文》中對(duì)加權(quán)最小二乘法的解釋，其中公式(7)、(8)、(9)分別對(duì)應(yīng)《孫文》中的公式(3)、(4)、(5)。

兩種方法的異同■m相同之處。顯然，式(3)與式(9)兩個(gè)回歸方程是等價(jià)的，把式(3)同時(shí)乘以fw二x-2后就轉(zhuǎn)化為式(9)。不同之處。首先，式(3)的回歸方程$=0+(3x++(3x使用起來(lái)比較w0w1w1pwp方便，因?yàn)槔迷摶貧w方程進(jìn)行預(yù)測(cè)和控制時(shí)，無(wú)須按式(8)變換自變量的新值，直接將自變量的新值代入式(3)即可。對(duì)這一點(diǎn)孫小素副教授也是認(rèn)同的。其實(shí)，所有方法的優(yōu)劣評(píng)價(jià)根本就在于他是否方便于建模最終的應(yīng)用。其次，雖然兩種加權(quán)回歸方法所得的回歸方程是等價(jià)的，但是對(duì)回歸效果的擬合優(yōu)度和檢驗(yàn)是不同的，式(3)的加權(quán)最小二乘的總離差平方和、回歸離差平方和、殘差平方和的計(jì)算公式和關(guān)系為：刀wi(刀wi(yi-叮=刀wi(yiw工we2iiw10)i=1i=1i=1其中y是y用w加權(quán)的算術(shù)平均數(shù)。wii由于式(9)的變換加權(quán)最小二乘回歸方程不含常數(shù)項(xiàng)，所以不滿足離差平方和分解式，而是對(duì)直接的平方和滿足分解式，總平方和、回歸平方和、殘差平方和的計(jì)算公式和關(guān)系為：Sy'2=Sy'2+Se'2iiwiwi=1i=1i=1(11)等價(jià)于SnSnSnwy2=wy2+we2iiiiwiiwi=1i=1i=1(12)對(duì)不含常數(shù)項(xiàng)的普通最小二乘回歸，SPSS軟件就是用上述公式計(jì)算平方和并進(jìn)而計(jì)算判定系數(shù)R2和做f檢驗(yàn)的。然而，這種做法的合理性是有欠缺的，因?yàn)榭偲椒胶蚐y'2不ii=1能如實(shí)反映因變量的變差，僅是為了滿足平方和分解式而這樣做，有削足適履的嫌疑。另外一種做法是以工(y'—y')2作為總離差平方和，把工(y'—y')2—工e'2作為回iiwi=1i=1i=1歸離差平方和，而不使用工(y'—y')2作為回歸離差平方和，Excel軟件不含常數(shù)項(xiàng)(即iwi=1指定常數(shù)項(xiàng)為零)的普通最小二乘回歸就是采用的這個(gè)方法。對(duì)《孫文》所引用的《應(yīng)用回歸分析》例題，有關(guān)的計(jì)算結(jié)果見表1(a)—(d)。從表中可以清楚看出用變換加權(quán)最小二乘法計(jì)算離差平方和存在明顯的問(wèn)題，判定系數(shù)R2和檢驗(yàn)統(tǒng)計(jì)量F嚴(yán)重失真。對(duì)同樣的數(shù)據(jù)做變換加權(quán)最小二乘估計(jì)，市面上流行的不同軟件的擬合優(yōu)度檢驗(yàn)卻差別很大，SPSS軟件計(jì)算出的F=442.2,R2=0.968；Excel軟件計(jì)算出的F=74.26,R2=0.837。對(duì)其他數(shù)值就不逐一對(duì)比了。表1(a)普通最小二乘方差分析表(SPSS)來(lái)源平方和白由度均方F顯著性R2回歸18440108118440108300.77.53E-170.912殘差17782022961317總計(jì)2021831130表1(b)加權(quán)最小二乘方差分析表(SPSS)來(lái)源平方和自由度均方F顯著性R2回歸6.65516.655423.77.51E-190.936殘差0.455290.0157總計(jì)7.11030表1(c)變換加權(quán)最小二乘方差分析表(SPSS)來(lái)源平方和自由度均方F顯著性R2回歸13.89126.945442.21.88E-220.968殘差0.455290.0157總計(jì)14.34631表1(d)變換加權(quán)最小二乘方差分析表(Excel)來(lái)源平方和自由度均方F顯著性R2回歸2.33221.16674.266.39E-120.837殘差0.4554290.0157總計(jì)2.78831針對(duì)上述問(wèn)題，變換加權(quán)最小二乘法實(shí)際上常用于式(5)成立的情況，即m=2,此時(shí)變換后的自變量x'三1,回歸參數(shù)0.就相當(dāng)于回歸常數(shù)項(xiàng)了，對(duì)變換后的數(shù)據(jù)就可以用含有常數(shù)項(xiàng)的普通最小二乘估計(jì)方法，各種統(tǒng)計(jì)軟件對(duì)變換加權(quán)最小二乘法回歸的擬合優(yōu)度檢驗(yàn)的輸出結(jié)果就都一致了。遺憾的是，即使是在這種特殊情況下也仍然與直接用加權(quán)最小二乘估計(jì)方法不一致，這只需仔細(xì)比較兩種情況的總離差平方和公式￡(yy')2和ii=1￡w(y-y)2的差異即可。iiwi=1這種通過(guò)變換變量求解加權(quán)最小二乘估計(jì)方法的作用是什么呢？引用文獻(xiàn)［1］第180頁(yè)的一段文字給予解釋：“許多回歸軟件包允許用戶有選擇地使用具體的權(quán)數(shù)進(jìn)行加權(quán)最小二乘分析。如果不能選擇，通過(guò)對(duì)觀察值的具體變換，使用不加權(quán)的最小二乘法，仍能得到加權(quán)最小二乘估計(jì)量?！笨梢娡ㄟ^(guò)變換變量求解加權(quán)最小二乘估計(jì)的方法僅是作為參數(shù)估計(jì)的一種計(jì)算手段而存在的，如果你使用的軟件僅具有普通最小二乘功能，就只能用變換變量的方法求解加權(quán)最小二乘的參數(shù)估計(jì)。《應(yīng)用回歸分析》教材是結(jié)合SPSS軟件編寫的，而SPSS軟件允許用戶直接使用權(quán)數(shù)進(jìn)行加權(quán)最小二乘分析，不必通過(guò)變換變量的方法求解加權(quán)最小二乘估計(jì)，因此我們?cè)诮滩闹袥](méi)有給出這種通過(guò)變換變量求解加權(quán)最小二乘估計(jì)的方法?？v上所述，在擁有像SPSS這種能夠直接計(jì)算加權(quán)最小二乘估計(jì)的軟件時(shí)，就不必使用變換變量求解加權(quán)最小二乘估計(jì)的方法了。即使使用的是變換變量求解加權(quán)最小二乘估計(jì)的方法，也應(yīng)該把式(9)變換回式(3)的形式，用來(lái)直接表示出原始變量之間的關(guān)系。因此《孫文》把式(9)稱為加權(quán)最小二乘法的經(jīng)驗(yàn)回歸方程就顯然不合適了。我們也沒(méi)有見到其他的文獻(xiàn)用這個(gè)稱法。三、三類殘差圖的作用以殘差為縱坐標(biāo)軸以自變量(或回歸值y)為橫坐標(biāo)軸畫的散點(diǎn)圖就是殘差圖?！秾O文》中的三類殘差圖如下：普通殘差圖。指用原始數(shù)據(jù)對(duì)線性回歸模型做普通最小二乘估計(jì)所得的普通殘差ei所做的殘差圖，也就是《孫文》中所稱的第一類殘差圖。加權(quán)普通殘差圖。其殘差是用原始數(shù)據(jù)做加權(quán)最小二乘估計(jì)所得的普通殘差e(在w《孫文》中記做e')，也就是《孫文》中所稱的加權(quán)派生殘差圖，或第三類殘差圖。w加權(quán)變換殘差圖。其殘差是用變換數(shù)據(jù)做加權(quán)最小二乘估計(jì)所得的普通殘差e'(在w《孫文》中記做e）,也就是《孫文》中所稱的加權(quán)殘差圖，或第二類殘差圖。e'的計(jì)算ww方法有兩種，第一種方法是用式（9）的變換加權(quán)最小二乘法得到，第二種方法是把加權(quán)普mm通殘差e乘以x/w=x-2得到，即e=e?丫w=e-x-2。wjwwwj拙作《應(yīng)用回歸分析》一書中重點(diǎn)講述的是普通殘差圖的作用，可以從直觀上判斷回歸模型是否存在異方差性，還可以進(jìn)一步用普通殘差的絕對(duì)值與自變量計(jì)算等級(jí)相關(guān)系數(shù)，做相關(guān)性檢驗(yàn)來(lái)判斷是否存在異方差性。在教材正文中對(duì)加權(quán)殘差圖只是給出了軟件繪制的方法和圖形，并沒(méi)有對(duì)圖形結(jié)果做任何文字說(shuō)明和評(píng)價(jià)。由于考慮有些初學(xué)者可能會(huì)產(chǎn)生誤解，我們?cè)诮滩牡?21頁(yè)“本章小結(jié)與評(píng)注”中對(duì)加權(quán)殘差圖做了簡(jiǎn)要解釋，引述如下：“從殘差圖來(lái)看，普通最小二乘估計(jì)只能照顧到殘差大的項(xiàng)，而小殘差項(xiàng)往往有整體的正偏或負(fù)偏。加權(quán)最小二乘估計(jì)的殘差圖，對(duì)大殘差和小殘差擬合的都好，大殘差和小殘差都沒(méi)有整體的正偏或負(fù)偏?！币陨线@段文字指出了加權(quán)殘差圖的作用，如果在普通殘差圖中小殘差有整體的正偏或負(fù)偏，而在加權(quán)普通殘差圖中得到明顯的改善，這就說(shuō)明加權(quán)最小二乘估計(jì)是顯著有效的。兩種殘差圖在《應(yīng)用回歸分析》和《孫文》中都已給出，本文就不重復(fù)繪制圖形了，而是把三種殘差的具體數(shù)值列在表2中，說(shuō)明加權(quán)普通殘差的作用。表2三種殘差的數(shù)值序號(hào)y.xweee'126487771.2161E-061692110.233210592101.1314E-06-27140.01539099541.0069E-06-105-66-0.0664131105089.2837E-07-111-74-0.0715122109798.6927E-07-159-124-0.1166107119127.6917E-07-253-221-0.1947406127476.9485E-07-2540.0048503134996.3760E-078350.0289431142695.8669E-07-129-105-0.08010588155225.1710E-07-78-58-0.04211898167304.6212E-071301460.09912950176634.2599E-071031160.07613779185753.9501E-07-146-135-0.08514819196353.6346E-07-195-188-0.114151222211633.2481E-0778800.046161702228802.8895E-074134090.220171578241272.6684E-071831760.091181654256042.4408E-071341220.060191400265002.3181E-07-195-211-0.102201829276702.1726E-071341150.054212200283002.1005E-074524310.197222017274302.2012E-073433240.152232105295601.9676E-072502250.100241600281502.1173E-07-135-156-0.072252250321001.7388E-071801470.061262420325001.7068E-073172810.116272570352501.5110E-072341900.074281720335001.6309E-07-468-507-0.205291900360001.4640E-07-500-546-0.209302100362001.4519E-07-317-364-0.139312300382001.3394E-07-286-340-0.124這個(gè)例子共有31對(duì)數(shù)據(jù)，把數(shù)據(jù)分為3組，第1—10對(duì)數(shù)據(jù)為第1組，是小方差組11—21對(duì)數(shù)據(jù)為第2組，是中等方差組；22—31對(duì)數(shù)據(jù)為第3組，是大方差組。從表中看到，第1組10個(gè)普通殘差e中有8個(gè)是負(fù)值，說(shuō)明普通殘差圖中小殘差有整i體的負(fù)偏。而10個(gè)加權(quán)殘差e中只有6個(gè)是負(fù)值，說(shuō)明加權(quán)殘差對(duì)小殘差整體負(fù)偏的情況iw已經(jīng)有了明顯改進(jìn)。10個(gè)普通殘差中絕對(duì)值最大的是e=-253，加權(quán)回歸后改善為e=66w-221。圖形是對(duì)數(shù)值的直觀展示，從兩張殘差圖上也是可以看出相同現(xiàn)象的。第3組10個(gè)普通殘差e和加權(quán)殘差e的正負(fù)性相同，正負(fù)值各有5個(gè)，說(shuō)明普通最iiw小二乘和加權(quán)最小二乘對(duì)大殘差項(xiàng)擬合的都好。仔細(xì)觀察這組的兩種殘差還是能發(fā)現(xiàn)區(qū)別的，10個(gè)普通殘差中絕對(duì)值最大的是e=-500，加權(quán)回歸后成為e=-546。不是像小殘2929w差組那樣得到改善，而是誤差變得更大。其道理也很簡(jiǎn)單，加權(quán)最小二乘估計(jì)照顧小殘差項(xiàng)是以犧牲大殘差項(xiàng)為代價(jià)的，有得必有失，也是有局限性的。《孫文》中認(rèn)為加權(quán)殘差圖存在一定的局限性，具體表現(xiàn)在：“第一，這類殘差圖不能用來(lái)檢驗(yàn)?zāi)Ｐ褪欠翊嬖诋惙讲顔?wèn)題。第二，這類殘差圖也不能用來(lái)說(shuō)明模型中的異方差問(wèn)題是否得到妥善處理?！标P(guān)于第一點(diǎn)，準(zhǔn)確地說(shuō)是不必用加權(quán)殘差圖檢驗(yàn)?zāi)Ｐ褪欠翊嬖诋惙讲顔?wèn)題，并非不能用，這是因?yàn)闄z驗(yàn)?zāi)Ｐ褪欠翊嬖诋惙讲顔?wèn)題的工作已經(jīng)由普通殘差圖完成。實(shí)際上用加權(quán)普通殘差圖檢驗(yàn)異方差的效果是優(yōu)于普通殘差圖的，這是因?yàn)榇嬖诋惙讲顣r(shí)普通殘差對(duì)誤差的估計(jì)是失真的，而加權(quán)殘差則能夠更真實(shí)地反映誤差項(xiàng)的大小。關(guān)于第二點(diǎn)，如果從加權(quán)殘差圖中看到小殘差項(xiàng)已經(jīng)沒(méi)有整體的正偏或負(fù)偏，則說(shuō)明加權(quán)最小二乘估計(jì)已經(jīng)消除了異方差的影響?！秾O文》中提出的加權(quán)變換殘差圖（第二類殘差圖）是有其長(zhǎng)處的，可以比加權(quán)普通殘差圖（第三類殘差圖）更直觀地看出加權(quán)最小二乘估計(jì)是否真正解決了異方差問(wèn)題，這只要看看殘差圖中散點(diǎn)在左右兩端分布得是否平齊即可。還可以由加權(quán)變換殘差e'用等級(jí)相關(guān)iw系數(shù)法做檢驗(yàn)，判斷異方差是否真正得以消除，這個(gè)作用是加權(quán)普通殘差e不具備的。這iw兩個(gè)作用在《孫文》中已經(jīng)詳細(xì)介紹。順便指出《孫文》以加權(quán)變換殘差e'為縱軸，分別iw以兩個(gè)變換后的自變量x'=x-0.75和x'=X0.25為橫軸繪制出兩張殘差圖是不必要的，實(shí)際01上這兩張殘差圖是等價(jià)的，從圖形上看只是左右顛倒。加權(quán)變換殘差e'的數(shù)值是對(duì)原始數(shù)據(jù)的殘差做了變換，其數(shù)值大小只具有相對(duì)意義。iw加權(quán)普通殘差e是原始數(shù)據(jù)的殘差，其數(shù)值大小具有絕對(duì)意義，它綜合了普通殘差和加權(quán)iw變換殘差的部分功能，當(dāng)然同時(shí)也喪失了部分功能?！秾O文》中講述了用變換加權(quán)最小二乘法計(jì)算加權(quán)變換殘差e'的方法。實(shí)際上，在用iwSPSS軟件計(jì)算出權(quán)數(shù)W和加權(quán)普通殘差e后，只須根據(jù)關(guān)系e'=/W-e就可以計(jì)算出iiwiw中iiw加權(quán)變換殘差e'，而不必用變換加權(quán)最小二乘方法。iw拙作《應(yīng)用回歸分析》在正文中對(duì)加權(quán)變換殘差圖完全沒(méi)有提及，不過(guò)“本章小結(jié)與評(píng)注”中的一句話“如果把誤差項(xiàng)加權(quán)，那么加權(quán)的誤差項(xiàng)jw?莓是等方差的”，可以看作是對(duì)加權(quán)變換殘差e'的詮釋。iw拙作《應(yīng)用回歸分析》關(guān)于加權(quán)普通殘差圖的內(nèi)容是這樣講述的：“為了畫殘差圖，需要計(jì)算出加權(quán)最小二乘估計(jì)的殘差e，這需要重新做回歸。iw第一步，在WeightEstimation對(duì)話框的Options選項(xiàng)中，保存最優(yōu)權(quán)作為新的變量。第二步，進(jìn)入線性回歸對(duì)話框，點(diǎn)選左下角的WLS,線性回歸對(duì)話框會(huì)增加一行Weight變量框，把在第一步保存的最優(yōu)權(quán)變量選入。第三步，點(diǎn)選線性回歸對(duì)話框的Save選項(xiàng)，保存殘差變量，運(yùn)行。第四步，以自變量x為橫軸，以加權(quán)最小二乘估計(jì)的殘差e為縱軸畫殘差圖”iw這段內(nèi)容的直接作用是介紹加權(quán)普通殘差圖的繪制方法，其間接作用是介紹SPSS軟件加權(quán)最小二乘估計(jì)功能的使用方法，也就是“第二步”的內(nèi)容。在SPSS軟件中，加權(quán)最小二乘回歸具有普通最小二乘回歸的很多功能，包括共線性診斷、異常值判定、自相關(guān)分析、區(qū)間預(yù)測(cè)等等，這些功能都是以“第二步”的內(nèi)容為基礎(chǔ)的，計(jì)算殘差只是眾多功能之一而已。用圖形來(lái)評(píng)價(jià)結(jié)果往往只是一種粗糙的輔助手段。正像我們?cè)谧咀鳌稇?yīng)用回歸分析》第121頁(yè)“本章小結(jié)與評(píng)注”上強(qiáng)調(diào)指出：“關(guān)于異方差性的診斷，方法很多，至于哪種檢驗(yàn)方法最好，目前還沒(méi)有一致的看法。殘差圖方法直觀但較粗糙。等級(jí)相關(guān)系數(shù)檢驗(yàn)要比殘差圖檢驗(yàn)方法更為可取?！彼?、對(duì)異方差問(wèn)題的深入思考拙作《應(yīng)用回歸分析》教材定位于統(tǒng)計(jì)學(xué)專業(yè)的本科生或非統(tǒng)計(jì)學(xué)專業(yè)的碩士生，作為3學(xué)分54學(xué)時(shí)的課程教材，限制篇幅和深度，教材中對(duì)一些問(wèn)題不可能全面展開敘述，在此對(duì)異方差的一些問(wèn)題再做進(jìn)一步探討。當(dāng)回歸模型存在異方差時(shí)，加權(quán)最小二乘估計(jì)只是對(duì)普通最小二乘估計(jì)的改進(jìn)，這種改進(jìn)有可能是細(xì)微的，不能理解為加權(quán)最小二乘估計(jì)會(huì)得到與普通最小二乘估計(jì)截然不同的回歸方程，或者一定有大幅度的改進(jìn)。對(duì)本例的數(shù)據(jù)，普通最小二乘的經(jīng)驗(yàn)回歸方程是y=-648.1+0.0847x，加權(quán)最小二乘的經(jīng)驗(yàn)回歸方程是y=—719.1+0.0879兀，兩者相w差不大。比較加權(quán)普通殘差圖與普通殘差圖的差異就可以如實(shí)反映這種改進(jìn)幅度?？磥?lái)需要fi強(qiáng)調(diào)指出的是這個(gè)改進(jìn)幅度不是指e=w■e是否變?yōu)榈确讲盍?，而是指回歸方程也就iw%iiw是回歸系數(shù)估計(jì)值的差異幅度，在這一問(wèn)題上加權(quán)普通殘差圖是優(yōu)于加權(quán)變換殘差圖的。實(shí)際上，可以構(gòu)造出這樣的數(shù)據(jù)，回歸模型存在很強(qiáng)的異方差，加權(quán)回歸后e'-e變iw"iiw為等方差了，但是普通最小二乘與加權(quán)最小二乘所得的回歸方程卻完全一樣。加權(quán)最小二乘以犧牲大方差項(xiàng)的擬合效果為代價(jià)改善了小方差項(xiàng)的擬合效果，這也并不總是研究者所需要的。在社會(huì)經(jīng)濟(jì)現(xiàn)象中，通常變量取值大時(shí)方差也大，在以經(jīng)濟(jì)總量為研究目標(biāo)時(shí)，更關(guān)心的是變量取值大的項(xiàng)，而普通最小二乘恰好能滿足這個(gè)要求。動(dòng)態(tài)數(shù)據(jù)的指數(shù)平滑法把近期數(shù)據(jù)加上大的權(quán)數(shù)，強(qiáng)調(diào)近期數(shù)據(jù)的貢獻(xiàn)就是這樣的統(tǒng)計(jì)思想。加權(quán)最小二乘估計(jì)的理論權(quán)數(shù)是式(4),但是實(shí)際使用的只能是近似的，通常取為某個(gè)自變量x平方的倒數(shù)，即w=1X2。對(duì)本例的數(shù)據(jù)，取w=1X2,加權(quán)最小二乘回歸方j(luò)j■程為y=—722.5+0.0881X，判定系數(shù)R2=0.933。而取最優(yōu)權(quán)數(shù)w=V%1-5所得加權(quán)最小w■二乘回歸方程為y=—719.1+0.0879x，R2=0.936,兩者非常接近。所以當(dāng)手頭沒(méi)有SPSSw軟件時(shí)，直接取w=1/X2是一個(gè)可行的方法，這時(shí)對(duì)加權(quán)最小二乘回歸的效果要用殘差圖等方法驗(yàn)證。如前所述，當(dāng)用變換變量方法做加權(quán)最小二乘估計(jì)時(shí)，選取w=1X2的一個(gè)好處是回歸模型中仍然含有常數(shù)項(xiàng)，這時(shí)不同軟件對(duì)回歸擬合優(yōu)度檢驗(yàn)的結(jié)果就一致了。異方差問(wèn)題是社會(huì)經(jīng)濟(jì)現(xiàn)象建立回歸模型時(shí)的普遍問(wèn)題，加權(quán)最小二乘估計(jì)是解決異方差的一個(gè)常用方法，另外一個(gè)方法是當(dāng)模型存在異方差性時(shí),人們往往還考慮對(duì)因變量作變換,使得對(duì)變換過(guò)后的數(shù)據(jù)誤差方差能夠近似相等,即方差比較穩(wěn)定,所以通常稱這種變換為方差穩(wěn)定化變換，常見的變量變換有如下幾種。⑴如果b2與E(y)存在一定的比例關(guān)系，使用y'=";i(2)如果b與E(y)存在一定的比例關(guān)系，使用y'=log(y)；ii⑶如果廠與E(y.)存在