多元線性回歸中的參數(shù)估計

1、§5.4 多元線性回歸中的參數(shù)估計多元回歸模型設(shè)自變量是可控變量，因變量是隨機變量，它們之間具有統(tǒng)計相關(guān)關(guān)系，若， （5.4-1）則稱（5.4-1）式為元回歸模型。， （5.4-2）則稱（5.4-2）式為元線性回歸模型。 （5.4-3）則稱（5.4-3）式為取，稱為元線性回歸（平面）方程。未知參數(shù) 稱為回歸系數(shù)。對變量;作次（）觀測，得到觀測值，即有觀測變量觀測次數(shù) 12n 于是模型（5.4-3）又化為則稱（5.4-4）式為觀測值模型為表達(dá)方便，在尋求（5.4-4）式的矩陣表示，記則模型（5.4-4）又化為 其中協(xié)方差矩陣為顯然工作：估計未知參數(shù),；對模型的假設(shè)檢驗和對參數(shù)的假設(shè)檢驗

2、；在處對作預(yù)測。多元線性回歸中的參數(shù)估計（1）的最小二乘估計給定，相應(yīng)的滿足模型（5.4-4），從而以近似的觀測值時產(chǎn)生的均方誤差為如有使，則稱為的最小二乘估計。為求，令即（5.4-8）式稱為正規(guī)方程組。其矩陣形式為即亦即 （5.4-9）稱為正規(guī)方程。當(dāng)可逆時，有 其中稱為經(jīng)驗回歸常數(shù)；稱為經(jīng)驗回歸系數(shù)；元線性方程 （5.4-11）式稱為經(jīng)驗回歸平面方程。由正規(guī)方程組（5.4-8）式中的第一個方程可得即與有關(guān)，上式代入（5.4-11）式，得故維的點總位于經(jīng)驗回歸平面上。（2）的矩估計將（5.4-10）式中的代入的表達(dá)式時，得到，稱之為殘差平方和或剩余平方和。故 由矩法知，的矩估計為 （3）多重

3、相關(guān)系數(shù)令其中稱多重相關(guān)系數(shù)。越接近1時，越接近0，說明線性回歸的效果越好；特別，當(dāng)時，說明觀測點 全部落在上。例5.4-1 根據(jù)經(jīng)驗，在人的身高相等的條件下，其血壓與體重，年齡有關(guān)，現(xiàn)有如下13組觀測數(shù)據(jù)：觀測次數(shù)體重年齡血壓1152501202183201413171201244165301265158301176161501257149601238158501259170401321015355123111644013212190401551318520147試求關(guān)于，的線性回歸方程。解：設(shè)回歸模型為，記求解經(jīng)驗回歸系數(shù)MATLAB 程序：x1=152 183 171 165 158 1

4、61 149 158 170 153 164 190 185;x2=50 20 20 30 30 50 60 50 40 55 40 40 20;x=ones(1,13);x1;x2'y=120 141 124 126 117 125 123 125 132 123 132 155 147'b=inv(x'*x)*x'*yb = -62.9634 1.0683 0.4002即有所求經(jīng)驗回歸平面為經(jīng)驗回歸平面圖形MATLAB 程序：plot3 (x1,x2,y','ro') gridhold onX1,X2=meshgrid(x1, x2)

5、;y1=-62.9634+ 1.0683 *X1+0.4002*X2;mesh(X1,X2,y1)圖5.4-1 散點圖與經(jīng)驗回歸平面圖中視線被遮住的部分沒有顯示，若再鍵入命令hidden off，則被遮住的部分會同時顯示。hidden off 圖5.4-2 散點圖與經(jīng)驗回歸平面求的矩估計、多重相關(guān)系數(shù)MATLAB命令：>>n=length(y);>>q=(y-x*b)'*(y-x*b);>>sigma2=q/nsigma2 = 6.2639>>r=sqrt(1-q/(n*var(y,1)r = 0.9727即, .多項式回歸一元非線性回歸

6、化為多元線性回歸多項式回歸模型為：令，則模型化為元線性回歸模型（5.4-3）注：多項式回歸一般在的情況下使用，當(dāng)時稱為拋物線回歸。例5.4.2 已知廢品率與化學(xué)成分有統(tǒng)計相關(guān)關(guān)系，現(xiàn)有試驗數(shù)據(jù)如下：化學(xué)成分3436373839393940廢品率1.301.000.730.900.810.700.600.50化學(xué)成分4041424343454748廢品率0.440.560.300.420.350.400.410.60試求對的回歸方程。解：畫散點圖，確定選配的曲線類型MATLAB 程序：x=34 36 37 38 39 39 39 40 40 41 42 43 43 45 47 48 ;y=1.3

7、0 1.00 0.73 0.90 0.81 0.70 0.60 0.50 0.44 0.56 0.30 0.42 0.35 0.40 0.41 0.60;plot(x,y,'ro') 圖5.4-3 觀測值的散點圖設(shè)有二次多項式回歸模型 ，.令，則回歸模型化為 ，記，求解經(jīng)驗回歸系數(shù)：MATLAB 程序：x1=34 36 37 38 39 39 39 40 40 41 42 43 43 45 47 48 ;x2=x1.2;n=length(x1);x=ones(1,n);x1;x2'y=1.30 1.00 0.73 0.90 0.81 0.70 0.60 0.50 0.4

8、4 0.56 0.30 0.42 0.35 0.40 0.41 0.60'b=inv(x'*x)*x'*yb = 18.2642 -0.8097 0.0092即經(jīng)驗回歸平面為從而經(jīng)驗回歸曲線為經(jīng)驗回歸曲線與散點圖的比較MATLAB 程序：>> y1=y'>> plot(x1,y1,'ro')>>hold on >>f='18.2642-0.8097*x1+0.0092*x1.2'>>fplot(f,34,48)圖5.4-4 散點圖與經(jīng)驗回歸曲線求的矩估計、多重相關(guān)系數(shù)MATLAB命令：>> q=(y-x*b)'*(y-x*b);>> q/nans = 0.0082>> sqrt(1-q/(n*var(y,1)ans =0.9387即, .多元回歸中統(tǒng)計量的分布（1）隨機向量的數(shù)字特征 定義的數(shù)學(xué)期望向量和協(xié)方差矩陣如下：，協(xié)方差矩陣的特點： 主對角元素； ，故協(xié)方差矩陣是對稱矩陣； 當(dāng)相互兩兩獨立時，； 當(dāng)獨立同分布時，.期望向量和協(xié)方差矩陣的運算性質(zhì)：對隨機向量和常數(shù)矩陣，有；.（2）未知參數(shù)估計量的分布定理：. 即（5.4-10）式中的最小二乘估計量是未知參數(shù)的無偏估計。進(jìn)一步有.定