擬合優(yōu)度檢驗(yàn)和假設(shè)檢驗(yàn)

1、第三章 多元線性回歸模型- 擬合優(yōu)度檢驗(yàn)與假設(shè)檢驗(yàn)擬合優(yōu)度檢驗(yàn)與假設(shè)檢驗(yàn) 一、擬合優(yōu)度檢驗(yàn)一、擬合優(yōu)度檢驗(yàn) 1、可決系數(shù)與調(diào)整的可決系數(shù)則2222)()(2)()()()(YYYYYYYYYYYYYYTSSiiiiiiiiii 總總離差離差平方和的分解平方和的分解由于 )()(YYeYYYYiiiiikiikiiieYXeXee110=0所以有： ESSRSSYYYYTSSiii22)()(注意：注意：一個(gè)有趣的現(xiàn)象一個(gè)有趣的現(xiàn)象 222222YYYYYYYYYYYYYYYYYYiiiiiiiiiiii- 我們有：殘差殘差平方和： XYYYeYXXXXXXYYXYY1)()(2XYXYeeeX

2、XXYYXYYYXXYYXYYXYYY為方便計(jì)算，我們也可以用矩陣形式表示R22222YnYYYnYYY而222)(1YYeR22)(YnYYXYYYYnYY22YnYYYnXY將上述結(jié)果代入R2的公式，得到：這就是決定系數(shù)R2 的矩陣形式。 判定系數(shù)判定系數(shù)TSSRSSTSSESSR12該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。 問(wèn)題：在應(yīng)用過(guò)程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量， R2往往增大（Why?) 這就給人一個(gè)錯(cuò)覺(jué)：要使得模型擬合得好，只要增加解釋變量即可。 但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無(wú)關(guān)，R2需調(diào)整。 調(diào)整的判定系數(shù)調(diào)整的判定系數(shù)（adju

3、sted coefficient of determination） 在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是：將殘差平方和與總離差平將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響的影響:) 1/() 1/(12nTSSknRSSR其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。我們有：（1）（2）僅當(dāng)K=0時(shí)，等號(hào)成立。即（3）當(dāng)K增大時(shí)，二者的差異也隨之增大（4） 可能出現(xiàn)負(fù)值。2R22RR22RR 2R 是經(jīng)過(guò)自由度調(diào)整的決定系數(shù)，稱為修正決定系數(shù)。例例1

4、1以前面的數(shù)據(jù)為例，以前面的數(shù)據(jù)為例，Yt = 1 + 2X2 t + 3X3 t + u t 設(shè)觀測(cè)數(shù)據(jù)為設(shè)觀測(cè)數(shù)據(jù)為：Y： 3 1 8 3 5 X2：3 1 5 2 4 X3：5 4 6 4 6 試求試求 。22RR 和64142165141153153813XY解：我們有解：我們有5 . 15 . 2410976204/102/382/3110/45810/4510/2671097620129812581551525155)(11YXXX1085381353813YY80553813522Yn9464.0285.2680108805.1062R8928. 0)35()9464. 01 (

5、41) 1()1)(1(122knRnR習(xí)題習(xí)題. 設(shè)設(shè) n = 20, k = 3, R2 = 0.70 ， 求求 。 當(dāng)當(dāng)n = 10n = 10，n = 5 n = 5 時(shí)，時(shí)， 又是多少。又是多少。 2R2R 例例2 2. 設(shè) n = 20, k = 3, R2 = 0.70 ， 求 。 解： 下面改變n的值，看一看 的值如何變化。我們有 若n = 10，則 = 0.55 若n = 5， 則 = - 0.20 由本例可看出， 有可能為負(fù)值。 這與R2不同 （ ）。2R644. 0)420()70. 01 (191) 1()1)(1(122knRnR2R2R102 R2R2R 二、方程的

6、顯著性檢驗(yàn)(F檢驗(yàn)) 方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。 1、方程顯著性的、方程顯著性的F檢驗(yàn)檢驗(yàn) 即檢驗(yàn)?zāi)Ｐ?Yi=0+1X1i+2X2i+ +kXki+i i=1,2, ,n中的參數(shù)j是否顯著不為0。 可提出如下原假設(shè)與備擇假設(shè)： H0： 0=1=2= =k=0 H1： j不全為0 F F檢驗(yàn)的思想檢驗(yàn)的思想來(lái)自于總離差平方和的分解式： TSS=ESS+RSS由于回歸平方和2iyESS是解釋變量X的聯(lián)合體對(duì)被解釋變量 Y 的線性作用的結(jié)果，考慮比值 22/iieyRSSESS 如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為

7、總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。 因此因此, ,可通過(guò)該比值的大小對(duì)總體線性關(guān)系進(jìn)行推可通過(guò)該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷斷。 根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量 ) 1/(/knRSSkESSF服從自由度為(k , n-k-1)的F分布 給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過(guò) F F(k,n-k-1) 或 FF(k,n-k-1)來(lái)拒絕或接受原假設(shè)H0，以判定原方程總體上總體上的線性關(guān)系是否顯著成立。 對(duì)于中國(guó)居民人均消費(fèi)支出的例子： 一元模型：F=985.6616（P54） 二元模型：F=560.5650 （

8、P72）給定顯著性水平 =0.05，查分布表，得到臨界值： 一元例：F(1,30)=4.17 二元例： F(2,28)=3.34顯然有 F F(k,n-k-1) 即二個(gè)模型的線性關(guān)系在95%的水平下顯著成立。 2、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論 由由) 1/() 1/(12nTSSknRSSR) 1/(/knRSSkESSF可推出：kFknnR1112與或) 1/()1 (22knRkRFR2R2R2R2在在中國(guó)居民人均收入中國(guó)居民人均收入-消費(fèi)消費(fèi)一元模型一元模型中，中，在在中國(guó)居民人均收入中國(guó)居民人均收入-消費(fèi)消費(fèi)二元模型二元模型中中， 三、變量的顯著性檢驗(yàn)（三、變量的顯著性檢

9、驗(yàn)（t檢驗(yàn)）檢驗(yàn)） 方程的方程的總體線性總體線性關(guān)系顯著關(guān)系顯著 每個(gè)解釋變量每個(gè)解釋變量對(duì)對(duì)被解釋變量的影響都是顯著的被解釋變量的影響都是顯著的 因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。 這一檢驗(yàn)是由對(duì)變量的這一檢驗(yàn)是由對(duì)變量的 t t 檢驗(yàn)完成的。檢驗(yàn)完成的。 1、t統(tǒng)計(jì)量統(tǒng)計(jì)量 由于12)()(XXCov 以cii表示矩陣(XX)-1 主對(duì)角線上的第i個(gè)元素，于是參數(shù)估計(jì)量的方差為： iiicVar2)( 其中2為隨機(jī)誤差項(xiàng)的方差，在實(shí)際計(jì)算時(shí)，用它的估計(jì)量代替: 1122knkneiee),(2iiiicN因此，可構(gòu)造如下t統(tǒng)計(jì)量 ) 1(1knt

10、kncStiiiiiiiee 2、t檢驗(yàn)檢驗(yàn) 設(shè)計(jì)原假設(shè)與備擇假設(shè)： H1：i0 給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過(guò) |t| t/2(n-k-1) 或 |t|t/2(n-k-1)來(lái)拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。量是否應(yīng)包括在模型中。 H0：i=0 （i=1,2k） 例：柯布-道格拉斯生產(chǎn)函數(shù) 用柯布和道格拉斯最初使用的數(shù)據(jù)（美國(guó)1899-1922年制造業(yè)數(shù)據(jù)）估計(jì)經(jīng)過(guò)線性變換的模型得到如下結(jié)果（括號(hào)內(nèi)數(shù)字為標(biāo)準(zhǔn)誤差） ：)15. 0()06. 0()43. 0(96. 0log81. 0log23.

11、 018. 0log2RLKY請(qǐng)檢驗(yàn)“斜率”系數(shù)和的顯著性。logloglogloglogYAKLv解：(1) 檢驗(yàn) 的顯著性 原假設(shè) H0： = 0 備擇假設(shè) H1： 0 由回歸結(jié)果，我們有：t0.23/0.06=3.83 用=24321查t表，5%顯著性水平下，tc 2.08. t3.83 tc 2.08， 故拒絕原假設(shè)H0 。 結(jié)論：顯著異于0。 (2) 檢驗(yàn) 的顯著性 原假設(shè)H0： = 0 備擇假設(shè)H1： 0 由回歸結(jié)果，我們有：t0.81/0.15=5.4 t5.4 tc 2.08， 故拒絕原假設(shè)H0 。 結(jié)論：顯著異于0。注意：注意：一元線性回歸中，一元線性回歸中，t t檢驗(yàn)與檢驗(yàn)

12、與F F檢驗(yàn)一致檢驗(yàn)一致 一方面一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0： 1=0=0 進(jìn)行檢驗(yàn); 另一方面另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系： 222212221222122212212)2()2()2()2(txnexnexnenexneyFiiiiiiiiii在中國(guó)居民人均收入中國(guó)居民人均收入-消費(fèi)支出消費(fèi)支出二元模型二元模型例中，由應(yīng)用軟件計(jì)算出參數(shù)的t值： 給定顯著性水平=0.05，查得相應(yīng)臨界值： t0.025(28) =2.048?？梢?，計(jì)算的所有計(jì)算的所有t值都大于該臨界值值都大于該臨界值，所以拒絕原假設(shè)。即:2個(gè)解釋變量都在個(gè)解釋變量都在95%的水平下顯著，都通過(guò)的水平下

13、顯著，都通過(guò)了變量顯著性檢驗(yàn)。了變量顯著性檢驗(yàn)。201. 2t,378. 7t21 四、參數(shù)的置信區(qū)間 參數(shù)的置信區(qū)間用來(lái)考察：用來(lái)考察：在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近”。 在變量的顯著性檢驗(yàn)中已經(jīng)知道：) 1(1kntkncStiiiiiiiee容易推出容易推出：在(1-)的置信水平下i的置信區(qū)間是 (,)iitstsii22其中，t/2為顯著性水平為 、自由度為n-k-1的臨界值。 已知在二元模型二元模型例中,樣本容量為22，給定=0.05，計(jì)算得參數(shù)的置信區(qū)間： 170. 04515. 0061. 02213. 051.3670.120210210sss 且從回歸計(jì)算中已得到：給定=0.05，查表得臨界值：t0.025(19)=2.093計(jì)算得參數(shù)的置信區(qū)間： 0 ：(44.284, 197.116) 1 ： (0.0937, 0.3489 ) 2 ：(0.0951, 0.8080)如何才能縮小置信區(qū)間？如何才能縮小置信區(qū)間？ 增大樣本容量增大樣本容量n n，因?yàn)樵谕瑯拥臉颖救萘肯拢驗(yàn)樵谕瑯拥臉颖救萘肯?，n n越越大，大，t t分布表中的臨界值越小，同時(shí)，增大樣本容分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)