第三章多元線性回歸模型

1、第三章第三章多元線性回歸模型多元線性回歸模型主要內(nèi)容n多元線性回歸模型的一般形式 n參數(shù)估計（ OLS估計）n假設(shè)檢驗n預(yù)測一. 多元線性回歸模型n問題的提出n解析形式n矩陣形式問題的提出n現(xiàn)實生活中引起被解釋變量變化的因素并非僅只一個解釋變量，可能有很多個解釋變量。n例如，產(chǎn)出往往受各種投入要素資本、勞動、技術(shù)等的影響；銷售額往往受價格和公司對廣告費的投入的影響等。n所以在一元線性模型的基礎(chǔ)上，提出多元線性模型解釋變量個數(shù) 2多元線性回歸模型的假設(shè)n解釋變量 Xi 是確定性變量，不是隨機變量；解釋變量之間互不相關(guān)，即無多重共線性。n隨機誤差項具有0均值和同方差n隨機誤差項不存在序列相關(guān)關(guān)系n

2、隨機誤差項與解釋變量之間不相關(guān)n隨機誤差項服從0均值、同方差的正態(tài)分布uXbXbXbbYkk22110多元模型的解析表達式ikikiiikiiiikkuXbXbXbbYniXXXYnuXbXbXbbY221102122110, 2 , 1),(得：個樣本觀測值nknknnnkkkkuXbXbXbbYuXbXbXbbYuXbXbXbbY2211022222121021121211101uuubbbbXXXXXXXXXYYYnkknkknnn2121021222211121121111多元模型的矩陣表達式UXBYuuubbbbXXXXXXXXXYYYnkknkknnnUBXYUXBY2121021

3、222211121121111矩陣形式二. 參數(shù)估計(OLS)n參數(shù)值估計n參數(shù)估計量的性質(zhì)n偏回歸系數(shù)的含義n正規(guī)方程n樣本容量問題1.參數(shù)值估計(OLS)nininiiXbXbbYyyQkikiiiie1212121100000210kbQbQbQbQ00001102110211101110XXbXbbxYXXbXbbXYXXbXbbXYXbXbbYkikikikiiikikiiiikikiiikikii得到下列方程組求參數(shù)估計值的實質(zhì)是求一個k+1元方程組正規(guī)方程正規(guī)方程變成矩陣形式ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbX

4、bYXbXbXbbn222110111222111022110ikiiiikkikiikiikiikiiiiikiiiYXYXYbbbbXXXXXXXXXXXXXXXn121022111221121正規(guī)方程正規(guī)方程矩陣形式Y(jié)XXXBYXBXX1)(22111221121kikiikiikiikiiiiikiiiXXXXXXXXXXXXXXXnXXkbbbbB210ikiiiiYXYXYYX1最小二乘法的矩陣表示1002)()()()(), 0(2112122kneeYXXXBBXXYXBQBXXBYXBYYYXBBXYBXXBYXBBXYYYBXYXBYQBXYBXYeeBXYYYEyyQNU

5、UXBYBXYniiiniie？為什么2.1最小二乘估計量的性質(zhì)n（1）線性（估計量都是被解釋變量觀測值的線性組合）n（2）無偏性（估計量的數(shù)學(xué)期望=被估計的真值）n（3）有效性（估計量的方差是所有線性無偏估計中最小的）無偏估計（是最佳線性估計式結(jié)論：在古典假定下，BLUEOLSOLS估計量的性質(zhì)（續(xù)）正態(tài)）的線性函數(shù)是正態(tài)，又的線性函數(shù)是正態(tài)（個元素。中對角線上第）是（其中，在古典假定下，jjiijjjjjjjjYuYujccVarkjVarNY, XX,)(,.,2 , 1),(,()4(12線性YXXXB)(1無偏性BNXEXXBNXXXXBXXXENXBXXXEYXXXEBE)()()

6、()()()()()(11111有效性)()()()()()()()()()()()()()()() )()()() )()(121111111111)1()1(2XXXXXXXXNNEXXXNNEXXXXXXNNXXXEBNXBXXXBNXBXXXEBYXXXBYXXXEBBBBEBEBBEBEBCovxExExCovkk回憶：2.2 OLS回歸線的性質(zhì)n完全同一元情形：不相關(guān)與殘差）解釋變量（不相關(guān)；與殘差）應(yīng)變量估計值（的均值為剩余項（殘差）的均值的均值等于實際觀測值估計值）回歸線過樣本均值（iiiiiiikikiieXeYeYYXXXY540)3()2(.1332212.3 隨機擾動項

7、方差的估計個），待估參數(shù)有（比較：一元情形：為待估參數(shù)個數(shù)。為樣本容量，其中估計：擾動項的方差2222222neknkneii注解：k與k+1n凡是按解釋變量的個數(shù)為k的，那么共有k+1個參數(shù)要估計。而按參數(shù)個數(shù)為k的，則實際有k-1個解釋變量?？傊畠烧呦嗖?而已！要小心所用的k是什么意思！n所以如果本來是用解釋變量個數(shù)的k表示的要轉(zhuǎn)換成參數(shù)個數(shù)的k則用k-1代換原來的k就可以了！3.偏回歸系數(shù)的意義n多元回歸模型中的回歸系數(shù)稱為偏回歸系數(shù)n某解釋變量前回歸系數(shù)的含義是，在其他解釋變量保持不變的條件下，該變量變化一個單位，被解釋變量將平均發(fā)生偏回歸系數(shù)大小的變動4.正規(guī)方程n由最小二乘法得到的

8、用以估計回歸系數(shù)的線性方程組，稱為正規(guī)方程ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbYXbXbXbbn222110111222111022110YXBXX正規(guī)方程的結(jié)構(gòu)nY 被解釋變量觀測值 n x 1nX 解釋變量觀測值（含虛擬變量n x (k+1) ）nXX 設(shè)計矩陣（實對稱(k+1) x (k+1)矩陣 ）nXY 正規(guī)方程右端 n x 1n 回歸系數(shù)矩陣（ (k+1) x 1 ）n 高斯乘數(shù)矩陣， 設(shè)計矩陣的逆n 殘差向量（ n x 1 ）n 被解釋變量的擬合（預(yù)測）向量 n x 1B1)(XXUY5.多元回歸模型參數(shù)估計

9、中的樣本容量問題n樣本是一個重要的實際問題，模型依賴于實際樣本。n獲取樣本需要成本，企圖通過樣本容量的確定減輕收集數(shù)據(jù)的困難。n最小樣本容量：滿足基本要求的樣本容量最小樣本容量 n k+1n(XX)-1存在| XX | 0 XX 為k+1階的滿秩陣nR(AB) min(R(A),R(B)nR(X) k+1n因此，必須有nk+1YXXXB1)(滿足基本要求的樣本容量n一般經(jīng)驗認為：n 30或者n 3(k+1)才能滿足模型估計的基本要求。n 3(k+1)時，t分布才穩(wěn)定，檢驗才較為有效第三節(jié) 多元線性回歸模型的檢驗n本節(jié)主要介紹：n3.1 擬合優(yōu)度檢驗（判定系數(shù)及其校正）n3.2 回歸參數(shù)的顯著性

10、檢驗（t檢驗）n3.3 回歸方程的顯著性檢驗（F檢驗）n3.4 擬合優(yōu)度、t檢驗、F檢驗的關(guān)系3.1.1 擬合優(yōu)度檢驗 總平方和、自由度的分解n目的：構(gòu)造一個不含單位，可以相互比較，而且能直觀判斷擬合優(yōu)劣的指標。n類似于一元情形，先將多元線性回歸作如下平方和分解：1-k k -n 1-n )()( )(222自由度：回歸平方和殘差平方和總離差平方和ESSRSSTSSYYYYYYiiii對以上自由度的分解的說明1)() 1(,0,.,0,.,2211,12121222).(kknnRSSTSSESSknnkeekikiRSSnYnYTSSdfdfYXXYYYdfYYERikiikiiTii知再由

11、：所以，約束個對個方程方程求出，共有由而所以一個方程的約束受3.1.2 判定系數(shù)n判定系數(shù)的定義：n意義：判定系數(shù)越大，自變量對因變量的解釋程度越高，自變量引起的變動占總變動的百分比高。觀察點在回歸直線附近越密集。n取值范圍：0-1TSSRSSTSSESSTSSESSTSSRSSESSRSSTSSR1122R3.1.3 校正判定系數(shù)n為什么要校正？n判定系數(shù)隨解釋變量個數(shù)的增加而增大。易造成錯覺：要模型擬合得越好，就應(yīng)增加解釋變量。然而增加解釋變量會降低自由度，減少可用的樣本數(shù)。并且有時增加解釋變量是不必要的。n導(dǎo)致解釋變量個數(shù)不同模型之間對比困難。n判定系數(shù)只涉及平方和，沒有考慮自由度。n校

12、正思路： 引進自由度校正所計算的平方和。2R校正判定系數(shù) （續(xù)）0; 1 , 0 )3(.,1k )2(111 ) 1 () 1/()/(122222222定取值可能為負，這時規(guī)但是，）非負（取值在判定系數(shù)得慢些！未校正的判定系數(shù)增加也就是說校正的比兩者的差距將越來越大且隨著解釋變量的增加時，）（的判定系數(shù)的關(guān)系：校正判定系數(shù)和未校正RRRRRknnRRnTSSknRSSR2R3.2 回歸參數(shù)的顯著性檢驗 t檢驗的假設(shè)檢驗。統(tǒng)計量來進行回歸系數(shù)以下可用得統(tǒng)計量代替，未知。用標準化。一般有將列的元素。行第的第）為（其中布，由前面知道：先要找出回歸系數(shù)的分tkntcccNjjjjjjjjjjj)(

13、 tjjXX ),( 2212以下給出t-檢驗的具體過程備擇假設(shè)。反之則反。拒絕原假設(shè)，接受判斷：若，查表，得臨界值給出顯著水平根據(jù)樣本計算提出假設(shè)：),(| t | )4()( )3(0t )2(,.,2 , 1j 0 :H 0 :H ) 1 (2/2/jjjjj1j0kntkntccckjjjjjj3.3 回歸方程的顯著性檢驗 （F檢驗）n 回歸系數(shù)的t檢驗，檢驗了各個解釋變量Xj單獨對應(yīng)變量Y是否顯著；我們還需要檢驗：所有解釋變量聯(lián)合在一起，是否對應(yīng)變量Y也顯著？n這即是下面所要進行的F-檢驗。3.3.1 方差分析表以下用表格的形式列出平方和、自由度、方差平方和來源平方和自由度均方和源于

14、回歸K-1源于殘差n-k總平方和n-12)(YYTSSi2)(iiYYRSS2)(YYESSi) 1/( kESS) 1/( nTSS)/(knRSS3.3.2 F檢驗（單側(cè)檢驗）。反之則反。接受備擇假設(shè)拒絕原假設(shè)，判斷：若，查表，得給出顯著性水平計算統(tǒng)計量）選擇、（根據(jù)樣本）（不全為,), 1()4();, 1() 3(), 1()/() 1/( 20,.,:H 0.: ) 1 (321320knkFFknkFknkFknRSSkESSFHkk3.4 各種檢驗之間的關(guān)系n3.4.1 經(jīng)濟意義檢驗和其他檢驗的關(guān)系聯(lián)系： 判斷一個回歸模型是否正確，首先要看模型是否具有合理的經(jīng)濟意義，其次才是統(tǒng)計

15、檢驗。3.4.2 擬合優(yōu)度和F檢驗的關(guān)系（1）都是對回歸方程的顯著性檢驗；（2）都是把總平方和分解，以構(gòu)成統(tǒng)計量進行檢驗；（3）兩者同增同減，具有一致性。FkknnRRkknF) 1(11R ,11222關(guān)系在數(shù)量上，它們有如下擬合優(yōu)度和F檢驗的關(guān)系（續(xù)）n區(qū)別：（1）F檢驗中使用的統(tǒng)計量有精確的分布，而擬合優(yōu)度檢驗沒有；（2）對是否通過檢驗，判定系數(shù)（校正判定系數(shù)）只能給出一個模糊的推測；而F檢驗可以在給定顯著水平下，給出統(tǒng)計上的嚴格結(jié)論；3.4.2 F檢驗和t檢驗的關(guān)系n在一元的情形，兩者是一致的，等價的。對單個解釋變量顯著性進行t檢驗，也就檢驗了解釋變量的整體顯著性（F檢驗）；并且可以證明：Ft2 （所以在一元情形，只需要進行一種檢驗）n多元中，不存在以上關(guān)系?；貧w模型假設(shè)檢驗的步驟n查看擬合優(yōu)度，進行F檢驗，從整體上判斷回歸方程是否成立，如果F檢驗通不過，無須進行