ch3-多元線性回歸模型(一)

1、2n 多元線性回歸模型的一般形式多元線性回歸模型的一般形式 n 參數估計（參數估計（ OLS估計）估計）n 假設檢驗假設檢驗n 預測預測3n 問題的提出問題的提出n 解析形式解析形式n 矩陣形式矩陣形式4n 現實生活中引起被解釋變量變化的因素并非僅只一個現實生活中引起被解釋變量變化的因素并非僅只一個解釋變量，可能有很多個解釋變量。解釋變量，可能有很多個解釋變量。n 例如，產出往往受各種投入要素例如，產出往往受各種投入要素資本、勞動、技資本、勞動、技術等的影響；銷售額往往受價格和公司對廣告費的投術等的影響；銷售額往往受價格和公司對廣告費的投入的影響等。入的影響等。n 所以在一元線性模型的基礎上，

2、提出多元線性模型所以在一元線性模型的基礎上，提出多元線性模型解釋變量個數解釋變量個數 25n 解釋變量解釋變量 Xi 是確定性變量，不是隨機變量；解釋變量之間互不是確定性變量，不是隨機變量；解釋變量之間互不相關相關n 隨機誤差項具有隨機誤差項具有0均值和同方差均值和同方差n 隨機誤差項不存在序列相關關系隨機誤差項不存在序列相關關系n 隨機誤差項與解釋變量之間不相關隨機誤差項與解釋變量之間不相關n 隨機誤差項服從隨機誤差項服從0均值、同方差的正態(tài)分布均值、同方差的正態(tài)分布uXbXbXbbYkk221106ikikiiikiiiikkuXbXbXbbYniXXXYnuXbXbXbbY2211021

3、22110, 2 , 1),(得：個樣本觀測值nknknnnkkkkuXbXbXbbYuXbXbXbbYuXbXbXbbY22110222221210211212111017uuubbbbXXXXXXXXXYYYnkknkknnn2121021222211121121111UXBY8uuubbbbXXXXXXXXXYYYnkknkknnnUBXYUXBY21210212222111211211119n 參數值估計參數值估計n 參數估計量的性質參數估計量的性質n 偏回歸系數的含義偏回歸系數的含義n 正規(guī)方程正規(guī)方程n 樣本容量問題樣本容量問題10nininiiXbXbbYyyQkikiiiie1

4、212121100000210kbQbQbQbQ1100001102110211101110XXbXbbXYXXbXbbXYXXbXbbXYXbXbbYkikikikiiikikiiiikikiiikikii得到下列方程組求參數估計值的實質是求一個求參數估計值的實質是求一個k+1元方程組元方程組12正規(guī)方程正規(guī)方程變成矩陣形式ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbYXbXbXbbn222110111222111022110ikiiiikkikiikiikiikiiiiikiiiYXYXYbbbbXXXXXXXXXXXXXXX

5、n12102211122112113正規(guī)方程正規(guī)方程矩陣形式YXXXBYXBXX1)(22111221121kikiikiikiikiiiiikiiiXXXXXXXXXXXXXXXnXXkbbbbB210ikiiiiYXYXYYX1142122112(0,)() ()()()()200iinniiiYXBYXBUUNQYYYXByye eYXBYXBQYB XYXBY YY XBB X YB X XBY XBB X YY YB X YB X XBQX YX XBBe eBX XX Ynkee為什么？115n 線性（估計量都是被解釋變量觀測值的線性組合）線性（估計量都是被解釋變量觀測值的線性組合

6、）n 無偏性（估計量的數學期望無偏性（估計量的數學期望=被估計的真值）被估計的真值）n 有效性（估計量的方差是所有線性無偏估計中最小的）有效性（估計量的方差是所有線性無偏估計中最小的）16YXXXB)(1其中,C=(XX)-1 X 為一僅與固定的X有關的行向量 17BUXEXXBUXXXXBXXXEUXBXXXEYXXXEBE)()()()()()()()(11111這里利用了假設: E(XU)=01821111111(1)(1)( )( )( )( )( ) ()() ()() )()() )()()()kkCov xE xE xCov BE BE B BE BE BB BBEX XX YB

7、X XX YBEX XXXBUBX XXXBUBEX XX UU X X XX XX E UUX X X回憶：11112)()()()E UUX XX X X XX X19n 多元回歸模型中的回歸系數稱為偏回歸系數多元回歸模型中的回歸系數稱為偏回歸系數n 某解釋變量前回歸系數的含義是，在其他解釋變量保某解釋變量前回歸系數的含義是，在其他解釋變量保持不變的條件下，該變量變化一個單位，被解釋變量持不變的條件下，該變量變化一個單位，被解釋變量將平均發(fā)生偏回歸系數大小的變動將平均發(fā)生偏回歸系數大小的變動n 偏回歸系數是有單位的偏回歸系數是有單位的20n 由最小二乘法得到的用以估計回歸系數的線性方程組，

8、稱為正規(guī)由最小二乘法得到的用以估計回歸系數的線性方程組，稱為正規(guī)方程方程ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbYXbXbXbbn222110111222111022110YXBXX21n Y 被解釋變量觀測值被解釋變量觀測值 n x 1n X 解釋變量觀測值（含虛擬變量解釋變量觀測值（含虛擬變量n x (k+1) ）n XX 設計矩陣（實對稱設計矩陣（實對稱(k+1) x (k+1)矩陣矩陣 ）n XY 正規(guī)方程右端正規(guī)方程右端 (k+1) x 1n 回歸系數矩陣（回歸系數矩陣（ (k+1) x 1 ）n 高斯乘數矩陣，高斯

9、乘數矩陣， 設計矩陣的逆設計矩陣的逆n 殘差向量（殘差向量（ n x 1 ）n 被解釋變量的擬合（預測）向量被解釋變量的擬合（預測）向量 n x 1B1)(XXUY22n 樣本是一個重要的實際問題，模型依賴于實際樣本。樣本是一個重要的實際問題，模型依賴于實際樣本。n 獲取樣本需要成本，企圖通過樣本容量的確定減輕收獲取樣本需要成本，企圖通過樣本容量的確定減輕收集數據的困難。集數據的困難。n 最小樣本容量：滿足基本要求的樣本容量最小樣本容量：滿足基本要求的樣本容量23n (XX)-1存在存在| XX | 0 XX 為為k+1階的滿秩陣階的滿秩陣n R(AB) min(R(A),R(B)n R(X)

10、 k+1n 因此，必須有因此，必須有nk+1YXXXB1)(24n 一般經驗認為：一般經驗認為：n 30或者或者n 3(k+1)才能滿足模型估計的基本要求。才能滿足模型估計的基本要求。n 3(k+1)時，時，t分布才穩(wěn)定，檢驗才較為有效分布才穩(wěn)定，檢驗才較為有效25n 擬合優(yōu)度檢驗擬合優(yōu)度檢驗n 方程顯著性檢驗（方程顯著性檢驗（F檢驗）檢驗）n 變量顯著性檢驗（變量顯著性檢驗（t檢驗）檢驗）262ie可決系數（Determinants of coefficient）R2殘差的標準差（或隨機項的方差2)的最小二乘估計量2iy2iyR2 =n - k-12=27n R2 擬合優(yōu)度（判定系數、決定系

11、數）擬合優(yōu)度（判定系數、決定系數）n 調整了的擬合優(yōu)度調整了的擬合優(yōu)度111112222nTSSknESSTSSESSTSSRSSssRRYe122kneSie1)(22nYYSiY2R28HHknkFknkFknESSkRSSknyykyyFkyyRSSknyyESSuxxxyFyyHHiiiiiiikkiiiiiAki002222222210) 1,() 1,() 1/(/) 1()() 1(0:0, 0, 0:22110，否則，不拒絕拒絕若分布，有一組樣本的平方和服從服從正態(tài)分布，由于至少其中一個不為29n TSS(離差平方和離差平方和): n-1n ESS(殘差平方和殘差平方和):n-

12、k-1n RSS(回歸平方和回歸平方和):k= n-130HHtcHccpptttkneetkntkneetkneeknyykneeNXXcccXXccBVarXXBCoviiiiiiiiiuiiuiiuuuuiikkkk00022222222,0|10)1(1)1(11),()()(111001001拒絕若分布表的概率查或者根據有顯著的差異與認為拒絕若成立下，：就是對應系數的方差高斯乘數，乘上主對角線上的元素稱為主對角線臨31n 查看擬合優(yōu)度，進行查看擬合優(yōu)度，進行F檢驗，從整體上判斷回歸方程是否成立，檢驗，從整體上判斷回歸方程是否成立，如果如果F檢驗通不過，無須進行下一步；否則進行下一步檢驗通不過，無須進行下一步；否則進行下一步n 查看各個變量的查看各個變量的t值及其相應的概率，進行值及其相應的概率，進行t檢驗，如果相應的檢驗，如果相應的概率小于給定的顯著水平，該自變量的系數顯著地不為概率小于給定的顯著水平，該自變量的系數顯著地不為0，該，該自變量對因變量作用顯著；否則系數與自變量對因變量作用顯著；否則系數與0無顯著差異（本質上無顯著差異（本質上=0），該自變量對因變量無顯著的作用，應從方程中刪去，重），該自變量對因變量無顯著的作用，應從方程中刪去，重新估計方程。新估計方程。n 但是，一次只能將最不顯著（相應概率最大）的刪除。每次刪但是，一次只能將最不顯