ch3-多元線性回歸模型(一)

1、2n 多元線性回歸模型的一般形式多元線性回歸模型的一般形式 n 參數(shù)估計(jì)（參數(shù)估計(jì)（ OLS估計(jì)）估計(jì)）n 假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)n 預(yù)測預(yù)測3n 問題的提出問題的提出n 解析形式解析形式n 矩陣形式矩陣形式4n 現(xiàn)實(shí)生活中引起被解釋變量變化的因素并非僅只一個(gè)現(xiàn)實(shí)生活中引起被解釋變量變化的因素并非僅只一個(gè)解釋變量，可能有很多個(gè)解釋變量。解釋變量，可能有很多個(gè)解釋變量。n 例如，產(chǎn)出往往受各種投入要素例如，產(chǎn)出往往受各種投入要素資本、勞動、技資本、勞動、技術(shù)等的影響；銷售額往往受價(jià)格和公司對廣告費(fèi)的投術(shù)等的影響；銷售額往往受價(jià)格和公司對廣告費(fèi)的投入的影響等。入的影響等。n 所以在一元線性模型的基礎(chǔ)上，

2、提出多元線性模型所以在一元線性模型的基礎(chǔ)上，提出多元線性模型解釋變量個(gè)數(shù)解釋變量個(gè)數(shù) 25n 解釋變量解釋變量 Xi 是確定性變量，不是隨機(jī)變量；解釋變量之間互不是確定性變量，不是隨機(jī)變量；解釋變量之間互不相關(guān)相關(guān)n 隨機(jī)誤差項(xiàng)具有隨機(jī)誤差項(xiàng)具有0均值和同方差均值和同方差n 隨機(jī)誤差項(xiàng)不存在序列相關(guān)關(guān)系隨機(jī)誤差項(xiàng)不存在序列相關(guān)關(guān)系n 隨機(jī)誤差項(xiàng)與解釋變量之間不相關(guān)隨機(jī)誤差項(xiàng)與解釋變量之間不相關(guān)n 隨機(jī)誤差項(xiàng)服從隨機(jī)誤差項(xiàng)服從0均值、同方差的正態(tài)分布均值、同方差的正態(tài)分布uXbXbXbbYkk221106ikikiiikiiiikkuXbXbXbbYniXXXYnuXbXbXbbY2211021

3、22110, 2 , 1),(得：個(gè)樣本觀測值nknknnnkkkkuXbXbXbbYuXbXbXbbYuXbXbXbbY22110222221210211212111017uuubbbbXXXXXXXXXYYYnkknkknnn2121021222211121121111UXBY8uuubbbbXXXXXXXXXYYYnkknkknnnUBXYUXBY21210212222111211211119n 參數(shù)值估計(jì)參數(shù)值估計(jì)n 參數(shù)估計(jì)量的性質(zhì)參數(shù)估計(jì)量的性質(zhì)n 偏回歸系數(shù)的含義偏回歸系數(shù)的含義n 正規(guī)方程正規(guī)方程n 樣本容量問題樣本容量問題10nininiiXbXbbYyyQkikiiiie1

4、212121100000210kbQbQbQbQ1100001102110211101110XXbXbbXYXXbXbbXYXXbXbbXYXbXbbYkikikikiiikikiiiikikiiikikii得到下列方程組求參數(shù)估計(jì)值的實(shí)質(zhì)是求一個(gè)求參數(shù)估計(jì)值的實(shí)質(zhì)是求一個(gè)k+1元方程組元方程組12正規(guī)方程正規(guī)方程變成矩陣形式ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbYXbXbXbbn222110111222111022110ikiiiikkikiikiikiikiiiiikiiiYXYXYbbbbXXXXXXXXXXXXXXX

5、n12102211122112113正規(guī)方程正規(guī)方程矩陣形式Y(jié)XXXBYXBXX1)(22111221121kikiikiikiikiiiiikiiiXXXXXXXXXXXXXXXnXXkbbbbB210ikiiiiYXYXYYX1142122112(0,)() ()()()()200iinniiiYXBYXBUUNQYYYXByye eYXBYXBQYB XYXBY YY XBB X YB X XBY XBB X YY YB X YB X XBQX YX XBBe eBX XX Ynkee為什么？115n 線性（估計(jì)量都是被解釋變量觀測值的線性組合）線性（估計(jì)量都是被解釋變量觀測值的線性組合

6、）n 無偏性（估計(jì)量的數(shù)學(xué)期望無偏性（估計(jì)量的數(shù)學(xué)期望=被估計(jì)的真值）被估計(jì)的真值）n 有效性（估計(jì)量的方差是所有線性無偏估計(jì)中最小的）有效性（估計(jì)量的方差是所有線性無偏估計(jì)中最小的）16YXXXB)(1其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量 17BUXEXXBUXXXXBXXXEUXBXXXEYXXXEBE)()()()()()()()(11111這里利用了假設(shè): E(XU)=01821111111(1)(1)( )( )( )( )( ) ()() ()() )()() )()()()kkCov xE xE xCov BE BE B BE BE BB BBEX XX YB

7、X XX YBEX XXXBUBX XXXBUBEX XX UU X X XX XX E UUX X X回憶：11112)()()()E UUX XX X X XX X19n 多元回歸模型中的回歸系數(shù)稱為偏回歸系數(shù)多元回歸模型中的回歸系數(shù)稱為偏回歸系數(shù)n 某解釋變量前回歸系數(shù)的含義是，在其他解釋變量保某解釋變量前回歸系數(shù)的含義是，在其他解釋變量保持不變的條件下，該變量變化一個(gè)單位，被解釋變量持不變的條件下，該變量變化一個(gè)單位，被解釋變量將平均發(fā)生偏回歸系數(shù)大小的變動將平均發(fā)生偏回歸系數(shù)大小的變動n 偏回歸系數(shù)是有單位的偏回歸系數(shù)是有單位的20n 由最小二乘法得到的用以估計(jì)回歸系數(shù)的線性方程組，

8、稱為正規(guī)由最小二乘法得到的用以估計(jì)回歸系數(shù)的線性方程組，稱為正規(guī)方程方程ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbYXbXbXbbn222110111222111022110YXBXX21n Y 被解釋變量觀測值被解釋變量觀測值 n x 1n X 解釋變量觀測值（含虛擬變量解釋變量觀測值（含虛擬變量n x (k+1) ）n XX 設(shè)計(jì)矩陣（實(shí)對稱設(shè)計(jì)矩陣（實(shí)對稱(k+1) x (k+1)矩陣矩陣 ）n XY 正規(guī)方程右端正規(guī)方程右端 (k+1) x 1n 回歸系數(shù)矩陣（回歸系數(shù)矩陣（ (k+1) x 1 ）n 高斯乘數(shù)矩陣，高斯

9、乘數(shù)矩陣， 設(shè)計(jì)矩陣的逆設(shè)計(jì)矩陣的逆n 殘差向量（殘差向量（ n x 1 ）n 被解釋變量的擬合（預(yù)測）向量被解釋變量的擬合（預(yù)測）向量 n x 1B1)(XXUY22n 樣本是一個(gè)重要的實(shí)際問題，模型依賴于實(shí)際樣本。樣本是一個(gè)重要的實(shí)際問題，模型依賴于實(shí)際樣本。n 獲取樣本需要成本，企圖通過樣本容量的確定減輕收獲取樣本需要成本，企圖通過樣本容量的確定減輕收集數(shù)據(jù)的困難。集數(shù)據(jù)的困難。n 最小樣本容量：滿足基本要求的樣本容量最小樣本容量：滿足基本要求的樣本容量23n (XX)-1存在存在| XX | 0 XX 為為k+1階的滿秩陣階的滿秩陣n R(AB) min(R(A),R(B)n R(X)

10、 k+1n 因此，必須有因此，必須有nk+1YXXXB1)(24n 一般經(jīng)驗(yàn)認(rèn)為：一般經(jīng)驗(yàn)認(rèn)為：n 30或者或者n 3(k+1)才能滿足模型估計(jì)的基本要求。才能滿足模型估計(jì)的基本要求。n 3(k+1)時(shí)，時(shí)，t分布才穩(wěn)定，檢驗(yàn)才較為有效分布才穩(wěn)定，檢驗(yàn)才較為有效25n 擬合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn)n 方程顯著性檢驗(yàn)（方程顯著性檢驗(yàn)（F檢驗(yàn)）檢驗(yàn)）n 變量顯著性檢驗(yàn)（變量顯著性檢驗(yàn)（t檢驗(yàn)）檢驗(yàn)）262ie可決系數(shù)（Determinants of coefficient）R2殘差的標(biāo)準(zhǔn)差（或隨機(jī)項(xiàng)的方差2)的最小二乘估計(jì)量2iy2iyR2 =n - k-12=27n R2 擬合優(yōu)度（判定系數(shù)、決定系

11、數(shù)）擬合優(yōu)度（判定系數(shù)、決定系數(shù)）n 調(diào)整了的擬合優(yōu)度調(diào)整了的擬合優(yōu)度111112222nTSSknESSTSSESSTSSRSSssRRYe122kneSie1)(22nYYSiY2R28HHknkFknkFknESSkRSSknyykyyFkyyRSSknyyESSuxxxyFyyHHiiiiiiikkiiiiiAki002222222210) 1,() 1,() 1/(/) 1()() 1(0:0, 0, 0:22110，否則，不拒絕拒絕若分布，有一組樣本的平方和服從服從正態(tài)分布，由于至少其中一個(gè)不為29n TSS(離差平方和離差平方和): n-1n ESS(殘差平方和殘差平方和):n-

12、k-1n RSS(回歸平方和回歸平方和):k= n-130HHtcHccpptttkneetkntkneetkneeknyykneeNXXcccXXccBVarXXBCoviiiiiiiiiuiiuiiuuuuiikkkk00022222222,0|10)1(1)1(11),()()(111001001拒絕若分布表的概率查或者根據(jù)有顯著的差異與認(rèn)為拒絕若成立下，：就是對應(yīng)系數(shù)的方差高斯乘數(shù)，乘上主對角線上的元素稱為主對角線臨31n 查看擬合優(yōu)度，進(jìn)行查看擬合優(yōu)度，進(jìn)行F檢驗(yàn)，從整體上判斷回歸方程是否成立，檢驗(yàn)，從整體上判斷回歸方程是否成立，如果如果F檢驗(yàn)通不過，無須進(jìn)行下一步；否則進(jìn)行下一步檢驗(yàn)通不過，無須進(jìn)行下一步；否則進(jìn)行下一步n 查看各個(gè)變量的查看各個(gè)變量的t值及其相應(yīng)的概率，進(jìn)行值及其相應(yīng)的概率，進(jìn)行t檢驗(yàn)，如果相應(yīng)的檢驗(yàn)，如果相應(yīng)的概率小于給定的顯著水平，該自變量的系數(shù)顯著地不為概率小于給定的顯著水平，該自變量的系數(shù)顯著地不為0，該，該自變量對因變量作用顯著；否則系數(shù)與自變量對因變量作用顯著；否則系數(shù)與0無顯著差異（本質(zhì)上無顯著差異（本質(zhì)上=0），該自變量對因變量無顯著的作用，應(yīng)從方程中刪去，重），該自變量對因變量無顯著的作用，應(yīng)從方程中刪去，重新估計(jì)方程。新估計(jì)方程。n 但是，一次只能將最不顯著（相應(yīng)概率最大）的刪除。每次刪但是，一次只能將最不顯