多元線性回歸模型分析和假設(shè)檢驗(yàn)

1、多元線性回歸模型分析和假設(shè)檢驗(yàn)主要內(nèi)容多元線性回歸模型的一般形式 參數(shù)估計(jì)（ OLS估計(jì)）假設(shè)檢驗(yàn)預(yù)測2一. 多元線性回歸模型問題的提出解析形式矩陣形式3問題的提出現(xiàn)實(shí)生活中引起被解釋變量變化的因素并非僅只一個(gè)解釋變量，可能有很多個(gè)解釋變量。例如，產(chǎn)出往往受各種投入要素資本、勞動(dòng)、技術(shù)等的影響；銷售額往往受價(jià)格和公司對廣告費(fèi)的投入的影響等。所以在一元線性模型的基礎(chǔ)上，提出多元線性模型解釋變量個(gè)數(shù) 24多元線性回歸模型的假設(shè)解釋變量 Xi 是確定性變量，不是隨機(jī)變量；解釋變量之間互不相關(guān)隨機(jī)誤差項(xiàng)具有0均值和同方差隨機(jī)誤差項(xiàng)不存在序列相關(guān)關(guān)系隨機(jī)誤差項(xiàng)與解釋變量之間不相關(guān)隨機(jī)誤差項(xiàng)服從0均值、同

2、方差的正態(tài)分布5多元模型的解析表達(dá)式6多元模型的矩陣表達(dá)式7矩陣形式8二. 參數(shù)估計(jì)(OLS)參數(shù)值估計(jì)參數(shù)估計(jì)量的性質(zhì)偏回歸系數(shù)的含義正規(guī)方程樣本容量問題91.參數(shù)值估計(jì)(OLS)1011得到下列方程組求參數(shù)估計(jì)值的實(shí)質(zhì)是求一個(gè)k+1元方程組12正規(guī)方程變成矩陣形式13正規(guī)方程矩陣形式最小二乘法的矩陣表示142.最小二乘估計(jì)量的性質(zhì)線性（估計(jì)量都是被解釋變量觀測值的線性組合）無偏性（估計(jì)量的數(shù)學(xué)期望=被估計(jì)的真值）有效性（估計(jì)量的方差是所有線性無偏估計(jì)中最小的）15線性16其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量 無偏性17這里利用了假設(shè): E(XU)=0有效性183.偏回歸

3、系數(shù)的意義多元回歸模型中的回歸系數(shù)稱為偏回歸系數(shù)某解釋變量前回歸系數(shù)的含義是，在其他解釋變量保持不變的條件下，該變量變化一個(gè)單位，被解釋變量將平均發(fā)生偏回歸系數(shù)大小的變動(dòng)偏回歸系數(shù)是有單位的194.正規(guī)方程由最小二乘法得到的用以估計(jì)回歸系數(shù)的線性方程組，稱為正規(guī)方程20正規(guī)方程的結(jié)構(gòu)Y 被解釋變量觀測值 n x 1X 解釋變量觀測值（含虛擬變量n x (k+1) ）XX 設(shè)計(jì)矩陣（實(shí)對稱(k+1) x (k+1)矩陣 ）XY 正規(guī)方程右端 (k+1) x 1 回歸系數(shù)矩陣（ (k+1) x 1 ） 高斯乘數(shù)矩陣， 設(shè)計(jì)矩陣的逆 殘差向量（ n x 1 ） 被解釋變量的擬合（預(yù)測）向量 n x

4、1215.多元回歸模型參數(shù)估計(jì)中的樣本容量問題樣本是一個(gè)重要的實(shí)際問題，模型依賴于實(shí)際樣本。獲取樣本需要成本，企圖通過樣本容量的確定減輕收集數(shù)據(jù)的困難。最小樣本容量：滿足基本要求的樣本容量22最小樣本容量 n k+1(XX)-1存在| XX |0 XX 為k+1階的滿秩陣R(AB) min(R(A),R(B)R(X) k+1因此，必須有nk+123滿足基本要求的樣本容量一般經(jīng)驗(yàn)認(rèn)為：n 30或者n 3(k+1)才能滿足模型估計(jì)的基本要求。n 3(k+1)時(shí)，t分布才穩(wěn)定，檢驗(yàn)才較為有效24三. 多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)擬合優(yōu)度檢驗(yàn)方程顯著性檢驗(yàn)（F檢驗(yàn)）變量顯著性檢驗(yàn)（t檢驗(yàn)）251.擬合優(yōu)

5、度檢驗(yàn)26可決系數(shù)（Determinants of coefficient）R2殘差的標(biāo)準(zhǔn)差（或隨機(jī)項(xiàng)的方差2)的最小二乘估計(jì)量R2 =n - k-1=擬合優(yōu)度R2和調(diào)整了的R227R2 擬合優(yōu)度（判定系數(shù)、決定系數(shù)） 調(diào)整了的擬合優(yōu)度2.模型整體的F檢驗(yàn)28關(guān)于TSS、ESS、RSS自由度TSS(離差平方和): n-1ESS(殘差平方和):n-k-1RSS(回歸平方和):k29= n-13.參數(shù)估計(jì)量的t檢驗(yàn)30回歸模型假設(shè)檢驗(yàn)的步驟查看擬合優(yōu)度，進(jìn)行F檢驗(yàn)，從整體上判斷回歸方程是否成立，如果F檢驗(yàn)通不過，無須進(jìn)行下一步；否則進(jìn)行下一步查看各個(gè)變量的t值及其相應(yīng)的概率，進(jìn)行t檢驗(yàn)，如果相應(yīng)的概率小于給定的顯著水平，該自變量的系數(shù)顯著地不為0，該自變量對因變量作用顯著；否則系數(shù)與0無顯著差異（本質(zhì)上=0），該自變量對因變量無顯著的作用，應(yīng)從方