多元線性回歸模型ppt課件

1、3.1 多元線性回歸模型,一、多元線性回歸模型 二、多元線性回歸模型的基本假定,一、多元線性回歸模型,多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。 一般表現(xiàn)形式,i=1,2,n,其中:k為解釋變量的數(shù)目，j稱為回歸系數(shù)（regression coefficient,也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它 的非隨機(jī)表達(dá)式為,表示：各變量X值固定時(shí)Y的平均響應(yīng),習(xí)慣上：把常數(shù)項(xiàng)（或截距項(xiàng)）看成為一虛變量的系數(shù)，該虛變量的樣本觀測(cè)值始終取1。于是： 模型中解釋變量的數(shù)目為（k+1,總體回歸模型n個(gè)隨機(jī)方程的矩陣表達(dá)式為,其中,j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，X

2、j每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化; 或者說j給出了X j的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響,用來估計(jì)總體回歸函數(shù)的樣本回歸函數(shù)為,其隨機(jī)表示式,ei稱為殘差或剩余項(xiàng)(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)i的近似替代。 樣本回歸函數(shù)的矩陣表達(dá),或,其中,二、多元線性回歸模型的基本假定,假設(shè)1，解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無多重共線性）。 假設(shè)2，隨機(jī)誤差項(xiàng)具有零均值、同方差及不序列相關(guān)性,假設(shè)3，解釋變量與隨機(jī)項(xiàng)不相關(guān),假設(shè)4，隨機(jī)項(xiàng)滿足正態(tài)分布,上述假設(shè)的矩陣符號(hào)表示 式,假設(shè)1，n(k+1)維矩陣X是非隨機(jī)的，且X的秩=k

3、+1，即X滿秩。 假設(shè)2,回憶線性代數(shù)中關(guān)于滿秩、線性無關(guān),對(duì)角線說明了擾動(dòng)項(xiàng)的同方差性！對(duì)角線之外說明了擾動(dòng)項(xiàng)的序列無關(guān)性,假設(shè)4，向量 有一多維正態(tài)分布，即,假設(shè)3，E(X)=0，即,轉(zhuǎn)置,黑板上推導(dǎo),假設(shè)5，回歸模型的設(shè)定是正確的,第二節(jié) 多元線性回歸模型的 參數(shù)估計(jì),任務(wù),方法,普通最小二乘法,一、參數(shù)的普通最小二乘估計(jì),二、參數(shù)的普通最小二乘估計(jì)量的性質(zhì),三、普通最小二乘樣本回歸函數(shù)性質(zhì),五、樣本容量問題,四、隨機(jī)誤差項(xiàng)的方差的普通最小二乘估計(jì),內(nèi)容,估計(jì)方法： 3大類方法：OLS、ML（最大似然法）或者M(jìn)M（矩估計(jì)法） 在經(jīng)典模型中多應(yīng)用OLS 在非經(jīng)典模型中多應(yīng)用ML或者M(jìn)M 在

4、本節(jié)中， ML與MM為選學(xué)內(nèi)容,多元線性回歸模型參數(shù)估計(jì)的任務(wù)：1，求結(jié)構(gòu)參數(shù)的估計(jì)量 2，求得隨機(jī)干擾項(xiàng)的方差估計(jì),一、普通最小二乘估計(jì),對(duì)于隨機(jī)抽取的n組觀測(cè)值,如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有,i=1,2n,根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是右列方程組的解,其中,最小化問題的一階條件,于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組,正規(guī)方程組的矩陣形式,即,由于XX滿秩，故有,正規(guī)方程組 的另一種寫法,對(duì)于正規(guī)方程組,于是,或,*)或（*）是多元線性回歸模型正規(guī)方程組的另一種寫法,*,*,二、參數(shù)估計(jì)量的性質(zhì),在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)的普通最小二乘估計(jì)具有： 線性性、無偏性、有效

5、性,同時(shí)，隨著樣本容量增加，參數(shù)估計(jì)量具有： 漸近無偏性、漸近有效性、一致性,1、線性性,其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量 ?？梢?，參數(shù)估計(jì)量是被解釋變量Y的線性組合,2、無偏性,等于0，因?yàn)榻忉屪兞颗c隨機(jī)擾動(dòng)項(xiàng)不相關(guān),這里利用了假設(shè): E(X)=0,3、有效性（最小方差性,其中利用了,和,證明過程略,三、普通最小二乘樣本回歸函數(shù)性質(zhì),四、隨機(jī)誤差項(xiàng)的方差的普通最小二乘估計(jì),容易看出，多元線性回歸模型的隨機(jī)誤差項(xiàng)的方差的普通最小二乘估 計(jì)量，與一元線性回歸模型的隨機(jī)誤差項(xiàng)的方差的普通最小二乘估計(jì)量一致,因?yàn)樵谝辉€性回歸模型中k=1,所以，殘差平方和可用矩陣表示為,3-

6、19,五、樣本容量問題,樣本容量越大，樣本觀測(cè)數(shù)據(jù)對(duì)經(jīng)濟(jì)活動(dòng)的反映越全面，從樣本 觀測(cè)數(shù)據(jù)中發(fā)現(xiàn)規(guī)律的可能性就越大，計(jì)量經(jīng)濟(jì)研究的結(jié)果就越可靠,參數(shù)估計(jì)的最小樣本容量要求是,3.3 多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn),一、擬合優(yōu)度檢驗(yàn) 二、方程的顯著性檢驗(yàn)(F檢驗(yàn)) 三、變量的顯著性檢驗(yàn)（t檢驗(yàn)） 四、參數(shù)的置信區(qū)間,多元線性回歸模型的參數(shù)估計(jì)出來后，即求出樣本回歸函數(shù)后，還需進(jìn)一步對(duì)該樣本回歸函數(shù)進(jìn)行統(tǒng)計(jì)檢驗(yàn)，以判定估計(jì)的可靠程度,一、擬合優(yōu)度檢驗(yàn),1、可決系數(shù)與調(diào)整的可決系數(shù),總離差平方和的分解,殘差,離差分解,所以，在多元線性回歸模型中，依然有,3-20,可決系數(shù),該統(tǒng)計(jì)量越接近于1，模型的擬合

7、優(yōu)度越高,問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量， R2往往增大（Why?) 因?yàn)闅埐钇椒胶屯S著解釋變量個(gè)數(shù)的增加而減少。 這就給人一個(gè)錯(cuò)覺：要使得模型擬合得好，只要增加解釋變量即可。 但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無關(guān)，因此在多元回歸模型之間比較擬合優(yōu)度，R2 就不是一個(gè)合適的指標(biāo)，必須加以調(diào)整,調(diào)整的可決系數(shù)（adjusted coefficient of determination,在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響,

8、其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。 顯然，如果增加的解釋變量沒有解釋能力，則對(duì)殘差平方和RSS的減小沒有多大的幫助，卻增加了待估參數(shù)的個(gè)數(shù)，從而使得 有較大幅度的下降,沒有絕對(duì)的標(biāo)準(zhǔn)，要看具體的情況而定。模型的擬合優(yōu)度并不是判斷模型質(zhì)量的唯一標(biāo)準(zhǔn)，有時(shí)甚至為了追求模型的經(jīng)濟(jì)意義，可以犧牲一點(diǎn)擬合優(yōu)度,2、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則,為了比較所含解釋變量個(gè)數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標(biāo)準(zhǔn)還有: 赤池信息準(zhǔn)則（Akaike information criterion, AIC,施瓦茨準(zhǔn)則（Schwarz criterion，SC,這兩準(zhǔn)則均要求僅當(dāng)所增加的解

9、釋變量能夠減少AIC值或SC值時(shí)才在原模型中增加該解釋變量,二、方程的顯著性檢驗(yàn)(F檢驗(yàn),方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷,1、方程顯著性的F檢驗(yàn),即檢驗(yàn)?zāi)Ｐ?Yi=0+1X1i+2X2i+ +kXki+i i=1,2, ,n 中的參數(shù) 是否顯著不為0,方程的顯著性檢驗(yàn)所應(yīng)用的方法仍是數(shù)理統(tǒng)計(jì)學(xué)中的假設(shè)檢驗(yàn),可提出如下原假設(shè)與備擇假設(shè),H0： 1=2= =k=0 H1： j (j=1,2,.k)不全為0,F檢驗(yàn)的思想來自于總離差平方和的分解式： TSS=ESS+RSS,如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性

10、關(guān)系，反之總體上可能不存在線性關(guān)系。 因此,可通過該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷,根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量,服從自由度為(k , n-k-1)的F分布,給定顯著性水平，查表可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過 F F(k,n-k-1) 或 FF(k,n-k-1) 來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立,2、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論,擬合優(yōu)度檢驗(yàn)和方程總體線性的顯著性檢驗(yàn)是從不同原理出發(fā)的兩類檢驗(yàn)，前者是從已經(jīng)得到估計(jì)的模型出發(fā)，檢驗(yàn)它對(duì)樣本觀測(cè)值的擬合程度，后者是從樣本觀測(cè)值出發(fā)檢驗(yàn)?zāi)Ｐ?/p>

11、總體線性關(guān)系的顯著性。 二者又是關(guān)聯(lián)的，模型對(duì)樣本觀測(cè)值的擬合程度高，模型總體線性關(guān)系的顯著性就強(qiáng)。 因此，找到兩個(gè)用作檢驗(yàn)標(biāo)準(zhǔn)的統(tǒng)計(jì)量之間的數(shù)量關(guān)系，在實(shí)際應(yīng)用中互為驗(yàn)證，是有實(shí)際意義的,由,可推出,與,或,這兩個(gè)統(tǒng)計(jì)量之間的關(guān)系,三、變量的顯著性檢驗(yàn)（t檢驗(yàn),方程的總體線性關(guān)系顯著每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的。 因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。 如果某個(gè)變量對(duì)被解釋變量的影響并不顯著，就應(yīng)該將它剔除，以建立更為簡(jiǎn)單的模型。 這一檢驗(yàn)是由對(duì)變量的 t 檢驗(yàn)完成的,1、t統(tǒng)計(jì)量,由于,以cjj表示矩陣(XX)-1 主對(duì)角線上的第j+1個(gè)

12、元素，于是參數(shù)估計(jì)量的方差為,其中2為隨機(jī)誤差項(xiàng)的方差，在實(shí)際計(jì)算時(shí)，用它的估計(jì)量代替,因此，可構(gòu)造如下t統(tǒng)計(jì)量,因?yàn)?服從如下正態(tài)分布,2、t檢驗(yàn),設(shè)計(jì)原假設(shè)與備擇假設(shè),H1：j0,給定顯著性水平，查表可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過 |t| t/2(n-k-1) 或 |t|t/2(n-k-1) 來拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中,H0：j=0 （j=0,1,2k,雙尾,注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致,一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0：1=0 進(jìn)行檢驗(yàn); 另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系,不要求掌握,在實(shí)際

13、中，各個(gè)變量的t值相差較大，有的在很高的顯著性水平下影響顯著，有的則在不太高的顯著性水平下影響顯著，是否都認(rèn)為通過顯著性檢驗(yàn)？ 沒有絕對(duì)的顯著性水平。關(guān)鍵仍然是考察變量在經(jīng)濟(jì)關(guān)系上是否對(duì)解釋變量有影響，顯著性檢驗(yàn)起到驗(yàn)證的作用；同時(shí)還要看顯著性水平不太高的變量在模型中及模型應(yīng)用中的作用，不要簡(jiǎn)單的剔除變量,四、參數(shù)的置信區(qū)間,參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近”。 在變量的顯著性檢驗(yàn)中已經(jīng)知道,容易推出：在(1-)的置信水平下j的置信區(qū)間是,其中，t/2為顯著性水平為 、自由度為n-k-1的臨界值,如何才能縮小置信區(qū)間,增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘?/p>

14、下，n越大，t分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減??； 提高模型的擬合優(yōu)度，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小，置信區(qū)間的就越窄,在實(shí)際應(yīng)用中，我們希望置信度越高越好，置信區(qū)間越小越好,提高樣本觀測(cè)值的分散度,一般情況下，樣本觀測(cè)值越分散， 的分母的|XX|的值越大， 越小，致使區(qū)間縮小,值得注意的是： 置信度的高低與置信區(qū)間的大小存在此消彼漲的關(guān)系。置信度越高，在其他情況不變時(shí)，臨界值越大，置信區(qū)間越大。如果要求縮小置信區(qū)間，在其他情況不變時(shí)，就必須降低對(duì)置信度的要求,第五節(jié) 多元線性回歸模型的 預(yù)測(cè),被解釋變量的總體均值的點(diǎn)預(yù)測(cè),被解釋變量的總體均值的區(qū)間預(yù)測(cè),被解釋變量的個(gè)別值的區(qū)間預(yù)測(cè),Why,3-33,表3-1 某商品的銷售量、價(jià)格、售后服務(wù)支出數(shù)據(jù),例3-6,假設(shè)已獲得了某商品的銷售量、價(jià)格、售后服務(wù)支出數(shù)據(jù)如表3-1所示,求價(jià)格為1250 元/個(gè)、售后服 務(wù)支出為16萬 元時(shí)銷售量的 預(yù)測(cè)值,263.603（千個(gè),由于,所以,對(duì)于給定的顯著性水平,其中,3-34,表3-1 某商品的銷售量、價(jià)格、售后服務(wù)支出數(shù)