《多元線回歸》PPT課件.ppt

1、第二章 多元線性回歸 （multiple linear regression,第一節(jié)相關(guān)和回歸 第二節(jié)一元線性回歸模型 第三節(jié)多元線性回歸模型 第四節(jié)方程的解釋能力 第五節(jié)回歸方程的檢驗(yàn)和回歸系數(shù)的推斷統(tǒng)計(jì) 第六節(jié)虛擬變量的應(yīng)用 第七節(jié)多重共線性及其解決方案 第八節(jié)計(jì)算機(jī)應(yīng)用 第九節(jié)研究實(shí)例,參見(jiàn)郭志剛主編，社會(huì)統(tǒng)計(jì)分析方法SPSS軟件應(yīng)用第二章， 中國(guó)人民大學(xué)出版社1999,第一節(jié) 相關(guān)和回歸,一、相關(guān)統(tǒng)計(jì)量 用一個(gè)數(shù)值表示兩個(gè)變量間的相關(guān)程度（無(wú)單位度量）（-1+1,解讀,X與y的相關(guān)系數(shù)為0.6，x與z的相關(guān)系數(shù)為0.3,答案： 只能說(shuō)明x與y相關(guān)程度高于x與z的相關(guān)程度，但不能說(shuō)前者是

2、后者的兩倍,二、計(jì)算相關(guān)的思路 定距：數(shù)量上的“共變” 定類(lèi)、定序：“連同發(fā)生”隱含根據(jù)一個(gè)變量去預(yù)測(cè)或估計(jì)另一個(gè)變量的意思 人們正是根據(jù)預(yù)測(cè)的準(zhǔn)確程度來(lái)界定定類(lèi)或定序變量之間的關(guān)系的消減誤差比例,三、相關(guān)測(cè)量邏輯展示 （一）Lambda相關(guān)測(cè)量法 基本邏輯：以一個(gè)定類(lèi)變項(xiàng)的值來(lái)預(yù)測(cè)另一個(gè)定類(lèi)變項(xiàng)的值時(shí)，如果以眾值作為預(yù)測(cè)準(zhǔn)則，可以減少多少誤差 公式,練習(xí)：根據(jù)下表數(shù)據(jù)計(jì)算lambda,思考并運(yùn)算：如果數(shù)據(jù)有如下變化，lambda值會(huì)發(fā)生什么變化呢,存在的問(wèn)題： 1、Lambda系數(shù)以眾值為預(yù)測(cè)準(zhǔn)則，不理會(huì)眾值以外的次數(shù)分布，對(duì)數(shù)據(jù)利用率低。 2、因?yàn)樯鲜鲇?jì)算方式，如果全部眾值集中在條件次數(shù)表

3、的同一列或同一行中，則Lambda系數(shù)會(huì)等于0，相關(guān)失去意義,二）相關(guān)系數(shù)r 1、協(xié)方差的思想 2、r系數(shù)計(jì)算 3、PRE計(jì)算思路,四、回歸,回歸是相關(guān)分析的深入 回歸分析的結(jié)果是建立一個(gè)數(shù)學(xué)模型以表達(dá)變量之間的關(guān)系在分析觀測(cè)數(shù)據(jù)的基礎(chǔ)上，確定一個(gè)能反映變量之間關(guān)系的近似函數(shù)表達(dá)式,線性關(guān)聯(lián),整體研究方案,1（多）個(gè) 定距（類(lèi)）變量,1個(gè) 定距變量,理論思路,經(jīng)驗(yàn)支撐,方法論指導(dǎo),注意,回歸模型只是整個(gè)研究方案中的一環(huán)，它必須依賴?yán)碚摵徒?jīng)驗(yàn)的支撐，服從研究設(shè)計(jì)的需要，在研究方法論的指導(dǎo)下展開(kāi),研究變量間的因果關(guān)系,預(yù)測(cè),是否吻合預(yù)先構(gòu)想,評(píng)價(jià)模型擬合度,求解模型參數(shù),估計(jì),第二節(jié)一元線性回歸,

4、參見(jiàn)：盧叔華社會(huì)統(tǒng)計(jì)學(xué)，北京大學(xué)出版社1997 第十二章 回歸與相關(guān),一、回歸方程與線性回歸方程 二、回歸方程的建立與最小二乘法 三、回歸方程的假定與檢驗(yàn),一、回歸方程與線性回歸方程,兩變量x與y 對(duì)于確定的xi，yi是隨機(jī)變量，可計(jì)算其均值回歸方程是研究自變量不同取值時(shí)，y的均值的變化 當(dāng)因變量y的均值與自變量x呈線性規(guī)律時(shí)，稱線性回歸方程 根據(jù)x個(gè)數(shù)不同，分為一元線性回歸、多元線性回歸,關(guān)于模型,現(xiàn)實(shí)數(shù)據(jù)=模型+誤差 沒(méi)有誤差的不是模型，是復(fù)制 復(fù)制很精確，但是往往太不簡(jiǎn)潔 設(shè)置模型一般而言是希望用簡(jiǎn)潔的方式表述復(fù)雜信息，達(dá)到較好的精確度,二、回歸方程的建立與最小二乘法,回歸分析的目的：找

5、出錯(cuò)誤最小的方法來(lái)預(yù)測(cè)因變量的數(shù)值 擬合思路：各點(diǎn)到待估直線鉛直距離之和為最小最小二乘,原理： （1）散點(diǎn)圖 （2）每個(gè)x值對(duì)應(yīng)的y的均值，構(gòu)成回歸線（曲折） （3）用最小平方法繪制回歸直線 （各個(gè)樣本個(gè)案的估計(jì)誤差和為誤差總數(shù)。為避免正負(fù)抵消，改為將誤差的平方值相加。如果回歸直線位置能夠使此平方和最小，即為最佳擬和直線,線性回歸方程式不但有簡(jiǎn)化資料的作用，而且可以推廣應(yīng)用于預(yù)測(cè)或估計(jì)樣本以外之個(gè)案的數(shù)值,回歸系數(shù)的意義： b值的大小表示每增加一個(gè)單位的x值，y值的變化有多大,三、回歸方程的假定與檢驗(yàn),一）基本假定 1、自變量x可以是隨機(jī)變量，也可以是非隨機(jī)變量，其誤差忽略不計(jì) 2、對(duì)于每一個(gè)

6、x值，yi都是隨機(jī)變量。Y的所有子總體y1，y2yn，方差相等 3、y的所有子總體，其均值都在一條直線上線性假定 4、隨機(jī)變量yi是統(tǒng)計(jì)獨(dú)立的 5、 y的所有子總體都滿足正態(tài)分布,二）檢驗(yàn) F檢驗(yàn),第三節(jié) 多元線性回歸模型,一、多元的思路 二、回歸方程的建立 三、回歸方程的解釋 四、標(biāo)準(zhǔn)化回歸系數(shù),一、多元的思路,關(guān)聯(lián)性 Association 和因果性Causality 統(tǒng)計(jì)意義上的關(guān)聯(lián)性很容易發(fā)現(xiàn) , 難的是，如何確立因果聯(lián)系。 然而我們?cè)谘芯恐懈雨P(guān)心的是因果性的解釋,因果關(guān)系存在的必要條件： 1、變量間的關(guān)系是strong and consistent； 2、變量間有適當(dāng)?shù)臅r(shí)序性; 3

7、、變量間的關(guān)系不能夠被其他變量所解釋,對(duì)觀察數(shù)據(jù)的統(tǒng)計(jì)控制,我們?nèi)绾闻懦渌麄溥x解釋? 和實(shí)驗(yàn)室的實(shí)驗(yàn)不同的是，我們不能控制社會(huì)現(xiàn)象發(fā)生的環(huán)境。 對(duì)于觀察數(shù)據(jù), 因果性問(wèn)題可以部分地通過(guò)統(tǒng)計(jì)控制來(lái)解決 即, 我們可以把個(gè)體根據(jù)我們所要控制的特征分成幾個(gè)小組, 來(lái)比較組內(nèi)的結(jié)果變量的差異 對(duì)定量變量最常用的統(tǒng)計(jì)控制體現(xiàn)在多元回歸模型中,二、回歸方程的建立,多元回歸模型一般表達(dá)式,建立的多元回歸方程,其中， 稱y對(duì)x的回歸系數(shù)或偏回歸系數(shù) 可用最小二乘法求解,多元回歸系數(shù)的估計(jì),首先看只有兩個(gè)自變量的模型 : 我們?nèi)钥梢杂米钚《朔?，使得觀測(cè)的Y值和預(yù)測(cè)的Y值的差距的平方和最小。利用微積分,Let

8、 Z(a, b1, b2)= (Y-a-b1X1-b2X2)2,對(duì)三個(gè)未知參數(shù)a, b1, and b2 求導(dǎo),解方程,這種方法可以擴(kuò)展到任意多的自變量的模型。 計(jì)算機(jī)可以直接給出估計(jì)的系數(shù),三、回歸方程的解釋,在任何情況下, a 始終為當(dāng)所有自變量為0時(shí)的應(yīng)變量值 （截距） 斜率系數(shù) b1 到 bk 表示在其他變量不變的情況下，相關(guān)的X增加一個(gè)單位，Y所對(duì)應(yīng)的變化,對(duì)于方程,如果xi增加一個(gè)單位，即xi變?yōu)閤i+1，而其他自變量均保持不變，相應(yīng)有,則y的變化幅度為,規(guī)范解讀方式,在其他變量不變的情況下，）xi平均變化一個(gè)單位，y平均相應(yīng)變化bi個(gè)單位,x及未包括進(jìn)方程中的其他與x有關(guān)的一切因

9、素對(duì)y的總影響,一元回歸系數(shù),多元回歸系數(shù),偏回歸系數(shù)：除去方程中其他因素對(duì)y的共同影響后，某自變量對(duì)y的邊際影響,回歸系數(shù)的意義,四、標(biāo)準(zhǔn)化回歸系數(shù),問(wèn)題,需要判別所考察的因素的重要程度,解決,將回歸系數(shù)標(biāo)準(zhǔn)化,做法,1、先將變量標(biāo)準(zhǔn)化，再 計(jì)算 2、利用回歸系數(shù)計(jì)算,變量 每平均變化一個(gè)標(biāo)準(zhǔn)分?jǐn)?shù)， y將平均變化 個(gè)標(biāo)準(zhǔn)分?jǐn)?shù),第四節(jié)方程的解釋能力,一、確定系數(shù) 二、調(diào)整的確定系數(shù) 三、多元相關(guān)系數(shù) 四、方差分析,一、確定系數(shù),01,回歸方程解釋的差異與用y均值解釋的差異之比,模型中所有變量解釋y的變化占總變化的比例,受奇異值影響,散點(diǎn)圖,預(yù)測(cè)與殘差,e=(Y -,The sum of squ

10、ared errors,我們通過(guò)對(duì)該項(xiàng)（殘差）最小化方法求得 a and bi,擬合優(yōu)度,where and,和前面一樣, 是衡量 Y的所有變異中由所有自變量的差異共同解釋的比例 越高, 模型擬合數(shù)據(jù)的程度就越好。 當(dāng)加入新的變量時(shí)， 只升不降。 由于常常是隨著自變量數(shù)目的增加而增加, 所以直接比較 沒(méi)有太大的意義,二、調(diào)整的確定系數(shù),1:10,偏高,三、多元相關(guān)系數(shù)R,因變量觀測(cè)值和預(yù)測(cè)值之間的相關(guān)程度,四、方差分析,y的總變差平方和,回歸平方和,余差平方和,檢驗(yàn),統(tǒng)計(jì)推斷,回 歸 方 程,回 歸 系 數(shù),回歸系數(shù)的置信區(qū)間,為什么不顯著,第五節(jié)回歸方程的檢驗(yàn)和回歸系數(shù)的推斷統(tǒng)計(jì),實(shí)質(zhì),假設(shè)

11、,計(jì)算,H0：B1B2Bk0,BSS/k）/ ESS/(n-k-1,在總體中，X1，Xk的變化都不引起Y的線性變化,P與a比較，決定是否拒絕H0,檢驗(yàn)在a水平統(tǒng)計(jì)性顯著，并拒絕H0、接受H1,我們有相當(dāng)大的把握斷定，統(tǒng)計(jì)量b1，bk不等于0不是由于抽樣誤差造成的,表述,檢驗(yàn)樣本y與x1，xk的線性關(guān)系是否顯著,判斷能否肯定總體回歸系數(shù)中至少有一個(gè)不等于0,一、回歸方程的顯著性檢驗(yàn),二、回歸系數(shù)的顯著性檢驗(yàn),具體做法,T Sig T,H0：Bj0 H1：Bj0,三、回歸系數(shù)的置信區(qū)間,樣 本 量 太 小,變量數(shù)太多,Xj標(biāo)準(zhǔn)差過(guò)小,自變量線性相關(guān),確實(shí)不相關(guān),非線性關(guān)系,四、回歸系數(shù)不顯著的原因

12、,第六節(jié)虛擬變量的應(yīng)用,什么變量需要虛擬,分類(lèi)變量,虛擬變量,一個(gè)變量只有兩個(gè)可能值1 or 0. 對(duì)于一個(gè)兩分的變量: gender: 1. male 2. female 我們可以重新編碼 1=male and 0=female. 由此, gender 就變成了一個(gè)虛擬變量 , 表示被訪者是否男性,如何虛擬,二分變量 （是、否,把二分狀態(tài)看作連續(xù)變化的過(guò)程,將某一個(gè)分類(lèi)變量（有n個(gè)選項(xiàng)）轉(zhuǎn)換成（n-1）個(gè)二分變量，以沒(méi)有進(jìn)入變量表達(dá)的那個(gè)類(lèi)別為參照進(jìn)行解釋，說(shuō)明不同類(lèi)別間y取值的變化,均值的意義是編碼為1的案例占樣本的比例,為什么要在回歸分析中引入虛擬變量,有時(shí)我們社會(huì)研究的樣本數(shù)據(jù)中觀察的

13、個(gè)體可以分成不同的組別。 組與組、或群體與群體間的在自變量和應(yīng)變量的平均數(shù)會(huì)有差異 在這種情況下, 不控制組別特征的回歸模型結(jié)果會(huì)導(dǎo)致 所估計(jì)的偏回歸系數(shù)偏差。 特別是, 系數(shù)可能低估或者高估一個(gè)自變量對(duì)應(yīng)變量的影響強(qiáng)度,第七節(jié)多重共線性及其解決方案,多元線性回歸的解釋方式：“在其他變量不變的前提下，xi平均變化一個(gè)單位y將平均變化bi個(gè)單位,如果xi與另一自變量存在高度相關(guān)，則這種解釋不成立，因?yàn)椤霸谄渌兞坎蛔兊那疤帷辈豢赡軐?shí)現(xiàn),此即所謂的“多重共線性,回歸方程整體顯著， 但各個(gè)自變量都不顯著,多重共線性的表現(xiàn)之一,自變量之間存在高度線性相關(guān),后果： 影響回歸方程的有效性 回歸預(yù)測(cè)結(jié)果將不可靠 xi與y之間的關(guān)系不準(zhǔn)確,鑒別多重共線性的思路,在自變量之間建立回歸方程，以該回歸方程的確定系數(shù)來(lái)判斷自變量之間的相關(guān)程度,具體做法：假定有k個(gè)自變量，先以第一個(gè)自變量x1為因變量建立回歸方程，計(jì)算確定系數(shù)若值較大，說(shuō)明至少有一個(gè)自變量與x1相關(guān)，也即存在共線性問(wèn)題；按此方法依次建立回歸方程，根據(jù)確定系數(shù)的變化來(lái)判斷共線性問(wèn)題,去掉與y相關(guān)較低，而與其他自變量相關(guān)高的變量,去掉可以被其余自變量線性表出的變量,增加樣本規(guī)模,采用新的樣本數(shù)據(jù),利用先驗(yàn)信息組合變量,逐步刪除（逐步回歸方法即可消除此問(wèn)題,變量變換,補(bǔ) 救 辦 法,全部納入,全部刪除,向前回歸,