9相關(guān)分析和回歸

1、管理統(tǒng)計(jì)學(xué)相關(guān)分析和回歸分析相關(guān)分析和回歸分析的概念 兩個(gè)變量之間存在某種非確定性的關(guān)系，稱為相關(guān)關(guān)系 例如：一個(gè)人的身高和體重 相關(guān)分析：有關(guān)這類相關(guān)關(guān)系的統(tǒng)計(jì)分析 回歸分析：如何運(yùn)用統(tǒng)計(jì)方法將相關(guān)關(guān)系揭示出來(lái)回歸分析的商業(yè)用途 管理決策，經(jīng)常取決于對(duì)兩個(gè)或多個(gè)變量之間的關(guān)系 市場(chǎng)銷售經(jīng)理考慮了 關(guān)系后，才能嘗試去 用能帶來(lái)多少銷售收入費(fèi)用和銷售收入之間的一個(gè)給定水平的費(fèi) 公共事業(yè)公司利用白天最高氣溫與電力需求之間的關(guān)系，根據(jù)下個(gè)月白天最高氣溫的預(yù)報(bào)，來(lái)預(yù)測(cè)下個(gè)月的用電量本章結(jié)構(gòu)相關(guān)關(guān)系、相關(guān)分析一元線性回歸分析回歸系數(shù)的檢驗(yàn)和殘差分析變量變換誤差的自相關(guān)多元線性回歸分析多重共線性定性自變量

2、或因變量變量選擇相關(guān)關(guān)系 變量之間的關(guān)系分為兩大類確定性的函數(shù)關(guān)系如：正方形面積與邊長(zhǎng)的關(guān)系，圓面積與半徑的關(guān)系兩變量之間有一定的制約關(guān)系，但還不能由一個(gè)變量來(lái)決定另一個(gè)的取值：相關(guān)關(guān)系如：商品價(jià)格與銷售量的關(guān)系，某塊田地的播種量、施肥量與這塊地的糧食產(chǎn)量的關(guān)系產(chǎn)生相關(guān)關(guān)系的原因1.給出變量的數(shù)值時(shí)會(huì)產(chǎn)生計(jì)量或測(cè)量誤差體重=體積，體積的測(cè)量2.影響變量y取值的不止一個(gè)變量畝產(chǎn)量與施肥量的關(guān)系3.x和y的關(guān)系是通過(guò)其他反映出來(lái)的一年的飲食支出與旅游支出的關(guān)系（都由收入決定）收入越高的家庭小孩人數(shù)越少相關(guān)關(guān)系和因果關(guān)系 兩回事即使兩個(gè)變量間有很強(qiáng)的相關(guān)性，也并不一定代表改變其中一個(gè)變量的值會(huì)導(dǎo)致另

3、外一個(gè)變量的改變1.飯店的質(zhì)量等級(jí)與餐價(jià)是正相關(guān)的，但是簡(jiǎn)單地增加飯店的餐價(jià)不一定會(huì)增加飯店的質(zhì)量等級(jí)兩個(gè)變量之間的相關(guān)性，常常受其他潛在背景中的一些變量的影響2.本章結(jié)構(gòu)相關(guān)關(guān)系、相關(guān)分析一元線性回歸分析回歸系數(shù)的檢驗(yàn)和殘差分析變量變換誤差的自相關(guān)多元線性回歸分析多重共線性定性自變量或因變量變量選擇比例刻度數(shù)據(jù)相關(guān)系數(shù) 設(shè)有（X, Y）的一組觀察數(shù)據(jù)（樣本）(x1, y ), (x ,2 ), (, y ) 通過(guò)散點(diǎn)圖粗略判斷X與Y是否有某種關(guān)系散點(diǎn)圖協(xié)方差 X與Y的協(xié)方差是 符號(hào)反映了X和Y的線性關(guān)系的方向 由于Cov(X,Y)受到度量的影響，它的值不能反映變量之間的線性關(guān)系的強(qiáng)度 考慮將

4、數(shù)據(jù)先進(jìn)行標(biāo)準(zhǔn)化相關(guān)系數(shù) Y數(shù)據(jù)的標(biāo)準(zhǔn)化 相關(guān)系數(shù)相關(guān)系數(shù)（續(xù)） 若記ni1nn2(xxii1n x yi1x( yi yn(nxyxyii1nny2yyyyiii1i1Sxy 則樣本相關(guān)系數(shù)r xxyy相關(guān)系數(shù)的性質(zhì) -1 r1 變量X與Y正（負(fù)）線性相關(guān): r=1(-1) 變量X與Y正相關(guān): 0r1 變量X與Y線性無(wú)關(guān): r=0 變量X與Y負(fù)相關(guān): -1r0 r2：判定系數(shù)（可決系數(shù)），表示由于相關(guān)關(guān)系，y的變化可以用x來(lái)解釋的百分比線性關(guān)系強(qiáng)弱的評(píng)價(jià)標(biāo)準(zhǔn) |r|0.3: X與Y線性相關(guān)程度很弱（不（線性）相關(guān)） 0.3|r|0.5: X與Y低度線性相關(guān) 0.5 |r|0.8: X與Y中度

5、線性相關(guān) 0.8 |r|b0 當(dāng)b b0時(shí)，H0t (nxx H0: b=b0 H1: bmin6/n,0.99,那么該觀測(cè)值就是具有高杠桿率的觀測(cè)值有影響的觀測(cè)值是由于大的殘差和高杠桿率的交互作用而產(chǎn)生的觀測(cè)影響的度量Cook距離 Welsch-Kuh度量 Hadi影響度量1.2.3.本章結(jié)構(gòu)相關(guān)關(guān)系、相關(guān)分析一元線性回歸分析回歸系數(shù)的檢驗(yàn)和殘差分析變量變換誤差的自相關(guān)多元線性回歸分析多重共線性定性自變量或因變量變量選擇變量變換 變換的目的是獲得線性關(guān)系、正態(tài)性或穩(wěn)定方差 用原始變量構(gòu)建的模型違背了一個(gè)或多個(gè)標(biāo)準(zhǔn)回歸假定 理論上已經(jīng)明確兩個(gè)變量的關(guān)系是非線性的 一個(gè)廣泛使用的學(xué)習(xí)模型：第i次

6、完成某項(xiàng)任務(wù)的時(shí)間可以表示為T i ,0,i 所分析的因變量Y可能具有一個(gè)其方差與均值有關(guān)的概率分布：需要對(duì)數(shù)據(jù)作變換以保證分布的正態(tài)性和誤差的等方差性常見(jiàn)的可化為線性回歸的非線性模型 雙曲函數(shù) 雙曲線 冪函數(shù) 指數(shù)函數(shù) 對(duì)數(shù)函數(shù)1ybxab xb a abxyab lg x S型曲線y 1a bex非線性回歸 變量X與Y的關(guān)系僅有一部分能用線性關(guān)系描述。有的非線性關(guān)系可以通過(guò)變量替換化為線性回歸函數(shù) 一般分析步驟 通過(guò)散點(diǎn)圖觀察X與Y的關(guān)系 將非線性回歸化為線性回歸 可能有多種轉(zhuǎn)化方法，通過(guò)比較殘差平方和確定哪種方法更好例 X射線照射次數(shù)t與所剩細(xì)菌數(shù)y的關(guān)系t123456789101112

7、131415y355211197211915例（續(xù)） 用t與lny擬合： t與lny的相關(guān)系數(shù)是-0.99416 用lnt與lny擬合： lnt與lny的相關(guān)系數(shù)是-0.9365 殘差平方和小的模型更好 0.397R2R20.96912穩(wěn)定方差的變換 當(dāng)所有觀測(cè)的誤差方差不是同一個(gè)常數(shù)時(shí)，誤差是異方差的 通常根據(jù)殘差圖來(lái)檢測(cè)常見(jiàn)的方差是其均值函數(shù)的概率分布及其變換 穩(wěn)定方差的變換Y的概率分布方差Var（Y)變換變換后方差泊松分布YY0.25二項(xiàng)分布(1-)/nsin 1Y0.25/n負(fù)二項(xiàng)分布+22sinhY0.25例子：車床發(fā)生事故次數(shù) 設(shè)Y表示某機(jī)械車床發(fā)生的事故次數(shù)，X表示車床的運(yùn)行速度

8、 假設(shè)Y=0+1X+e 由于稀有事件通常服從泊松分布，所以假定Y服從泊松分布 Y均值與方差相等：等方差性不成立 對(duì)Y關(guān)于X作回歸總結(jié) 擬合線性模型后，應(yīng)檢查殘差以尋找異方差性的跡象 異方差性通過(guò)變量變換消除本章結(jié)構(gòu)相關(guān)關(guān)系、相關(guān)分析一元線性回歸分析回歸系數(shù)的檢驗(yàn)和殘差分析變量變換誤差的自相關(guān)多元線性回歸分析多重共線性定性自變量或因變量變量選擇誤差的自相關(guān) 當(dāng)觀察的數(shù)據(jù)具有自然的順序時(shí)，誤差間的相關(guān)性稱為自相關(guān) 在時(shí)間上或空間上，相鄰數(shù)據(jù)的殘差趨向于相似：時(shí)間序列中經(jīng)常出現(xiàn)自相關(guān) 當(dāng)回歸方程的右邊有一個(gè)變量被忽略時(shí)，也會(huì)出現(xiàn)自相關(guān)現(xiàn)象 自相關(guān)對(duì)數(shù)據(jù)分析的影響 回歸系數(shù)的最小二乘估計(jì)是無(wú)偏的，但是

9、不再具有最小方差 2和回歸系數(shù)的標(biāo)準(zhǔn)差會(huì)被嚴(yán)重低估 置信區(qū)間和各種顯著性檢驗(yàn)的結(jié)論不再自相關(guān)的檢驗(yàn)（1） 殘差圖自1952年到1956年季度消費(fèi)支出Y和貨幣存量X：假設(shè)模型是yt=0+1xt+et殘差的符號(hào)是+-+ 可以利用游程檢驗(yàn)驗(yàn)證殘差序列的獨(dú)立性自相關(guān)的檢驗(yàn)（2） Durbin-Watson統(tǒng)計(jì)量n2tt1d t 2n t2et 1 當(dāng)ddU時(shí)，沒(méi)有自相關(guān) 當(dāng)dLddU時(shí)，無(wú)法判斷自相關(guān)的消除方法對(duì)變量做一個(gè)含有未知的自相關(guān)參數(shù)的變換增加新的變量某個(gè)隨著時(shí)間變動(dòng)的自變量被遺漏了用示性變量消除季節(jié)效應(yīng)本章結(jié)構(gòu)相關(guān)關(guān)系、相關(guān)分析一元線性回歸分析回歸系數(shù)的檢驗(yàn)和殘差分析變量變換誤差的自相關(guān)多元

10、線性回歸分析多重共線性定性自變量或因變量變量選擇多元線性回歸模型 模型：Y X1 同樣采用最小二乘法對(duì)系數(shù)進(jìn)行估計(jì)min ( )2ii x012例子：Butler公司 Butler公司的管理駛時(shí)間希望估計(jì)該公司每天的行 一開始，管理認(rèn)為每天行駛的時(shí)間與每天貨物的行駛里程緊密相關(guān) 用Y表示每天行駛的時(shí)間，X1表示每天運(yùn)送貨物的行駛里程，得到y(tǒng) =1.27+0.0678x1,R2=66.4% 管理異性希望增加第二個(gè)自變量去解釋應(yīng)變量中剩余的變 增加運(yùn)送貨物的次數(shù)X2,得到 0.8692 , R 90.4%2y0.06110.9231關(guān)于回歸系數(shù)的解釋 j的兩種解釋：當(dāng)Xj變化一個(gè)變量而其他變量固定

11、取常數(shù)時(shí)，Y的改1.在實(shí)際中，自變量間往往是有關(guān)聯(lián)的，可能無(wú)法做到固定某些自變量而改變其他變量的值經(jīng)過(guò)其他變量的“調(diào)整”后， Xj對(duì)Y的貢獻(xiàn)：j又稱2.為偏回歸系數(shù)多元判定系數(shù) 多元判定系數(shù)R2=回歸平方和/總離差平方和 在一般情況下， R2總是隨著新的自變量的加入而增加 為了避免加入新自變量對(duì)R2的影響，用自變量的數(shù)目去修正R2的值 修正多元判定系數(shù)：不能解釋為響應(yīng)變量Y的總變差中能由變量解釋的比例，它可能為負(fù)n 1R2 1R2(a1顯著性檢驗(yàn)：總體顯著性檢驗(yàn) 確定在應(yīng)變量與所有自變量之間是否存在一個(gè)顯著性的關(guān)系（F檢驗(yàn)）0： 0 Hp F=(回歸平方和/p)/(誤差平方和/(n-p-1)

12、如果F F，則H0 F是分子的上分位點(diǎn)度是p、分母度是n-p-1的F分布顯著性檢驗(yàn)：?jiǎn)蝹€(gè)顯著性檢驗(yàn) 確定每個(gè)單個(gè)的自變量是不是顯著的自變量（t檢驗(yàn)）i 0 H0:t bisbi 當(dāng))時(shí)，H0p t2/例 某公司每周收入與費(fèi)用的關(guān)系周的總收入(y)電視費(fèi)用(x1)報(bào)紙費(fèi)用(x2)965.01.5902.02.0954.01.5922.52.5953.03.3943.52.3942.54.2943.02.5例子分析 估計(jì)的回歸方程y 83.2301(a) 2.29018(b )x 1.30099()R 0.95866,R2 0.91901,R2 0.88665a F=28.3777,顯著性概率0.

13、0018652420.05，說(shuō)明總體顯著 52.88248 ,顯著性概率4.57e-080.05,說(shuō)明常ta數(shù)項(xiàng)與0有顯著性差異tb 7.531899,tb 4.05669712本章結(jié)構(gòu)相關(guān)關(guān)系、相關(guān)分析一元線性回歸分析回歸系數(shù)的檢驗(yàn)和殘差分析變量變換誤差的自相關(guān)多元線性回歸分析多重共線性定性自變量或因變量變量選擇多重共線性 自變量之間的相關(guān)性稱為多重共線性 在對(duì)單個(gè)參數(shù)的顯著性進(jìn)行t檢驗(yàn)時(shí)，由于多重共線性帶來(lái)的是：當(dāng)多元回歸方程總體顯著性的F檢驗(yàn)表明有一個(gè)顯著的關(guān)系時(shí)，可能得出單個(gè)參數(shù)沒(méi)有一個(gè)是顯著性不同于零的結(jié)論 例：在Butler公司的例子中，不用X2表示運(yùn)送貨物的次數(shù)，而用X2表示消耗

14、的數(shù)量：X1與X2高度相關(guān) 進(jìn)行關(guān)于1的t檢驗(yàn)，發(fā)現(xiàn)不能H0: 1=0 由于X2已經(jīng)在模型中了，所以X1對(duì)決定Y的數(shù)值已經(jīng)不再有顯著的貢獻(xiàn)了進(jìn)行關(guān)于2的t檢驗(yàn)，也可以得出類似的結(jié)論共線性的 當(dāng)存在嚴(yán)重的多重共線性時(shí)，識(shí)別單個(gè)自變量對(duì)應(yīng)變量的影響是件非常的事情 嚴(yán)重的多重共線性可能導(dǎo)致最小二乘估計(jì)出現(xiàn)錯(cuò)誤的符號(hào) 盡一切努力避免在模型中出現(xiàn)高度相關(guān)的自變量共線性出現(xiàn)的原因 數(shù)據(jù)的缺陷 各變量本身固有的特性共線性的檢測(cè) 共線性往往伴隨著回歸系數(shù)估計(jì)的不穩(wěn)定性 當(dāng)增加或刪除一個(gè)變量時(shí)，估計(jì)的系數(shù)有很大改變 當(dāng)刪除或改變一個(gè)樣本點(diǎn)時(shí)，估計(jì)的系數(shù)有很大改變 若殘差圖正常，下面也可能是共線性的征兆 估計(jì)系數(shù)

15、的代數(shù)符號(hào)與經(jīng)驗(yàn)不符 重要變量的系數(shù)估計(jì)的標(biāo)準(zhǔn)誤差太大（t值很?。┳兞恐g的強(qiáng)相關(guān)性 如果樣本相關(guān)系數(shù)的絕對(duì)值大于0.7，多重共線性有可能成為一個(gè)潛在的問(wèn)題度量共線性的方法 方差膨脹因子 條件指數(shù)共線性數(shù)據(jù)的處理 兩種處理模型共線性的方法對(duì)模型的回歸系數(shù)尋找或施以某種約束條件1.約束條件通常根據(jù)問(wèn)題的物理背景確定用主成分方法和嶺回歸方法代替?zhèn)鹘y(tǒng)的最小二乘法對(duì)模型參數(shù)進(jìn)行估計(jì)2.本章結(jié)構(gòu)相關(guān)關(guān)系、相關(guān)分析一元線性回歸分析回歸系數(shù)的檢驗(yàn)和殘差分析變量變換誤差的自相關(guān)多元線性回歸分析多重共線性定性自變量或因變量變量選擇定性自變量：例子 某公司維修時(shí)間與從最近一次維修至今的月數(shù)和維修故障類型的關(guān)系維修

16、服務(wù)請(qǐng)求最近一次維修服務(wù)至今的月數(shù)維修的故障類型按小時(shí)計(jì)算的維修時(shí)間12電子2.926機(jī)械3.038電子4.843機(jī)械1.852電子2.967電子4.979機(jī)械4.288機(jī)械4.894電子4.4106電子4.5分析 僅僅用x1（從最近一次維修服務(wù)至今的月數(shù)）進(jìn)行：y2.150.304x1 R2=0.534： x1僅僅解釋了維修時(shí)間變異性的53.4% 定義虛擬變量(dummy variable)x2: x2=1，如果故障是電子類型 x2=0，如果故障是機(jī)械類型y 0.930.3881.2612 R2=0.859, Ra2=0.819推廣 如果一個(gè)分類變量有k個(gè)水平，那么需要定義 k-1個(gè)虛擬變量

17、，每個(gè)虛擬變量要么取值0，要么取值1 注意不是定義一個(gè)虛擬變量，可以取k種值定性因變量：Logistic回歸 因變量?jī)H能夠取兩個(gè)離散值 例子：Simmons商店采用郵寄的促銷。每份商品目錄贈(zèng)送一張券，當(dāng)顧客或以上200的商品時(shí)可以使用。由于商品目錄以及郵寄的成本昂貴， Simmons只愿意將目錄寄送給那些最有可能使用券并以及以上商品的顧客200 管理認(rèn)為，顧客是否使用券，兩個(gè)可能有幫助的變量是在Simmons商店的年消費(fèi)支出和顧客是否擁有Simmons 隨機(jī)抽取100名顧客發(fā)送商品目錄獲得是否使用的信息券Logistic回歸方程 在應(yīng)變量y的兩個(gè)值被賦值0或1時(shí)：對(duì)應(yīng)變量取值的概率建模0 1x

18、1 eE( y P y 1| x , x1 e0 1x1 1p)( 0 1x1 ln) 注：也可以利用其他分布函數(shù)來(lái)構(gòu)造S型關(guān)系如：可用正態(tài)分布函數(shù)構(gòu)造，構(gòu)造的模型稱為probit模型例子分析 定義 y=1,如果顧客使用券；y=0,如果不使用 x1: 在Simmons商店的年消費(fèi)支出（1000） x2=1,如果顧客有Simmons；x2=0,如果沒(méi)有 估計(jì)的回歸方程：估計(jì)參數(shù)用極大似然估計(jì)2.14637 0.341643x1 1.09873x2ey 2.14637 0.341643x 1.09873x1 e12例子分析（續(xù)） Simmons商店估計(jì)的使用概率 假定Simons只愿意將促銷的商品

19、目錄寄給那些使用券的概率大于0.4的顧客 對(duì)于擁有Simons或以上的郵寄 對(duì)于沒(méi)有Simons或以上的郵寄的顧客，給去年的消費(fèi)支出為2000的顧客，給去年的消費(fèi)支出為6000去年的消費(fèi)支出1000200030004000500060007000擁有0.33050.40990.49430.57910.65940.73150.7931沒(méi)有0.14130.18800.24570.31440.39220.47590.5610Logit模型的推廣 因變量可以取兩個(gè)值以上 因變量的取值沒(méi)有自然次序：多項(xiàng)Logit回歸模型 如：上班所用交通工具的選擇與、收入和出行距離的關(guān)系，因變量取值可以是：私人汽車、合

20、伙乘車、自行車和走路車、 )(ln pj xpi , j,12,12, k,1( 因變量的取值有序：比例優(yōu)勢(shì)模型j | X x 記Y的條件分布函數(shù)是FPr(ip)()( ln pj xpi , j,1 ,12,12, kj本章結(jié)構(gòu)相關(guān)關(guān)系、相關(guān)分析一元線性回歸分析回歸系數(shù)的檢驗(yàn)和殘差分析變量變換誤差的自相關(guān)多元線性回歸分析多重共線性定性自變量或因變量變量選擇變量選擇 選擇自變量集合 變量選擇與函數(shù)形式的確定是相互關(guān)聯(lián)的問(wèn)題 哪些變量應(yīng)該進(jìn)入回歸模型？ 應(yīng)該以什么形式進(jìn)入回歸模型？ 一般來(lái)說(shuō)，剔除變量后，2的估計(jì)要變大評(píng)價(jià)回歸方程的準(zhǔn)則（1） 殘差均方 設(shè)回歸方程含有p個(gè)參數(shù)，那么殘差均方RMS

21、定義為 RSSpRMSp 具有較小的RMS的回歸方程較好 目標(biāo)是時(shí)，該準(zhǔn)則很合適評(píng)價(jià)回歸方程的準(zhǔn)則（2） Mallows的Cp準(zhǔn)則RSSp2Cp2 選擇的標(biāo)準(zhǔn)是Cp與p的靠近程度評(píng)價(jià)回歸方程的準(zhǔn)則（3） 信息準(zhǔn)則AICp n ln(SSEp / n Bayes信息準(zhǔn)則pBICp n ln(SSEp ln nnp 對(duì)變量數(shù)p的懲罰程度不同評(píng)價(jià)所有可能的回歸模型 設(shè)有q個(gè)變量，則有2q個(gè)可能的回歸模型 按照前面提到的評(píng)價(jià)標(biāo)準(zhǔn)，找出3到4個(gè)最優(yōu)的預(yù)測(cè)變量子集，進(jìn)一步仔細(xì)分析，分析殘差圖，找出異常值，自相關(guān)或?qū)ψ兞窟M(jìn)行適當(dāng)?shù)淖儞Q，最后找出最優(yōu)的模型 當(dāng)變量個(gè)數(shù)很大時(shí)，該方法不可行變量選擇方法（1） 前向選擇方法變量選擇方案通常有個(gè)初始模型，可以用變量子集表示這個(gè)模型前向選擇的初始引入第一個(gè)變量變量子集是空間，對(duì)應(yīng)模型是Y= 0+e每個(gè)變量與Y的樣本相關(guān)系