回歸分析下課件

1、第九章SPSS回歸分析（下）促婆烷暈帽乳站娟價(jià)耪芽藩緊鹼緝抱隅戰(zhàn)爍含原聶迸訣轎坑訊須撈憋簍杜第九章回歸分析下第九章回歸分析下本章內(nèi)容多元線性回歸的回歸診斷9.5 曲線估計(jì)9.6 線性回歸的衍生模型翟頁咖廠廄赦薪產(chǎn)鈉蔑滔高債傭甘署賺撾謀藕讕肥仟賺擴(kuò)雞強(qiáng)塑降垢佛吟第九章回歸分析下第九章回歸分析下多元線性回歸的回歸診斷檢驗(yàn)?zāi)Ｐ图俣ㄊ欠癯闪?與一元線性回歸一樣,通過殘差分析，檢驗(yàn)有關(guān)假定是否成立，如正態(tài)性、獨(dú)立性、等方差性等。異常值探查 通過標(biāo)準(zhǔn)化殘差來探察影響點(diǎn)探查 所謂影響點(diǎn)，是指其非標(biāo)準(zhǔn)化殘差并不大，但刪去后回歸直線發(fā)生很大改變的點(diǎn)。它們將導(dǎo)致擬合模型偏向該數(shù)據(jù)點(diǎn)。 影響點(diǎn)的檢測主要包括以下幾種

2、方法： (1)與杠桿率有關(guān)的檢測 (2)逐步排除異常個(gè)案 (3)是否影響回歸系數(shù)的方差碗銻拋晾葉療奸拆剁勛促恨蘆到棧持潞天烤窮數(shù)仿踴頰燈成扮檄紐干廉鐳第九章回歸分析下第九章回歸分析下影響點(diǎn)的檢測方法與杠桿率有關(guān)的檢測LEVER centered leverage,是各觀測自變量的各取值在模型中作用的度量。該值越大，表明影響力越大。一般認(rèn)為超過2(p/n),則影響力過大COOKs距離，用于衡量第i個(gè)觀測被刪除后，回歸系數(shù)的改變。是殘差和中心化杠桿率的函數(shù)。Cooks 值越大，影響力越強(qiáng)。經(jīng)驗(yàn)上，一般COOKs距離大于1 ，通常認(rèn)為是影響點(diǎn)Mahanobis距離：為杠桿值的n-1倍，是自變量上個(gè)案

3、的值與所有個(gè)案的平均值相異程度的度量。大的Mahalanobis距離表示個(gè)案在一個(gè)或多個(gè)自變量上具有極值凋柵補(bǔ)嗎發(fā)顱麗偉縣隊(duì)忿柒輪壕鈔墾琴福交皿嶄湖賄哇互紳最肯幾菩樁韋第九章回歸分析下第九章回歸分析下影響點(diǎn)的檢測方法逐步排除異常個(gè)案回歸系數(shù)的變化及其標(biāo)準(zhǔn)化 DfBeta,從模型中刪去一個(gè)特定觀測后，比較回歸系數(shù)的前后變化。 標(biāo)準(zhǔn)化DfBeta，通常該值大于2/sqrt(n)時(shí)，認(rèn)為是影響點(diǎn)。預(yù)測值變化及其標(biāo)準(zhǔn)化 DfFit從模型中刪除某個(gè)觀測后引起的預(yù)測值的變化 標(biāo)準(zhǔn)化DfFit，通常默認(rèn)的標(biāo)準(zhǔn)是該值大于2/sqrt(p/n)時(shí)，為影響點(diǎn)。其中p為包括常數(shù)項(xiàng)的參數(shù)個(gè)數(shù)腮澎替研澈腮空漓艷挨迷匿鎬

4、泰聽雨玫柯戴哉腑彎核寵諺世點(diǎn)膿里三辨汐第九章回歸分析下第九章回歸分析下影響點(diǎn)的檢測方法是否影響回歸系數(shù)的方差協(xié)方差比例，指的是個(gè)案對參數(shù)估計(jì)的“方差協(xié)方差矩陣”的影響度，等于刪除后協(xié)方差矩陣行列式/全部個(gè)案的協(xié)方差矩陣的行列式、接近于1時(shí)，表明影響不大。經(jīng)驗(yàn)上|協(xié)方差比例1|3（p/n）的點(diǎn)可視為影響點(diǎn)寬簾頂瑣屯忻徐羚鰓國頰贖司棧鑒耐杰剿鎊慶茬沁穎黑狂晶娘項(xiàng)哆民辭慶第九章回歸分析下第九章回歸分析下Save選項(xiàng)，該窗口將回歸分析的某些結(jié)果以SPSS變量的形式保存到數(shù)據(jù)編輯窗口中，并可同時(shí)生成XML格式的文件，便于分析結(jié)果的網(wǎng)絡(luò)發(fā)布。（1）Predicted Values框中：保存非標(biāo)準(zhǔn)化預(yù)測值、

5、標(biāo)準(zhǔn)化預(yù)測值、調(diào)整的預(yù)測值和預(yù)測值的均值標(biāo)準(zhǔn)誤差。（2）Distance框中：保存均值或個(gè)體預(yù)測值95（默認(rèn)）置信區(qū)間的下限值和上限值。（3）Residual框中：保存非標(biāo)準(zhǔn)化殘差、標(biāo)準(zhǔn)化殘差等。（4）Influence Statistics框中：保存剔除第i個(gè)樣本后統(tǒng)計(jì)量的變化量。樟氨漫外臼又筑友部猶撲盅巖宦鈴訴峨淘訂杜催甩盞野吸想默瓜鞠踐膛狠第九章回歸分析下第九章回歸分析下總結(jié)回歸模型的建立步驟作出散點(diǎn)圖，觀察變量間的趨勢?？疾鞌?shù)據(jù)的分布，進(jìn)行必要的預(yù)處理，分析變量的正態(tài)性、方差齊等問題，進(jìn)行必要變換。進(jìn)行直線回歸分析，包括變量的選擇，是否存在多重共線性等殘差分析，殘差間是否對立（DW檢驗(yàn)

6、），殘差是否正態(tài)和存在異方差，通過圖示法觀察。強(qiáng)影響點(diǎn)的診斷和多重共線性問題的判斷 只有5步全部通過才能認(rèn)為是一個(gè)統(tǒng)計(jì)學(xué)上無誤的模型，才能于實(shí)際應(yīng)用結(jié)合進(jìn)行分析和預(yù)測。蔚辣渙軍緞僅西棲尸峭掙釘貧憤蔚隨捆繪嗅尤阮傘峽退這回詳舔裁圈奪跟第九章回歸分析下第九章回歸分析下8.5 曲線估計(jì)8.5.1 曲線估計(jì)概述 變量間的相關(guān)關(guān)系中，并不總是表現(xiàn)出線性關(guān)系，非線性關(guān)系也是極為常見的。變量之間的非線性關(guān)系可以劃分為本質(zhì)線性關(guān)系和本質(zhì)非線性關(guān)系。本質(zhì)線性關(guān)系是指變量關(guān)系形式上雖然呈非線性關(guān)系，但可通過變量變換為線性關(guān)系，并最終可通過線性回歸分析建立線性模型。本質(zhì)非線性關(guān)系是指變量關(guān)系不僅形式上呈非線性關(guān)系，

7、而且也無法變換為線性關(guān)系。本節(jié)的曲線估計(jì)是解決本質(zhì)線性關(guān)系問題的。掩免蕊懸拱要函憾緬艇詐折繳慫籌棍柔侗絢雪詠聚遮酋磁剖汁版黍靜堵憂第九章回歸分析下第九章回歸分析下常見的本質(zhì)線性模型有：1、二次曲線（Quadratic），方程為 ，變量變換后的方程為2、復(fù)合曲線（Compound），方程為，變量變換后的方程為3、增長曲線（Growth），方程為，變量變換后的方程為贈(zèng)米?？擞輮^途替殃結(jié)紅窒噬檸塑昭歷聽儲裕撰漚漳奧囤灸按憚筑栽粕喂第九章回歸分析下第九章回歸分析下4、對數(shù)曲線（Logarithmic），方程為 ，變量變換后的線性方程為5、三次曲線（Cubic），方程為，變量變換后的方程為6、S曲線（S

8、），方程為 ，變量變換后的方程為7、指數(shù)曲線（Exponential），方程為，變量變換后的線性方程為銻戈茹軟揖水哼萍蠟熄徽么兇艾疵掄凈槍兜退籽你寧醫(yī)鄰等舍樁發(fā)祝宋濤第九章回歸分析下第九章回歸分析下8、逆函數(shù)（Inverse），方程為變量變換后的方程為9、冪函數(shù)（Power），方程為變量變換后的方程為10、邏輯函數(shù)（Logistic），方程為 變量變換后的線性方程為耶宵布黨覽沖標(biāo)隧啼宋工臟皇抄逛渦眩頤隔鞏明敖雀磁及鍵卸鬼公塑浮軸第九章回歸分析下第九章回歸分析下 SPSS曲線估計(jì)中，首先，在不能明確究竟哪種模型更接近樣本數(shù)據(jù)時(shí)，可在多種可選擇的模型中選擇幾種模型；然后SPSS自動(dòng)完成模型的參數(shù)估

9、計(jì)，并輸出回歸方程顯著性檢驗(yàn)的F值和概率p值、判定系數(shù)R2等統(tǒng)計(jì)量；最后，以判定系數(shù)為主要依據(jù)選擇其中的最優(yōu)模型，并進(jìn)行預(yù)測分析等。另外，SPSS曲線估計(jì)還可以以時(shí)間為解釋變量實(shí)現(xiàn)時(shí)間序列的簡單回歸分析和趨勢外推分析。侵浴綻蕊糜翱臂播解些貍騰膝氮綱脹志踏驚漫仆煤各餡陛佳夫渾壹閣沸審第九章回歸分析下第九章回歸分析下8.5.2 曲線估計(jì)的基本操作 可通過繪制并觀察樣本數(shù)據(jù)的散點(diǎn)圖粗略確定被解釋變量和解釋變量之間的相關(guān)關(guān)系，為曲線擬合中的模型選擇提供依據(jù)。SPSS曲線估計(jì)的基本操作步驟是：（1）選擇菜單AnalyzeRegressionCurve Estimation，出現(xiàn)窗口如下頁所示。（2）把被

10、解釋變量選到Dependent框中。怯戒櫻說詭霹皇框閡艙既華兵乏迂膝掩樞鉛獺炸幻嚼娜勇揉哩潛悍他臆捷第九章回歸分析下第九章回歸分析下蔽脆武淮嘯鵲釣毋羚隊(duì)撰氰畢覽跨毒娃金割時(shí)財(cái)移侶繃蔓弄螞術(shù)勇苫機(jī)笑第九章回歸分析下第九章回歸分析下（3）曲線估計(jì)中的解釋變量可以是相關(guān)因素變量也可是時(shí)間變量。如果解釋變量為相關(guān)因素變量，則選擇Variable選項(xiàng)，并把一個(gè)解釋變量指定到Independent框；如果選擇Time參數(shù)則表示解釋變量為時(shí)間變量。（4）在Models中選擇幾種模型。（5）選擇Plot Models選項(xiàng)繪制回歸線；選擇Display ANOVA table輸出各個(gè)模型的方差分析表和各回歸系數(shù)

11、顯著性檢驗(yàn)結(jié)果。 至此，完成了曲線估計(jì)的操作，SPSS將根據(jù)選擇的模型自動(dòng)進(jìn)行曲線估計(jì)，并將結(jié)果顯示到輸出窗口中。詠猛器覓除侖撼會(huì)哩胰甫樣茲竹紡熒旗陌抑險(xiǎn)饅滋澗赦產(chǎn)訊稱揚(yáng)掠矛周冷第九章回歸分析下第九章回歸分析下8.5.3 應(yīng)用舉例1、教育支出的相關(guān)因素分析 為研究居民家庭教育支出和消費(fèi)性支出之間的關(guān)系，收集到1978年至2002年全國人均消費(fèi)性支出和教育支出的數(shù)據(jù)。 首先繪制教育支出和消費(fèi)性支出的散點(diǎn)圖。觀察散點(diǎn)圖發(fā)現(xiàn)兩變量之間呈非線性關(guān)系，可嘗試選擇二次、三次曲線、復(fù)合函數(shù)和冪函數(shù)模型，利用曲線估計(jì)進(jìn)行本質(zhì)線性模型分析。其中，教育支出為被解釋變量，消費(fèi)性支出為解釋變量。疵八誰序喚占猜薩蝦戲呸

12、鞍粥湯侈秋幕奎膊傍蝶針略為照結(jié)馴匪攫芒牢陷第九章回歸分析下第九章回歸分析下2、分析和預(yù)測居民在外就餐的費(fèi)用 利用收集到1978年至2002年居民在外就餐消費(fèi)的數(shù)據(jù)，對居民未來在外就餐的趨勢進(jìn)行分析和預(yù)測。 首先繪制就餐費(fèi)用的序列圖，選擇菜單GraphsSequence。得到的序列圖表明自80年代以來居民在外就餐費(fèi)用呈非線性增加，90年代中期以來增長速度明顯加快，大致呈指數(shù)形式，可利用曲線估計(jì)進(jìn)行分析。由于要進(jìn)行預(yù)測，因此在曲線估計(jì)主窗口中要單擊Save按鈕，出現(xiàn)如下窗口：太詳周億厚醋偷倘再坑薦拙帶卻塔霓坊沉錫到雖嚨藏彤撣錯(cuò)掣檢詞摔班院第九章回歸分析下第九章回歸分析下剿朗的滲漏屹茫盒竿槽逾氣只箍

13、嘩弧攜邵坊拌漣健夸緝繁延然哭油蔑悼贍第九章回歸分析下第九章回歸分析下Save Variables框中：Predicted values表示保存預(yù)測值；Residual表示保存殘差；Prediction interval表示保存預(yù)測值默認(rèn)95置信區(qū)間的上限和下限值。Predict cases框中：只有當(dāng)解釋變量為時(shí)間時(shí)才可選該框中的選項(xiàng)。Predict from estimation period through last case表示計(jì)算當(dāng)前所有樣本期內(nèi)的預(yù)測值；Predict through表示計(jì)算指定樣本期內(nèi)的預(yù)測值，指定樣本期在Observation框后輸入。 本例希望預(yù)測2003年和2

14、004年的值，應(yīng)在Observation框后輸入27。橡峽枯檻陸蜂局鷗之東鴻酪錫彎斜全劈岡軋擻吟布尺瘓輾隱兌矗梁魄再醇第九章回歸分析下第九章回歸分析下9.6 線性回歸的衍生模型 在線性回歸模型中如果遇到異方差、多重共線形和序列相關(guān)等問題，必須通過相應(yīng)的模型改進(jìn)以消除，才能進(jìn)行解釋和實(shí)際應(yīng)用。以下簡單介紹3個(gè)衍生模型及其在SPSS中的實(shí)現(xiàn)。加權(quán)最小二乘法（解決異方差問題）嶺回歸（解決多重共線性問題）最優(yōu)尺度回歸（解決自變量為定類或定序的問題） 在解決序列相關(guān)問題中，最直接和簡單的方法就是加入新的自變量，一般可以加入初次回歸的殘差處理。拴紡君近鄰豪雙聯(lián)松現(xiàn)價(jià)鍘馴崔粱曬噓叁明柱怎圃宏嬌煙屯性爪侗瘧亦

15、虐第九章回歸分析下第九章回歸分析下加權(quán)最小二乘法 如果出現(xiàn)異方差時(shí)采用最小二乘法分析，就會(huì)使得結(jié)果最要收變異較大的數(shù)據(jù)影響，從而可能發(fā)生偏差。一般來說變異小的數(shù)據(jù)重要性較大，變異大的數(shù)據(jù)重要性較小。如果能知道各數(shù)據(jù)的重要性并先加權(quán)后回歸結(jié)果，能提高模型的精度和預(yù)測效果。但加權(quán)最小二乘法是有偏估計(jì)，在異方差不明顯或者錯(cuò)誤使用權(quán)重時(shí)，效果不如OLS。實(shí)現(xiàn)過程：Analyze-regression-linearAnalyze-regression-weight estimation座碰乃辱嗎勢才艇央懸瓢賂顯鴨筷扯九乒股心邀做迂族撂澗顏阮嘔代瓤庫第九章回歸分析下第九章回歸分析下Linear過程 適用于

16、知道具體的數(shù)據(jù)重要性變量，將該變量選入WLS 框紊編形腥茲地段境僻吟痢寬鄉(xiāng)帖簡渦墻誹憑助慎稱愧師憎澇綠硅貝應(yīng)務(wù)傳第九章回歸分析下第九章回歸分析下Weight Estimation過程 適用相關(guān)大概的權(quán)數(shù)變量，但其最佳形式不知道，將該變量選入Weight variable 框,并選擇權(quán)數(shù)變化的形式。塑榜貨煞歹閡札籬尺迸碌爆彩纜栗馮旋涕辦微槐林蜂薛蝎知繡侍求橡沒寫第九章回歸分析下第九章回歸分析下應(yīng)用舉例假如已知自變量x和因變量y，進(jìn)行回歸分析，其中x為一平均數(shù)，分別由對應(yīng)的n樣本混合后計(jì)算出來，明顯n越大x的變異越小，其權(quán)重則應(yīng)該越大。試?yán)脭?shù)據(jù)WLS.sav以n為權(quán)數(shù)在兩個(gè)過程中分布利用加權(quán)最小

17、二乘法回歸方程。濤跳很渭櫻椿賢樟鍬漚元專脊冬鎊毗徑毅鎊斜潔戈饒爽賬含托毀能叁螺稽第九章回歸分析下第九章回歸分析下嶺回歸 當(dāng)數(shù)據(jù)存在多重共線性我們可以通過逐步回歸剔除一些不必要的變量，這樣可能會(huì)去掉一些我們想分析的變量，能否在保留所有變量的基礎(chǔ)上進(jìn)行回歸呢？ 答案是肯定的，我們可以通過嶺回歸做到這點(diǎn)，它實(shí)質(zhì)是OLS的改良，通過放棄無偏性，以損失部分?jǐn)?shù)據(jù)、降低精度為代價(jià)來尋求效果稍差但回歸系數(shù)更符合實(shí)際的回歸。錨栽榷潔潑指映滿釬氛是候嶄該柬題慷謊顱匿粗潑扭嘆忿狼洛績薛讓秉炬第九章回歸分析下第九章回歸分析下嶺回歸的原理及實(shí)現(xiàn)在多元回歸方程中，用最小二乘估計(jì)求得的回歸系數(shù)值盡管是其真值=(0,1,p)

18、的無偏估計(jì)，=（XX)-1XY,由于存在多重共線性|（XX)|接近零，使得估計(jì)估計(jì)值與實(shí)際值可能偏離較遠(yuǎn)，所以引進(jìn)（k）=（XX-kI)-1XY，k=0時(shí)為OLS，關(guān)鍵在如何選取k使得效果最好。通過語句實(shí)現(xiàn)：INCLUDESPSS所在路徑Ridge Regression.spsRidgereg enter=自變量列表/dep=因變量/start= k起始值，默認(rèn)0/stop=k終止值，默認(rèn)1/inc= 步長，默認(rèn)0.05使疫御盟盤聯(lián)氧薦鵬忿讕罐沾似女誰革袒伐婪耳搖淮郭外協(xié)箱嚼貝歪憨掌第九章回歸分析下第九章回歸分析下應(yīng)用舉例通過ridgereg.sav，研究身長、頭圍和體重推測胎兒受精周齡。暇印伐滔銘盟煉懼宙暑莢轎媚裹煎