第8章-回歸分析課件

第八章回歸分析完整版PPT課件主要內(nèi)容8.1回歸分析簡介8.2線性回歸分析8.3曲線回歸分析8.4非線性回歸分析8.5二元Logistic回歸分析完整版PPT課件8.1回歸分析簡介（1）確定性關系與非確定性關系

變量與變量之間的關系分為確定性關系和非確定性關系，函數(shù)表達確定性關系。研究變量間的非確定性關系，構(gòu)造變量間經(jīng)驗公式的數(shù)理統(tǒng)計方法稱為回歸分析。（2）回歸分析基本概念回歸分析是指通過提供變量之間的數(shù)學表達式來定量描述變量間相關關系的數(shù)學過程，這一數(shù)學表達式通常稱為經(jīng)驗公式。我們不僅可以利用概率統(tǒng)計知識，對這個經(jīng)驗公式的有效性進行判定，同時還可以利用這個經(jīng)驗公式，根據(jù)自變量的取值預測因變量的取值。如果是多個因素作為自變量的時候，還可以通過因素分析，找出哪些自變量對因變量的影響是顯著的，哪些是不顯著的。完整版PPT課件8.1回歸分析簡介（3）回歸分析的一般步驟第1步確定回歸方程中的因變量和自變量。第2步確定回歸模型。第3步建立回歸方程。第4步對回歸方程進行各種檢驗。擬合優(yōu)度檢驗回歸方程的顯著性檢驗回歸系數(shù)的顯著性檢驗第5步利用回歸方程進行預測。完整版PPT課件主要內(nèi)容8.1回歸分析簡介8.2線性回歸分析8.3曲線回歸分析8.4非線性回歸分析8.4二元Logistic回歸分析完整版PPT課件8.2線性回歸分析8.2.1基本概念及統(tǒng)計原理1.基本概念

線性回歸假設因變量與自變量之間為線性關系，用一定的線性回歸模型來擬合因變量和自變量的數(shù)據(jù)，并通過確定模型參數(shù)來得到回歸方程。根據(jù)自變量的多少，線性回歸可有不同的劃分。當自變量只有一個時，稱為一元線性回歸，當自變量有多個時，稱為多元線性回歸。完整版PPT課件8.2線性回歸分析(2)統(tǒng)計原理一元回歸方程和多元回歸方程一元線性和多元線性回歸分析的核心任務就是估計其中的參數(shù)。完整版PPT課件8.2線性回歸分析8.2.2

SPSS實例分析【例8-1】現(xiàn)有1992年-2006年國家財政收入和國內(nèi)生產(chǎn)總值的數(shù)據(jù)如下表所示，請研究國家財政收入和國內(nèi)生產(chǎn)總值之間的線性關系。年份國內(nèi)生產(chǎn)總值（單位：億元）財政收入（單位：億元）年份國內(nèi)生產(chǎn)總值（單位：億元）財政收入（單位：億元）199226923.53483.37200099214.613395.23199335333.94348.952001109655.216386.04199448197.95218.102002120332.718903.64199560793.76242.202003135822.821715.25199671176.67407.992004159878.326396.47199778973.08651.142005183867.931649.29199884402.39875.952006210871.038760.20199989677.111444.08完整版PPT課件8.2線性回歸分析第1步分析：這是一個因變量和一個自變量之間的問題，故應該考慮用一元線性回歸解決。第2步數(shù)據(jù)組織：定義三個變量，分別為“year”（年份）、“x”（國內(nèi)生產(chǎn)總值）、“y”（財政收入）。第3步作散點圖，觀察兩個變量的相關性：依次選擇菜單“圖形→舊對話框→散點/點狀→簡單分布”，并將“國內(nèi)生產(chǎn)總值”作為x軸，“財政收入”作為y軸，得到如下所示圖形?？梢钥闯鰞勺兞烤哂休^強的線性關系，可以用一元線性回歸來擬合兩變量。完整版PPT課件8.2線性回歸分析第4步一元線性回歸分析設置：選擇菜單“分析→回歸→線性”，打開“線性回歸”對話框，將變量“財政收入”作為因變量，“國內(nèi)生產(chǎn)總值”作為自變量。打開“統(tǒng)計量”對話框，選上“估計”和“模型擬合度”。單擊“繪制（T）…”按鈕，打開“線性回歸：圖”對話框，選用DEPENDENT作為y軸，*ZPRED為x軸作圖。并且選擇“直方圖”和“正態(tài)概率圖”作相應的保存選項設置，如預測值、殘差和距離等。完整版PPT課件8.2線性回歸分析第5步主要結(jié)果及分析：變量輸入和移去表模型輸入的變量移去的變量方法1國內(nèi)生產(chǎn)總值.輸入a.已輸入所有請求的變量。

b.因變量:財政收入。表中顯示回歸模型編號、進入模型的變量、移出模型的變量和變量的篩選方法?？梢钥闯?，進入模型的自變量為“國內(nèi)生產(chǎn)總值”。模型綜述表

模型RR方調(diào)整

R方標準估計的誤差1.989a.979.9771621.66312a.預測變量：（常量），國內(nèi)生產(chǎn)總值。b.因變量：財政收入。R=0.989，說明自變量與因變量之間的相關性很強。R方(R2)=0.979，說明自變量“國內(nèi)生產(chǎn)總值”可以解釋因變量“財政收入”的97.9%的差異性。完整版PPT課件8.2線性回歸分析方差分析表表中顯示因變量的方差來源、方差平方和、自由度、均方、F檢驗統(tǒng)計量的觀測值和顯著性水平。方差來源有回歸、殘差。從表中可以看出，F(xiàn)統(tǒng)計量的觀測值為592.25，顯著性概率為0.000，即檢驗假設“H0：回歸系數(shù)B=0”成立的概率為0.000，從而應拒絕原假設，說明因變量和自變量的線性關系是非常顯著的，可建立線性模型。完整版PPT課件8.2線性回歸分析回歸系數(shù)表表中顯示回歸模型的常數(shù)項、非標準化的回歸系數(shù)B值及其標準誤差、標準化的回歸系數(shù)值、統(tǒng)計量t值以及顯著性水平（Sig.）。從表中可看出，回歸模型的常數(shù)項為-4993.281，自變量“國內(nèi)生產(chǎn)總值”的回歸系數(shù)為0.197。因此，可以得出回歸方程：財政收入=-4993.281+0.197×國內(nèi)生產(chǎn)總值。回歸系數(shù)的顯著性水平為0.000，明顯小于0.05，故應拒絕T檢驗的原假設，這也說明了回歸系數(shù)的顯著性，說明建立線性模型是恰當?shù)?。完整版PPT課件主要內(nèi)容8.1回歸分析簡介8.2線性回歸分析8.3曲線回歸分析8.4非線性回歸分析8.4二元Logistic回歸分析完整版PPT課件8.3曲線回歸分析8.3.1基本概念及統(tǒng)計原理(1)基本概念曲線回歸（曲線擬合、曲線估計）是研究一個自變量和一個因變量之間非線性關系的一種方法。指選定一種用方程表達的曲線，使得實際數(shù)據(jù)與理論數(shù)據(jù)之間的差異盡可能小。如果曲線選擇得好，那么可以揭示因變量與自變量的內(nèi)在關系，并對因變量的預測有一定意義。在曲線回歸中，需要解決兩個問題：一是選用哪種理論模型，即用哪種方程來擬合觀測值；二是當模型確定后，如何選擇合適的參數(shù)，使得理論數(shù)據(jù)和實際數(shù)據(jù)的差異最小。完整版PPT課件8.3曲線回歸分析8.3.1基本概念及統(tǒng)計原理統(tǒng)計原理

在曲線估計中，有很多的數(shù)學模型，選用哪一種形式的回歸方程才能最好地表示出一種曲線的關系往往不是一個簡單的問題，可以用數(shù)學方程來表示的各種曲線的數(shù)目幾乎是沒有限量的。在可能的方程之間，以吻合度而論，也許存在著許多吻合得同樣好的曲線方程。因此，在對曲線的形式的選擇上，對采取什么形式需要有一定的理論，這些理論是由問題本質(zhì)決定的。(3)分析步驟首先，在不能明確究竟哪種模型更接近樣本數(shù)據(jù)時，可在上述多種可選擇的模型中選擇幾種模型；其次，SPSS自動完成模型參數(shù)的估計，并輸出回歸方程顯著性檢驗的F值和概率P值、決定系數(shù)R2等統(tǒng)計量；最后，以判定系數(shù)為主要依據(jù)選擇其中的最優(yōu)模型，并進行預測分析等。完整版PPT課件8.3曲線回歸分析8.3.2SPSS實例分析【例8-3】表8.16是1989～2001年國家保費收入與國內(nèi)生產(chǎn)總值的數(shù)據(jù)，試研究保費收入與國內(nèi)生產(chǎn)總值的關系。年度保費收入國民生產(chǎn)總值年度保費收入國民生產(chǎn)總值19804.64517.81991239.721662.519817.84860.3199237826651.9198210.35301.8199352534560.5198313.25957.41994630466701984207206.7199568357494.9198533.18989.1199677666850.5198645.810201.41997108073142.7198771.0411954.519981247.376967.21988109.514922.319991393.2280579.41989142.616917.820001595.988228.11990178.518598.420012109.3694346.4完整版PPT課件8.3曲線回歸分析第1步分析：先用散點圖的形式進行分析，看究竟是否具有一元線性關系，如果具有一元線性關系，則用一元線性回歸分析，否則采用曲線估計求解。第2步數(shù)據(jù)組織：定義為三個變量，分別是“year”（年度）、“y”（保費收入）和“x”（國內(nèi)生產(chǎn)總值），輸入數(shù)據(jù)并保存。第3步作散點圖初步判定變量的分布趨勢：保費收入y隨國內(nèi)生產(chǎn)總值x的提高而逐漸提高，而且當國內(nèi)生產(chǎn)總值達到一定水平后，保費收入的增幅更加明顯。因此用線性回歸模型表示x，y的關系是不恰當?shù)?。于是應找擬合效果好的模型。完整版PPT課件8.3曲線回歸分析第4步進行曲線估計：依次選擇菜單“分析→回歸→曲線估計”，將所有模型全部選上，看哪種模型擬合效果更好(主要看決定系數(shù)R2)，其所有模型的擬合優(yōu)度R2如下表所示。從決定系數(shù)（R方即R2）來看，三次曲線效果最好（因為其R2值最大），并且方差分析的顯著性水平（Sig.）為0。故重新進行上面的過程，只選“三次曲線（Cubic）”一種模型。完整版PPT課件8.3曲線回歸分析第5步結(jié)果與分析。決定系數(shù)R2=0.990，且顯著性概率值為0.000，故可判斷保費收入與國內(nèi)生產(chǎn)總值之間有較顯著的三次曲線關系。從參數(shù)估算值可知因變量與自變量的三次回歸模型為：y=-

166.430

+

0.029x

-

5.364E

-

7x2

+

5.022E

-

12x3。完整版PPT課件8.3曲線回歸分析第5步結(jié)果與分析。從三次曲線對原始觀測值的擬合效果圖，可看出其擬合效果非常好。完整版PPT課件主要內(nèi)容8.1回歸分析簡介8.2線性回歸分析8.3曲線回歸分析8.4非線性回歸分析8.4二元Logistic回歸分析完整版PPT課件8.4

非線性回歸分析8.4.1基本概念及統(tǒng)計原理(1)基本概念可以通過變量轉(zhuǎn)換轉(zhuǎn)化為線性關系，并最終進行線性回歸的叫本質(zhì)線性關系；而無法通過變量轉(zhuǎn)換轉(zhuǎn)化為線性關系，最終也無法進行線性回歸分析的叫本質(zhì)非線性關系。我們平時所講的非線性回歸就是本質(zhì)非線性關系。線性回歸模型要求變量之間必須是線性關系，曲線回歸只能處理能夠通過變量轉(zhuǎn)換轉(zhuǎn)化為線性關系的非線性問題，而且也只能用于一個自變量和因變量回歸關系的模型分析判別，因此這些方法都有一定的局限性。相反，非線性回歸可以估計因變量和自變量之間任意關系的模型，我們可以根據(jù)自身需要而設定回歸方程的具體形式。因此，非線性回歸方法在實際應用中實用價值更大，應用范圍更廣。完整版PPT課件8.4

非線性回歸分析8.4.1基本概念及統(tǒng)計原理(2)統(tǒng)計原理非線性回歸分析要求自變量和因變量均為數(shù)值型變量，如果是分類變量，應該將其重新編碼為數(shù)值型變量。非線性回歸模型一般可以表示為如下形式：

式中，

為期望函數(shù)，該模型的結(jié)構(gòu)和線性回歸模型非常相似，所不同的是期望函數(shù)

可能為任意形式，有時甚至可以沒有顯式表達式。完整版PPT課件8.4

非線性回歸分析8.4.1基本概念及統(tǒng)計原理(3)分析步驟針對呈非線性關系的情況，可以采用兩種策略：一是對標準的線性模型做一些修正，使之能處理各種異常情況，但方法仍在線性回歸的范疇內(nèi)，教材表8.15給出了一些常見的非線性回歸模型及其變換方式，請讀者參照學習；二是徹底打破原有模型的束縛，采用非線性模型來擬合。非線性回歸過程是專用的非線性回歸模型擬合過程，它采用迭代方法對用戶設置的各種復雜曲線模型進行擬合，同時將殘差的定義從最小二乘法向外擴展，為用戶提供了極為強大的分析能力，不僅能夠擬合SPSS的回歸分析過程提供的全部模型，還可以擬合文件回歸、多項式回歸、百分位數(shù)回歸等各種非常復雜的模型。一般第二種策略最權威，同時也是統(tǒng)計學的重點之一，但比較難于掌握。完整版PPT課件8.4

非線性回歸分析8.4.2非線性回歸SPSS實例分析【例8-4】表8.20是一家公司在8周內(nèi)每周的營業(yè)收入和廣告費用數(shù)據(jù)。公司老板希望建立一個回歸模型，以便用電視廣告費用和報紙廣告費用預測公司營業(yè)收入。完整版PPT課件8.4

非線性回歸分析8.4.2非線性回歸SPSS實例分析第1步分析。這是一個具有兩個自變量的模型擬合問題，先用散點圖的形式進行分析，看究竟是否具有線性關系，如果具有線性關系，則用線性回歸進行分析，否則采用非線性回歸求解。第2步數(shù)據(jù)組織。定義3個變量，分別是“營業(yè)收入”、“電視廣告費用”和“報紙廣告費用”，輸入數(shù)據(jù)并保存。第3步作散點圖，初步判定變量的分布趨勢。依次選擇菜單“圖形→舊對話框→散點圖/點圖→矩陣散點圖”，并將3個變量均選入到“矩陣變量”框中。完整版PPT課件8.4.2非線性回歸SPSS實例分析第4步進行非線性回歸。（1）選擇菜單：“分析→回歸→非線性”，打開“非線性回歸”對話框，并按如下圖所示進行設置。8.4

非線性回歸分析完整版PPT課件8.4

非線性回歸分析8.4.2非線性回歸SPSS實例分析第5步主要結(jié)果及分析。（1）下表為迭代歷史記錄表?？梢钥闯?，經(jīng)過9次迭代后，模型達到收斂標準，找到了最佳解。于是得到營業(yè)收入關于兩種廣告費用的預測回歸模型為

y=86.531+1.089x1-0.667x2+0.724x1x2完整版PPT課件8.4

非線性回歸分析8.4.2非線性回歸SPSS實例分析第5步主要結(jié)果及分析。（2）下表為整個模型的顯著性檢驗結(jié)果?？梢钥闯?，決定系數(shù)R2為0.941，擬合結(jié)果較好。完整版PPT課件8.4

非線性回歸分析8.4.2非線性回歸SPSS實例分析第5步主要結(jié)果及分析。（3）預測值和殘差保存到數(shù)據(jù)表中完整版PPT課件主要內(nèi)容8.1回歸分析簡介8.2線性回歸分析8.3曲線回歸分析8.4非線性回歸分析8.4二元Logistic回歸分析完整版PPT課件8.5

二元Logistics回歸分析8.5.1基本概念及統(tǒng)計原理1基本概念Logistic回歸分析就是針對因變量是定性變量的回歸分析。在實際生活中，我們經(jīng)常會遇到因變量是定性變量的情況，如醫(yī)學上的陰性和陽性，生存與死亡，消費現(xiàn)象中的購買行為發(fā)生還是不發(fā)生，金融現(xiàn)象中的上市公司IPO通過還是不通過，等等?？梢蕴幚矶ㄐ砸蜃兞康慕y(tǒng)計分析方法有：判別分析、Probit分析、Logistic回歸分析和對數(shù)線性模型分析等。在社會科學中，應用最多的是Logistic回歸分析。根據(jù)因變量取值類別數(shù)量不同，Logistic回歸分析又分為二元Logistic回歸分析和多元Logistic回歸分析。二元Logistic回歸模型中因變量只可以取兩個值1和0（虛擬因變量），而多元Logistic回歸模型中因變量可取多個值。本節(jié)重點介紹二元Logistic回歸模型，對于多元Logistic回歸模型只做簡要說明。完整版PPT課件8.5

二元Logistics回歸分析8.5.1基本概念及統(tǒng)計原理2統(tǒng)計原理（1）logit變換設因變量y是只取0或1的二分類變量，p為某事件發(fā)生的概率，取值區(qū)間為[0,1]，當事件發(fā)生時y=1，否則y=0，即p=P(y=1)（事件發(fā)生的概率）是研究對象。將比率p/(1-p)取自然對數(shù)，即對p做logit變換。當p=1時

，當p=0.5時logit(p)=0，當p=0時

，故logit(p)的取值范圍為

。注意，式中等號右邊的分數(shù)部分p/(1-p)是“事件發(fā)生”與“事件不發(fā)生”的概率比，稱為優(yōu)勢（odd）。所以，logit變換有很好的統(tǒng)計解釋，它是優(yōu)勢的對數(shù)。

完整版PPT課件8.5

二元Logistics回歸分析8.5.1基本概念及統(tǒng)計原理2統(tǒng)計原理（2）Logistic回歸模型設有k個因素x1,x2,…,xk影響y的取值，則稱為二維Logistic回歸模型，簡稱Logistic回歸模型，其中的k個因素x1,x2,…,xk稱為Logistic回歸模型的協(xié)變量。最重要的Logistic回歸模型是Logistic線性回歸模型式中，β0，β1，…，βk是待估計的未知參數(shù)?？傻?/p>

完整版PPT課件8.5

二元Logistics回歸分析8.5.1基本概念及統(tǒng)計原理2統(tǒng)計原理（3）統(tǒng)計檢驗與線性回歸一樣，擬合時也要考慮模型是否合適、哪些變量該保留、擬合效果如何等問題。線性回歸中常用的是決定系數(shù)R2，T檢驗、F檢驗等工具在這里均不再適用。在Logistic回歸中常用的檢驗有-2對數(shù)似然檢驗（-2log（likelihood），2LL）、Hosmer和Lemeshow的擬合優(yōu)度檢驗、Wald檢驗等。完整版PPT課件8.5

二元Logistics回歸分析8.5.2二元Logistics回歸SPSS實例分析【例8-5】診斷發(fā)現(xiàn)運營不良的金融企業(yè)是審計核查的一項重要功能，審計核查的分類失敗會導致災難性的后果。表8.23列出了66家公司的部分運營財務比率，其中33家在2年后破產(chǎn)（y=0），另外33家在同期保持償付能力（y=1）。請用變量x1（未分配利潤/總資產(chǎn)）、x2（稅前利潤/總資產(chǎn)）和x3（銷售額/總資產(chǎn)）擬合一個Logistic回歸模型。第1步分析。共有3個自變量，均是定量數(shù)據(jù)類型，而因變量是定性的，取值有兩種狀態(tài)（0和1），這是一個典型的可用二元Logistic回歸解決的問題。第2步數(shù)據(jù)組織。定義三個自變量x1，x2和x3，再定義因變量y，輸入數(shù)據(jù)并保存。第3步二元Logistic回歸分析設置。完整版PPT課件8.5

二元Logistics回歸分析8.5.2二元Logistics回歸SPSS實例分析第4步主要結(jié)果及分析（1）下表是個案處理摘要信息，給出了數(shù)據(jù)進入模型的記錄數(shù)。完整版PPT課件8.5

二元Logistics回歸分析8.5.2二元Logistics回歸SPSS實例分析第4步主要結(jié)果及分析（2）下表是因變量的賦值表，在SPSS中，默認將二分類變量中出現(xiàn)次數(shù)較多的賦值為1。本例比較特殊，二分類變量的兩種情況出現(xiàn)的次數(shù)是一樣的，從表格中可以看出，將“兩年后破產(chǎn)”賦值為0，“兩年后仍有償付能力”賦值為1。完整版PPT課件8.5

二元Logistics回歸分析8.5.2二元Logistics回歸SPSS實例分析第4步主要結(jié)果及分析（3）下表是模型初始分類預測表，此時模型中不含任何自變量，只包含常數(shù)項。表格左方代表實際觀測值，右方代表模型的預測值和正確率。此時預測所有公司在兩年后仍有償付能力，預測的正確率為50%。完整版PPT課件8.5

二元Logistics回歸分析8.5.2二元Logistics回歸SPSS實例分析第4步主要結(jié)果及分析（4）下表給出了模型系數(shù)的檢驗結(jié)果，其中常數(shù)項系數(shù)為0.000，其顯著性概率為1，可見常數(shù)項不顯著。x1，x2和x3的相伴概率分別是0.000，0.000和0.094，如果以5%為置信的話，x1和x2