第三章 回歸預測法

3回歸預測法

3.1一元線性回歸預測法

3.2多元線性回歸預測法3.3非線性回歸預測法

3.4應用回歸預測時應注意的問題3.1一元線性回歸預測法是指成對的兩個變量數(shù)據(jù)分布大體上呈直線趨勢時，運用合適的參數(shù)估計方法，求出一元線性回歸模型，然后根據(jù)自變量與因變量之間的關(guān)系，預測因變量的趨勢?；乇菊履夸浐芏嗌鐣?jīng)濟現(xiàn)象之間都存在相關(guān)關(guān)系，因

此，一元線性回歸預測有很廣泛的應用。進

行一元線性回歸預測時，必須選用合適的統(tǒng)

計方法估計模型參數(shù)，并對模型及其參數(shù)進

行統(tǒng)計檢驗。

回本章目錄一、建立模型一元線性回歸模型：

其中，

是未知參數(shù)，

為剩余殘差項或稱隨機擾動項。

，回本章目錄用最小二乘法進行參數(shù)的估計時，要求滿足以下基本假設條件：

二、估計參數(shù)

回本章目錄用最小二乘法進行參數(shù)估計，得到的估計表達式為：回本章目錄三、進行檢驗標準誤差：估計值與因變量值間的平均平方根誤差。其計算公式為：

回本章目錄可決系數(shù)：衡量自變量與因變量關(guān)系密切程度的指標，表示自變量解釋了因變量變動的百分比。計算公式為：

可見，可決系數(shù)取值于0與1之間，并取決于回歸模型所解釋的方差的百分比?；乇菊履夸浵嚓P(guān)系數(shù)

其計算公式為：

由公式可見，可決系數(shù)是相關(guān)系數(shù)的平方。相關(guān)系數(shù)越接近+1或－1，因變量與自變量的擬合程度就越好?；乇菊履夸浵嚓P(guān)系數(shù)測定變量之間的密切程度，可決系數(shù)測定自變量對因變量的解釋程度。相關(guān)系數(shù)有正負，可決系數(shù)只有正號。正相關(guān)系數(shù)意味著因變量與自變量以相同的方向增減。

如果直線從左至右上升，則相關(guān)系數(shù)為正；如果直線從左至右下降，則相關(guān)系數(shù)為負。相關(guān)系數(shù)與可決系數(shù)的主要區(qū)別：回本章目錄回歸系數(shù)顯著性檢驗檢驗假設：

其中，檢驗規(guī)則：給定顯著性水平

，若則回歸系數(shù)顯著。

檢驗統(tǒng)計量：

回本章目錄回歸模型的顯著性檢驗

檢驗假設：

回歸方程不顯著

回歸方程顯著

檢驗統(tǒng)計量：

~檢驗規(guī)則：給定顯著性水平

，若

則回歸方程顯著?；乇菊履夸浀沦e—沃森統(tǒng)計量（D—W）

檢驗

之間是否存在自相關(guān)關(guān)系。

其中，D—W的取值域在0~4之間。回本章目錄

檢驗法則：回本章目錄D—W檢驗表見教材附表一四、進行預測小樣本情況下,預測區(qū)間的常用公式為：

回本章目錄

?例1

已知身高與體重的資料如下表所示：例題分析身高（米）1.551.601.651.671.71.751.801.82體重（公斤）5052575660656270要求：（1）擬合適當?shù)幕貧w方程；（2）判斷擬合優(yōu)度情況；（3）對模型進行顯著性檢驗；（α=0.05）（4）當體重為75公斤時，求其身高平均值的95%的置信區(qū)間。回本章目錄解答：（1）n=8，經(jīng)計算得：

因此：回本章目錄因此，建立的一元線性回歸方程為：

（2）回歸直線的擬合優(yōu)度不是很理想?；乇菊履夸洠?）所以拒絕原假設，認為所建立的線性回歸模型是顯著的?；乇菊履夸洠?）回本章目錄?例2為研究銷售收入與廣告費用支出之間的關(guān)系，某醫(yī)藥管理部門隨機抽取20家藥品生產(chǎn)企業(yè)，得到它們的年銷售收入和廣告費用支出(萬元)的數(shù)據(jù)如下。繪制散點圖描述銷售收入與廣告費用之間的關(guān)系銷售收入和廣告費用的散點圖用SPSS進行回歸第1步：選擇【Analyze】下拉菜單，并選擇【Regression-linear】選項，進入主對話框第2步：在主對話框中將因變量(本例為銷售收入)選入【Dependent】，將自變量(本例為廣告費用)選入【Independent(s)】第3步：點擊【Save】在【PredictedValues】下選中【Unstandardized】(輸出點預測值)在【Predictioninterval】下選中【Mean】和【Individual】(輸出置信區(qū)間和預測區(qū)間)在【ConfidenceInterval】中選擇所要求的置信水平(隱含值95%，一般不用改變)在【Residuals】下選中【Unstandardized】和【standardized】(輸出殘差和標準化殘差)點擊【Continue】回到主對話框。點擊【OK】SPSS進行回歸參數(shù)的最小二乘估計

(SPSS輸出結(jié)果)參數(shù)的最小二乘估計

(例題分析)利用回歸方程進行預測對于自變量

x的一個給定值x0，根據(jù)回歸方程得到因變量y的一個估計區(qū)間區(qū)間估計有兩種類型1.置信區(qū)間估計(confidenceintervalestimate)2.預測區(qū)間估計(predictionintervalestimate)平均值的置信區(qū)間利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的平均值的估計區(qū)間，這一估計區(qū)間稱為置信區(qū)間(confidenceinterval)

E(y0)

在1-置信水平下的置信區(qū)間為式中：se為估計標準誤差個別值的預測區(qū)間利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的一個個別值的估計區(qū)間，這一區(qū)間稱為預測區(qū)間(predictioninterval)

y0在1-置信水平下的預測區(qū)間為注意！置信區(qū)間和預測區(qū)間xpyxx預測上限置信上限預測下限置信下限用SPSS進行回歸第1步：選擇【Analyze】下拉菜單，并選擇【Regression-linear】選項，進入主對話框第2步：在主對話框中將因變量(本例為銷售收入)選入【Dependent】，將自變量(本例為廣告費用)選入【Independent(s)】第3步：點擊【Save】在【PredictedValues】下選中【Unstandardized】(輸出點預測值)在【Predictioninterval】下選中【Mean】和【Individual】(輸出置信區(qū)間和預測區(qū)間)在【ConfidenceInterval】中選擇所要求的置信水平(隱含值95%，一般不用改變)在【Residuals】下選中【Unstandardized】和【standardized】(輸出殘差和標準化殘差)點擊【Continue】回到主對話框。點擊【OK】進行回歸SPSS置信區(qū)間和預測區(qū)間

(例題分析)點預測值置信線預測線置信區(qū)間和預測區(qū)間

(例題分析)用殘差檢驗模型的假定

檢驗方差齊性

檢驗正態(tài)性殘差(residual)因變量的觀測值與根據(jù)估計的回歸方程求出的預測值之差，用e表示反映了用估計的回歸方程去預測而引起的誤差可用于確定有關(guān)誤差項的假定是否成立用于檢測有影響的觀測值殘差圖(residualplot)表示殘差的圖形關(guān)于x的殘差圖關(guān)于y的殘差圖標準化殘差圖用于判斷誤差的假定是否成立檢測有影響的觀測值殘差齊性檢驗(a)滿意模式殘差x0(b)非常數(shù)方差殘差x0(c)模型不合適殘差x0殘差與標準化殘差圖

(例題分析)點預測值殘差標準殘差殘差圖

(例題分析)銷售收入與廣告費用回歸的殘差圖標準化殘差

(standardizedresidual)殘差除以它的標準差也稱為Pearson殘差或半學生化殘差(semi-studentizedresiduals)計算公式為注意：Excel給出的標準殘差的計算公式為這實際上是學生化刪除殘差(studentizeddeletedresiduals)殘差正態(tài)性檢驗

用標準化殘差圖直觀地判斷誤差項是否服從正態(tài)分布，若殘差正態(tài)分布成立，標準化殘差也應服從正態(tài)分布；在標準化殘差圖中，大約有95%的標準化殘差在-2

到+2之間標準化殘差圖

(例題分析)銷售收入與廣告費用回歸的標準化殘差圖標準化殘差的直方圖和正態(tài)概率圖

(例題分析)銷售收入與廣告費用回歸標準化殘的直方圖和正態(tài)概率圖3.2多元線性回歸預測法

社會經(jīng)濟現(xiàn)象的變化往往受到多個因素的影響，因此，一般要進行多元回歸分析，我們把包括兩個或兩個以上自變量的回歸稱為多元回歸?；乇菊履夸?/p>

多元回歸與一元回歸類似，可以用最小

二乘法估計模型參數(shù)。也需對模型及模

型參數(shù)進行統(tǒng)計檢驗。

選擇合適的自變量是正確進行多元回歸預

測的前提之一，多元回歸模型自變量的選

擇可以利用變量之間的相關(guān)矩陣來解決?；乇菊履夸浺弧⒔⒛Ｐ蚹個自變量的多元線性回歸模型可表示為：類似使用最小二乘法進行參數(shù)估計。回本章目錄多元線性回歸的方程的估計

是

估計值是y

的估計值用樣本統(tǒng)計量估計回歸方程中的參數(shù)

時得到的方程由最小二乘法求得一般形式為

二、擬合優(yōu)度指標

估計標準誤差：對y值與模型估計值之間的離差的一種度量。

計算公式為：

回本章目錄可決系數(shù)：

意味著回歸模型沒有對y的變差做出任何解釋；

意味著回歸模型對y的全部變差做出解釋。

回本章目錄三、

線性關(guān)系檢驗回本章目錄1.提出假設H0：12k=0線性關(guān)系不顯著H1：1，2，k至少有一個不等于02.計算檢驗統(tǒng)計量F確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨界值F

4.作出決策：若F>F

，拒絕H0四、

回歸系數(shù)的檢驗提出假設H0：bi=0(自變量xi與因變量y沒有線性關(guān)系)H1：bi0(自變量xi與因變量y有線性關(guān)系)計算檢驗的統(tǒng)計量t

確定顯著性水平，并進行決策t>t，拒絕H0；t<t，不拒絕H0五、自相關(guān)檢驗其中，，與一元回歸檢驗方法相同?；乇菊履夸浝?-3一家商業(yè)銀行在多個地區(qū)設有分行，其業(yè)務主要是進行基礎設施建設、國家重點項目建設、固定資產(chǎn)投資等項目的貸款。近年來，該銀行的貸款額平穩(wěn)增長，但不良貸款額也有較大比例的提高，這給銀行業(yè)務的發(fā)展帶來較大壓力。為弄清楚不良貸款形成的原因，希望利用銀行業(yè)務的有關(guān)數(shù)據(jù)做些定量分析，以便找出控制不良貸款的辦法。試建立不良貸款y與貸款余額x1、累計應收貸款x2、貸款項目個數(shù)x3和固定資產(chǎn)投資額x4的線性回歸方程，并解釋各回歸系數(shù)的含義

SPSS多元回歸SPSS輸出結(jié)果多重共線性

(multicollinearity)回歸模型中兩個或兩個以上的自變量彼此相關(guān)多重共線性帶來的問題有可能會使回歸的結(jié)果造成混亂，甚至會把分析引入歧途可能對參數(shù)估計值的正負號產(chǎn)生影響，特別是各回歸系數(shù)的正負號有可能同預期的正負號相反多重共線性的識別檢測多重共線性的最簡單的一種辦法是計算模型中各對自變量之間的相關(guān)系數(shù)，并對各相關(guān)系數(shù)進行顯著性檢驗若有一個或多個相關(guān)系數(shù)顯著，就表示模型中所用的自變量之間相關(guān)，存在著多重共線性如果出現(xiàn)下列情況，暗示存在多重共線性模型中各對自變量之間顯著相關(guān)當模型的線性關(guān)系檢驗(F檢驗)顯著時，幾乎所有回歸系數(shù)的t檢驗卻不顯著回歸系數(shù)的正負號與預期的相反任何兩個自變量之間的相關(guān)系數(shù)為：

經(jīng)驗法則認為，相關(guān)系數(shù)的絕對值小于0.75，或者0.5,這兩個自變量之間不存在多重共線性問題。

若某兩個自變量之間高度相關(guān)，就有必要把其

中的一個自變量從模型中刪去?；乇菊履夸浵嚓P(guān)矩陣及其檢驗

(SPSS)多重共線性的處理將一個或多個相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān)增大樣本容量，使樣本容量n遠大于自變量個數(shù)p作回歸系數(shù)的有偏估計：嶺回歸主成分回歸偏最小二乘法變量選擇過程在建立回歸模型時，對自變量進行篩選選擇自變量的原則是對統(tǒng)計量進行顯著性檢驗將一個或一個以上的自變量引入到回歸模型中時，是否使得殘差平方和(SSE)有顯著地減少。如果增加一個自變量使SSE的減少是顯著的，則說明有必要將這個自變量引入回歸模型，否則，就沒有必要將這個自變量引入回歸模型確定引入自變量是否使SSE有顯著減少的方法，就是使用F統(tǒng)計量的值作為一個標準，以此來確定是在模型中增加一個自變量，還是從模型中剔除一個自變量變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸、最優(yōu)子集等向前選擇

(forwardselection)從模型中沒有自變量開始對k個自變量分別擬合對因變量的一元線性回歸模型，共有k個，然后找出F統(tǒng)計量的值最高的模型及其自變量(P值最小的)，并將其首先引入模型分別擬合引入模型外的k-1個自變量的二元線性回歸模型如此反復進行，直至模型外的自變量均無統(tǒng)計顯著性為止向后剔除

(backwardelimination)先對因變量擬合包括所有k個自變量的回歸模型。然后考察p(p<k)個去掉一個自變量的模型(這些模型中在每一個都有k-1個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除考察p-1個再去掉一個自變量的模型(這些模型中每一個都有k-2個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除如此反復進行，一直將自變量從模型中剔除，直至剔除一個自變量不會使SSE顯著減小為止逐步回歸

(stepwiseregression)將向前選擇和向后剔除兩種方法結(jié)合起來篩選自變量在增加了一個自變量后，它會對模型中所有的變量進行考察，看看有沒有可能剔除某個自變量。如果在增加了一個自變量后，前面增加的某個自變量對模型的貢獻變得不顯著，這個變量就會被剔除按照方法不停地增加變量并考慮剔除以前增加的變量的可能性，直至增加變量已經(jīng)不能導致SSE顯著減少在前面步驟中增加的自變量在后面的步驟中有可能被剔除，而在前面步驟中剔除的自變量在后面的步驟中也可能重新進入到模型中用SPSS進行逐步回歸

(stepwiseregression)第1步：選擇【Analyze】下拉菜單，并選擇【Regression-linear】選項進入主對話框第2步：在主對話框中將因變量選入【Dependent】，將所有自變量選入【Independent(s)】，并在【Method】下選擇【Stepwise】第3步：點擊【Options】，并在【SteppingMethodCriteria】下選中【UseProbabilityofF】，并在【Entry】框中輸入增加變量所要求的顯著性水平(隱含值為0.05，一般不用改變)；在【Removal】輸入剔除變量所要求的顯著性水平(隱含值為0.10，一般不用改變)。點擊【Continue】回到主對話框用SPSS進行逐步回歸

(stepwiseregression)第4步：(需要預測時)點擊【Save】：在【PredictedValues】下選中【Unstandardized】(輸出點預測值)在【Predictioninterval】下選中【Mean】和【Individual】(輸出置信區(qū)間和預測區(qū)間)在【ConfidenceInterval】中選擇所要求的置信水平(隱含值為95%，一般不用改變)(需要殘差分析時)在【Residuals】下選中所需的殘差，點擊【Continue】回到主對話框。點擊【OK】SPSS參數(shù)的最小二乘估計

(逐步回歸)例3-4

根據(jù)例3-3的數(shù)據(jù)，用逐步回歸方法建立不良貸款y與貸款余額x1、累計應收貸款x2、貸款項目個數(shù)x3和固定資產(chǎn)投資額x4的線性回歸方程，并求出不良貸款的置信區(qū)間和預測區(qū)間。

SPSSSPSS逐步回歸逐步回歸

(例題分析—SPSS輸出結(jié)果)變量的進入和移出標準逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的主要統(tǒng)計量逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的方差分析表逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的參數(shù)估計和檢驗

利用回歸方程進行預測置信區(qū)間和預測區(qū)間用SPSS做回歸面圖

第1步：點擊【Graphs】【Interactive-Scatterplot】第2步：點擊【3DCoordine】，將各坐標軸變量拖入相應坐標軸第3步：點擊【Fit】，在【method】下選擇【Regression】，在【PredictionLines】下選擇【Mean】和【Individual】。點擊【確定】SPSSSPSS作回歸平面圖不良貸款的置信面和預測面二元回歸面置信面預測面3.3啞變量回歸3.3.1在模型中引進啞變量啞變量(dummyvariable)也稱虛擬變量。用數(shù)字代碼表示的定性自變量啞變量可有不同的水平只有兩個水平的啞變量比如，性別(男，女)有兩個以上水平的啞變量貸款企業(yè)的類型(家電，醫(yī)藥，其他)啞變量的取值為0，1在回歸中引進啞變量回歸模型中使用啞變量時，稱為啞變量回歸當定性變量只有兩個水平時，可在回歸中引入一個啞變量比如，性別(男，女)一般而言，如果定性自變量有k個水平，需要在回歸中模型中引進k-1個啞變量在回歸中引進啞變量

(例題分析)【例3-5】為研究考試成績與性別之間的關(guān)系，從某大學商學院隨機抽取男女學生各8名，得到他們的市場營銷學課程的考試成績?nèi)缬冶?.3.2含有一個啞變量的回歸

引進啞變量時，回歸方程表示為E(y)=0+1x男(x=0)：E(y)=0—男學生考試成績的期望值女(x=1)：E(y)=0+1—女學生考試成績的期望值注意：當指定啞變量0，1時0總是代表與啞變量值0所對應的那個分類變量水平的平均值1總是代表與啞變量值1所對應的那個分類變量水平的平均響應與啞變量值0所對應的那個分類變量水平的平均值的差值，即平均值的差值

=(0+1)-0=1用SPSS進行啞變量回歸

(有一個啞變量和有一個數(shù)值變量)第1步：選擇【Analyze】，并選擇【GeneralLinearModel-Univaiate】進入主對話框第2步：將因變量(考試成績)選入【DependentVariable】，將自變量(性別)選入【FixedFactor(s)