非線性回歸分析

1回顧-一元一次線性回歸步驟：1.觀察散點圖2.判斷是什么關(guān)系;3.回歸參數(shù)計算；4.判斷系數(shù)；5.顯著性檢驗（注意H0）6.失擬合檢驗（注意需要的條件）指標評價相關(guān)系數(shù)，判斷系數(shù)回歸公式顯著性檢驗H0假設(shè)的含義；方差分析表；F(1,n-2)失擬合檢驗條件？F(m-2,n-m)2回歸分析內(nèi)容一元線性步驟：1.觀察散點圖，2.判斷是什么關(guān)系，3.回歸，4.判斷系數(shù)；5。顯著性檢查（注意H0），6.失擬合檢驗（注意需要的條件）一元非線性帶虛擬變量多元線性多元非線性和逐步回歸Logistic回歸3

煉鋼廠出鋼水時用的鋼包，在使用過程中由于鋼水及爐渣對耐火材料的浸蝕，其容積不斷增大。現(xiàn)在鋼包的容積用盛滿鋼水時的重量y(kg)表示，相應(yīng)的試驗次數(shù)用x表示。數(shù)據(jù)見表，要找出y

與x的定量關(guān)系表達式。

一次非線性回歸4鋼包的重量y與試驗次數(shù)x數(shù)據(jù)

序號xy序號xy12106.42811110.5923108.20914110.6034109.581015110.9045109.501116110.7657110.001218111.0068109.931319111.20710110.49

下面我們分三步進行。

5確定可能的函數(shù)形式

為對數(shù)據(jù)進行分析，首先描出數(shù)據(jù)的散點圖，判斷兩個變量之間可能的函數(shù)關(guān)系，圖是本例的散點圖。觀測這13個點構(gòu)成的散點圖，我們可以看到它們并不接近一條直線，用曲線擬合這些點應(yīng)該是更恰當?shù)模@里就涉及如何選擇曲線函數(shù)形式的問題。

6

首先，如果可由專業(yè)知識確定回歸函數(shù)形式，則應(yīng)盡可能利用專業(yè)知識。當若不能有專業(yè)知識加以確定函數(shù)形式，則可將散點圖與一些常見的函數(shù)關(guān)系的圖形進行比較，選擇幾個可能的函數(shù)形式，然后使用統(tǒng)計方法在這些函數(shù)形式之間進行比較，最后確定合適的曲線回歸方程。為此，必須了解常見的曲線函數(shù)的圖形，。

7

本例中，散點圖呈現(xiàn)呈現(xiàn)一個明顯的向上且上凸的趨勢，可能選擇的函數(shù)關(guān)系有很多，比如，我們可以給出如下四個曲線函數(shù)：

1)1/y=a+b/x

2)y=a+blnx

3)4)

在初步選出可能的函數(shù)關(guān)系(即方程)后，我們必須解決兩個問題：如何估計所選方程中的參數(shù)？如何評價所選不同方程的優(yōu)劣？8

對上述非線性函數(shù)，參數(shù)估計最常用的方法是“線性化”方法。以1/y=a+b/x為例，為了能采用一元線性回歸分析方法，我們作如下變換u=1/x,v=1/y

則曲線函數(shù)就化為如下的直線v=bu

這是理論回歸函數(shù)。對數(shù)據(jù)而言，回歸方程為

vi=a+bui+

i

于是可用一元線性回歸的方法估計出a,b。

9參數(shù)估計計算表

10

用類似的方法可以得出其它三個曲線回歸方程，它們分別是：

11

曲線回歸方程的比較

我們上面得到了四個曲線回歸方程，通?？刹捎萌缦露€指標進行選擇。（1）決定系數(shù)R2：類似于一元線性回歸方程中相關(guān)系數(shù)，決定系數(shù)定義為：

R2越大，說明殘差越小，回歸曲線擬合越好，R2從總體上給出一個擬合好壞程度的度量。

12（2）剩余標準差s：類似于一元線性回歸中標準差的估計公式，此剩余標準差可用殘差平方和來獲得，即

s為諸觀測點yi與由曲線給出的擬合值間的平均偏離程度的度量，s越小，方程越好。13

在觀測數(shù)據(jù)給定后，不同的曲線選擇不會影響的取值，但會影響到殘差平方和的取值。因此，對選擇的曲線而言，決定系數(shù)和剩余標準差都取決于殘差平方和，從而，兩種選擇準則是一致的，只是從兩個不同側(cè)面作出評價。14表給出第一個曲線回歸方程的殘差平方和的計算過程，由于n=13，，故其決定系數(shù)及剩余標準差分別為：其它三個方程的決定系數(shù)及剩余標準差可同樣計算，我們將它們列在表中。

15

四種曲線回歸

決定系數(shù)及剩余標準差

模型編號

(1)(2)(3)(4)R20.97290.87730.78510.9623s0.22850.48640.64370.2696可以看出，第一個曲線方程的決定系數(shù)最大，剩余標準差最小，在這四個曲線回歸方程中，不論用哪個標準，都是第一個方程擬合得最好。因此，近似得比較好的定量關(guān)系式就是16例子17例子18例子19例子20例子

由于商品零售額增加，流通費用率呈下降趨勢，二者之間為負相關(guān)關(guān)系，故相關(guān)系數(shù)取負值為：－0.9898。說明兩者高度相關(guān)，用雙曲線回歸模型配合進行預(yù)測是可靠的。21例子22本章小節(jié)回歸分析和相關(guān)分析目的不同在回歸分析中，尋找的是變量之間的關(guān)系，代表這種關(guān)系的方程可能就是所期望的結(jié)果，也可能是所期望預(yù)測的均值。23

虛擬變量回歸預(yù)測24虛擬變量回歸預(yù)測

１．虛擬變量

品質(zhì)變量不像數(shù)量變量那樣表現(xiàn)為具體的數(shù)值。它只能以品質(zhì)、屬性、種類等形式來表現(xiàn)。要在回歸模型中引入此類品質(zhì)變量，必須首先將具有屬性性質(zhì)的品質(zhì)變量數(shù)量化。通常的做法是令某種屬性出現(xiàn)對應(yīng)于1，不出現(xiàn)對應(yīng)于0。這種以出現(xiàn)為１，未出現(xiàn)為０形式表現(xiàn)的品質(zhì)變量，就稱為虛擬變量。２．帶虛擬變量的回歸模型

常見的帶虛擬變量的回歸模型有以下二種形式：

25虛擬變量回歸預(yù)測

26其中的趨勢變化如右圖所示虛擬變量回歸