SAS 統(tǒng)計(jì)軟件課件第六章 非線性回歸

1、第六章 非線性回歸 1.1.曲線回歸曲線回歸2.2.多項(xiàng)式回歸多項(xiàng)式回歸第六章 非線性回歸 非線性回歸的類型非線性回歸的類型1、曲線回歸、曲線回歸 包括指數(shù)函數(shù)曲線、對數(shù)函數(shù)曲線、冪包括指數(shù)函數(shù)曲線、對數(shù)函數(shù)曲線、冪函數(shù)曲線、函數(shù)曲線、S型函數(shù)曲線和雙曲線函數(shù)等比型函數(shù)曲線和雙曲線函數(shù)等比較簡單的曲線回歸模型。較簡單的曲線回歸模型。 函數(shù)表達(dá)式比較復(fù)雜的曲線回歸模型。函數(shù)表達(dá)式比較復(fù)雜的曲線回歸模型。第六章 非線性回歸 非線性回歸的類型非線性回歸的類型2、多項(xiàng)式回歸、多項(xiàng)式回歸 一元多項(xiàng)式回歸一元多項(xiàng)式回歸（一個(gè)自變量，有一次項(xiàng)、二（一個(gè)自變量，有一次項(xiàng)、二 次項(xiàng)次項(xiàng)高次項(xiàng)等，圖形是曲線。）高

2、次項(xiàng)等，圖形是曲線。） 多元多項(xiàng)式回歸多元多項(xiàng)式回歸（兩個(gè)或多個(gè)自變量，各有一（兩個(gè)或多個(gè)自變量，各有一次項(xiàng)、二次項(xiàng)次項(xiàng)、二次項(xiàng)高次項(xiàng)和交叉乘積項(xiàng)等，圖形是曲面。）高次項(xiàng)和交叉乘積項(xiàng)等，圖形是曲面。） 反應(yīng)面回歸反應(yīng)面回歸（多個(gè)自變量、一次或二次多項(xiàng)式回（多個(gè)自變量、一次或二次多項(xiàng)式回歸，圖形是曲面。）歸，圖形是曲面。）第一節(jié) 常見曲線回歸形式一、第一節(jié) 常見的曲線回歸二、第一節(jié) 常見的曲線回歸三、第一節(jié) 常見的曲線回歸四、S形曲線（Logistic曲線）1. 基本形式bxaeky12. 圖形第一節(jié) 常見的曲線回歸k五、第一節(jié) 常見的曲線回歸常見的曲線模型常見的曲線模型：第第 種曲線模型種曲線

3、模型: y=a+bx*x. 第第 種曲線模型種曲線模型: y=a+bx*x*x. 第第 種曲線模型種曲線模型: y=1/(a+bx) 第第 種曲線模型種曲線模型: y=1/(a+b*exp(-x) 第第 種曲線模型種曲線模型: y=1/(a+bx*x)第第 種曲線模型種曲線模型: y=1/(a+bx*x*x) 第第 種曲線模型種曲線模型: y=a*exp(bx)第第 種曲線模型種曲線模型: y=a*exp(bx*x)第第 種曲線模型種曲線模型: y=a*b(x*x*x)第第 10 10 種曲線模型種曲線模型: :y=(a+bx)/x 第一節(jié) 常見的曲線回歸第第 1111 種曲線模型種曲線模型:

4、 y=a+b*ln(x)第第 1212 種曲線模型種曲線模型: y=a+b*x第第 1313 種曲線模型種曲線模型: y=x/(a+bx) 第第 1414 種曲線模型種曲線模型: y=a*(xb) 第第 1515 種曲線模型種曲線模型: y=a*(bx) 第第 1616 種曲線模型種曲線模型: y=1/(a+b*ln(x)第第 1717 種曲線模型種曲線模型: y=1/(a+b*x)第第 1818 種曲線模型種曲線模型: y=a*exp(b/x)第第 1919 種曲線模型種曲線模型: y=L+K/(1+a*exp(bx)第第 2020 種曲線模型種曲線模型: :y=b0+b1*x+b2*x*x

5、第一節(jié) 常見的曲線回歸實(shí)例1：曲線的擬合序號(hào)序號(hào)天數(shù)天數(shù) x枝稍生長量枝稍生長量 y12345670510152025302.13.76.412.218.126.334.5合計(jì)合計(jì)105103.3散點(diǎn)圖：采用指數(shù)曲線模型：bxaey 實(shí)例1：曲線回歸實(shí)例2：對數(shù)曲線的擬合xyxy51015202530354082.065.052.044.036.030.025.021.0455055606570758017.014.011.09.07.56.05.04.0用光電比色計(jì)測定溶液中葉綠素濃度（用光電比色計(jì)測定溶液中葉綠素濃度（x，mg/Lmg/L）和透光度（和透光度（y）的關(guān)系，試擬合曲線模型。）

6、的關(guān)系，試擬合曲線模型。散點(diǎn)圖：采用對數(shù)曲線模型：xbayln實(shí)例2：曲線回歸第二節(jié) 曲線回歸1.非線性回歸模型第二節(jié) 曲線回歸y=F(x1,x2,x3xm；)+其中：F為數(shù)學(xué)函數(shù)關(guān)系表達(dá)式 =(1,2,m) 為回歸系數(shù) 為隨機(jī)誤差將觀測值帶入非線性回歸模型簡記為：第二節(jié) 曲線回歸Y=F()+E其中：Y=(y1,y2,yn)為y的觀察值向量 =(1,2,m)為回歸系數(shù) E=(1,2,n)為隨機(jī)誤差向量用最小二乘法估計(jì)回歸系數(shù)，使殘差平方和：達(dá)到最小值，即可得到正規(guī)方程組。 但非線性正規(guī)方程組一般不能用代數(shù)變換方法來求解回歸系數(shù)，一般采用數(shù)值迭代法來進(jìn)行。11( )( )( )22eQE EYF

7、YF第二節(jié) 曲線回歸2.回歸系數(shù)的計(jì)算回歸系數(shù)的數(shù)值迭代法計(jì)算步驟第二節(jié) 曲線回歸1.選定回歸系數(shù)的初始值02.選擇適當(dāng)?shù)乃阉鞣较蛳蛄亢筒介Lt3.計(jì)算新回歸系數(shù) = 0 + t 使得 Qe() Qe(0)4.重復(fù)上述2-3步的過程，直至Qe() 達(dá)到最小值為止 1974年，Bard給出了使Qe()下降的充要條件：第二節(jié) 曲線回歸得到迭代公式 = 0 + t = 0 + tPG(Y-F()其中：P 為任意正定矩陣 G 為F 函數(shù)的梯度 t 滿足Qe()Qe(0)的正實(shí)數(shù) = PG(Y-F()3.常用計(jì)算迭代方向的方法第二節(jié) 曲線回歸1）Gauss 高斯-牛頓法（缺省方法） （一階偏導(dǎo)數(shù)）2）Ne

8、wton 牛頓法（一、二階偏導(dǎo)數(shù)）3）Marquardt 麥夸特法（一階偏導(dǎo)數(shù)）4）Gradient 梯度法（最速下降法） （一階偏導(dǎo)數(shù)）5）Dud 正割法（無需偏導(dǎo)數(shù)）第三節(jié) 多項(xiàng)式回歸1.多項(xiàng)式回歸模型第三節(jié) 多項(xiàng)式回歸 在數(shù)學(xué)上，一般函數(shù)都可以用多項(xiàng)式來逼近，當(dāng)兩個(gè)變量間的關(guān)系復(fù)雜難于確定時(shí)，可以使用多項(xiàng)式回歸來擬合。y=b0+b1x1+b2x2+bkxk+ k次多項(xiàng)式回歸模型：2. 回歸次數(shù)的初步確定 擬合多項(xiàng)式回歸的兩個(gè)變量有n對觀察值時(shí)，最多可以配到k=n-1次多項(xiàng)式。 根據(jù)散點(diǎn)圖所表現(xiàn)的曲線趨勢，回歸模型的次數(shù)為： k= 波峰數(shù) + 波谷數(shù) + 1 若波動(dòng)較大或峰谷兩側(cè)嚴(yán)重不對稱

9、，可再增加一次。k=1(波谷)+1=2k=2(波峰)+1(波谷)+1=4第三節(jié) 多項(xiàng)式回歸3. 回歸系數(shù)的計(jì)算第三節(jié) 多項(xiàng)式回歸對于n對觀測數(shù)據(jù)，令則模型可以表示為：Y=XB+E最小二乘法解得：B=(XX) -1XY21112222233321111kkkknnnxxxxxxXxxxxxxnyyyY21mbbbbB210n214. 回歸關(guān)系的假設(shè)檢驗(yàn)第三節(jié) 多項(xiàng)式回歸 變量y的總平方和(SSy)分解為回歸平方和(U)和誤差平方和(Q)回歸項(xiàng)自由度為：k（自變量次數(shù)）誤差項(xiàng)自由度為：n-k-1QUSSy檢驗(yàn)統(tǒng)計(jì)量F：) 1(knQkUF5. 回歸系數(shù)的假設(shè)檢驗(yàn)第三節(jié) 多項(xiàng)式回歸對于x任意i次項(xiàng)分

10、量回歸系數(shù)的檢驗(yàn)ibiSbt 1.t1.t檢驗(yàn)檢驗(yàn) H H0 0 ：i0 0 統(tǒng)計(jì)量統(tǒng)計(jì)量t t ：其中：其中： 自由度：自由度：n-k-1，Q Q 為誤差平方和為誤差平方和 C C(i+1)(i+1)為矩陣為矩陣(XX)(XX)-1-1的的( (i+1)(+1)(i+1)+1)元素元素(1)(1)ibyiiSSc1ySQ nm5. 回歸系數(shù)的假設(shè)檢驗(yàn)第三節(jié) 多項(xiàng)式回歸1/1/) 1)(1(2knQcbknQUFiiii2.F2.F檢驗(yàn)檢驗(yàn) H H0 0 ：i0 0其中：其中：U Ui 為為x xi對對y y的回歸平方和，的回歸平方和，Q Q 為誤差平方和為誤差平方和 C C(i+1)(i+1)為矩陣為矩陣(XX)(XX)-1-1的的(i+1)(