多元回歸擬合算法課件

電化學(xué)甲醛檢測儀濃度預(yù)測算法：

多元回歸擬合算法

匯報人：孫皓

電化學(xué)甲醛檢測儀濃度預(yù)測算法：

多元回歸擬合算法

匯目錄123多元回歸分析簡介多元回歸分析步驟逐步回歸用于甲醛濃度預(yù)測目錄123多元回歸分析簡介多元回歸分析步驟逐步回歸用于甲醛濃多元回歸分析

回歸分析：是一種通過一組自變量來預(yù)測一個或多個因變量的統(tǒng)計方法。

多元線性回歸

●多元：有多個自變量；

●線性：通過自變量的線性組合對因變量進行預(yù)測或估計；基本概念：多元回歸分析基本概念：多元線性回歸模型：◆：常數(shù)項,又稱為截距◆

，…:偏回歸系數(shù)，簡稱回歸系數(shù)。表示相應(yīng)的自變量對因變量的影響程度?！?/p>

:去除m個自變量對Y的影響后的隨機誤差，不可觀測。且通常假定多元線性回歸模型：◆：常數(shù)項,又稱為截距若進行n次獨立觀測，得到n組樣本數(shù)據(jù),

每一組樣本數(shù)據(jù)分別滿足多元線性回歸模型，即有：寫成矩陣形式：若進行n次獨立觀測，得到n組樣本數(shù)據(jù)多元線性回歸基本步驟█步驟一：回歸系數(shù)β的求解方法：最小二乘法我們尋求回歸系數(shù)的適宜數(shù)值應(yīng)該使得實際觀察值和回歸方程估計值之間殘差平方和最小，即有：

根據(jù)最小二乘法理論，將上式分別對求偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)為零,可獲得P＋1個正規(guī)方程，求解正規(guī)方程可得待估參數(shù)值。多元線性回歸基本步驟█步驟一：回歸系數(shù)β的求解方法：最小二是要求解的的最小二乘估計值。是要求解的█步驟二：對得到的回歸方程進行檢驗n組觀測值的均值記為：總離差平方和：

回歸平方和：

殘差平方和：

則有：█步驟二：對得到的回歸方程進行檢驗n組觀測值的均值記為：總xyxy

★常用的檢驗方法：可決系數(shù)F檢驗T檢驗多重共線性檢驗對回歸方程的檢驗：

●擬合度檢驗（針對全部自變量的選擇）●回歸方程的顯著性檢驗（針對回歸模型）●回歸系數(shù)的顯著性檢驗（針對回歸系數(shù)）

●多重共線性檢驗（針對自變量與自變量之間的線性關(guān)系）★常用的檢驗方法：可決系數(shù)F檢驗T可決系數(shù)：（判定系數(shù)，決定系數(shù)）

回歸平方和占總離差平方和的比例?；蛘哒f，因變量取值的變差中，能被多元回歸方程所解釋的比例。由R2的意義看來，其值越接近于1，意味著模型的擬合優(yōu)度越高。

可決系數(shù)：（判定系數(shù)，決定系數(shù)）回歸平方和占總離差平方

從理論上來講，隨著自變量個數(shù)的不斷增加，會使得R2不斷增加。為避免增加自變量而高估R2，引入了調(diào)整的R2式中，n為樣本量，p為自變量個數(shù)調(diào)整的R2的引入，目的是懲罰過多的使用不重要的自變量，也可以用于比較多個模型。從理論上來講，隨著自變量個數(shù)的不斷增加，會使得R2F檢驗：該類檢驗主要針對回歸方程的顯著性檢驗◎回歸方程的顯著性檢驗主要是檢驗被解釋變量與所有的解釋變量之間的線性關(guān)系是否顯著。對于多元線性回歸方程來說，F(xiàn)檢驗的檢驗統(tǒng)計量：式中，n為樣本量，p為自變量個數(shù)。其中p,n-p-1又被稱為自由度。F檢驗：該類檢驗主要針對回歸方程的顯著性檢驗對于多元F檢驗的主要流程：1.提出假設(shè)H0：

1

2

k=0線性關(guān)系不顯著；（不存在線性關(guān)系）H1：

1，

2，

k至少有一個不等于0。2.計算檢驗統(tǒng)計量F3.由F值得到檢驗P值作出決策

確定顯著性水平和P比較，P<拒絕H0.F檢驗的主要流程：1.提出假設(shè)2.計算檢驗統(tǒng)計量F3.由F值T檢驗：

前面兩種檢驗，討論了回歸方程中全部自變量的總體回歸效果,但總體回歸效果顯著并不說明每個自變量對因變量都是重要的,即可能有某個自變量對y并不起作用或者能被其它的自變量的作用所代替,因此對這種自變量我們希望從回歸方程中剔除,這樣可以建立更簡單的回歸方程。T檢驗主要針對的是回歸系數(shù)的顯著性檢驗◎回歸系數(shù)的顯著性檢驗主要是檢驗回歸方程中被解釋變量與每一個解釋變量之間的線性關(guān)系是否顯著。T檢驗：前面兩種檢驗，討論了回歸方程中全部自變量的總對于多元線性回歸方程來說，T檢驗的檢驗統(tǒng)計量為：式中，n為樣本量，p為自變量個數(shù)，n-p-1為自由度，為回歸系數(shù)的標(biāo)準(zhǔn)差；為對應(yīng)的回歸系數(shù)；對于多元線性回歸方程來說，T檢驗的檢驗統(tǒng)計量為：式中，n為T檢驗的主要步驟：1.提出假設(shè)H0：bi=0(自變量xi

與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi

與

因變量y有線性關(guān)系)3.由T值得到檢驗P值作出決策

確定顯著性水平和P比較，<P拒絕H0.2.計算檢驗的統(tǒng)計量tT檢驗的主要步驟：1.提出假設(shè)3.由T值得到檢驗P值作出決策多重共線性檢驗：多重共線性是指解釋變量之間存在線性相關(guān)關(guān)系的現(xiàn)象。多重共線性的后果（1）偏回歸系數(shù)估計困難甚至難以得到估計值；（2）偏回歸系數(shù)的估計值得方差增大，使得估計值不合理；（3）偏回歸系數(shù)估計值不穩(wěn)定（隨著樣本含量的增減各偏回歸系數(shù)發(fā)生較大變化或當(dāng)一個自變量被引入或剔除時其余變量偏回歸系數(shù)有很大變化）；（4）偏回歸系數(shù)假設(shè)檢驗的結(jié)果不顯著，容易產(chǎn)生錯誤的判定

多重共線性檢驗：多重共線性是指解釋變量之間存在線性相關(guān)關(guān)系的多重共線性的衡量：（1）容忍度①是第i個解釋變量與方程中其他解釋變量間的復(fù)相關(guān)系數(shù)的平方，表示解釋變量之間的線性相關(guān)程度。②容忍度的取值范圍在0-1之間，越接近0表示多重共線性越強，越接近1表示多重共線性越弱。（2）方差膨脹因子VIF①方差膨脹因子是容忍度的倒數(shù)。②VIF越大多重共線性越強，當(dāng)VIF大于等于10時，說明存在嚴(yán)重的多重共線性。多重共線性的衡量：（1）容忍度①是第i個（3）多元決定系數(shù)診斷假定多元回歸模型p個自變量,其多元決定系數(shù)為。分別構(gòu)成不含其中某個自變量(Xi,i=1,2,…,p)的p個回歸模型,并應(yīng)用最小二乘法準(zhǔn)則分別擬合回歸方程,求出它們各自的決定系數(shù)(i=1,2,…,p)。如果其中的某一個與很接近,假設(shè)不含的回歸模型，其決定系數(shù)與很接近，說明將從模型中去掉，對回歸模型的決定系數(shù)影響不大。

因此，可認(rèn)為該變量對Y總變異的解釋能力可由其他自變量代替。它很有可能是其他自變量的線性組合。該自變量進入模型后就有可能引起多重共線性問題。（3）多元決定系數(shù)診斷假定多元回歸模型p個自變量,其逐步回歸主要思想：

在考慮的全部自變量中按其對因變量的貢獻（偏回歸平方和）的大小,由大到小地逐個引入回歸方程,。另外,己被引入回歸方程的變量在引入新變量后也可能失去重要性,而需要從回歸方程中剔除出去。引入一個變量或者從回歸方程中剔除一個變量都稱為逐步回歸的一步,每一步都要進行相關(guān)的檢驗?；貧w步驟：①全部待引入回歸方程的變量分別計算其偏回歸平方和,并選其中偏回歸平方和最大的一個變量，進行F檢驗，顯著則引入，不顯著則停止引入。②對已引入回歸方程的變量計算其偏回歸平方和,然后選一個偏回歸平方和最小的變量,進行F檢驗,如果顯著則不踢出轉(zhuǎn)到①。如不顯著則需踢出，然后按偏回歸平方和由小到大地依次對方程中其它變量進行F檢驗。逐步回歸主要思想：回歸步驟：①全部待引入回歸方程的變量分別計偏回歸平方和：

偏回歸平方和：

多元回歸擬合在甲醛濃度預(yù)測中的應(yīng)用

在回歸模型中，自變量的次數(shù)超過三次的模型很不穩(wěn)定，故實際中盡量采用3次以下的模型來進行擬合。

模型中可能存在的項有：v2t2、v2t、vt2、vt、v2、v、t2、t、ln(v2t2

)、ln(v2t)、ln(vt2)、ln(vt)、ln(v2)、ln(v)、ln(t2)、ln(t)、EXP(v2)、EXP(v)。計算每個變量的偏回歸平方和V的貢獻最大，將V加入模型運用SPSS進行逐步回歸，得到回歸方程含有的項為v2t和v。配成：

多元回歸擬合在甲醛濃度預(yù)測中的應(yīng)用在回歸模型中，自變在MALAB中使用Regress函數(shù)可求出系數(shù)，進而完成相關(guān)的數(shù)據(jù)處理工作。序號：預(yù)測值（ppm）：真實值（ppm）：相對誤差：10.09190.1019.01