智能檢測理論與技術(shù)ppt課件

1、第三章 基于回歸分析的智能檢測,Intelligent Detection Theory and Technology,智能檢測理論與技術(shù),第二章內(nèi)容回顧,一、系統(tǒng)類別與模型 二、檢測系統(tǒng)的模型 三、檢測系統(tǒng)靜態(tài)特性 四、檢測系統(tǒng)動態(tài)特性 五、基于機理的智能檢測,第三章 基于回歸分析的智能檢測,回歸分析 回歸分析是一種簡單、實用而且成熟的確定變量間相關(guān)關(guān)系的方法。以最小二乘原理為基礎(chǔ)的回歸技術(shù)常用于線性模型的擬合。 線性關(guān)系 線性回歸 非線性回歸 自變量數(shù)量 一元回歸分析 多元回歸分析,第三章 基于回歸分析的智能檢測,回歸分析,第三章 基于回歸分析的智能檢測,回歸分析 線性化 在實踐中，幾個變

2、量間的關(guān)系并不限于線性關(guān)系，更廣泛地存在著非線性的相關(guān)關(guān)系。在解決非線性回歸的問題中，可以采用下面兩種線性化方法： 通過變量變換的方法，把非線性關(guān)系化成線性關(guān)系。需要確定曲線的函數(shù)類型。 如果實際問題的曲線類型不易判斷時，可采用多項式進(jìn)行逼近。因為任意曲線都可以近似地用多項式表示。 非線性回歸一般都可以轉(zhuǎn)化為線性回歸,第三章 基于回歸分析的智能檢測,線性回歸 一元線性回歸 兩個變量x、Y (隨機變量)，x確定后，Y 按一定統(tǒng)計規(guī)律取值，有隨機性。Y的數(shù)學(xué)期望E(Y )代替Y，研究E(Y )和x的關(guān)系，近似表示x和Y的關(guān)系?；貧w函數(shù)： 一元線性回歸函數(shù)： 其中i為待定系數(shù)，稱為回歸系數(shù)。 則隨機

3、變量Y可以表示為線形部分y和隨機部分的疊加，即: 其中為隨機變量,第三章 基于回歸分析的智能檢測,線性回歸 多元線性回歸 假設(shè)因變量Y(隨機變量)的均值E(Y )=y可以表示成自變量xi ：1ip 的線性組合，多元線性回歸，即： 其中i為待定系數(shù)，稱為p元線性回歸函數(shù)的回歸系數(shù),第三章 基于回歸分析的智能檢測,回歸函數(shù)系數(shù)的估計 一元回歸系數(shù)確定，n 次獨立觀測 設(shè)0和1分別為0和1的估計，則Y關(guān)于x的線性回歸方程表示為 根據(jù)偏差最小準(zhǔn)則，即最小二乘原理有,第三章 基于回歸分析的智能檢測,回歸函數(shù)系數(shù)的估計 最小值存在，可以證明0和1分別為0和1的最小方差無偏估計,第三章 基于回歸分析的智能檢

4、測,回歸函數(shù)系數(shù)的估計 可以證明0和1分別為0和1的最小方差無偏估計，亦稱最優(yōu)線性無偏估計。 多元線性回歸,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 顯著性檢驗 對于一元線性回歸， 1反映自變量x對隨機變量Y的影響程度， 1大說明影響顯著，有顯著影響說明回歸合理，回歸效果好。如無影響，應(yīng)選擇有影響的自變量重新回歸。 顯著性檢驗方法 F 檢驗法：檢驗自變量和因變量之間是否存在線性關(guān)系。 t 檢驗法：檢驗每個自變量對因變量的影響是否顯著。 相關(guān)系數(shù)檢驗法：復(fù)相關(guān)系數(shù)衡量回歸方程擬合品質(zhì)， 偏相關(guān)系數(shù)評價每個自變量對因變量的作用,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 F 檢驗

5、法 假設(shè)： 如果H0成立，則不能認(rèn)為X與y有線性相關(guān)關(guān)系。 檢驗統(tǒng)計量,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 F 檢驗法 式中,回歸離差平方和，反映回歸值與平均值的偏差，揭示y與X的線性關(guān)系所引起的數(shù)據(jù)波動。 殘差平方和，反映觀測值與回歸值的偏差，揭示試驗誤差和非線性關(guān)系對試驗結(jié)果所引起的數(shù)據(jù)波動。 總離差平方和，反映觀測值與平均值的偏差程度,第三章 基于回歸分析的智能檢測,SST,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 F 檢驗法,對給定的顯著性水平 （一般取1%或5%），有： - 當(dāng) 時，拒絕 H0，即可認(rèn)為變量y與X 有線性相關(guān)關(guān)系。 - 當(dāng) 時，接受 H0 ，

6、即可認(rèn)為變量y與X沒有線性相關(guān)關(guān)系。 - 一般當(dāng) 時，則認(rèn)為可以用X的線性模型來擬合 y，即模型通過了F 檢驗,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 t 檢驗法 假設(shè)： 如果H0成立，則不能認(rèn)為xi與y有線性相關(guān)關(guān)系。 檢驗統(tǒng)計量,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 t 檢驗法,對給定的顯著性水平 （一般取1%或5%），有： - 當(dāng) 時，拒絕 H0，即可認(rèn)為xi對y有影響。 - 當(dāng) 時，接受 H0 ,即可認(rèn)為xi對y無關(guān)重要， 應(yīng)該從回歸方程中剔除,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 相關(guān)系數(shù)檢驗法 衡量回歸方程的擬合品質(zhì)：定義復(fù)相關(guān)系數(shù)R（ ），

7、R 越接近于1，表明方程擬合得越好,R2稱為復(fù)判定系數(shù),第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 相關(guān)系數(shù)檢驗法 評價自變量 xj 對因變量 y 的作用：定義偏相關(guān)系數(shù)Vj ， Vj越大，說明 xj 對 y 的作用越顯著,第三章 基于回歸分析的智能檢測,回歸變量的選擇 回歸效果不顯著的原因： 影響y 的因素除了自變量xi (i =1, 2, , p)之外，還有其他不可忽略的因素; y與自變量xi (i =1, 2, , p)之間的關(guān)系不是線性的; y與自變量xi (i =1, 2, , p)之間無關(guān),相關(guān)系數(shù),第三章 基于回歸分析的智能檢測,回歸變量的選擇 回歸變量選擇 選擇恰當(dāng)，獲

8、得最優(yōu)經(jīng)驗回歸函數(shù)，否則，影響回歸函數(shù)質(zhì)量，抵消顯著變量的作用。 選擇原則 包括所有顯著變量； 自變量個數(shù)盡可能少 ，減少計算量,可以證明，相關(guān)系數(shù)檢驗，F(xiàn)檢驗和t檢驗三種檢驗方法的檢驗效果是一樣的,第三章 基于回歸分析的智能檢測,回歸分析 變量分析 石化系統(tǒng) 物料平衡，能量平衡 系統(tǒng)機理分析 系統(tǒng)先驗知識,第三章 基于回歸分析的智能檢測,回歸模型 過程系統(tǒng)回歸模型 石化系統(tǒng) 物料平衡，能量平衡 系統(tǒng)機理模型 系統(tǒng)先驗知識,第三章 基于回歸分析的智能檢測,回歸建模方法 過程系統(tǒng)回歸建模 石化系統(tǒng) 物料平衡，能量平衡 系統(tǒng)動力學(xué)模型 系統(tǒng)先驗知識,第三章 基于回歸分析的智能檢測,基于回歸模型的智

9、能檢測原理 選定回歸變量 回歸變量 顯著性檢驗 建立系統(tǒng)回歸模型 優(yōu)化回歸模型 智能檢測模型估計被測量,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 多元逐步回歸 主元分析法 部分最小二乘法 為了避免矩陣求逆運算，可以采用遞推最小二乘，為了防止數(shù)據(jù)飽和還可以采用帶遺忘因子的最小二乘法,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 多元逐步回歸 （“最優(yōu)回歸方程”技術(shù)） 多元逐步回歸是從與y有關(guān)的變量中選取對y有顯著影響的變量來建立回歸方程的一種常用算法。 基本思想：對全部自變量按其對因變量影響程度的大小，從大到小依次逐個地引入回歸方程，而且隨時對回歸方程當(dāng)前所含的全

10、部自變量進(jìn)行檢驗，看其對因變量的作用是否顯著。不顯著則立即加以剔除。只有在回歸方程中所含的所有因子對因變量作用都顯著時，才考慮引入新的因子，繼而對它進(jìn)行檢驗。如此往復(fù)輸入、剔除，直至無法引入新變量或剔除老變量為止,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 主元分析法 在研究工業(yè)過程時，為了全面了解和分析問題，通常記錄了許多與之有關(guān)的變量。這些變量雖然不同程度的反映了過程的部分信息，但某些變量之間可能存在相關(guān)性，即當(dāng)X中存在線性相關(guān)的變量時， 不存在，不能采用多元線性回歸方法。若X的變量接近線性關(guān)系，則多元線性回歸方法計算不穩(wěn)定。為了解決線性回歸時由于數(shù)據(jù)共線性而導(dǎo)致病態(tài)協(xié)方差

11、矩陣不可逆問題，以及在盡可能保持原有信息的基礎(chǔ)上減少變量個數(shù)，簡化建模，可以采用統(tǒng)計學(xué)中的主元分析和主元回歸方法,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 主元分析法 主元分析法是一種將多個相關(guān)變量轉(zhuǎn)化為少數(shù)幾個相互獨立的變量的有效地分析方法。 基本思想：主元分析的最終目的是在數(shù)據(jù)表中找到能概括原數(shù)據(jù)表中的信息或者能將一個高維空間進(jìn)行降維處理。主元回歸解決了由于輸入變量間的線性相關(guān)而引起的計算問題。同時，由于忽略了那些次要的主元，還起到了抑制測量噪聲對模型系統(tǒng)影響的作用,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 主元分析法算法步驟 （1）數(shù)據(jù)預(yù)處理，對X、Y

12、按列標(biāo)準(zhǔn)化 （2）求相關(guān)矩陣R （3）求R的特征值和特征向量P （4）根據(jù)特征值從大到小重新排列特征值和特征向量P （5）計算主元貢獻(xiàn)率 （6）計算累積主元貢獻(xiàn)率，當(dāng)其大于85%，記錄主元個數(shù)k （7）計算主元矩陣 （8）計算回歸系數(shù),第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 部分最小二乘法（第二代回歸分析方法） PLS是化學(xué)計量專家為了解決預(yù)測建模的問題，根據(jù)啟發(fā)式推理和直覺提出來的。PLS方法將高維數(shù)據(jù)空間投影到低維特征空間，得到相互正交的特征向量，再建立特征向量之間的一元線性回歸關(guān)系。正交特征投影使PLS有效地克服了普通最小二乘回歸的共線性問題。同時PLS方法將多元回歸

13、問題轉(zhuǎn)化為若干個一元回歸，適用于樣本數(shù)較少且變量數(shù)較多的過程建模。與主元回歸相比，PLS在選取特征向量時強調(diào)輸入對輸出的預(yù)測作用，去除了對回歸無益的噪聲，使模型包含最少的變量數(shù)，因此PLS具有更好的魯棒性和預(yù)測穩(wěn)定性,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 部分最小二乘法（第二代回歸分析方法） 部分最小二乘回歸法可以集多元回歸分析，典型相關(guān)分析和主元分析的基本功能為一體，將建模預(yù)測類型的數(shù)據(jù)分析方法和非模型式的數(shù)據(jù)認(rèn)識分析方法有機的結(jié)合起來。 基本思想：部分最小二乘回歸法與普通多元回歸分析方法在思路上的主要區(qū)別就是它在回歸建模過程中采用了信息綜合與篩選技術(shù)。還有就是它不直接

14、考慮因變量集合與自變量集合的回歸模型，而是在變量系統(tǒng)中提取若干對系統(tǒng)具有最佳解釋能力的新綜合變量,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 PLS在統(tǒng)計應(yīng)用中的重要性 PLS是一種多因變量對多自變量的回歸建模方法； PLS可以較好地解決許多以往普通多元回歸解決不了的問題： - 更好地解決多重相關(guān)性在系統(tǒng)建模中的不良影響； - 不用受到樣本點數(shù)太少的限制。 PLS實現(xiàn)了多種數(shù)據(jù)分析方法的綜合應(yīng)用,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 選用減一線粘度的數(shù)據(jù)，有181組數(shù)據(jù)，每組數(shù)據(jù)5個輸入，1個粘度數(shù)據(jù)的輸出。采用多元回歸方法： 減一線粘度的回歸方程可寫作：

15、 y= -0.083214x1+ 0.013419x2+ 0.029689x3+ 38.005939x4+ 7.886674x5 其中：x1減壓塔塔頂溫度 ；x2減壓塔塔頂真空度；x3減一線溫度；x4減一線收率； x5常壓塔收率；y減一線粘度,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理,減一線粘度擬合,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 為了衡量回歸效果，計算下面幾個量： 離差平方和: 40.337322 平均標(biāo)準(zhǔn)偏差: 0.472079 復(fù)相關(guān)系數(shù): 0.833725,總偏差平方和T,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 選用減一

16、線粘度的數(shù)據(jù)，有181組數(shù)據(jù)，每組數(shù)據(jù)5個輸入，1個粘度數(shù)據(jù)的輸出。采用主元分析回歸方法： 先將輸入矩陣進(jìn)行標(biāo)準(zhǔn)化處理后，通過非線性迭代部分最小二乘算法（NIPALS）來進(jìn)行主元分析，在5組輸入中提取出4個主元。然后按照主元回歸的方法得到系統(tǒng)模型的參數(shù),第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理,主元分析法擬合,第三章 基于回歸分析的智能檢測,小結(jié) 多元線性回歸 多元逐步回歸: 將自變量逐個引入。 主元回歸: 部分最小二乘回歸,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 經(jīng)典的回歸分析方法是一種智能檢測建模的基本方法，應(yīng)用范圍相當(dāng)廣泛。以最小二乘原理為基礎(chǔ)的一元和多元線性回歸技術(shù)目前已經(jīng)非常成熟，常用于線性模型的擬合。 對于輔助變量比較少的情況，一般采用多元線性回歸中的逐步回歸技術(shù)以獲得較好的測量模型。對于輔助變量較多的情況，通常需要借助機理分析，首先獲得模型各變量組合的大致框架，然后再采用逐步回歸方法獲得測量模型,第