偏最小二乘回歸數(shù)學(xué)模型及其算法研究1

1、LOGO偏最小二乘回歸數(shù)學(xué)模偏最小二乘回歸數(shù)學(xué)模型及其算法研究型及其算法研究華北電力大學(xué)華北電力大學(xué)數(shù)理學(xué)院數(shù)理學(xué)院陸洪濤陸洪濤LOGO目錄目錄選題背景及意義選題背景及意義1國(guó)內(nèi)外研究國(guó)內(nèi)外研究現(xiàn)狀現(xiàn)狀2課題研究?jī)?nèi)容課題研究?jī)?nèi)容3研究方案研究方案及可能的創(chuàng)新點(diǎn)及可能的創(chuàng)新點(diǎn)LOGO選題背景v 回歸分析回歸分析 確定兩種或兩種以上變數(shù)間相互依賴的定量關(guān)系的一種統(tǒng)確定兩種或兩種以上變數(shù)間相互依賴的定量關(guān)系的一種統(tǒng)計(jì)分析方法。計(jì)分析方法。 按照涉及的自變量的多少，可分為一元回歸分析和多元回歸分析；按照自變量和因變量之間的關(guān)系類型，可分為線性回歸分析和非線性回歸分析。LOGO選題背景多元回歸問(wèn)題多元回

2、歸問(wèn)題考查某一個(gè)變量(通常稱為響應(yīng)變量、因變量或指標(biāo))與其余多個(gè)變量(通常稱為自變量或因素)的相互依賴關(guān)系多元回歸分析多因變量的多元多因變量的多元回歸問(wèn)題回歸問(wèn)題同時(shí)考查p個(gè)因變量與m個(gè)自變量的相互依賴關(guān)系LOGO選題背景需假設(shè)自變量之間不存在嚴(yán)重的多重需假設(shè)自變量之間不存在嚴(yán)重的多重相關(guān)性相關(guān)性處理處理多因變量對(duì)多自變量的回歸建模多因變量對(duì)多自變量的回歸建模時(shí)乏力時(shí)乏力不不易于辨識(shí)系統(tǒng)信息與噪聲易于辨識(shí)系統(tǒng)信息與噪聲最小二乘回歸方法缺陷LOGO選題背景能在自變量有多重相關(guān)性的條件下進(jìn)行回歸建模；能在自變量有多重相關(guān)性的條件下進(jìn)行回歸建模；允許樣本點(diǎn)個(gè)數(shù)少于變量個(gè)數(shù)允許樣本點(diǎn)個(gè)數(shù)少于變量個(gè)數(shù)回

3、歸的最終模型中將包含原有的所有自變量回歸的最終模型中將包含原有的所有自變量易于辨識(shí)系統(tǒng)信息與噪聲（甚至一些非隨機(jī)性的噪聲）易于辨識(shí)系統(tǒng)信息與噪聲（甚至一些非隨機(jī)性的噪聲）每一個(gè)自變量的回歸系數(shù)將更容易解釋每一個(gè)自變量的回歸系數(shù)將更容易解釋偏最小二乘回歸方法特點(diǎn)LOGO國(guó)內(nèi)外研究現(xiàn)狀國(guó)內(nèi)外研究現(xiàn)狀60年代年代70年代年代80年代年代1996年年10月月歐洲經(jīng)濟(jì)計(jì)量學(xué)家提出了偏最小二乘回歸的思想。瑞典經(jīng)濟(jì)計(jì)量學(xué)家Herman Wold等人提出了非線性迭代偏最小二乘回歸算法。計(jì)量化學(xué)研究者首先將偏最小二乘回歸成功地運(yùn)用于計(jì)量化學(xué)，獲得巨大成功。在法國(guó)巴黎召開(kāi)了第一次有關(guān)偏最小二乘回歸方法的理論與應(yīng)用

4、的國(guó)際學(xué)術(shù)專題研討會(huì)議LOGO課題研究?jī)?nèi)容課題研究?jī)?nèi)容 設(shè)有p個(gè)自變量 和q因變量 。為了研究因變量和自變量的統(tǒng)計(jì)關(guān)系,我們觀測(cè)了n個(gè)樣本點(diǎn),由此構(gòu)成了自變量與因變量的樣本陣X= np和Y= nq。 偏最小二乘回歸分別在X與Y中提取出成分t1和u1(也就是說(shuō), t1是 的線性組合, u1是 的線性組合)。 qyy ,.,1qyy ,.,1pxx ,.,1pxx ,.,11,.,qyypxx ,.,LOGO課題研究?jī)?nèi)容課題研究?jī)?nèi)容 在提取這兩個(gè)成分時(shí)在提取這兩個(gè)成分時(shí),為了回歸分析為了回歸分析的需要的需要,有下列兩個(gè)要求有下列兩個(gè)要求:(1)t1和和u1應(yīng)盡可能大地?cái)y帶它們各自數(shù)應(yīng)盡可能大地?cái)y帶

5、它們各自數(shù) 據(jù)表中的變異信息據(jù)表中的變異信息;(2)t1和和u1的相關(guān)程度能夠達(dá)到最大。的相關(guān)程度能夠達(dá)到最大。LOGO課題研究?jī)?nèi)容課題研究?jī)?nèi)容 在第一個(gè)成分t1和u1被提取后,偏最小二乘回歸分別實(shí)施X對(duì)t1的回歸以及Y對(duì)t1的回歸。如果回歸方程已經(jīng)達(dá)到滿意的精度,則算法終止;否則,將利用 X被t1解釋后的殘余信息以及Y被t1解釋后的殘余信息進(jìn)行第二輪的成分提取。如此往復(fù),直到能達(dá)到一個(gè)較滿意的精度為止。 若最終對(duì) X共提取了m個(gè)成分t1、t2、tm,偏最小二乘回歸將通過(guò)實(shí)施yk(k=1、2、q)對(duì)t1、t2、tm的回歸,然后表達(dá)成yk關(guān)于原變量x1、x2、xp的回歸方程。LOGO研究方案熟悉偏最小二乘回歸基本理論知識(shí)熟悉偏最小二乘回歸基本理論知識(shí)熟悉偏最小二乘回歸的熟悉偏最小二乘回歸的建模步驟建模步驟將將最小二乘回歸方法應(yīng)用于水資源最小二乘回歸方法應(yīng)用于水資源承載能力研究承載能力研究中。中。LOGO可能的創(chuàng)新點(diǎn)將偏最小二乘方法應(yīng)用于承載力的評(píng)價(jià)中，優(yōu)于主成將偏最小二乘方法應(yīng)用于承載力的