偏最小二乘回歸方法(PLS)

1、文案大全偏最小二乘歸方法1偏最小二乘回歸方法(PLS)背景介紹在經(jīng)濟(jì)管理、教育學(xué)、農(nóng)業(yè)、社會科學(xué)、工程技術(shù)、醫(yī)學(xué)和生物學(xué)中，多元線性回歸分析是一種普遍應(yīng)用的統(tǒng)計分析與預(yù)測技術(shù)。多元線性回歸中，一般采用最小二乘方法(OrdinaryLeastSquares:OLS)估計回歸系數(shù)，以使殘差平方和達(dá)到最小，但當(dāng)自變量之間存在多重相關(guān)性時，最小二乘估計方法往往失效。而這種變量之間多重相關(guān)性問題在多元線性回歸分析中危害非常嚴(yán)重，但又普遍存在。為消除這種影響，常采用主成分分析(principalComponentsAnalysis:PCA的方法，但采用主成分分析提取的主成分，雖然能較好地概括自變量系統(tǒng)中的

2、信息，卻帶進(jìn)了許多無用的噪聲，從而對因變量缺乏解釋能力。最小偏二乘回歸方法(PartialLeastSquaresRegression:PLS)就是應(yīng)這種實(shí)際需要而產(chǎn)生和發(fā)展的一種有廣泛適用性的多元統(tǒng)計分析方法。它于1983年由S.Wold和C.Albano等人首次提出并成功地應(yīng)用在化學(xué)領(lǐng)域。近十年來，偏最小二乘回歸方法在理論、方法和應(yīng)用方面都得到了迅速的發(fā)展，己經(jīng)廣泛地應(yīng)用在許多領(lǐng)域，如生物信息學(xué)、機(jī)器學(xué)習(xí)和文本分類等領(lǐng)域。偏最小二乘回歸方法主要的研究焦點(diǎn)是多因變量對多自變量的回歸建模，它與普通多元回歸方法在思路上的主要區(qū)別是它在回歸建模過程中采用了信息綜合與篩選技術(shù)。它不再是直接考慮因變量

3、集合與自變量集合的回歸建模，而是在變量系統(tǒng)中提取若干對系統(tǒng)具有最佳解釋能力的新綜合變量(又稱成分)，然后對它們進(jìn)行回歸建模。偏最小二乘回歸可以將建模類型的預(yù)測分析方法與非模型式的數(shù)據(jù)內(nèi)涵分析方法有機(jī)地結(jié)合起來，可以同時實(shí)現(xiàn)回歸建模、數(shù)據(jù)結(jié)構(gòu)簡化(主成分分析)以及兩組變量間的相關(guān)性分析(典型性關(guān)分析)，即集多元線性回歸分析、典型相關(guān)分析和主成分分析的基本功能為一體。下面將簡單地敘述偏最小二乘回歸的基本原理。偏最小二乘法的工作目標(biāo)2.1偏最小二乘法的工作目標(biāo)在一般的多元線性回歸模型中,如果有一組因變量Y=y1yq和一組自變量X=x1xj，當(dāng)數(shù)據(jù)總體能夠滿足高斯一馬爾科夫假設(shè)條件時，根據(jù)最小二乘法，

4、有=X(XtX)-1XtY將是Y的一個很好的估計量。從這個公式容易看出，由于(XtX)必須是可逆矩陣，所以當(dāng)X中的變量存在嚴(yán)重的多重相關(guān)性時，或者在X中的樣本點(diǎn)數(shù)與變量個數(shù)相比顯然過少時，這個最小二乘估計都會失效并將引發(fā)一系列應(yīng)用方面的困難?？紤]到這個問題，偏最小二乘回歸分析提出了采用成分提取的方法。在主成分分析中，對于單張數(shù)據(jù)表X，為了找到能最好地概括原數(shù)據(jù)的綜合變量，在X中提取了第一主成分F,使得F1中所包含的原數(shù)據(jù)變異信息可達(dá)到最大，即Var(F)fmax在典型相關(guān)分析中，為了從整體上研究兩個數(shù)據(jù)表之間的相關(guān)關(guān)系，分別在X和Y中提取了典型成分F和G1,它們滿足r(F1,G1)maxF1T

5、F1=1G1TG1=1在能夠達(dá)到相關(guān)度最大的綜合變量F1和G之間，如果存在明顯的相關(guān)關(guān)系，則可以認(rèn)為，在兩個數(shù)據(jù)表之間亦存在相關(guān)關(guān)系。提取成分的做法在數(shù)據(jù)分析的方法中十分常見，除主成分、典型成分以外，常見到的還有Fisher判別法中的判別成分。實(shí)際上，如果F是X數(shù)據(jù)表的某種成分，則意味著F是X中變量的某一線性組合F=Xa,而F作為一個綜合變量，它在X中所綜合提取的信息，將滿足我們特殊的分析需要。2.2偏最小二乘回歸分析的建模方法設(shè)有q個因變量y.“q和p個自變量X,.,Xp,為了研究因變量與自變量的統(tǒng)計關(guān)系，觀測n個樣本點(diǎn)，由此構(gòu)成了自變量與因變量的數(shù)據(jù)表X=【X,.,xp】n*p和Y二匕,y

6、q】n*q。偏最小二乘法回歸分別在X與Y中提取出J和u1(也就是說，J是x1xp的線性組合，u1是y】，,yq的線性組合)。在提取這兩個成分時，為了回歸分析的需要，有下列兩個要求：和U應(yīng)盡可能大地攜帶它們各自數(shù)據(jù)表中的變異信息和U的相關(guān)程度能達(dá)到最大這兩個要求表明，J和f應(yīng)盡可能好地代表數(shù)據(jù)表X和Y，同時自變量的成分t1對因變量的成分又有最強(qiáng)的解釋能力。在第一個成分J和f被提取后，偏最小二乘法回歸分別實(shí)施X對J的回歸以及Y對J的回歸。如果方程達(dá)到了滿意的精度，則算法終止；否則，將利用X被J解釋后的殘余信息以及Y被J解釋后的殘余信息進(jìn)行第二輪的成分提取。如此遞推，直到能達(dá)到一個較為滿意的精度為止

7、。若最終對X共提取了m個成分t1tm,偏最小二乘法回歸將通過實(shí)施YK對5,tm的回歸，然后再表達(dá)成YK關(guān)于原變量X,.,Xp的回歸方程，k=1,.,q。計算方法推導(dǎo)3.1普遍采用的計算推導(dǎo)過程為了數(shù)學(xué)推導(dǎo)方便起見，首先將數(shù)據(jù)做標(biāo)準(zhǔn)化處理。X經(jīng)標(biāo)準(zhǔn)化處理后的數(shù)據(jù)矩陣記為E0=(E01E0p)n*p,Y經(jīng)過標(biāo)準(zhǔn)化處理后的數(shù)據(jù)矩陣記為F0=(F01F0q)n*q。第一步，記t1是E。的第一個成分,t1=E0w1,W是E的第一個軸，它是一個單位向量，即|w=1；記是F的第一個成分，u1=F0c1；是F的第一個軸，它是一個單位向量，即l|c=1。如果要t1,u1能分別很好德代表X與Y中的數(shù)據(jù)變異信息，根

8、據(jù)主成分分析原理，應(yīng)該有VagLmaxVaMuJfmax另一方面，由于回歸建模的需要，又要求J對U有最大的解釋能力，由典型相關(guān)分析的思路，J與f的相關(guān)度應(yīng)達(dá)到最大值，即r(t,U)fmax因此綜合起來，在偏最小二乘回歸中，我們要求與協(xié)方差達(dá)到最大，即Cov(t1,u1)=/UULI(U1)UUU(U1)U(U1,U1)t即求解下列優(yōu)化問題maxW1Tw1=1(3-1)c1Tc1=1因此，將在|w1|=1和|c=1的約束條件下，去求(w1tE0tF0c1)的最大值。此種情況下我們就可以用拉格朗日算法求其最優(yōu)解，記s=w1tE0tF0c1-A1(w1tw1-1)-入2(c1Tc1-1)對s分別求關(guān)

9、于W、入、入2的偏導(dǎo)，并令之為零，有導(dǎo)=EoTFc1-2入1W1=0(3-2)Qsdc1Qs。九11=FoTEW1-2入2丁0(3-3)=-(w1tw1-1)=0(3-4)-=-（C1TC1-1）=023-5）由（3-2）（3-5）可以推出2入1=2入2二WitEotFoCi=記01=2A1=2A2=w1tEotFoc1,所以色是優(yōu)化問題的目標(biāo)函數(shù)值。把式（3-2）和式（3-3）寫成EoTFoC1=dW1（3-6）FotEW1=1C1（3-7）將式（3-7）代入式（3-6），有EoTFoFoTEow1=12w1（3-8）由式（3-8）可知，W是矩陣EotFoFotEo特征向量，對應(yīng)的特征值為0

10、12，d是目標(biāo)函數(shù)值，要求取得其最大值，所以W是對應(yīng)于矩陣eotFofotE0最大特征值e12的單位特征向量。求得軸W和C后，即可得到成分t1=Eow1u1=FoC1然后，分別求E。和F。對t1和f的回歸方程E二tPT+E,F二uQT+F*,F二tr+F其中，P1二ETt/t2Qoiii二F0Tu1/舊，向量二FTt/t2；E1,F1*,F為回011111011101110111歸方程的殘差矩陣。第2成分t2的提取，以E取代E,F取代F,用上面的方法求第2個軸W2和第2個成分t2，有ETFetfJI同樣，E1,F分別對t2做回歸，得到E二tPT+E,F二trT+F12221222同理可推得第h

11、成分th,h的個數(shù)可以用交叉有效性原則進(jìn)行h小于X的秩。如此計算下去，如果X的秩為A，則會有E0=t1P1T+-+tAPATF0=t1r1T+-+tArAT+FA由于t，,tA均可以表示成E01，,E0P的線性組合，因此，上式可以還原成YK二F0K關(guān)于XJ=E0J的回歸方程形式Y(jié)K=bk1Xi+bkpXp+FAKk=!，-，q3.2一種簡潔的計算推導(dǎo)過程3.1中介紹的推導(dǎo)思路是最為常見的，在3.2中將介紹一種更為簡潔的計算方法，即直接在E0，,Em-1矩陣中提取成分t1，,tm(mp)。要求th能盡可能多地攜帶X中的信息，同時，th對因變量系統(tǒng)F0有最大的解釋能力。這時無需在F0中提取成分uh

12、,并且在迭代算法中也無需使用其殘差矩陣，而始終直接用F0進(jìn)行計算。這可以使計算過程大為簡化，并且對算法結(jié)論的解釋也更為方便。下面討論成分Jtm(m=A,A=R(X)的一種新原則。在3.1中推導(dǎo)偏最小二乘法回歸算法時，第一步的思路是在因變量F0抽取一個成分uFoC，同時在自變量E中抽取一個成分t1=Eow,成分的抽取原則是maxo在這個原則下得知W,c1,u1,J的計算方法如下：(1)W是矩陣E0tF0F0tE0最大特征值的特征向量，成分t1=Eow1；(2)q是矩陣F0tE0E0tF0最大特征值的特征向量，成分u1=F0c1；在求得成分u1,t1以后，分別實(shí)施E在J上的回歸，并生成殘差矩陣E1

13、，以及F0在J上的回歸，得到殘差矩陣F。再以E1,F取代E0,F進(jìn)行第二輪成分的提取計算，注意到成分fum是不參加回歸計算的，因此是否可以考慮不提取因變量的成分呢？為此，用下述原則提取比變量中的成分t2是與3.1中介紹的方法，結(jié)果是完全等價的，即鄢護(hù)亦九鳥時由于f0K是標(biāo)準(zhǔn)化變量，所以Cov(Fk，E0w1)=VUUU(UUU1)r(F0K,E0w1)因此，該優(yōu)化原則是求成分t1=E0w1，使得J能攜帶盡可能多的E變異，同時，對因變量F0K(k=1，,q)的解釋能力會綜合達(dá)到最大值。由于在目標(biāo)函數(shù)上配上常量(n-1)2不影響其求解，即(n-1)2乙COV2(Fok，E0w1)=2TOC o 1

14、-5 h zk=1k=1 HYPERLINK l bookmark14 o Current Document XqXq=w1TE0TF0KF0KTE0w1=w1TE0T(F0KF0KT)E0w1=w1TE0TF0F0TE0w1k=1k=1為了求w1采用拉格朗日算法求解，記XqS=2-入1(W1TW1-1)=W1TE0tF0F0tE0W1-A1(W1TW1-1)k=1對s求關(guān)于w1和入的偏導(dǎo)，并令之為零，得導(dǎo)=2E0TFoFoTEoW1-2入1W1=0(3-9)1上=-(wwq-1)=0(3-10)ax111由式(3-9)可知E0tF0F0tE0W1=A1w1可見，最優(yōu)解W應(yīng)是矩陣E0tF0F0

15、tE0的一個特征向量，將它代入目標(biāo)函數(shù)，并且由式（3-10）可得2=wiTEotFoFtEowi二wiT（入1W1）=入1k=i因此入矩陣E0tF0F0tE0的最大特征根，W則是其相應(yīng)的特征向量。由此可見，在新的原則下，w1仍然是對應(yīng)于E0tF0F0tE0最大特征值的特征向量，而這個新的原則完全沒有提取到F。成分f提取。也就是說，t1=E0w1提取可以不依賴對f的提取，而這種新的原則又從新的角度說明了t的意義。從這個新的原則出發(fā)，對c1,u1的計算就可以省略。不過，在偏最小二乘法回歸的一些解釋技術(shù)中，由于U可以較好地概括F0中的信息，因此，它常常也是很有用。應(yīng)用舉例下面將通過兩個具體的案例分析

16、,以進(jìn)一步理解偏最小二乘回歸的工作過程和它的特點(diǎn)。4.1應(yīng)用舉例一應(yīng)用舉例一將采用Linnerud給出的關(guān)于體能訓(xùn)練的數(shù)據(jù)進(jìn)行典型相關(guān)分析。在這個數(shù)據(jù)系統(tǒng)中被觀測樣本點(diǎn)，是某健身俱樂部的20位中年男子。被觀測變量分為兩組，第一組是身體特征指標(biāo)X,包括：體重、腰圍、脈搏；第二組變量是訓(xùn)練結(jié)果指標(biāo)Y,包括：單杠、彎曲、跳高。原始數(shù)據(jù)表見表4-1。*g0如i博HW&FCQo譬o寸eid樂liwIO1ii：7-1O邁noH迪gK卜轉(zhuǎn)寸atFM序*IN9oilQIggcIgwIoo11!s曲8p-loii-i0ifiQ0aoa越MiCM0rlrtgCM&FRE寸009卜1IX科r4一習(xí)iiinkW辺*o

17、GN詁ogCMLft9丁s9怕s寸r%tdlHom50g7gunws夸g0gwISEftgEb-C*5EcoHrt00m爲(wèi)m寸武ifflmr$CCghz常閨E旳rtf*MKr科6I9sd鼻co嚇iccMiAMIzAg密r*寸si$990Ir-i卜科沖雷啊a機(jī)衛(wèi)r-shgLflaMHi1iGJPS寸LOt*XQTzHwii怕iSllM黒esn_c110.3066,n12.0503Var(th)2.0252_c11孑、疔g(3e、3)e樣寸浪osf樣寸浪田孑占込陽即昌檢張氷ffih、糊陽g3880%(叩u)90寸cna.i%(iu0。I(叩u)宀JMIUJmoll.V蟲入M皿、直mz-CHq掃友、

18、廿坦mm迥田實(shí)用標(biāo)準(zhǔn)文案大全20.43811.90710.046430.23551.15050.0983記第h個軸是wk,第h個成分tk為tk=Eh-1wh（h=1,2,3）其中tk亦可以表示成原自變量E。的線性組合，即tk=E0wh*則wh*=fr（1-WjPjT）wh。表4-3給出wh*與wh的取值。j=i表4-3wh*與wh的取值自變量W1W2w3w1*w2*W3*X1-0.589890.46879-0.65747-0.589890.36793-0.93459X2-0.77134-0.568010.28706-0.77134-0.699890.80231X30.23888-0.67647

19、-0.696660.23888-0.63562-0.22282在利用Eh-1對th進(jìn)行回歸時，有回歸系數(shù)向量pk，h=1,2,3,見表4-4。表4-4回歸系數(shù)pkP1P2P3-0.6659-0.0197-0.6574-0.6760-0.35460.28700.3589-1.1942-0.6966成分tk=Eh-1wh的取值見表牛5。表4-5tk取值表NOt1t2t31-0.6430.591-0.1312-0.7700.1670.1343-0.907-0.5210.04840.688-0.6800.3465-0.4871.133-0.1826-0.229-0.0720.0257-1.404-0.

20、077-0.57280.744-0.211-0.03291.715-0.655-1.557101.1630.1670.333110.3650.7010.201120.7430.6980.002131.187-0.7570.36614-4.390-0.7600.25515-0.8230.974-0.08316-0.749-0.521-0.66717-0.393-0.2030.564181.1990.7830.092191.0480.3730.319201.942-1.1290.568通過交叉驗(yàn)證的方法可得，之取一個成分t1時，擬合方程的預(yù)測性為最佳，不過為了后面作圖和解釋的方便起見，我們?nèi)蓚€成

21、分t,t2擬合預(yù)測模型。yk=r1kt1+r2kt2k=1,2,3由于成分th可以寫成自變量Xj的函數(shù)，即有th=wh1*x1+wh2*x2+wh3*x3由此可得兩個成分t,t2所建立的偏最小二乘回歸模型為yk=r1k(w11*X1+w12*X2+w13*X3)+r2k(w21*X1+w22*X2+w23*X3)=(r1kw11*+r2kw21*)X1+(r1kw12*+r2kw22*)X2+(r1kw13*+r2kw23*)X3回歸系數(shù)的計算結(jié)果見表4-6。表4-6回歸系數(shù)rkKrir2r310.34160.33630.477220.41600.29070.455430.14290.0651

22、-0.2125所以，有F01=-0.077E01-0.499E02-0.132E03F02=-0.138E01-0.524E02-0.085E03F01=-0.060E01-0.156E02-0.007E03將標(biāo)準(zhǔn)化變量Fk(k=123)和Eoj(j=1,2,3)分別還原成原始變量，yk(k=123)以及級=123),則回歸方程為：Y1*=47.02-0.0166X1-0.824X2-0.097X3Y2*=612.57-0.351X1-10.52X2-0.741X3Y3*=183.98-0.125X1-2.497X2-0.052X3為了快速直觀地觀察出各個自變量在解釋Yk時的作用，可以繪制回歸

23、系數(shù)圖，見圖4-1圖4-1回歸系數(shù)的直方圖從回歸系數(shù)圖中可以立刻觀察到，腰圍變量在解釋三個回歸方程時起到了極為重要的作用，然而，與單杠及彎曲相比，跳高成績的回歸方程顯然不夠理想，三個自變量對它的解釋能力均很低。因此有必要考慮對自變量做適當(dāng)?shù)恼{(diào)整。為了考察這三個回歸方程的模型精度，我們以(yik*,yik)為坐標(biāo)值，對所有的樣本點(diǎn)繪制預(yù)測圖。yik*是第k個變量，第i個樣本點(diǎn)(yik)的預(yù)測值。在預(yù)測直方圖上，如果所有樣本點(diǎn)都能在圖的對角線附近均勻分布，則方程的擬合值與原值差異很小，這個方程的擬合效果就是滿意的。體能訓(xùn)練的預(yù)測圖如4-2所示。3001550256-150150預(yù)測值4a）單方程預(yù)

24、圍圖，方程色欄圖*3翼高鞏皺回歸方輕預(yù)測圖*4.2應(yīng)用舉例二這是Cornell在1990年采用的一個化工方面的例子。此后，偏最小二乘的提出者S.Wold等人多次引用,成為單因變量偏最小二乘回歸的一個經(jīng)典案例。該例中,有個自變量x1x7,因變量記為y,如表4-7所示：表4-7自變量和應(yīng)變量對照表x1-直接蒸餾成分X2-重整汽池；X3-原油熱裂化油x4-原油催化裂化油；X5-聚合物X6_烷基化物X7-天然香精y_原辛烷值表4-8給出了12種混合物關(guān)于這8個變量的觀測數(shù)據(jù)。要求建立y對Xx7,的回歸方程，以確定7種構(gòu)成兀素Xx7對y的影響。表4-812種混合物關(guān)于8個變量的觀測數(shù)據(jù)表表牝工案例的原始

25、數(shù)據(jù)NoJix3X.Jts氐XTy10.1)00.230.000,000.000,740.0393.?20.100,000+000.120.740.0497*$30.000.000*00610丄12幺740,04瞌640.000.49000.000,120,370.0292,050.000.000.000.620.120.IS0.0886*6160.000.62600600血006370.019L270.170.270-100.330,000,000.0881.980.170,190.100,380.020.066088X190.170.210.100.380.000.060.0882.410

26、0.170.150.100.380.020.100.0883.2110.210.360.120.250.000.000.06fll.4120.000.000.000.550.000.370,08S8.1這8個變量的相關(guān)系數(shù)矩陣見表4-9。從相關(guān)系數(shù)矩陣中可以看出，在自變量之間存在嚴(yán)重的多重相關(guān)性，例如r(X,x3)=0.999,r(x4,x7)=0.92,r(x1,x6)=-0.80o實(shí)際上，這7個自變量之間有如下關(guān)系：x1+x2+_+x7=1表4-98個變量的相關(guān)系數(shù)矩陣r(*,)Xz心七算Ty-T_6100.9990.370.550.800&00,軌CL100.510-29619一復(fù)59r

27、0070.370”55U.BOth6-1仇B(yǎng)4斗0-2J0.640.沁_(dá)(k710.46a.27(5.4906-S0.SJBJv一0,74第一涉“-容心.小/J右rj”-CO,8373xl1O.0708j2O*8380 xA0,7067jt4+O,4938jt5+O.985lJCtO,741Ur7l/1.916=O.437O*iO.037Ojct(X4373x3O.3HRRjt.+O-2577jts+O-514tJtfiO.386SxT做鼻在口上的回歸，計勢:結(jié)果為尺*O.96104F=133回y=r1fi=O.482O“=O*2106x,O.0178*20+210&x3O.177Sx4十O*1242jt5+O”247O.186Ax70317x0317X0.2367