偏最小二乘法在回歸設(shè)計(jì)多因變量建模中的應(yīng)用及其優(yōu)化_韓漢鵬

1、數(shù)理統(tǒng)計(jì)與管理2007年 3月M ar 1, 2007App lication of Statisti cs and M anage m en t 第27卷 第2期V ol 127 No 12文章編號(hào):1002-1566(2007 02-0303-05偏最小二乘法在回歸設(shè)計(jì)多因變量建模中的應(yīng)用及其優(yōu)化韓漢鵬(華南熱帶農(nóng)業(yè)大學(xué)基礎(chǔ)學(xué)院, 海南儋州, 571737摘要:本文利用國際通用統(tǒng)計(jì)軟件SAS , 探討偏最小二乘法在二次回歸旋轉(zhuǎn)設(shè)計(jì)中多因變量回歸建模的技術(shù); 同時(shí), 應(yīng)用國際優(yōu)化大師L i ngo 軟件對(duì)多目標(biāo)進(jìn)行優(yōu)化, 給出了最優(yōu)的工藝參數(shù)值。關(guān)健詞:偏最小二乘法; 回歸正交設(shè)計(jì); 多個(gè)因

2、變量回歸模型; 參數(shù)優(yōu)化; S A S /STAT;L i ngo 中圖分類號(hào):O 212文獻(xiàn)標(biāo)識(shí)碼:AApplication of Partial L east -Squares Regression onM ulti O Dependent Variable M odel Analysis of Q uadratic Regression D esign and Its Opti m al SolutionHAN H an O peng(Co lleg e of F unda m enta l Sc i ences , South China U n i versity of T ropi

3、cA gricultura , l H ainan D anZhou , 571737Abstrac t :In t h is paper w e used SAS and pa rti a l l east-squares m ethod to establi sh m ulti-dependent va riab l e re -g ressi ve m ode l on quadratic regression des i gn expe ri m ent . W e a lso d iscussed how to use L i ngo t o opti m i ze mu lti -

4、ob -jecti ons , and the opti m a l para m eters w ere obta i ned .K ey word s :Partial Least-Squares , Q uadratic R egression D esi gn , M u lti-D ependent variab le R egression M ode, l Pa rame ters O pti m iza tion , SA S /STAT e , L i ngo0 引言回歸分析在實(shí)際應(yīng)用中十分廣泛, 但由于它對(duì)試驗(yàn)的安排沒有提出任何要求, 對(duì)所得回歸方程的精度研究較少, 因而處

5、于被動(dòng)處理已有數(shù)據(jù)的狀態(tài)。20世紀(jì)八十年代以來, 我國工農(nóng)業(yè)科技工作者把回歸設(shè)計(jì)引入工業(yè)試驗(yàn)和作物栽培試驗(yàn)的諸多領(lǐng)域, 取得了一大批可喜的成果和顯著的經(jīng)濟(jì)效益。筆者在多年從事研究生試驗(yàn)設(shè)計(jì)和多元統(tǒng)計(jì)分析課程的教學(xué)與科研中, 經(jīng)常面臨對(duì)多個(gè)因變量進(jìn)行建模和最優(yōu)化的問題, 由于響應(yīng)變量之間往往呈現(xiàn)出較高的相關(guān)性, 因此, 把各個(gè)響應(yīng)變量孤立起來進(jìn)行建模的方法是不合理的。袁志發(fā)教授在5多元統(tǒng)計(jì)分析6一書中, 給出了多個(gè)因變量的兩種建模方法1逐步回歸法和雙重篩選逐步回歸法,2并指出第一種方法的不足。雖然雙重篩選逐步回歸法較為理想, 但由于缺乏統(tǒng)計(jì)軟件的支撐, 不利于農(nóng)業(yè)科技工作者使用。筆者借助SAS

6、和Lingo 軟件, 以偏最小二乘回歸方法探討多個(gè)因變量回歸建模和綜合農(nóng)藝措施優(yōu)化的方法。:日為工具,304 數(shù)理統(tǒng)計(jì)與管理 第27卷 第2期 2007年3月1 偏最小二乘回歸方法建模在回歸設(shè)計(jì)中, 常采用多項(xiàng)式模型y =B 0+E B j z j +E i =1i j B ij z i z j +, +E 去近似, 雖然模型相對(duì)于解釋變量z i 為非線p表1 因子水平編碼表z jx 2114x 31000性, 但對(duì)參數(shù)來說卻是線性的。由于響應(yīng)變量之間通常存上星號(hào)臂(+r 在較高的相關(guān)性, 因此, 可用偏最小二乘回歸方法進(jìn)行建上水平(+1 模。以下為應(yīng)用二次回歸通用旋轉(zhuǎn)設(shè)計(jì)所做的芒果保鮮試零水

7、平(0500驗(yàn), 試驗(yàn)考察3個(gè)解釋變量和5個(gè)因變量。因筆者旨在探下水平(-1 討統(tǒng)計(jì)方法建模的可行性, 各個(gè)變量的含義沒有給出, 試驗(yàn)下星號(hào)臂(-r 的因子水平編碼見表1。表中$j =(x rj -x 0j /r, x j =x 0j +z j $j , r =1. 682, j =1, 2, 3.$j0128202150014229713試驗(yàn)號(hào)和試驗(yàn)結(jié)果見表2。先對(duì)每個(gè)響應(yīng)變量進(jìn)行逐步回歸分析, 然后再對(duì)它們進(jìn)行相關(guān)分析。輸出結(jié)果顯示每個(gè)響變量的二次回歸模型是顯著的, 而且因變量之間存在較高的相關(guān)性。顯然, 此時(shí)仍按單個(gè)響應(yīng)變量進(jìn)行逐個(gè)建模是不合理的, 必須考慮到因變量之間存在較高的相關(guān)關(guān)系

8、對(duì)建模的影響, 偏最小二乘回歸分析法正是處理這一類問題的得力工具, 回歸模型的建立可借助國際通用軟件SAS 的PLS 3過程來進(jìn)行(PLS在建模過程已考慮了各變量量綱的不同, 程序如下:datahan; li n put z1 z2 z3 t4 t5 t6 y1 y2 y3 y4 y5 ; tl=z1*z2; t2=z*l z3; t3=z2*z3; cards ; (數(shù)據(jù)集已省略proc p i s cv=one m ethod=si m ples out m ode l=han2; m ode l y1-y5=z1-z3 t1-t6; r un ; (其中t 4=z 1, t 5=z 2,

9、 t 6=z 3表2 試驗(yàn)號(hào)和試驗(yàn)結(jié)果 222韓漢鵬:偏最小二乘法在回歸設(shè)計(jì)多因變量建模中的應(yīng)用及其優(yōu)化0000000000000000000000218282, 828000000305由輸出結(jié)果得二次回歸方程分別為y 1=414748+010756z 1+010564z 2+010304z 3+010085z 1z 2+010126z 1z 3-010038z 2z 3-010029z 21-010119z 2-010371z 3y 2=114049+012278z 1+011700z 2+010917z 3+010255z 1z 2+010381z 1z 3-010115z 2z 3-0

10、10086z 1-010359z 2-011118z 3y 3=114685-012105z 1-011571z 2-010847z 3-010236z 1z 2-010352z 1z 3+010107z 2z 3+010079z 1+010332z 2+011033z 3y 4=116364-012675z 1-011996z 2-011076z 3-010299z 1z 2-010447z 1z 3+010135z 2z 3+010101z 1+010422z 2+011313z 3y 5=8. 5881+012953z 1+012204z 2+011188z 3+010331z 1z 2

11、+010493z 1z 3-010150z 2z 3-010112z 2z 1-010466z 2-011449z 32 構(gòu)造多目標(biāo)決策模型確定綜合農(nóng)藝措施利用已建立的二次回歸模型來進(jìn)行最優(yōu)控制或?qū)ふ易罴训墓に嚄l件, 即分析模型中各因素處于怎樣的水平組合狀態(tài)才能使響應(yīng)變量的預(yù)測(cè)值最優(yōu)。對(duì)于單個(gè)的響應(yīng)變量, 可以采用兩種方法42222222222222:一是根據(jù)極值理論確定最優(yōu)水平組合; 二是計(jì)算機(jī)模擬尋找最優(yōu)的工藝范圍。對(duì)于多個(gè)響應(yīng)變量的情形, 筆者認(rèn)為可以通過構(gòu)造多目標(biāo)綜合決策模型的方法來解決。211 確定各個(gè)響應(yīng)變量的權(quán)重構(gòu)造多目標(biāo)綜合決策模型, 首先要確定各個(gè)響應(yīng)變量的權(quán)重。當(dāng)各個(gè)響應(yīng)變

12、量的重要性基本等同時(shí), 可選用加權(quán)平均數(shù)法, 否則應(yīng)根據(jù)各個(gè)響應(yīng)變量的觀測(cè)值來確定它們的權(quán)重, 方5法多種多樣。筆者使用因子分析法, 設(shè)響應(yīng)變量y i (i =1, 2, 3, 4, 5 的方差為K i , 于是y i 的權(quán)重為w i =K i /E K j , 方差越大的響應(yīng)變量越重要, 自然應(yīng)具有較大的權(quán)數(shù)。因此, 以w i 作為j =1y i 的權(quán)數(shù)是客觀的、合理的, 從而克服了人為確定權(quán)數(shù)的缺陷。應(yīng)用SAS 的factor 過程, 經(jīng)計(jì)算得響應(yīng)變量y 1, y 2, y 3, y 4, y 5的方差分別為K , K , K , K 184274431, K 197220852. 1=0

13、1996012322=974994203=01869759184=05=001, w =01w 3=1, 4=0151208821.5306 數(shù)理統(tǒng)計(jì)與管理 第27卷 第2期 2007年3月212 構(gòu)造多目標(biāo)決策模型多目標(biāo)決策模型的構(gòu)造采用最小二乘法的思想, 先計(jì)算各個(gè)響應(yīng)變量的最優(yōu)預(yù)測(cè)值, 然后再令各個(gè)響應(yīng)變量與最優(yōu)預(yù)測(cè)值的加權(quán)殘差平方和為最小,5即目標(biāo)函數(shù)為m i n Q =i E w i e i , 約束條件為-11682z i 11682i =1, 2, 31=1由于在試驗(yàn)范圍內(nèi)要求響應(yīng)變量y 1, y 2, y 5取最大值, 而y 3, y 4取最小值, 故先對(duì)各個(gè)響應(yīng)變量進(jìn)行優(yōu)化,

14、 得結(jié)果如下Local opti m al so luti o n found at iterati o n : 54 Obiective va l u e :41692769V ariab le Y1Obiective va l u e :V ariab leVa l u e Reduced Cost 41692769 010000005821061875Va l u e Reduced Cost2Local opti m al so luti o n found at iterati o n :Y221061875 01000000Local opti m al so luti o n f

15、ound at iterati o n :48 Obiective va l u e :V ariab le Y3Obiective va l u e :V ariab leY4018613399Va l u e Reduced Cost 018613399 0100000048018653191Va l u e Reduced Cost 018653191 01000000545891439371Va l u e Reduced Cost 91439371 01000000222Local opti m al so luti o n found at iterati o n :Local o

16、pti m al so luti o n found at iterati o n :Local opti m al so luti o n found at iterati o n : Obiectlve va l u e :V ariab le Y5于是可得綜合多目標(biāo)決策模型m i n Q =0121393(y1-41692769 +0120942(y2-21061875 +0118682(y3-01861339+0118101(y 4-018653191 +01208821(y5-91439371 -1. 682z 111682i =1, 2, 3其中y i =(i =1, 2, 3,

17、4, 5 為各個(gè)響應(yīng)變量的二次回歸方程。應(yīng)用優(yōu)化大師L i n go 軟件進(jìn)行優(yōu)化, 結(jié)果如下Local opti m al so luti o n found at iterati o n : Obiective va l u e :V ariab le Y Y1 0100000022韓漢鵬:偏最小二乘法在回歸設(shè)計(jì)多因變量建模中的應(yīng)用及其優(yōu)化Y3 Y4 Y5 Z1 Z2 Z3307由輸出結(jié)果可知, 最優(yōu)解為Z1=11682000, Z2=11682000, Z3=016320904. 于是原變量的最優(yōu)解為x 1=150, x 2=1. 4, x 3=500+0163209297=687173 討論偏最小二乘回歸分析集典型相關(guān)分析、主成分分析和多元線性回歸分析方法為一體, 當(dāng)多個(gè)因變量之間存在較大的相關(guān)性時(shí), 偏最小二乘回歸分析法特別適用, 而且相對(duì)于單個(gè)因變量各自進(jìn)行回歸建模和逐步回歸建模更為有效。偏最小二乘回歸分析法建立的回歸模型中保留了不顯著項(xiàng), 由于這些項(xiàng)對(duì)回歸模型的影響不顯著, 因而可以把它們看成是隨機(jī)誤差項(xiàng), 并不構(gòu)成對(duì)模型的影響。此外, 借助于SAS 和Lingo 軟件, 使得有多個(gè)響應(yīng)變量的二次回歸模型的建立和優(yōu)化更加簡(jiǎn)單方便和實(shí)用。綜合指標(biāo)優(yōu)化的結(jié)果與各個(gè)因變量的權(quán)數(shù)和綜合多目標(biāo)決策模型建立的方法有關(guān), 當(dāng)響應(yīng)變量權(quán)數(shù)的構(gòu)成方法以及綜合多目標(biāo)決策模型建