偏最小二乘回歸方法

偏最小二乘回歸方法講演人：1精選可編輯ppt偏最小二乘回歸方法講演人：1精選可編輯ppt簡言之偏最小二乘回歸是一種集多元線性回歸分析、典型相關(guān)分析和主成分分析的基本功能為一體的新型多元統(tǒng)計分析方法。2精選可編輯ppt簡言之偏最小二乘回歸是一種集多元線性回歸分析、此方法的優(yōu)點：（1）能在自變量存在嚴(yán)重多重相關(guān)性的條件下進(jìn)行回歸建模；（2）允許在樣本點個數(shù)少于自變量個數(shù)的條件下進(jìn)行回歸建模；3精選可編輯ppt此方法的優(yōu)點：（1）能在自變量存在嚴(yán)重多重相關(guān)性的條此方法的優(yōu)點：（3）偏最小二乘回歸在最終模型中將包含原有的所有自變量，易于辨識系統(tǒng)信息與噪聲，而且其自變量的回歸系數(shù)也將更容易解釋。4精選可編輯ppt此方法的優(yōu)點：（3）偏最小二乘回歸在最終模型中將包此方法的優(yōu)點：（4）偏最小二乘回歸方法與其他的建模方法相比，具有計算簡單、預(yù)測精度高，易于定性解釋的優(yōu)點。5精選可編輯ppt此方法的優(yōu)點：（4）偏最小二乘回歸方法與其他的建模多因變量偏最小二乘算法推導(dǎo)首先將數(shù)據(jù)做標(biāo)準(zhǔn)化處理。原自變量數(shù)據(jù)表經(jīng)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣記為原因變量數(shù)據(jù)表經(jīng)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣記6精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)首先將數(shù)據(jù)做標(biāo)準(zhǔn)化處理多因變量偏最小二乘算法推導(dǎo)第一步：記是的第一個成分，，是的第一個軸，它是一個單位向量,即有。記是的第一個成分，是的第一個軸，它是一個單位向量，即。

7精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)第一步：記是多因變量偏最小二乘算法推導(dǎo)如果要使，能很好的代表與中的數(shù)據(jù)變異信息，根據(jù)主成分分析原理，應(yīng)該有，。8精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)如果要使，多因變量偏最小二乘算法推導(dǎo)另一方面，由于回歸建模的需要，又要求對有最大的解釋能力，由典型相關(guān)分析的思路，與的相關(guān)度應(yīng)達(dá)到最大值，即9精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)另一方面，由于回歸建多因變量偏最小二乘算法推導(dǎo)因此，綜合起來，在偏最小二乘回歸中，我們要求與的協(xié)方差達(dá)到最大，即10精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)因此，綜合起來，在偏多因變量偏最小二乘算法推導(dǎo)正規(guī)的數(shù)學(xué)表述應(yīng)該是求解下列優(yōu)化問題，即11精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)正規(guī)的數(shù)學(xué)表述應(yīng)該是求多因變量偏最小二乘算法推導(dǎo)采用拉格朗日算法，記對分別求關(guān)于，，和的偏導(dǎo)數(shù)，并令之為零，有12精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)采用拉格朗日算法，記對分別求多因變量偏最小二乘算法推導(dǎo)（1）式（2）式（3）式（4）式13精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)（1）式（2）式（3）式（4）式1多因變量偏最小二乘算法推導(dǎo)由上述四個式子可以推出記，所以正是優(yōu)化問題的目標(biāo)函數(shù)值。14精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)由上述四個式子可以推出記多因變量偏最小二乘算法推導(dǎo)把（1）和（2）式寫成將（6）代入（5），有（5）式（6）式（7）式15精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)把（1）和（2）式寫成將（6）代入多因變量偏最小二乘算法推導(dǎo)同理，可得易知，是矩陣的特征向量，對應(yīng)的特征值為。是目標(biāo)函數(shù)，它要求取最大值。所以，是對應(yīng)于矩陣的最大特征值的單位特征向量。16精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)同理，可得易知，多因變量偏最小二乘算法推導(dǎo)易知，是對應(yīng)于矩陣的最大特征值的單位特征向量。

求得軸和后，即可得到成分，。然后，分別求和對與的三個回歸方程17精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)易知，是對應(yīng)于矩多因變量偏最小二乘算法推導(dǎo)其中18精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)其中18精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)而，，分別是三個回歸方程的殘差矩陣。19精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)而，，分別是三個回歸方多因變量偏最小二乘算法推導(dǎo)第二步：用殘差矩陣和取代和。然后，求第二個軸和以及第二個成分，，有20精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)第二步：用殘差矩陣多因變量偏最小二乘算法推導(dǎo)是對應(yīng)于矩陣的最大特征值的特征向量；是對應(yīng)于矩陣的最大特征值的特征向量。21精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)是對應(yīng)于矩陣多因變量偏最小二乘算法推導(dǎo)計算回歸系數(shù)因此，有回歸方程（8）式22精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)計算回歸系數(shù)因此，有回歸方程（8）多因變量偏最小二乘算法推導(dǎo)如此計算下去，如果的秩是，則會有由于均可以表示成的線性組合。23精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)如此計算下去，如果的多因變量偏最小二乘算法推導(dǎo)因此，（8）式還可以還原成關(guān)于的回歸方程形式，即是殘差矩陣的第列。24精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)因此，（8）式還可以偏最小二乘回歸的簡化算法（1）求矩陣最大特征值所對應(yīng)的單位特征向量，求成分，得其中25精選可編輯ppt偏最小二乘回歸的簡化算法（1）求矩陣偏最小二乘回歸的簡化算法（2）求矩陣最大特征值所對應(yīng)的單位特征向量，求成分，得其中……26精選可編輯ppt偏最小二乘回歸的簡化算法（2）求矩陣偏最小二乘回歸的簡化算法至第h步，求成分，是矩陣最大特征值所對應(yīng)的特征向量。如果根據(jù)交叉有效性，確定共抽取h個主成分可以得到一個滿意的預(yù)測模型。27精選可編輯ppt偏最小二乘回歸的簡化算法至第h步，求成分偏最小二乘回歸的簡化算法則求在上的普通最小二乘回歸方程為

其中28精選可編輯ppt偏最小二乘回歸的簡化算法則求在交叉有效性具體的步驟：記為原始數(shù)據(jù)，是在偏最小二乘回歸過程中提取的成分，是使用全部樣本點并取h個成分回歸建模后，第個樣本點的擬合值，是在建模時刪除樣本點，

29精選可編輯ppt交叉有效性具體的步驟：記為原始數(shù)據(jù)，交叉有效性具體的步驟：取h個成分回歸建模后，再用此模型計算的的擬合值，記30精選可編輯ppt交叉有效性具體的步驟：取h個成分回歸建模后，再用此模型計交叉有效性具體的步驟：當(dāng)即時，引進(jìn)新的成分會對模型的預(yù)測能力有明顯的改善作用。31精選可編輯ppt交叉有效性具體的步驟：當(dāng)?shù)湫拖嚓P(guān)分析中的精度分析在偏最小二乘回歸計算過程中，所提取的自變量成分，盡可能多地代表中的變異信息。對某自變量的解釋能力為32精選可編輯ppt典型相關(guān)分析中的精度分析在偏最小二乘回歸計算過典型相關(guān)分析中的精度分析對某因變量的解釋能力為對的解釋能力為33精選可編輯ppt典型相關(guān)分析中的精度分析對某因變量的解釋能力為

對的解