偏最小二乘回歸方法(共35張PPT)

偏最小二乘回歸方法第一頁，共35頁。簡言之偏最小二乘回歸是一種集多元線性回歸分析、典型相關(guān)分析和主成分分析的基本功能為一體的新型多元統(tǒng)計(jì)分析方法。第二頁，共35頁。此方法的優(yōu)點(diǎn)：（1）能在自變量存在嚴(yán)重多重相關(guān)性的條件下進(jìn)行回歸建模；（2）允許在樣本點(diǎn)個數(shù)少于自變量個數(shù)的條件下進(jìn)行回歸建模；第三頁，共35頁。此方法的優(yōu)點(diǎn)：（3）偏最小二乘回歸在最終模型中將包含原有的所有自變量，易于辨識系統(tǒng)信息與噪聲，而且其自變量的回歸系數(shù)也將更容易解釋。第四頁，共35頁。此方法的優(yōu)點(diǎn)：（4）偏最小二乘回歸方法與其他的建模方法相比，具有計(jì)算簡單、預(yù)測精度高，易于定性解釋的優(yōu)點(diǎn)。第五頁，共35頁。多因變量偏最小二乘算法推導(dǎo)首先將數(shù)據(jù)做標(biāo)準(zhǔn)化處理。原自變量數(shù)據(jù)表經(jīng)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣記為原因變量數(shù)據(jù)表經(jīng)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣記第六頁，共35頁。多因變量偏最小二乘算法推導(dǎo)第一步：記是的第一個成分，，是的第一個軸，它是一個單位向量,即有。記是的第一個成分，是的第一個軸，它是一個單位向量，即。

第七頁，共35頁。多因變量偏最小二乘算法推導(dǎo)如果要使，能很好的代表與中的數(shù)據(jù)變異信息，根據(jù)主成分分析原理，應(yīng)該有，。第八頁，共35頁。多因變量偏最小二乘算法推導(dǎo)另一方面，由于回歸建模的需要，又要求對有最大的解釋能力，由典型相關(guān)分析的思路，與的相關(guān)度應(yīng)達(dá)到最大值，即第九頁，共35頁。多因變量偏最小二乘算法推導(dǎo)因此，綜合起來，在偏最小二乘回歸中，我們要求與的協(xié)方差達(dá)到最大，即第十頁，共35頁。多因變量偏最小二乘算法推導(dǎo)正規(guī)的數(shù)學(xué)表述應(yīng)該是求解下列優(yōu)化問題，即第十一頁，共35頁。多因變量偏最小二乘算法推導(dǎo)采用拉格朗日算法，記對分別求關(guān)于，，和的偏導(dǎo)數(shù)，并令之為零，有第十二頁，共35頁。多因變量偏最小二乘算法推導(dǎo)（1）式（2）式（3）式（4）式第十三頁，共35頁。多因變量偏最小二乘算法推導(dǎo)由上述四個式子可以推出記，所以正是優(yōu)化問題的目標(biāo)函數(shù)值。第十四頁，共35頁。多因變量偏最小二乘算法推導(dǎo)把（1）和（2）式寫成將（6）代入（5），有（5）式（6）式（7）式第十五頁，共35頁。多因變量偏最小二乘算法推導(dǎo)同理，可得易知，是矩陣的特征向量，對應(yīng)的特征值為。是目標(biāo)函數(shù)，它要求取最大值。所以，是對應(yīng)于矩陣的最大特征值的單位特征向量。第十六頁，共35頁。多因變量偏最小二乘算法推導(dǎo)易知，是對應(yīng)于矩陣的最大特征值的單位特征向量。

求得軸和后，即可得到成分，。然后，分別求和對與的三個回歸方程第十七頁，共35頁。多因變量偏最小二乘算法推導(dǎo)其中第十八頁，共35頁。多因變量偏最小二乘算法推導(dǎo)而，，分別是三個回歸方程的殘差矩陣。第十九頁，共35頁。多因變量偏最小二乘算法推導(dǎo)第二步：用殘差矩陣和取代和。然后，求第二個軸和以及第二個成分，，有第二十頁，共35頁。多因變量偏最小二乘算法推導(dǎo)是對應(yīng)于矩陣的最大特征值的特征向量；是對應(yīng)于矩陣的最大特征值的特征向量。第二十一頁，共35頁。多因變量偏最小二乘算法推導(dǎo)計(jì)算回歸系數(shù)因此，有回歸方程（8）式第二十二頁，共35頁。多因變量偏最小二乘算法推導(dǎo)如此計(jì)算下去，如果的秩是，則會有由于均可以表示成的線性組合。第二十三頁，共35頁。多因變量偏最小二乘算法推導(dǎo)因此，（8）式還可以還原成關(guān)于的回歸方程形式，即是殘差矩陣的第列。第二十四頁，共35頁。偏最小二乘回歸的簡化算法（1）求矩陣最大特征值所對應(yīng)的單位特征向量，求成分，得其中第二十五頁，共35頁。第二十八頁，共35頁。將（6）代入（5），有典型相關(guān)分析中的精度分析是目標(biāo)函數(shù)，它要求取最大值。把（1）和（2）式寫成典型相關(guān)分析中的精度分析然后，求第二個軸和所以，是對應(yīng)于矩陣的最大特征值的單位特征向量。第二十八頁，共35頁。多因變量偏最小二乘算法推導(dǎo)偏最小二乘回歸的簡化算法（2）求矩陣最大特征值所對應(yīng)的單位特征向量，求成分，得第二十九頁，共35頁。因此，綜合起來，在偏最小二乘回歸中，我們要求與的協(xié)方差達(dá)到最大，即典型相關(guān)分析中的精度分析求得軸和后，即可得到成分，。偏最小二乘回歸的簡化算法（2）求矩陣最大特征值所對應(yīng)的單位特征向量，求成分，得其中……第二十六頁，共35頁。偏最小二乘回歸的簡化算法至第h步，求成分，是矩陣最大特征值所對應(yīng)的特征向量。如果根據(jù)交叉有效性，確定共抽取h個主成分可以得到一個滿意的預(yù)測模型。第二十七頁，共35頁。偏最小二乘回歸的簡化算法則求在上的普通最小二乘回歸方程為

其中第二十八頁，共35頁。交叉有效性具體的步驟：記為原始數(shù)據(jù)，是在偏最小二乘回歸過程中提取的成分，是使用全部樣本點(diǎn)并取h個成分回歸建模后，第個樣本點(diǎn)的擬合值，是在建模時(shí)刪除樣本點(diǎn)，

第二十九頁，共35頁。交叉有效性具體的步驟：取h個成分回歸建模后，再用此模型計(jì)算的的擬合值，記第三十頁，共35頁。交叉有效性具體的步驟：當(dāng)即時(shí)，引進(jìn)新的成分會對模型的預(yù)測能力有明顯的改善作用。第三十一頁，共35頁。典型相關(guān)分析中的精度分析在偏最小二乘回歸計(jì)算過程中，所提取的自變量成分，盡可能多地代表中的變異信息。對某自變量的解釋能力為第三十二頁，共35頁。典型相關(guān)分