偏最小二乘回歸方法(共35張PPT)

偏最小二乘回歸方法第一頁，共35頁。簡言之偏最小二乘回歸是一種集多元線性回歸分析、典型相關分析和主成分分析的基本功能為一體的新型多元統(tǒng)計分析方法。第二頁，共35頁。此方法的優(yōu)點：（1）能在自變量存在嚴重多重相關性的條件下進行回歸建模；（2）允許在樣本點個數(shù)少于自變量個數(shù)的條件下進行回歸建模；第三頁，共35頁。此方法的優(yōu)點：（3）偏最小二乘回歸在最終模型中將包含原有的所有自變量，易于辨識系統(tǒng)信息與噪聲，而且其自變量的回歸系數(shù)也將更容易解釋。第四頁，共35頁。此方法的優(yōu)點：（4）偏最小二乘回歸方法與其他的建模方法相比，具有計算簡單、預測精度高，易于定性解釋的優(yōu)點。第五頁，共35頁。多因變量偏最小二乘算法推導首先將數(shù)據(jù)做標準化處理。原自變量數(shù)據(jù)表經(jīng)標準化后的數(shù)據(jù)矩陣記為原因變量數(shù)據(jù)表經(jīng)標準化后的數(shù)據(jù)矩陣記第六頁，共35頁。多因變量偏最小二乘算法推導第一步：記是的第一個成分，，是的第一個軸，它是一個單位向量,即有。記是的第一個成分，是的第一個軸，它是一個單位向量，即。

第七頁，共35頁。多因變量偏最小二乘算法推導如果要使，能很好的代表與中的數(shù)據(jù)變異信息，根據(jù)主成分分析原理，應該有，。第八頁，共35頁。多因變量偏最小二乘算法推導另一方面，由于回歸建模的需要，又要求對有最大的解釋能力，由典型相關分析的思路，與的相關度應達到最大值，即第九頁，共35頁。多因變量偏最小二乘算法推導因此，綜合起來，在偏最小二乘回歸中，我們要求與的協(xié)方差達到最大，即第十頁，共35頁。多因變量偏最小二乘算法推導正規(guī)的數(shù)學表述應該是求解下列優(yōu)化問題，即第十一頁，共35頁。多因變量偏最小二乘算法推導采用拉格朗日算法，記對分別求關于，，和的偏導數(shù)，并令之為零，有第十二頁，共35頁。多因變量偏最小二乘算法推導（1）式（2）式（3）式（4）式第十三頁，共35頁。多因變量偏最小二乘算法推導由上述四個式子可以推出記，所以正是優(yōu)化問題的目標函數(shù)值。第十四頁，共35頁。多因變量偏最小二乘算法推導把（1）和（2）式寫成將（6）代入（5），有（5）式（6）式（7）式第十五頁，共35頁。多因變量偏最小二乘算法推導同理，可得易知，是矩陣的特征向量，對應的特征值為。是目標函數(shù)，它要求取最大值。所以，是對應于矩陣的最大特征值的單位特征向量。第十六頁，共35頁。多因變量偏最小二乘算法推導易知，是對應于矩陣的最大特征值的單位特征向量。

求得軸和后，即可得到成分，。然后，分別求和對與的三個回歸方程第十七頁，共35頁。多因變量偏最小二乘算法推導其中第十八頁，共35頁。多因變量偏最小二乘算法推導而，，分別是三個回歸方程的殘差矩陣。第十九頁，共35頁。多因變量偏最小二乘算法推導第二步：用殘差矩陣和取代和。然后，求第二個軸和以及第二個成分，，有第二十頁，共35頁。多因變量偏最小二乘算法推導是對應于矩陣的最大特征值的特征向量；是對應于矩陣的最大特征值的特征向量。第二十一頁，共35頁。多因變量偏最小二乘算法推導計算回歸系數(shù)因此，有回歸方程（8）式第二十二頁，共35頁。多因變量偏最小二乘算法推導如此計算下去，如果的秩是，則會有由于均可以表示成的線性組合。第二十三頁，共35頁。多因變量偏最小二乘算法推導因此，（8）式還可以還原成關于的回歸方程形式，即是殘差矩陣的第列。第二十四頁，共35頁。偏最小二乘回歸的簡化算法（1）求矩陣最大特征值所對應的單位特征向量，求成分，得其中第二十五頁，共35頁。第二十八頁，共35頁。將（6）代入（5），有典型相關分析中的精度分析是目標函數(shù)，它要求取最大值。把（1）和（2）式寫成典型相關分析中的精度分析然后，求第二個軸和所以，是對應于矩陣的最大特征值的單位特征向量。第二十八頁，共35頁。多因變量偏最小二乘算法推導偏最小二乘回歸的簡化算法（2）求矩陣最大特征值所對應的單位特征向量，求成分，得第二十九頁，共35頁。因此，綜合起來，在偏最小二乘回歸中，我們要求與的協(xié)方差達到最大，即典型相關分析中的精度分析求得軸和后，即可得到成分，。偏最小二乘回歸的簡化算法（2）求矩陣最大特征值所對應的單位特征向量，求成分，得其中……第二十六頁，共35頁。偏最小二乘回歸的簡化算法至第h步，求成分，是矩陣最大特征值所對應的特征向量。如果根據(jù)交叉有效性，確定共抽取h個主成分可以得到一個滿意的預測模型。第二十七頁，共35頁。偏最小二乘回歸的簡化算法則求在上的普通最小二乘回歸方程為

其中第二十八頁，共35頁。交叉有效性具體的步驟：記為原始數(shù)據(jù)，是在偏最小二乘回歸過程中提取的成分，是使用全部樣本點并取h個成分回歸建模后，第個樣本點的擬合值，是在建模時刪除樣本點，

第二十九頁，共35頁。交叉有效性具體的步驟：取h個成分回歸建模后，再用此模型計算的的擬合值，記第三十頁，共35頁。交叉有效性具體的步驟：當即時，引進新的成分會對模型的預測能力有明顯的改善作用。第三十一頁，共35頁。典型相關分析中的精度分析在偏最小二乘回歸計算過程中，所提取的自變量成分，盡可能多地代表中的變異信息。對某自變量的解釋能力為第三十二頁，共35頁。典型相關分