偏最小二乘回歸方法(共35張PPT)

偏最小二乘回歸方法第一頁(yè)，共35頁(yè)。簡(jiǎn)言之偏最小二乘回歸是一種集多元線(xiàn)性回歸分析、典型相關(guān)分析和主成分分析的基本功能為一體的新型多元統(tǒng)計(jì)分析方法。第二頁(yè)，共35頁(yè)。此方法的優(yōu)點(diǎn)：（1）能在自變量存在嚴(yán)重多重相關(guān)性的條件下進(jìn)行回歸建模；（2）允許在樣本點(diǎn)個(gè)數(shù)少于自變量個(gè)數(shù)的條件下進(jìn)行回歸建模；第三頁(yè)，共35頁(yè)。此方法的優(yōu)點(diǎn)：（3）偏最小二乘回歸在最終模型中將包含原有的所有自變量，易于辨識(shí)系統(tǒng)信息與噪聲，而且其自變量的回歸系數(shù)也將更容易解釋。第四頁(yè)，共35頁(yè)。此方法的優(yōu)點(diǎn)：（4）偏最小二乘回歸方法與其他的建模方法相比，具有計(jì)算簡(jiǎn)單、預(yù)測(cè)精度高，易于定性解釋的優(yōu)點(diǎn)。第五頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)首先將數(shù)據(jù)做標(biāo)準(zhǔn)化處理。原自變量數(shù)據(jù)表經(jīng)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣記為原因變量數(shù)據(jù)表經(jīng)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣記第六頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)第一步：記是的第一個(gè)成分，，是的第一個(gè)軸，它是一個(gè)單位向量,即有。記是的第一個(gè)成分，是的第一個(gè)軸，它是一個(gè)單位向量，即。

第七頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)如果要使，能很好的代表與中的數(shù)據(jù)變異信息，根據(jù)主成分分析原理，應(yīng)該有，。第八頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)另一方面，由于回歸建模的需要，又要求對(duì)有最大的解釋能力，由典型相關(guān)分析的思路，與的相關(guān)度應(yīng)達(dá)到最大值，即第九頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)因此，綜合起來(lái)，在偏最小二乘回歸中，我們要求與的協(xié)方差達(dá)到最大，即第十頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)正規(guī)的數(shù)學(xué)表述應(yīng)該是求解下列優(yōu)化問(wèn)題，即第十一頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)采用拉格朗日算法，記對(duì)分別求關(guān)于，，和的偏導(dǎo)數(shù)，并令之為零，有第十二頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)（1）式（2）式（3）式（4）式第十三頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)由上述四個(gè)式子可以推出記，所以正是優(yōu)化問(wèn)題的目標(biāo)函數(shù)值。第十四頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)把（1）和（2）式寫(xiě)成將（6）代入（5），有（5）式（6）式（7）式第十五頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)同理，可得易知，是矩陣的特征向量，對(duì)應(yīng)的特征值為。是目標(biāo)函數(shù)，它要求取最大值。所以，是對(duì)應(yīng)于矩陣的最大特征值的單位特征向量。第十六頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)易知，是對(duì)應(yīng)于矩陣的最大特征值的單位特征向量。

求得軸和后，即可得到成分，。然后，分別求和對(duì)與的三個(gè)回歸方程第十七頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)其中第十八頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)而，，分別是三個(gè)回歸方程的殘差矩陣。第十九頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)第二步：用殘差矩陣和取代和。然后，求第二個(gè)軸和以及第二個(gè)成分，，有第二十頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)是對(duì)應(yīng)于矩陣的最大特征值的特征向量；是對(duì)應(yīng)于矩陣的最大特征值的特征向量。第二十一頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)計(jì)算回歸系數(shù)因此，有回歸方程（8）式第二十二頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)如此計(jì)算下去，如果的秩是，則會(huì)有由于均可以表示成的線(xiàn)性組合。第二十三頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)因此，（8）式還可以還原成關(guān)于的回歸方程形式，即是殘差矩陣的第列。第二十四頁(yè)，共35頁(yè)。偏最小二乘回歸的簡(jiǎn)化算法（1）求矩陣最大特征值所對(duì)應(yīng)的單位特征向量，求成分，得其中第二十五頁(yè)，共35頁(yè)。第二十八頁(yè)，共35頁(yè)。將（6）代入（5），有典型相關(guān)分析中的精度分析是目標(biāo)函數(shù)，它要求取最大值。把（1）和（2）式寫(xiě)成典型相關(guān)分析中的精度分析然后，求第二個(gè)軸和所以，是對(duì)應(yīng)于矩陣的最大特征值的單位特征向量。第二十八頁(yè)，共35頁(yè)。多因變量偏最小二乘算法推導(dǎo)偏最小二乘回歸的簡(jiǎn)化算法（2）求矩陣最大特征值所對(duì)應(yīng)的單位特征向量，求成分，得第二十九頁(yè)，共35頁(yè)。因此，綜合起來(lái)，在偏最小二乘回歸中，我們要求與的協(xié)方差達(dá)到最大，即典型相關(guān)分析中的精度分析求得軸和后，即可得到成分，。偏最小二乘回歸的簡(jiǎn)化算法（2）求矩陣最大特征值所對(duì)應(yīng)的單位特征向量，求成分，得其中……第二十六頁(yè)，共35頁(yè)。偏最小二乘回歸的簡(jiǎn)化算法至第h步，求成分，是矩陣最大特征值所對(duì)應(yīng)的特征向量。如果根據(jù)交叉有效性，確定共抽取h個(gè)主成分可以得到一個(gè)滿(mǎn)意的預(yù)測(cè)模型。第二十七頁(yè)，共35頁(yè)。偏最小二乘回歸的簡(jiǎn)化算法則求在上的普通最小二乘回歸方程為

其中第二十八頁(yè)，共35頁(yè)。交叉有效性具體的步驟：記為原始數(shù)據(jù)，是在偏最小二乘回歸過(guò)程中提取的成分，是使用全部樣本點(diǎn)并取h個(gè)成分回歸建模后，第個(gè)樣本點(diǎn)的擬合值，是在建模時(shí)刪除樣本點(diǎn)，

第二十九頁(yè)，共35頁(yè)。交叉有效性具體的步驟：取h個(gè)成分回歸建模后，再用此模型計(jì)算的的擬合值，記第三十頁(yè)，共35頁(yè)。交叉有效性具體的步驟：當(dāng)即時(shí)，引進(jìn)新的成分會(huì)對(duì)模型的預(yù)測(cè)能力有明顯的改善作用。第三十一頁(yè)，共35頁(yè)。典型相關(guān)分析中的精度分析在偏最小二乘回歸計(jì)算過(guò)程中，所提取的自變量成分，盡可能多地代表中的變異信息。對(duì)某自變量的解釋能力為第三十二頁(yè)，共35頁(yè)。典型相關(guān)分