偏最小二乘回歸方法

偏最小二乘回歸方法講演人：1精選可編輯ppt偏最小二乘回歸方法講演人：1精選可編輯ppt簡(jiǎn)言之偏最小二乘回歸是一種集多元線性回歸分析、典型相關(guān)分析和主成分分析的基本功能為一體的新型多元統(tǒng)計(jì)分析方法。2精選可編輯ppt簡(jiǎn)言之偏最小二乘回歸是一種集多元線性回歸分析、此方法的優(yōu)點(diǎn)：（1）能在自變量存在嚴(yán)重多重相關(guān)性的條件下進(jìn)行回歸建模；（2）允許在樣本點(diǎn)個(gè)數(shù)少于自變量個(gè)數(shù)的條件下進(jìn)行回歸建模；3精選可編輯ppt此方法的優(yōu)點(diǎn)：（1）能在自變量存在嚴(yán)重多重相關(guān)性的條此方法的優(yōu)點(diǎn)：（3）偏最小二乘回歸在最終模型中將包含原有的所有自變量，易于辨識(shí)系統(tǒng)信息與噪聲，而且其自變量的回歸系數(shù)也將更容易解釋。4精選可編輯ppt此方法的優(yōu)點(diǎn)：（3）偏最小二乘回歸在最終模型中將包此方法的優(yōu)點(diǎn)：（4）偏最小二乘回歸方法與其他的建模方法相比，具有計(jì)算簡(jiǎn)單、預(yù)測(cè)精度高，易于定性解釋的優(yōu)點(diǎn)。5精選可編輯ppt此方法的優(yōu)點(diǎn)：（4）偏最小二乘回歸方法與其他的建模多因變量偏最小二乘算法推導(dǎo)首先將數(shù)據(jù)做標(biāo)準(zhǔn)化處理。原自變量數(shù)據(jù)表經(jīng)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣記為原因變量數(shù)據(jù)表經(jīng)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣記6精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)首先將數(shù)據(jù)做標(biāo)準(zhǔn)化處理多因變量偏最小二乘算法推導(dǎo)第一步：記是的第一個(gè)成分，，是的第一個(gè)軸，它是一個(gè)單位向量,即有。記是的第一個(gè)成分，是的第一個(gè)軸，它是一個(gè)單位向量，即。

7精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)第一步：記是多因變量偏最小二乘算法推導(dǎo)如果要使，能很好的代表與中的數(shù)據(jù)變異信息，根據(jù)主成分分析原理，應(yīng)該有，。8精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)如果要使，多因變量偏最小二乘算法推導(dǎo)另一方面，由于回歸建模的需要，又要求對(duì)有最大的解釋能力，由典型相關(guān)分析的思路，與的相關(guān)度應(yīng)達(dá)到最大值，即9精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)另一方面，由于回歸建多因變量偏最小二乘算法推導(dǎo)因此，綜合起來，在偏最小二乘回歸中，我們要求與的協(xié)方差達(dá)到最大，即10精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)因此，綜合起來，在偏多因變量偏最小二乘算法推導(dǎo)正規(guī)的數(shù)學(xué)表述應(yīng)該是求解下列優(yōu)化問題，即11精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)正規(guī)的數(shù)學(xué)表述應(yīng)該是求多因變量偏最小二乘算法推導(dǎo)采用拉格朗日算法，記對(duì)分別求關(guān)于，，和的偏導(dǎo)數(shù)，并令之為零，有12精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)采用拉格朗日算法，記對(duì)分別求多因變量偏最小二乘算法推導(dǎo)（1）式（2）式（3）式（4）式13精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)（1）式（2）式（3）式（4）式1多因變量偏最小二乘算法推導(dǎo)由上述四個(gè)式子可以推出記，所以正是優(yōu)化問題的目標(biāo)函數(shù)值。14精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)由上述四個(gè)式子可以推出記多因變量偏最小二乘算法推導(dǎo)把（1）和（2）式寫成將（6）代入（5），有（5）式（6）式（7）式15精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)把（1）和（2）式寫成將（6）代入多因變量偏最小二乘算法推導(dǎo)同理，可得易知，是矩陣的特征向量，對(duì)應(yīng)的特征值為。是目標(biāo)函數(shù)，它要求取最大值。所以，是對(duì)應(yīng)于矩陣的最大特征值的單位特征向量。16精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)同理，可得易知，多因變量偏最小二乘算法推導(dǎo)易知，是對(duì)應(yīng)于矩陣的最大特征值的單位特征向量。

求得軸和后，即可得到成分，。然后，分別求和對(duì)與的三個(gè)回歸方程17精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)易知，是對(duì)應(yīng)于矩多因變量偏最小二乘算法推導(dǎo)其中18精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)其中18精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)而，，分別是三個(gè)回歸方程的殘差矩陣。19精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)而，，分別是三個(gè)回歸方多因變量偏最小二乘算法推導(dǎo)第二步：用殘差矩陣和取代和。然后，求第二個(gè)軸和以及第二個(gè)成分，，有20精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)第二步：用殘差矩陣多因變量偏最小二乘算法推導(dǎo)是對(duì)應(yīng)于矩陣的最大特征值的特征向量；是對(duì)應(yīng)于矩陣的最大特征值的特征向量。21精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)是對(duì)應(yīng)于矩陣多因變量偏最小二乘算法推導(dǎo)計(jì)算回歸系數(shù)因此，有回歸方程（8）式22精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)計(jì)算回歸系數(shù)因此，有回歸方程（8）多因變量偏最小二乘算法推導(dǎo)如此計(jì)算下去，如果的秩是，則會(huì)有由于均可以表示成的線性組合。23精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)如此計(jì)算下去，如果的多因變量偏最小二乘算法推導(dǎo)因此，（8）式還可以還原成關(guān)于的回歸方程形式，即是殘差矩陣的第列。24精選可編輯ppt多因變量偏最小二乘算法推導(dǎo)因此，（8）式還可以偏最小二乘回歸的簡(jiǎn)化算法（1）求矩陣最大特征值所對(duì)應(yīng)的單位特征向量，求成分，得其中25精選可編輯ppt偏最小二乘回歸的簡(jiǎn)化算法（1）求矩陣偏最小二乘回歸的簡(jiǎn)化算法（2）求矩陣最大特征值所對(duì)應(yīng)的單位特征向量，求成分，得其中……26精選可編輯ppt偏最小二乘回歸的簡(jiǎn)化算法（2）求矩陣偏最小二乘回歸的簡(jiǎn)化算法至第h步，求成分，是矩陣最大特征值所對(duì)應(yīng)的特征向量。如果根據(jù)交叉有效性，確定共抽取h個(gè)主成分可以得到一個(gè)滿意的預(yù)測(cè)模型。27精選可編輯ppt偏最小二乘回歸的簡(jiǎn)化算法至第h步，求成分偏最小二乘回歸的簡(jiǎn)化算法則求在上的普通最小二乘回歸方程為

其中28精選可編輯ppt偏最小二乘回歸的簡(jiǎn)化算法則求在交叉有效性具體的步驟：記為原始數(shù)據(jù)，是在偏最小二乘回歸過程中提取的成分，是使用全部樣本點(diǎn)并取h個(gè)成分回歸建模后，第個(gè)樣本點(diǎn)的擬合值，是在建模時(shí)刪除樣本點(diǎn)，

29精選可編輯ppt交叉有效性具體的步驟：記為原始數(shù)據(jù)，交叉有效性具體的步驟：取h個(gè)成分回歸建模后，再用此模型計(jì)算的的擬合值，記30精選可編輯ppt交叉有效性具體的步驟：取h個(gè)成分回歸建模后，再用此模型計(jì)交叉有效性具體的步驟：當(dāng)即時(shí)，引進(jìn)新的成分會(huì)對(duì)模型的預(yù)測(cè)能力有明顯的改善作用。31精選可編輯ppt交叉有效性具體的步驟：當(dāng)?shù)湫拖嚓P(guān)分析中的精度分析在偏最小二乘回歸計(jì)算過程中，所提取的自變量成分，盡可能多地代表中的變異信息。對(duì)某自變量的解釋能力為32精選可編輯ppt典型相關(guān)分析中的精度分析在偏最小二乘回歸計(jì)算過典型相關(guān)分析中的精度分析對(duì)某因變量的解釋能力為對(duì)的解釋能力為33精選可編輯ppt典型相關(guān)分析中的精度分析對(duì)某因變量的解釋能力為

對(duì)的解