偏最小二乘回歸方法

1、偏最小二乘回歸方法,講演人：,簡言之,偏最小二乘回歸是一種集多元線性回歸分析、典型相關(guān)分析和主成分分析的基本功能為一體的新型多元統(tǒng)計(jì)分析方法。,此方法的優(yōu)點(diǎn)：,（1）能在自變量存在嚴(yán)重多重相關(guān)性的條件下進(jìn)行回歸建模；,（2）允許在樣本點(diǎn)個(gè)數(shù)少于自變量個(gè)數(shù)的條件下進(jìn)行回歸建模；,此方法的優(yōu)點(diǎn)：,（3）偏最小二乘回歸在最終模型中將包含原有的所有自變量，易于辨識系統(tǒng)信息與噪聲，而且其自變量的回歸系數(shù)也將更容易解釋。,此方法的優(yōu)點(diǎn)：,（4）偏最小二乘回歸方法與其他的建模方法相比，具有計(jì)算簡單、預(yù)測精度高，易于定性解釋的優(yōu)點(diǎn)。,多因變量偏最小二乘算法推導(dǎo),首先將數(shù)據(jù)做標(biāo)準(zhǔn)化處理。,原自變量數(shù)據(jù)表,經(jīng)標(biāo)準(zhǔn)

2、化后的數(shù)據(jù)矩陣記為,原因變量數(shù)據(jù)表,經(jīng)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣記,多因變量偏最小二乘算法推導(dǎo),第一步：記 是 的第一個(gè)成分， ， 是 的第一個(gè)軸，它是一個(gè)單位向量,即有 。 記 是 的第一個(gè)成分 ， 是 的第一個(gè)軸，它是一個(gè)單位 向量，即 。,多因變量偏最小二乘算法推導(dǎo),如果要使 ， 能很好的代表 與 中的數(shù)據(jù)變異信息，根據(jù)主成分分析原理，應(yīng)該有 ， 。,多因變量偏最小二乘算法推導(dǎo),另一方面，由于回歸建模的需要，又要求 對 有最大的解釋能力，由典型相關(guān)分析的思路，與 的相關(guān)度應(yīng)達(dá)到最大值，即,多因變量偏最小二乘算法推導(dǎo),因此，綜合起來，在偏最小二乘回歸中，我們要求 與 的協(xié)方差達(dá)到最大，即,多因變量

3、偏最小二乘算法推導(dǎo),正規(guī)的數(shù)學(xué)表述應(yīng)該是求解下列優(yōu)化問題，即,多因變量偏最小二乘算法推導(dǎo),采用拉格朗日算法，記,對 分別求關(guān)于 ， ，和 的偏導(dǎo)數(shù)，并令之為零，有,多因變量偏最小二乘算法推導(dǎo),（1）式,（2）式,（3）式,（4）式,多因變量偏最小二乘算法推導(dǎo),由上述四個(gè)式子可以推出,記 ，所以 正是優(yōu)化問題的目標(biāo)函數(shù)值。,多因變量偏最小二乘算法推導(dǎo),把（1）和（2）式寫成,將（6）代入（5），有,（5）式,（6）式,（7）式,多因變量偏最小二乘算法推導(dǎo),同理，可得,易知， 是矩陣 的特征向量，對應(yīng)的特征值為 。 是目標(biāo)函數(shù)，它要求取最大值。,所以， 是對應(yīng)于矩陣 的最大特征值的單位特征向量。,

4、多因變量偏最小二乘算法推導(dǎo),易知， 是對應(yīng)于矩陣 的最大特征值 的單位特征向量。,求得軸 和 后，即可得到成分 ， 。然后，分別求 和 對 與 的三個(gè)回歸方程,多因變量偏最小二乘算法推導(dǎo),其中,多因變量偏最小二乘算法推導(dǎo),而 ， ， 分別是三個(gè)回歸方程的殘差矩陣。,多因變量偏最小二乘算法推導(dǎo),第二步：用殘差矩陣 和 取代 和 。然后，求第二個(gè)軸 和 以及第二個(gè)成分 ， ，有,多因變量偏最小二乘算法推導(dǎo),是對應(yīng)于矩陣 的最大特征值 的特征向量； 是對應(yīng)于矩陣 的最大特征值 的特征向量。,多因變量偏最小二乘算法推導(dǎo),計(jì)算回歸系數(shù),因此，有回歸方程,（8）式,多因變量偏最小二乘算法推導(dǎo),如此計(jì)算下去

5、，如果的 秩是 ，則會有,由于 均可以表示成 的線性組合。,多因變量偏最小二乘算法推導(dǎo),因此，（8）式還可以還原成 關(guān)于 的回歸方程形式，即,是殘差矩陣 的第 列。,偏最小二乘回歸的簡化算法,（1）求矩陣 最大特征值所對應(yīng)的單位特征向量 ，求成分 ，得,其中,偏最小二乘回歸的簡化算法,（2）求矩陣 最大特征值所對應(yīng)的單位特征向量 ，求成分 ，得,其中,偏最小二乘回歸的簡化算法,至第h步，求成分 ， 是 矩陣最大特征值所對應(yīng)的特征向量。,如果根據(jù)交叉有效性，確定共抽取h個(gè)主成分 可以得到一個(gè)滿意的預(yù)測模型。,偏最小二乘回歸的簡化算法,則求 在 上的普通最小二乘回歸方程為,其中,交叉有效性具體的步驟：,記 為原始數(shù)據(jù)， 是在偏最小二乘回歸過程中提取的成分， 是使用全部樣本點(diǎn)并取h 個(gè)成分回歸建模后，第 個(gè)樣本點(diǎn)的擬合值， 是在建模時(shí)刪除樣本點(diǎn) ，,交叉有效性具體的步驟：,取 h 個(gè)成分回歸建模后，再用此模,型計(jì)算的 的擬合值，記,交叉有效性具體的步驟：,當(dāng) 即 時(shí)，引進(jìn)新的成分 會對模型的預(yù)測能力有明顯的改善作用。,典型相關(guān)分析中的精度分析,在偏最小二乘回歸計(jì)算過程中，所提取的自變量成分 ，盡可能多地代表 中的變異信息。,對某自變量 的解釋能力為,典型相關(guān)分