dmc之回歸分析與lasso材料報告2 lars

LARS——Lasso的路徑算法2023/11/8目錄1相關(guān)知識補(bǔ)充2最小角回歸3對于最小角回歸的改進(jìn)--Lasso2023/11/8相關(guān)知識補(bǔ)充PartOne2023/11/8關(guān)于模型選擇的標(biāo)準(zhǔn)：一，模型的準(zhǔn)確性（predictionaccuracy）二，模型的可解釋性（parsimony）例子：1，變量選擇模型，比如向前法、向后法、逐步回歸，可解釋性較好，但是預(yù)測的準(zhǔn)確性較差。2，嶺回歸的準(zhǔn)確性較好，但是可解釋性較差。3，Lasso很好的平衡了模型的準(zhǔn)確性和模型的可解釋性，但是運(yùn)算量比較大。2023/11/8對于嶺回歸的再理解

?Lasso7常規(guī)思路：設(shè)定一系列的利用二次規(guī)劃問題的數(shù)值分析算法，在。再通過CV、GCV等方法選擇最佳的。缺點(diǎn)：計算量大

最小角回歸算法（LeastAngleRegression,LARS）高效地計算所有的

AlgorithmforLasso2023/11/8AlgorithmforLasso求Lasso解的過程中涉及到兩個關(guān)鍵步驟：1，選取閾值t(tuningparameter)所用的方法：（1）交叉驗(yàn)證（2）廣義交叉驗(yàn)證（3）Stein'sunbiasedestimate2，優(yōu)化問題的求解（實(shí)際上是有2^p個不等式約束）2023/11/8AlgorithmforLasso實(shí)際上，這個過程就相當(dāng)于尋找那些有效約束的過程。ForwardStagewise分步向前回歸初始化：…=0，殘差r=y計算cj=cor(xj,r)，找出最大的xj對xj更新，為步長、計算殘差重復(fù)2~4步，直至得到全模型的擬合值。每個變量以很小的步長逐漸進(jìn)入模型

ForwardStagewisep=2時的示意圖12Motivation從相似的兩幅圖開始……2023/11/8罰函數(shù)的選擇：有人提出將q也作為這個優(yōu)化問題的參數(shù)，但是并沒有展示相應(yīng)的結(jié)果。2023/11/8最小角回歸PartTwo2023/11/8最小角回歸是什么？1，最小角回歸是一種新的模型選擇的算法。,2，最小角回歸有以下三個性質(zhì)：（1）對最小角回歸算法加入一個限制條件后可以得到所有的Lasso解，并且計算的復(fù)雜度顯著降低。（2）對最小角回歸加入另一個限制條件后，可以得到逐步回顧的解。（3）給出了選擇最小角回歸解的準(zhǔn)則。最小角回歸解釋了Lasso和ForwardStagewise的相似性，并且計算速度明顯提高。最小角回歸的示意圖p=2時的情形LARSAlgorithm初始化：…=0，殘差r=y計算cj=cor(xj,r)，找出最大的xj在sign(cj)的方向上增加bj,直至有其它的xk使cor(xk,r)=cor(xj,r)在與xk,xj

等角的方向上更新bk,bj

，直至有其他的xm，它與當(dāng)前殘差的cor與xk,xj

的相等繼續(xù)，直至所有變量被納入。逐步最小二乘的“非貪心”版本

MathematicalformulationofLARSComputingLARS稱當(dāng)前模型中系數(shù)不為0的自變量集合為活動集A，每一步納入一個新的變量（計算步數(shù)為變量的個數(shù)）更新方向：與A中各變量等夾角的單位向量。用線性代數(shù)求解每步的更新步長：是更新方向上可能的最大步長。求解需要遍歷一遍非活動集中的自變量整個過程的計算量與OLS相當(dāng)2023/11/8最小角回歸的改進(jìn)-LassoPartThreeLassoModificationLasso的限制條件：（

）修正LARS：