多元自適應(yīng)樣條回歸模型

1、多元自適應(yīng)樣條回歸模型多元自適應(yīng)回歸樣條法是一種專門針對(duì)高維數(shù)據(jù)擬合的回歸方法口。 因其建模速度快，可解釋性強(qiáng)得到廣泛的應(yīng)用。該方法以樣條函數(shù)的 張量積作為基函數(shù)，自動(dòng)選擇插入基函數(shù)的節(jié)點(diǎn)，構(gòu)成基函數(shù)集合來 逼近樣本數(shù)據(jù)。MARS算法自提出后，很多學(xué)者做了研究和改進(jìn)。由 Friedman提出的Fast MARS算法能在略微降低模型精度的同時(shí)加快建 模速度。Sergey Bakin等提出的BMARS使用了并行算法，加快建模速 度，同時(shí)使模型變得光滑。但是當(dāng)樣本數(shù)據(jù)存在一定干擾時(shí)，MARS 可能在干擾點(diǎn)處插入基函數(shù)，建立的模型會(huì)貼近干擾點(diǎn)，后向剪枝過 程不能刪除這樣的基函數(shù)，導(dǎo)致模型在干擾點(diǎn)附近的

2、預(yù)測能力下降。 多元自適應(yīng)回歸樣條(MARS)是由Fried-man引入的一種回歸分析形 式，它是一種非參數(shù)回歸技術(shù)，可以看作模擬變量之間的非線性和相 互作用的線性模型的擴(kuò)展，MARS模型的一般插入點(diǎn)。為了能夠增加 模型的魯棒性，準(zhǔn)確反映系統(tǒng)特征，對(duì)樣本數(shù)據(jù)采用10折交叉驗(yàn)證 的建模方法，確保所有數(shù)據(jù)都有機(jī)會(huì)參與模型的訓(xùn)練和預(yù)測。MARS 是一種基于分段策略的非線性、非參數(shù)回歸方法。該方法無需假設(shè)輸 入變量與輸出變量之間潛在的特定函數(shù)關(guān)系，而是將數(shù)據(jù)的訓(xùn)練集劃 分為獨(dú)立的不同梯度的分段線段，每個(gè)分段線段稱為基函數(shù);各段的 端點(diǎn)稱為結(jié)點(diǎn)，一個(gè)結(jié)點(diǎn)標(biāo)記數(shù)據(jù)的一個(gè)區(qū)域的結(jié)束和下一個(gè)區(qū)域的 開始。由此

3、得到的基函數(shù)將給予模型更大的靈活性，允許產(chǎn)生彎曲、 閡值他偏離線性的情況。MARS通過逐步搜索以生成基函數(shù)，利用自 適應(yīng)回歸算法以選擇結(jié)點(diǎn)位置。MARS算法分為前向選擇、后向剪枝2個(gè)步驟:前向選擇過程是對(duì)輸入的樣本數(shù)據(jù)進(jìn)行劃分處理，用樣條函 數(shù)代替劃分的小區(qū)間擬和得到新的基函數(shù)，繼而得到一個(gè)擬合模型； 后向剪枝過程是對(duì)所產(chǎn)生的基函數(shù)進(jìn)行篩選處理，剔除對(duì)模型擬合貢 獻(xiàn)較小的基函數(shù)，以避免出現(xiàn)過擬合情況，進(jìn)而產(chǎn)生最優(yōu)模型。MARS 是一個(gè)數(shù)據(jù)建模的過程，為使模型符合式，應(yīng)先對(duì)數(shù)據(jù)的訓(xùn)練集進(jìn)行 前向選擇程序。通過采用常數(shù)項(xiàng)和基函數(shù)對(duì)生成模型，盡量減小訓(xùn)練 誤差;對(duì)含有N個(gè)基函數(shù)的模型，下一對(duì)加入模型

4、的基函數(shù)形式中月 利用最小二乘法求得。模型加入新的基函數(shù)時(shí)，也會(huì)考慮其與模型中 已有基函數(shù)之間的相互作用。若基函數(shù)數(shù)目達(dá)到模型預(yù)定的最大數(shù)量， 將產(chǎn)生一個(gè)過擬合的模型。分子是MARS模型數(shù)據(jù)訓(xùn)練集的均方誤差，分母為懲罰函數(shù)。模型復(fù)雜度越高，方差就會(huì)越大。二不僅決 定模型的基函數(shù)數(shù)目，而且影響結(jié)點(diǎn)數(shù)。一般默認(rèn)d值取3 3。 后向過程中，在已預(yù)設(shè)最大基函數(shù)個(gè)數(shù)的前提下，該算法通過不斷地 剔除基函數(shù)使式(5)取得最小值，直至找到一個(gè)合適的模型。由于基函 數(shù)的選擇和可變結(jié)點(diǎn)的位置是依據(jù)數(shù)據(jù)和具體研究問題決定的，因此 MARS是一種自適應(yīng)的模型。得出最優(yōu)MARS模型后，通過將涉及同 一個(gè)變量的所有基函數(shù)組合在一起，并采用方差分析比較變量的統(tǒng)計(jì) 學(xué)顯著性，以此來評(píng)價(jià)輸入變量和基函數(shù)的貢獻(xiàn)。另外，由于最大基函數(shù)個(gè)數(shù)是事先預(yù)設(shè)的，若預(yù)設(shè)值不合理，可 能導(dǎo)致最終的模型并不是最優(yōu)模型。因此可以試驗(yàn)多組預(yù)設(shè)值