一種多核學習的支持向量機的ns-markr算法

一種多核學習的支持向量機的ns-markr算法

在機械學習領域，核心方法是解決非線性認知模型問題的有效方法。通常,一種簡單且有效的多核學習是考慮多個核函數(shù)的線性組合,即其中,M為核函數(shù)的個數(shù),θ支持向量回歸(supportvectorregression,SVR)是一種基于統(tǒng)計學習理論的機器學習方法與其他基于核的學習方法一樣,SVR也涉及到核函數(shù)選擇及參數(shù)設置的問題,不合適的核函數(shù)會導致較大的擬合誤差。隨著多核學習理論研究的深入,有學者提出了多核回歸(multiplekernelregression,MKR)學習方法,用于解決核函數(shù)的選擇及參數(shù)的設置問題。文獻[6]提出了多核SVR模型,并將簡單多核學習方法SimpleMKL成功應用到該模型的優(yōu)化中。文獻[18]針對該SVR模型,分別用SMO求解標準SVR和投影梯度下降法求解核組合系數(shù),文獻[19]則采用了特征值最大化和梯度下降法優(yōu)化核組合系數(shù)。這些算法都采用了兩步優(yōu)化方法,即先求解標準的SVR得到拉格朗日乘子,然后采用不同的方法優(yōu)化核組合系數(shù)。盡管這些文獻中的學習方法有所不同,但是對核函數(shù)組合系數(shù)施加的都是L作者考慮將多核學習方法應用到回歸問題,提出了非稀疏多核SVR學習算法NS-MKR,對組合系數(shù)施加任意L1支持向量回歸其中:其中,標量b為偏差項。式(1)的對偶形式為:其中,α其中,α2基本核的非稀疏組合考慮多個核函數(shù)的線性組合,設φ其中,M為核函數(shù)的個數(shù),θ為了得到基本核的非稀疏組合,這里對組合系數(shù)θ施加了任意p范數(shù)的約束。優(yōu)化式(6)得到回歸函數(shù)為:通常通過如下對偶方法求解式(6):通過對偶求解得到的回歸方程為:其中,α3優(yōu)化svr方法為了優(yōu)化目標函數(shù)(6),采用兩步優(yōu)化方法,首先固定參數(shù)θ,優(yōu)化f固定θ,此時式(6)是一個標準SVR問題,因此可以用任意已有的SVR方法進行優(yōu)化,如SMO、Libsvm等,利用對偶形式(3)求解,此時固定f這等價于:其中,其中,α其中,K下面是非稀疏多核支持向量歸學習算法NS-MKR的基本步驟:1)初始化:M=基本核個數(shù),循環(huán)次數(shù)t=0,α2)Repeat(2)固定αUntil滿足預設的收斂條件。循環(huán)退出條件可以是循環(huán)次數(shù),也可以核組合系數(shù)的收斂作為退出條件,即‖θ4持向量回歸與稀疏多核支持向量回歸學習算法的比較為了驗證算法的性能,將提出的NS-MKR算法與標準的支持向量回歸算法Libsvm(記為SK-SVR)和幾個稀疏多核支持向量回歸學習算法進行比較,其中多核學習算法包括SimpleMKL其中,i=1,2,…,n。4.1人工數(shù)據(jù)集結(jié)果首先在人工數(shù)據(jù)集上驗證算法的性能。第1個人工數(shù)據(jù)集是一個異方差回歸問題,來源于文獻[20],具有如下形式:Exam.1:其中,ε第2個人工數(shù)據(jù)集為一個分段函數(shù),來源于文獻[21],其形式為:Exam.2:類似于Exam.1,對每個樣本加入均值為0,標準差為0.1的均勻分布隨機噪聲。不含噪聲的人工數(shù)據(jù)集曲線如圖1所示。實驗時,所有樣本都參與訓練。圖2為在2個數(shù)據(jù)集上隨機運行一次的回歸曲線。實驗表明:在數(shù)據(jù)集Exam.1上,4種方法都獲得了很好的擬合結(jié)果;而在數(shù)據(jù)集Exam.2上,NS-MKR能最真實地擬合原始數(shù)據(jù),其他依次是tMKR、SimpleMKL和SK-SVR,這表明非稀疏的核組合有較強的抗噪聲能力,提高了模型的準確性。表1是獨立運行50次后得到的平均絕對誤差MAE、平均相對誤差MRE以及支持向量數(shù)SVs。從表中可以看出,單核學習算法SK-SVR在2個數(shù)據(jù)集上都有最大的MAE和MRE以及較多的支持向量數(shù)SVs。提出的算法NS-MKR在Exam.1上獲得了最小的誤差和最少的支持向量數(shù),在Exam.2上其誤差及支持向量數(shù)相對于其他算法要小很多。4.2實驗結(jié)果和算法結(jié)果為了進一步比較算法的性能,在5個真實數(shù)據(jù)集上進行實驗,這些數(shù)據(jù)集包括abalone、housing(Boston)、mpg、pyrim和triazines。數(shù)據(jù)集的詳細信息見表2。比較前,數(shù)據(jù)集的所有特征經(jīng)過處理后,分布在[-1,1]區(qū)間內(nèi)。對于數(shù)據(jù)集abalone、housing、mpg和triazines,每次隨機抽取100個作為訓練樣本,對于pyrim數(shù)據(jù)集,每次隨機抽取30個作為訓練樣本,剩余的作為測試樣本。在每個數(shù)據(jù)集上獨立運行30次,計算測試樣本的MAE和MRE并取平均,最后得到不同算法在各個數(shù)據(jù)集上的結(jié)果如表3所示?？梢钥闯?在abalone、housing和triazines上,NS_MKR都獲得了最小的泛化誤差和最小的支持向量數(shù);在pyrim數(shù)據(jù)集上,4種算法獲得了基本上相同的結(jié)果;在mpg數(shù)據(jù)集上,tMKR獲得的誤差最小,但是NS_MKR得到的結(jié)果也和它基本接近。4.3不同ph值時的擬合結(jié)果接下來的實驗將對NS_MKR的核組合系數(shù)在不同范數(shù)約束下對算法性能的影響進行分析。分別設置p=1、2、3和5,其他選項的設置與前面的實驗相同。圖3為在2個人工數(shù)據(jù)集上隨機運行一次的回歸曲線。從圖3中可以看出:數(shù)據(jù)集Exam.1上,p取不同值時,得到的擬合曲線幾乎一致;但在數(shù)據(jù)集Exam.2上,不同p值得到的擬合結(jié)果差別較大,當p=3和p=5時,得到的擬合曲線基本重合。結(jié)果表明,p值越大,擬合的結(jié)果越接近于真實曲線。另外,針對人工數(shù)據(jù)集和真實數(shù)據(jù)集,在每個數(shù)據(jù)集上獨立進行30次實驗,計算測試集的MAE、MRE并取平均值。最后得到的結(jié)果如表4所示。從表4中可以看出,無論是在人工數(shù)據(jù)集和真實數(shù)據(jù)集上,隨著p值的增大,MAE和MRE都有下降的趨勢,特別在abalone、housing和mpg數(shù)據(jù)集上,這種下降趨勢非常明顯,而通過訓練集得到的支持向量數(shù)變化非常小。實驗表明:非稀疏核組合有利于改善模型的學習性能,使模型的擬合結(jié)果更接近于真實情況。由于訓練得到的支持向量個數(shù)反應了模型的復雜程度,支持向量個數(shù)越多,則獲得的學習模型越復雜。在實驗中,各種情況下獲取的支持向量數(shù)沒有明顯的變化,這說明非稀疏多核組合學習在提高建模的準確性的同時,并沒有增加模型的復雜度。需要注意的是,從圖3中可以看出,p值過高,可能會導致模型出現(xiàn)過擬合的情況,當基本核函數(shù)中如果存在很多噪聲核,則有可能使得模型的學習性能變壞。因此,在實驗中設置p=2,這樣核函數(shù)的組合就具有較高的稀疏度,以使得一些噪聲核能夠被去掉,并盡可能避免出現(xiàn)過擬合的情況。5關于參數(shù)設置將多核學習運用到回歸問題,提出了一種非稀疏核組合的多核支持向量回歸學習算法,通過