支持向量回歸機講義學習教案

1、會計學1支持向量回歸支持向量回歸(hugu)機講義機講義第一頁，共23頁。支持向量(xingling)機與支持向量(xingling)回歸機支持向量機支持向量機(SVM) 是建立在統(tǒng)計學習理論的是建立在統(tǒng)計學習理論的VC維理論和結構風險最小原理基礎上維理論和結構風險最小原理基礎上的，根據有限的樣本信息在模型的復雜性（即對特定訓練樣本的學習精度）和學的，根據有限的樣本信息在模型的復雜性（即對特定訓練樣本的學習精度）和學習能力（即無錯誤地識別任意樣本的能力）之間尋求最佳習能力（即無錯誤地識別任意樣本的能力）之間尋求最佳(zu ji)折衷，以期獲得折衷，以期獲得最好的推廣能力（或稱泛化能力）。最好的

2、推廣能力（或稱泛化能力）。VC維理論(lln)經驗風險置信風險020301可以簡單的理解為問題的復雜程度，VC維越高，問題就越復雜.經驗風險代表了分類器在給定樣本上的誤差.代表了我們在多大程度上可以信任分類器在未知文本上分類的結果.第2頁/共23頁第二頁，共23頁。并不是說樣本(yngbn)的絕對數量少，而是說與問題的復雜度比起來，SVM算法要求的樣本(yngbn)數是相對比較少的。小樣本(yngbn)非線性SVM擅長應付樣本數據線性不可(bk)分的情況，主要通過松弛變量（也有人叫懲罰變量）和核函數技術來實現，這一部分是SVM的精髓。高維模式識別指樣本維數很高，SVM可以處理高維向量，因為SV

3、M 產生的分類器很簡潔，用到的樣本信息很少（僅僅用到那些稱之為“支持向量”的樣本）。SVM特點支持向量機與支持向量回歸機第3頁/共23頁第三頁，共23頁。支持(zhch)向量機與支持(zhch)向量回歸機SVMSVR* 支持向量機是分類問題(wnt)，尋求的是一個最優(yōu)超平面（函數g(x) ）將兩類樣本點分的最開，最大間隔準則（H1和H2之間間隔最大）是支持向量機最佳準則。HH1H2* 支持向量(xingling)回歸機尋求的是一個線性回歸方程（函數y=g(x)）去擬合所有的樣本點，它尋求的最優(yōu)超平面不是將兩類分得最開，而是使樣本點離超平面總方差最小。都要通過訓練樣本找到一個函數g(x)第4頁/

4、共23頁第四頁，共23頁。支持向量(xingling)機與支持向量(xingling)回歸機* 回歸問題就是給定一個新的模式，根據訓練集推斷它所對應的輸出y（實數）是多少。也就是使用y=g(x)來推斷任一輸入x所對應的輸出值。分類(fn li)問題是給定一個新的模式，根據訓練集推斷它所對應的類別（如：+1，-1）。也就是使用y=sign(g(x)來推斷任一輸入x所對應的類別。第5頁/共23頁第五頁，共23頁。支持(zhch)向量回歸機模型Tyw x b 支 持向量回歸機實在研究二分類問題的基礎上提出的。假定在線性可分訓練集中，存在一超平面：實現擬合，那么它就將訓練樣本分為兩類： 的訓練樣本和

5、的訓練樣本。若上述的超平面是實現這兩類訓練樣本的最大間隔建立的平面，該超平面就可用于解決回歸問題，它也就是要尋找的支持向量回歸機。可以將其簡化為最小化一個帶線性不等式約束(yush)的二次函數凸規(guī)劃問題： 設存在如下一個訓練樣本集，且線性可分： 可以轉化為求解下列優(yōu)化問題： ()yw xb(w )0iiyxb (w)0iiyxb 11(,),(y ,)nnSyxxL線性可分第6頁/共23頁第六頁，共23頁。支持向量回歸(hugu)機模型min ()1/ 2(). . ()0()01,2,iiiiR ww ws tw xbyyw xbinL引入拉格朗日乘子 至上述(shngsh)優(yōu)化問題中，可得

6、到拉格朗日函數： *(0)iia a *1( , , )1/2()()()b)niiiiiL w b aw waayw x原問題(wnt)對偶問題m ax(). .0as t a*11( )inf 1/2()() b)() b)|nniiiiiiiiaw wa yw xaw xyw D根據帶有不等式約束的極值問題的KKT條件：*1*1( , , )()0( , , )()0niiiiniiiL w b awaaxwL w b aaab( )R ww可看做是樣本向量的線性組合第7頁/共23頁第七頁，共23頁。支持(zhch)向量回歸機模型*,11*,1*1,11( )()()()()2()()(

7、)1()()()()2nniijjijiiii jiniijjiji jnniiiiijjijii jaaaaaxxaayaaaaxxaayaaaaxx對偶(du u)問題*1,1*1*1max ( )()()()()2.t.()0,0nniiiiijjijii jniiiiiaaayaaaax xsaaa a對上式規(guī)劃問題進行求解，解得 不同時為0時對應的向量(xingling)為支持向量(xingling)，從而得到線性可分訓練樣本的SVR模型：*,iiaa*1()()niiiiyaaxxb*1()()njiiijibyaaxx第8頁/共23頁第八頁，共23頁。支持(zhch)向量回歸機模

8、型線性不可(bk)分 對于低維輸入空間中非線性可分訓練樣本，是通過(tnggu)核函數將其映射到高維空間中使其線性可分：引入核函數 接受低維度輸入值，產生高維度內積值( ,)( ( )()ijijK x xxx*1,1*1*1max( )()()()(,)2.t.()0,0,1,2,nniiiiijjijii jniiiiiaaayaaaaK x xsaaa ainL第9頁/共23頁第九頁，共23頁。支持向量回歸(hugu)機模型對該問題進行求解，解得 不同時為 0 時對應的向量為支持向量，從而(cng r)得到非線性可分訓練樣本的SVR模型：*,iiaa*1()(, )kiiiiyaaK x

9、 xb*1()( ,)njiiijibyaa K x x常用(chn yn)核函數k代表支持向量的個數常用的支持向量回歸機算法包括 硬 、 、 . SVRCSVRVSVR第10頁/共23頁第十頁，共23頁。支持向量(xingling)回歸機算法 SVR線性硬在回歸問題中，理想狀態(tài) ： 事實上幾乎不可能存在一個描述黑箱的函數 能夠在理想情況下實現(shxin)，通常，允許存在一個小的正數 ，使 ，則認為回歸是無損的。 ( )0iiyf x( )f x()iiyf xm in()1 / 2(). .()()1, 2,iiiiR wwws twxbyywxbilL*1,11*1*1max ( )()

10、()()()()2.t. ()0,0, 1llliiiiijjijiiii jiliiiiiaaa yaaaax xaasaaa ailL對偶(du u)求解對偶問題 ， 或 對應的向量為支持向量。 *,iiaa0ia *0ia第11頁/共23頁第十一頁，共23頁。給定(i dn)樣本集選擇(xunz)合適的精度求解(qi ji)對偶化最優(yōu)問題 計算w選擇 ，計算0ia ()jjbyw x 構造線性硬 超平面SVR支持向量回歸機算法 第12頁/共23頁第十二頁，共23頁。CSVR引入松弛變量(binling) 和懲罰參數C，將硬 軟化。 *11( ,)ll LSVR*1*min ( ) 1/2

11、() C().()(),0,1,2,lliiiiiiiiiiiR ww wstw xbyyw xbi L*1,1*1*1*1max ( )()()()()2().t.()00,C,1lliiiiijjijii jliiiliiiiiaaayaaaax xaasaaa ailL原問題(wnt)對偶(du u)問題支持向量回歸機算法 第13頁/共23頁第十三頁，共23頁。*11*111/ 2()C()()()()lliiiiiiiilliiiiiiiiiiLw wayf xayf x *1*1*()0()000liiiiliiiiiiiiiLwaaxwLaabLCaLCa*( )0( )00,0i

12、iiiiiiii iiiayf xayf x *0iia a*(-)0(-)0iiiiC aC a構造(guzo)Lagrange函數由帶有不等式約束極值(j zh)問題的KKT條件（必要條件），可知：由上式可知 ，且不同時(tngsh)為 0 ，且可得到下列式子：支持向量回歸機算法 第14頁/共23頁第十四頁，共23頁。支持向量(xingling)回歸機算法 I. 當 ， 或 ，即 II.對應(duyng) 為邊界支持向量（BSV），管道外的向量。 *iiaCoraC( )0iiiyf x ( )iiyf xixII.當 ，可知 ， 或 ，即III. ， 對應 為標準支持向量(xinglin

13、g)（NSV），管道上的向量(xingling)。 *(0,C)iiaora *0ii ( )0iiyf x ( )0iiyf x*( )0iiiyf x ( )iiyf xixIII. 當 ，可知 ， 或 即 ，對應 為非支持向量，管道內的向量。 *00iiaanda*0ii ( ) 0iiiyf x *( )0iiiyf x( )iiyf xix第15頁/共23頁第十五頁，共23頁。支持向量回歸(hugu)機算法 非線性情形(qng xing)下，可引入核函數，進而對偶問題可化為：*1,1*1*1*1max( )()()()(,)2().t.()00,C,1lliiiiijjijii jl

14、iiiliiiiiaaayaaaaK x xaasaaa ailL求解(qi ji)得 ，對于 或 對應的向量為支持向量。*,iia a0ia *0ia 第16頁/共23頁第十六頁，共23頁。支持向量回歸(hugu)機算法 給定(i dn)樣本集選擇合適(hsh)的精度 、C、求解對偶化最優(yōu)問題0ia ()jjbyw x 構造線性硬 超平面CSVR( ,)ijK x x選擇 ，計算第17頁/共23頁第十七頁，共23頁。支持向量回歸(hugu)機算法 在硬 ， 中，需要(xyo)事先確定參數 ，在某些情況下，選擇合適的 是困難的，引入自動計算 的 ，在 原問題的基礎上引入參數 ，得 原始問題：

15、SVRCSVRVSVRVSVRCSVRvVSVR*1*min( )1/ 2()C(). .()(),0,1,2,liiiiiiiiiiiR ww wvs tw xbyyw xbil L*1,1*1*1*1max ( )()()() ( ,)2.t.()0()0,C,1lliiiiijjijii jliiiliiiiiaaa yaaaa K x xsaaaaCva ailL對偶(du u)并引入核函數第18頁/共23頁第十八頁，共23頁。總結(zngji)SVRCSVRSVMSVR總結(zngji)核函數(hnsh)VSVR第19頁/共23頁第十九頁，共23頁。參考文獻1 曾紹華. 支持向量回歸

16、機算法理論研究與應用(yngyng). 控制理論與控制工程專業(yè)優(yōu)秀論文.2 賈云峰. 基于支持向量回歸的全局優(yōu)化仿真優(yōu)化算法. 碩士學位論文. 2011.3 冼廣銘, 曾碧卿. -支持向量回歸機算法及其應用(yngyng). 計算工程與應用(yngyng), 2008, 44(17):40-42. 4 Gunn, S. R. Support vector machines for classification and regression R. Southampton: Image Speech and Intelligent Systems Research Group, University of Southampton, 1997.5 Zeng, S., Wei, Y., Duan, T., et al. Research on an algorithm of support vector stepwise regressionC. Innovative Computing, Information and Control, 2006. ICICIC06. First International Conference on. IEEE, 2006, 3: 452-458.第20頁/