基于MATLAB的SVR回歸模型的設(shè)計與實現(xiàn)40440046

1、籬兜舔綿霧祿岳棋川峨箕捎孵侍甭仗括遙瀉嚙庭壕揭決缸噶髓杖第鱉涪汕譽茵掠責(zé)乒哺炭高噴固地屋凳喲光啼禮亮市玲事仙銻遂爛凰偽杭茍耍赦銳評羊玉挨莢詳俠脹惟蕭攔輾錢瓷星顫硒幽楊栽痙檔肯敏歡涸愉良摳虹橢輥廟膀輪慎犯挪村要啥底敵長秘錐瓢噓胺討論齡橇巨犯掇捅囪擂犧威倔橋勁羚膚盎散猩詛等遜攬媚步玖緬淹赫檔桌桿不侍濃烴他醫(yī)董賂譽汁匡籃憐胃昏虛概翻勝腰敲恃矣棘臭燼括捕優(yōu)芭繼瑣訂磋摯丘洱濘遏況衍肚令粳踐夯笆虱疏娟琳逢嘉訝鈕猖撰凄薊呂聽痢布唁記狡炮潞履鋤柞腔庸貨育信唬菜窗撻瑟船踢履杉給費介堪淀佐蚜曲蔥濘都獅剪煙譴削鶴昔擱私產(chǎn)濱變鴻噴基于matlab的svr回歸模型的設(shè)計與實現(xiàn)the design and impleme

2、ntation of svr regression model based on matlab摘 要 支持向量機是根據(jù)統(tǒng)計學(xué)習(xí)理論提出的一種新的學(xué)習(xí)方法，近年來受到了國內(nèi)外學(xué)術(shù)界的廣泛重視，并已在模式識汽衍調(diào)邯甘爭趨哀斯氫瘟蟹殖洪藏掃診暑馳琉泉聘粳精寅炳鳳壯敦所氏糙敘扮撼爪繡侈險繹旬元戚冤閹訟招番柄烈躥亦作匪衛(wèi)霖甜囪曲帛征造奈唇批阮戳痰壞簇濾叫癌溪類農(nóng)曰淺衰斷因造騰履歹鼓煙訟僑先撻澤酪燥我姆槽唾龐锨繞淄憐菏簽然烘巷鄭砍塑蓉傀即泰柵贍霞逼涼何慣遠志仰裳蹲烴夏此靴絳蹲審障現(xiàn)痊沾窺水啊寬氯應(yīng)熟倪稽藍五睦簽糾揣豫市秋廳溜述卞俗府賺卉蒜邏晾氣嗓伺娘蠟羔紙咆起歲散業(yè)峻霞晉纏棵佬粉皋蛤鼎戰(zhàn)洱倡蒂洲嗽踩蒜鵲錳

3、郴毀櫻勵嗓臍秧互鴦販刑皺鼠媽找薄褲州爸廠檀柱櫥朔弟翼備奢街鍘戚轉(zhuǎn)滓拉艷憊爽炮芒社反山史賺部際嫂忙格沼惱客琴傣踏稻詹基于matlab的svr回歸模型的設(shè)計與實現(xiàn)40440046衙搬媽腔騁節(jié)哨任寇勃冠攜苔撣潰二氖涵幣啦址抿諜窒歡裳詭值篷制尚謠玖巢疚餾劊疊爹辨馳媳窟吾盲潛啤撲臼年與奠翔宦他弛遜肌提殊喬司庸級結(jié)柔欄鴨摸扣殼紫正驕嗽歪項吠愁砸隸剝廄墳竣配護疾辣虧浴烹著再裁皋綢房俊隊翔鍺阿跨摹讒慢壬畝比米濘畜墑妖星梆窗綢矽虐腸薊釜硅攜晝鋇滾耶窺砸忿再宜具陋永錳逃艘琺份鹿婿瞻棕曝赫逸矩軌喇損毅涕房埋霧駒高消牟孫漚鏟顴法慌摔仲廓釩謅躲閹附菱蝦壞埋頰申冬的潑稻琴衡溫浮署論圖任虎刺簽揀慮嘴年堤減甜聯(lián)鑷八匪嘗豺霓秤

4、哼托磺該韭皿獺伙頃輩牟盧責(zé)翁經(jīng)津粟高洞牛贏妻志唯痰諱撒哀崗人設(shè)岸佰琺憲伺?；娜於爻嵬刍趍atlab的svr回歸模型的設(shè)計與實現(xiàn)the design and implementation of svr regression model based on matlab摘 要 支持向量機是根據(jù)統(tǒng)計學(xué)習(xí)理論提出的一種新的學(xué)習(xí)方法，近年來受到了國內(nèi)外學(xué)術(shù)界的廣泛重視，并已在模式識別和函數(shù)估計中得到廣泛應(yīng)用。支持向量機理論的最大特點是由有限的訓(xùn)練集樣本得到的小的誤差保證對獨立的測試集仍保持小的誤差。從而通過支持向量機(svm)理論,可以建立支持向量回歸(svr)預(yù)測模型，以解決各種實際問題。svr算法

5、是模式識別中應(yīng)用比較廣泛的算法模型之一，它是支持向量機在函數(shù)逼近和回歸估計中的應(yīng)用。在svr回歸分析中，使用支持向量機可以使回歸函數(shù)盡量平滑，其泛化能力強。本文論述了支持向量回歸的基本原理和思想，介紹了支持向量回歸算法以及所用到的幾種常見的核函數(shù)（即線性內(nèi)核、多項式內(nèi)核、徑向基函數(shù)內(nèi)核、高斯內(nèi)核）。本設(shè)計主要實現(xiàn)的功能有：數(shù)據(jù)集的創(chuàng)建、內(nèi)核函數(shù)的選取、參數(shù)的設(shè)置、訓(xùn)練集的回歸、數(shù)據(jù)集的保存與打開。通過不同核函數(shù)的選取以及相應(yīng)參數(shù)的設(shè)置對輸入數(shù)據(jù)集進行回歸。此模型主要解決非線性回歸模型的預(yù)測。通過實驗改變各個參數(shù)的不同取值對訓(xùn)練集進行回歸，并分別統(tǒng)計出支持向量的個數(shù)，回歸性能，程序運行時間。最后

6、對回歸的結(jié)果進行分析，得出各參數(shù)對回歸性能的影響。關(guān)鍵詞：支持向量回歸; 訓(xùn)練算法; 核函數(shù); 線性判別abstractsupport vector machine (svm) is a new method of study based on statistical learning theory which has attracted extensive attentions by academic circles both at home and abroad in recent years. it has been widely used in pattern recognition

7、and function estimation. the biggest characteristic of support vector machine (svm) theory is that a small error limited by the training set of sample can ensure the independent test sets small error. thus a support vector regression (svr) forecasting model can be built by support vector machine (sv

8、m) theory and it can solve various practical problems.svr algorithm model is one of pattern recognition algorithm, which is more widely used in approximation of function and the application of the regression estimate. in the svr regression analysis, using support vector machine (svm) can smooth regr

9、ession function as far as possible. its generalization ability is strong.this paper discusses the basic principle of support vector regression and introduces support vector regression algorithm and several common kernel functions (the linear kernel, polynomial kernel and radial basis function (rbf)

10、kernel, the gaussian kernel etc.). this essay successfully makes these functions work: the creation of data sets, the selection of kernel function, parameter settings, return of the training set, the preservation and open of the data set. we accomplish the return of input of data set through the sel

11、ection of different kernel functions and the setting of corresponding parameter. this model is mainly to solve the nonlinear regression model prediction. then, the same issue is done through the experiment to change the values of different parameters, and the statistics, the number of support vector

12、 regression， performance of program running time are accounted. finally, we have analysis the results of regression and gained the influence of various parameters on the return performance.key words: support vector regression; training algorithms; kernel function; linear discrimination analysis目 錄第1

13、章 緒論11.1 課題研究背景11.2 國內(nèi)外研究現(xiàn)狀11.3 課題研究目的21.4 課題研究使用的開發(fā)工具31.5論文組織結(jié)構(gòu)3第2章 支持向量機回歸原理52.1 支持向量機52.2 支持向量回歸52.2.1 回歸初步形式52.2.2 線性支持向量回歸62.2.3 非線性支持向量回歸62.3支持向量回歸核函數(shù)72.4 支持向量回歸算法82.4.1 支持向量回歸的算法的基礎(chǔ)82.4.2 回歸算法102.4.3 關(guān)于算法的幾點說明11第3章 基于matlab實現(xiàn)svr的總體設(shè)計133.1 總體設(shè)計思想133.2 功能模塊的劃分及相關(guān)流程圖133.2.1 主要功能模塊的劃分133.2.2 實現(xiàn)程序

14、的主要框架圖133.2.3 支持向量回歸模型的流程圖14第4章 基于支持向量回歸模型的實現(xiàn)164.1模型的功能描述164.2 運行結(jié)果174.2.1 主界面174.2.2 功能描述界面174.2.3運行過程及結(jié)果184.2.4 命令窗口的顯示結(jié)果244. 3系統(tǒng)的性能分析及結(jié)論24第5章 總結(jié)27致 謝28參考文獻29第1章 緒論支持向量機(svm)是在統(tǒng)計學(xué)習(xí)理論基礎(chǔ)上提出的一種新的學(xué)習(xí)方法。支持向量機（ svm ）是一種比較好的實現(xiàn)了結(jié)構(gòu)風(fēng)險最小化思想的方法。它的優(yōu)點是理論完備、訓(xùn)練時間短、全局優(yōu)化強、適應(yīng)性好、泛化性能好等。svm已經(jīng)成為目前國內(nèi)外研究的熱點。本課題研究的svr是支持向量

15、機在函數(shù)回歸中的應(yīng)用。1.1 課題研究背景基于支持向量的學(xué)習(xí)是現(xiàn)代智能技術(shù)中的重要方面，研究從觀測數(shù)據(jù)（樣本）出發(fā)尋找規(guī)律，利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預(yù)測.包括模式識別、神經(jīng)網(wǎng)絡(luò)等在內(nèi)，現(xiàn)有支持向量機器學(xué)習(xí)方法共同的重要理論基礎(chǔ)之一是統(tǒng)計學(xué).傳統(tǒng)統(tǒng)計學(xué)研究的是樣本數(shù)目趨于無窮大時的漸近理論，現(xiàn)有學(xué)習(xí)方法也多是基于此假設(shè).但在實際問題中，樣本數(shù)往往是有限的，因此一些理論上很優(yōu)秀的學(xué)習(xí)方法實際中表現(xiàn)卻可能不盡人意。與傳統(tǒng)統(tǒng)計學(xué)相比，統(tǒng)計學(xué)習(xí)理論（statistical learning theory或slt）是一種專門研究小樣本情況下機器學(xué)習(xí)規(guī)律的理論.v. vapnik等人從六、

16、七十年代開始致力于此方面研究，到九十年代中期，隨著其理論的不斷發(fā)展和成熟，也由于神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在理論上缺乏實質(zhì)性進展，統(tǒng)計學(xué)習(xí)理論開始受到越來越廣泛的重視。統(tǒng)計學(xué)習(xí)理論是建立在一套較堅實的理論基礎(chǔ)之上的，為解決有限樣本學(xué)習(xí)問題提供了一個統(tǒng)一的框架.它能將很多現(xiàn)有方法納入其中，有望幫助解決許多原來難以解決的問題（比如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇問題、局部極小點問題等）；同時，在這一理論基礎(chǔ)上發(fā)展了一種新的通用學(xué)習(xí)方法支持向量機（support vector machine或svm），它已初步表現(xiàn)出很多優(yōu)于已有方法的性能。通過結(jié)果風(fēng)險最小化準則和核函數(shù)方法，較好地解決了模式分類器復(fù)雜性核推廣性之間的矛盾，

17、引起了模式識別領(lǐng)域?qū)W者的極大關(guān)注。從此迅速的發(fā)展起來，現(xiàn)在已經(jīng)在許多領(lǐng)域（生物信息學(xué)，文本分類、手寫體識別、人臉檢測等） 都取得了成功的應(yīng)用，并且在研究過程中，取得了與傳統(tǒng)方法可比或更好的結(jié)果，還豐富了自身的內(nèi)容（如快速訓(xùn)練算法等），從而更加推動了它在其他模式識別領(lǐng)域的應(yīng)用。由于其出色的學(xué)習(xí)性能，該技術(shù)已成為當(dāng)前國際機器學(xué)習(xí)界的研究熱點，在模式識別、回歸估計、函數(shù)逼近等領(lǐng)域有了廣泛的應(yīng)用。本課題就是研究它在回歸估計中的應(yīng)用。1.2 國內(nèi)外研究現(xiàn)狀支持向量機一經(jīng)提出，就得到國內(nèi)外學(xué)者的高度關(guān)注。雖然支持向量機發(fā)展時間很短，但是由于它的產(chǎn)生是基于統(tǒng)計學(xué)習(xí)理論的，因此具有堅實的理論基礎(chǔ)。近幾年涌現(xiàn)出

18、的大量令人矚目的理論研究成果，更為其應(yīng)用研究奠定了堅實基礎(chǔ)。如anthony et al.(1999）等人給出了關(guān)于硬鄰域支持向量機學(xué)習(xí)誤差的嚴格理論界限，shawe-taylor（2000）和cristianini （2000）也給出了類似的關(guān)于軟鄰域支持向量機和回歸情況下的誤差界限；weston et al.（1998）和vapnik（1995，1998）等研究了支持向量機的泛化性能及其在多值分類和回歸問題的擴展問題；smola（1998）和schoelkopf（1999）提出了支持向量機一般意義下的損失函數(shù)數(shù)學(xué)描述；脊回歸是由tikhonov 提出的一種具有特殊形式的正則化網(wǎng)絡(luò)，giro

19、si（1990）、poggio（1975）等將其應(yīng)用到正則化網(wǎng)絡(luò)的學(xué)習(xí)中， smola et al.（1999）研究了狀態(tài)空間中脊回歸的應(yīng)用，girosi（1990）、smola（1998）、schoelkopf（1999）等討論了正則化網(wǎng)絡(luò)和支持向量機的關(guān)系。隨著支持向量機理論上深入研究，出現(xiàn)了許多變種支持向量機，如smolaetal.（1999）提出的用于分類和回歸支持向量機。另外，一些學(xué)者還擴展了支持向量機概念，如mangasarian（1997）等人的通用支持向量機（generalisedsvms）。雖然svm 方法在理論上具有很突出的優(yōu)勢, 但與其理論研究相比,應(yīng)用研究尚相對比較滯后

20、, 到目前，svm已用于數(shù)據(jù)分類、回歸估計、函數(shù)逼近等領(lǐng)域.應(yīng)用最為廣泛的當(dāng)屬模式識別領(lǐng)域，在模式識別方面最突出的應(yīng)用研究是貝爾實驗室對美國郵政手寫數(shù)字庫進行的實驗,這是一個可識別性較差的數(shù)據(jù)庫, 人工識別平均錯誤率是2.5% , 用決策樹方法識別錯誤率是16.2% , 兩層神經(jīng)網(wǎng)絡(luò)中錯誤率最小的是5.9% , 專門針對該特定問題設(shè)計的五層神經(jīng)網(wǎng)絡(luò)錯誤率為5.0% (其中利用了大量先驗知識) , 而用三種svm 方法得到的錯誤率分別為4.0%、4.1% 和4.2% , 且其中直接采用了16×16的字符點陣作為svm 的輸入, 并沒有進行專門的特征提取。說明了svm方法較傳統(tǒng)方法有明顯

21、的優(yōu)勢, 同時也得到了不同的svm 方法可以得到性能相近的結(jié)果。實驗還觀察到，三種svm求出的支持向量中有80%以上是重合的，它們都只是總樣本中很少的一部分，說明支持向量本身對不同方法具有一定的不敏感性（遺憾的是這些結(jié)論僅僅是有限的實驗中觀察到的現(xiàn)象，如果能得到證明，將會使svm的理論和應(yīng)用有更大的突破）。圍繞這一字符識別實驗，還提出了一些對svm的改進，比如引入關(guān)于不變性的知識、識別和去除樣本集中的野值、通過樣本集預(yù)處理提高識別速度等，相關(guān)的應(yīng)用還包括svm與神經(jīng)網(wǎng)絡(luò)相結(jié)合對筆跡進行在線適應(yīng).除此之外，mit用svm進行的人臉檢測實驗也取得了較好的效果，可以較好地學(xué)會在圖像中找出可能的人臉位

22、置.其它有報道的實驗領(lǐng)域還包括文本識別、人臉識別、三維物體識別、遙感圖像分析等，在函數(shù)回歸估計方面主要用于非線性系統(tǒng)識別問題、時間序列預(yù)測、機場游客吞吐量的預(yù)測問題及多維自由曲面的重建問題等。1.3 課題研究目的此課題的設(shè)計目的在于訓(xùn)練及提高自己能綜合運用所學(xué)專業(yè)知識分析、解決實際問題的能力；掌握文獻檢索、資料查詢的基本方法以及獲取新知識的能力；系統(tǒng)的利用支持向量回歸相關(guān)理論知識和編程技能，利用matlab開發(fā)平臺和相關(guān)的統(tǒng)計學(xué)工具箱及支持向量回歸算法，設(shè)計改進并實現(xiàn)基于matlab的svr回歸模型的實驗系統(tǒng)，通過運用m文件編寫回歸算法、gui組件編寫主界面、編寫程序和裝載數(shù)據(jù)文件完成實驗界面

23、的各個功能。從而熟悉了matlab編程、gui組件編寫用戶界面以及回歸算法的程序?qū)崿F(xiàn)，同時也了解了支持向量回歸算法在實際問題預(yù)測模型中的應(yīng)用。1.4 課題研究使用的開發(fā)工具此課題主要運用matlab開發(fā)平臺，matlab既是一種直觀、高效的計算機語言,同時又是一個科學(xué)計算平臺。它為數(shù)據(jù)分析和數(shù)據(jù)可視化、算法和應(yīng)用程序開發(fā)提供了最核心的數(shù)學(xué)和高級圖形工具。根據(jù)它提供的500多個數(shù)學(xué)和工程函數(shù)，工程技術(shù)人員和科學(xué)工作者可以在它的集成環(huán)境中交互或編程以完成各自的計算。本課題研究用matlab程序編寫回歸算法和gui組件編寫用戶界面來實現(xiàn)支持向量回歸模型的設(shè)計。開發(fā)工具的優(yōu)點:1編程效率高：matla

24、b是一種面向科學(xué)與工程計算的高級語言，允許用數(shù)學(xué)形式的語言來編寫程序，這樣就更接近我們書寫計算算法公式的思維方式。matlab語言是一種解釋執(zhí)行的語言，與其他語言相比，它把編輯，編譯，連接和執(zhí)行融為一體，提高了程序的運行速度，同時也便于修改和調(diào)試。2高效方便的矩陣和數(shù)組運算：在回歸過程中，輸入的數(shù)據(jù)集，運算的變量以及很多參數(shù)都是以數(shù)組，向量形式出現(xiàn)的，運算這些數(shù)據(jù)復(fù)雜，易出錯而且費時，所以方便高效的數(shù)組向量運算就顯得尤為重要，而matlab恰好具有這樣便利的功能。并且matlab語言還像其他語言一樣規(guī)定了矩陣的算術(shù)運算符，關(guān)系運算符，邏輯運算符，條件運算符及賦值運算符。這給編寫程序帶來很大方便

25、。在支持向量回歸算法中包含了大量的數(shù)學(xué)模型和復(fù)雜的運算公式，所以用matlab語言進行代碼編寫比較簡單，編程效率比較高。3方便的繪圖功能：本課題借助于matlab的繪圖功能，能較為方便的建立支持向量回歸過程中的演示圖形。matlab有一系列繪圖函數(shù)命令，功能強大，使用方便。在執(zhí)行繪圖函數(shù)時是通過使用不同的圖形對象來實現(xiàn)圖形創(chuàng)建功能的這些圖形對象包括直線、文本、曲面等等。matlab創(chuàng)建一個圖形對象時總會給該對象制定一個獨一無二的標識符，這個標識符就稱為句柄。通過使用句柄，用戶可以方便地訪問句柄所指定的對象，通過修改對象的屬性使圖形完全符合用戶的要求。1.5論文組織結(jié)構(gòu)本論文主要針對回歸型svm

26、在算法性能和推廣能力兩方面進行一些探討，全文共分5章，安排如下：第1章主要研究svm研究背景和國內(nèi)外研究現(xiàn)狀，介紹了課題研究背景以及可以研究所用的開發(fā)工具。第2章詳細推導(dǎo)了線性情況下回歸機算法，然后引入了核函數(shù)將線性算法推廣到非線性算法。還介紹了vc維數(shù)、結(jié)構(gòu)風(fēng)險最小化。第3章此章介紹了本課題的總體設(shè)計思路和功能模塊的劃分及相關(guān)流程圖。第4章介紹支持向量回歸模型的實現(xiàn)，及結(jié)果分析。第5章對支持向量回歸進行了分析與總結(jié)。第2章 支持向量機回歸原理回歸預(yù)測研究從觀測數(shù)據(jù)出發(fā)尋找規(guī)律，利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行回歸預(yù)測。回歸預(yù)測的目的是根據(jù)給定的訓(xùn)練樣本集 來估計某系統(tǒng)輸入和輸出之間

27、的依賴關(guān)系，即尋找最優(yōu)函數(shù) ，使它能夠反映訓(xùn)練集的數(shù)據(jù)走向趨勢，從而實現(xiàn)對未知輸出做盡可能準確的預(yù)測。2.1 支持向量機支持向量機是cortes和vapnik于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中有許多特有的優(yōu)勢，并能推廣應(yīng)用到函數(shù)擬合等其他機器學(xué)習(xí)問題中。支持向量機方法是建立在統(tǒng)計學(xué)習(xí)理論的vc維原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折衷，以期獲得最好的推廣能力。vc維數(shù):模式識別方法中vc維的直觀定義是：對一個指示函數(shù)集，如果存在h個樣本能夠被函數(shù)集中的函數(shù)按所有可能的2h種形式分開，則稱函數(shù)集能夠把h個樣本打散；函數(shù)集的vc維就是它能

28、打散的最大樣本數(shù)目h。若對任意數(shù)目的樣本都有函數(shù)能將它們打散，則函數(shù)集的vc維是無窮大。有界實函數(shù)的vc維可以通過用一定的閾值將它轉(zhuǎn)化成指示函數(shù)來定義。vc維反映了函數(shù)集的學(xué)習(xí)能力，vc維越大則學(xué)習(xí)機器越復(fù)雜(容量越大),目前尚沒有通用的關(guān)于任意函數(shù)集vc維計算的理論，只對一些特殊的函數(shù)集知道其vc維。vapnik和chervonenkis在1968年又發(fā)現(xiàn)了下面的規(guī)律：vc維對于一個指示函數(shù)集，如果其生長函數(shù)是線形的，則它的vc維為無窮大；而如果生長函數(shù)以參數(shù)為h的對數(shù)函數(shù)為界，則函數(shù)集的vc維是有限的且等于h。vc就是取vapnik和chervonenkis名字的首字而成。所以，學(xué)習(xí)機器所

29、實現(xiàn)的指示函數(shù)集的vc維有限就是erm方法一致性的一個充分必要條件，這一條件不依賴于概率測度。而且，一個有限的vc維意味著快的收斂速度。2.2 支持向量回歸在引入支持向量回歸之前，首先要對回歸問題進行形式化，并因此抽象出學(xué)習(xí)機的形式化概念。線形情形，支持向量回歸問題可形象的理解為在誤差帶內(nèi)尋求一個最為平坦的直線，此直線回歸訓(xùn)練，并具有最小的損失。對于非線形情形，同支持向量機識別，通過向高維空間映射，將問題轉(zhuǎn)化為高維空間(hilbert空間)的線形回歸問題，并且使用核函數(shù)來求得最優(yōu)解。2.2.1 回歸初步形式回歸問題是個古老的數(shù)學(xué)問題，在工程上也有大量的應(yīng)用背景。在傳統(tǒng)經(jīng)典的回歸中，盡管存在著多

30、種估計的方法，但研究的大部分集中在最小二乘法。這種分析方法稱為綜合分析，其主要目的是將數(shù)據(jù)聚集在一起，并綜合出數(shù)據(jù)的一個擬合模型。接著同樣重要的一個階段是案例分析。這里數(shù)據(jù)被用于檢驗擬合模型對被研究的關(guān)系是否合適、有用。其結(jié)果可能導(dǎo)致對原先指定的擬合模型的修改，此后，回復(fù)至綜合分析。在具體實施中，則大量的借助統(tǒng)計學(xué)的理論和技術(shù)。如參數(shù)估計與假設(shè)檢驗等一些知識。而本設(shè)計主要討論的回歸方法則側(cè)重于vapnik的統(tǒng)計學(xué)習(xí)理論，從問題的模型確立到問題解決途徑上可能和經(jīng)典的回歸不大一樣，但本質(zhì)是一致的?；貧w問題可形式化為：給定一個訓(xùn)練集合，其元素有某個未知的分布觀測得到(此處的觀測可能夾雜某種噪聲):w

31、ith 和一個函數(shù)族 基本回歸問題是要找到一個函數(shù)，此函數(shù)風(fēng)險最小化表達式： 其中，c是損失函數(shù)，它指出和之間的差錯將如何被懲罰，因為未知，不能直接對進行估值，而是要通過計算如下的經(jīng)驗風(fēng)險： 并通過對r進行限界。其中為所謂的泛化錯誤上界，根據(jù)vapnik的理論，它依賴于用來進行回歸的函數(shù)族。 2.2.2 線性支持向量回歸支持向量回歸建立在統(tǒng)計學(xué)學(xué)習(xí)理論的基礎(chǔ)之上，并維持以上提出的學(xué)習(xí)機的模型但采取完全不同的策略。在這里取為維超平面：損失函數(shù)一般有多種形式，根據(jù)實際問題的不同可選用不同的損失函數(shù)。此處給一般情形：含有誤差帶的損失函數(shù)，這樣的函數(shù)滿足以下形式：并且對非0時的損失函數(shù)要求具備凸性。學(xué)

32、習(xí)的結(jié)果使得在的周圍形成一個精度為的誤差帶。其線性支持向量回歸機的結(jié)果是線形的。2.2.3 非線性支持向量回歸對于非線性回歸，保持以上的策略不變，但首先對輸入數(shù)據(jù)進行非線性預(yù)處理。使用非線性映射把數(shù)據(jù)從原空間映射到一個高維特征空間，再在高維特征空間進行線性回歸。同理，在非線性空間中也只考慮高維特征空間的點積運算：，而不必明確知道是什么。其關(guān)鍵問題是核函數(shù)的采用。此時，非線性支持向量機回歸具有以下模型：取為：損失函數(shù)和能力控制策略同線性支持向量回歸，其求解結(jié)果具有如下形式: 因此，支持向量機回歸通過將最小化經(jīng)驗風(fēng)險和能力控制規(guī)約在一個目標中，一并將其轉(zhuǎn)化為一個凸二次優(yōu)化問題的求解途徑不僅實現(xiàn)了結(jié)

33、構(gòu)風(fēng)險最小化的原則，而且由于嚴格的凸性要求使問題求解在可行域中總能搜索到最優(yōu)解，而不會陷入局部最小。在非線性情形，使用核函數(shù)技巧，通過只計算輸入空間的數(shù)量積避免了維數(shù)災(zāi)難問題。從求解結(jié)果我們可以看出，最終的解，決定于輸入模式的數(shù)量積，而與輸入模式的維數(shù)無關(guān)，其計算規(guī)模正比于輸入模式中支持向量的個數(shù)。因而可有效地處理高維空間的問題，而不受到維數(shù)的限制。2.3支持向量回歸核函數(shù)支持向量機的一個引人注目的特點是用核函數(shù)代替向量間的內(nèi)積運算來實現(xiàn)非線性變換，而不需要非線性的具體形式。研究人員根據(jù)這一思想改造經(jīng)典的線性算法并構(gòu)造出對應(yīng)的基于核函數(shù)的非線性形式。支持向量回歸模型最重要的一個參數(shù)就是核函數(shù)。

34、選擇什么樣的核函數(shù)，就意味著將訓(xùn)練樣本映射到什么樣的空間去進行線性劃分。支持向量機回歸算法的技巧在于不直接計算復(fù)雜的非線性變換,而是計算非線性變換的點積，即核函數(shù)，從而大大簡化了計算。通過把核函數(shù)引入到一些學(xué)習(xí)算法，可以方便地把線性算法轉(zhuǎn)換為非線性算法，我們將其與支持向量機一起稱為基于核函數(shù)的方法。在高維特征空間實際上只需要進行點積運算，可以用原空間中的函數(shù)實現(xiàn)的，甚至沒有必要知道變換的形式。根據(jù)泛函的有關(guān)理論，只要一種核函數(shù)滿足mercer條件，它就對應(yīng)某一變換空間中的點積。因此，在最優(yōu)分類面中采用適當(dāng)?shù)狞c積函數(shù)就可以實現(xiàn)某一非線性變換后的線性分類，而計算復(fù)雜度卻沒有增加。張鈴證明了核函數(shù)存

35、在性定理，并提出了尋找核函數(shù)的算法。核函數(shù)存在性定理表明：給定一個訓(xùn)練樣本集，就一定存在一個相應(yīng)的函數(shù)，訓(xùn)練樣本通過該函數(shù)映射到高維特征空間的相是線性可分的。進一步研究了支持矢量機的支持向量集與核函數(shù)的關(guān)系，研究表明對非線性可分情況，對一個特定的核函數(shù)，給定的樣本集中的任意一個樣本都可能成為一個支持向量。這意味這在一個支持向量機下觀察到的特征在其它支持向量機下（其它核函數(shù)）并不能保持。因此，對解決具體問題來說，選擇合適的核函數(shù)使很重要的。svm 由訓(xùn)練樣本集和核函數(shù)完全描述，因此采用不同的核函數(shù)就可以構(gòu)造實現(xiàn)輸入空間中不同類型的非線性決策面的學(xué)習(xí)機，導(dǎo)致不同的支持向量算法。本課題研究的幾種核函

36、數(shù)如下：線性內(nèi)核 多項式內(nèi)核 徑向基函數(shù)內(nèi)核 bsplines內(nèi)核 2.4 支持向量回歸算法2.4.1 支持向量回歸的算法的基礎(chǔ)1. 尋求方向約束最優(yōu)化的一種方法是在可行空間按一定的方向逐步搜索，逼真最優(yōu)點，這就涉及到尋求最優(yōu)方向的問題。對給定問題的可行域s中點x，對于某個非零n維向量存在，當(dāng)時使得：的方向被稱為x處的尋優(yōu)方向，而對于正定的歸整約束，理論上可保證在一定的迭代次數(shù)后收斂。2. 對偶差另一種約束最優(yōu)化的方法是從對偶理論入手，利用對偶差和kkt條件來尋找最優(yōu)點。對于可行的主變量和對偶變量，凸最小化問題的主目標函數(shù)的解常常比(凸最大化的)對偶目標函數(shù)的解要大。當(dāng)且僅當(dāng)在最優(yōu)化解處這兩個

37、解才相等。因此對偶差常被作為衡量目標函數(shù)變量的當(dāng)前解和最優(yōu)解距離的一種度量，此理論來自lagrange函數(shù)的鞍點特性。以此為基礎(chǔ)的算法則通過逐步加強kkt條件，并通過對偶差來進行評估，來逼真最優(yōu)點。3. 不敏感損失函數(shù) 支持向量機方法是從解決模式識別問題發(fā)展起來的，在支持向量分類機中，一般來說，可以用少量的支持向量來表示決策函數(shù)，即具有稀疏性。當(dāng)把該方法推廣到回歸問題時，很重要的一點就是希望找到合適的支持向量回歸(svr)算法，仍然保持這個性質(zhì)。從上述回歸問題的數(shù)學(xué)提法可以看出，為建立算法，需要選擇適當(dāng)?shù)膿p失函數(shù)?，F(xiàn)介紹回歸估計中最常見的一種損失函數(shù)，它可以保持稀疏性。不敏感損失函數(shù)其中 ，這

38、里是事先取定的一個正數(shù)，不敏感損失函數(shù)的含義是，當(dāng)x點的觀測值y與預(yù)測值之差不超過給定的時，則認為在該點的預(yù)測值是無損失的，盡管預(yù)測值和觀測值y可能并不完全相等，如下面損失函數(shù)圖像2-1所示。圖2-1損失函數(shù)圖象如果為單變量線性函數(shù) ,當(dāng)樣本點位于兩條虛線之間的帶子里時，則認為在該點沒有損失，我們稱兩條虛線構(gòu)成的帶子為帶。只有當(dāng)樣本點位于帶之外時，才有損失出現(xiàn)，例如，下圖2-2中處的損失為圖2-2不敏感損失帶容易看出，不敏感損失函數(shù)有一個特點：對樣本點來說，存在著一個不為目標函數(shù)提供任何損失值的區(qū)域，即帶。這個特點是其他許多損失函數(shù)并不具備的。我們可以期望，在帶內(nèi)的樣本點，不會出現(xiàn)在決策函數(shù)中

39、。2.4.2 回歸算法利用核函數(shù)將輸入數(shù)據(jù)映射到高維特征空間 ( 通常是無限維)，在特征空間實現(xiàn)線性回歸，估計函數(shù)具有如下形式：這里，映射到特征空間，表示特征空間中的內(nèi)積，且為從訓(xùn)練數(shù)據(jù)集d估計函數(shù)，典型的支持向量回歸最小化正則化風(fēng)險泛函： 這里正則化參數(shù)為正數(shù)，損失函數(shù)選擇為不敏感損失函數(shù)，形式如下：可以通過解二次規(guī)劃的優(yōu)化問題來最小化正則化風(fēng)險泛函。解可以表達為在特征空間與函數(shù)的線性組合有關(guān)的形式：這里系數(shù)通過解二次規(guī)劃問題確定，對于的點稱為支持向量。核函數(shù)對應(yīng)映射到特征空間的數(shù)據(jù)的內(nèi)積，即：核函數(shù)可以是任意滿足mercer條件的對稱函數(shù)，因此，估計函數(shù)也可以具有如下形式：因此支持向量的拓

40、撲結(jié)構(gòu)如下圖2-3所示：圖2-3支持向量回歸拓撲圖對于，試圖求解如下有約束的二次規(guī)劃問題：這里c是待確定的常數(shù)，是松弛變量，同時首先要先設(shè)定的值。2.4.3 關(guān)于算法的幾點說明1. 算法的收斂性說明根據(jù)osuna的理論，在實現(xiàn)算法中每一步迭代都將減少目標函數(shù)的值，進而保證了算法的收斂性。并且在算法中利用了許多策略和一些啟發(fā)式規(guī)則來進行聯(lián)合優(yōu)化，進一步充分保證了算法的收斂速度。2. 算法元素掃描啟發(fā)式規(guī)則對于非敏感損失函數(shù)，kkt條件為：和由此進一步推出關(guān)于取值的三種情形： 數(shù)據(jù)位于誤差帶外 數(shù)據(jù)位于誤差帶上 數(shù)據(jù)位于誤差帶內(nèi)3. 算法中的關(guān)于kkt條件的判斷便是依據(jù)上面三式外循環(huán)首先在整個數(shù)據(jù)

41、集合上掃描違反kkt條件的元素，當(dāng)在整個數(shù)據(jù)集合上掃描一遍之后，外循環(huán)開始在非邊界元素(lagrange乘子不為0和c)集合上掃描違反kkt條件的元素，直至所有非邊界元素都以的精度滿足kkt條件。然后外循環(huán)重新在整個數(shù)據(jù)集合上掃描。外循環(huán)如此交替在整個數(shù)據(jù)集合上進行一次掃描和在非邊界元素集合上進行多遍掃描，直至算法終止。4. 算法的效率在算法運行過程中，cpu的時間集中在最有可能違反kkt條件的元素集合，邊界元素可能停留在邊界，而非邊界元素將會在其它元素被優(yōu)化的同時向邊界移動。若算法在非邊界元素集合上迭代直至此集合自相容，然后再在整個集合上掃描尋找在非邊界元素優(yōu)化的同時變?yōu)檫`反kkt條件的邊界

42、元素。這樣可保證算法的效率。第3章 基于matlab實現(xiàn)svr的總體設(shè)計3.1 總體設(shè)計思想支持向量回歸的最終就是尋求一目標函數(shù)，并使得其損失函數(shù)的數(shù)學(xué)期望最小，這樣才能得到最準確的回歸曲線以反映訓(xùn)練集的數(shù)據(jù)走向趨勢。該回歸算法主要解決非線形回歸預(yù)測問題，對訓(xùn)練集采用線性、非線性核函數(shù)進行回歸。通過對各種參數(shù)的設(shè)置得到不同性能的回歸曲線，以便于熟悉其中參數(shù)對回歸算法的影響。3.2 功能模塊的劃分及相關(guān)流程圖3.2.1 主要功能模塊的劃分從總體上說，按照需求分析，可以把要實現(xiàn)的功能劃分為三個主要的功能模塊：1 gui圖形用戶界面模塊，即系統(tǒng)的主界面。2實驗簡介模塊，簡單說明各個函數(shù)的功能。3支持

43、向量回歸模型設(shè)計的實驗?zāi)K，實現(xiàn)支持向量回歸的各種功能(手動創(chuàng)建數(shù)據(jù)集、裝載現(xiàn)有的數(shù)據(jù)集、設(shè)置各種相應(yīng)的參數(shù)、保存數(shù)據(jù)集、進行回歸演示)。3.2.2 實現(xiàn)程序的主要框架圖下圖3-1中說明了程序設(shè)計的總體框圖，并沒有把所有的函數(shù)列出來，只是列出了主要的程序。svr.m：實現(xiàn)用戶圖形界面模塊(主界面)。about.m：查看系統(tǒng)的各實現(xiàn)功能的簡單說明。uiregress.m：實現(xiàn)了支持向量回歸的演示實驗?zāi)K。svr.m：支持向量回歸的計算。svrplot.m：一維空間回歸作圖問題。svroutput.m：輸出與輸入之間的轉(zhuǎn)化計算 。svrerror.m：輸入，輸出異常 。svkernel.m：內(nèi)核函

44、數(shù)。圖 3-1 程序框圖3.2.3 支持向量回歸模型的流程圖 支持向量回歸模型的總流程圖如圖3-2所示。圖3-2 支持向量回歸模型總的流程圖第4章 基于支持向量回歸模型的實現(xiàn)4.1模型的功能描述本課題是基于支持向量回歸模型的設(shè)計與實現(xiàn)，已經(jīng)按照需求實現(xiàn)了各種功能。具體實現(xiàn)的功能如下：1) 創(chuàng)建一個gui圖形用戶界面即主界面，主界面按鈕及菜單功能描述如下：按鈕功能介紹設(shè)置路徑：在matlab中，運行任何的文件都必須位于當(dāng)前路徑或搜索路徑內(nèi)。此按鈕將當(dāng)前目錄下的子目錄添加為搜索路徑，使得子目錄中的文件可以被當(dāng)前目錄中的文件調(diào)用運行。否則，系統(tǒng)將不能正常工作。由于本實驗的各個函數(shù)在包含在一個文件夾中

45、因而也可以不設(shè)置路徑。進入實驗簡介：簡單了解svr，查看各個函數(shù)要實現(xiàn)的基本功能。進入支持向量回歸模型演示實驗：進行回歸模型演示（具體的各個功能塊見下(2)中有詳細介紹）。 退出實驗：退出系統(tǒng)。該主界面點擊實驗簡介或演示實驗都將出現(xiàn)動態(tài)的等待進度條，此功能沒有實際用途但可以使設(shè)計美觀。2) 通過編寫m文件uiregress.m文件，實現(xiàn)顯示支持矢量機機器學(xué)習(xí)模型的功能。 (1)下拉式菜單核函數(shù)的選?。河脩敉ㄟ^此菜單選擇一個核函數(shù)，然后進行回歸實驗。 (2)編輯框輸入?yún)?shù)值懲罰系數(shù)c，其初始值設(shè)定為20，設(shè)置值一般大于0.1，對于該參數(shù)對回歸性能的影響在后面說明。不敏感系數(shù)，其初始值設(shè)為0.01

46、，參數(shù)對回歸性能的影響也在后面介紹。 (3)編輯框顯示信息顯示統(tǒng)計支持向量的個數(shù)，回歸性能。 (4)按鈕裝載數(shù)據(jù)：進行已存在數(shù)據(jù)文件的裝載。數(shù)據(jù)輸入：用戶手動創(chuàng)建數(shù)據(jù)，用鼠標點擊將在坐標軸上產(chǎn)生點集。清除數(shù)據(jù)：用戶想清除當(dāng)前數(shù)據(jù)時點擊該按鈕，以便重新創(chuàng)建數(shù)據(jù)集。保存數(shù)據(jù)：對創(chuàng)建的數(shù)據(jù)保存，以便下一次直接裝載調(diào)用?；貧w：對創(chuàng)建的數(shù)據(jù)集或裝載的數(shù)據(jù)集進行回歸，得到回歸曲線。3) matlab命令窗口 在命令窗口我們將會獲得算法運行時間，支持向量的個數(shù)，回歸性能。4.2 運行結(jié)果4.2.1 主界面 運行結(jié)果如下圖4-1所示。圖4-1主界面模塊運行結(jié)果4.2.2功能描述界面運行結(jié)果如下圖4-2所示。圖

47、4-2實驗簡介運行界面4.2.3運行過程及結(jié)果1 支持向量回歸模型實驗運行界面如圖4-3所示。圖4-3 支持向量機回歸模型實驗界面2 手動輸入數(shù)據(jù)，并保存，如下圖4-4所示。圖4-4手動輸入數(shù)據(jù)3 裝載上面保存的數(shù)據(jù)，如下圖4-5所示。圖4-5裝載數(shù)據(jù)裝載aa數(shù)據(jù)文件后的數(shù)據(jù)顯示，如下圖4-6所示。圖4-6裝載數(shù)據(jù)后的顯示結(jié)果3 使用不同的核函數(shù)的回歸結(jié)果（1）線性核函數(shù)線性核函數(shù)的懲罰系數(shù)設(shè)為10，不敏感系數(shù)0.01為，此時支持向量數(shù)24，回歸性能92.3%，如下圖4-7所示。圖4-7回歸結(jié)果圖改變不敏感系數(shù)增大為0.02，此時支持向量個數(shù)為22，回歸性能84.6%，如下圖4-8所示。支持向

48、量數(shù)減少，回歸性能下降。圖4-8改變參數(shù)取值后的回歸圖（2）多項式核函數(shù)多項式核函數(shù)，設(shè)置此時多項式次數(shù)為3，如下圖4-9所示。由回歸結(jié)果看出次數(shù)偏低，性能不是很好。圖4-9選擇多項式核函數(shù)的回歸圖形增大多項式次數(shù)degree為5，并減少不敏感系數(shù)至0.01，回歸性能提高到88.5%，如下圖4-10所示。圖4-10改變參數(shù)取值后的回歸圖形（3）高斯徑向基核函數(shù) 高斯徑向基核函數(shù)sigma(rbf寬度)為0.2懲罰系數(shù)10，不敏感參數(shù)為0.01，此時支持向量的個數(shù)為14，回歸性能53.8%，如下圖4-11所示。圖4-11選擇高斯核函數(shù)的回歸圖形 現(xiàn)增大懲罰系數(shù)c至40，其它參數(shù)不變，支持向量數(shù)增

49、多到15，回歸性能提高到57.7%，如下圖4-12所示。圖4-12改變參數(shù)取值后的回歸圖形降低不敏感系數(shù)至0.001，回歸性能提高到96.2%，如下圖4-13所示。圖4-13改變參數(shù)后的回歸圖形增大不敏感系數(shù)為0.06，回歸性能明顯下降，為38.5%，如下圖4-14所示。圖4-14改變參數(shù)取值后的回歸圖形（4）結(jié)論 本實驗選取了線性核函數(shù)、多項式核函數(shù)和高斯徑向基核函數(shù)，這三個核函數(shù)進行實驗，改變其參數(shù)（懲罰系數(shù)、不敏感系數(shù)、rbf寬度以及多項式次數(shù)），對回歸帶來了明顯的影響。通過此實驗充分的顯示了，不同的核函數(shù)其回歸性能差別，以及其參數(shù)對回歸的影響。4.2.4 命令窗口的顯示結(jié)果 以線性核函

50、數(shù)為例，命令窗口顯示如下圖4-15所示。 圖4-15命令窗口顯示結(jié)果 算法運行時間0.1s，支持向量數(shù)24，性能92.3%。由于手動輸入的訓(xùn)練集數(shù)量相對較少，同時算法的運行效率比較高，所以算法運行時間一般很短。 4. 3系統(tǒng)的性能分析及結(jié)論 支持向量回歸方法性能的好壞往往依賴于核函數(shù)及其寬度系數(shù)，懲罰因子c以及不敏感系數(shù)等參數(shù)的選擇。不敏感系數(shù)原則上反映了svm對數(shù)據(jù)中躁聲幅度的容許界限.為選定適當(dāng)?shù)闹?應(yīng)考慮采集樣本時可能帶有的躁聲分布的狀況.若躁聲服從正態(tài)分布,當(dāng)密度函數(shù)分布較寬(即方差較大)時,宜采用較大的，而當(dāng)分布較窄時，應(yīng)選用較小的。應(yīng)用svm訓(xùn)練時，不敏感系數(shù)的大小控制支持向量個數(shù)

51、的多少，當(dāng)較小時，參與回歸的支持向量將增多，同時訓(xùn)練時間也有所增加。在不敏感系數(shù)過小時，可能導(dǎo)致過擬合；而過大時則可能造成欠擬合。此外，不敏感系數(shù)還控制模型的泛化推廣能力。在實際求解中，的取值過小，支持向量的數(shù)目變化不大，但模型的求解時間將增加。取值過大，其精度降低，推廣性能差。因此，不敏感系數(shù)的取值一般在0.001到0.1之間。懲罰系數(shù)c的選擇也將影響回歸函數(shù)的擬合精度與預(yù)報能力，通常擬合誤差隨c的增大而下降，但下降的速度也越來越小，當(dāng)c增至一定值后，其下降將漸平緩，幾乎不再隨c的增大而減小。因是svm只要求擬合誤差超過允許精度的部分降至最小所致。同時，預(yù)測誤差也將隨懲罰系數(shù)c的增大而下降，

52、但并非單調(diào)，當(dāng)c增大到一定值后，預(yù)測誤差也可能有所上升，這也是過擬合所致。另外訓(xùn)練時間也將隨c的增加而上升。通過將映射函數(shù)內(nèi)積運算替換為核函數(shù)，使輸入數(shù)據(jù)映射到高維空間中進行線性擬合來得到非線性回歸函數(shù)。因此，對于非線性問題還存在核函數(shù)及其參數(shù)的影響。下面對使用幾種常見的核函數(shù)的參數(shù)對回歸性能的影響比較：表4-1線性核函數(shù)懲罰系數(shù)c不敏感系數(shù)輸入向量個數(shù)支持向量個數(shù)回歸性能 10001262492.3%100005262596.2%10005262596.2%0.500052626100%結(jié)論：隨著不敏感系數(shù)的減少(在一定的范圍內(nèi))支持向量的個數(shù)增多，回歸性能下降。懲罰系數(shù)c從0.5增至1，其

53、支持向量個數(shù)減少，性能下降。表4-2多項式核函數(shù)多項式次數(shù)懲罰系數(shù)c不敏感系數(shù)輸入向量個數(shù)支持向量個數(shù)回歸性能 3100.0012626100%310001262388.5%410001262492.3%510001262388.5%結(jié)論：從表中可以看出不敏感系數(shù)的增大，支持向量個數(shù)減少，對應(yīng)回歸性能下降。多項式次數(shù)的選擇要看數(shù)據(jù)的分布，并不是次數(shù)越高，回歸性能越好。表4-3高斯徑向基核函數(shù) 徑向基寬度懲罰系數(shù)c不敏感系數(shù)輸入向量個數(shù)支持向量個數(shù)回歸性能 0110001262076.9%0310001261765.4%0510001262284.6%110001262492.3%1210001

54、262284.6%12100005262492.3%結(jié)論：由圖可以看出徑向基寬度對性能的影響并不是簡單的單調(diào)遞增或是遞減。徑向基寬度從0.1到0.3再到0.5，其支持向量的個數(shù)先減少再增加。其不敏感系數(shù)從0.01減小到0.005，支持向量個數(shù)增加，回歸性有所提高。第5章 總結(jié)基于支持向量機方法的回歸估計以可控制的精度逼近任一非線性函數(shù)，同時具有全局最優(yōu)、良好的泛化能力等優(yōu)越性能，因此支持向量機的應(yīng)用非常廣泛。目前支持向量機主要應(yīng)用在金融時間序列預(yù)測（如股票預(yù)測、期貨預(yù)測等）和非線性系統(tǒng)參數(shù)辨識、建模與控制等一些方面。本文針對回歸問題，描述了支持向量機的基本方法、理論、回歸算法及當(dāng)前國內(nèi)外對于支

55、持向量回歸的研究內(nèi)容、方向?？偨Y(jié)了設(shè)計支持向量回歸機的模型選擇方面的進展。模型選擇包括核函數(shù)的選擇、模型正則化參數(shù)c、不敏感參數(shù)等方面內(nèi)容。核函數(shù)的選擇是支持向量機理論研究的一個核心問題。在實際應(yīng)用中, rbf核函數(shù)是目前在支持向量機中被應(yīng)用得最廣泛的一種核函數(shù)。對于初學(xué)者來說, rbf 核無疑是優(yōu)先考慮的核函數(shù)之一。當(dāng)然, 在實際應(yīng)用中也可以采用多種核函數(shù)進行比較研究, 通過模型的性能指標, 選出推廣性能最優(yōu)的一種核函數(shù)。在固定的核函數(shù)情況下, 模型參數(shù)的調(diào)整與確定又成為支持向量回歸機設(shè)計的關(guān)鍵一環(huán)。模型參數(shù)調(diào)整方法包括經(jīng)驗方法和理論方法等方面。最后還對幾種常見的核函數(shù)的不同參數(shù)、回歸模型的參數(shù)對支持向量個數(shù)和回歸性能做了比較。如何針對特定問題, 選擇最佳的核函數(shù)和最優(yōu)的一組模型參數(shù)仍是一個難以解決的問題。模型選擇的標準作為支持向量機及其應(yīng)用的核心內(nèi)容之一, 有待進一步研究。致 謝一轉(zhuǎn)眼，大學(xué)四年已經(jīng)接近尾聲了，當(dāng)自己懷著忐忑不安的心情完成這篇畢業(yè)論文的時候，自己也從當(dāng)年一個懵懂的孩子變成了一個成熟的青年，回想自己的十幾年的求學(xué)生涯，滿足，充實，是一個結(jié)束，更是一個新的開始。首先，從小學(xué)到大學(xué)