版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、第三講第三講 核方法核方法 支持向量機(jī)中的核方法支持向量機(jī)中的核方法 相似性度量與內(nèi)積相似性度量與內(nèi)積 核方法的作用與地位核方法的作用與地位 常用的核函數(shù)常用的核函數(shù) 從不同的角度看核函數(shù)從不同的角度看核函數(shù) 核函數(shù)的構(gòu)造與選擇核函數(shù)的構(gòu)造與選擇支持向量機(jī)的核方法支持向量機(jī)的核方法支持向量機(jī)的核方法支持向量機(jī)的核方法2, ,11m in | |2. . ( , ( ) 10,1 , ,iliwbiiiiiwCST y w xbil 11111m in( , )2. .0,01 , ,lllij ijijiiiili iiiyyKx xSTyCil對(duì)偶模型這里這里K(xi,xj)=(xi),(x
2、j)是樣本是樣本xi,xj在特征在特征空間中的內(nèi)積,稱為輸入空間空間中的內(nèi)積,稱為輸入空間X上的核函數(shù)上的核函數(shù)正定核)。正定核)。相似性度量與內(nèi)積相似性度量與內(nèi)積 兩點(diǎn)的相似問(wèn)題 三點(diǎn)相似性問(wèn)題|(,)( , )2( , )( , )( , )( , )cos =| |( , ) ( , )xxxx xxx xx xx xx xx xxxx xx x按距離度量:按角度度量:xxxm| |sgn(, ),()/2xxxxwxmyxm wwxx mxx與成銳角這里結(jié)論:常用的相似性度量都可按內(nèi)積獲得結(jié)論:常用的相似性度量都可按內(nèi)積獲得核方法的作用與地位核方法的作用與地位 作用 提高樣本的線性可分
3、性; 刻畫(huà)樣本的相似性:內(nèi)積是描述相似性的一個(gè)工具,它主要是從角度來(lái)刻畫(huà)樣本的相似性。 位置 決定了SVM的非線性處理能力,在SVM中占據(jù)著舉足輕重的地位,是SVM的熱點(diǎn)和難點(diǎn)。 2019年11月27-28日,在比利時(shí)的布魯塞爾召開(kāi)了“International Workshop on Current Challenges in Kernel Methods (CCKM06)”,國(guó)際許多著名學(xué)者,如Schlkopf, Christmann, Cristianini等都在此次會(huì)上發(fā)表了主題演講,提出了核方法面臨的挑戰(zhàn)和未來(lái)的發(fā)展方向 常用的核函數(shù)常用的核函數(shù) 高斯徑向基核: 多項(xiàng)式核: B-樣條
4、核: 富里葉核: Sigmoid核:22( , )exp( | /)k x xxx( , )( , ) ,0,dk x xx xccd為正整數(shù)從不同的角度看核函數(shù)從不同的角度看核函數(shù) 從核函數(shù)本身的機(jī)理出發(fā) 核函數(shù)看成一個(gè)特殊的積分算子(Mercer核的原始定義) 核函數(shù)對(duì)應(yīng)一個(gè)再生的Hilbert空間(RKHS) 從數(shù)據(jù)出發(fā):將核函數(shù)看成一個(gè)矩陣算子核函數(shù)看成積分算子再生核Hilbert空間(RKHS)核函數(shù)看成矩陣算子核函數(shù)的構(gòu)造與選擇 構(gòu)造原則由簡(jiǎn)單核構(gòu)造復(fù)雜核 一些思路構(gòu)造原則由簡(jiǎn)單核構(gòu)造復(fù)雜核1 122121233( , )( , )( , )( , ),0( , )( , )( ,
5、 );( )( , )( ) ( )( ,),( ),( , )( (nnk x xk x xk x xkx xk x xk x x kx xf xRk x xf x f xkxRk x xkx mmm(1)是上的核函數(shù),則下面的函數(shù)都是核: (2)若是上的實(shí)值函數(shù),則是上的核函數(shù);(3)若是RR 上的核函數(shù)且是從到R 的映射 則XXXXXXnnnn), ( ),( , )TxBnnk x xx Bx是RR 上的核.特別地,若 是半正定對(duì)稱矩陣 則是RR 上的核。一些思路核矩陣的構(gòu)造基核矩陣的選擇規(guī)則?自己最近的一個(gè)工作核與屬性的重要性相聯(lián)系,例如核與樣本的重要性相聯(lián)系,例如11|0,()mm
6、iiiiiiiKKtraceKc1( , )miiiik x xx x022( , )( )( )( , ),( )exp | /iii SVk x xD x D x kx xD xxx基核矩陣的秩空間差異性 學(xué)習(xí)核矩陣學(xué)習(xí)核矩陣 矩陣的秩空間差異性矩陣的秩空間差異性 選則基核矩陣的規(guī)則選則基核矩陣的規(guī)則 半導(dǎo)師問(wèn)題中的半導(dǎo)師問(wèn)題中的Gram矩陣學(xué)習(xí)問(wèn)題矩陣學(xué)習(xí)問(wèn)題 學(xué)習(xí)核矩陣學(xué)習(xí)核矩陣矩陣的秩空間差異性矩陣的秩空間差異性(1)矩陣的秩空間差異性矩陣的秩空間差異性(2)矩陣的秩差異性矩陣的秩差異性(3)矩陣的秩空間差異性矩陣的秩空間差異性(4)選則基核矩陣的規(guī)則選則基核矩陣的規(guī)則(1)選則基核矩陣的規(guī)則選則基核矩陣的規(guī)則(2)半導(dǎo)師問(wèn)題中的Gram矩陣學(xué)習(xí)問(wèn)題 模型 算法 實(shí)驗(yàn) 結(jié)論半導(dǎo)師問(wèn)題中的Gram矩陣學(xué)習(xí)模型(1)半導(dǎo)師問(wèn)題中的Gram矩陣學(xué)習(xí)模型(2)算法(1)算法(2)實(shí)驗(yàn)(1)實(shí)驗(yàn)(2)實(shí)驗(yàn)(3)結(jié)論 從Tab.1和Tab.2可以看到,隨著基核矩陣的秩空間差異性的提高,不論對(duì)人工數(shù)據(jù)集,還是標(biāo)準(zhǔn)數(shù)據(jù)集,特征空間中兩
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 暑期社會(huì)實(shí)踐活動(dòng)報(bào)告
- 珠峰隊(duì)長(zhǎng)觀后感
- 氣體運(yùn)輸安全協(xié)議書(shū)(3篇)
- 青廉說(shuō)活動(dòng)方案6篇
- 臘肉銷售合同范本
- 訪談?wù){(diào)查報(bào)告范文
- 暑假散學(xué)典禮主持詞
- 膝-半月板損傷的MRI表現(xiàn)課件
- 校園安全工作制度30
- 青海省西寧市大通一中學(xué)2024屆中考數(shù)學(xué)適應(yīng)性模擬試題含解析
- 公共資源交易培訓(xùn)課件
- 意識(shí)形態(tài)培訓(xùn)課件
- 主材控制方案
- JBT 1472-2023 泵用機(jī)械密封 (正式版)
- 小學(xué)信息技術(shù)《信息的輸入和輸出》課件
- 近五年高考三視圖匯編
- 航空公司生產(chǎn)崗位考試題
- 治安保衛(wèi)業(yè)務(wù)技能培訓(xùn)
- 高一上學(xué)期必修中外歷史綱要上必背知識(shí)點(diǎn)
- 干部考核工作培訓(xùn)課件
- 《五線譜簡(jiǎn)易識(shí)譜》課件
評(píng)論
0/150
提交評(píng)論