第四講 核方法ppt課件

1、第三講第三講 核方法核方法 支持向量機(jī)中的核方法支持向量機(jī)中的核方法 相似性度量與內(nèi)積相似性度量與內(nèi)積 核方法的作用與地位核方法的作用與地位 常用的核函數(shù)常用的核函數(shù) 從不同的角度看核函數(shù)從不同的角度看核函數(shù) 核函數(shù)的構(gòu)造與選擇核函數(shù)的構(gòu)造與選擇支持向量機(jī)的核方法支持向量機(jī)的核方法支持向量機(jī)的核方法支持向量機(jī)的核方法2, ,11m in | |2. . ( , ( ) 10,1 , ,iliwbiiiiiwCST y w xbil 11111m in( , )2. .0,01 , ,lllij ijijiiiili iiiyyKx xSTyCil對(duì)偶模型這里這里K(xi,xj)=(xi),(x

2、j)是樣本是樣本xi,xj在特征在特征空間中的內(nèi)積，稱為輸入空間空間中的內(nèi)積，稱為輸入空間X上的核函數(shù)上的核函數(shù)正定核）。正定核）。相似性度量與內(nèi)積相似性度量與內(nèi)積 兩點(diǎn)的相似問(wèn)題 三點(diǎn)相似性問(wèn)題|(,)( , )2( , )( , )( , )( , )cos =| |( , ) ( , )xxxx xxx xx xx xx xx xxxx xx x按距離度量：按角度度量：xxxm| |sgn(, ),()/2xxxxwxmyxm wwxx mxx與成銳角這里結(jié)論：常用的相似性度量都可按內(nèi)積獲得結(jié)論：常用的相似性度量都可按內(nèi)積獲得核方法的作用與地位核方法的作用與地位 作用 提高樣本的線性可分

3、性； 刻畫(huà)樣本的相似性：內(nèi)積是描述相似性的一個(gè)工具，它主要是從角度來(lái)刻畫(huà)樣本的相似性。 位置 決定了SVM的非線性處理能力，在SVM中占據(jù)著舉足輕重的地位，是SVM的熱點(diǎn)和難點(diǎn)。 2019年11月27-28日，在比利時(shí)的布魯塞爾召開(kāi)了“International Workshop on Current Challenges in Kernel Methods (CCKM06)”，國(guó)際許多著名學(xué)者，如Schlkopf, Christmann, Cristianini等都在此次會(huì)上發(fā)表了主題演講，提出了核方法面臨的挑戰(zhàn)和未來(lái)的發(fā)展方向 常用的核函數(shù)常用的核函數(shù) 高斯徑向基核： 多項(xiàng)式核： B-樣條

4、核： 富里葉核： Sigmoid核：22( , )exp( | /)k x xxx( , )( , ) ,0,dk x xx xccd為正整數(shù)從不同的角度看核函數(shù)從不同的角度看核函數(shù) 從核函數(shù)本身的機(jī)理出發(fā) 核函數(shù)看成一個(gè)特殊的積分算子(Mercer核的原始定義） 核函數(shù)對(duì)應(yīng)一個(gè)再生的Hilbert空間(RKHS) 從數(shù)據(jù)出發(fā)：將核函數(shù)看成一個(gè)矩陣算子核函數(shù)看成積分算子再生核Hilbert空間(RKHS)核函數(shù)看成矩陣算子核函數(shù)的構(gòu)造與選擇 構(gòu)造原則由簡(jiǎn)單核構(gòu)造復(fù)雜核 一些思路構(gòu)造原則由簡(jiǎn)單核構(gòu)造復(fù)雜核1 122121233( , )( , )( , )( , ),0( , )( , )( ,

5、 );( )( , )( ) ( )( ,),( ),( , )( (nnk x xk x xk x xkx xk x xk x x kx xf xRk x xf x f xkxRk x xkx mmm(1)是上的核函數(shù),則下面的函數(shù)都是核: (2)若是上的實(shí)值函數(shù),則是上的核函數(shù);(3)若是RR 上的核函數(shù)且是從到R 的映射 則XXXXXXnnnn), ( ),( , )TxBnnk x xx Bx是RR 上的核.特別地,若 是半正定對(duì)稱矩陣 則是RR 上的核。一些思路核矩陣的構(gòu)造基核矩陣的選擇規(guī)則？自己最近的一個(gè)工作核與屬性的重要性相聯(lián)系，例如核與樣本的重要性相聯(lián)系，例如11|0,()mm

6、iiiiiiiKKtraceKc1( , )miiiik x xx x022( , )( )( )( , ),( )exp | /iii SVk x xD x D x kx xD xxx基核矩陣的秩空間差異性 學(xué)習(xí)核矩陣學(xué)習(xí)核矩陣 矩陣的秩空間差異性矩陣的秩空間差異性 選則基核矩陣的規(guī)則選則基核矩陣的規(guī)則 半導(dǎo)師問(wèn)題中的半導(dǎo)師問(wèn)題中的Gram矩陣學(xué)習(xí)問(wèn)題矩陣學(xué)習(xí)問(wèn)題 學(xué)習(xí)核矩陣學(xué)習(xí)核矩陣矩陣的秩空間差異性矩陣的秩空間差異性(1)矩陣的秩空間差異性矩陣的秩空間差異性(2)矩陣的秩差異性矩陣的秩差異性(3)矩陣的秩空間差異性矩陣的秩空間差異性(4)選則基核矩陣的規(guī)則選則基核矩陣的規(guī)則(1)選則基核矩陣的規(guī)則選則基核矩陣的規(guī)則(2)半導(dǎo)師問(wèn)題中的Gram矩陣學(xué)習(xí)問(wèn)題 模型 算法 實(shí)驗(yàn) 結(jié)論半導(dǎo)師問(wèn)題中的Gram矩陣學(xué)習(xí)模型(1)半導(dǎo)師問(wèn)題中的Gram矩陣學(xué)習(xí)模型(2)算法(1)算法(2)實(shí)驗(yàn)(1)實(shí)驗(yàn)(2)實(shí)驗(yàn)(3)結(jié)論 從Tab.1和Tab.2可以看到，隨著基核矩陣的秩空間差異性的提高，不論對(duì)人工數(shù)據(jù)集，還是標(biāo)準(zhǔn)數(shù)據(jù)集，特征空間中兩