機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第6章 支持向量機(jī)

第六章支持向量機(jī)支持向量機(jī)（SupportVectorMachine，SVM）是一種常用的監(jiān)督學(xué)習(xí)算法，主要用于分類和回歸任務(wù)。其基本思想是在特征空間中找到一個(gè)最優(yōu)超平面，能夠?qū)⒉煌悇e的樣本點(diǎn)盡可能地分開，并且使支持向量到超平面的距離最大化。在支持向量機(jī)（SVM）中，有幾種常用的方法和變體，如：線性支持向量機(jī)（LinearSVM）、非線性支持向量機(jī)（NonlinearSVM）、多類別支持向量機(jī)（Multi-classSVM）及支持向量回歸（SupportVectorRegression，SVR），用于解決不同類型的分類和回歸問題。16.1算法概述線性支持向量機(jī)（LinearSVM）：基于線性可分的假設(shè)，在特征空間中尋找一個(gè)最優(yōu)超平面，能夠最大化不同類別的樣本點(diǎn)之間的間隔。非線性支持向量機(jī)（NonlinearSVM）：適用于數(shù)據(jù)集在原始特征空間中無法線性分割的情況。它使用核函數(shù)（如多項(xiàng)式核、高斯核）將樣本映射到高維特征空間，從而找到一個(gè)非線性的最優(yōu)超平面。26.1算法概述多類別支持向量機(jī)（Multi-classSVM）：常見的方法是使用“一對(duì)一”（One-vs-One）策略，將每個(gè)類別與其他類別進(jìn)行兩兩比較，構(gòu)建多個(gè)二分類器。另一種方法是使用“一對(duì)其余”（One-vs-Rest）策略，將每個(gè)類別與其他所有類別組合成一個(gè)二分類器。支持向量回歸（SupportVectorRegression，SVR）：其目標(biāo)是找到一個(gè)最優(yōu)超平面，使得樣本點(diǎn)盡可能地落在超平面的附近區(qū)域內(nèi)，并且最小化間隔內(nèi)的誤差。支持向量回歸能夠處理非線性回歸問題，并具有一定的抗噪能力。36.2線性可分支持向量機(jī)及其對(duì)偶算法右圖假設(shè)訓(xùn)練數(shù)據(jù)集是線性可分的，能將訓(xùn)練樣本分開的劃分超平面可能有很多，應(yīng)該選取哪一個(gè)呢？

0圖6-1

存在多個(gè)劃分超平面

4

6.2線性可分支持向量機(jī)及其對(duì)偶算法

0

圖6-2

支持向量與間隔5

6.2線性可分支持向量機(jī)及其對(duì)偶算法6

6.2線性可分支持向量機(jī)及其對(duì)偶算法7

6.2線性可分支持向量機(jī)及其對(duì)偶算法8

6.2線性可分支持向量機(jī)及其對(duì)偶算法9

6.2線性可分支持向量機(jī)及其對(duì)偶算法10

6.2線性可分支持向量機(jī)及其對(duì)偶算法

11

6.3線性支持向量機(jī)0圖6-3樣本近似線性可分

圖6-4支持向量與間隔

12

6.3線性支持向量機(jī)

圖6-4支持向量與間隔13

6.3線性支持向量機(jī)

14

6.3線性支持向量機(jī)

15

6.3線性支持向量機(jī)

166.3線性支持向量機(jī)

176.3線性支持向量機(jī)

186.4非線性支持向量機(jī)

101110

1

圖6-5異或問題圖6-6異或問題映射到三維空間

19

6.4非線性支持向量機(jī)

206.4非線性支持向量機(jī)

216.4非線性支持向量機(jī)

22

6.4非線性支持向量機(jī)

23

6.4非線性支持向量機(jī)

24

6.4非線性支持向量機(jī)

256.5.1線性支持向量機(jī)回歸

0圖6-7線性回歸266.5.1線性支持向量機(jī)回歸

圖6-8支持向量機(jī)回歸

0276.5.1線性支持向量機(jī)回歸

圖6-8支持向量機(jī)回歸

0286.5.1線性支持向量機(jī)回歸

圖6-8支持向量機(jī)回歸

0296.5.1線性支持向量機(jī)回歸

306.5.1線性支持向量機(jī)回歸

316.5.1線性支持向量機(jī)回歸

326.5.1線性支持向量機(jī)回歸

336.5.2非線性支持向量機(jī)回歸

346.5.2非線性支持向量機(jī)回歸

356.5.2非線性支持向量機(jī)回歸

366.6SMO算法

376.6SMO算法

386.6SMO算法

39

6.7

本章小結(jié)本章主要介紹了支持向量機(jī)的基本原理。首先，介紹支持向量機(jī)的基本