《機(jī)器學(xué)習(xí)項(xiàng)目案例開發(fā)》課件 15.支持向量機(jī)

人工智能技術(shù)與應(yīng)用6.支持向量機(jī)課程概況—基本情況PART01支持向量機(jī)線性可分支持向量機(jī)線性不可分支持向量機(jī)非線性支持向量機(jī)線性可分支持向量機(jī)支持向量機(jī)(SupportVectorMachine)：要解決的問(wèn)題：什么樣的決策邊界才是最好的呢？支持向量機(jī)(SupportVectorMachine)，通常縮寫為SVM，是一種用于回歸和分類的監(jiān)督學(xué)習(xí)算法，但更常用于分類。SVM在各種設(shè)置下均表現(xiàn)出色，通常被認(rèn)為是最好的“開箱即用”分類器。個(gè)體支持向量機(jī)(SupportVectorMachine)：求解決策邊界：選出來(lái)離雷區(qū)最遠(yuǎn)的（雷區(qū)就是邊界上的點(diǎn)，要LargeMargin）線性可分支持向量機(jī)線性可分支持向量機(jī)：線性可分支持向量機(jī)距離的計(jì)算：目的：讓機(jī)器學(xué)習(xí)效果線性可分支持向量機(jī)數(shù)據(jù)標(biāo)簽定義：數(shù)據(jù)集：(X1,Y1)(X2,Y2)…(Xn,Yn)Y為樣本的類別：當(dāng)X為正例時(shí)候Y=+1當(dāng)X為負(fù)例時(shí)候Y=-1決策方程：線性可分支持向量機(jī)優(yōu)化目標(biāo)：（實(shí)際問(wèn)題轉(zhuǎn)為數(shù)學(xué)問(wèn)題，優(yōu)化化簡(jiǎn)）通俗解釋：找到一個(gè)條線（w和b），使得離該線最近的點(diǎn)（雷區(qū)）能夠最遠(yuǎn)將點(diǎn)到直線的距離化簡(jiǎn)得：（由于所以將絕對(duì)值展開原始依舊成立）

線性可分支持向量機(jī)目標(biāo)函數(shù)：（實(shí)際問(wèn)題轉(zhuǎn)為數(shù)學(xué)問(wèn)題，優(yōu)化化簡(jiǎn)）放縮變換：對(duì)于決策方程（w,b）可以通過(guò)放縮使得其結(jié)果值|Y|>=1：優(yōu)化目標(biāo)：min求最近的點(diǎn)，在找什么樣的w和b使得距離最大由于，只需要考慮

線性可分支持向量機(jī)目標(biāo)函數(shù)：（實(shí)際問(wèn)題轉(zhuǎn)為數(shù)學(xué)問(wèn)題，優(yōu)化化簡(jiǎn)）當(dāng)前目標(biāo)：約束條件：

將求解極大值問(wèn)題轉(zhuǎn)換成極小值問(wèn)題如何求解：應(yīng)用拉格朗日乘子法求解

線性可分支持向量機(jī)線性支持向量機(jī)：（soft-margin）軟間隔：有時(shí)候數(shù)據(jù)中有一些噪音點(diǎn)，如果考慮它們?cè)蹅兊木€就不太好了：之前的方法要求要把兩類點(diǎn)完全分得開，這個(gè)要求有點(diǎn)過(guò)于嚴(yán)格了，我們來(lái)放松一點(diǎn)！為了解決該問(wèn)題，引入松弛因子線性支持向量機(jī)線性支持向量機(jī)：（soft-margin）當(dāng)數(shù)據(jù)線性不可分，則增加松弛因子，使得函數(shù)間隔加上松弛變量大于等于1，這樣，約束條件變成目標(biāo)函數(shù)當(dāng)C趨近于很大時(shí)：意味著分類嚴(yán)格不能有錯(cuò)誤當(dāng)C趨近于很小時(shí)：意味著可以有更大的錯(cuò)誤容忍C是我們需要指定的一個(gè)參數(shù)！線性支持向量機(jī)損失函數(shù)線性支持向量機(jī)非線性支持向量機(jī)：核函數(shù)非線性支持向量機(jī)非線性支持向量機(jī)：核函數(shù)非線性支持向量機(jī)非線性支持向量機(jī)：高斯核函