《機器學習-Python實戰(zhàn)（微課版）》課件 第七章 支持向量機

第七章支持向量機本章主要講述支持向量機算法的基礎知識、線性以及非線性情況下的支持向量機和支持向量回歸機的算法知識。學習目標通過本章學習可以：支持向量機的基本知識線性可分下的支持向量機線性不可分下的支持向量機支持向量機的核函數(shù)多類分類支持向量機支持向量回歸機支持向量機的基本知識超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機線性可分下的支持向量機線性不可分下的支持向量機非線性支持向量機非線性支持向量機之核函數(shù)多類分類支持向量機支持向量回歸機支持向量機概述支持向量機(SupportVectorMachine，SVM)是一種按照監(jiān)督學習方式對數(shù)據(jù)進行二元分類的廣義線性分類器(generalizedlinearclassifier)，其決策邊界是對學習樣本求解的最大邊距超平面(maximum-marginhyperplane)。與邏輯回歸和神經網絡相比，支持向量機，在學習復雜的非線性方程時提供一種更為清晰，更加強大的方式支持向量機概述算法思想找到集合邊緣上的若干數(shù)據(jù)（稱為支持向量），用這些點找出一個平面（稱為決策面），使得支持向量到該平面距離最大。支持向量機的基本知識超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機線性可分下的支持向量機線性不可分下的支持向量機非線性支持向量機非線性支持向量機之核函數(shù)多類分類支持向量機支持向量回歸機支持向量機概述硬間隔、軟間隔硬間隔軟間隔硬間隔指的是完全分類正確，不能存在分類錯誤情況。軟間隔指的是允許一定量的樣本分類錯誤。支持向量機概述svm算法，就是找一分割線將兩類樣本分開，問題是如圖三條顏色都可以把點和星分開。但哪條最優(yōu)呢？假設一條直線為W?X+b=0為最優(yōu)的分割線，把兩類分開如下圖所示，那我們就要解決的是怎么獲取這條最優(yōu)直線呢?及W和b的值；在SVM中最優(yōu)分割面(超平面)就是：能使支持向量和超平面最小距離的最大值；目標是尋找一個超平面，使得離超平面比較近的點能有更大的間距。也就是我們不考慮所有的點都必須遠離超平面，我們關心求得的超平面能夠讓所有點中離它最近的點具有最大間距。支持向量機概述間隔超平面

如圖所示，支持向量到超平面的距離為d，其他點到超平面距離大于d。每個支持向量到超平面的距離可寫為：支持向量機概述間隔最大化根據(jù)支持向量到超平面的距離d，其他點到超平面距離大于d。于是得到如下公式：我們令d=1（令它為1，為了便于推導和優(yōu)化，且不會影響目標函數(shù)的優(yōu)化）將以上方程合并，簡寫為：至此得到最大間隔超平面的上下兩個超平面：支持向量機的基本知識超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機線性可分下的支持向量機線性不可分下的支持向量機非線性支持向量機非線性支持向量機之核函數(shù)多類分類支持向量機支持向量回歸機支持向量機概述函數(shù)間隔

支持向量機概述幾何距離

支持向量機概述函數(shù)距離VS幾何距離從函數(shù)間隔和幾何間隔的定義可以看出：幾何間隔就是函數(shù)間隔處理||w||,而且函數(shù)間隔y*(wx+b)=y*f(x)實際上是|f(x)|，是人為定義的間隔度量，而幾何間隔|f(x)|/||w||才是直觀上的點到超平面的距離。函數(shù)間隔作用：表示分類預測的正確性的準確度函數(shù)間隔缺點：當w和b成比例改變，超平面沒有改變，但是函數(shù)間隔改變了函數(shù)間隔改進：幾何間隔幾何間隔的特點：當w和b成比例改變，幾何間隔不會改變。函數(shù)間隔和幾何間隔的關系：支持向量機的基本知識超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機線性可分下的支持向量機線性不可分下的支持向量機非線性支持向量機非線性支持向量機之核函數(shù)多類分類支持向量機支持向量回歸機支持向量機概述線性可分下的支持向量機線性可分SVM正負樣本之間的間隔叫做“硬間隔”，也就是說在這個“隔離帶”里面，肯定不會出現(xiàn)任何訓練樣本：若沒有紅圈里那兩個點，可以分割成如下圖：支持向量機的基本知識超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機線性可分下的支持向量機線性不可分下的支持向量機非線性支持向量機非線性支持向量機之核函數(shù)多類分類支持向量機支持向量回歸機支持向量機概述線性不可分下的支持向量機學習的函數(shù)間隔和幾何間隔都是在說樣本的完全線性可分或者大部分樣本點的線性可分。但實際業(yè)務會碰到的一種情況是樣本點不是線性可分的上圖所述的這個數(shù)據(jù)集，是用兩個半徑不同的圓圈加上了少量的噪音生成得到的，所以，一個理想的分界應該是一個“圓圈”而不是一條線（超平面）。這種情況的解決方法就是：將二維線性不可分樣本映射到高維空間中，讓樣本點在高維空間線性可分支持向量機的基本知識超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機線性可分下的支持向量機線性不可分下的支持向量機非線性支持向量機非線性支持向量機之核函數(shù)多類分類支持向量機支持向量回歸機支持向量機概述非線性的支持向量機假設現(xiàn)在你是一個農場主，圈養(yǎng)了一批牛群，但為預防狼群襲擊牛群，你需要搭建一個籬笆來把牛群圍起來。你很可能需要依據(jù)牛群和狼群的位置建立一個“分類器”，比較下圖這幾種不同的分類器，我們可以看到SVM完成了一個很完美的解決方案。支持向量機概述非線性的支持向量機對于在有限維度向量空間中線性不可分的樣本，我們將其映射到更高維度的向量空間里，再通過間隔最大化的方式，學習得到支持向量機，就是非線性SVM。我們將樣本映射到的這個更高維度的新空間叫做特征空間。支持向量機的基本知識超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機線性可分下的支持向量機線性不可分下的支持向量機非線性支持向量機非線性支持向量機之核函數(shù)多類分類支持向量機支持向量回歸機支持向量機概述非線性的支持向量機之核函數(shù)在低維空間計算獲得高維空間的計算結果，滿足高維，才能在高維下線性可分。我們需要引入一個新的概念：核函數(shù)。它可以將樣本從原始空間映射到一個更高維的特質空間中，使得樣本在新的空間中線性可分。這樣我們就可以使用原來的推導來進行計算，只是所有的推導是在新的空間，而不是在原來的空間中進行，即用核函數(shù)來替換當中的內積。支持向量機概述非線性的支持向量機之核函數(shù)核技巧用核函數(shù)替換原來內積即通過一個非線性轉換后的兩個樣本間的內積。具體地，??(??,??)是一個核函數(shù)，或正定核，意味著存在一個從輸入空間到特征空間的映射，對于任意空間輸入的??,??有:支持向量機概述非線性的支持向量機之核函數(shù)在支持向量機學習的對偶問題中，用核函數(shù)K(x,z)替代內積，求解得到就是非線性支持向量機支持向量機概述非線性的支持向量機之核函數(shù)常用核函數(shù)有：線性核函數(shù)：多項式核函數(shù)：高斯核函數(shù)：這三個常用核函數(shù)中，只有高斯核函數(shù)需要調參支持向量機的基本知識超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機線性可分下的支持向量機線性不可分下的支持向量機非線性支持向量機非線性支持向量機之核函數(shù)多類分類支持向量機支持向量回歸機支持向量機概述多類分類支持向量機支持向量機分類算法最初只用于解決二分類問題，缺乏處理多分類問題的能力。后來隨著需求的變化，需要svm處理多分類分為。目前構造多分類支持向量機分類器的方法主要有兩類:“同時考慮所有分類”方法。主要思想是在優(yōu)化公式的同時考慮所有的類別數(shù)據(jù)組合二分類器解訣多分類問題?；舅枷胧峭ㄟ^組合多個二分類器實現(xiàn)對多分類器的構造，常見的構造方法有“一對一”(one-against-one)和“一對其余”(one-against-therest兩種。支持向量機的基本知識超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機線性可分下的支持向量機線性不可分下的支持向量機非線性支持向量機非線性支持向量機之核函數(shù)多類分類支持向量機支持向量回歸機支持向量機概述支持向量回歸機支持向量機(SVM)本身是針對二分類問題提出的，而SVR（支持向量回歸）是SVM（支持向量機）中的一個重要的應用分支。SVR回歸與SVM分類的區(qū)別在于，SVR的樣本點最終只有一類，它所尋求的最優(yōu)超平面不是SVM那樣使兩類或多類樣本點分的“最開”，而是使所有的樣本點離著超平面的總偏差最小。SVM是要使到超平面最近的樣本點的“距離”最大；SVR則是要使到超平面最遠的樣本點的“距離”最小。支持向量機概述支持向量回歸機支持向量機概述支持向量機超參數(shù)

1.（單選）關于支持向量機SVM，下列說法錯誤的是（

）？A.L2正則項，作用是最大化分類間隔，使得分類器有更強的泛化能力B.Hinge