機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第5、6章 線性模型、支持向量機(jī)

第五章線性模型線性模型是機(jī)器學(xué)習(xí)中常用的一種建模方法，它基于線性關(guān)系對輸入特征與輸出目標(biāo)之間的關(guān)系進(jìn)行建模和預(yù)測。線性模型具有簡單且易于解釋的特征權(quán)重，使得我們可以理解每個(gè)特征對輸出的貢獻(xiàn)。而且，線性模型具有良好的可解釋性，可以用于推斷變量之間的關(guān)系和影響程度。15.1線性回歸一元線性回歸假設(shè)因變量和自變量之間存在線性關(guān)系，這個(gè)線性模型所構(gòu)成的空間是一個(gè)超平面（hyperplane）。超平面是n維歐氏空間中余維度等于一的線性子空間，如平面中的直線、空間中的平面等，總比包含它的空間少一維。在一元線性回歸中，一個(gè)維度是因變量，另一個(gè)維度是自變量，總共兩維。因此，其超平面只有一維，就是一條線。25.1.1簡單線性回歸

簡單線性回歸是利用稱為線性回歸方程的最小二乘函數(shù)對一個(gè)或多個(gè)自變量和因變量之間關(guān)系進(jìn)行建模的一種回歸分析。

35.1.1簡單線性回歸

45.1.2多變量線性回歸

直線回歸研究的是一個(gè)因變量與一個(gè)自變量之間的回歸問題。但是，在許多實(shí)際問題中，影響因變量的自變量往往不止一個(gè)，而是多個(gè)。

55.1.2多變量線性回歸

65.1.2多變量線性回歸

因此，線性回歸模型為

75.1.3梯度下降法

梯度下降法(gradientdecent)是一個(gè)最優(yōu)化算法，通常也稱為最速下降法。常用于機(jī)器學(xué)習(xí)和人工智能當(dāng)中用來遞歸性地逼近最小偏差模型。

當(dāng)函數(shù)定義域和取值都在實(shí)數(shù)域中的時(shí)候，導(dǎo)數(shù)可以表示函數(shù)曲線上的切線斜率。除了切線的斜率，導(dǎo)數(shù)還表示函數(shù)在該點(diǎn)的變化率。在一元函數(shù)中，只有一個(gè)自變量變動，不存在偏導(dǎo)數(shù)。偏導(dǎo)數(shù)至少涉及到兩個(gè)自變量，是多元函數(shù)沿不同坐標(biāo)軸的變化率85.1.3梯度下降法

95.1.3梯度下降法

105.1.3梯度下降法

在具體使用梯度下降法的過程中，主要有以下三種：（1）批量梯度下降法

批量梯度下降法針對的是整個(gè)數(shù)據(jù)集，通過對所有的樣本的計(jì)算來求解梯度的方向。（2）小批量梯度下降法

在批量梯度下降法的方式中每次迭代都要使用到所有的樣本，對于數(shù)據(jù)量特別大的情況，如大規(guī)模的機(jī)器學(xué)習(xí)應(yīng)用，每次迭代求解所有樣本需要花費(fèi)大量的計(jì)算成本。（3）隨機(jī)梯度下降法

隨機(jī)梯度下降法可以看成是小批量梯度下降法的一個(gè)特殊的情形，即在隨機(jī)梯度下降法中每次僅根據(jù)一個(gè)樣本對模型中的參數(shù)進(jìn)行調(diào)整，即每個(gè)小批量梯度下降法中只有一個(gè)訓(xùn)練樣本115.1.4多項(xiàng)式回歸

多項(xiàng)式回歸是研究一個(gè)因變量與一個(gè)或多個(gè)自變量間多項(xiàng)式關(guān)系的回歸分析方法。當(dāng)自變量只有一個(gè)時(shí)，稱為一元多項(xiàng)式回歸。

同理當(dāng)自變量有多個(gè)時(shí)，則稱為多元多項(xiàng)式回歸

125.2邏輯回歸

135.2邏輯回歸Sigmoid函數(shù)有一個(gè)非常實(shí)用的性質(zhì)。其導(dǎo)數(shù)式為：

Sigmoid函數(shù)在實(shí)數(shù)范圍內(nèi)連續(xù)可導(dǎo)，優(yōu)化穩(wěn)定。任意自變量經(jīng)過Sigmoid函數(shù)映射后得到的結(jié)果可以看成是一個(gè)概率。Sigmoid函數(shù)值以0.5為中心，可以將大于0.5的數(shù)據(jù)映射為1類，小于0.5的數(shù)據(jù)映射為0類。145.2.1二分類邏輯回歸邏輯回歸的表達(dá)式

155.2.1二分類邏輯回歸繼上頁，則有

寫成對數(shù)形式就是交叉熵?fù)p失函數(shù)

165.2.2多分類邏輯回歸

普通的邏輯回歸只能針對二分類(BinaryClassification)問題，要想實(shí)現(xiàn)多個(gè)類別的分類，我們必須要改進(jìn)邏輯回歸，讓其適應(yīng)多分類問題。

第一種方式是直接根據(jù)每個(gè)類別，都建立一個(gè)二分類器，帶有這個(gè)類別的樣本標(biāo)記為1，帶有其他類別的樣本標(biāo)記為0。針對每一個(gè)測試樣本，我們需要找到這k個(gè)分類函數(shù)輸出值最大的那一個(gè)，即為測試樣本的標(biāo)記。

175.2.2多分類邏輯回歸

第二種方式是修改邏輯回歸的損失函數(shù)，讓其適應(yīng)多分類問題。這時(shí)損失函數(shù)不再籠統(tǒng)地只考慮二分類非1就0的損失，而是具體考慮每種樣本標(biāo)記的損失。這種方法被稱為Softmax回歸。

185.2.2多分類邏輯回歸損失函數(shù)可以表示為

對其求導(dǎo)，可得

其更新參數(shù)為

195.3模型正則化

在訓(xùn)練數(shù)據(jù)不夠多或者過度訓(xùn)練時(shí)，常常會導(dǎo)致過擬合（Overfitting）。正則化（Regularization）方法即是在此時(shí)向原始模型引入額外信息，以防止過擬合并提高模型泛化性能。

正則化一般具有以下形式205.3模型正則化

第1項(xiàng)的損失函數(shù)值較小的模型可能較復(fù)雜（有多個(gè)非零參數(shù)），這時(shí)第2項(xiàng)的模型復(fù)雜度會較大，正則化的作用是選擇損失函數(shù)值與模型復(fù)雜度同時(shí)較小的模型。215.4本章小結(jié)

線性回歸是一種用于建模和預(yù)測連續(xù)數(shù)值輸出的線性模型，它假設(shè)輸入特征與輸出之間存在線性關(guān)系。多項(xiàng)式回歸是線性回歸的擴(kuò)展，通過引入高階項(xiàng)，能夠擬合非線性關(guān)系的數(shù)據(jù)。邏輯回歸則是一種應(yīng)用于分類問題的線性模型，在二分類情況下，它利用logistic函數(shù)將線性預(yù)測轉(zhuǎn)化為概率，常用于預(yù)測樣本的類別。而softmax回歸則是邏輯回歸在多分類問題上的推廣，通過對每個(gè)類別分別建立二分類邏輯回歸模型，并使用softmax函數(shù)計(jì)算每個(gè)類別的概率，從而進(jìn)行多分類預(yù)測。22第六章支持向量機(jī)支持向量機(jī)（SupportVectorMachine，SVM）是一種常用的監(jiān)督學(xué)習(xí)算法，主要用于分類和回歸任務(wù)。其基本思想是在特征空間中找到一個(gè)最優(yōu)超平面，能夠?qū)⒉煌悇e的樣本點(diǎn)盡可能地分開，并且使支持向量到超平面的距離最大化。在支持向量機(jī)（SVM）中，有幾種常用的方法和變體，如：線性支持向量機(jī)（LinearSVM）、非線性支持向量機(jī)（NonlinearSVM）、多類別支持向量機(jī)（Multi-classSVM）及支持向量回歸（SupportVectorRegression，SVR），用于解決不同類型的分類和回歸問題。236.1算法概述線性支持向量機(jī)（LinearSVM）：基于線性可分的假設(shè)，在特征空間中尋找一個(gè)最優(yōu)超平面，能夠最大化不同類別的樣本點(diǎn)之間的間隔。非線性支持向量機(jī)（NonlinearSVM）：適用于數(shù)據(jù)集在原始特征空間中無法線性分割的情況。它使用核函數(shù)（如多項(xiàng)式核、高斯核）將樣本映射到高維特征空間，從而找到一個(gè)非線性的最優(yōu)超平面。246.1算法概述多類別支持向量機(jī)（Multi-classSVM）：常見的方法是使用“一對一”（One-vs-One）策略，將每個(gè)類別與其他類別進(jìn)行兩兩比較，構(gòu)建多個(gè)二分類器。另一種方法是使用“一對其余”（One-vs-Rest）策略，將每個(gè)類別與其他所有類別組合成一個(gè)二分類器。支持向量回歸（SupportVectorRegression，SVR）：其目標(biāo)是找到一個(gè)最優(yōu)超平面，使得樣本點(diǎn)盡可能地落在超平面的附近區(qū)域內(nèi)，并且最小化間隔內(nèi)的誤差。支持向量回歸能夠處理非線性回歸問題，并具有一定的抗噪能力。256.2線性可分支持向量機(jī)及其對偶算法右圖假設(shè)訓(xùn)練數(shù)據(jù)集是線性可分的，能將訓(xùn)練樣本分開的劃分超平面可能有很多，應(yīng)該選取哪一個(gè)呢？

0圖6-1

存在多個(gè)劃分超平面

26

6.2線性可分支持向量機(jī)及其對偶算法

0

圖6-2

支持向量與間隔27

6.2線性可分支持向量機(jī)及其對偶算法28

6.2線性可分支持向量機(jī)及其對偶算法29

6.2線性可分支持向量機(jī)及其對偶算法30

6.2線性可分支持向量機(jī)及其對偶算法31

6.2線性可分支持向量機(jī)及其對偶算法32

6.2線性可分支持向量機(jī)及其對偶算法

33

6.3線性支持向量機(jī)0圖6-3樣本近似線性可分

圖6-4支持向量與間隔

34

6.3線性支持向量機(jī)

圖6-4支持向量與間隔35

6.3線性支持向量機(jī)

36

6.3線性支持向量機(jī)

37

6.3線性支持向量機(jī)

386.3線性支持向量機(jī)

396.3線性支持向量機(jī)

406.4非線性支持向量機(jī)

101110

1

圖6-5異或問題圖6-6異或問題映射到三維空間

41

6.4非線性支持向量機(jī)

426.4非線性支持向量機(jī)

436.4非線性支持向量機(jī)

44

6.4非線性支持向量機(jī)

45

6.4非線性支持向量機(jī)

46

6.4非線性支持向量機(jī)

476.5.1線性支持向量機(jī)回歸

0圖6-7線性回歸486.5.1線性支持向量機(jī)回歸

圖6-8支持向量機(jī)回歸

0496.5.1線性支持向量機(jī)回歸

圖6-8支持向量機(jī)回歸

0506.5.1線性支持向量機(jī)回歸

圖6-8支持向量機(jī)回歸

0516.5.1線性支持向量機(jī)回歸

526.5.1線性支持向量機(jī)回歸

536.5.1線性支持向量機(jī)回歸

546.5.1線性支持向量機(jī)回歸

556.5.2非線性支持向量機(jī)回歸

566.5.2非線性支持向量機(jī)回歸

576