機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第5、6章 線性模型、支持向量機(jī)_第1頁
機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第5、6章 線性模型、支持向量機(jī)_第2頁
機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第5、6章 線性模型、支持向量機(jī)_第3頁
機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第5、6章 線性模型、支持向量機(jī)_第4頁
機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第5、6章 線性模型、支持向量機(jī)_第5頁
已閱讀5頁,還剩57頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

第五章線性模型線性模型是機(jī)器學(xué)習(xí)中常用的一種建模方法,它基于線性關(guān)系對輸入特征與輸出目標(biāo)之間的關(guān)系進(jìn)行建模和預(yù)測。線性模型具有簡單且易于解釋的特征權(quán)重,使得我們可以理解每個(gè)特征對輸出的貢獻(xiàn)。而且,線性模型具有良好的可解釋性,可以用于推斷變量之間的關(guān)系和影響程度。15.1線性回歸一元線性回歸假設(shè)因變量和自變量之間存在線性關(guān)系,這個(gè)線性模型所構(gòu)成的空間是一個(gè)超平面(hyperplane)。超平面是n維歐氏空間中余維度等于一的線性子空間,如平面中的直線、空間中的平面等,總比包含它的空間少一維。在一元線性回歸中,一個(gè)維度是因變量,另一個(gè)維度是自變量,總共兩維。因此,其超平面只有一維,就是一條線。25.1.1簡單線性回歸

簡單線性回歸是利用稱為線性回歸方程的最小二乘函數(shù)對一個(gè)或多個(gè)自變量和因變量之間關(guān)系進(jìn)行建模的一種回歸分析。

35.1.1簡單線性回歸

45.1.2多變量線性回歸

直線回歸研究的是一個(gè)因變量與一個(gè)自變量之間的回歸問題。但是,在許多實(shí)際問題中,影響因變量的自變量往往不止一個(gè),而是多個(gè)。

55.1.2多變量線性回歸

65.1.2多變量線性回歸

因此,線性回歸模型為

75.1.3梯度下降法

梯度下降法(gradientdecent)是一個(gè)最優(yōu)化算法,通常也稱為最速下降法。常用于機(jī)器學(xué)習(xí)和人工智能當(dāng)中用來遞歸性地逼近最小偏差模型。

當(dāng)函數(shù)定義域和取值都在實(shí)數(shù)域中的時(shí)候,導(dǎo)數(shù)可以表示函數(shù)曲線上的切線斜率。除了切線的斜率,導(dǎo)數(shù)還表示函數(shù)在該點(diǎn)的變化率。在一元函數(shù)中,只有一個(gè)自變量變動,不存在偏導(dǎo)數(shù)。偏導(dǎo)數(shù)至少涉及到兩個(gè)自變量,是多元函數(shù)沿不同坐標(biāo)軸的變化率85.1.3梯度下降法

95.1.3梯度下降法

105.1.3梯度下降法

在具體使用梯度下降法的過程中,主要有以下三種:(1)批量梯度下降法

批量梯度下降法針對的是整個(gè)數(shù)據(jù)集,通過對所有的樣本的計(jì)算來求解梯度的方向。(2)小批量梯度下降法

在批量梯度下降法的方式中每次迭代都要使用到所有的樣本,對于數(shù)據(jù)量特別大的情況,如大規(guī)模的機(jī)器學(xué)習(xí)應(yīng)用,每次迭代求解所有樣本需要花費(fèi)大量的計(jì)算成本。(3)隨機(jī)梯度下降法

隨機(jī)梯度下降法可以看成是小批量梯度下降法的一個(gè)特殊的情形,即在隨機(jī)梯度下降法中每次僅根據(jù)一個(gè)樣本對模型中的參數(shù)進(jìn)行調(diào)整,即每個(gè)小批量梯度下降法中只有一個(gè)訓(xùn)練樣本115.1.4多項(xiàng)式回歸

多項(xiàng)式回歸是研究一個(gè)因變量與一個(gè)或多個(gè)自變量間多項(xiàng)式關(guān)系的回歸分析方法。當(dāng)自變量只有一個(gè)時(shí),稱為一元多項(xiàng)式回歸。

同理當(dāng)自變量有多個(gè)時(shí),則稱為多元多項(xiàng)式回歸

125.2邏輯回歸

135.2邏輯回歸Sigmoid函數(shù)有一個(gè)非常實(shí)用的性質(zhì)。其導(dǎo)數(shù)式為:

Sigmoid函數(shù)在實(shí)數(shù)范圍內(nèi)連續(xù)可導(dǎo),優(yōu)化穩(wěn)定。任意自變量經(jīng)過Sigmoid函數(shù)映射后得到的結(jié)果可以看成是一個(gè)概率。Sigmoid函數(shù)值以0.5為中心,可以將大于0.5的數(shù)據(jù)映射為1類,小于0.5的數(shù)據(jù)映射為0類。145.2.1二分類邏輯回歸邏輯回歸的表達(dá)式

155.2.1二分類邏輯回歸繼上頁,則有

寫成對數(shù)形式就是交叉熵?fù)p失函數(shù)

165.2.2多分類邏輯回歸

普通的邏輯回歸只能針對二分類(BinaryClassification)問題,要想實(shí)現(xiàn)多個(gè)類別的分類,我們必須要改進(jìn)邏輯回歸,讓其適應(yīng)多分類問題。

第一種方式是直接根據(jù)每個(gè)類別,都建立一個(gè)二分類器,帶有這個(gè)類別的樣本標(biāo)記為1,帶有其他類別的樣本標(biāo)記為0。針對每一個(gè)測試樣本,我們需要找到這k個(gè)分類函數(shù)輸出值最大的那一個(gè),即為測試樣本的標(biāo)記。

175.2.2多分類邏輯回歸

第二種方式是修改邏輯回歸的損失函數(shù),讓其適應(yīng)多分類問題。這時(shí)損失函數(shù)不再籠統(tǒng)地只考慮二分類非1就0的損失,而是具體考慮每種樣本標(biāo)記的損失。這種方法被稱為Softmax回歸。

185.2.2多分類邏輯回歸損失函數(shù)可以表示為

對其求導(dǎo),可得

其更新參數(shù)為

195.3模型正則化

在訓(xùn)練數(shù)據(jù)不夠多或者過度訓(xùn)練時(shí),常常會導(dǎo)致過擬合(Overfitting)。正則化(Regularization)方法即是在此時(shí)向原始模型引入額外信息,以防止過擬合并提高模型泛化性能。

正則化一般具有以下形式205.3模型正則化

第1項(xiàng)的損失函數(shù)值較小的模型可能較復(fù)雜(有多個(gè)非零參數(shù)),這時(shí)第2項(xiàng)的模型復(fù)雜度會較大,正則化的作用是選擇損失函數(shù)值與模型復(fù)雜度同時(shí)較小的模型。215.4本章小結(jié)

線性回歸是一種用于建模和預(yù)測連續(xù)數(shù)值輸出的線性模型,它假設(shè)輸入特征與輸出之間存在線性關(guān)系。多項(xiàng)式回歸是線性回歸的擴(kuò)展,通過引入高階項(xiàng),能夠擬合非線性關(guān)系的數(shù)據(jù)。邏輯回歸則是一種應(yīng)用于分類問題的線性模型,在二分類情況下,它利用logistic函數(shù)將線性預(yù)測轉(zhuǎn)化為概率,常用于預(yù)測樣本的類別。而softmax回歸則是邏輯回歸在多分類問題上的推廣,通過對每個(gè)類別分別建立二分類邏輯回歸模型,并使用softmax函數(shù)計(jì)算每個(gè)類別的概率,從而進(jìn)行多分類預(yù)測。22第六章支持向量機(jī)支持向量機(jī)(SupportVectorMachine,SVM)是一種常用的監(jiān)督學(xué)習(xí)算法,主要用于分類和回歸任務(wù)。其基本思想是在特征空間中找到一個(gè)最優(yōu)超平面,能夠?qū)⒉煌悇e的樣本點(diǎn)盡可能地分開,并且使支持向量到超平面的距離最大化。在支持向量機(jī)(SVM)中,有幾種常用的方法和變體,如:線性支持向量機(jī)(LinearSVM)、非線性支持向量機(jī)(NonlinearSVM)、多類別支持向量機(jī)(Multi-classSVM)及支持向量回歸(SupportVectorRegression,SVR),用于解決不同類型的分類和回歸問題。236.1算法概述線性支持向量機(jī)(LinearSVM):基于線性可分的假設(shè),在特征空間中尋找一個(gè)最優(yōu)超平面,能夠最大化不同類別的樣本點(diǎn)之間的間隔。非線性支持向量機(jī)(NonlinearSVM):適用于數(shù)據(jù)集在原始特征空間中無法線性分割的情況。它使用核函數(shù)(如多項(xiàng)式核、高斯核)將樣本映射到高維特征空間,從而找到一個(gè)非線性的最優(yōu)超平面。246.1算法概述多類別支持向量機(jī)(Multi-classSVM):常見的方法是使用“一對一”(One-vs-One)策略,將每個(gè)類別與其他類別進(jìn)行兩兩比較,構(gòu)建多個(gè)二分類器。另一種方法是使用“一對其余”(One-vs-Rest)策略,將每個(gè)類別與其他所有類別組合成一個(gè)二分類器。支持向量回歸(SupportVectorRegression,SVR):其目標(biāo)是找到一個(gè)最優(yōu)超平面,使得樣本點(diǎn)盡可能地落在超平面的附近區(qū)域內(nèi),并且最小化間隔內(nèi)的誤差。支持向量回歸能夠處理非線性回歸問題,并具有一定的抗噪能力。256.2線性可分支持向量機(jī)及其對偶算法右圖假設(shè)訓(xùn)練數(shù)據(jù)集是線性可分的,能將訓(xùn)練樣本分開的劃分超平面可能有很多,應(yīng)該選取哪一個(gè)呢?

0圖6-1

存在多個(gè)劃分超平面

26

6.2線性可分支持向量機(jī)及其對偶算法

0

圖6-2

支持向量與間隔27

6.2線性可分支持向量機(jī)及其對偶算法28

6.2線性可分支持向量機(jī)及其對偶算法29

6.2線性可分支持向量機(jī)及其對偶算法30

6.2線性可分支持向量機(jī)及其對偶算法31

6.2線性可分支持向量機(jī)及其對偶算法32

6.2線性可分支持向量機(jī)及其對偶算法

33

6.3線性支持向量機(jī)0圖6-3樣本近似線性可分

圖6-4支持向量與間隔

34

6.3線性支持向量機(jī)

圖6-4支持向量與間隔35

6.3線性支持向量機(jī)

36

6.3線性支持向量機(jī)

37

6.3線性支持向量機(jī)

386.3線性支持向量機(jī)

396.3線性支持向量機(jī)

406.4非線性支持向量機(jī)

101110

1

圖6-5異或問題圖6-6異或問題映射到三維空間

41

6.4非線性支持向量機(jī)

426.4非線性支持向量機(jī)

436.4非線性支持向量機(jī)

44

6.4非線性支持向量機(jī)

45

6.4非線性支持向量機(jī)

46

6.4非線性支持向量機(jī)

476.5.1線性支持向量機(jī)回歸

0圖6-7線性回歸486.5.1線性支持向量機(jī)回歸

圖6-8支持向量機(jī)回歸

0496.5.1線性支持向量機(jī)回歸

圖6-8支持向量機(jī)回歸

0506.5.1線性支持向量機(jī)回歸

圖6-8支持向量機(jī)回歸

0516.5.1線性支持向量機(jī)回歸

526.5.1線性支持向量機(jī)回歸

536.5.1線性支持向量機(jī)回歸

546.5.1線性支持向量機(jī)回歸

556.5.2非線性支持向量機(jī)回歸

566.5.2非線性支持向量機(jī)回歸

576

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論