《Python機(jī)器學(xué)習(xí)：原理與實(shí)踐(第2版)》課件 薛薇 -第8、9章 數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)預(yù)測建模：支持向量機(jī)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念感知機(jī)網(wǎng)絡(luò)多層感知機(jī)網(wǎng)絡(luò)B-P反向傳播算法人工神經(jīng)網(wǎng)絡(luò)的Python應(yīng)用實(shí)踐導(dǎo)言

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork,ANN）是一種人腦的抽象計(jì)算模型，是一種模擬人腦思維的計(jì)算機(jī)建模方式通過類似于生物神經(jīng)元的處理單元，以及處理單元之間的有機(jī)連接，解決現(xiàn)實(shí)世界的模式識(shí)別、聯(lián)想記憶、優(yōu)化計(jì)算等復(fù)雜問題人工神經(jīng)網(wǎng)絡(luò)的基本概念

人工神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成人工神經(jīng)網(wǎng)絡(luò)由相互連接的神經(jīng)元，稱為節(jié)點(diǎn)或處理單元組成人腦神經(jīng)元的連接和連接強(qiáng)弱，在人工神經(jīng)網(wǎng)絡(luò)中體現(xiàn)為節(jié)點(diǎn)間的連線，稱為連接或邊，以及連接權(quán)重的大小上根據(jù)網(wǎng)絡(luò)的層數(shù)，從拓?fù)浣Y(jié)構(gòu)上神經(jīng)網(wǎng)絡(luò)可分為：兩層神經(jīng)網(wǎng)絡(luò)、三層及以上的多層神經(jīng)網(wǎng)絡(luò)這種方向性連接的網(wǎng)絡(luò)也稱前饋式網(wǎng)絡(luò)各層的節(jié)點(diǎn)之間是全連接的，是一種全連接網(wǎng)絡(luò)感知機(jī)網(wǎng)絡(luò)多層感知機(jī)網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)感知機(jī)網(wǎng)絡(luò)感知機(jī)：一種最基本的前饋式兩層神經(jīng)網(wǎng)絡(luò)模型，僅由輸入層和輸出層構(gòu)成感知機(jī)網(wǎng)絡(luò)中的節(jié)點(diǎn)生物神經(jīng)元會(huì)對(duì)不同類型和強(qiáng)度的刺激信號(hào)呈現(xiàn)出不同的反映狀態(tài)（State）或激活水平（ActivityLevel）。同理，感知機(jī)的節(jié)點(diǎn)也會(huì)對(duì)不同的輸入給出不同的輸出由加法器和激活函數(shù)組成第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機(jī)網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機(jī)網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機(jī)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機(jī)網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機(jī)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)感知機(jī)節(jié)點(diǎn)中的激活函數(shù)連續(xù)型激活函數(shù)雙曲正切函數(shù)：ReLU(RectifiedlinearUnit，ReLU)激活函數(shù):感知機(jī)網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)感知機(jī)節(jié)點(diǎn)中的激活函數(shù)[0,1]型階躍函數(shù)在分類預(yù)測中的作用感知機(jī)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)感知機(jī)節(jié)點(diǎn)中的激活函數(shù)Logistic激活函數(shù)在分類預(yù)測中的作用感知機(jī)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)Python模擬和啟示：認(rèn)識(shí)激活函數(shù)加法器：Chapter8-1.ipynb第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機(jī)網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)感知機(jī)的迭代步驟：第一步，計(jì)算各節(jié)點(diǎn)的加法器和激活函數(shù)，給出節(jié)點(diǎn)的輸出結(jié)果，即樣本觀測的預(yù)測值。第二步，計(jì)算樣本觀測的預(yù)測值與實(shí)際值間的誤差，根據(jù)誤差重新調(diào)整各連接權(quán)重會(huì)反復(fù)執(zhí)行上述兩步。需經(jīng)過多個(gè)周期的學(xué)習(xí)。直到滿足迭代終止條件為止迭代結(jié)束后將得到一組合理的連接權(quán)重和其對(duì)應(yīng)的理想超平面。后續(xù)將依據(jù)超平面進(jìn)行預(yù)測涉及的問題包括：第一，如何度量誤差第二，如何通過迭代逐步調(diào)整網(wǎng)絡(luò)權(quán)重如何度量誤差：回歸預(yù)測的損失函數(shù)：最優(yōu)的網(wǎng)絡(luò)權(quán)重：分類預(yù)測的損失函數(shù)：不適用于階躍函數(shù)的情況，采用以下?lián)p失函數(shù)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)如何通過迭代逐步調(diào)整網(wǎng)絡(luò)權(quán)重：梯度下降法機(jī)器學(xué)習(xí)中常用的實(shí)現(xiàn)參數(shù)優(yōu)化的方法參數(shù)優(yōu)化的目標(biāo)：對(duì)特定模型M，利用數(shù)據(jù)D，得到損失函數(shù)最小時(shí)的最優(yōu)模型參數(shù)wopt通常模型參數(shù)w為向量如：回歸模型中w為回歸系數(shù)和截距項(xiàng)；人工神經(jīng)網(wǎng)絡(luò)中w為網(wǎng)絡(luò)權(quán)重?fù)p失函數(shù)的復(fù)雜程度取決于：損失函數(shù)L的形式；模型結(jié)構(gòu)如：模型是關(guān)于參數(shù)W的線性函數(shù)，損失函數(shù)L為平方損失，L是w的二次函數(shù)參數(shù)優(yōu)化較簡單：單峰（存在唯一最值）求L對(duì)w的偏導(dǎo)數(shù)，并令偏導(dǎo)g(w)=0；求解方程組(最小二乘法)感知機(jī)網(wǎng)絡(luò)---權(quán)重訓(xùn)練

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化的目標(biāo)：如果模型形式較為復(fù)雜，則L可能不是關(guān)于w的簡單平滑函數(shù)，如：多峰通常求解L(w)最小的參數(shù)w等價(jià)在高維空間中最小化一個(gè)多元復(fù)雜函數(shù)采用梯度下降法，通過迭代，利用關(guān)于L曲率的局部信息，引導(dǎo)在L曲面上進(jìn)行局部搜索

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機(jī)網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)第三步驟具體為：對(duì)于回歸預(yù)測中的平方損失函數(shù)：有：對(duì)分類預(yù)測中的損失函數(shù)：有：

感知機(jī)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機(jī)網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)說明：連接權(quán)重和偏差權(quán)重的初始值是隨機(jī)的，相同迭代策略下迭代結(jié)束時(shí)的權(quán)重最終值可能是不等的，有些可能是最優(yōu)解有些可能僅是局部最優(yōu)解一般可通過迭代的多次重啟動(dòng)方式解決這個(gè)問題感知機(jī)網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機(jī)網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機(jī)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

多層感知機(jī)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

多層感知機(jī)網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)多層感知機(jī)網(wǎng)絡(luò)中的隱藏節(jié)點(diǎn)隱藏節(jié)點(diǎn)在分類預(yù)測中的作用：實(shí)現(xiàn)非線性樣本的線性變換分類預(yù)測中的線性樣本：對(duì)P維輸入變量空間的兩類樣本，若能找到一個(gè)超平面將兩類分開，則該樣本為線性樣本，否則為非線性樣本

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)Python模擬和啟示：認(rèn)識(shí)隱藏節(jié)點(diǎn)本例中隨著隱藏節(jié)點(diǎn)的增加，分類邊界從直線逐步變?yōu)榍€和圓圈，較好地實(shí)現(xiàn)了非線性樣本的分類Chapter8-2.ipynb第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)多層感知機(jī)網(wǎng)絡(luò)中的隱藏節(jié)點(diǎn)隱藏節(jié)點(diǎn)在回歸預(yù)測中的作用：實(shí)現(xiàn)非線性投影尋蹤回歸

可將投影尋蹤回歸視為三層感知機(jī)網(wǎng)絡(luò)中隱藏層到輸出層的所有連接權(quán)重均等于1的特例第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)BP方向傳播算法：多層網(wǎng)絡(luò)引入反方向傳播機(jī)制傳遞誤差并完成權(quán)重更新反向傳播算法的基本思想：向傳播和反向傳播兩個(gè)階段正向傳播階段：傳播的是樣本信息，網(wǎng)絡(luò)的所有連接權(quán)重保持不變反向傳播階段：將輸出節(jié)點(diǎn)的預(yù)測誤差反方向逐層傳播到上層隱藏節(jié)點(diǎn)，逐層更新權(quán)重，直至所有權(quán)重全部更新為止B-P反向傳播算法第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的Python應(yīng)用實(shí)踐：手寫體郵政編碼的識(shí)別在數(shù)據(jù)集劃分的基礎(chǔ)上，建立不同個(gè)數(shù)隱藏節(jié)點(diǎn)的三層感知機(jī)網(wǎng)絡(luò)，激活函數(shù)依次為ReLU和Logistic函數(shù)繪制隨隱藏節(jié)點(diǎn)的增加，各網(wǎng)絡(luò)測試誤差變化曲線圖，確定較為理想的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和激活函數(shù)較為理想的模型是采用ReLU激活函數(shù)且包含9個(gè)隱藏節(jié)點(diǎn)的網(wǎng)絡(luò)Chapter8-3.ipynb第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的Python應(yīng)用實(shí)踐：PM2.5濃度的回歸預(yù)測指定輸入變量SO2、CO、NO2、O3和輸出變量PM2.5涉及多個(gè)參數(shù)組合的反復(fù)調(diào)試，為快速達(dá)成目標(biāo)，直接利用Python的網(wǎng)格搜索算法實(shí)現(xiàn)基于最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行預(yù)測Chapter8-4.ipynb第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)支持向量分類概述完全線性可分下的支持向量分類廣義線性可分下的支持向量分類線性不可分下的支持向量分類Python應(yīng)用實(shí)踐導(dǎo)言

第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)支持向量機(jī)（SupportVectorMachine，SVM）是在統(tǒng)計(jì)學(xué)習(xí)理論（StatisticalLearningTheory，SLT）基礎(chǔ)上發(fā)展起來的一種機(jī)器學(xué)習(xí)方法（1992年由Boser，Guyon和Vapnik提出）在解決小樣本、非線性和高維的分類預(yù)測和回歸預(yù)測問題上有許多優(yōu)勢支持向量機(jī)分為支持向量分類機(jī)和支持向量回歸機(jī)討論的問題涉及：第一、支持向量分類概述第二、完全線性可分下的支持向量分類第三、廣義線性可分下的支持向量分類第四、線性不可分下的支持向量分類支持向量分類概述

第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)支持向量分類的基本思路如果兩類樣本觀測點(diǎn)能夠被超平面有效分開，則可能會(huì)找到多個(gè)這樣的超平面支持向量分類算法確定的分類超平面：是具有最大邊界的超平面，是距兩類別的邊緣觀測點(diǎn)最遠(yuǎn)的超平面支持向量分類概述

固定迭代次數(shù)下，不同初始參數(shù)的神經(jīng)網(wǎng)絡(luò)給出分類邊界應(yīng)采用哪個(gè)超平面進(jìn)行預(yù)測呢？第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)支持向量分類的基本思路支持向量分類中的超平面：具有最大邊界的超平面，是距兩類別的邊緣觀測點(diǎn)最遠(yuǎn)的超平面最大邊界超平面的意義：有較高的預(yù)測置信度最大邊界超平面僅取決于兩類邊緣上的觀測點(diǎn)：這些樣本觀測稱為支持向量，預(yù)測具有很強(qiáng)的魯棒性

第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)支持向量分類概述

支持向量分類的基本思路支持向量分類的三種情況線性可分樣本：樣本觀測點(diǎn)可被超平面線性分開的情況完全線性可分樣本無法完全線性可分（廣義線性可分）線性不可分樣本第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)完全線性可分下的支持向量分類

以二維空間為例：首先，分別將兩類的最外圍的樣本觀測點(diǎn)連線形成兩個(gè)多邊形，應(yīng)是關(guān)于兩類樣本點(diǎn)集的凸包（ConvexHull），最小凸多邊形(各自類的樣本觀測點(diǎn)均在多邊形內(nèi)或邊上)然后，以一類的凸包邊界為基準(zhǔn)線，找到另一類凸包邊界上的點(diǎn)，過該點(diǎn)做基準(zhǔn)線的平行線，得到一對(duì)平行線可以有多條這樣的基準(zhǔn)線和對(duì)應(yīng)的平行線，應(yīng)找到：相距最遠(yuǎn),且能正確劃分兩類的一對(duì)平行線最大邊界超平面（線）：平行于該對(duì)平行線、位于該對(duì)平行線的中間位置上第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

完全線性可分下的支持向量分類

第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

完全線性可分下的支持向量分類

第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

完全線性可分下的支持向量分類

第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

完全線性可分下的支持向量分類

第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)完全線性可分下支持向量分類的實(shí)現(xiàn)Chapter9-2.ipynb第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)廣義線性可分下的超平面：采用適當(dāng)?shù)膶捤刹呗裕试S部分樣本觀測點(diǎn)進(jìn)入“禁區(qū)”：廣義線性或線性軟間隔支持向量分類廣義線性可分下的支持向量分類

第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

廣義線性可分下的支持向量分類第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)廣義線性可分下的超平面

Chapter9-3.ipynb第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

廣義線性可分下的支持向量分類

只能要求兩項(xiàng)之和最小第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)如何解決線性不可分的分類問題一般方式是進(jìn)行非線性空間轉(zhuǎn)換：低維空間中的線性不可分問題，通過恰當(dāng)?shù)姆蔷€性變換轉(zhuǎn)化為高維空間中的線性可分問題線性不可分下的支持向量分類第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

線性不可分下的支持向量分類第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

點(diǎn)積計(jì)算是關(guān)鍵第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)

Chapter9-4.ipynb第9章數(shù)據(jù)預(yù)測建模：支持向量機(jī)Py