多層神經(jīng)網(wǎng)絡(luò)MLP快速入門

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)交流匯報多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第1頁目錄CONTENTE神經(jīng)元模型1感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)2應(yīng)用一：MLP分類器3應(yīng)用二：MLP3D可視化4多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第2頁神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)（ann）是一個計算模型，啟發(fā)自人類大腦處理信息生物神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)在語音識別、計算機(jī)視覺和自然語言理領(lǐng)域取得了一系列突破，讓機(jī)器學(xué)習(xí)研究和產(chǎn)業(yè)興奮了起來。神經(jīng)網(wǎng)絡(luò)（neuralnetworks）方面研究很早就已經(jīng)出現(xiàn)，今天“神經(jīng)網(wǎng)絡(luò)”已是一個相當(dāng)大、多學(xué)科交叉學(xué)科領(lǐng)域。神經(jīng)網(wǎng)絡(luò)中最基本成份是神經(jīng)元（neuron）模型，普通稱作「節(jié)點」（node）或者「單元」（unit）。節(jié)點從其它節(jié)點接收輸入，或者從外部源接收輸入，然后計算輸出。每個輸入都輔有「權(quán)重」（weight，即w），權(quán)重取決于其它輸入相對主要性。節(jié)點將函數(shù)f（定義以下）應(yīng)用到加權(quán)后輸入總和，如圖1所表示：多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第3頁神經(jīng)元模型還有配有權(quán)重b（稱為「偏置（bias）」或者「閾值（threshold）」）輸入1。多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第4頁神經(jīng)元模型函數(shù)f是非線性，叫做激活函數(shù)。激活函數(shù)作用是將非線性引入神經(jīng)元輸出。因為大多數(shù)現(xiàn)實世界數(shù)據(jù)都是非線性，我們希望神經(jīng)元能夠?qū)W習(xí)非線性函數(shù)表示，所以這種應(yīng)用至關(guān)主要。每個（非線性）激活函數(shù)都接收一個數(shù)字，并進(jìn)行特定、固定數(shù)學(xué)計算。在實踐中，可能會碰到幾個激活函數(shù)：Sigmoid（S型激活函數(shù)）：輸入一個實值，輸出一個0至1間值σ(x)=1/(1+exp(?x))tanh（雙曲正切函數(shù)）：輸入一個實值，輸出一個[-1,1]間值tanh(x)=2σ(2x)?1ReLU：ReLU代表修正線性單元。輸出一個實值，并設(shè)定0閾值（函數(shù)會將負(fù)值變?yōu)榱悖ゝ(x)=max(0,x)多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第5頁神經(jīng)元模型將上述情形抽象，就是一直沿用至今“M-P”神經(jīng)元模型。在這個模型中，神經(jīng)元收到來自n個其它神經(jīng)元傳遞來輸入信號，這些輸入信號經(jīng)過帶權(quán)重（w）連接進(jìn)行傳遞，神經(jīng)元接收到輸入值將與神經(jīng)元閾值進(jìn)行比較，然后經(jīng)過“激活函數(shù)”得到神經(jīng)元輸出。多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第6頁感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)是最先創(chuàng)造也是最簡單人工神經(jīng)網(wǎng)絡(luò)。它包含了安排在多個層中多個神經(jīng)元（節(jié)點）。相鄰層節(jié)點有連接或者邊（edge）。全部連接都配有權(quán)重。多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第7頁感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)一個前饋神經(jīng)網(wǎng)絡(luò)能夠包含三種節(jié)點：1.輸入節(jié)點：輸入節(jié)點從外部世界提供信息，總稱為「輸入層」。在輸入節(jié)點中，不進(jìn)行任何計算——僅向隱藏節(jié)點傳遞信息。2.隱藏節(jié)點：隱藏節(jié)點和外部世界沒有直接聯(lián)絡(luò)（由此得名）。這些節(jié)點進(jìn)行計算，并將信息從輸入節(jié)點傳遞到輸出節(jié)點。隱藏節(jié)點總稱為「隱藏層」。盡管一個前饋神經(jīng)網(wǎng)絡(luò)只有一個輸入層和一個輸出層，但網(wǎng)絡(luò)里能夠沒有也能夠有多個隱藏層。3.輸出節(jié)點：輸出節(jié)點總稱為「輸出層」，負(fù)責(zé)計算，并從網(wǎng)絡(luò)向外部世界傳遞信息。在前饋網(wǎng)絡(luò)中，信息只單向移動——從輸入層開始前向移動，然后經(jīng)過隱藏層（假如有話），再到輸出層。在網(wǎng)絡(luò)中沒有循環(huán)或回路（前饋神經(jīng)網(wǎng)絡(luò)這個屬性和遞歸神經(jīng)網(wǎng)絡(luò)不一樣，后者節(jié)點連接組成循環(huán)）。多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第8頁感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)多層感知器（MultiLayerPerceptron，即MLP）包含最少一個隱藏層（除了一個輸入層和一個輸出層以外）。單層感知器只能學(xué)習(xí)線性函數(shù)，而多層感知器也能夠?qū)W習(xí)非線性函數(shù)。多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第9頁感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練我們多層感知器BP算法（backpropagation），反向傳輸誤差算法，是幾個訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)方法之一。這是一個監(jiān)督學(xué)習(xí)方法，即經(jīng)過標(biāo)識訓(xùn)練數(shù)據(jù)來學(xué)習(xí)（有監(jiān)督者來引導(dǎo)學(xué)習(xí)）。由前向傳輸和后向傳輸組成。簡單說來，BackProp就像「從錯誤中學(xué)習(xí)」。監(jiān)督者在人工神經(jīng)網(wǎng)絡(luò)犯錯誤時進(jìn)行糾正。學(xué)習(xí)目標(biāo)是為分配正確權(quán)重。經(jīng)過輸入向量，這些權(quán)重能夠決定輸出向量。前向傳輸：最初，全部邊權(quán)重（edgeweight）都是隨機(jī)分配。對于全部訓(xùn)練數(shù)據(jù)集中輸入，人工神經(jīng)網(wǎng)絡(luò)都被激活，而且觀察其輸出。后向傳輸：這些輸出會和我們已知、期望輸出進(jìn)行比較，誤差會「傳輸」回上一層。該誤差會被標(biāo)注，權(quán)重也會被對應(yīng)「調(diào)整」。該流程重復(fù)，直到輸出誤差低于制訂標(biāo)準(zhǔn)。多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第10頁感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)上述算法結(jié)束后，我們就得到了一個學(xué)習(xí)過人工神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)被認(rèn)為是能夠接收「新」輸入。該人工神經(jīng)網(wǎng)絡(luò)能夠說從幾個樣本（標(biāo)注數(shù)據(jù)）和其錯誤（誤差傳輸）中得到了學(xué)習(xí)。然后我們看一個案例。多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第11頁感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)我們通常在感知器輸出層中使用Softmax函數(shù)作為激活函數(shù)，以確保輸出是概率而且相加等于1。Softmax函數(shù)接收一個隨機(jī)實值分?jǐn)?shù)向量，轉(zhuǎn)化成多個介于0和1之間、而且總和為1多個向量值。所以，在這個例子中：概率（Pass）+概率（Fail）=1多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第12頁感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第13頁感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)假如我們現(xiàn)在再次向網(wǎng)絡(luò)輸入一樣樣本，網(wǎng)絡(luò)應(yīng)該比之前有更加好表現(xiàn)，因為為了最小化誤差，已經(jīng)調(diào)整了權(quán)重。如圖7所表示，和之前[0.6,-0.4]相比，輸出節(jié)點誤差已經(jīng)降低到了[0.2,-0.2]。這意味著我們網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)了怎樣正確對第一個訓(xùn)練樣本進(jìn)行分類。多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第14頁應(yīng)用一：MLP分類器多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第15頁應(yīng)用一：MLP分類器多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第16頁應(yīng)用一：MLP分類器多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第17頁應(yīng)用一：MLP分類器多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第18頁應(yīng)用一：MLP分類器多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第19頁應(yīng)用一：MLP分類器多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第20頁應(yīng)用一：MLP分類器多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第21頁應(yīng)用一：MLP分類器多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第22頁應(yīng)用一：MLP分類器多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第23頁應(yīng)用二：MLP3D可視化AdamHarley創(chuàng)造了一個多層感知器3D可視化（http://scs.ryerson.ca/~aharley/vis/fc/），并已經(jīng)開始使用MNIST數(shù)據(jù)庫手寫數(shù)字進(jìn)行訓(xùn)練。此網(wǎng)絡(luò)從一個28x28手寫數(shù)字圖像接收784個數(shù)字像素值作為輸入（在輸入層有對應(yīng)784個節(jié)點）。網(wǎng)絡(luò)第一個隱藏層有300個節(jié)點，第二個隱藏層有100個節(jié)點，輸出層有10個節(jié)點（對應(yīng)10個數(shù)字）。即使這個網(wǎng)絡(luò)跟我們剛才討論相比大了很多（使用了更多隱藏層和節(jié)點），全部前向傳輸和反向傳輸步驟計算（對于每個節(jié)點而言）方式都是一樣。多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第24頁應(yīng)用二：MLP3D可視化多層神經(jīng)網(wǎng)絡(luò)MLP快速入門第25頁應(yīng)用二：MLP3D可視化多層神