多層神經(jīng)網(wǎng)絡MLP快速入門課件

完整版課件1神經(jīng)網(wǎng)絡學習交流報告完整版課件2目錄CONTENTE神經(jīng)元模型1感知機與多層神經(jīng)網(wǎng)絡2應用一:MLP分類器3應用二:MLP的3D可視化4完整版課件3神經(jīng)元模型人工神經(jīng)網(wǎng)絡（ann）是一種計算模型，啟發(fā)自人類大腦處理信息的生物神經(jīng)網(wǎng)絡。人工神經(jīng)網(wǎng)絡在語音識別、計算機視覺和自然語言理領(lǐng)域取得了一系列突破，讓機器學習研究和產(chǎn)業(yè)興奮了起來。神經(jīng)網(wǎng)絡（neuralnetworks）方面的研究很早就已經(jīng)出現(xiàn)，今天“神經(jīng)網(wǎng)絡”已是一個相當大的、多學科交叉的學科領(lǐng)域。神經(jīng)網(wǎng)絡中最基本的成分是神經(jīng)元（neuron）模型，一般稱作「節(jié)點」（node）或者「單元」（unit）。節(jié)點從其他節(jié)點接收輸入，或者從外部源接收輸入，然后計算輸出。每個輸入都輔有「權(quán)重」（weight，即w），權(quán)重取決于其他輸入的相對重要性。節(jié)點將函數(shù)f（定義如下）應用到加權(quán)后的輸入總和，如圖1所示:完整版課件4神經(jīng)元模型還有配有權(quán)重b（稱為「偏置（bias）」或者「閾值（threshold）」）的輸入1。完整版課件5神經(jīng)元模型函數(shù)f是非線性的，叫做激活函數(shù)。激活函數(shù)的作用是將非線性引入神經(jīng)元的輸出。因為大多數(shù)現(xiàn)實世界的數(shù)據(jù)都是非線性的，我們希望神經(jīng)元能夠?qū)W習非線性的函數(shù)表示，所以這種應用至關(guān)重要。每個（非線性）激活函數(shù)都接收一個數(shù)字，并進行特定、固定的數(shù)學計算。在實踐中，可能會碰到幾種激活函數(shù):Sigmoid（S型激活函數(shù)）:輸入一個實值，輸出一個0至1間的值σ(x)=1/(1+exp(?x))tanh（雙曲正切函數(shù)）:輸入一個實值，輸出一個[-1,1]間的值tanh(x)=2σ(2x)?1ReLU:ReLU代表修正線性單元。輸出一個實值，并設定0的閾值（函數(shù)會將負值變?yōu)榱悖ゝ(x)=max(0,x)完整版課件6神經(jīng)元模型將上述情形抽象,就是一直沿用至今的“M-P”神經(jīng)元模型。在這個模型中,神經(jīng)元收到來自n個其他神經(jīng)元傳遞來的輸入信號,這些輸入信號通過帶權(quán)重（w）連接進行傳遞,神經(jīng)元接收到的輸入值將與神經(jīng)元的閾值進行比較,然后通過“激活函數(shù)”得到神經(jīng)元的輸出。完整版課件7感知機與多層神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡是最先發(fā)明也是最簡單的人工神經(jīng)網(wǎng)絡。它包含了安排在多個層中的多個神經(jīng)元（節(jié)點）。相鄰層的節(jié)點有連接或者邊（edge）。所有的連接都配有權(quán)重。完整版課件8感知機與多層神經(jīng)網(wǎng)絡一個前饋神經(jīng)網(wǎng)絡可以包含三種節(jié)點:1.輸入節(jié)點:輸入節(jié)點從外部世界提供信息，總稱為「輸入層」。在輸入節(jié)點中，不進行任何的計算——僅向隱藏節(jié)點傳遞信息。2.隱藏節(jié)點:隱藏節(jié)點和外部世界沒有直接聯(lián)系（由此得名）。這些節(jié)點進行計算，并將信息從輸入節(jié)點傳遞到輸出節(jié)點。隱藏節(jié)點總稱為「隱藏層」。盡管一個前饋神經(jīng)網(wǎng)絡只有一個輸入層和一個輸出層，但網(wǎng)絡里可以沒有也可以有多個隱藏層。3.輸出節(jié)點:輸出節(jié)點總稱為「輸出層」，負責計算，并從網(wǎng)絡向外部世界傳遞信息。在前饋網(wǎng)絡中，信息只單向移動——從輸入層開始前向移動，然后通過隱藏層（如果有的話），再到輸出層。在網(wǎng)絡中沒有循環(huán)或回路（前饋神經(jīng)網(wǎng)絡的這個屬性和遞歸神經(jīng)網(wǎng)絡不同，后者的節(jié)點連接構(gòu)成循環(huán)）。完整版課件9感知機與多層神經(jīng)網(wǎng)絡多層感知器（MultiLayerPerceptron,即MLP）包括至少一個隱藏層（除了一個輸入層和一個輸出層以外）。單層感知器只能學習線性函數(shù),而多層感知器也可以學習非線性函數(shù)。完整版課件10感知機與多層神經(jīng)網(wǎng)絡訓練我們的多層感知器BP算法（backpropagation），反向傳播誤差算法，是幾種訓練人工神經(jīng)網(wǎng)絡的方法之一。這是一種監(jiān)督學習方法，即通過標記的訓練數(shù)據(jù)來學習（有監(jiān)督者來引導學習）。由前向傳播和后向傳播構(gòu)成。簡單說來，BackProp就像「從錯誤中學習」。監(jiān)督者在人工神經(jīng)網(wǎng)絡犯錯誤時進行糾正。學習的目的是為分配正確的權(quán)重。通過輸入向量，這些權(quán)重可以決定輸出向量。前向傳播:最初，所有的邊權(quán)重（edgeweight）都是隨機分配的。對于所有訓練數(shù)據(jù)集中的輸入，人工神經(jīng)網(wǎng)絡都被激活，并且觀察其輸出。后向傳播:這些輸出會和我們已知的、期望的輸出進行比較，誤差會「傳播」回上一層。該誤差會被標注，權(quán)重也會被相應的「調(diào)整」。該流程重復，直到輸出誤差低于制定的標準。完整版課件11感知機與多層神經(jīng)網(wǎng)絡上述算法結(jié)束后,我們就得到了一個學習過的人工神經(jīng)網(wǎng)絡,該網(wǎng)絡被認為是可以接受「新」輸入的。該人工神經(jīng)網(wǎng)絡可以說從幾個樣本（標注數(shù)據(jù)）和其錯誤（誤差傳播）中得到了學習。然后我們看一個案例。完整版課件12感知機與多層神經(jīng)網(wǎng)絡我們通常在感知器的輸出層中使用Softmax函數(shù)作為激活函數(shù)，以保證輸出的是概率并且相加等于1。Softmax函數(shù)接收一個隨機實值的分數(shù)向量，轉(zhuǎn)化成多個介于0和1之間、并且總和為1的多個向量值。所以，在這個例子中:概率（Pass）+概率（Fail）=1完整版課件13感知機與多層神經(jīng)網(wǎng)絡完整版課件14感知機與多層神經(jīng)網(wǎng)絡如果我們現(xiàn)在再次向網(wǎng)絡輸入同樣的樣本,網(wǎng)絡應該比之前有更好的表現(xiàn),因為為了最小化誤差,已經(jīng)調(diào)整了權(quán)重。如圖7所示,和之前的[0.6,-0.4]相比,輸出節(jié)點的誤差已經(jīng)減少到了[0.2,-0.2]。這意味著我們的網(wǎng)絡已經(jīng)學習了如何正確對第一個訓練樣本進行分類。完整版課件15應用一:MLP分類器完整版課件16應用一:MLP分類器完整版課件17應用一:MLP分類器完整版課件18應用一:MLP分類器完整版課件19應用一:MLP分類器完整版課件20應用一:MLP分類器完整版課件21應用一:MLP分類器完整版課件22應用一:MLP分類器完整版課件23應用一:MLP分類器完整版課件24應用二:MLP的3D可視化AdamHarley創(chuàng)造了一個多層感知器的3D可視化（http://scs.ryerson.ca/~aharley/vis/fc/）,并已經(jīng)開始使用MNIST數(shù)據(jù)庫手寫的數(shù)字進行訓練。此網(wǎng)絡從一個28x28的手寫數(shù)字圖像接受784個數(shù)字像素值作為輸入（在輸入層有對應的784個節(jié)點）。網(wǎng)絡的第一個隱藏層有300個節(jié)點,第二個隱藏層有100個節(jié)點,輸出層有10個節(jié)點（對應10個數(shù)字）。雖然這個網(wǎng)絡跟我們剛才討論的相比大了很多（使用了更多的隱藏層和節(jié)點）,所有前向傳播和反向傳播步驟的計算（對于每個節(jié)點而言）方式都是一樣的。完整版課件25應用二:MLP的3D可視化完整版課件26應用二:MLP的3D