多層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）

1.1

機(jī)學(xué)習(xí)概覽歡迎進(jìn)入《數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)》課程學(xué)習(xí)第4單元機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)（DNN）

深度神經(jīng)網(wǎng)絡(luò)（DNN）感知器02

從生物元到人工神經(jīng)元01多層感知器與反向傳播03激活函數(shù)和損失函數(shù)05

多層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）04梯度下降算法（SGD）06多層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）多層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）

2006年，Hinton在《Science》和相關(guān)期刊上發(fā)表了論文，首次提出了“深度信念網(wǎng)絡(luò)”的概念。與傳統(tǒng)的訓(xùn)練方式不同，“深度信念網(wǎng)絡(luò)”有一個(gè)“預(yù)訓(xùn)練”（pre-training）的過(guò)程，這可以方便的讓神經(jīng)網(wǎng)絡(luò)中的權(quán)值找到一個(gè)接近最優(yōu)解的值，之后再使用“微調(diào)”(fine-tuning)技術(shù)來(lái)對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行優(yōu)化訓(xùn)練。這兩個(gè)技術(shù)的運(yùn)用大幅度減少了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的時(shí)間。他給多層神經(jīng)網(wǎng)絡(luò)相關(guān)的學(xué)習(xí)方法賦予了一個(gè)新名詞--“深度學(xué)習(xí)”。

圖1：GeofferyHinton多層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)延續(xù)兩層神經(jīng)網(wǎng)絡(luò)的方式來(lái)設(shè)計(jì)一個(gè)多層神經(jīng)網(wǎng)絡(luò)。

在兩層神經(jīng)網(wǎng)絡(luò)的輸出層后面，繼續(xù)添加層次。原來(lái)的輸出層變成中間層，新加的層次成為新的輸出層。所以可以得到右圖。圖2：多層神經(jīng)網(wǎng)絡(luò)多層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）

依照這樣的方式不斷添加，可以得到更多層的多層神經(jīng)網(wǎng)絡(luò)。公式推導(dǎo)的話其實(shí)跟兩層神經(jīng)網(wǎng)絡(luò)類似，使用矩陣運(yùn)算的話就僅僅是加一個(gè)公式而已。多層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）多層神經(jīng)網(wǎng)絡(luò)中的參數(shù)首先看第一張圖，可以看出W(1)中有6個(gè)參數(shù)，W(2)中有4個(gè)參數(shù)，W(3)中有6個(gè)參數(shù)，所以整個(gè)神經(jīng)網(wǎng)絡(luò)中的參數(shù)有16個(gè)。圖3：多層神經(jīng)網(wǎng)絡(luò)（較少參數(shù)）多層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）假設(shè)將中間層的節(jié)點(diǎn)數(shù)做一下調(diào)整。第一個(gè)中間層改為3個(gè)單元，第二個(gè)中間層改為4個(gè)單元。經(jīng)過(guò)調(diào)整以后，整個(gè)網(wǎng)絡(luò)的參數(shù)變成了33個(gè)。圖4：多層神經(jīng)網(wǎng)絡(luò)（較多參數(shù)）多層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）雖然層數(shù)保持不變，但是第二個(gè)神經(jīng)網(wǎng)絡(luò)的參數(shù)數(shù)量卻是第一個(gè)神經(jīng)網(wǎng)絡(luò)的接近兩倍之多，從而帶來(lái)了更好的表示（represention）能力。在參數(shù)一致的情況下，也可以獲得一個(gè)“更深”的網(wǎng)絡(luò)。下圖的網(wǎng)絡(luò)中，雖然參數(shù)數(shù)量仍然是33，但卻有4個(gè)中間層，是原來(lái)層數(shù)的接近兩倍。這意味著一樣的參數(shù)數(shù)量，可以用更深的層次去表達(dá)。圖5：多層神經(jīng)網(wǎng)絡(luò)（更多層次）多層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）多層神經(jīng)網(wǎng)絡(luò)影響與兩層層神經(jīng)網(wǎng)絡(luò)不同。多層神經(jīng)網(wǎng)絡(luò)中的層數(shù)增加了很多。增加更多的層次有什么好處？更深入的表示特征，以及更強(qiáng)的函數(shù)模擬能力。在多層神經(jīng)網(wǎng)絡(luò)中，每一層神經(jīng)元學(xué)習(xí)到的是前一層神經(jīng)元值的更抽象的表示。例如第一個(gè)隱藏層學(xué)習(xí)到的是“邊緣”的特征，第二個(gè)隱藏層學(xué)習(xí)到的是由“邊緣”組成的“形狀”的特征，第三個(gè)隱藏層學(xué)習(xí)到的是由“形狀”組成的“圖案”的特征，最后的隱藏層學(xué)習(xí)到的是由“圖案”組成的“目標(biāo)”的特征。通過(guò)抽取更抽象的特征來(lái)對(duì)事物進(jìn)行區(qū)分，從而獲得更好的區(qū)分與分類能力。圖7：多層神經(jīng)網(wǎng)絡(luò)特征學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）

更強(qiáng)的函數(shù)模擬能力是由于隨著層數(shù)的增加，整個(gè)網(wǎng)絡(luò)的參數(shù)就越多。而神經(jīng)網(wǎng)絡(luò)其實(shí)本質(zhì)就是模擬特征與目標(biāo)之間的真實(shí)關(guān)系函數(shù)的方法，更多的參數(shù)意味著其模擬的函數(shù)可以更加的復(fù)雜，可以有更多的容量（capcity）去擬合真正的關(guān)系。通過(guò)研究發(fā)現(xiàn)，在參數(shù)數(shù)量一樣的情況下，更深的網(wǎng)絡(luò)往往具有比淺層的網(wǎng)絡(luò)更好的識(shí)別效率。多層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）

在單層神經(jīng)網(wǎng)絡(luò)時(shí)，我們使用的激活函數(shù)是sgn函數(shù)。到了兩層神經(jīng)網(wǎng)絡(luò)時(shí)，我們使用的最多的是sigmoid函數(shù)。而到了多層神經(jīng)網(wǎng)絡(luò)時(shí)，通過(guò)一系列的研究發(fā)現(xiàn)，ReLU函數(shù)在訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)時(shí)，更容易收斂，并且預(yù)測(cè)性能更好。因此，目前在深度學(xué)習(xí)中，最流行的非線性函數(shù)是ReLU函數(shù)。ReLU函數(shù)不是傳統(tǒng)的非線性函數(shù)，而是分段線性函數(shù)。其表達(dá)式非常簡(jiǎn)單，就是y=max(x,0)。簡(jiǎn)而言之，在x大于0，輸出就是輸入，而