手把手教你入門神經(jīng)網(wǎng)絡(luò)系列

.開場(chǎng)先扔個(gè)段子在互聯(lián)網(wǎng)廣告營(yíng)銷中，經(jīng)常會(huì)有這樣的對(duì)話：?jiǎn)枺耗銈兊娜巳簶?biāo)簽是什么樣的？答：我們是專門為您訂制的look-alike標(biāo)簽！問：好吧，你們的定向算法能不能說明一下？答：我們用的是deeplearning技術(shù)！一般來說，話題到此，廣告主會(huì)因?yàn)樽约豪碚撝R(shí)的匱乏而羞愧得無地自容。唯一的辦法就是先透過投放廣告的方式先學(xué)習(xí)起來。——?jiǎng)Ⅸi《廣告技術(shù)公司十大裝逼姿勢(shì)》像deeplearning.DNN、BP神經(jīng)網(wǎng)絡(luò)等這些高逼格的詞，真的很能嚇唬人，但真正的內(nèi)容什么，很多人卻解釋得不多，要么說得太晦澀，要么說得太神叨。其實(shí)，就我們的粗淺了解，神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)啥的，入門還是很容易的。如果去除外面浮夸的包裝，它們的理論基礎(chǔ)也相當(dāng)直白。當(dāng)然這并不是說神經(jīng)網(wǎng)絡(luò)不難，它們真正難的地方是在實(shí)踐方面，但這也是有方法可處理的。為了淺顯易懂地給大家解釋這個(gè)過程，我們開設(shè)了“手把手入門神經(jīng)網(wǎng)絡(luò)系列”。在本篇文章中，我們依然少用公式多畫圖，只用初等數(shù)學(xué)的知識(shí)解釋一下神經(jīng)網(wǎng)絡(luò)。.神經(jīng)網(wǎng)絡(luò)有什么牛逼之處？機(jī)器學(xué)習(xí)算法這么多，為什么神經(jīng)網(wǎng)絡(luò)這么牛逼？為了解釋這個(gè)問題，我們呈現(xiàn)了神經(jīng)網(wǎng)絡(luò)在分類問題上優(yōu)于邏輯回歸的地方——它幾乎可以實(shí)現(xiàn)任意復(fù)雜的分類邊界，無誤差地實(shí)現(xiàn)訓(xùn)練集上的分類。然而，這是有代價(jià)的：由于其強(qiáng)大的擬合能力，極容易產(chǎn)生過擬合。為了降低過擬合，我們介紹了一種降低過擬合的思路。在這個(gè)過程中，我們盡量解釋神經(jīng)網(wǎng)絡(luò)每一步操作對(duì)應(yīng)的現(xiàn)實(shí)意義和最終目的。可是，神經(jīng)網(wǎng)絡(luò)的可解釋性往往是個(gè)非常大的難題。為此，我們采用了最易于理解的“交集”（邏輯與）、“并集”（邏輯或）神經(jīng)網(wǎng)絡(luò)，希望能幫助大家進(jìn)行啟發(fā)式理解。

但是，神經(jīng)網(wǎng)絡(luò)的問題并沒有解決完。之后，我們引出了用神經(jīng)網(wǎng)絡(luò)的一些典型問題，我們將在接下來的系列文章對(duì)其進(jìn)行深入探討。.從邏輯回歸到神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)主要應(yīng)用場(chǎng)景之一是分類，我們之前博文中提到的邏輯回歸也是解決分類問題的一類機(jī)器學(xué)習(xí)算法，有趣的是，實(shí)際上兩者有著很緊密的關(guān)系，而邏輯回歸作為幫助我們理解神經(jīng)網(wǎng)絡(luò)的切入口也是極好的，所以我們先從邏輯回歸開始?？催^本我們前文《機(jī)器學(xué)習(xí)系列(2)_用初等數(shù)學(xué)解讀邏輯回歸》的讀者盆友應(yīng)該會(huì)有個(gè)印象，邏輯回歸可以理解成將空間中的點(diǎn)經(jīng)過一系列幾何變換求解損失函數(shù)而進(jìn)行分類的過程，具體過程如圖：二維線性可分——幾何變換視角曜艮也世.0—8第一步是將分布在蹙個(gè)二維平面的點(diǎn)x(X1,X2)通過線性投影映射到一維直線中.成為點(diǎn)x(2).曜艮也世.0—8第二多是將分布在整個(gè)一維直線的點(diǎn)丈(Z)通過sigmoid函數(shù)映射到一維線段［0,1］中成為點(diǎn)X(g(2>)n第三步是將所有這些點(diǎn)的坐標(biāo)通過代僑函數(shù)統(tǒng)一計(jì)算成一個(gè)值，如果這是最小值，相應(yīng)的參數(shù)就是我們所需要的理想值口具體分析一下我們所求的“參數(shù)”的幾何意義，(01,02)就是圖中法向量p的方向，00對(duì)應(yīng)著法向量p的起點(diǎn)距離坐標(biāo)系原點(diǎn)的偏移。在神經(jīng)網(wǎng)絡(luò)中，向量(01,02)也叫做權(quán)重，常用w表示;00就叫做偏移，常用b表示。而上面的邏輯回歸過程，用神經(jīng)元的表達(dá)方式如下，這就是傳說中的“感知器”:

其中，z=00+01X1+02X2,a=g(z)=11+e-z,g(z)叫做激勵(lì)函數(shù)邏輯回歸的激勵(lì)函數(shù)自然就是sigmoid函數(shù)，輸出值a對(duì)應(yīng)著輸入樣本點(diǎn)x(X1,X2)在法向量p所指向的那部分空間的概率。本文為了兼容邏輯回歸，只考慮sigmoid函數(shù)作為激勵(lì)函數(shù)的情況，而且這也是工業(yè)界最常見的情況。其他激勵(lì)函數(shù)的選擇將會(huì)在后面系列文章繼續(xù)介紹。補(bǔ)充說明一下，以上只是為了表示清晰而這樣畫神經(jīng)網(wǎng)絡(luò)。在一般的神經(jīng)網(wǎng)絡(luò)畫法中，激勵(lì)函數(shù)的操作節(jié)點(diǎn)會(huì)與輸出節(jié)點(diǎn)寫成同一個(gè)節(jié)點(diǎn)，如下圖：好了，到此為止，神經(jīng)網(wǎng)絡(luò)相對(duì)于邏輯回歸沒有提供任何新的知識(shí)，就是換了個(gè)花樣來表示。但神經(jīng)網(wǎng)絡(luò)這樣表示有個(gè)重大的作用：它方便我們以此為基礎(chǔ)做邏輯回歸的多層組合嵌套——比如對(duì)同樣的輸入x(X1,X2)可以同時(shí)做n個(gè)邏輯回歸，產(chǎn)生n個(gè)輸出結(jié)果，這就是傳說中的“單層感知器”或者叫“無隱層神經(jīng)網(wǎng)絡(luò)”。示意圖如下：

Layer1 Layer2你還可以對(duì)n個(gè)邏輯回歸的n個(gè)輸出再做m個(gè)邏輯回歸，這就是傳說中的“單隱層神經(jīng)網(wǎng)絡(luò)”。示意圖如下：1Layer31Layer3如果你愿意，可以繼續(xù)做下去，子子孫孫無窮匱也:. hhklenlayer1hi(l<kti■腎號(hào)2ijiikknInwr3inputIsiyir最左邊的層叫做輸入層，最右邊的層叫做輸出層，二者之間的所有層叫做隱藏層。如果層數(shù)比較少，就是傳說中的SNN(shallownerualnetwork)“淺層神經(jīng)網(wǎng)絡(luò)”;如果層數(shù)比較多，就是傳說中的DNN(DeepNeuralNetworks)“深度神經(jīng)網(wǎng)絡(luò)”。對(duì)“淺層神經(jīng)網(wǎng)絡(luò)”的建模叫做“淺層學(xué)習(xí)”，那么對(duì)于“深度神經(jīng)網(wǎng)絡(luò)”……“深度學(xué)習(xí)”！恭喜你已經(jīng)會(huì)搶答了！到目前為止，我們沒有運(yùn)用任何更多的數(shù)學(xué)知識(shí)，就已經(jīng)收獲了一大批裝逼術(shù)語。如果你愿意，把上面的所有情況叫做“邏輯回歸的邏輯回歸的邏輯回歸的邏輯……”，我也覺得蠻好哈。(喘不過氣來了……)4.雙隱層神經(jīng)網(wǎng)絡(luò)徹底實(shí)現(xiàn)復(fù)雜分類我們之前已經(jīng)探討過，邏輯回歸的比較擅長(zhǎng)解決線性可分的問題。對(duì)于非線性可分的問題，邏輯回歸有一種運(yùn)用復(fù)雜映射函數(shù)的思路，但這種思路只做了一次(非線性的)幾何變換，就得到了線性可分的情形?？蓞⒖枷聢D：

二維簡(jiǎn)單非線性可分——幾何變換視角第一步是將分布在整個(gè)二維平面的點(diǎn)*(XI,X2)通過某種方式映射到一維直線中，成為點(diǎn)x(I)第二步是將分布在整個(gè)一維射線的點(diǎn)X(z)通過s?gmoid函數(shù)映射到一維線段［011］中成為點(diǎn)x(g(z))口神經(jīng)網(wǎng)絡(luò)的視角則給我們提供了另一種思路，可以連續(xù)做幾次的幾何變換，每次變換都是一些極簡(jiǎn)單的邏輯回歸，最終達(dá)到線性可分情形?？雌饋硭坪鹾懿诲e(cuò)哦。比如下面這個(gè)貌似很簡(jiǎn)單的問題，我們?cè)趺凑页鏊姆蛛x邊界？發(fā)現(xiàn)無論怎么用一條直線切都不行。那么兩條直線行不行?第三步是將所有這些點(diǎn)的坐標(biāo)通過代價(jià)房數(shù)統(tǒng)一計(jì)算成一個(gè)值V,如果這是最小值，相應(yīng)的參數(shù)就是我們所需要的理想值。神經(jīng)網(wǎng)絡(luò)的視角則給我們提供了另一種思路，可以連續(xù)做幾次的幾何變換，每次變換都是一些極簡(jiǎn)單的邏輯回歸，最終達(dá)到線性可分情形?？雌饋硭坪鹾懿诲e(cuò)哦。比如下面這個(gè)貌似很簡(jiǎn)單的問題，我們?cè)趺凑页鏊姆蛛x邊界？發(fā)現(xiàn)無論怎么用一條直線切都不行。那么兩條直線行不行?這么看確實(shí)是可以的，我們只需要把兩個(gè)‘半平面”取交集就可以找到一個(gè)楔形區(qū)域的非線性分離邊界了，而且并不是唯一的解。因此我們發(fā)現(xiàn)如果允許對(duì)同一個(gè)輸入做多種不同的邏輯回歸，再對(duì)這些結(jié)果取交集，就可以解決很大一部分非線性可分問題。那么，對(duì)于取交集怎么用邏輯回歸表達(dá)?我們考慮兩個(gè)輸入的情況，每一個(gè)輸入是樣本點(diǎn)x(X1,X2)屬于某一個(gè)“半平面”的概率，取交集意味著該樣本點(diǎn)屬于兩個(gè)"半平面”的概率均接近于1,可以用一條直線將其區(qū)分開來?？梢?，對(duì)于交集運(yùn)算，通過選取合適的權(quán)重和偏移，就可以得到一個(gè)線性的分離邊界。這也就是所謂用神經(jīng)元實(shí)現(xiàn)“邏輯與”運(yùn)算，這是神經(jīng)網(wǎng)絡(luò)的一個(gè)常見應(yīng)用：每層的節(jié)點(diǎn)數(shù)依次以上過程如果用神經(jīng)網(wǎng)絡(luò)來展現(xiàn)的話，可以設(shè)計(jì)成一個(gè)單隱層神經(jīng)網(wǎng)絡(luò)為：3、3、1，如下如圖：每層的節(jié)點(diǎn)數(shù)依次以上過程如果用神經(jīng)網(wǎng)絡(luò)來展現(xiàn)的話，可以設(shè)計(jì)成一個(gè)單隱層神經(jīng)網(wǎng)絡(luò)為：3、3、1，如下如圖：+ ?+=艇）中17.r], {ILI}fV士AKD心肛fee（55）0000100111，解釋下每一層的作用：第一層是輸入層，對(duì)應(yīng)著每一個(gè)輸入的二維樣本點(diǎn)x(X1,X2)的2個(gè)輸坐標(biāo)和1個(gè)輔助偏移的常量“1”，總共3個(gè)節(jié)點(diǎn)。第二層是第一層的輸出層，每個(gè)節(jié)點(diǎn)對(duì)應(yīng)著輸入樣本點(diǎn)屬于某個(gè)‘半平面”的概率，該“半平面”的正向法向量就對(duì)應(yīng)著輸入層(輸入樣本點(diǎn)坐標(biāo))到該節(jié)點(diǎn)的權(quán)重w和偏移b。為了定位中間這2個(gè)X點(diǎn)，我們圍繞它們上下切2刀，用2個(gè)”半平面”相交產(chǎn)生的楔形開放凸域定位這2個(gè)X點(diǎn)，所以這一層對(duì)應(yīng)著總共產(chǎn)生了的2個(gè)“半平面”，有2個(gè)節(jié)點(diǎn)。第二層同時(shí)也是第三層的輸入層，要考慮再加上求第三層節(jié)點(diǎn)時(shí)要用的1個(gè)輔助偏移的常量節(jié)點(diǎn)“1”，第二層總共有2+1=3個(gè)節(jié)點(diǎn)。第三層是第二層也是整體的輸出層，輸出節(jié)點(diǎn)對(duì)應(yīng)著輸入樣本點(diǎn)屬于楔形開放凸域的概率，也就是與這2個(gè)X點(diǎn)屬于同一類的概率。但是這種方法有局限，這些直線分割的“半平面”取的交集都有個(gè)特點(diǎn)，用專業(yè)的說法“都是凸域的”——其邊界任意兩點(diǎn)的連線都在域內(nèi)。如下圖各個(gè)色塊，每一個(gè)色塊都是一個(gè)凸域。

單獨(dú)一個(gè)凸域的表現(xiàn)能力可能不是很強(qiáng)，無法構(gòu)造一些非凸域的奇怪的形狀。于是我們考慮是不是把n個(gè)凸域并在一起，這樣就可以組成任意非凸域的奇葩的形狀了：如上圖所有彩色色塊拼起來的區(qū)域。那對(duì)應(yīng)于神經(jīng)元是怎么一個(gè)操作？……再加一層，取他們的并集！恭喜你又會(huì)搶答了。而取并集就意味著該樣本點(diǎn)屬于兩個(gè)“半平面”的概率至少有一個(gè)接近于1,也可以用一條直線將其區(qū)分開來。可見，對(duì)于并集運(yùn)算，通過選取合適的權(quán)重和偏移，也可以得到一個(gè)線性的分離邊界。這就是所謂用神經(jīng)元實(shí)現(xiàn)“邏輯或”運(yùn)算，這也是神經(jīng)網(wǎng)絡(luò)的一個(gè)常見應(yīng)用：ExampFe:ORfunction我們用一下這張圖總結(jié)上面所說的內(nèi)容，一圖勝千言唉:袁3,2不阿密窟除事為蔣博籌類就力5?以三分類問題為例演示神經(jīng)網(wǎng)絡(luò)的統(tǒng)一解法對(duì)于一切分類問題我們都可以有一個(gè)統(tǒng)一的方法，只需要兩層隱藏層。以下面這個(gè)3分類問題為例：

我們通過取“半平面”、取交集生成精確包含每一個(gè)樣本點(diǎn)的凸域（所以凸域的個(gè)數(shù)與訓(xùn)練集的樣本的個(gè)數(shù)相等），再對(duì)同類的樣本點(diǎn)的區(qū)域取并集，這樣無論多復(fù)雜的分離界面我們可以考慮進(jìn)去。于是，我們?cè)O(shè)計(jì)雙隱層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下，每一層的節(jié)點(diǎn)數(shù)依次為：3、25、7、3:解釋下每一層的作用：第一層是輸入層，對(duì)應(yīng)著每一個(gè)輸入的二維樣本點(diǎn)x(X1,X2)的2個(gè)輸坐標(biāo)和1個(gè)輔助偏移的常量“1”，總共3個(gè)節(jié)點(diǎn)。第二層是第一層的輸出層，每個(gè)節(jié)點(diǎn)對(duì)應(yīng)著輸入樣本點(diǎn)屬于某個(gè)‘半平面”的概率，該“半平面”的正向法向量就對(duì)應(yīng)著輸入層(輸入樣本點(diǎn)坐標(biāo))到該節(jié)點(diǎn)的權(quán)重w和偏移b。為了精確定位總共這6個(gè)點(diǎn)，我們圍繞每個(gè)點(diǎn)附近平行于坐標(biāo)軸切4刀，用四個(gè)“半平面”相交產(chǎn)生的方形封閉凸域精確包裹定位該點(diǎn)，所以這一層對(duì)應(yīng)著總共產(chǎn)生了的4*6=24個(gè)“半平面”，有24個(gè)節(jié)點(diǎn)。第二層同時(shí)也是第三層的輸入層，要考慮再加上求第三層節(jié)點(diǎn)時(shí)要用的1個(gè)輔助偏移的常量節(jié)點(diǎn)“1”，第二層總共有24+1=25個(gè)節(jié)點(diǎn)。第三層是第二層的輸出層，每個(gè)節(jié)點(diǎn)對(duì)應(yīng)著輸入樣本點(diǎn)屬于第二層區(qū)分出來的某4個(gè)“半平面”取交集形成的某個(gè)方形封閉凸域的概率，故總共需要24/4=6個(gè)節(jié)點(diǎn)。因?yàn)椴捎梦覀兊膭澐址绞?，只需要四個(gè)‘半平面”就可以精確包裹某一個(gè)樣本點(diǎn)了，我們認(rèn)為其他的“半平面”貢獻(xiàn)的權(quán)重應(yīng)該為0，就只畫了生成該凸域的四個(gè)“半平面”給予的權(quán)重對(duì)應(yīng)的連線，其他連線不畫。第三層同時(shí)也是第四層的輸入層，要考慮再加上求第四層節(jié)點(diǎn)時(shí)要用的1個(gè)輔助偏移的常量節(jié)點(diǎn)“1”，第三層總共有6+1=7個(gè)節(jié)點(diǎn)。第四層是第三層的輸出層，每個(gè)節(jié)點(diǎn)對(duì)應(yīng)著輸入樣本點(diǎn)屬于某一類點(diǎn)所在的所有區(qū)域的概率。為找到該類的區(qū)分區(qū)域，對(duì)第三層屬于同一類點(diǎn)的2個(gè)凸域的2個(gè)節(jié)點(diǎn)取并集，故總共需要6/2=3個(gè)節(jié)點(diǎn)。（同樣，我們不畫其他類的凸域貢獻(xiàn)的權(quán)重的連線）小結(jié)一下就是先取“半平面”再取交集最后取并集。如果看文字太累，請(qǐng)看下圖。只可惜圖太小，省略了很多節(jié)點(diǎn)，請(qǐng)見諒。如果覺得還是有些問題，歡迎在評(píng)論區(qū)中參與討論哈。

6,一種降低過擬合的方法我們的確有了一個(gè)統(tǒng)一的解法。但估計(jì)很多同學(xué)看到還沒看完就開始吐槽了:“總共也就6個(gè)樣本，尼瑪用了32個(gè)隱藏節(jié)點(diǎn)，訓(xùn)練111個(gè)(24*3+6*5+3*3)參數(shù)，這過擬合也太過分了吧!”的確如此，這個(gè)過擬合弄得我們也不忍直視。如果我們多增加幾個(gè)樣本，就會(huì)發(fā)現(xiàn)上面訓(xùn)練出來的模型不夠用了。

通過這個(gè)反面教材我們發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)是特別容易過擬合的。而如何降低過擬合就是神經(jīng)網(wǎng)絡(luò)領(lǐng)域中一個(gè)非常重要的主題，后面會(huì)有專文討論。本例只是簡(jiǎn)單應(yīng)用其中一個(gè)方法一一就是降低神經(jīng)網(wǎng)絡(luò)的層數(shù)和節(jié)點(diǎn)數(shù)。我們仔細(xì)觀察樣本點(diǎn)的分布，發(fā)現(xiàn)每?jī)蓚€(gè)類別都可以有一條直線直接將它們分開，這是所謂的one-vs-one的情況，用三條直線就可以完全將這些類別區(qū)分開來。相應(yīng)的，我們只需要求出每?jī)蓚€(gè)類別的分離直線，找出每個(gè)類別所屬的兩個(gè)半平面，對(duì)它們求一個(gè)交集就夠了。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下：行 』個(gè) 31解釋下每一層的作用：第一層是輸入層，對(duì)應(yīng)著每一個(gè)輸入的二維樣本點(diǎn)x(X1,X2)的2個(gè)輸坐標(biāo)和1個(gè)輔助偏移的常量“1”，總共3個(gè)節(jié)點(diǎn)。第二層是第一層的輸出層，每個(gè)節(jié)點(diǎn)對(duì)應(yīng)著輸入樣本點(diǎn)屬于某個(gè)‘半平面”的概率，該“半平面”的正向法向量就對(duì)應(yīng)著輸入層(輸入樣本點(diǎn)坐標(biāo))到該節(jié)點(diǎn)的權(quán)重w和偏移b。因?yàn)?個(gè)“半平面”足以定位每一個(gè)類型的區(qū)域，所以這一層有3個(gè)節(jié)點(diǎn)。第二層同時(shí)也是第三層的輸入層，要考慮再加上求第三層節(jié)點(diǎn)時(shí)要用的1個(gè)輔助偏移的常量節(jié)點(diǎn)“1”，第二層總共有3+1=4個(gè)節(jié)點(diǎn)。第三層是第二層的輸出層，每個(gè)節(jié)點(diǎn)對(duì)應(yīng)著輸入樣本點(diǎn)屬于第二層區(qū)分出來的某2個(gè)“半平面”取交集形成的某個(gè)開放凸域的概率。我們同樣認(rèn)為其他的“半平面”貢獻(xiàn)的權(quán)重應(yīng)該為0，就只畫了生成該凸域的2個(gè)“半平面”給予的權(quán)重對(duì)應(yīng)的連線，其他連線不畫。只是這里與上面例子的情況有一點(diǎn)小小的不同，因?yàn)橐粋€(gè)分離直線可以區(qū)分出兩個(gè)“半平面”，兩個(gè)“半平面”都被我們的利用起來做交集求凸域，故每個(gè)第二層的節(jié)點(diǎn)都引出了兩條權(quán)重的連線到第三層。而這取交集的結(jié)果足以定位每一個(gè)類型的區(qū)域，因此第三層也就是總體的輸出層。故第三層總共需要3個(gè)節(jié)點(diǎn)。在這里，我們只用了1個(gè)隱藏層4個(gè)節(jié)點(diǎn)就完成了分類任務(wù)，能夠識(shí)別的樣本還比之前多。效果是很明顯的。從以上推導(dǎo)我們可以得出一個(gè)啟發(fā)式的經(jīng)驗(yàn):通過適當(dāng)減少神經(jīng)元的層數(shù)和節(jié)點(diǎn)個(gè)數(shù)，可以極大地提高計(jì)算效率，降低過擬合的程度。我們會(huì)在另一篇文章中有更加全面系統(tǒng)的論述。7.然而，問題真的解決了嗎？其實(shí)并沒有。我們憑什么知道上面改進(jìn)的模型還有沒有過擬合？其實(shí)我們并不知道。因此我們需要更加科學(xué)客觀的方法進(jìn)行評(píng)估模型。降低神經(jīng)網(wǎng)絡(luò)過擬合的方式有哪些？我們憑什么知道我們的節(jié)點(diǎn)數(shù)和隱藏層個(gè)數(shù)的選擇是合適的？我們剛才只是直接是畫出了分界線和相應(yīng)的神經(jīng)元組合。問題是，很多時(shí)候你并不知道樣本真實(shí)的分布，并不知道需要多少層、多少個(gè)節(jié)點(diǎn)、之間的鏈接方式怎樣。我們?cè)趺辞蟪鲞@些（超）參數(shù)呢？假設(shè)我們已經(jīng)知道了節(jié)點(diǎn)數(shù)和隱藏層數(shù)，我們?cè)趺辞筮@些神經(jīng)元的權(quán)重和偏移呢？最常用的最優(yōu)化