深度神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)主講：馮宇健網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)在監(jiān)督學(xué)習(xí)中，以前的多層神經(jīng)網(wǎng)絡(luò)的問(wèn)題是容易陷入局部極值點(diǎn)。如果訓(xùn)練樣本足夠充分覆蓋未來(lái)的樣本，那么學(xué)到的多層權(quán)重可以很好的用來(lái)預(yù)測(cè)新的測(cè)試樣本。但是很多任務(wù)難以得到足夠多的標(biāo)記樣本，在這種情況下，簡(jiǎn)單的模型，比如線性回歸或者決策樹(shù)往往能得到比多層神經(jīng)網(wǎng)絡(luò)更好的結(jié)果（更好的泛化性，更差的訓(xùn)練誤差）。非監(jiān)督學(xué)習(xí)中，以往沒(méi)有有效的方法構(gòu)造多層網(wǎng)絡(luò)。多層神經(jīng)網(wǎng)絡(luò)的頂層是底層特征的高級(jí)表示，比如底層是像素點(diǎn)，上一層的結(jié)點(diǎn)可能表示橫線，三角；而頂層可能有一個(gè)結(jié)點(diǎn)表示人臉。一個(gè)成功的算法應(yīng)該能讓生成的頂層特征最大化的代表底層的樣例。如果對(duì)所有層同時(shí)訓(xùn)練，時(shí)間復(fù)雜度會(huì)太高；如果每次訓(xùn)練一層，偏差就會(huì)逐層傳遞。這會(huì)面臨跟上面監(jiān)督學(xué)習(xí)中相反的問(wèn)題，會(huì)嚴(yán)重欠擬合。深度神經(jīng)網(wǎng)絡(luò)2006年，hinton提出了在非監(jiān)督數(shù)據(jù)上建立多層神經(jīng)網(wǎng)絡(luò)的一個(gè)有效方法，簡(jiǎn)單的說(shuō)，分為兩步，一是每次訓(xùn)練一層網(wǎng)絡(luò)，二是調(diào)優(yōu)使原始表示x向上生成的高級(jí)表示r和該高級(jí)表示r向下生成的x‘盡可能一致。方法是：1，首先逐層構(gòu)建單層神經(jīng)元，這樣每次都是訓(xùn)練一個(gè)單層網(wǎng)絡(luò)。2，當(dāng)所有層訓(xùn)練完后，hinton使用wake-sleep算法進(jìn)行調(diào)優(yōu)。將除最頂層的其它層間的權(quán)重變?yōu)殡p向的，這樣最頂層仍然是一個(gè)單層神經(jīng)網(wǎng)絡(luò)，而其它層則變?yōu)榱藞D模型。向上的權(quán)重用于”認(rèn)知“，向下的權(quán)重用于”生成“。然后使用Wake-Sleep算法調(diào)整所有的權(quán)重。讓認(rèn)知和生成達(dá)成一致，也就是保證生成的最頂層表示能夠盡可能正確的復(fù)原底層的結(jié)點(diǎn)。比如頂層的一個(gè)結(jié)點(diǎn)表示人臉，那么所有人臉的圖像應(yīng)該激活這個(gè)結(jié)點(diǎn)，并且這個(gè)結(jié)果向下生成的圖像應(yīng)該能夠表現(xiàn)為一個(gè)大概的人臉圖像。Wake-Sleep算法分為醒(wake)和睡(sleep)兩個(gè)部分。深度神經(jīng)網(wǎng)絡(luò)2.1，wake階段，認(rèn)知過(guò)程，通過(guò)外界的特征和向上的權(quán)重（認(rèn)知權(quán)重）產(chǎn)生每一層的抽象表示（結(jié)點(diǎn)狀態(tài)），并且使用梯度下降修改層間的下行權(quán)重（生成權(quán)重）。也就是“如果現(xiàn)實(shí)跟我想像的不一樣，改變我的權(quán)重使得我想像的東西就是這樣的“。2.2，sleep階段，生成過(guò)程，通過(guò)頂層表示（醒時(shí)學(xué)得的概念）和向下權(quán)重，生成底層的狀態(tài)，同時(shí)修改層間向上的權(quán)重。也就是“如果夢(mèng)中的景象不是我腦中的相應(yīng)概念，改變我的認(rèn)知權(quán)重使得這種景象在我看來(lái)就是這個(gè)概念“。由于自動(dòng)編碼器（auto-encoder，即上面說(shuō)的神經(jīng)網(wǎng)絡(luò)。廣義上的自動(dòng)編碼器指所有的從低級(jí)表示得到高級(jí)表示，并能從高級(jí)表示生成低級(jí)表示的近似的結(jié)構(gòu)，狹義上指的是其中的一種，谷歌的人臉識(shí)別用的）有聯(lián)想功能，也就是缺失部分輸入也能得到正確的編碼，所以上面說(shuō)的算法也可以用于有監(jiān)督學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是基于感知機(jī)的擴(kuò)展，而DNN可以理解為有很多隱藏層的神經(jīng)網(wǎng)絡(luò)。多層神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)DNN其實(shí)也是指的一個(gè)東西，DNN有時(shí)也叫做多層感知機(jī)（Multi-Layerperceptron,MLP）。從DNN按不同層的位置是劃分，DNN內(nèi)部的神經(jīng)網(wǎng)絡(luò)層可以分為三類，輸入層，隱藏層和輸出層,如下圖示例，一般來(lái)說(shuō)第一層輸入層，最后一層是輸出層，而中間的層數(shù)都是隱藏層。層與層之間是全連接的，也就是說(shuō)，第i層的任意一個(gè)神經(jīng)元一定與第i+