神經(jīng)網(wǎng)絡(luò)學習筆記及R實現(xiàn)

1、神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)一、一、神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)網(wǎng)絡(luò)(ANN)，簡稱神經(jīng)網(wǎng)絡(luò)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能的數(shù)學模型或計算模型。 神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元聯(lián)結(jié)進行計算。 大多數(shù)情況下人工神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)， 是一種自適應系統(tǒng)。 現(xiàn)代神經(jīng)網(wǎng)絡(luò)是一種非線性統(tǒng)計性數(shù)據(jù)建模工具，常用來對輸入和輸出間復雜的關(guān)系進行建模，或用來探索數(shù)據(jù)的模式物理結(jié)構(gòu)：物理結(jié)構(gòu)：人工神經(jīng)元將模擬生物神經(jīng)元的功能計算模擬計算模擬：人腦的神經(jīng)元有局部計算和存儲的功能，通過連接構(gòu)成一個系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中也有大量有局部處理能力的神經(jīng)元，也能夠?qū)⑿畔⑦M行大規(guī)模并行處理存儲與操作存儲與操作： 人

2、腦和人工神經(jīng)網(wǎng)絡(luò)都是通過神經(jīng)元的連接強度來實現(xiàn)記憶存儲功能， 同時為概括、類比、推廣提供有力的支持訓練訓練： 同人腦一樣， 人工神經(jīng)網(wǎng)絡(luò)將根據(jù)自己的結(jié)構(gòu)特性， 使用不同的訓練、 學習過程，自動從實踐中獲得相關(guān)知識神經(jīng)網(wǎng)絡(luò)是一種運算模型，由大量的節(jié)點(或稱“神經(jīng)元”，或“單元”)和之間相互聯(lián)接構(gòu)成。每個節(jié)點代表一種特定的輸出函數(shù)，稱為激勵函數(shù)。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權(quán)值，稱之為權(quán)重，這相當于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式， 權(quán)重值和激勵函數(shù)的不同而不同。 而網(wǎng)絡(luò)自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達。二、二、BP 神

3、經(jīng)網(wǎng)絡(luò)算法描述神經(jīng)網(wǎng)絡(luò)算法描述1 1、sigmoidsigmoid 函數(shù)分類函數(shù)分類回顧我們前面提到的感知器， 它使用示性函數(shù)作為分類的辦法。 然而示性函數(shù)作為分類器它的跳點讓人覺得很難處理，幸好 sigmoid 函數(shù) y=1/(1+e-x)有類似的性質(zhì)，且有著光滑性這一優(yōu)良性質(zhì)。我們通過下圖可以看見 sigmoid 函數(shù)的圖像：Sigmoid 函數(shù)有著計算代價不高，易于理解與實現(xiàn)的優(yōu)點但也有著欠擬合，分類精度不高的特性，我們在支持向量機一章中就可以看到 sigmoid 函數(shù)差勁的分類結(jié)果確定隱藏層的節(jié)點個數(shù)2 2、BPBP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)BP (Back Propagation)神

4、經(jīng)網(wǎng)絡(luò)，即誤差反傳誤差反向傳播算法的學習過程，由信息的正向傳播和誤差的反向傳播兩個過程組成。由下圖可知，BP 神經(jīng)網(wǎng)絡(luò)是一個三層的網(wǎng)絡(luò):輸入層(input layer)：輸入層各神經(jīng)元負責接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元;隱藏層(Hidden Layer):中間層是內(nèi)部信息處理層，負責信息變換，根據(jù)信息變化能力的需求， 中間層可以設(shè)計為單隱層或者多隱層結(jié)構(gòu);最后一個隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進一步處理后，完成一次學習的正向傳播處理過程;輸出層(Output Layer):顧名思義，輸出層向外界輸出信息處理結(jié)果;當實際輸出與期望輸出不符時，進入誤差的反向傳播階段。誤差通過輸

5、出層，按誤差梯度下降的方式修正各層權(quán)值，向隱藏層、輸入層逐層反傳。周而復始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學習訓練的過程，此過程一直進行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預先設(shè)定的學習次數(shù)為止3 3、反向傳播算法、反向傳播算法反向傳播這一算法把我們前面提到的 delta 規(guī)則的分析擴展到了帶有隱藏節(jié)點的神經(jīng)網(wǎng)絡(luò)。為了理解這個問題，設(shè)想 Bob 給 Alice 講了一個故事，然后 Alice 又講給了 Ted，Ted檢查了這個事實真相，發(fā)現(xiàn)這個故事是錯誤的。現(xiàn)在 Ted 需要找出哪些錯誤是 Bob 造成的而哪些又歸咎于 Alice。當輸出節(jié)點從隱藏

6、節(jié)點獲得輸入，網(wǎng)絡(luò)發(fā)現(xiàn)出現(xiàn)了誤差，權(quán)系數(shù)的調(diào)整需要一個算法來找出整個誤差是由多少不同的節(jié)點造成的，網(wǎng)絡(luò)需要問， “是誰讓我誤入歧途?到怎樣的程度?如何彌補?”這時，網(wǎng)絡(luò)該怎么做呢?同樣源于梯度降落原理，在權(quán)系數(shù)調(diào)整分析中的唯一不同是涉及到 t(p,n)與 y(p,n)的差分。通常來說 Wi 的改變在于：alpha * s(a(p,n) * d(n) *X(p,i,n)其中 d(n)是隱藏節(jié)點 n 的函數(shù)，讓我們來看：n 對任何給出的輸出節(jié)點有多大影響;輸出節(jié)點本身對網(wǎng)絡(luò)整體的誤差有多少影響。一方面，n 影響一個輸出節(jié)點越多，n 造成網(wǎng)絡(luò)整體的誤差也越多。另一方面，如果輸出節(jié)點影響網(wǎng)絡(luò)整體的誤差

7、越少，n 對輸出節(jié)點的影響也相應減少。這里 d(j)是對網(wǎng)絡(luò)的整體誤差的基值，W(n,j) 是 n 對 j 造成的影響，d(j) * W(n,j) 是這兩種影響的總和。但是 n 幾乎總是影響多個輸出節(jié)點， 也許會影響每一個輸出結(jié)點， 這樣， d(n) 可以表示為：SUM(d(j)*W(n,j)這里 j 是一個從 n 獲得輸入的輸出節(jié)點，聯(lián)系起來，我們就得到了一個培訓規(guī)則。第 1 部分：在隱藏節(jié)點 n 和輸出節(jié)點 j 之間權(quán)系數(shù)改變，如下所示：alpha *s(a(p,n)*(t(p,n) - y(p,n) * X(p,n,j)第 2 部分：在輸入節(jié)點 i 和輸出節(jié)點 n 之間權(quán)系數(shù)改變，如下所

8、示：alpha *s(a(p,n) * sum(d(j) * W(n,j) * X(p,i,n)這里每個從 n 接收輸入的輸出節(jié)點 j 都不同。關(guān)于反向傳播算法的基本情況大致如此。通常把第 1 部分稱為正向傳播，把第 2 部分稱為反向傳播。反向傳播的名字由此而來。4 4、最速下降法與其改進、最速下降法與其改進最速下降法的基本思想是：要找到某函數(shù)的最小值，最好的辦法是沿函數(shù)的梯度方向探尋，如果梯度記為 d,那么迭代公式可寫為 w=w-alpha*d， 其中 alpha 可理解為我們前面提到的學習速率。最速下降法有著收斂速度慢(因為每次搜索與前一次均正交， 收斂是鋸齒形的)， 容易陷入局部最小值等

9、缺點，所以他的改進辦法也有不少，最常見的是增加動量項與學習率可變。增加沖量項(Momentum)修改權(quán)值更新法則，使第 n 次迭代時的權(quán)值的更新部分地依賴于發(fā)生在第 n1 次迭代時的更新Delta(w)(n)=-alpha*(1-mc)*Delta(w)(n)+mc*Delta(w)(n-1)右側(cè)第一項就是權(quán)值更新法則，第二項被稱為沖量項梯度下降的搜索軌跡就像一個球沿誤差曲面滾下， 沖量使球從一次迭代到下一次迭代時以同樣的方向滾動沖量有時會使這個球滾過誤差曲面的局部極小值或平坦區(qū)域沖量也具有在梯度不變的區(qū)域逐漸增大搜索步長的效果，從而加快收斂。改變學習率當誤差減小趨近目標時，說明修正方向是正確

10、的，可以增加學習率;當誤差增加超過一個范圍時，說明修改不正確，需要降低學習率。R R 語言實現(xiàn)語言實現(xiàn)library(AMORE)# 數(shù)據(jù)載入及處理dat - read.table(german.data-numeric, header=F)for (i in 1:25) dat,i - as.numeric(as.vector(dat),i)# 劃分訓練集和測試集train_dat - dat1:500,test_dat - dat501:1000,# 進行訓練net - newff(n.neurons=c(24,8,2,1), learning.rate.global=1e-2,momentum.global=0.5,error.criterium=LMS, Stao=NA, hidden.layer=tansig,output.layer=purelin, method=ADAPTgdwm)result - train(net, train_dat1:24, train_dat25, error.criterium=LMS,report=TRUE