第六章 人工神經(jīng)網(wǎng)絡(luò)

計算智能（搜索、推理、專家系統(tǒng)等）以知識為基礎(chǔ)，通過符號推理，進(jìn)行問題求解，通常把這些稱為符號智能；1992年，美國學(xué)者James首次提出計算智能（ComputationalIntelligence，CI）概念；計算智能是基于數(shù)值計算實現(xiàn)智能處理計算智能所包含的領(lǐng)域

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork,ANN）

進(jìn)化計算（EvolutionComputing,EC）

模糊系統(tǒng)（FuzzySystem,FS）6.1人工神經(jīng)網(wǎng)絡(luò)概述6.2感知機(jī)6.3BP網(wǎng)絡(luò)6.4人工神經(jīng)的網(wǎng)絡(luò)應(yīng)用第六章人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwroks）6.1人工神經(jīng)網(wǎng)絡(luò)概述生物神經(jīng)元簡介人工神經(jīng)網(wǎng)絡(luò)概念人工神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)神經(jīng)學(xué)習(xí)方式人工神經(jīng)網(wǎng)絡(luò)特點(diǎn)神經(jīng)網(wǎng)絡(luò)的基本功能神經(jīng)網(wǎng)絡(luò)模型人腦的奧秘人類的大腦大約有1400億個神經(jīng)細(xì)胞，亦稱為神經(jīng)元。平均每個神經(jīng)元與其他大量神經(jīng)元相互連接，形成復(fù)雜的生物神經(jīng)網(wǎng)絡(luò)。經(jīng)驗直覺綜合判斷回憶聯(lián)想生物神經(jīng)元（Neuron）神經(jīng)末梢突觸軸突樹突細(xì)胞核細(xì)胞體由細(xì)胞體(Soma)、軸突(Axon)和樹突(Dendrite)三個部分組成

生物神經(jīng)元工作機(jī)理神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動，樹突由于電化學(xué)作用接受外界的刺激；

一個神經(jīng)元把來自不同樹突的興奮性或抑制性輸入信號(突觸后膜電位)累加求和的過程，稱為整合。當(dāng)神經(jīng)元的時空整合產(chǎn)生的膜電位超過閾值電位時，神經(jīng)元處于興奮狀態(tài)，產(chǎn)生興奮性電脈沖，并經(jīng)軸突輸出；否則，無電脈沖產(chǎn)生，處于抑制狀態(tài)。神經(jīng)元間的連接強(qiáng)度是可以接受外界刺激而改變的，這構(gòu)成了學(xué)習(xí)機(jī)能的基礎(chǔ)。大腦體操:腦子越用越靈光、下棋、打牌、閱讀人工神經(jīng)網(wǎng)絡(luò)概念人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork:ANN)是抽象、簡化與模擬大腦生物結(jié)構(gòu)的計算模型；另一個定義：“人工神經(jīng)網(wǎng)絡(luò)是由有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)。”ANN的三大要素:神經(jīng)元，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),學(xué)習(xí)算法人工神經(jīng)元對生物神經(jīng)元的抽象與模擬xny∑θx1x2w1w2wn輸入連接權(quán)值,與該神經(jīng)元的連接強(qiáng)度神經(jīng)元輸出f:激勵函數(shù)閾值y=f(A)=f（∑wixi-θ）連接權(quán)與神經(jīng)元狀態(tài)神經(jīng)元uj和ui之間連接權(quán)為wijwij>0，稱為正連接，表示神經(jīng)元uj對ui有激活作用

wij<0，稱為負(fù)連接，表示神經(jīng)元uj對ui有抑制作用

神經(jīng)元狀態(tài)：激活狀態(tài)，激勵函數(shù)輸出為1

抑制狀態(tài)，激勵函數(shù)輸出為0(1)從各輸入端接收輸入信號xi。(2)根據(jù)各連接權(quán)值wi,求出所有輸入的加權(quán)和A：

A＝ni=1wi

xi

－

(3)利用某一激勵函數(shù)f進(jìn)行變換，得到輸出y：y=f(A)＝f(ni=1wi

xi

－)神經(jīng)元的工作過程常用神經(jīng)元激勵函數(shù)：閾值型函數(shù)

f（A）=MP神經(jīng)元模型常用神經(jīng)元激勵函數(shù)：分段線性型函數(shù)式中，K、Ak均表示常量。

常用神經(jīng)元激勵函數(shù)：S型函數(shù)S型特性函數(shù)反映了神經(jīng)元的非線性輸出特性。神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多個神經(jīng)元按某種的拓?fù)浣Y(jié)構(gòu)連接構(gòu)成了神經(jīng)網(wǎng)絡(luò);總體上分為前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)；前向網(wǎng)絡(luò)（前饋網(wǎng)絡(luò)），只存在從上一層每個神經(jīng)元到下一層的所有神經(jīng)元的聯(lián)結(jié)方式；反饋網(wǎng)絡(luò)：允許一個神經(jīng)元的輸出可以被反饋至同層或前層的神經(jīng)元；前向網(wǎng)絡(luò)……x1X2X3xny1Y2ym權(quán)值wij輸出層輸入層單層前饋網(wǎng)絡(luò)結(jié)構(gòu)x1X2Xny1Ym隱含層輸出層輸入層多層前饋網(wǎng)絡(luò)結(jié)構(gòu)………權(quán)值權(quán)值

網(wǎng)絡(luò)由若干層神經(jīng)元組成，包括輸入層、中間層（又稱隱層，可有一層或多層）和輸出層，各層順序連接；

信息流動方向：按照從輸入層進(jìn)，經(jīng)過中間層，從輸出層出的方向流動。

研究表明三層前向神經(jīng)網(wǎng)絡(luò)不僅能以任意精度逼近任意函數(shù)，還能以任意精度逼近其各階導(dǎo)數(shù)。反饋網(wǎng)絡(luò)反饋前向網(wǎng)絡(luò)：輸出層到輸入層具有反饋連接；互連前向網(wǎng)絡(luò)：同層神經(jīng)元之間有相互連接；廣泛互連網(wǎng)絡(luò)：網(wǎng)絡(luò)中任意兩個神經(jīng)元之間都可以有聯(lián)結(jié)；神經(jīng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)性質(zhì)取決于兩個因素：網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)；另一個是網(wǎng)絡(luò)的權(quán)值。網(wǎng)絡(luò)學(xué)習(xí)一般是利用一組稱為樣本的數(shù)據(jù)，作為網(wǎng)絡(luò)的輸入，按照一定的訓(xùn)練規(guī)則(又稱學(xué)習(xí)規(guī)則或?qū)W習(xí)算法)自動調(diào)節(jié)神經(jīng)元之間的連接強(qiáng)度或拓?fù)浣Y(jié)構(gòu)；調(diào)整網(wǎng)絡(luò)連接權(quán)值（權(quán)值修正學(xué)派）調(diào)整網(wǎng)絡(luò)連接結(jié)構(gòu)（結(jié)構(gòu)修正學(xué)派）學(xué)習(xí)方式：有導(dǎo)師的監(jiān)督學(xué)習(xí)和無導(dǎo)師的非監(jiān)督學(xué)習(xí)學(xué)習(xí)規(guī)則：Hebb學(xué)習(xí)；誤差修正學(xué)習(xí)；競爭型學(xué)習(xí)；隨機(jī)性學(xué)習(xí)學(xué)習(xí)結(jié)束：當(dāng)網(wǎng)絡(luò)的實際輸出滿足期望的要求，或者趨于穩(wěn)定時，則認(rèn)為學(xué)習(xí)成功。網(wǎng)絡(luò)學(xué)習(xí)方式分類：有導(dǎo)師的監(jiān)督學(xué)習(xí)——存在一個期望的網(wǎng)絡(luò)輸出。期望輸出和實際輸出之間的距離作為誤差度量并用于調(diào)整權(quán)值。無導(dǎo)師的非監(jiān)督學(xué)習(xí)——不存在一個期望的網(wǎng)絡(luò)輸出，沒有直接的誤差信息，需要建立一個間接的評價函數(shù)，以對網(wǎng)絡(luò)的某種行為進(jìn)行評價。Hebb學(xué)習(xí)（HebbianLearning）如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元同另一直接與它連接的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元之間的連接強(qiáng)度將得到加強(qiáng)：

wij(t+1)=wij(t)+η[xi(t)yj(t)]t時刻第i個神經(jīng)元輸出t時刻第j個神經(jīng)元輸出學(xué)習(xí)因子ijwijyjxit時刻的權(quán)值t+1時刻的權(quán)值誤差修正學(xué)習(xí)是有導(dǎo)師的監(jiān)督學(xué)習(xí)，基本思想是減少神經(jīng)網(wǎng)絡(luò)的期望輸出與實際輸出之間的偏差。最基本的誤差修正規(guī)則：連接權(quán)值的變化與神經(jīng)元希望輸出和實際輸出之差成正比，即

wij(t+1)=wij(t)+η[dj(t)-yj(t)]xi(t)期望輸出實際輸出ijwijyjxi學(xué)習(xí)因子η（艾塔）:學(xué)習(xí)率，決定權(quán)變化的快慢。人工神經(jīng)網(wǎng)絡(luò)特點(diǎn)信息的分布存儲：即使局部損壞，通過聯(lián)想可恢復(fù)。并行分布式處理：速度快。自適應(yīng),自組織,自學(xué)習(xí)：根據(jù)環(huán)境自動改變網(wǎng)絡(luò)聯(lián)結(jié)權(quán)值及結(jié)構(gòu)。從訓(xùn)練樣本中自動獲得知識：具有學(xué)習(xí)能力特別是針對復(fù)雜環(huán)境?？朔藗鹘y(tǒng)的基于邏輯符號的人工智能在處理直覺、非結(jié)構(gòu)化信息方面的缺陷能力特征：結(jié)構(gòu)特征：神經(jīng)網(wǎng)絡(luò)的基本功能聯(lián)想記憶功能非線性映射功能分類與識別功能優(yōu)化計算功能聯(lián)想記憶功能非線性映射功能輸入流失概率（0.87)輸出男293000元/月神州行130元/月…………根據(jù)客戶信息，預(yù)測客戶流失可能性分類與識別功能優(yōu)化計算功能神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型是一個神經(jīng)網(wǎng)絡(luò)的綜合描述，包括網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)、輸入輸出信號類型（連續(xù)或離散）、神經(jīng)元激活函數(shù)、學(xué)習(xí)方式、學(xué)習(xí)算法等。常見神經(jīng)網(wǎng)路模型：感知機(jī)（Perceptron）誤差反向傳播網(wǎng)絡(luò)(BP)Hopfield網(wǎng)絡(luò)自組織映射(SOM)波爾茨曼機(jī)(BM)…

…6.2感知機(jī)（Perceptron）

感知機(jī)，看作一個多輸入單輸出的神經(jīng)計算模型;

分為單層感知機(jī)和多層感知機(jī)。拓?fù)浣Y(jié)構(gòu)：前向網(wǎng)絡(luò)激勵函數(shù)：閾值型函數(shù)學(xué)習(xí)規(guī)則：Hebb學(xué)習(xí)取w1＝w2＝1，θ＝1.5，實現(xiàn)邏輯“與”運(yùn)算。

y=f(w1*x1+w2*x2-θ)Y=f(x1+x2-1.5)感知機(jī)使用舉例：與運(yùn)算x1x2w1w2θ∑y(0,0)(1,1)(0,1)(1,0)圖與運(yùn)算問題圖示x1x2XOR問題A2(1,1)A1(0,0)B1(1,0)B2(0,1)異或問題是一個非線性可分問題，需要用多層感知器來解決。x2x1x11y=x1

XORx2x1X2x121-1111-1輸入層隱層輸出層權(quán)值權(quán)值“異或”問題的多層感知器閾值0.5閾值-1.5閾值1.5(0,1)(0,0)(1,0)異或問題的解決(1,1)輸出層神經(jīng)元所確定的直線方程為它相當(dāng)于對隱層神經(jīng)元x11和x12的輸出作“邏輯與”運(yùn)算，因此可識別由隱層已識別的兩個半平面的交集所構(gòu)成的一個凸多邊形。

隱層神經(jīng)元x11所確定的直線方程為:隱層神經(jīng)元x12所確定的直線方程為：

6.3誤差反向傳播網(wǎng)絡(luò)(BP網(wǎng)絡(luò))BP(BackPropagation)網(wǎng)絡(luò)即誤差反向傳播網(wǎng)絡(luò)是應(yīng)用最廣泛的一種神經(jīng)網(wǎng)絡(luò)模型；

拓?fù)浣Y(jié)構(gòu)：分層前向網(wǎng)絡(luò)；激勵函數(shù)：Sigmoid型(S型)函數(shù)；

學(xué)習(xí)規(guī)則：有導(dǎo)師監(jiān)督學(xué)習(xí)，誤差修正學(xué)習(xí)；

學(xué)習(xí)算法：誤差反向傳播算法，簡稱BP算法理論研究表明：BP網(wǎng)絡(luò)可以在任意的精度上逼近任意的連續(xù)函數(shù)。

二級BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………WVBP算法思想BP算法學(xué)習(xí)過程由正向傳播和誤差反向傳播組成。正向傳播：輸入信息從輸入層經(jīng)隱單元層逐層處理后，傳至輸出層。每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。誤差反向傳播：如果在輸出層得不到期望輸出，那么就轉(zhuǎn)為反