人工智能：第9章-神經(jīng)計(jì)算

1、8.1人工神經(jīng)元模型1 概述2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)3神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法4 常用神經(jīng)網(wǎng)絡(luò)模型1 概述生物神經(jīng)網(wǎng)絡(luò)(biological neural network, BNN)，特別是人腦人工神經(jīng)網(wǎng)絡(luò)(artificial neural network, ANN)：由大量神經(jīng)元經(jīng)廣泛互聯(lián)組成的非線性網(wǎng)絡(luò)（功能模塊，數(shù)學(xué)模型）。實(shí)現(xiàn)人腦的一些功能。神經(jīng)網(wǎng)絡(luò)發(fā)展歷史簡(jiǎn)介M-P神經(jīng)元模型 (心理學(xué)家McCulloch & 數(shù)學(xué)家Pitts 1943)Hebb神經(jīng)元學(xué)習(xí)準(zhǔn)則 (心理學(xué)家Hebb, 1949)分布式系統(tǒng)方面的研究(如Von Neumann)Perceptron感知機(jī)模型(Rosenblatt 1

2、958)Adaline(Widrow and Hoff)Perceptron (Minsky & Papert, 1969)Hopfield模型 (Hopfield，1982)多層感知機(jī)MLP與反向傳播算法BP (Rumelhart, 1986)脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN , 1991)神經(jīng)網(wǎng)絡(luò)的特點(diǎn)神經(jīng)網(wǎng)絡(luò)的應(yīng)用NN從計(jì)算模型的角度本質(zhì)上可以理解為函數(shù)逼近，可以應(yīng)用到眾多領(lǐng)域。2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)網(wǎng)絡(luò)：Biological Neural Network (BNN)神經(jīng)元：neuron （結(jié)構(gòu)見(jiàn)圖示）神經(jīng)元經(jīng)突觸傳遞信號(hào)給其他神經(jīng)元（胞體或樹突）1011個(gè)神經(jīng)元/人腦104個(gè)連接/神經(jīng)元神

3、經(jīng)元基本工作機(jī)制：狀態(tài)：興奮與抑制互聯(lián)，激勵(lì)，處理，閾值神經(jīng)元模型Neuron Model： 多輸入，單輸出，帶偏置R個(gè)輸入piR，即R維輸入矢量pn: net input, n=wp+b。R個(gè)權(quán)值wiR，即R維權(quán)矢量w閾值b輸出a=f(n), f: transfer function常用輸出函數(shù)aWp-b1-1閾值函數(shù)：線性輸出函數(shù)Purelin Transfer Function ：anSigmoid函數(shù)Sigmoid Function ：特性：值域a(0,1)非線性，單調(diào)性無(wú)限次可微|n|較小時(shí)可近似線性函數(shù)|n|較大時(shí)可近似閾值函數(shù)3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)：從環(huán)境中獲取知識(shí)

4、并改進(jìn)自身性能，主要指調(diào)節(jié)網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)達(dá)到某種度量，又稱為網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)方式：監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)再勵(lì)學(xué)習(xí)監(jiān)督學(xué)習(xí)對(duì)訓(xùn)練樣本集中的每一組輸入能提供一組目標(biāo)輸出。樣本數(shù)據(jù)(p, t)。網(wǎng)絡(luò)根據(jù)目標(biāo)輸出與實(shí)際輸出的誤差信號(hào)來(lái)調(diào)節(jié)網(wǎng)絡(luò)參數(shù)教師神經(jīng)網(wǎng)絡(luò)比較環(huán)境實(shí)際輸出輸入期望輸出誤差信號(hào)p(n)t(n)a(n)e(n)非監(jiān)督學(xué)習(xí)與再勵(lì)學(xué)習(xí)非監(jiān)督學(xué)習(xí)：不存在教師，網(wǎng)絡(luò)根據(jù)外部數(shù)據(jù)的統(tǒng)計(jì)規(guī)律來(lái)調(diào)節(jié)系統(tǒng)參數(shù)，以使網(wǎng)絡(luò)輸出能反映數(shù)據(jù)的某種特性再勵(lì)學(xué)習(xí)：外部環(huán)境對(duì)網(wǎng)絡(luò)輸出只給出評(píng)價(jià)信息而非正確答案，網(wǎng)絡(luò)通過(guò)強(qiáng)化受獎(jiǎng)勵(lì)的動(dòng)作來(lái)改善自身的性能神經(jīng)網(wǎng)絡(luò)環(huán)境輸入神經(jīng)網(wǎng)絡(luò)環(huán)境輸入輸出評(píng)價(jià)信息學(xué)習(xí)方法4 常見(jiàn)神經(jīng)網(wǎng)絡(luò)模型感

5、知器BP神經(jīng)網(wǎng)絡(luò)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（ RBFNN）自組織映射神經(jīng)網(wǎng)絡(luò)（ SOMNN）Hopfield神經(jīng)網(wǎng)絡(luò)脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）小結(jié)神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法常用神經(jīng)網(wǎng)絡(luò)模型8.2 感知器感知器概述感知器工作原理感知器的學(xué)習(xí)算法感知器的MATLAB實(shí)現(xiàn)1 感知器概述概述由美國(guó)學(xué)者Rosenblatt在1957年首次提出學(xué)習(xí)算法是Rosenblatt在1958年提出的 包含一個(gè)突觸權(quán)值可調(diào)的神經(jīng)元 屬于前向神經(jīng)網(wǎng)絡(luò)類型 只能區(qū)分線性可分的模式 IEEE設(shè)立以其名字命名的獎(jiǎng)項(xiàng) 感知器模型2 感知器工作原理感知器可將外部輸入分為兩類和。當(dāng)感知器的輸出為+1時(shí)，輸入屬于 類，當(dāng)

6、感知器的輸出為-1時(shí)，輸入屬于 類，從而實(shí)現(xiàn)兩類目標(biāo)的識(shí)別。在維空間，單層感知器進(jìn)行模式識(shí)別的判決超平面由下式?jīng)Q定： 對(duì)于只有兩個(gè)輸入的判別邊界是直線（如下式所示）,選擇合適的學(xué)習(xí)算法可訓(xùn)練出滿意的 和 ，當(dāng)它用于兩類模式的分類時(shí)，相當(dāng)于在高維樣本空間中，用一個(gè)超平面將兩類樣本分開(kāi)?；诘乃枷?，通常是采用誤差校正學(xué)習(xí)規(guī)則的學(xué)習(xí)算法?？梢詫⑵钭鳛樯窠?jīng)元突觸權(quán)值向量的第一個(gè)分量加到權(quán)值向量中 輸入向量和權(quán)值向量可分別寫成如下的形式：令上式等于零，可得到在維空間的單層感知器的判別超平面。 3 感知器學(xué)習(xí)算法第一步,設(shè)置變量和參量。 為激活函數(shù), 為網(wǎng)絡(luò)實(shí)際輸出， 為期望輸出， 為學(xué)習(xí)速率， 為

7、迭代次數(shù)， 為實(shí)際輸出與期望輸出的誤差。 第二步,初始化 給權(quán)值向量 的各個(gè)分量賦一個(gè)較小的隨機(jī)非零值，置 第三步,輸入一組樣本 ，并給出 它的期望輸出 。 第四步,計(jì)算實(shí)際輸出:第五步,求出期望輸出和實(shí)際輸出求出差根據(jù)誤差判斷目前輸出是否滿足條件，一般為對(duì)所有樣本誤差為零或者均小于預(yù)設(shè)的值，則算法結(jié)束，否則將值增加1，并用下式調(diào)整權(quán)值：然后轉(zhuǎn)到第三步，進(jìn)入下一輪計(jì)算過(guò)程 4 感知器的MATLAB實(shí)現(xiàn) MATLAB中單層感知器常用工具函數(shù)名稱和基本功能 函 數(shù) 名功 能newp()生成一個(gè)感知器hardlim()硬限幅激活函數(shù)learnp()感知器的學(xué)習(xí)函數(shù)train()神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)sim

8、()神經(jīng)網(wǎng)絡(luò)仿真函數(shù)mae()平均絕對(duì)誤差性能函數(shù)plotpv()在坐標(biāo)圖上繪出樣本點(diǎn)plotpc()在已繪制的圖上加分類線newp()功能：創(chuàng)建一個(gè)感知器神經(jīng)網(wǎng)絡(luò)的函數(shù)格式：net = newp(PR，S，TF，LF)說(shuō)明：net為生成的感知機(jī)神經(jīng)網(wǎng)絡(luò)；PR為一個(gè)R2的矩陣，由R組輸入向量中的最大值和最小值組成；S表示神經(jīng)元的個(gè)數(shù)；TF表示感知器的激活函數(shù)，缺省值為硬限幅激活函數(shù)hardlim；LF表示網(wǎng)絡(luò)的學(xué)習(xí)函數(shù)，缺省值為learnp hardlim()功能 硬限幅激活函數(shù)格式 A = hardlim(N) 說(shuō)明 函數(shù)hardlim(N)在給定網(wǎng)絡(luò)的輸入矢量矩陣N時(shí)，返回該層的輸出矢量矩

9、陣A。當(dāng)N中的元素大于等于零時(shí)，返回的值為l；否則為0。也就是說(shuō)，如果網(wǎng)絡(luò)的輸入達(dá)到閾值，則硬限幅傳輸函數(shù)的輸出為1；否則，為0。 learnp()功能 感知機(jī)的權(quán)值和閾值學(xué)習(xí)函數(shù) train()功能 神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)格式 net，tr，Y，E，Pf，Af = train(NET，P，T，Pi，Ai，VV，TV)說(shuō)明 net為訓(xùn)練后的網(wǎng)絡(luò)；tr為訓(xùn)練記錄；Y為網(wǎng)絡(luò)輸出矢量；E為誤差矢量；Pf為訓(xùn)練終止時(shí)的輸入延遲狀態(tài)；Af為訓(xùn)練終止時(shí)的層延遲狀態(tài)；NET為訓(xùn)練前的網(wǎng)絡(luò)；P為網(wǎng)絡(luò)的輸入向量矩陣；T表示網(wǎng)絡(luò)的目標(biāo)矩陣，缺省值為0；Pi表示初始輸入延時(shí)，缺省值為0；Ai表示初始的層延時(shí)，缺省值為0；

10、 VV為驗(yàn)證矢量（可省略）；TV為測(cè)試矢量（可省略）。網(wǎng)絡(luò)訓(xùn)練函數(shù)是一種通用的學(xué)習(xí)函數(shù)，訓(xùn)練函數(shù)重復(fù)地把一組輸入向量應(yīng)用到一個(gè)網(wǎng)絡(luò)上，每次都更新網(wǎng)絡(luò)，直到達(dá)到了某種準(zhǔn)則，停止準(zhǔn)則可能是達(dá)到最大的學(xué)習(xí)步數(shù)、最小的誤差梯度或誤差目標(biāo)等。sim()功能 對(duì)網(wǎng)絡(luò)進(jìn)行仿真格式 (1) Y，Pf，Af，E，perf = sim(NET，P，Pi，Ai，T) (2) Y，Pf，Af，E，perf = sim(NET，Q TS，Pi，Ai，T) (3) Y，Pf，Af，E，perf = sim(NET，Q，Pi，Ai，T)說(shuō)明 Y為網(wǎng)絡(luò)的輸出；Pf表示最終的輸入延時(shí)狀態(tài)；Af表示最終的層延時(shí)狀態(tài)；E為實(shí)際輸出

11、與目標(biāo)矢量之間的誤差；perf為網(wǎng)絡(luò)的性能值；NET為要測(cè)試的網(wǎng)絡(luò)對(duì)象；P為網(wǎng)絡(luò)的輸入向量矩陣；Pi為初始的輸入延時(shí)狀態(tài)（可省略）；Ai為初始的層延時(shí)狀態(tài)（可省略）；T為目標(biāo)矢量（可省略）。式(1)、(2)用于沒(méi)有輸入的網(wǎng)絡(luò)，其中Q為批處理數(shù)據(jù)的個(gè)數(shù)，TS為網(wǎng)絡(luò)仿真的時(shí)間步數(shù)。 mae()功能 平均絕對(duì)誤差性能函數(shù)格式 perf=mae(E，w，pp) 說(shuō)明 perf表示平均絕對(duì)誤差和， E為誤差矩陣或向量(網(wǎng)絡(luò)的目標(biāo)向量與輸出向量之差)， w為所有權(quán)值和偏值向量(可忽略)， pp為性能參數(shù)(可忽略)。 plotpv()功能 繪制樣本點(diǎn)的函數(shù)格式 (1) plotpv(P，T) (2) plo

12、tpv(P，T，V)說(shuō)明 P定義了n個(gè)2或3維的樣本，是一個(gè)2n維或3n維的矩陣；T表示各樣本點(diǎn)的類別，是一個(gè)n維的向量；V=x_min x_max y_min y_max，為一設(shè)置繪圖坐標(biāo)值范圍的向量。利用plotpv()函數(shù)可在坐標(biāo)圖中繪出給定的樣本點(diǎn)及其類別，不同的類別使用不同的符號(hào)。如果T只含一元矢量，則目標(biāo)為0的輸入矢量在坐標(biāo)圖中用符號(hào)o表示： 目標(biāo)為1的輸入矢量在坐標(biāo)圖中用符號(hào)+表示。如果T含二元矢量，則輸入矢量在坐標(biāo)圖中所采用的符號(hào)分別如下：0 0用o表示；0 1用+表示：1 0用*表示；1 1用表示。 plotpc()功能 在存在的圖上繪制出感知器的分類線函數(shù)格式 (1) pl

13、otpc(W，B) (2) plotpc(W，B，H)說(shuō)明 硬特性神經(jīng)元可將輸入空間用一條直線(如果神經(jīng)元有兩個(gè)輸入)，或用一個(gè)平面(如果神經(jīng)元有三個(gè)輸入)，或用一個(gè)超平面(如果神經(jīng)元有三個(gè)以上輸入)分成兩個(gè)區(qū)域。plotpc(w，b)對(duì)含權(quán)矩陣w和偏差矢量b的硬特性神經(jīng)元的兩個(gè)或三個(gè)輸入畫一個(gè)分類線。這一函數(shù)返回分類線的句柄以便以后調(diào)用。plotpc(W，B，H)包含從前的一次調(diào)用中返回的句柄。它在畫新分類線之前，刪除舊線。使用MATLAB實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的步驟如下：第一步 根據(jù)應(yīng)用創(chuàng)建一個(gè)神經(jīng)網(wǎng)絡(luò)；第二步 設(shè)定神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)，利用給定樣本對(duì)創(chuàng)建的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；第三步 輸入測(cè)試數(shù)據(jù)，測(cè)試

14、訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的性能。小結(jié)感知器模型及工作原理感知器的學(xué)習(xí)算法感知器的MATLAB實(shí)現(xiàn)8.2 BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)概述Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向后傳BP(Back Propagation)學(xué)習(xí)算法BP算法基本原理利用輸出后的誤差來(lái)估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì)。 J. McClelland David Rumelhart 1 BP神經(jīng)網(wǎng)絡(luò)模型三層BP網(wǎng)絡(luò) 1 BP神經(jīng)網(wǎng)絡(luò)模

15、型激活函數(shù)必須處處可導(dǎo)一般都使用S型函數(shù) 使用S型激活函數(shù)時(shí)BP網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出1 BP神經(jīng)網(wǎng)絡(luò)模型輸出的導(dǎo)數(shù)2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法學(xué)習(xí)的過(guò)程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對(duì)各連接權(quán)值的動(dòng)態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過(guò)程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-算法思想學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳學(xué)習(xí)的過(guò)程：信號(hào)的正向傳播 誤差的反向傳播將誤差分?jǐn)偨o各層的所有單元各層單元的誤差信號(hào)修正各單元權(quán)值2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)

16、學(xué)習(xí)算法-學(xué)習(xí)過(guò)程正向傳播：輸入樣本輸入層各隱層輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號(hào)）不符誤差反傳誤差以某種形式在各層表示修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個(gè)神經(jīng)元，隱含層有p個(gè)神經(jīng)元, 輸出層有q個(gè)神經(jīng)元變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量; 2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個(gè)數(shù):激活函數(shù): 誤差函數(shù)：2 BP網(wǎng)絡(luò)

17、的標(biāo)準(zhǔn)學(xué)習(xí)算法第一步，網(wǎng)絡(luò)初始化 給各連接權(quán)值分別賦一個(gè)區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計(jì)算精度值 和最大學(xué)習(xí)次數(shù)M。第二步,隨機(jī)選取第 個(gè)輸入樣本及對(duì)應(yīng)期望輸出 2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第三步，計(jì)算隱含層各神經(jīng)元的輸入和輸出2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對(duì)輸出層的各神經(jīng)元的偏導(dǎo)數(shù) 。 2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的 和隱含層的輸出計(jì)算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù) 。 2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第六步，利用輸出層各神經(jīng)元的 和隱含層各神經(jīng)元的輸出來(lái)修正連接權(quán)值

18、。 2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第七步，利用隱含層各神經(jīng)元的 和輸入層各神經(jīng)元的輸入修正連接權(quán)。 2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第八步，計(jì)算全局誤差第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個(gè)學(xué)習(xí)樣本及對(duì)應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。 2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直觀解釋情況一直觀表達(dá) 當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)大于零時(shí)，權(quán)值調(diào)整量為負(fù)，實(shí)際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。whoe0，此時(shí)who02 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直解釋情況二直觀表達(dá)當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)小于零時(shí)，權(quán)值

19、調(diào)整量為正，實(shí)際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。e0who3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn) MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 函 數(shù) 名功 能newff()生成一個(gè)前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對(duì)數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newff()功能 建立一個(gè)前向BP網(wǎng)絡(luò)格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TF

20、N1，BTF，BLF，PF)說(shuō)明 net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入向量取值范圍的矩陣；S1 S2SNl表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù)；TFl TF2TFN1表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為tansig；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為trainlm；BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為learngdm；PF表示性能數(shù)，默認(rèn)為mse。 3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能tansig()功能 正切sigmoid激活函數(shù)格式 a = tansig(n)說(shuō)明 雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到(-

21、1，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。logsig()功能 對(duì)數(shù)Sigmoid激活函數(shù)格式 a = logsig(N)說(shuō)明對(duì)數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到(0，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)例，下表為某藥品的銷售情況，現(xiàn)構(gòu)建一個(gè)如下的三層BP神經(jīng)網(wǎng)絡(luò)對(duì)藥品的銷售進(jìn)行預(yù)測(cè)：輸入層有三個(gè)結(jié)點(diǎn)，隱含層結(jié)點(diǎn)數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結(jié)點(diǎn)數(shù)為1個(gè)，輸出層的激活函數(shù)為logsig，并利用此網(wǎng)絡(luò)對(duì)藥品的銷售量進(jìn)行預(yù)測(cè)，預(yù)測(cè)方法采用滾動(dòng)預(yù)測(cè)方式，即用前三個(gè)月的銷售量來(lái)預(yù)測(cè)第四個(gè)月的銷售量，如用1、2、3

22、月的銷售量為輸入預(yù)測(cè)第4個(gè)月的銷售量，用2、3、4月的銷售量為輸入預(yù)測(cè)第5個(gè)月的銷售量.如此反復(fù)直至滿足預(yù)測(cè)精度要求為止。 月份123456銷量205623952600229816341600月份789101112銷量1873147819001500204615563 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)%以每三個(gè)月的銷售量經(jīng)歸一化處理后作為輸入P=0.51520.81731.0000 ; 0.81731.00000.7308; 1.00000.73080.1390; 0.73080.13900.1087; 0.13900.10870.3520; 0.10870.35200.0000;%以第

23、四個(gè)月的銷售量歸一化處理后作為目標(biāo)向量T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;%創(chuàng)建一個(gè)BP神經(jīng)網(wǎng)絡(luò)，每一個(gè)輸入向量的取值范圍為0 ,1，隱含層有5個(gè)神經(jīng)%元，輸出層有一個(gè)神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓(xùn)練函數(shù)為梯度下降函數(shù)，即2.3.2節(jié)中所描述的標(biāo)準(zhǔn)學(xué)習(xí)算法net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;%設(shè)置學(xué)習(xí)速率為0.1LP.lr=0.1;

24、net=train(net,P,T); 3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)BP網(wǎng)絡(luò)應(yīng)用于藥品預(yù)測(cè)對(duì)比圖由對(duì)比圖可以看出預(yù)測(cè)效果與實(shí)際存在一定誤差，此誤差可以通過(guò)增加運(yùn)行步數(shù)和提高預(yù)設(shè)誤差精度業(yè)進(jìn)一步縮小4 BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)非線性映射能力能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無(wú)需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對(duì)供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見(jiàn)過(guò)的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯(cuò)能力輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)絡(luò)的輸入

25、輸出規(guī)律影響很小。小結(jié)BP算法背景BP神經(jīng)網(wǎng)絡(luò)模型BP算法基本思想推導(dǎo)過(guò)程實(shí)現(xiàn)BP神經(jīng)網(wǎng)絡(luò)的MATLAB函數(shù)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用實(shí)例BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)總 結(jié)人工神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元經(jīng)廣泛互聯(lián)組成的非線性網(wǎng)絡(luò)，單元間的連接強(qiáng)度從樣本中學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型決定于神經(jīng)元類型，神經(jīng)元間的連接方式和學(xué)習(xí)算法BP、RBF、Hopfield、SOM和PCNN是常用的幾種模型8.4 自組織映射神經(jīng)網(wǎng)絡(luò)1981年芬蘭Helsink大學(xué)的T.Kohonen教授提出一種自組織特征映射網(wǎng)（Self-Organizing feature Map），簡(jiǎn)稱SOM網(wǎng)，又稱Kohonen網(wǎng)。 Kohonen認(rèn)為：一個(gè)神經(jīng)網(wǎng)絡(luò)接受外

26、界輸入模式時(shí)，將會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征，而且這個(gè)過(guò)程是自動(dòng)完成的。自組織特征映射正是根據(jù)這一看法提出來(lái)的，其特點(diǎn)與人腦的自組織特性相類似。1 SOM網(wǎng)的生物學(xué)基礎(chǔ) 生物學(xué)研究的事實(shí)表明，在人腦的感覺(jué)通道上，神經(jīng)元的組織原理是有序排列。因此當(dāng)人腦通過(guò)感官接受外界的特定時(shí)空信息時(shí)，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對(duì)應(yīng)區(qū)域是連續(xù)映象的。 對(duì)于某一圖形或某一頻率的特定興奮過(guò)程，神經(jīng)元的有序排列以及對(duì)外界信息的連續(xù)映象是自組織特征映射網(wǎng)中競(jìng)爭(zhēng)機(jī)制的生物學(xué)基礎(chǔ)。2 SOM網(wǎng)的拓?fù)浣Y(jié)構(gòu) SOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜，輸出層模擬做出響應(yīng)的大

27、腦皮層。 3 SOM網(wǎng)的權(quán)值調(diào)整域 SOM網(wǎng)的獲勝神經(jīng)元對(duì)其鄰近神經(jīng)元的影響是由近及遠(yuǎn)，由興奮逐漸轉(zhuǎn)變?yōu)橐种?，因此其學(xué)習(xí)算法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向量，它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量。這種調(diào)整可用三種函數(shù)表示： 以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域半徑，該半徑圈定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學(xué)習(xí)算法中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開(kāi)獲勝神經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值。 優(yōu)勝鄰域開(kāi)始定得很大，但其大小隨著訓(xùn)練次數(shù)的增加不斷收縮，最終收縮到半徑為零。4 SOM網(wǎng)的運(yùn)行原理訓(xùn)練階段 w1 w2 w3 w4 w5工作階段5 SOM網(wǎng)的學(xué)習(xí)算法(1)初始化 對(duì)輸出層各權(quán)向量賦小

28、隨機(jī)數(shù)并進(jìn)行歸一化處理，得到 ，j=1,2,m；建立初始優(yōu)勝鄰域Nj*(0)；學(xué)習(xí)率 賦初始值。(2)接受輸入 從訓(xùn)練集中隨機(jī)選取一個(gè)輸入模式并進(jìn)行歸一化處理，得到 ，p1,2,P。(3)尋找獲勝節(jié)點(diǎn) 計(jì)算 與 的點(diǎn)積，j=1,2,m，從中選出點(diǎn)積最大的獲勝節(jié)點(diǎn)j*。(4)定義優(yōu)勝鄰域Nj* (t) 以j*為中心確定t 時(shí)刻的權(quán)值調(diào)整域，一般初始鄰域Nj* (0)較大，訓(xùn)練過(guò)程中Nj* (t)隨訓(xùn)練時(shí)間逐漸收縮。(5)調(diào)整權(quán)值 對(duì)優(yōu)勝鄰域Nj*(t)內(nèi)的所有節(jié)點(diǎn)調(diào)整權(quán)值： i=1,2,n jNj*(t) 式中， 是訓(xùn)練時(shí)間t 和鄰域內(nèi)第j 個(gè)神經(jīng)元與獲勝神經(jīng)元 j* 之間的拓?fù)渚嚯xN 的函數(shù)，

29、該函數(shù)一般有以下規(guī)律：(5)調(diào)整權(quán)值(6)結(jié)束檢查 學(xué)習(xí)率是否衰減到零或某個(gè)預(yù)定的正小數(shù)？Kohonen學(xué)習(xí)算法程序流程6 功 能 分 析(1)保序映射將輸入空間的樣本模式類有序地映射在輸出層上。例1：動(dòng)物屬性特征映射。功能分析(2)數(shù)據(jù)壓縮 將高維空間的樣本在保持拓?fù)浣Y(jié)構(gòu)不變的條件下投影到低維空間。(3)特征抽取 高維空間的向量經(jīng)過(guò)特征抽取后可以在低維特征空間更加清晰地表達(dá)。例2：SOM網(wǎng)用于字符排序。功能分析小結(jié)SOM網(wǎng)的生物學(xué)基礎(chǔ)SOM網(wǎng)的拓?fù)浣Y(jié)構(gòu)SOM網(wǎng)的權(quán)值調(diào)整域SOM網(wǎng)的運(yùn)行原理SOM網(wǎng)的學(xué)習(xí)算法功 能 分 析8.5 Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield模型Hopfield網(wǎng)絡(luò)

30、的學(xué)習(xí)算法 Hopfield模型是霍普菲爾德分別于1982年及1984提出的兩個(gè)神經(jīng)網(wǎng)絡(luò)模型。1982年提出的是離散型，1984年提出的是連續(xù)型，但它們都是反饋網(wǎng)絡(luò)結(jié)構(gòu)。圖1給出了一個(gè)簡(jiǎn)單的反饋神經(jīng)網(wǎng)絡(luò)圖。 1 Hopfield模型 由于在反饋網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入再送入網(wǎng)絡(luò)中，這就使得網(wǎng)絡(luò)具有了動(dòng)態(tài)性，網(wǎng)絡(luò)的狀態(tài)在不斷的改變之中，因而就提出了網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題。所謂一個(gè)網(wǎng)絡(luò)是穩(wěn)定的是指從某一時(shí)刻開(kāi)始，網(wǎng)絡(luò)的狀態(tài)不再改變。 設(shè)用X(t)表示網(wǎng)絡(luò)在時(shí)刻t的狀態(tài)，如果從t=的任一初態(tài)X(0)開(kāi)始，存在一個(gè)有限的時(shí)刻t，使得從此時(shí)刻開(kāi)始神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即 就稱此網(wǎng)絡(luò)是穩(wěn)定的。

31、離散網(wǎng)絡(luò)模型是一個(gè)離散時(shí)間系統(tǒng)，每個(gè)神經(jīng)元只有兩個(gè)狀態(tài)，可以用1和0來(lái)表示，由連接權(quán)值ij所構(gòu)成的矩陣是一個(gè)對(duì)角線為0的對(duì)稱矩陣，即 如果用x(t)表示整個(gè)網(wǎng)絡(luò)在時(shí)刻的狀態(tài)，則X是一個(gè)向量，它包含了網(wǎng)絡(luò)中每個(gè)人工神經(jīng)元的狀態(tài)。所以，狀態(tài)向量X中的分量個(gè)數(shù)就是網(wǎng)絡(luò)中人工神經(jīng)元的個(gè)數(shù)。假設(shè)網(wǎng)絡(luò)中的節(jié)點(diǎn)（人工神經(jīng)元）個(gè)數(shù)為n，則向量X的構(gòu)成如下： 這里， ,其中的ij為節(jié)點(diǎn)到節(jié)點(diǎn)的連接權(quán)值； 為節(jié)點(diǎn)的閾值。 (9.4.3)Xi(t)表示節(jié)點(diǎn)i（第個(gè)i神經(jīng)元）在時(shí)刻t的狀態(tài)，該節(jié)點(diǎn)在時(shí)刻t+1的狀態(tài)由下式?jīng)Q定：(9.4.4) Hopfield網(wǎng)絡(luò)離散模型有兩種工作模式：（1）串行方式，是指在任一時(shí)刻t，只有一個(gè)神經(jīng)元i發(fā)生狀態(tài)變化，而其余的神經(jīng)元保持狀態(tài)不變。（2）并行方式，是指在任一時(shí)刻t，都有部分或全體神經(jīng)元同時(shí)改變狀態(tài)。 有關(guān)離散的Hopfield網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題，已于1983年由Cohen和Grossberg給于了證明。而Hopfield等人又進(jìn)一步證明 ，只要連接權(quán)值構(gòu)成的矩陣是非負(fù)對(duì)角元的對(duì)稱矩陣，則該網(wǎng)絡(luò)就具有