淺談BP人工神經(jīng)網(wǎng)絡(luò)概要

1、2 0 0 8年第2 2期(總第5 0 0期)學(xué)理論XUE L I L UNNo. 22, 2 0 0 8General. No. 5 0 0淺談B P人工神經(jīng)網(wǎng)絡(luò)柴燕茹馬巖(哈爾濱商業(yè)大學(xué) 管理學(xué)院，哈爾濱 1 5 0 0 2 8 ) 摘要：人工神經(jīng)網(wǎng)絡(luò)有很多模型，但是目前應(yīng)用最廣泛的、基本思想最直觀、最 容易理解的是前饋神經(jīng)網(wǎng)絡(luò)中的誤差逆?zhèn)鞑W(xué)習(xí)算法(ErrorBackPropagation)，簡(jiǎn)稱為BP神經(jīng)網(wǎng)絡(luò)。它是前 饋神經(jīng)網(wǎng)絡(luò)中的核心部分，也是最精華的部分。關(guān)鍵詞：神經(jīng)元；神經(jīng)網(wǎng)絡(luò)；局限性文獻(xiàn)標(biāo)志碼：A文章編號(hào)：10022589 (2008) 22 39 02中圖分類號(hào)： Q983+

2、.6一、人工神經(jīng)網(wǎng)絡(luò)的基本原理人工神經(jīng)網(wǎng)絡(luò)或稱作連接模型(Connect fon i s tMode 1), 是對(duì)人腦或自然神經(jīng)網(wǎng)絡(luò)(Natu ra INeu ra INe t-wo rk)若 干基本特性的抽象和模擬。人工神經(jīng)網(wǎng)絡(luò)以大腦的生理研究成果為基礎(chǔ)，其目的 在于模擬大腦的某些機(jī)理與機(jī)制，實(shí)現(xiàn)某個(gè)方參照生物神經(jīng)元網(wǎng)絡(luò)發(fā)展起來的人工神經(jīng)網(wǎng)絡(luò)現(xiàn)面的功能。已有許多種類型，但它們中的神經(jīng)元結(jié)構(gòu)是基本相同的。(一)生物神經(jīng)元的結(jié)構(gòu)與功能1 .生物神經(jīng)元的結(jié)構(gòu)。生物神經(jīng)元有一條軸突和若干樹突，它通過軸突與其它 細(xì)胞的樹突相連接。樹突是腦神經(jīng)元的輸入器，軸突則是信息傳遞的通道。生物 神經(jīng)元有興奮和抑制

3、兩種狀態(tài)，每一個(gè)神經(jīng)元都是在與之相連的興奮性突觸和抑 制性突觸共同作用下活動(dòng)的。它本身的興奮和抑制作用又對(duì)其他神經(jīng)元產(chǎn)生作 用。當(dāng)神經(jīng)元接受到大量的興奮性突觸傳來的信息時(shí)，信息被綜合處理后神經(jīng)元 股電位升高，超過一定閾值時(shí)，神經(jīng)元被激活，細(xì)胞體產(chǎn)生 但神經(jīng)元沒有接收到信息或者接收到信息經(jīng)綜輸出信息。合后沒能超過閾值，神經(jīng)元?jiǎng)t處于抑制狀態(tài)。只有神經(jīng)元所有輸入的總效應(yīng)達(dá)到 閾值電平，它才能開始工作。無論什么時(shí)候達(dá)到閾值電平，神經(jīng)元就產(chǎn)生一個(gè)全 強(qiáng)度的輸出脈沖，從細(xì)胞體經(jīng)軸突進(jìn)入軸突分枝。這時(shí)的神經(jīng)元就稱而且突觸把經(jīng)過一個(gè)神為被觸發(fā)。學(xué)習(xí)發(fā)生在突觸附近， 經(jīng)元軸突的脈沖轉(zhuǎn)化為下一個(gè)神經(jīng)元的興奮或抑制

4、。2 .生物神經(jīng)元的功能。第一，空間整合功能。神經(jīng)元對(duì)于同一時(shí)間通過不同突 觸傳入的神經(jīng)沖動(dòng)具有空間整合功能，兩種功能相互結(jié)合，具有時(shí)空整合的輸入 信息處理功能；第二，興奮與抑制狀態(tài)。神經(jīng)元具有兩種常規(guī)工作狀態(tài)，首先是 興奮：當(dāng)傳入沖動(dòng)的時(shí)空整合結(jié)果使得細(xì)胞膜電位升高，并超過被稱為動(dòng)作電位 的閾值時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突輸出，用1”表示；其次是抑制：當(dāng)輸入沒有達(dá)到閾值時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，句”表示；第三，學(xué)習(xí)、遺忘和疲勞。由無神經(jīng)沖動(dòng)輸出，用于結(jié)構(gòu)可塑性，突觸的傳遞作用有增強(qiáng)，減弱和飽和，所以細(xì)胞具有相應(yīng)的學(xué)習(xí) 功能，遺忘或疲勞效應(yīng)（飽和效應(yīng)）。可見，神經(jīng)元并不是簡(jiǎn)單的雙穩(wěn)態(tài)

5、邏輯元 件，而是超級(jí)的微型生物信息處理機(jī)和控制機(jī)。（二）人工神經(jīng)元的組成和分類人工神經(jīng)元的組成。人工神經(jīng)元就是根據(jù)生物神經(jīng)元可以把神結(jié)構(gòu)而設(shè)計(jì)出來的。根據(jù)神經(jīng)元的特性和功能，經(jīng)元抽象為一個(gè)簡(jiǎn)單的數(shù)學(xué)模型。它有四個(gè)基本要素：a. 一組連接，連接強(qiáng)度 由各連接上的權(quán)值表示，權(quán)值為正表示可以求出各輸入單激活，為負(fù)表示抑制。b. 一個(gè)求和單元，元的加權(quán)和。c . 一個(gè)非線性激活函數(shù)，起非線性映射作用并將神經(jīng)元輸出幅度 限制在一定范圍內(nèi)（通常限制在。和1之前或一1到+ 1之間）。d .閾值。 e .元的輸入信號(hào)，性組合結(jié)果，稱為連接權(quán)，E是和是神經(jīng)的線是激勵(lì)函數(shù)，y是神經(jīng)元的輸出/（*）0激勵(lì)函數(shù)有以下

6、幾種類型：(I)躍階函數(shù)。躍階函數(shù)是經(jīng)典的M-P模型采用的激勵(lì)函數(shù)類型。該模型對(duì) 模式分類的問題特別有效，其函數(shù)I<0表達(dá)式為：(II)線性函數(shù)。線性函數(shù)類似于一個(gè)放大系數(shù)為1的放大器，跟蹤輸入信號(hào) 的變化。線性激勵(lì)函數(shù)與輸入的激發(fā)總量成正比，可作為信息跟隨裝置，其函數(shù)表達(dá)式為：(III) sigmoid 函數(shù) Sigmoidf 依，戶I+產(chǎn)M 歧然P(7_。函數(shù)表達(dá)式為：其中a為可控制斜率參數(shù)，其值為大于0的數(shù)。S 1 gmo 1 d激勵(lì)函數(shù)或稱S 型函數(shù)是把輸入信號(hào)鎖定在0和1之間的值，在后面要講到的B P網(wǎng)絡(luò)，S型函 數(shù)是主要激勵(lì)函數(shù)。二、BP神經(jīng)網(wǎng)絡(luò)模型的建立B P神經(jīng)網(wǎng)絡(luò)是人工

7、神經(jīng)網(wǎng)絡(luò)的一個(gè)典型模型，全稱是反向傳播模型(Back propagation),是一種多層感知器結(jié)構(gòu)，由若干層神經(jīng)元組成，網(wǎng)絡(luò)不僅有輸入層節(jié)點(diǎn)，輸出層基金項(xiàng)目：本文由黑龍江省科技攻關(guān)計(jì)劃項(xiàng)目 GJ06D201、黑龍江省研究生創(chuàng)新 科研項(xiàng)目YJSCX2008-192HLJ提供資助。作者簡(jiǎn)介：柴燕茹(1982-),女，碩士研究生，主要從事技術(shù)經(jīng)濟(jì)及管理研究。,3 9 ,2 0 0 8年第2 2期(總第 5 0 0 期)學(xué)理論XUEL I LUNNo. 22, 2008Genera1 . No. 500法可以通過以下具體過程實(shí)現(xiàn)：(1 )建立網(wǎng)絡(luò)模型，初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)； (2)提供訓(xùn)練模式，選實(shí)

8、例作學(xué)習(xí)訓(xùn)練樣本；訓(xùn)練網(wǎng)絡(luò)，直到滿足學(xué)習(xí)要求； (3)前向傳播過程，對(duì)給定訓(xùn)練模式輸入，計(jì)算網(wǎng)絡(luò)的輸出模式，并與期望模式比較，若誤差不能滿足精度要求，則誤差反向傳播，否則轉(zhuǎn)到（2） ; （4） 反向傳播過程?？傊?，BP算法是一個(gè)很有效的算法，它把一組樣本的輸入、輸出問題變成一個(gè) 非線性優(yōu)化問題，并使用了優(yōu)化問題中最普遍的梯度下降法，用迭代運(yùn)算求解權(quán) 相應(yīng)于學(xué)習(xí)記憶問題，加入隱含層節(jié)點(diǎn)是優(yōu)化問題的可調(diào)參數(shù)增加，從而可以得 到更精確的解。如果把這種神經(jīng)網(wǎng)絡(luò)看成是一個(gè)從輸入到輸出的映射，則這個(gè)映 射是一個(gè)高度非線性的映射。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程是一個(gè)反復(fù)迭代的過程，由正向傳播和反向傳播組成。其算 法的基

9、本思想是根據(jù)網(wǎng)絡(luò)輸出層的誤差，從輸出層開始，反過來調(diào)整網(wǎng)絡(luò)的權(quán)值 和閾值，對(duì)一定的樣本進(jìn)行這樣的最后使得輸出的均方誤差最小。學(xué)習(xí)”后，網(wǎng)絡(luò)所持的權(quán)值便是網(wǎng)絡(luò)通過自適應(yīng)學(xué)習(xí)得到的正確的內(nèi)部表示。這 是將待識(shí)別樣本的特征數(shù)據(jù)輸入訓(xùn)練好的網(wǎng)絡(luò)，網(wǎng)絡(luò)就可以對(duì)樣本的屬性進(jìn)行自 動(dòng)推理、識(shí)別。三、BP人工神經(jīng)網(wǎng)絡(luò)的局限性B P網(wǎng)絡(luò)只是一個(gè)非線性映射，B P算法的網(wǎng)絡(luò)誤差曲面有很多全局最小的解； 存在平坦區(qū)，對(duì)于不同的映射范圍各不相同；存在不少局部最小點(diǎn)，在某些初值 的條件下，算法的結(jié)果會(huì)陷入局部最小；BP算法的收斂速度較慢，且網(wǎng)絡(luò)隱層 節(jié)點(diǎn)個(gè)數(shù)的選取尚缺少統(tǒng)一而完整的理論（即沒有很好的解析式來表示）。 參考文獻(xiàn)：1劉春平.神經(jīng)網(wǎng)絡(luò)的應(yīng)用與發(fā)展J.電子工藝技術(shù)，2005 （26）.2魏海坤.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的理