三角形隸屬度函數(shù)用于模糊神經(jīng)網(wǎng)絡(luò)的衡器標(biāo)定

1、三角形隸屬度函數(shù)用于模糊神經(jīng)網(wǎng)絡(luò)的衡器標(biāo)定 摘 要 目的：目的： 將三角型隸屬度函數(shù)的模糊神經(jīng)網(wǎng)絡(luò)用于電容式多功能天車秤，實(shí)現(xiàn)電解鋁的稱重過 程的計(jì)量,提高稱重的準(zhǔn)確度。 方法：方法： 用一部分實(shí)際鋁稱重的部分屬于做測(cè)試，利用三角形隸屬函數(shù)對(duì)這部分?jǐn)?shù)據(jù)進(jìn)行模糊 化處理，然后輸入到基于 BP 算法的神經(jīng)網(wǎng)絡(luò)，對(duì)該網(wǎng)絡(luò)進(jìn)行訓(xùn)練。用訓(xùn)練好的網(wǎng)絡(luò)對(duì)剩 下的數(shù)據(jù)進(jìn)行測(cè)試，并與之前的數(shù)據(jù)進(jìn)行比較，得出對(duì)衡器標(biāo)定的誤差，觀察準(zhǔn)確程度。 結(jié)果：結(jié)果： 在稱重過程中融入了模糊理論與神經(jīng)網(wǎng)絡(luò)的方法，既考慮了稱重?cái)?shù)據(jù)的模糊性又考慮 稱重特征與稱重結(jié)果的復(fù)雜關(guān)系，使結(jié)果更加具有精確性，為衡器的標(biāo)定開辟了一條新方 法。

2、 關(guān)鍵詞：模糊神經(jīng)網(wǎng)絡(luò) 三角型隸屬度函數(shù) BP 算法 鋁稱重 Abstract Objective: to will triangle membership function of fuzzy neural network for capacitive multi- function PTM scale, the realization of the weighing process electrolytic aluminium, improve the accuracy of measurement weighing. Methods: using part of the actual al

3、uminum weighing part belong to do the test, and using triangle distrution function of this section data are fuzzed, then input to the neural network based on BP algorithm, the network for training. Use for the rest of the trained network, and experimental data before, it is concluded that the data t

4、o compare calibration error, observing instruments that accurate degree. Results: in weighing process into the fuzzy theory and the method of neural network, which considers the fuzziness of the weighing data and consider the characteristics and weighing weighing, to make the result more complicated

5、 relationship with accuracy, the calibration for instruments have opened up a new method. Keywords: fuzzy neural network triangle membership function BP algorithm aluminum weighing 目錄 摘摘 要要.1 ABSTRACT.1 第一章第一章 引言引言.3 1.1 課題的研究背景、目的和意義.3 1.2 本課題的主要研究?jī)?nèi)容.3 第二章第二章 電子稱重系統(tǒng)以及數(shù)據(jù)提取方法電子稱重系統(tǒng)以及數(shù)據(jù)提取方法.4 2.1 電容式多

6、功能天車電子秤.4 2.2 稱重?cái)?shù)據(jù)的提取.4 第三章第三章 模糊神經(jīng)網(wǎng)絡(luò)以及模糊神經(jīng)網(wǎng)絡(luò)以及 BP 算法算法.6 3.1 模糊神經(jīng)網(wǎng)絡(luò)基礎(chǔ).6 3.1.1神經(jīng)網(wǎng)絡(luò).6 3.1.2模糊理論.7 3.2 BP 神經(jīng)網(wǎng)絡(luò) .9 3.2.1 BP網(wǎng)絡(luò)的結(jié)構(gòu).9 3.2.2 BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法.10 3.3 BP 神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ) .18 3.3.1 訓(xùn)練樣本集的準(zhǔn)備.18 3.3.2 初始權(quán)值的設(shè)計(jì).20 3.3.3 BP多層感知器結(jié)構(gòu)設(shè)計(jì).21 3.3.4 網(wǎng)絡(luò)訓(xùn)練與測(cè)試.22 第四章第四章 三角形隸屬度函數(shù)在鋁稱重的應(yīng)用三角形隸屬度函數(shù)在鋁稱重的應(yīng)用.22 4.1 隸屬函數(shù) .22 4.2

7、模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型 .25 第五章第五章 模糊神經(jīng)網(wǎng)絡(luò)用于鋁稱重的步驟模糊神經(jīng)網(wǎng)絡(luò)用于鋁稱重的步驟.26 5.1 特征提取和模糊化 .26 5.2 隸屬函數(shù)選取 .26 5.3 隱含層和輸出層的處理 .27 第六章第六章 實(shí)驗(yàn)結(jié)果的討論實(shí)驗(yàn)結(jié)果的討論.30 6.1 三角形隸屬度函數(shù)稱重結(jié)果 .30 6.2 三角形型隸屬度函數(shù)模糊神經(jīng)網(wǎng)絡(luò)的稱重結(jié)果分析 .30 第七章第七章 結(jié)論結(jié)論.30 參考文獻(xiàn)參考文獻(xiàn).31 附錄：仿真程序附錄：仿真程序.33 第一章 引言 1.1 課題的研究背景、目的和意義 任何一個(gè)產(chǎn)鋁企業(yè)的管理層，均應(yīng)該準(zhǔn)確地掌握生產(chǎn)設(shè)備的生產(chǎn)能力、設(shè)備運(yùn)行效率 等原始數(shù)據(jù)，從而依

8、據(jù)這些原始數(shù)據(jù)，科學(xué)、合理的調(diào)控生產(chǎn)。但由于工藝條件的限制， 長(zhǎng)期以來，卻始終無法準(zhǔn)確地掌握單槽原鋁日產(chǎn)量。導(dǎo)致管理人員無法根據(jù)出鋁量得到電 解槽運(yùn)行狀態(tài)，對(duì)鋁電解槽的均衡穩(wěn)定生產(chǎn)帶來不利影響。 目前的出鋁生產(chǎn)管理，大部分采用人工計(jì)數(shù)、結(jié)合鑄造車間稱重抬包總重，來統(tǒng)計(jì)單 個(gè)電解槽和單個(gè)鋁包的出鋁量；受生產(chǎn)現(xiàn)場(chǎng)電磁場(chǎng)干擾和人工操作的影響，無法準(zhǔn)確控制 單槽出鋁精度，單個(gè)電解槽的析出數(shù)量與析出精度始終是鋁電解生產(chǎn)管理中的一個(gè)“盲區(qū)” 。導(dǎo)致管理人員無法根據(jù)出鋁量得到電解槽運(yùn)行狀態(tài)，對(duì)鋁電解槽的均衡穩(wěn)定生產(chǎn)帶來不 利影響。 1.2 本課題的主要研究?jī)?nèi)容 本系統(tǒng)主要有三大模塊組成，如下圖所示： 三大模

9、塊包括的內(nèi)容為： 一、完成課題所需特征數(shù)據(jù)的提取及量化。 二、對(duì)特征數(shù)據(jù)進(jìn)行模糊化處理。包括對(duì)特征數(shù)據(jù)的分析，選出需要模糊化的項(xiàng)，對(duì) 模糊理論的深入認(rèn)識(shí)，選擇三角形隸屬函數(shù)等。 三、完成對(duì)系統(tǒng)的設(shè)計(jì)和特征數(shù)據(jù)的學(xué)習(xí)、結(jié)果預(yù)測(cè)等。包括對(duì)神經(jīng)網(wǎng)絡(luò)、模糊理論 及二者結(jié)合的必要性的深入研究，對(duì) BP 神經(jīng)網(wǎng)絡(luò)的原理、結(jié)構(gòu)及學(xué)習(xí)方法的深入研究等。 本文關(guān)鍵是運(yùn)用模糊數(shù)學(xué)和神經(jīng)網(wǎng)絡(luò)構(gòu)建了一個(gè)模糊神經(jīng)網(wǎng)絡(luò)模型，用于鋁稱重，提 高計(jì)量精度控制。以一部分實(shí)際出鋁重量為樣本，首先利用三角形隸屬函數(shù)對(duì)樣本數(shù)據(jù)進(jìn) 行模糊化處理，再輸入基于 BP 算法的神經(jīng)網(wǎng)絡(luò)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，用訓(xùn)練好的網(wǎng)絡(luò)對(duì)余 下的樣本進(jìn)行預(yù)測(cè)。并

10、將預(yù)測(cè)結(jié)果與之前數(shù)據(jù)進(jìn)行比較。 第二章 電子稱重系統(tǒng)以及數(shù)據(jù)提取方法 2.1 電容式多功能天車電子秤 電容式多功能天車秤有秤體部分和儀表部分兩部分組成。秤體部分主要由稱重傳感器、 LC 振蕩器、編碼器、溫度傳感器等組成。 當(dāng)外加荷載（被稱重物）作用于電容式稱重傳感器時(shí)，作為傳感器主體的彈性元件將 產(chǎn)生與荷載值相對(duì)應(yīng)的微小變形，使設(shè)在彈性體內(nèi)的電容的極間距離隨之改變，這樣就引 起電容器的電容量的變化，這樣就引起電容器的電容量的變化，從而使 LC 振蕩器的頻率 也隨著改變。振蕩信號(hào)經(jīng)過編碼器進(jìn)行計(jì)數(shù)（我們成為內(nèi)碼）處理，處理后的信號(hào)通過信 號(hào)電纜傳輸給儀表。稱體中溫度傳感器的作用是，將傳感器的內(nèi)部

11、溫度變化轉(zhuǎn)變成電信號(hào) 送編碼器在發(fā)送給儀表，從而通過儀表中的微計(jì)算機(jī)自動(dòng)修正因溫度變化對(duì)稱重傳感器的 影響，保證稱重結(jié)果的準(zhǔn)確性。儀表通過信號(hào)電纜接收到傳感器信號(hào)后，再進(jìn)行解碼并送 入微處理器，微處理器根據(jù)鍵盤輸入的指令要求，對(duì)該解碼信號(hào)進(jìn)行處理，最后將求出的 稱重結(jié)果送顯示器、打印機(jī)、寄存器等。 2.2 稱重?cái)?shù)據(jù)的提取 在不同的溫度環(huán)境下對(duì)傳感器的 12 個(gè)稱量點(diǎn)進(jìn)行測(cè)量，具體實(shí)驗(yàn)數(shù)據(jù)如下： 低溫測(cè)試數(shù)據(jù)： 溫度 稱量點(diǎn) -14.1-13.5-12.8 0 噸 1 噸 2 噸 3 噸 4 噸 5 噸 6 噸 7 噸 8 噸 9 噸 10 噸 11 噸 常溫測(cè)試數(shù)據(jù)： 溫度 稱量點(diǎn) 1717.

12、818.918.818.818.8 0 噸 1 噸 2 噸 3 噸 4 噸 5 噸 6 噸 7 噸 8 噸 9 噸 10 噸 11 噸 高溫測(cè)試數(shù)據(jù)： 溫度 稱量點(diǎn) 53.154.656.858.559.5 0 噸 1 噸 2 噸 3 噸 4 噸 5 噸 6 噸 7 噸 8 噸 9 噸 10 噸 11 噸 根據(jù)以上表格內(nèi)所示數(shù)據(jù)，我們可以得到溫度對(duì)傳感器輸出的影響，可以做出 傳感器的特性曲線如下圖所示： 圖 2.3 傳感器的特性曲線 第三章 模糊神經(jīng)網(wǎng)絡(luò)以及 BP 算法 3.1 模糊神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 3.1.1 神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)理論2 3 15 30是一種仿效生物處理模式以獲取智能信息處理功能的

13、理論。 它通過大量神經(jīng)元的復(fù)雜連接，經(jīng)過自學(xué)習(xí)、自組織和非線性動(dòng)力學(xué)所形成的并行分布方 式，來處理難于語(yǔ)言化的模式信息。 神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元廣泛互連而成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。單一神經(jīng)元可以有許多輸入、 輸出。神經(jīng)元之間的相互作用通過連接的權(quán)值來體現(xiàn)。圖 3-1 中， X1，X2，Xn是神 經(jīng)元的輸入，是來自前級(jí) n 個(gè)神經(jīng)元的軸突的信息，是 i 神經(jīng)元的閻值； i Wi1，Wi2，Win分別是 i 神經(jīng)元對(duì) X1，X2，Xn的權(quán)系數(shù)，即突觸的傳遞效率；Yi 是 i 神經(jīng)元的輸出；f是激活函數(shù)，它決定 i 神經(jīng)元受到輸人 X1，X2，Xn的共同 刺激達(dá)到閥值時(shí)以何種方式輸出。

14、圖 3-1-1 單一神經(jīng)元 對(duì)于線性型激活函數(shù)，有： ii f(U )Uk 二、神經(jīng)網(wǎng)絡(luò)的基本特征 1、大規(guī)模并行處理。 神經(jīng)網(wǎng)絡(luò)能同時(shí)處理與決策有關(guān)的因素，雖然單個(gè)神經(jīng)元的動(dòng) 作速度不快，但網(wǎng)絡(luò)的總體處理速度極快。 2、容錯(cuò)性。 由于神經(jīng)網(wǎng)絡(luò)包含的信息是分布存儲(chǔ)的，即使網(wǎng)絡(luò)某些單元和連接有缺 陷，它仍然可以通過聯(lián)想得到全部或大部分信息。 3、自適應(yīng)性和自組織性。 神經(jīng)網(wǎng)絡(luò)系統(tǒng)可以通過學(xué)習(xí)不斷適應(yīng)環(huán)境，增加知識(shí)的容 量。 正是這些特點(diǎn)使得神經(jīng)網(wǎng)絡(luò)本質(zhì)上有別于傳統(tǒng)的計(jì)算機(jī)，從而為人們?cè)诶脵C(jī) 器加工處理信息方面提供了一種全新的方法和途徑。 3.1.2 模糊理論 人的思維顯著的特點(diǎn)是具有模糊性，模

15、糊性也是人類自然語(yǔ)言的本質(zhì)屬性。例如： “健康”與“不健康” ， “好”與“不好” ， “穩(wěn)定”與“不穩(wěn)定” ， “年輕” 、 “中年”與“老 年”等之間都找不到明確的界限。這種從差異的一方到另一方，中間經(jīng)歷了一個(gè)從量變到 質(zhì)變的連續(xù)過度的過程的現(xiàn)象就叫做模糊差異的中介過度性，由這種中介過度性造就出劃 分上的不確定性就叫做模糊性（fuzziness） 。模糊數(shù)學(xué)25（Fuzzy）是研究和處理模糊現(xiàn) 象的，所研究的事物的概念本身是模糊的，即具有模糊性。 隸屬度是模糊理論中的一個(gè)重要的概念，它指一個(gè)元素對(duì)某一個(gè)集合的隸屬程 度。隸屬度由隸屬函數(shù)求得。 1965 年美國(guó)加州大學(xué)控制專家 L.A.Za

16、deh 教授創(chuàng)立了模糊集合論，提出用模糊 集合來刻畫模糊概念。模糊集合由隸屬函數(shù)來刻畫。 定義定義 論域中的模糊子集，是以隸屬函數(shù)表征的集合。即由映射UA A :0,1 A U ( ) A uu 確定論域的一個(gè)模糊子集。稱為模糊子集的隸屬函數(shù)，稱為對(duì)UA A A( ) A uu 的隸屬度，它表示論域中的元素屬于其模糊子集的程度。它在0，1閉區(qū)間可連續(xù)AuA 取值。 =1，表示完全屬于；=0，表示完全不屬于；01，( ) A uuA( ) A uuA( ) A u 表示屬于的程度。uA 上述定義表明： 一、論域中的元素是分明的，即本身是普通集合，只是的子集是模糊集合， UUU 故稱為的模糊子集，

17、簡(jiǎn)稱模糊集。 AU 二、隸屬函數(shù)是用來說明隸屬于的程度的，的值越接近于 1，表示 ( ) A u uA ( ) A u 隸屬的程度越高；當(dāng)?shù)闹涤蜃優(yōu)?，1時(shí)，隸屬函數(shù)蛻化為普通集合的 uA ( ) A u( ) A u 特征函數(shù)，模糊集合也就蛻化為普通集合。 三、模糊集合完全由其隸屬函數(shù)來刻畫。隸屬函數(shù)是模糊數(shù)學(xué)的最基本概念，借助于 它才能對(duì)模糊集合進(jìn)行量化。 3.1.3 模糊神經(jīng)網(wǎng)絡(luò) 一、模糊神經(jīng)網(wǎng)絡(luò)7 18 19的概念 所謂模糊神經(jīng)網(wǎng)絡(luò)就是神經(jīng)網(wǎng)絡(luò)與模糊理論相結(jié)合所產(chǎn)生的一種新的網(wǎng)絡(luò)系統(tǒng)。人腦 是神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)的自然結(jié)合。從物質(zhì)結(jié)構(gòu)上看，人腦是一種典型的生物神經(jīng)網(wǎng)絡(luò)； 從主要的功能角度

18、來看，人腦又是一個(gè)典型的模糊系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)直接以人腦作為其 模型基礎(chǔ)；而模糊系統(tǒng)則是以模糊集合論、模糊語(yǔ)言變量及模糊邏輯推理的知識(shí)為基礎(chǔ)。 因此，人工神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)相結(jié)合很自然地成為了一種方向和趨勢(shì)。它的一個(gè)顯著的 特點(diǎn)就是：它的每個(gè)節(jié)點(diǎn)（模糊神經(jīng)元）可取值于0,1區(qū)間。例如，用一個(gè)節(jié)點(diǎn)表示一 個(gè)人的身體健康程度，當(dāng)取值 0.8 時(shí)，就表示健康的程度為 0.8。 二、模糊神經(jīng)網(wǎng)絡(luò)的結(jié)合方式 由于模糊理論和神經(jīng)網(wǎng)絡(luò)又是兩個(gè)截然不同的領(lǐng)域；它們的基礎(chǔ)理論相差較遠(yuǎn)。但是， 它們都是智能的仿真方法。是否可以把它們結(jié)合起來而加以應(yīng)用呢?從客觀實(shí)踐和理論的 溶合上講是完全可以令它們結(jié)合的。把模糊理

19、論和神經(jīng)網(wǎng)絡(luò)相結(jié)合就產(chǎn)生了種新的技術(shù) 領(lǐng)域：這就是模糊神經(jīng)網(wǎng)絡(luò)。模糊神經(jīng)網(wǎng)絡(luò)是正在不斷探討和研究的一個(gè)新領(lǐng)域。在目前， 模糊神經(jīng)網(wǎng)絡(luò)有如下三種形式：1、邏輯模糊神經(jīng)網(wǎng)絡(luò)；2、算術(shù)模糊神經(jīng)網(wǎng)絡(luò)；3、混合 模糊神經(jīng)網(wǎng)絡(luò)。 模糊神經(jīng)網(wǎng)絡(luò)就是具有模糊權(quán)系數(shù)或者輸入信號(hào)是模糊量的神經(jīng)網(wǎng)絡(luò)。上面三種形式 的模糊神經(jīng)網(wǎng)絡(luò)中所執(zhí)行的運(yùn)算方法不同。模糊神經(jīng)網(wǎng)絡(luò)無論作為逼近器，還是模式存儲(chǔ) 器，都是需要學(xué)習(xí)和優(yōu)化權(quán)系數(shù)的。學(xué)習(xí)算法是模糊神經(jīng)網(wǎng)絡(luò)優(yōu)化權(quán)系數(shù)的關(guān)鍵。對(duì)于邏 輯模糊神經(jīng)網(wǎng)絡(luò)，可采用基于誤差的學(xué)習(xí)算法，也即是監(jiān)視學(xué)習(xí)算法。對(duì)于算術(shù)模糊神經(jīng) 網(wǎng)絡(luò)，則有模糊 BP 算法，遺傳算法等。對(duì)于混合模糊神經(jīng)網(wǎng)絡(luò)，目前

20、尚未有合理的算法； 不過，混合模糊神經(jīng)網(wǎng)絡(luò)一般是用于計(jì)算而不是用于學(xué)習(xí)的，它不必一定學(xué)習(xí)。 三、模糊神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn) 目前模糊神經(jīng)網(wǎng)絡(luò)的研究已經(jīng)稱為國(guó)際上一個(gè)引人注目的研究方向，通過研究可以發(fā) 現(xiàn)，模糊理論和神經(jīng)網(wǎng)絡(luò)有著許多共同特點(diǎn)：1、都可以通過給定輸入/輸出信號(hào)，建立系 統(tǒng)的非線性關(guān)系，不依賴特定的數(shù)學(xué)描述的系統(tǒng)模型；2、數(shù)據(jù)的處理形式都是并行的， 因而相對(duì)應(yīng)的系統(tǒng)結(jié)構(gòu)也是并行的。當(dāng)然，也有很多不同的地方，如：1、神經(jīng)網(wǎng)絡(luò)對(duì)外 界的變化有很強(qiáng)的適應(yīng)能力，但其內(nèi)部典型的黑箱學(xué)習(xí)模式，使人們無法了解學(xué)習(xí)過程中 的數(shù)據(jù)意義，也無法用人們常用的方式來解釋其輸入輸出關(guān)系；2、模糊系統(tǒng)是建立在容 易讓人

21、理解的（IFTHEN）方式上的，但是很難自動(dòng)生成和調(diào)整隸屬函數(shù)和模糊規(guī) 則，系統(tǒng)的自適應(yīng)能力不如神經(jīng)網(wǎng)絡(luò)系統(tǒng)。由此可看出，模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)有很多互補(bǔ) 的特點(diǎn)，如果能取長(zhǎng)補(bǔ)短，便可提高系統(tǒng)的學(xué)習(xí)和適應(yīng)能力，增強(qiáng)系統(tǒng)的表達(dá)與理解能力。 模糊理論技術(shù)與神經(jīng)網(wǎng)絡(luò)的結(jié)合在結(jié)構(gòu)上有：將模糊原理引入現(xiàn)有神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，形成模 糊化神經(jīng)網(wǎng)絡(luò)，或?qū)⑷斯ど窠?jīng)網(wǎng)絡(luò)作為模糊系統(tǒng)中的隸屬函數(shù)、模糊規(guī)則、擴(kuò)展原理，形 成神經(jīng)化模糊系統(tǒng)兩種。 3.2 BP 神經(jīng)網(wǎng)絡(luò) BP 神經(jīng)網(wǎng)絡(luò)9 10 1617即誤差反向傳播神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)模型中使用最廣泛的一 種，在人工神經(jīng)網(wǎng)絡(luò)的目前實(shí)際應(yīng)用中，一般都是采用 BP 網(wǎng)絡(luò)和它的變化形

22、式。BP 神經(jīng) 網(wǎng)絡(luò)主要用于：函數(shù)逼近、模式識(shí)別分類和數(shù)據(jù)壓縮。 3.2.1 BP 網(wǎng)絡(luò)的結(jié)構(gòu) 一般來講，BP 網(wǎng)絡(luò)是一種具有三層或三層以上的多層神經(jīng)元網(wǎng)絡(luò)，它的各層之間各個(gè) 神經(jīng)元實(shí)現(xiàn)全連接，即前一層的每一個(gè)神經(jīng)元與后面一層的每個(gè)神經(jīng)元都有連接，而同一 層各神經(jīng)元之間無連接。圖 3-3 所示。BP 網(wǎng)絡(luò)按有教師學(xué)習(xí)方式進(jìn)行訓(xùn)練，當(dāng)一對(duì)學(xué)習(xí)模 式提供給網(wǎng)絡(luò)后，其神經(jīng)元的激活值將從輸入層經(jīng)各中間層向輸出層傳播，在輸出層的各 神經(jīng)元輸出對(duì)應(yīng)于輸入模式的網(wǎng)絡(luò)響應(yīng)。然后，按減少希望輸出與實(shí)際輸出誤差的原則， 從輸出層經(jīng)各中間層、最后回到輸入層逐層修正各連接權(quán)。由于這種修正過程是從輸出到 輸入逐層進(jìn)行的

23、，所以稱它為“誤差逆?zhèn)鞑ニ惴ā?。隨著這種誤差逆?zhèn)鞑ビ?xùn)練的不斷進(jìn)行， 網(wǎng)絡(luò)對(duì)輸入模式響應(yīng)的正確率也不斷提高。 圖 3-2-1 BP 網(wǎng)絡(luò)結(jié)構(gòu)圖 3.2.2 BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 一、一、BP 網(wǎng)絡(luò)的學(xué)習(xí)過程分析 BP 網(wǎng)絡(luò)的學(xué)習(xí)過程主要由四部分組成： 1、輸入模式順傳播（輸入模式由輸入層經(jīng)中間層向輸出層傳播計(jì)算） ； 2、輸出誤差逆?zhèn)鞑ィㄝ敵龅恼`差由輸出層經(jīng)中間層傳向輸入層） ； 3、循環(huán)記憶訓(xùn)練（模式順傳播與誤差逆?zhèn)鞑サ挠?jì)算過程反復(fù)交替循環(huán)進(jìn)行） ； 4、學(xué)習(xí)結(jié)果判別（判定全局誤差是否趨向極小值） 。 分析介紹如下： 1、輸入模式順傳播 這一過程主要是利用輸入模式求出它所對(duì)應(yīng)的實(shí)際輸出。

24、 設(shè)輸入模式向量為 （；學(xué)習(xí)模式對(duì)數(shù)； 12 , kkk kn Aaaa1,2,kmm 輸入層單元個(gè)數(shù)） 。n 與輸入模式相對(duì)應(yīng)的希望輸出為 （輸出層單元數(shù)） 。 12 , kkk kq Yyyyq 根據(jù) M-P 神經(jīng)元模型（激活函數(shù)為閥值型，由美國(guó)心理學(xué)家 McCulloch 和數(shù)學(xué)家 Pitts 共同提出，因此稱為 M-P 模型）原理，計(jì)算中間層各神經(jīng)元的激活值： （.） 1 n jijij i sW a 1,2,jp 式中：輸入層至中間層的連接權(quán)； ij W 中間層單元的閥值； j 中間層單元數(shù)。p 激活函數(shù)采用型函數(shù)，即 S 1 ( ) 1 exp() f x x 這里之所以選型函數(shù)作

25、為 BP 網(wǎng)絡(luò)神經(jīng)元的激勵(lì)函數(shù)是因?yàn)樗沁B續(xù)可微分的，而S 且更接近于生物神經(jīng)元的信號(hào)輸出形式。 將上面的激活函數(shù)值代入激活函數(shù)中可得中間層單元的輸出值為j （.） 1 1 () 1 exp() jjn ijij i bf s W a 1,2,jp 閥值在學(xué)習(xí)過程中和權(quán)值一樣也不斷地被修正。閥值的作用反映在型函數(shù)的 j S 輸出曲線上，圖 3-4 所示。由圖可見，閥值的作用相當(dāng)于將輸出值移到了個(gè)單位。 0 1 x 0.5 ()f X 圖 3-2-2 閥值對(duì)激活函數(shù)的作用 j 同理，可求得輸出端的激活值和輸出值： 設(shè)輸出層第 個(gè)單元的激活值為，則t t l 1 p tjtjt j lV b 設(shè)輸

26、出值第 個(gè)單元的實(shí)際輸出值為，則t t c （）( ) tt cf l1,2,tq 式中：中間層至輸出層連接權(quán)； jt V 輸出層單元閥值； t 型激活函數(shù)。fS 2、輸出誤差逆?zhèn)鞑?在第一步的模式順傳播計(jì)算中我們得到了網(wǎng)絡(luò)的實(shí)際輸出值，當(dāng)這些實(shí)際的輸 出值與希望的輸出值不一樣時(shí)或者說其誤差大于所限定的數(shù)值時(shí)，就要對(duì)網(wǎng)絡(luò)進(jìn)行校正。 這里的校正是從后向前進(jìn)行的，所以叫作誤差逆?zhèn)鞑ィ?jì)算時(shí)是從輸出層到中間 層，再?gòu)闹虚g層到輸入層。 輸出層的校正誤差為： ()( ) kkkk lttt dycf l 式中： 1,2,tq1,2,km 希望輸出； k t y 實(shí)際輸出； k t c 對(duì)輸出層函數(shù)的導(dǎo)數(shù)

27、。 () f 中間層各單元的校正誤差為： （ ） 1 ()() q kkk jjtlj t eV dfs 1,2,jp1,2,km 每一個(gè)中間單元的校正誤差都是由個(gè)輸出層單元校正誤差傳遞而產(chǎn)生的。當(dāng)校q 正誤差求得后，則可利用和沿逆方向逐層調(diào)整輸出層至中間層，中間層至輸入層的 k l d k j e 權(quán)值。 對(duì)于輸出層至中間層連接權(quán)和輸出層閥值的校正量為 kk jtlj Vd b k tl d 其中，中間層單元的輸出； k j bj 輸出層的校正誤差。 k l d （學(xué)習(xí)系數(shù)） 。1,2,jp1,2,tq1,2,km01 中間層至輸入層的校正量為： kk ijji We a k j e 式中：

28、中間層單元的校正誤差。 k j ej （學(xué)習(xí)系數(shù)） 。1,2,in01 這里可以看出： （1）調(diào)整量與誤差成正比，即誤差越大，調(diào)整的幅度就越大。 （2）調(diào)整量與輸入值的大小成比例，輸入值越大，在此次學(xué)習(xí)過程中就顯得越活躍， 所以與其相連的權(quán)值的調(diào)整幅度就越大。 （3）調(diào)整量與學(xué)習(xí)系數(shù)成正比。 3、循環(huán)記憶訓(xùn)練 為使網(wǎng)絡(luò)的輸出誤差趨于極小值。對(duì)于 BP 網(wǎng)絡(luò)輸入的每一組訓(xùn)練模式，要經(jīng)過 數(shù)百次甚至上萬次的循環(huán)記憶訓(xùn)練，才能使網(wǎng)絡(luò)記住這一模式。 這種循環(huán)記憶訓(xùn)練實(shí)際上就是反復(fù)重復(fù) 1、2 的過程。 4、學(xué)習(xí)結(jié)果判別 當(dāng)每次循環(huán)記憶訓(xùn)練結(jié)束后，都要進(jìn)行學(xué)習(xí)結(jié)果的判別。判別的目的主要是檢查 輸出誤差是

29、否已經(jīng)小到允許的程度。如果小到了允許的程度，就可以結(jié)束整個(gè)學(xué)習(xí)過程， 否則還要進(jìn)行循環(huán)訓(xùn)練。學(xué)習(xí)或者說訓(xùn)練的過程是網(wǎng)絡(luò)全局誤差趨向極小值的過程。但是 對(duì)于 BP 網(wǎng)絡(luò)，其收斂過程存在著兩個(gè)很大的缺陷：一是收斂速度慢，二是存在“局部極 小點(diǎn)”問題。在學(xué)習(xí)過程中有時(shí)會(huì)出現(xiàn)，當(dāng)學(xué)習(xí)反復(fù)進(jìn)行到一定次數(shù)后，雖然網(wǎng)絡(luò)的實(shí)際 輸出與希望輸出還存在很大的誤差，但無論再如何學(xué)習(xí)下去，網(wǎng)絡(luò)全局誤差的減小速度都 變得很緩慢，或者根本不再變化，這種現(xiàn)象是因網(wǎng)絡(luò)收斂于局部極小點(diǎn)所致。BP 網(wǎng)絡(luò)的全 局誤差函數(shù) E 是一個(gè)以 S 型函數(shù)為自變量的非線性函數(shù)。這就意味著由 E 構(gòu)成的連接權(quán)空 間不是只有一個(gè)極小點(diǎn)的曲面，而

30、是存在多個(gè)局部極小點(diǎn)的超曲面，如圖 3-5 所示。 A B 誤差函數(shù) E 局部極小點(diǎn) 全局最小點(diǎn) 局部極小點(diǎn) 圖 3-2-2-2 多個(gè)極小點(diǎn)的連接權(quán)空間 導(dǎo)致這一缺陷的主要原因是采用了按誤差函數(shù)梯度下降的方向進(jìn)行校正。在圖 3- 5 中，若初始條件是從 A 點(diǎn)的位置開始則只能達(dá)到局部極小點(diǎn)，但如果從 B 點(diǎn)開始則可達(dá) 到全局最小點(diǎn)。所以 BP 網(wǎng)的收斂依賴于學(xué)習(xí)模式的初始位置，適當(dāng)改進(jìn) BP 網(wǎng)絡(luò)中間層的 單元數(shù)，或者給每個(gè)連接權(quán)加上一個(gè)很小的隨機(jī)數(shù)，都有可能使收斂過程避開局部極小點(diǎn)。 二、二、BP 網(wǎng)絡(luò)學(xué)習(xí)過程具體步驟 1、初始化，給各連接權(quán)、及閾值、 ij W jt V j t 1,2,i

31、n1,2,jp1,2,tq1,2,km 賦予-1,+1之間的隨機(jī)值。 2、隨機(jī)選取一模式對(duì)，提供給網(wǎng)絡(luò)。 12 , kkk kn Aaaa 12 , kkk kq Yyyy 3、用輸入模式，連接權(quán)和閾值計(jì)算中間層各神經(jīng)元的輸入 12 , kkk kn Aaaa ij W j （激活值） ，然后用通過激活函數(shù) j s j s 1 ( ) 1 x f x e 計(jì)算中間層各單元的輸出： j b = j b() j f s 式中： 1 n jijij i sW a 4、用中間層的輸出、連接權(quán)和閾值計(jì)算輸出層各單元的輸入（激活值） ， j b jt V t t l 然后用通過激活函數(shù)計(jì)算輸出層各單元的響

32、應(yīng) t l t c = t c( ) t f l 式中： （） 1 p tjtjt j lV b 1,2,tq 5、用希望輸出模式，網(wǎng)絡(luò)實(shí)際輸出計(jì)算輸出層各單元的校正誤 12 , kkk kq Yyyy t c 差： k t d （）() (1) kk ttttt dyc cc1,2,tq 6、用，計(jì)算中間層的校正誤差： jt V t d j b k j e （） 1 (1) q k jtjtjj t edVbb 1,2,jp 7、用，和計(jì)算下一次的中間層和輸出層之間的新連接權(quán)： k t d j b jt V t (1)() k jtjttj VNVNd b (1)() k ttt NNd 式

33、中：學(xué)習(xí)次數(shù)。N 8、由，和計(jì)算下一次的輸入層和中間層之間的新連接權(quán)： k j e k i a ij W j (1)() kk ijijji WNWNe a (1)() k jjj NNe 9、隨機(jī)選取下一個(gè)學(xué)習(xí)模式對(duì)提供給網(wǎng)絡(luò)，返回到第 3 步，直至全部個(gè)模式對(duì)訓(xùn)m 練完。 10、重新從個(gè)學(xué)習(xí)模式對(duì)中隨機(jī)選取一個(gè)模式對(duì)，返回到第 3 步，直至網(wǎng)絡(luò)全局誤m 差函數(shù)小于預(yù)先設(shè)定的限定值（網(wǎng)絡(luò)收斂）或?qū)W習(xí)回?cái)?shù)大于預(yù)先設(shè)定的數(shù)值（網(wǎng)絡(luò)無法E 收斂） 。 11、學(xué)習(xí)結(jié)束 在以上的學(xué)習(xí)步驟中 16 為輸入學(xué)習(xí)模式的“順傳播過程” ，78 為網(wǎng)絡(luò)誤差的“逆 傳播過程” ，910 則完成訓(xùn)練和收斂過程。BP

34、 網(wǎng)絡(luò)學(xué)習(xí)過程框圖如圖 3-6 所示，根據(jù)框 圖及上述計(jì)算步驟可編程完成對(duì) BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程。 N 否 否 圖 3-2-2-3 BP 網(wǎng)絡(luò)學(xué)習(xí)過程框圖 3.3 BP 神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ) 3.3.1 訓(xùn)練樣本集的準(zhǔn)備 訓(xùn)練數(shù)據(jù)的準(zhǔn)備工作是網(wǎng)絡(luò)設(shè)計(jì)與訓(xùn)練的基礎(chǔ)，數(shù)據(jù)選擇的合理性以及數(shù)據(jù)表示的合 理性對(duì)于網(wǎng)絡(luò)設(shè)計(jì)具有極為重要的影響。數(shù)據(jù)準(zhǔn)備包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量 選擇和數(shù)據(jù)預(yù)處理等諸多步驟，如下： 一、輸入輸出量的選擇 一個(gè)待建模系統(tǒng)的輸入輸出就是神經(jīng)網(wǎng)絡(luò)的輸入輸出變量。這些變量可能是事先確 定的，也可能不夠明確，需要進(jìn)行一番篩選。一般來講，輸出量代表系統(tǒng)要實(shí)現(xiàn)的功能目 標(biāo)，其選擇

35、確定相對(duì)容易一些，例如系統(tǒng)的性能指標(biāo)，分類問題的類別歸屬，或非線性函 數(shù)值等等。輸入量必須選擇那些對(duì)輸出影響大且能夠檢測(cè)或提取的變量，此外還要求各輸 入變量之間互不相關(guān)或相關(guān)性很小，這是輸入量選擇的兩條基本原則。如果對(duì)某個(gè)變量是 否適合作網(wǎng)絡(luò)輸入沒有把握，可分別訓(xùn)練含有和不含有該輸入的兩個(gè)網(wǎng)絡(luò)，對(duì)其效果進(jìn)行 對(duì)比。 從輸入、輸出量的性質(zhì)來看，可分為兩類：一類是數(shù)值變量，一類是語(yǔ)言變量。數(shù)值 變量的值是數(shù)值確定的連續(xù)量或離散量。語(yǔ)言變量是用自然語(yǔ)言表示的概念，其“語(yǔ)言值” 是用自然語(yǔ)言表示的事物的各種屬性。例如，顏色、性別、規(guī)模等等都是語(yǔ)言變量。其語(yǔ) 言值可分別取為紅、綠、藍(lán)，男、女，大、中、小

36、等。當(dāng)選用語(yǔ)言變量作為網(wǎng)絡(luò)的輸入或 輸出變量時(shí)，需將其語(yǔ)言值轉(zhuǎn)換為離散的數(shù)值量。 二、輸入量的提取與表示 很多情況下，神經(jīng)網(wǎng)絡(luò)的輸入量無法直接獲得，常常需要用信號(hào)處理與特征提取 技術(shù)從原始數(shù)據(jù)中提取能反映其特征的若干特征參數(shù)作為網(wǎng)絡(luò)的輸入，提取方法與待解決 的問題密切相關(guān)，下面討論典型的幾種情況。 1、文字符號(hào)輸入 在各類字符識(shí)別的應(yīng)用中，均以字符為輸入的原始對(duì)象。BP 網(wǎng)絡(luò)的輸入層不能直 接接受字符輸入，必須先對(duì)其進(jìn)行編碼，變成網(wǎng)絡(luò)可接受的形式。 2、曲線輸入 多層感知器在模式識(shí)別類應(yīng)用中常被用來識(shí)別各種設(shè)備輸出的波形曲線，對(duì)于這類輸 入模式，常用的表示方法是提取波形在各區(qū)間分界點(diǎn)的值，以其

37、作為網(wǎng)絡(luò)輸入向量的分量 值。各輸入分量的下標(biāo)表示輸入值在波形中的位置，因此分量的編號(hào)是嚴(yán)格有序的。 3、函數(shù)自變量輸入 用多層前饋網(wǎng)建立系統(tǒng)的數(shù)學(xué)模型屬于典型的非線性映射問題。一般當(dāng)系統(tǒng)已有大量 輸入輸出數(shù)據(jù)對(duì)，建模的目的是提取其中隱含的映射規(guī)則（即函數(shù)關(guān)系） 。這類應(yīng)用的 輸入表示比較簡(jiǎn)單，一般有幾個(gè)影響參數(shù)就設(shè)幾個(gè)分量，1 個(gè)輸入分量對(duì)應(yīng)一個(gè)輸入層節(jié) 點(diǎn)。 4、圖像輸入 當(dāng)需要對(duì)物體的圖像進(jìn)行識(shí)別時(shí)，很少直接將每個(gè)像素點(diǎn)的灰度值作為網(wǎng)絡(luò)的輸入。 因?yàn)閳D像的像素點(diǎn)常以萬計(jì)，不適合作為網(wǎng)絡(luò)的輸入，而且難以從中提取有價(jià)值的輸入 輸出規(guī)律。這類應(yīng)用中，一般先根據(jù)識(shí)別的具體目的從圖像中提取一些有用的

38、特征參數(shù)， 再根據(jù)這些參數(shù)對(duì)輸出的貢獻(xiàn)進(jìn)行篩選。 三、輸出量的表示 所謂輸出量實(shí)際上是指為網(wǎng)絡(luò)訓(xùn)練提供的期望輸出，一個(gè)網(wǎng)絡(luò)可以有多個(gè)輸出變量， 其表示方法通常比輸入量容易很多，而且對(duì)網(wǎng)絡(luò)的精度和訓(xùn)練時(shí)間影響也不大。輸出量可 以是數(shù)值變量，也可以是語(yǔ)言變量。對(duì)于數(shù)值類的輸出量，可直接用數(shù)值量來表示，但由 于網(wǎng)絡(luò)實(shí)際輸出只能是 01 或-11 之間的數(shù)，所以需要將期望輸出進(jìn)行尺度變換處理， 方法見四。下面是幾種語(yǔ)言變量的表示方法。 1、 “中取 1”表示法 n 分類問題的輸出變量多用語(yǔ)言變量類型，如質(zhì)量可分為優(yōu)、良、中、差 4 個(gè)類別。 “ 中取 1”是令輸出向量的分量數(shù)等于類別數(shù)，輸入樣本被判為

39、哪一類，對(duì)應(yīng)的輸出分量n 取 1，其余-1 個(gè)分量全取 0.例如，用 0001、0010、0100 和 1000 分別表示優(yōu)、良、中、n 差 4 個(gè)類別。這種方法的優(yōu)點(diǎn)是比較直觀，當(dāng)分類數(shù)不是太多時(shí)經(jīng)常采用。 2、 “”表示法 1n “中取 1”表示法中沒有用到編碼全為 0 的情況，如果用個(gè)全為 0 的輸出向量n1n 表示某個(gè)類別，則可以節(jié)省一個(gè)輸出節(jié)點(diǎn)。如上面提到的 4 個(gè)類別也可以用 000、001、010 和 100 表示。特別是當(dāng)輸出只有兩種可能是，只用一個(gè)二進(jìn)制數(shù)便可以表 達(dá)清楚。如用 0 和 1 代表性別的男和女等。 3、數(shù)值表示法 二值分類只適于表示兩類對(duì)立的分類，而對(duì)以有些漸進(jìn)

40、式的分類，可以將語(yǔ)言值轉(zhuǎn)化 為二值之間的數(shù)值表示。例如，質(zhì)量的差與好可以用 0 和 1 表示，而較差和較好這樣的漸 進(jìn)類別可用 0 和 1 之間的數(shù)值表示，如用 0.25 表示較差，0.5 表示中等，0.75 表示較好 等等。數(shù)值的選擇要注意保持由小到大的漸進(jìn)關(guān)系，并要根據(jù)實(shí)際意義拉開距離。 四、輸入輸出數(shù)據(jù)的預(yù)處理 尺度變換也稱歸一化或標(biāo)準(zhǔn)化，是指通過變化處理將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在 0,1或-1,1區(qū)間內(nèi)。進(jìn)行尺度變換的主要原因有：（1）網(wǎng)絡(luò)的各個(gè)輸入數(shù)據(jù)常常具有 不同的物理意義和不同的量綱，如某輸入分量在 01范圍內(nèi)變化，而另一輸入分量 5 10 則在 01范圍內(nèi)變化。尺度變換使所有

41、分量都在 01 或-11 之間變化，從而使網(wǎng) 5 10 絡(luò)訓(xùn)練一開始就給各輸入分量以同等重要的地位；（2）BP 網(wǎng)的神經(jīng)元均采用 Sigmoid 變 換函數(shù)，變換后可防止因凈輸入的絕對(duì)值過大而使神經(jīng)元輸出飽和，繼而使權(quán)值調(diào)整進(jìn)入 誤差曲面的平坦區(qū)；（3）Sigmoid 變換函數(shù)的輸出在 01 或-11 之間，作為教師信號(hào) 的輸出數(shù)據(jù)如不進(jìn)行變換處理，勢(shì)必使數(shù)值大的輸出分量絕對(duì)誤差大，數(shù)值小的輸出分量 絕對(duì)誤差小，網(wǎng)絡(luò)訓(xùn)練時(shí)只針對(duì)輸出的總誤差調(diào)整權(quán)值，其結(jié)果是在總誤差中占份額小的 輸出分量相對(duì)誤差較大，對(duì)輸出量進(jìn)行尺度變換后這個(gè)問題可迎刃而解。此外，當(dāng)輸入或 輸出向量的分量量綱不同時(shí)，應(yīng)對(duì)不同的

42、分量在其取值范圍內(nèi)分別進(jìn)行變換；當(dāng)各分量物 理意義相同且為同一量綱時(shí)，應(yīng)在整個(gè)數(shù)據(jù)范圍內(nèi)確定最大值和最小值，進(jìn)行統(tǒng) max x min x 一的變化處理。 將輸入輸出數(shù)據(jù)變換為0,1區(qū)間的值常用以下變換式 min maxmin i i xx x xx 其中，代表輸入或輸出數(shù)據(jù)，代表數(shù)據(jù)變化范圍的最小值，代表數(shù)據(jù)變化 i x min x max x 范圍的最大值。 五、訓(xùn)練集的設(shè)計(jì) 網(wǎng)絡(luò)的性能與訓(xùn)練用的樣本密切相關(guān)，設(shè)計(jì)一個(gè)好的訓(xùn)練樣本集既要注意樣本規(guī)模， 又要注意樣本質(zhì)量。 1、訓(xùn)練樣本數(shù)的確定 一般來說訓(xùn)練樣本越多，訓(xùn)練結(jié)果越能正確反映其內(nèi)在規(guī)律，但樣本的收集整理往往 受到客觀條件的限制。此

43、外，當(dāng)樣本數(shù)多到一定程度時(shí)，網(wǎng)絡(luò)的精度也很難再提高。實(shí)踐 表明，網(wǎng)絡(luò)訓(xùn)練所需的樣本數(shù)取決于輸入輸出非線性映射關(guān)系的復(fù)雜程度，映射關(guān)系越 復(fù)雜，樣本中含的噪聲越大，為保證一定映射精度所需要的樣本數(shù)就越多，而且網(wǎng)絡(luò)的規(guī) 模也越大。因此，可以參考這樣一個(gè)經(jīng)驗(yàn)規(guī)則：訓(xùn)練樣本數(shù)數(shù)網(wǎng)絡(luò)連接權(quán)總數(shù)的 510 倍。 2、樣本的選擇與組織 網(wǎng)絡(luò)訓(xùn)練中提取的規(guī)律蘊(yùn)涵在樣本中，因此樣本一定要有代表性。樣本的選擇要注意 樣本類別的均衡，盡量使每個(gè)類別的樣本數(shù)量大致相等。即使是同一類樣本也要照顧樣本 的多樣性與均勻性。按這種“平均主義”原則選擇的樣本能使網(wǎng)絡(luò)在訓(xùn)練時(shí)見多識(shí)廣，而 且可以避免網(wǎng)絡(luò)對(duì)樣本數(shù)量多的類別“印象深

44、” ，而對(duì)出現(xiàn)次數(shù)少的類別“印象淺” 。樣本 的組織要注意將不同類別的樣本交叉輸入，或從訓(xùn)練集中隨機(jī)選擇輸入樣本。因?yàn)橥悩?本太集中會(huì)使網(wǎng)絡(luò)訓(xùn)練時(shí)傾向于只建立與其匹配的映射關(guān)系，當(dāng)另一類樣本集中輸入時(shí)， 權(quán)值的調(diào)整又轉(zhuǎn)向新的映射關(guān)系而將前面的訓(xùn)練結(jié)果否定。當(dāng)各類樣本輪流集中輸入時(shí)， 網(wǎng)絡(luò)的訓(xùn)練會(huì)出現(xiàn)振蕩使訓(xùn)練時(shí)間延長(zhǎng)。 3.3.2 初始權(quán)值的設(shè)計(jì) 網(wǎng)絡(luò)權(quán)值的初始化決定了網(wǎng)絡(luò)的訓(xùn)練從誤差曲面的那一點(diǎn)開始，因此初始化方法對(duì)縮 短網(wǎng)絡(luò)的訓(xùn)練時(shí)間至關(guān)重要。神經(jīng)元的激活函數(shù)都是關(guān)于零點(diǎn)對(duì)稱的，如果每個(gè)節(jié)點(diǎn)的凈 輸入均在零點(diǎn)附近，則其輸出均處在變換函數(shù)的中點(diǎn)。這個(gè)位置不僅遠(yuǎn)離激勵(lì)函數(shù)的兩個(gè) 飽和區(qū)，而且

45、是其變化最靈敏的區(qū)域，必然使網(wǎng)絡(luò)的學(xué)習(xí)速度較快。從凈輸入的表達(dá)式（ =，為權(quán)值，為輸入）可以看出，為了使各節(jié)點(diǎn)的初始凈輸入 0 n jiji i netw x T j W X ij w i x 在零點(diǎn)附近，有兩種辦法可以采用。一種辦法是使初始權(quán)值足夠?。涣硪环N辦法是，使初 始值為+1 和-1 的權(quán)值數(shù)相等。應(yīng)用中對(duì)隱層權(quán)值可采用第一種辦法，而對(duì)輸出層可采用 第二種辦法。因?yàn)閺碾[層權(quán)值調(diào)整公式來看，如果輸出層權(quán)值太小，會(huì)使隱層權(quán)值在訓(xùn)練 初期的調(diào)整量變小，因此采用了第二種權(quán)值與凈輸入兼顧的辦法。按以上方法設(shè)置的初始 權(quán)值可使每個(gè)神經(jīng)元一開始都工作在其變化最大的位置。 3.3.3 BP 多層感知器

46、結(jié)構(gòu)設(shè)計(jì) 網(wǎng)絡(luò)的的訓(xùn)練樣本問題解決以后，網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)數(shù)和輸出層節(jié)點(diǎn)數(shù)便已確定。因 此，BP 多層感知器的結(jié)構(gòu)設(shè)計(jì)主要是解決設(shè)幾個(gè)隱層和每個(gè)隱層設(shè)幾個(gè)隱節(jié)點(diǎn)的問題。對(duì) 于這個(gè)問題，沒有通用性的理論指導(dǎo)，下面是根據(jù)大量實(shí)踐經(jīng)驗(yàn)總結(jié)的結(jié)論： 一、隱層數(shù)的設(shè)計(jì) 理論分析證明，具有單隱層的 BP 神經(jīng)網(wǎng)絡(luò)可以映射所有連續(xù)函數(shù)，只有當(dāng)學(xué)習(xí)不連 續(xù)函數(shù)（如鋸齒波等）時(shí)，才需要兩個(gè)隱層，所以 BP 多層感知器最多只需要兩個(gè)隱層。 在設(shè)計(jì) BP 多層感知器時(shí)，一般先考慮設(shè)一個(gè)隱層，當(dāng)一個(gè)隱層的隱節(jié)點(diǎn)數(shù)很多仍不能改 善網(wǎng)絡(luò)性能時(shí)，才考慮再增加一個(gè)隱層。經(jīng)驗(yàn)表明，采用兩個(gè)隱層時(shí)，如在第一個(gè)隱層設(shè) 置較多的隱節(jié)點(diǎn)

47、而第二個(gè)隱層設(shè)置較少的隱節(jié)點(diǎn)，則有利于改善多層前饋網(wǎng)的性能。此外， 對(duì)于有些實(shí)際問題，采用雙隱層所需要的隱節(jié)點(diǎn)總數(shù)可能少于單隱層所需的隱節(jié)點(diǎn)數(shù)。所 以，對(duì)于增加隱節(jié)點(diǎn)仍不能明顯降低訓(xùn)練誤差的情況，應(yīng)該想到嘗試一下增加隱層。一般 都選擇一個(gè)隱層的 BP 多層感知器。 二、隱節(jié)點(diǎn)數(shù)的設(shè)計(jì) 隱含層節(jié)點(diǎn)的作用是從樣本中提取并存儲(chǔ)其內(nèi)在的規(guī)律，每個(gè)隱節(jié)點(diǎn)有若干個(gè)權(quán)值， 而每個(gè)權(quán)值都是增強(qiáng)網(wǎng)絡(luò)映射能力的一個(gè)參數(shù)。隱含節(jié)點(diǎn)數(shù)量太少，網(wǎng)絡(luò)從樣本中獲取的 信息能力就差，不足以概括和體現(xiàn)訓(xùn)練樣本的規(guī)律；隱含節(jié)點(diǎn)數(shù)量太多，有可能把樣本中 的非規(guī)律性的內(nèi)容如噪聲等也學(xué)會(huì)記牢，從而出現(xiàn)所謂“過度吻合”問題，反而降低了泛

48、 化能力，此外隱節(jié)點(diǎn)數(shù)太多還會(huì)增加訓(xùn)練時(shí)間。 設(shè)置多少個(gè)隱節(jié)點(diǎn)取決于訓(xùn)練樣本數(shù)的多少、樣本噪聲的大小以及樣本中蘊(yùn)涵規(guī)律的 復(fù)雜程度。一般來說，波動(dòng)次數(shù)多、幅度變化大的復(fù)雜非線性函數(shù)要求網(wǎng)絡(luò)具有較多的隱 節(jié)點(diǎn)來增強(qiáng)其映射能力。 確定最佳隱含節(jié)點(diǎn)的一個(gè)常用的方法為試湊法，可先設(shè)置較少的隱節(jié)點(diǎn)訓(xùn)練網(wǎng)絡(luò)，然 后逐漸增加隱節(jié)點(diǎn)數(shù)，用同一樣本集進(jìn)行訓(xùn)練，從中確定網(wǎng)絡(luò)誤差最小時(shí)對(duì)應(yīng)的隱節(jié)點(diǎn)數(shù)。 在用試湊法時(shí)，可以用一些確定隱節(jié)點(diǎn)數(shù)的經(jīng)驗(yàn)公式。這些公式計(jì)算出來的隱節(jié)點(diǎn)數(shù)只是 一種粗略的估計(jì)值，可作為試湊法的初始值。以下是幾個(gè)常用計(jì)算初始值的公式： mnl 2 logmn mnl 以上各式中為隱層節(jié)點(diǎn)數(shù)，為輸入

49、層節(jié)點(diǎn)數(shù)， 為輸出層節(jié)點(diǎn)數(shù)，為 110 之mnl 間的常數(shù)。 3.3.4 網(wǎng)絡(luò)訓(xùn)練與測(cè)試 網(wǎng)絡(luò)設(shè)計(jì)完成后，需要進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。在訓(xùn)練過程中要多次重復(fù)使用樣本集數(shù) 據(jù)，但每次訓(xùn)練取數(shù)據(jù)的順序是不固定的。通常情況下，訓(xùn)練一個(gè)網(wǎng)絡(luò)需要成千上萬次迭 代過程。 泛化能力是衡量網(wǎng)絡(luò)性能好壞的一個(gè)重要參數(shù)3236。如果對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行的訓(xùn)練次數(shù) 過多，不僅增加訓(xùn)練時(shí)間，也會(huì)產(chǎn)生過學(xué)習(xí)或過擬合35，影響網(wǎng)絡(luò)的泛化性能。網(wǎng)絡(luò)的測(cè) 試誤差和訓(xùn)練誤差曲線如圖 3.3 所示。 圖 3-3-4 測(cè)試誤差和訓(xùn)練誤差相對(duì)學(xué)習(xí)次數(shù)的變化曲線 從圖中可以看出，隨著訓(xùn)練循環(huán)次數(shù)的增加，起初測(cè)試誤差與訓(xùn)練誤差以較大的速率 同步減小，

50、然后誤差減小的速率逐漸減小，且測(cè)試誤差減小的速率減小得更快，到達(dá)最低 點(diǎn)后，盡管訓(xùn)練誤差繼續(xù)減小，測(cè)試誤差開始逐步增加，出現(xiàn)過學(xué)習(xí)。 均 方 誤 差 測(cè)試誤差差據(jù) 訓(xùn)練誤差 訓(xùn)練次數(shù) 第四章 三角形隸屬度函數(shù)在鋁稱重的應(yīng)用 4.1 隸屬函數(shù) 隸屬函數(shù)12的確定實(shí)質(zhì)上是人們對(duì)客觀事物中介過渡的定性描述，這種描述本質(zhì)上是 客觀的。由于模糊理論研究的對(duì)象具有“模糊性”和“經(jīng)驗(yàn)性” ，每個(gè)人對(duì)同一模糊概念 的認(rèn)識(shí)和理解存在差異，因此，隸屬函數(shù)的確定又含有一定的主觀因素。 盡管確定隸屬函數(shù)的方法帶有主觀因素，但主觀的反映和客觀的存在是有一定聯(lián) 系的，是受到客觀制約的。因此，隸屬函數(shù)的確定應(yīng)遵守一些基本原

51、則。 一、表示隸屬函數(shù)的模糊集合必須是凸模糊集合 以主觀性最強(qiáng)的專家經(jīng)驗(yàn)法為例來確定“舒適”溫度的隸屬函數(shù)。 某專家根據(jù)本身的經(jīng)驗(yàn)對(duì)“舒適“溫度的隸屬函數(shù)定義如下： 舒適溫度=0 0.50.501 010203040CCCCC 這里隸屬度為 1 的溫度點(diǎn)定的是，即在左右是“舒適”的溫度，越是偏20 C 20 C 離這個(gè)溫度，其隸屬越小，即舒適的程度越小，這與大多數(shù)人的經(jīng)驗(yàn)是吻合的。至于 的隸屬度是 0.5 而不是 0.45，也許只能說是經(jīng)驗(yàn)。但是，這種經(jīng)驗(yàn)并不意味著可以30 C 任意確定，因?yàn)榭梢苑Q得上專家的經(jīng)驗(yàn)，那肯定不是一種具有任意性的經(jīng)驗(yàn)，通常都是指 具有相當(dāng)成功把握和代表性的經(jīng)驗(yàn)。通常

52、，某一模糊概念的隸屬函數(shù)的確定應(yīng)首先從最適 合這一模糊概念的點(diǎn)下手，也即確定該模糊概念的最大隸屬函數(shù)中心點(diǎn)或區(qū)域，然后向兩 邊延伸。從連接各點(diǎn)后經(jīng)過平滑處理的隸屬函數(shù)曲線從最大隸屬函數(shù)中心點(diǎn)出發(fā)向兩邊延 伸時(shí)，其隸屬函數(shù)的值必定是單調(diào)遞減的，而不允許有波浪形，否則會(huì)產(chǎn)生明顯不合邏輯 的狀態(tài)。 二、變量所取隸屬函數(shù)通常是對(duì)稱和平衡的 一般情況下，描述變量的語(yǔ)言值安排得越多，模糊控制系統(tǒng)的分辨率就越高，其系統(tǒng) 響應(yīng)的結(jié)果就越平滑；但模糊規(guī)則會(huì)明顯增多，計(jì)算時(shí)間增加，設(shè)計(jì)困難加大。如果描述 變量的語(yǔ)言值安排太少，則其系統(tǒng)的響應(yīng)可能會(huì)太不敏感，并可能無法及時(shí)提供輸出控制 跟隨小的輸入變化，以使系統(tǒng)的輸

53、出會(huì)在期望值附近振蕩。實(shí)踐證明，一般取 3-9 個(gè)為宜， 并且通常取奇數(shù)個(gè)，在“零” 、 “適中”或者“正常”集合的兩邊語(yǔ)言值通常對(duì)稱取。 三、隸屬函數(shù)要符合人們的語(yǔ)義順序，避免不恰當(dāng)?shù)闹丿B 在相同論域上使用的具有語(yǔ)義順序關(guān)系的若干語(yǔ)言值的模糊集合，例如， “冷” 、 “涼” 、 “適合” 、 “暖” 、 “熱”等模糊子集，其中心值位置必須按這一次序排列，不能違背常識(shí)和 經(jīng)驗(yàn)。此外，隸屬函數(shù)由中心值向兩邊模糊延伸的范圍也有一定的限制，間隔的兩個(gè)模糊 集合的隸屬函數(shù)盡量不相交重疊。 4.1.1 常用隸屬函數(shù)的圖形 基本的隸屬函數(shù)圖形可分為三類：左大右小的偏小型下降函數(shù)（稱作函數(shù)） 、對(duì)稱Z 型凸

54、函數(shù)（稱作函數(shù)）和右大左小的偏大形上升函數(shù)（稱作函數(shù)） ，如圖 4-1 所示。S 0 1 246810 0 1 246810 0 1 246810 （a） （b） （c） 圖 4-1 基本隸屬函數(shù)圖形 最簡(jiǎn)單的隸屬函數(shù)還是取直線型的三角和梯形，因而被常常使用。如圖 4-2 所示。 0 1 246810 0 1 246810 （a）三角函數(shù) （b）梯形函數(shù) 圖 4-2 直線型隸屬函數(shù) 4.2 模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型 該模型是多輸入單輸出，由 4 層組成： 第一層輸入層； 第二層模糊化層； 第三層隱含層； 第四層輸出層。 第五章 模糊神經(jīng)網(wǎng)絡(luò)用于鋁稱重的步驟 5.1 特征提取和模糊化 鋁車間工作的

55、溫度通常情況下要在 0 攝氏度以上，所以低溫零下的溫度不太可能出現(xiàn)， 同時(shí)考慮到常溫、低溫?cái)?shù)據(jù)集中區(qū)間較為分明，所以下面進(jìn)行數(shù)據(jù)處理的時(shí)候，將分為常 溫、高溫兩個(gè)網(wǎng)絡(luò)來進(jìn)行處理。 常溫情況下提取的 12 個(gè)特征參數(shù)，其中 6 個(gè)是溫度參數(shù)，另外 6 個(gè)是相對(duì)應(yīng)的內(nèi)碼， 經(jīng)模糊化處理后，每個(gè)參數(shù)分為 3 個(gè)模糊子空間，用大（L） 、中（M） 、?。⊿）3 個(gè)語(yǔ)言 變量表示,則一個(gè)輸入變量就有 3 個(gè)模糊化神經(jīng)元與其在 3 個(gè)模糊子空間對(duì)應(yīng)的隸屬度函數(shù) 值對(duì)應(yīng)。則模糊化后的變量為 36 個(gè)，即 BP 神經(jīng)網(wǎng)絡(luò)的輸入變量為 36 個(gè)。 5.2 隸屬函數(shù)選取 常用的確定隸屬函數(shù)的方法有：模糊統(tǒng)計(jì)法、例

56、證法、專家經(jīng)驗(yàn)法。而主要方法是根 據(jù)專家的實(shí)際經(jīng)驗(yàn)，再通過“學(xué)習(xí)”和實(shí)踐檢驗(yàn)逐步修改和完善。在本課題的隸屬度函數(shù) 采用三角形分布函數(shù)，它是經(jīng)過檢驗(yàn)修改與完善后，在實(shí)際問題中應(yīng)用最廣泛的隸屬度函 數(shù)。 圖 5-2 三角形分布隸屬函數(shù) 如圖所示 其中= L 2() 0 PPL 2() 2() PPL PPL (1) = H2()PHP(2) 、分別表示參數(shù)極小值，模糊均值（）及極大值。則隸LPH 2 最大值最小值 屬函數(shù)為： 0 () 2 () 2 1 LH x HL 小 2 2 LH x LH Lx xL 3（） （4） 0 () () 2 () () 2 0 xL HL Hx HL 中 ()

57、2 () 2 xL LH Lx LH xH xH （5） 0 () 2 () 2 1 LH x HL 大 () 2 () 2 LH x LH xH xH 5.3 隱含層和輸出層的處理 隱含層的作用是從樣本中提取并存儲(chǔ)內(nèi)在的規(guī)律。隱含層節(jié)點(diǎn)過多，會(huì)產(chǎn)生過擬合， 降低泛化能力；隱層節(jié)點(diǎn)過少，網(wǎng)絡(luò)從樣本中獲取信息的能力差，不足以概括和體現(xiàn)樣本 的規(guī)律。依據(jù)參考文獻(xiàn)6，一層隱層已夠用。 輸出層為單節(jié)點(diǎn)輸出，輸出噸數(shù)從 0 噸11 噸，取整噸數(shù)，現(xiàn)在將輸出同時(shí)縮小 10 倍，則對(duì)應(yīng)輸出依次為 0 噸，0.1 噸，0.2 噸，0.3 噸，0.4 噸，0.5 噸，0.6 噸，0.7 噸，0.8 噸，0.9

58、噸，1.0 噸，1.1 噸。 4、學(xué)習(xí)率 在梯度下降算法中，學(xué)習(xí)率是網(wǎng)絡(luò)可變的，應(yīng)用實(shí)例表明：可取 10-3-10 之間的 任意數(shù)46。一般情況下，當(dāng)訓(xùn)練到誤差曲面的平坦區(qū)域時(shí)，應(yīng)增大，加快其收斂速度； 當(dāng)訓(xùn)練到誤差曲面的劇烈變化區(qū)域時(shí)，為防止誤差增加，應(yīng)減小。 5、三角形隸屬度函數(shù)模糊神經(jīng)網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)的確定 三角形型隸屬度函數(shù)模糊神經(jīng)網(wǎng)絡(luò)模型分為 4 層，分別為輸入層、模糊化層、隱含層 和輸出層。輸入層節(jié)點(diǎn)數(shù)為 12，對(duì)應(yīng)稱重時(shí)的 12 個(gè)特征數(shù)據(jù)，輸出層節(jié)點(diǎn)數(shù)為 1，對(duì)應(yīng) 稱重的輸出。根據(jù)確定隱含節(jié)點(diǎn)數(shù)的經(jīng)驗(yàn)公式（其中為隱層節(jié)點(diǎn)數(shù)， 1 nnma 1 n 為輸出層節(jié)點(diǎn)數(shù)，為輸入層節(jié)點(diǎn)數(shù)，

59、為1,10之間的常數(shù)） ，確定。大致范圍為mna 1 n 1 n 817（） 。對(duì)同一樣本，采用逐漸增加節(jié)點(diǎn)數(shù)的方法，對(duì)這 1052 1(110)8 17 個(gè)數(shù)進(jìn)行數(shù)值實(shí)驗(yàn)，以測(cè)試集誤差最小作終止網(wǎng)絡(luò)訓(xùn)練和確定最佳隱節(jié)點(diǎn)數(shù)的準(zhǔn)則。輸入 層采用線性激活函數(shù)，隱含層和輸出層的激活函數(shù)為對(duì)數(shù)性 Sigmoidal 函數(shù)。 表 5-3-1 三角形隸屬度函數(shù)模糊神經(jīng)網(wǎng)絡(luò)測(cè)試誤差 隱層節(jié)點(diǎn)數(shù)101112131415 網(wǎng)絡(luò)誤差0.915 7 0.727 1 0.139 8 0.210 5 0.285 0 0.224 5 由表 5-3-1 可以看出，隱含層節(jié)點(diǎn)數(shù)為 12 時(shí)，網(wǎng)絡(luò)測(cè)試誤差最小，網(wǎng)絡(luò)的性能最好。

60、 此時(shí)三角形型隸屬度函數(shù)模糊神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的收斂圖如下： 圖 5-3-1.2 三角形型模糊神經(jīng)網(wǎng)絡(luò)梯度下降收斂圖 三角形型隸屬度函數(shù)模糊神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)定 表 5-3-1.2 三角形型隸屬度函數(shù)模糊神經(jīng)網(wǎng)絡(luò)的基本參數(shù) 輸 入層 節(jié)點(diǎn) 數(shù) 模 糊化 層節(jié) 點(diǎn)數(shù) 隱 層節(jié) 點(diǎn)數(shù) 輸 出層 節(jié)點(diǎn) 數(shù) 學(xué) 習(xí)率 (步長(zhǎng)） 沖 量 參 數(shù) 誤 差 容 量 學(xué) 習(xí)樣 本數(shù) （訓(xùn) 練樣 本集） 迭 代 次 數(shù) 1 2 3 6 1 2 10. 01 0. 8 0.0 001 6200 0 第六章 實(shí)驗(yàn)結(jié)果的討論 6.1 三角形隸屬度函數(shù)稱重結(jié)果 表 6-1 三角形型隸屬度函數(shù)模糊神經(jīng)網(wǎng)絡(luò)的稱重結(jié)果 編號(hào)期望輸出