神經(jīng)網(wǎng)絡在分類與預測中的應用

1、1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.1.1 研究研究ANN目的目的 利用機器模仿人類的智能是長期以來人們認識自然、利用機器模仿人類的智能是長期以來人們認識自然、 改造自然和認識自身的理想。改造自然和認識自身的理想。 (1) 探索和模擬人的感覺、思維和行為的規(guī)律，設探索和模擬人的感覺、思維和行為的規(guī)律，設 計具有人類智能的計算機系統(tǒng)。計具有人類智能的計算機系統(tǒng)。 (2) 探討人腦的智能活動，用物化了的智能來考察探討人腦的智能活動，用物化了的智能來考察 和研究人腦智能的物質(zhì)過程及其規(guī)律。和研究人腦智能的物質(zhì)過程及其規(guī)律。 1.1 神

2、經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.1.1 研究研究ANN目的目的 1.1.2 研究研究ANN方法方法 (1) (1) 生生理結(jié)構(gòu)的模擬理結(jié)構(gòu)的模擬 用仿生學觀點，探索人腦的生理結(jié)構(gòu)，把對人腦用仿生學觀點，探索人腦的生理結(jié)構(gòu)，把對人腦 的微觀結(jié)構(gòu)及其智能行為的研究結(jié)合起來即人工神經(jīng)網(wǎng)的微觀結(jié)構(gòu)及其智能行為的研究結(jié)合起來即人工神經(jīng)網(wǎng) 絡（絡（Artificial Neural Netwroks，簡稱，簡稱ANN）方法。）方法。 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.1.1 研究

3、研究ANN目的目的 1.1.2 研究研究ANN方法方法 (1) (1) 生生理結(jié)構(gòu)的模擬理結(jié)構(gòu)的模擬 (2) (2) 宏觀功能的模擬宏觀功能的模擬 從人的思維活動和智能行為的心理學特性出發(fā)，利從人的思維活動和智能行為的心理學特性出發(fā)，利 用計算機系統(tǒng)來對人腦智能進行宏觀功能的模擬，即符用計算機系統(tǒng)來對人腦智能進行宏觀功能的模擬，即符 號處理方法。號處理方法。 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.1.1 研究研究ANN目的目的 1.1.2 研究研究ANN方法方法 1.1.3 ANN的研究內(nèi)容的研究內(nèi)容 (1) (1) 理理論研究論

4、研究 ANN模型及其學習算法，試圖從數(shù)學上描述模型及其學習算法，試圖從數(shù)學上描述ANN 的動力學過程，建立相應的的動力學過程，建立相應的ANN模型，在該模型的基礎模型，在該模型的基礎 上，對于給定的學習樣本，找出一種能以較快的速度和上，對于給定的學習樣本，找出一種能以較快的速度和 較高的精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)達到穩(wěn)定狀較高的精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)達到穩(wěn)定狀 態(tài)，滿足學習要求的算法。態(tài)，滿足學習要求的算法。 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.1.1 研究研究ANN目的目的 1.1.2 研究研究ANN方法方法

5、1.1.3 ANN的研究內(nèi)容的研究內(nèi)容 (1) (1) 理理論研究論研究 (2) (2) 實現(xiàn)技術的研究實現(xiàn)技術的研究 探討利用電子、光學、生物等技術實現(xiàn)神經(jīng)計算機探討利用電子、光學、生物等技術實現(xiàn)神經(jīng)計算機 的途徑。的途徑。 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.1.1 研究研究ANN目的目的 1.1.2 研究研究ANN方法方法 1.1.3 ANN的研究內(nèi)容的研究內(nèi)容 (1) (1) 理理論研究論研究 (2) (2) 實現(xiàn)技術的研究實現(xiàn)技術的研究 (3) (3) 應用的研究應用的研究 探討如何應用探討如何應用ANN解決實際問題，

6、如模式識別、故解決實際問題，如模式識別、故 障檢測、智能機器人等。障檢測、智能機器人等。 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.1.1 研究研究ANN目的目的 1.1.2 研究研究ANN方法方法 1.1.3 ANN的研究內(nèi)容的研究內(nèi)容 1.1.4 人工神經(jīng)網(wǎng)絡概述人工神經(jīng)網(wǎng)絡概述 人工神經(jīng)網(wǎng)絡是由具有適應性簡單的單元組成的廣人工神經(jīng)網(wǎng)絡是由具有適應性簡單的單元組成的廣 泛并行互連的網(wǎng)絡，它的組織能夠模擬生物神經(jīng)系統(tǒng)對泛并行互連的網(wǎng)絡，它的組織能夠模擬生物神經(jīng)系統(tǒng)對 真實物體所作出的交互作用。真實物體所作出的交互作用。 1.1 神經(jīng)

7、網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.1.1 研究研究ANN目的目的 1.1.2 研究研究ANN方法方法 1.1.3 ANN的研究內(nèi)容的研究內(nèi)容 1.1.4 人工神經(jīng)網(wǎng)絡概述人工神經(jīng)網(wǎng)絡概述 1.1.5 腦神經(jīng)信息活動的特征腦神經(jīng)信息活動的特征 (1) (1) 巨量并行性巨量并行性 (2) (2) 信息處理和存儲單元的有機結(jié)合信息處理和存儲單元的有機結(jié)合 (3) (3) 自組織自學習功能自組織自學習功能 1.1.6 ANN研究的目的和意義研究的目的和意義 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱

8、ANN) 1.1.1 研究研究ANN目的目的 1.1.2 研究研究ANN方法方法 1.1.3 ANN的研究內(nèi)容的研究內(nèi)容 1.1.4 人工神經(jīng)網(wǎng)絡概述人工神經(jīng)網(wǎng)絡概述 1.1.5 腦神經(jīng)信息活動的特征腦神經(jīng)信息活動的特征 (1) 通過揭示物理平面與認知平面之間的映射通過揭示物理平面與認知平面之間的映射,了解了解 它們相互聯(lián)系和相互作用的機理它們相互聯(lián)系和相互作用的機理,揭示思維的本質(zhì)，探揭示思維的本質(zhì)，探 索智能的本源。索智能的本源。 1.1.6 ANN研究的目的和意義研究的目的和意義 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.1.1

9、 研究研究ANN目的目的 1.1.2 研究研究ANN方法方法 1.1.3 ANN的研究內(nèi)容的研究內(nèi)容 1.1.4 人工神經(jīng)網(wǎng)絡概述人工神經(jīng)網(wǎng)絡概述 1.1.5 腦神經(jīng)信息活動的特征腦神經(jīng)信息活動的特征 (2) 爭取構(gòu)造出盡可能與人腦具有相似功能的計算爭取構(gòu)造出盡可能與人腦具有相似功能的計算 機，即機，即ANN計算機。計算機。 1.1.6 ANN研究的目的和意義研究的目的和意義 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.1.1 研究研究ANN目的目的 1.1.2 研究研究ANN方法方法 1.1.3 ANN的研究內(nèi)容的研究內(nèi)容 1.1.4

10、 人工神經(jīng)網(wǎng)絡概述人工神經(jīng)網(wǎng)絡概述 1.1.5 腦神經(jīng)信息活動的特征腦神經(jīng)信息活動的特征 (3) 研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡,將在模式將在模式 識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計算機所識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計算機所 難以達到的效果。難以達到的效果。 1.1.6 ANN研究的目的和意義研究的目的和意義 1.1.7 神經(jīng)網(wǎng)絡研究的發(fā)展神經(jīng)網(wǎng)絡研究的發(fā)展 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.1.1 研究研究ANN目的目的 1.1.2 研究研究ANN方法方法 1.1.3 ANN

11、的研究內(nèi)容的研究內(nèi)容 1.1.4 人工神經(jīng)網(wǎng)絡概述人工神經(jīng)網(wǎng)絡概述 1.1.5 腦神經(jīng)信息活動的特征腦神經(jīng)信息活動的特征 (1) 第一次熱潮第一次熱潮(40-60年代未年代未) 1943年，美國心理學家年，美國心理學家W.McCulloch和數(shù)學家和數(shù)學家W. Pitts在提出了一個簡單的神經(jīng)元模型在提出了一個簡單的神經(jīng)元模型,即即MP模型模型.1958 年，年，F(xiàn).Rosenblatt等研制出了感知機等研制出了感知機(Perceptron）。 1.1.6 ANN研究的目的和意義研究的目的和意義 1.1.7 神經(jīng)網(wǎng)絡研究的發(fā)展神經(jīng)網(wǎng)絡研究的發(fā)展 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial

12、Neural Netwroks,簡稱簡稱ANN) 1.1.1 研究研究ANN目的目的 1.1.2 研究研究ANN方法方法 1.1.3 ANN的研究內(nèi)容的研究內(nèi)容 1.1.4 人工神經(jīng)網(wǎng)絡概述人工神經(jīng)網(wǎng)絡概述 1.1.5 腦神經(jīng)信息活動的特征腦神經(jīng)信息活動的特征 (2) 低潮低潮(70-80年代初年代初) (3) 第二次熱潮第二次熱潮 1982年，美國物理學家年，美國物理學家J.J.Hopfield提出提出Hopfield 模型，它是一個互聯(lián)的非線性動力學網(wǎng)絡，模型，它是一個互聯(lián)的非線性動力學網(wǎng)絡， 他解決問他解決問 題的方法是一種反復運算的動態(tài)過程題的方法是一種反復運算的動態(tài)過程,這是符號邏輯

13、處這是符號邏輯處 理方法所不具備的性質(zhì)。理方法所不具備的性質(zhì)。1987年首屆國際年首屆國際ANN大會在大會在 圣地亞哥召開圣地亞哥召開,國際國際ANN聯(lián)合會成立，創(chuàng)辦了多種聯(lián)合會成立，創(chuàng)辦了多種ANN 國際刊物。國際刊物。 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.1.8 神經(jīng)網(wǎng)絡基本模型神經(jīng)網(wǎng)絡基本模型 細胞體 突 觸 軸突 樹 突 圖12.2 生物神經(jīng)元功能模型 輸 入 輸 出 信息處理 電脈沖 形成 傳輸 1.1.9 人工神經(jīng)網(wǎng)絡研究的局限性人工神經(jīng)網(wǎng)絡研究的局限性 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural

14、Netwroks,簡稱簡稱ANN) 1.1.8 神經(jīng)網(wǎng)絡基本模型神經(jīng)網(wǎng)絡基本模型 （1 1）ANN研究受到腦科學研究成果的限制研究受到腦科學研究成果的限制 （2 2）ANN缺少一個完整、成熟的理論體系缺少一個完整、成熟的理論體系 （3 3）ANN研究帶有濃厚的策略和經(jīng)驗色彩研究帶有濃厚的策略和經(jīng)驗色彩 （4 4）ANN與傳統(tǒng)技術的接口不成熟與傳統(tǒng)技術的接口不成熟 1.1.9 人工神經(jīng)網(wǎng)絡研究的局限性人工神經(jīng)網(wǎng)絡研究的局限性 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.1.8 神經(jīng)網(wǎng)絡基本模型神經(jīng)網(wǎng)絡基本模型 細胞體 突 觸 軸突 樹 突

15、 圖 12.2 生物神經(jīng)元功能模型 輸 入 輸 出 信息處理 電脈沖 形成 傳輸 黑箱 1.1.9 人工神經(jīng)網(wǎng)絡研究的局限性人工神經(jīng)網(wǎng)絡研究的局限性 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.1.8 神經(jīng)網(wǎng)絡基本模型神經(jīng)網(wǎng)絡基本模型 細胞體 突 觸 軸突 樹 突 圖 12.2 生物神經(jīng)元功能模型 輸 入 輸 出 信息處理 電脈沖 形成 傳輸 黑箱 一般而言一般而言, ANN與經(jīng)典計算方法相比并非優(yōu)越與經(jīng)典計算方法相比并非優(yōu)越, 只有只有 當常規(guī)方法解決不了或效果不佳時當常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出方法才能顯示出 其

16、優(yōu)越性其優(yōu)越性 . 尤其對問題的機理不甚了解或不能用數(shù)學模尤其對問題的機理不甚了解或不能用數(shù)學模 型表示的系統(tǒng)型表示的系統(tǒng),如故障診斷如故障診斷,特征提取和預測等問題特征提取和預測等問題,ANN 往往是最有利的工具往往是最有利的工具.另一方面另一方面, ANN對處理大量原始數(shù)對處理大量原始數(shù) 據(jù)而不能用規(guī)則或公式描述的問題據(jù)而不能用規(guī)則或公式描述的問題, 表現(xiàn)出極大的靈活表現(xiàn)出極大的靈活 性和自適應性。性和自適應性。 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.2 BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 人工神經(jīng)網(wǎng)絡以其具有自學習、自組織、較好的容人工神

17、經(jīng)網(wǎng)絡以其具有自學習、自組織、較好的容 錯性和優(yōu)良的非線性逼近能力，受到眾多領域?qū)W者的關錯性和優(yōu)良的非線性逼近能力，受到眾多領域?qū)W者的關 注。在實際應用中，注。在實際應用中，80%80%90%90%的人工神經(jīng)網(wǎng)絡模型是采的人工神經(jīng)網(wǎng)絡模型是采 用用誤差反傳算法或其變化形式的網(wǎng)絡模型誤差反傳算法或其變化形式的網(wǎng)絡模型( (簡稱簡稱BPBP網(wǎng)絡網(wǎng)絡),), 目前主要應用于函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮目前主要應用于函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮 或數(shù)據(jù)挖掘?；驍?shù)據(jù)挖掘。 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.2 BP神經(jīng)網(wǎng)絡神

18、經(jīng)網(wǎng)絡 Rumelhart，Mc Clelland于于1985年提出了年提出了BP網(wǎng)網(wǎng) 絡的誤差反向后傳絡的誤差反向后傳BP(Back Propagation)學習算法學習算法 J. Mc Clelland David Rumelhart 1.2.1 BP神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.2 BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 BPBP算法基本原理算法基本原理 利用輸出后的誤差來估計輸出利用輸出后的誤差來估計輸出 層的直接前導層的誤差，再用這個誤差估計更前一層的層的直接前導層的誤差，再用這個誤差估計更前一層的 誤差

19、，如此一層一層的反傳下去，就獲得了所有其他各誤差，如此一層一層的反傳下去，就獲得了所有其他各 層的誤差估計。層的誤差估計。 1.2.1 BP神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.2 BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 1.2.1 BP神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述 1.2.2 BP神經(jīng)網(wǎng)絡特點神經(jīng)網(wǎng)絡特點 神經(jīng)網(wǎng)絡能以任意精度逼神經(jīng)網(wǎng)絡能以任意精度逼 近任何非線性連續(xù)函數(shù)。近任何非線性連續(xù)函數(shù)。 在建模過程中的許多問題在建模過程中的許多問題 正是具有高度的非線性。正是具有高度的非線性。 (1)(1)非非線性映射能力線性映射能

20、力 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.2 BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 1.2.1 BP神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述 1.2.2 BP神經(jīng)網(wǎng)絡特點神經(jīng)網(wǎng)絡特點 在神經(jīng)網(wǎng)絡中信息是分布在神經(jīng)網(wǎng)絡中信息是分布 儲存和并行處理的，這使儲存和并行處理的，這使 它具有很強的容錯性和很它具有很強的容錯性和很 快的處理速度?？斓奶幚硭俣?。 (2)(2)并行分布處理方式并行分布處理方式 (1)(1)非非線性映射能力線性映射能力 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.2 BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡

21、1.2.1 BP神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述 1.2.2 BP神經(jīng)網(wǎng)絡特點神經(jīng)網(wǎng)絡特點 神經(jīng)網(wǎng)絡在訓練時，能從神經(jīng)網(wǎng)絡在訓練時，能從 輸入、輸出的數(shù)據(jù)中提取輸入、輸出的數(shù)據(jù)中提取 出規(guī)律性的知識，記憶于出規(guī)律性的知識，記憶于 網(wǎng)絡的權(quán)值中，并具有泛網(wǎng)絡的權(quán)值中，并具有泛 化能力，即將這組權(quán)值應化能力，即將這組權(quán)值應 用于一般情形的能力。神用于一般情形的能力。神 經(jīng)網(wǎng)絡的學習也可以在線經(jīng)網(wǎng)絡的學習也可以在線 進行。進行。 (2)(2)并行分布處理方式并行分布處理方式 (3)(3)自學習和自適應能力自學習和自適應能力 (1)(1)非非線性映射能力線性映射能力 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artifici

22、al Neural Netwroks,簡稱簡稱ANN) 1.2 BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 1.2.1 BP神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述 1.2.2 BP神經(jīng)網(wǎng)絡特點神經(jīng)網(wǎng)絡特點 神經(jīng)網(wǎng)絡可以同時處理定神經(jīng)網(wǎng)絡可以同時處理定 量信息和定性信息，因此量信息和定性信息，因此 它可以利用傳統(tǒng)的工程技它可以利用傳統(tǒng)的工程技 術（數(shù)值運算）和人工智術（數(shù)值運算）和人工智 能技術（符號處理）能技術（符號處理） (2)(2)并行分布處理方式并行分布處理方式 (3)(3)自學習和自適應能力自學習和自適應能力 (4)(4)數(shù)據(jù)融合的能力數(shù)據(jù)融合的能力 (1)(1)非非線性映射能力線性映射能力 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(A

23、rtificial Neural Netwroks,簡稱簡稱ANN) 1.2 BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 1.2.1 BP神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述 1.2.2 BP神經(jīng)網(wǎng)絡特點神經(jīng)網(wǎng)絡特點 (2)(2)并行分布處理方式并行分布處理方式 (3)(3)自學習和自適應能力自學習和自適應能力 神經(jīng)網(wǎng)絡的輸入和輸出變神經(jīng)網(wǎng)絡的輸入和輸出變 量的數(shù)目是任意的，對單量的數(shù)目是任意的，對單 變量系統(tǒng)與多變量系統(tǒng)提變量系統(tǒng)與多變量系統(tǒng)提 供了一種通用的描述方式供了一種通用的描述方式, 不必考慮各子系統(tǒng)間的解不必考慮各子系統(tǒng)間的解 耦問題。耦問題。 (4)(4)數(shù)據(jù)融合的能力數(shù)據(jù)融合的能力 (5)(5)多變量系統(tǒng)多變量

24、系統(tǒng) (1)(1)非非線性映射能力線性映射能力 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.2 BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 1.2.1 BP神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述 1.2.2 BP神經(jīng)網(wǎng)絡特點神經(jīng)網(wǎng)絡特點 1.2.3 BP神經(jīng)網(wǎng)絡模型神經(jīng)網(wǎng)絡模型 1 x 2 x 1 N x 1 y 2 y 2 N y 1 z 2 z 3 N z 1 2 3 N 1 T 2 T ih w hj w - - - - - 隱含層輸出層輸入層 3 N T 1.2.3 BP神經(jīng)網(wǎng)絡模型神經(jīng)網(wǎng)絡模型 -2-112 -1 -0.5 0.5 1 2 2 1 ( ) 1 x

25、 x e f x e Sigmoid函數(shù)函數(shù) -2-112 0.2 0.4 0.6 0.8 2 1 ( ) 1 x f x e 對數(shù)對數(shù)Sigmoid函數(shù)函數(shù) 1.2.3 BP神經(jīng)網(wǎng)絡模型神經(jīng)網(wǎng)絡模型 1.2.3 BP神經(jīng)網(wǎng)絡模型神經(jīng)網(wǎng)絡模型 k x 1 x n x 2 x ()yf net y輸輸出出端端 net 傳輸函數(shù)傳輸函數(shù)( )f 輸輸入入端端 k w 1 w n w 2 w 1122 . nn netx wx wx wb 1 () 1 net yf net e 1.2.3 BP神經(jīng)網(wǎng)絡模型神經(jīng)網(wǎng)絡模型 -2 11 ()(1) 1(1) netnet fnetyy ee 1122 .

26、 nn netx wx wx wb 1 () 1 net yf net e 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.2 BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 1.2.1 BP神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述 1.2.2 BP神經(jīng)網(wǎng)絡特點神經(jīng)網(wǎng)絡特點 1.2.3 BP神經(jīng)網(wǎng)絡模型神經(jīng)網(wǎng)絡模型 1.2.4 BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡的標準學習算法的標準學習算法 1.2.4 1.2.4 將誤差分攤給各層的所將誤差分攤給各層的所 有單元有單元-各層單元的各層單元的 誤差信號誤差信號 修正各單元權(quán)值修正各單元權(quán)值 1.2.4 1.2.4 12 , n xxxx 12 ,

27、p hihihihi 12 , p ho hohoho 12 , q yiyiyiyi 12 , q yoyoyoyo 1.2.4 2 1 1 ( )( ) 2 q oo o edkyo k ih w ( )f ho w h b 1,2,km o b 12 , q ddd o d 12 ( )( ),( ),( ) n kx kx kx kx 12 ( )( ),( ),( ) q kd kdkdk o d 1.2.4 1 ( )( )1,2, n hihih i hikw x kbhp ( )( )1,2, hh ho kf hi khp 1 ( )( )1,2, p ohoho h yi

28、kw ho kboq ( )( )1,2, oo yo kf yi koq 1.2.4 o hooho eeyi wyiw ( ) ( ) ( ) p hoho oh h hoho w ho kb yi k ho k ww 2 1 1 ( ( )( ) 2 ( ( )( )( ) ( ( )( ) ( )( ) q oo o ooo oo oooo d kyo k e d kyo k yo k yiyi d kyo k f yi kk 1.2.4 ( ) o k ( )( ) o oh hooho eeyi k ho k wyiw 1 ( ) ( ) ( ) ( ) ( ) h ihhih n

29、 ihih hi i ihih eehi k whi kw w x kb hi k x k ww ( ) h k ( ) o k 1.2.4 2 1 2 1 2 11 1 ( )( ) ) ( )2 ( )( )( ) 1 ( )( ) ) ( )2 ( )( ) 1 ( )( ) ) ( )2 ( )( ) q oo oh hhh q oo oh hh qp ohoho ohh hh dkyo k ho ke hi kho khi k dkf yi k ho k ho khi k dkfw ho kb ho k ho khi k 1 1 ( ) ( )( )( ) ( ) ( )( )( )

30、 q h oooho o h q ohohh o ho k dkyo kfyi k w hi k k wfhi kk 1.2.4 1 ( )( )( ) ( )( ) hooh ho NN hohooh e wkk ho k w wwk ho k ( ) o k ( ) ho wk 1.2.4 ( ) h k 1 ( ) ( )( ) ( ) ( ) ( ) ( ) h ihhi ihhih NN ihihhi eehi k w kk x k whi kw wwk x k 1.2.4 2 11 1 ( )( ) 2 qm oo ko Edky k m 1.2.4 who ho e w e 0，

31、此時，此時who0 1.2.4 ho e w e 0 who 1.2.4 一、一、 BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 1.1 神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡(Artificial Neural Netwroks,簡稱簡稱ANN) 1.2 BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 1.2.1 BP神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述 1.2.2 BP神經(jīng)網(wǎng)絡特點神經(jīng)網(wǎng)絡特點 1.2.3 BP神經(jīng)網(wǎng)絡模型神經(jīng)網(wǎng)絡模型 1.2.4 BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡的標準學習算法的標準學習算法 1.2.5 BP神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡的學習算法的的學習算法的MATLAB實現(xiàn)實現(xiàn) 1.2.4 1.2.4 1.2.4 net.trainParam.epochs：最大訓練步數(shù)。不過當

32、誤差準則滿：最大訓練步數(shù)。不過當誤差準則滿 足時，即使沒達到此步數(shù)也停止訓練。缺省為足時，即使沒達到此步數(shù)也停止訓練。缺省為100。 net.trainParam.goad：網(wǎng)絡誤差準則，當誤差小于此準則時：網(wǎng)絡誤差準則，當誤差小于此準則時 停止訓練，缺省為停止訓練，缺省為0。 net.trainFcn：訓練算法。缺省為訓練算法。缺省為 trainlm，即，即Levenberg- Marquardt算法。還可使用算法。還可使用traingdx，即帶動量的梯度下，即帶動量的梯度下 降算法；降算法；traincgf，即共軛梯度法。，即共軛梯度法。 其它可看其它可看matlab幫助幫助:help-c

33、ontents- Neural Network Toobox- Network Object Reference; help(net.trainFcn) 1.2.4 1.2.4 1.2.4 1.2.4 1.2.4 徽章問題是一個典型的分類問題。我們可以用一徽章問題是一個典型的分類問題。我們可以用一 個具體的例子描述：在某個國際會議上，參加會議的個具體的例子描述：在某個國際會議上，參加會議的 280名代表每人收到會議組織者發(fā)給一枚徽章，徽章名代表每人收到會議組織者發(fā)給一枚徽章，徽章 的標記為的標記為“”或或“”。會議的組織者聲明：每位。會議的組織者聲明：每位 代表得到徽章代表得到徽章“”或或“”

34、的標記只與他們的姓名的標記只與他們的姓名 有關，并希望代表們能夠找出徽章有關，并希望代表們能夠找出徽章“”與與“”的的 分類方法。由于客觀原因，有分類方法。由于客觀原因，有14名代表沒能參加此次名代表沒能參加此次 會議。按照代表們找出的方法判斷，如果他們參加會會議。按照代表們找出的方法判斷，如果他們參加會 議將得到的徽章類型。議將得到的徽章類型。 14名未參加會議的代表名未參加會議的代表 14名未參加會議的代表名未參加會議的代表 Y 初始化初始化 給定導師信號給定導師信號 計算個節(jié)點網(wǎng)絡輸出計算個節(jié)點網(wǎng)絡輸出 計算反向誤差計算反向誤差 權(quán)值學習權(quán)值學習 學習結(jié)束？學習結(jié)束？ 對測試樣本分類對測

35、試樣本分類 結(jié)束結(jié)束 N 模型一模型一 我們先做第一種嘗試，將人名的前五個字母進行我們先做第一種嘗試，將人名的前五個字母進行 編號，編號，a z 分別對應分別對應 0 25，即每個人名的特征值是，即每個人名的特征值是 一個長度為一個長度為5的一維列向量的一維列向量,總共總共280個人名就是個個人名就是個5*280 的矩陣的矩陣p，作為網(wǎng)絡輸入。將題目中的徽章問題量化，作為網(wǎng)絡輸入。將題目中的徽章問題量化， 假設徽章為則為假設徽章為則為1, 徽章為則為徽章為則為0, 就形成一個就形成一個1*280 的矩陣的矩陣t，作為目標輸出。，作為目標輸出。 將這些特征值作為訓練樣本將這些特征值作為訓練樣本,

36、 通過通過Matlab的工具箱的工具箱 對對BP分類算法進行訓練，并確定權(quán)值，具體程序，注分類算法進行訓練，并確定權(quán)值，具體程序，注 釋及結(jié)果如下：釋及結(jié)果如下： 模型一模型一 net=newff(0 25;0 25;0 25;0 25;0 25,100,1,logsig,purelin,trainlm); /創(chuàng) 建一個神經(jīng)網(wǎng)絡，每個字母所對應的量化值的輸入范圍025，神經(jīng)網(wǎng)絡有2 層，第一層有100個神經(jīng)元，第二層1個，傳遞函數(shù)分別是S型和線性，訓練 方式trainlm。 net=init(net); /初始化神經(jīng)網(wǎng)絡 net.trainParam.min_grad= 1e-020; /設定

37、最小梯度值，提高訓練效果 net=train(net,p,t); TRAINLM, Epoch 0/100, MSE 4.78695/0, Gradient 4628.35/1e-020 TRAINLM, Epoch 25/100, MSE 0.000969475/0, Gradient 4.93588/1e-020 TRAINLM, Epoch 50/100, MSE 6.16266e-005/0, Gradient 4.48141/1e-020 TRAINLM, Epoch 72/100, MSE 4.00219e-031/0, Gradient 1.53435e-013/1e-020 T

38、RAINLM, Maximum MU reached, performance goal was not met. 模型一模型一 訓練次數(shù)與訓練精度的關系圖訓練次數(shù)與訓練精度的關系圖 將用于訓練的輸入數(shù)據(jù)將用于訓練的輸入數(shù)據(jù)p代入訓練后的神經(jīng)網(wǎng)絡，代入訓練后的神經(jīng)網(wǎng)絡， 輸出結(jié)果為輸出結(jié)果為a矩陣矩陣 模型一模型一 a=sim(net,p) a = Columns 1 through 9 1.0000 0.0000 1.0000 1.0000 0.0000 1.0000 -0.0000 1.0000 1.0000 Columns 10 through 18 1.0000 1.0000 1.00

39、00 1.0000 1.0000 -0.0000 1.0000 -0.0000 1.0000（后面數(shù)據(jù)略）（后面數(shù)據(jù)略） 將它和用于訓練的目標輸出矩將它和用于訓練的目標輸出矩 陣陣t對比可以看出，吻合得很好對比可以看出，吻合得很好 模型一模型一 a=sim(net,n) a = Columns 1 through 8 1.3889 0.8504 1.0000 0.9551 -0.0006 -0.0515 1.0000 -0.7714 Columns 9 through 14 1.0776 0.9977 2.0655 0.4673 0.4794 1.0000 將將14個待分類的人名的前五個字母編

40、碼輸入神經(jīng)網(wǎng)個待分類的人名的前五個字母編碼輸入神經(jīng)網(wǎng) 絡，得到的結(jié)果如下：絡，得到的結(jié)果如下： 可以看到可以看到,這個結(jié)果不是很好這個結(jié)果不是很好, 由很多介于由很多介于0和和1之間之間 的數(shù)字的數(shù)字,從這里的分析可以看出從這里的分析可以看出,選取字母的編碼作為特選取字母的編碼作為特 征值是合理的，但需要對特征值的選取方案進行細化。征值是合理的，但需要對特征值的選取方案進行細化。 模型二模型二 對所給出的對所給出的280個人名取特征值個人名取特征值,我們將人名的第一我們將人名的第一 個字母的進行編號，個字母的進行編號，a z分別對應分別對應 0 25，并將這些特，并將這些特 征值帶入到征值帶入

41、到BP網(wǎng)絡中去進行訓練，具體程序如下：網(wǎng)絡中去進行訓練，具體程序如下： 模型二模型二 從訓練情況可以看出，在誤差值比較大的時候訓練就從訓練情況可以看出，在誤差值比較大的時候訓練就 停止了，將輸入停止了，將輸入p帶入訓練后的矩陣，發(fā)現(xiàn)輸出結(jié)果與帶入訓練后的矩陣，發(fā)現(xiàn)輸出結(jié)果與t很很 不一致，說明這里找不到分類的規(guī)律。不一致，說明這里找不到分類的規(guī)律。 模型三模型三 對所給出的對所給出的280個人名取特征值個人名取特征值,我們將人名的第二我們將人名的第二 個字母的進行編號，個字母的進行編號，a z分別對應分別對應 0 25，并將這些特，并將這些特 征值帶入到征值帶入到BP網(wǎng)絡中去進行訓練，具體程序

42、如下：網(wǎng)絡中去進行訓練，具體程序如下： 模型三模型三 訓練后的BP神經(jīng)網(wǎng)絡,輸入?yún)⒓佑柧毜臄?shù)據(jù)p,驗證數(shù)據(jù)，可 以看出，和所給人名所對應的徽章滿足的很好，所得到的 數(shù)據(jù)如下： 模型三模型三 a = Columns 1 through 8 0.9877 0.0000 0.9877 0.9877 -0.0000 0.9877 0.0000 1.0000 Columns 9 through 16 0.9877 0.9877 0.9877 1.0000 1.0000 1.0000 -0.0000 1.0000 訓練次 數(shù)和訓 練精度 的關系 收斂的速度相 當之快 模型三模型三 對于待分類的人名，先將其

43、做同樣的量化，如下： n=4 4 8 8 4 14 0 19 0 0 0 8 4 14 ; a=sim(net,n) 用已訓練完的BP神經(jīng)網(wǎng)絡對其進行分類，得到的結(jié)果如下： a = Columns 1 through 8 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.9877 0.0000 Columns 9 through 14 0.9877 0.9877 0.9877 1.0000 1.0000 1.0000 可以看出，也是呈0-1的分布，和分類的要求比較接近。 分類方法的確定分類方法的確定 通過模型一通過模型一,模型二和模型三的比較，我們可以看出

44、模型二和模型三的比較，我們可以看出 模型三的特征值的取法所得的模型三的特征值的取法所得的BP算法對于所給的算法對于所給的 280 個個 數(shù)據(jù)的正確率為數(shù)據(jù)的正確率為100, 并且對于并且對于14 個待分類的人名計算個待分類的人名計算 得到的特征值從數(shù)據(jù)本身看來非得到的特征值從數(shù)據(jù)本身看來非0即即1,可見模型三所對應可見模型三所對應 的分類方法有可能是可行的，即我們可以通過對名字的的分類方法有可能是可行的，即我們可以通過對名字的 第二個字母的某種標準進行分類。第二個字母的某種標準進行分類。 我們通過對第二個字母的多種分類方法進行嘗試我們通過對第二個字母的多種分類方法進行嘗試,得得 到通過第二個字

45、母的元輔音進行分類到通過第二個字母的元輔音進行分類,即第二個字母是元即第二個字母是元 音為音為,為輔音為為輔音為,并對并對280個所給人名進行分類個所給人名進行分類,結(jié)果與結(jié)果與 所給分類方式一致，可見這就是我們要找的分類方法。所給分類方式一致，可見這就是我們要找的分類方法。 分類方法的確定分類方法的確定 用這種分類方法對用這種分類方法對14個待分類人名進行分類得到的個待分類人名進行分類得到的 結(jié)果如下：結(jié)果如下： 1 1 1 1 1 1 1 0 1 1 1 1 1 1 將這個分類結(jié)果與上面我們通過將這個分類結(jié)果與上面我們通過Matlab用用BP算法得算法得 出的分類結(jié)果一致出的分類結(jié)果一致,

46、 這再一次證明我們所找到的分類方法這再一次證明我們所找到的分類方法 就是最好的分類方法。就是最好的分類方法。 光催化臭氧氧化處理自來水光催化臭氧氧化處理自來水 光催化臭氧氧化處理自來水光催化臭氧氧化處理自來水 光催化臭氧氧化處理自來水光催化臭氧氧化處理自來水 檢驗樣本檢驗樣本 光催化臭氧氧化處理自來水光催化臭氧氧化處理自來水 網(wǎng)絡分為網(wǎng)絡分為4層。各層節(jié)點數(shù)分別為：輸入層。各層節(jié)點數(shù)分別為：輸入 層層2個；第一隱層個；第一隱層12個；第二隱層個；第二隱層6個；輸出層個；輸出層1個。個。 BP網(wǎng)絡模型網(wǎng)絡模型 輸入層輸入層 輸出層輸出層 隱層隱層1 臭氧濃度臭氧濃度 入口入口UV254 UV25

47、4去除率去除率 隱層隱層2 光催化臭氧氧化處理自來水光催化臭氧氧化處理自來水 min maxmin xx x xx 進水進水 UV254值值 臭 氧 濃 度 ，臭 氧 濃 度 ， mg/L UV254去除率，去除率， BP網(wǎng)絡訓練誤差曲線和網(wǎng)絡模型網(wǎng)絡訓練誤差曲線和網(wǎng)絡模型 實驗號實驗號 臭氧臭氧 (mg/L)(mg/L) UVUV254 254去除率 去除率(%)(%) 相對誤差相對誤差 （%） 實測值實測值網(wǎng)絡預測值網(wǎng)絡預測值 1 11.421.4258.158.157.357.3-1.47-1.47 2 22.512.5178.878.877.777.7-1.47-1.47 3 33.213.2189.689.690.590.50.960.96 4 4 4.294.2996.596.597.997.91.451.45 5 55.245.2497.897.897.997.90.140.14 模型預測結(jié)果與實測值比較模型預測結(jié)果與實測值比較 O