人工神經(jīng)網(wǎng)絡(luò)技術(shù)

1、人工神經(jīng)網(wǎng)絡(luò)技術(shù)第1頁，共25頁，2022年，5月20日，11點5分，星期日內(nèi)容神經(jīng)網(wǎng)絡(luò)工具箱BP網(wǎng)絡(luò)與BP學習算法神經(jīng)網(wǎng)絡(luò)的學習人工神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)基本數(shù)學模型第2頁，共25頁，2022年，5月20日，11點5分，星期日人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network, ANN），也稱為神經(jīng)網(wǎng)絡(luò)（Neural Network, NN），是由大量處理單元廣泛互聯(lián)而成的網(wǎng)絡(luò)，是對人腦的抽象、簡化和模擬，反映人腦的基本特征。人工神經(jīng)網(wǎng)絡(luò)的研究是從人腦的生理結(jié)構(gòu)出發(fā)來研究人的智能行為，模擬人腦信息處理的功能。它是植根于神經(jīng)系統(tǒng)、數(shù)學、統(tǒng)計學、物理學、計算機科學及工

2、程等學科的一種技術(shù)。第3頁，共25頁，2022年，5月20日，11點5分，星期日人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)是一種模擬人神經(jīng)網(wǎng)絡(luò)行為特征，進行分布式并行信息處理的算法數(shù)學模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達到處理信息的目的。人工神經(jīng)網(wǎng)絡(luò)具有自學習和自適應的能力，可以通過預先提供的一批相互對應的輸入和輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結(jié)果。第4頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)基本數(shù)學模型經(jīng)過對生物神經(jīng)元的長期廣泛研究，1943年美國心理學家麥卡洛克（W.McCulloch）和

3、數(shù)理學家皮茨（W.Pitts）根據(jù)生物神經(jīng)元生物電和生物化學的運行機理提出神經(jīng)元的數(shù)學模型，即著名的MP模型。一個典型的人工神經(jīng)元MP模型如圖所示。. . . . .第5頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)基本數(shù)學模型對于網(wǎng)絡(luò)中的第i個神經(jīng)元，接受多個其他神經(jīng)元的輸入信號 ，各連接強度以實系數(shù) 表示，即第j個神經(jīng)元對第i個神經(jīng)元作用的權(quán)值。利用某種運算把輸入信號的作用結(jié)合起來，給出他們的總效果，稱為凈輸入，以 表示，凈輸入的表達式有多種類型，最簡單的一種形式是線性加權(quán)求和，即：MP模型的數(shù)學表達式為：式中， 為閥值， 是激勵函數(shù)。. . . . .第6頁，共25頁，

4、2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)基本數(shù)學模型激勵函數(shù) 可取不同的函數(shù)，它可以是線性的，也可以是非線性的。常用的基本激勵函數(shù)有以下三種； 閥值函數(shù) 分段線性函數(shù) 該函數(shù)通常稱為階躍函數(shù)。此外，符號函數(shù)Sgn（t）也常常作為神經(jīng)元的激勵函數(shù)。第7頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)基本數(shù)學模型 S型函數(shù) S型函數(shù)即Sigmoid函數(shù)。它是人工神經(jīng)網(wǎng)絡(luò)中最常用的激勵函數(shù)。S型函數(shù)定義如下： 其中 為S型函數(shù)的斜率參數(shù)，通過改變參數(shù) ，可以得到不同斜率下的S型函數(shù)。第8頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)的學習學習功能是神經(jīng)網(wǎng)絡(luò)

5、最主要的特征之一，神經(jīng)網(wǎng)絡(luò)的學習也稱為訓練，指的是通過神經(jīng)網(wǎng)絡(luò)所在環(huán)境的刺激作用調(diào)整神經(jīng)網(wǎng)絡(luò)的自由參數(shù)，使神經(jīng)網(wǎng)絡(luò)以一種新的方式對外部環(huán)境做出反應的一個過程。能夠從環(huán)境中學習和在學習中提高自身性能是神經(jīng)網(wǎng)絡(luò)的最有意義的性質(zhì)。學習算法是指針對學習問題的明確規(guī)則集合。學習類型是由參數(shù)變化發(fā)生的形式?jīng)Q定的，不同的學習算法對神經(jīng)元權(quán)值調(diào)整的表達式有所不同。沒有一種獨特的學習算法用于設(shè)計所有的神經(jīng)網(wǎng)絡(luò)。選擇或設(shè)計學習算法時還需要考慮神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)即神經(jīng)網(wǎng)絡(luò)與外界環(huán)境相連的形式。第9頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)的學習神經(jīng)網(wǎng)絡(luò)的學習方式可分為兩類：有導師學習和無導師學習。

6、 有導師學習 有導師學習又稱為有監(jiān)督學習，在學習時需要給出導師信號或稱為期望輸出。神經(jīng)網(wǎng)絡(luò)對外部環(huán)境是未知的，但可以將導師看做對外部環(huán)境的了解，由輸入-輸出樣本集合來表示。導師信號或期望響應代表了神經(jīng)網(wǎng)絡(luò)執(zhí)行情況的最佳效果，即對于網(wǎng)絡(luò)輸入調(diào)整網(wǎng)絡(luò)參數(shù)，使得網(wǎng)絡(luò)輸出逼近導師信號或期望輸出。第10頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)的學習 無導師學習 無導師學習包括強化學習和無監(jiān)督學習。強化學習是模仿生物在“試探評價”的環(huán)境中獲得知識，改進行動方案以適應環(huán)境的特點，具有向環(huán)境學習已增長知識的能力。在無監(jiān)督學習中沒有外部導師或評價系統(tǒng)來統(tǒng)觀學習過程，而是提供一個關(guān)于網(wǎng)絡(luò)學

7、習表示方法質(zhì)量的測量尺度，根據(jù)該尺度將網(wǎng)絡(luò)的自由參數(shù)最優(yōu)化。一旦網(wǎng)絡(luò)與輸入數(shù)據(jù)的統(tǒng)計規(guī)律性達成一致，就能夠形成內(nèi)部表示方法來為輸入特征編碼，并由此自動得出新的類別。第11頁，共25頁，2022年，5月20日，11點5分，星期日BP網(wǎng)絡(luò)與BP學習算法BP網(wǎng)絡(luò)是一種前向多層網(wǎng)絡(luò)，是基于誤差反向傳播算法的有導師網(wǎng)絡(luò)。BP網(wǎng)絡(luò)通常有一個或多個隱層，隱層中的神經(jīng)元均采用S型激活函數(shù)，輸出層神經(jīng)元采用線性傳遞函數(shù)。x1o1輸出層隱藏層輸入層x2o2omxn第12頁，共25頁，2022年，5月20日，11點5分，星期日BP網(wǎng)絡(luò)與BP學習算法BP算法是一種有導師的學習算法，這種算法通常采用梯度下降法。BP算法

8、解決了多層前向網(wǎng)絡(luò)的學習問題，促進了神經(jīng)網(wǎng)絡(luò)的發(fā)展。如圖所示為多層前向網(wǎng)絡(luò)的一部分，其中有兩種信號，一是實線表示的工作信號，工作信號正向傳播；二是用虛線表示的誤差信號，誤差信號反向傳播。第13頁，共25頁，2022年，5月20日，11點5分，星期日BP網(wǎng)絡(luò)與BP學習算法BP學習過程可以描述如下：工作信號正向傳播：輸入信號從輸入層經(jīng)隱單元，傳向輸出層，在輸出端產(chǎn)生輸出信號，這是工作信號的正向傳播。在信號向前傳遞過程中網(wǎng)絡(luò)的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)入誤差信號反向傳播。誤差信號反向傳播，網(wǎng)絡(luò)的實際輸出與期望輸出之間差值即為誤差

9、信號，誤差信號由輸出端開始逐層反向傳播，這是誤差信號的反向傳播。在誤差信號反向傳播的過程中，網(wǎng)絡(luò)的權(quán)值由誤差反饋進行調(diào)節(jié)。通過權(quán)值的不斷修正使網(wǎng)絡(luò)的實際輸出更接近期望輸出。第14頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)工具箱是在MATLAB環(huán)境下所開發(fā)出來的眾多工具箱之一，它是以人工神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ)，用MATLAB語言構(gòu)造出典型神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，如S型、線性、競爭層、飽和線性等激活函數(shù)，使設(shè)計者對所選定網(wǎng)絡(luò)輸出的計算變成對激活函數(shù)的調(diào)用。另外，根據(jù)各種典型的網(wǎng)絡(luò)學習算法，加上網(wǎng)絡(luò)的訓練過程，用MATLAB編寫出各種網(wǎng)絡(luò)設(shè)計與訓練的子程序，網(wǎng)絡(luò)的設(shè)計者則

10、可以根據(jù)自己的需要去調(diào)用工具箱中有關(guān)神經(jīng)網(wǎng)絡(luò)的設(shè)計學習程序，使自己能夠從繁瑣的編程中解脫出來，集中精力去思考和解決所關(guān)注的問題。第15頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)工具箱在MATLAB的命令窗口鍵入“nntool”命令，即可進入下圖所示的圖形用戶窗口界面（GUI）。第16頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)工具箱示例 利用神經(jīng)網(wǎng)絡(luò)工具箱設(shè)計一個三層BP網(wǎng)絡(luò)，使其以較高的精度逼近余弦曲線?；具^程如下：定義神經(jīng)網(wǎng)絡(luò)的訓練樣本數(shù)據(jù)（輸入矢量和目標矢量） %訓練樣本集：200個-1,+1區(qū)間隨機數(shù) x=rands(1,200); %與x對

11、應的目標矢量，即與x對應的真實余弦值 y=cos(pi*x); %建立樣本數(shù)據(jù)文件 save data x y;第17頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)工具箱導入訓練樣本數(shù)據(jù) 在工作空間或文件中生成所需的數(shù)據(jù)，然后點擊Import按鈕將數(shù)據(jù)導入。第18頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)工具箱創(chuàng)建神經(jīng)網(wǎng)絡(luò) 在圖形窗口主界面中點擊“New Network”，進入創(chuàng)建神經(jīng)網(wǎng)絡(luò)界面。在該界面中進行對神經(jīng)網(wǎng)絡(luò)的名稱、類型、結(jié)構(gòu)和訓練函數(shù)等參數(shù)的設(shè)置。第19頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)工具箱網(wǎng)絡(luò)的初始化 在神經(jīng)

12、網(wǎng)絡(luò)創(chuàng)建完成之后，網(wǎng)絡(luò)的權(quán)值和閥值已自動進行了初始化。在網(wǎng)絡(luò)結(jié)構(gòu)顯示界面中，可直接點擊Weights標簽，對當前網(wǎng)絡(luò)進行權(quán)和閥值參數(shù)的顯示和編輯。第20頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)的訓練 在網(wǎng)絡(luò)結(jié)構(gòu)顯示界面中點擊Train標簽進入網(wǎng)絡(luò)訓練界面。第21頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)工具箱仿真（網(wǎng)絡(luò)的檢驗） 在網(wǎng)絡(luò)結(jié)構(gòu)顯示界面中點擊Simulate進入仿真界面。定義檢驗樣本數(shù)據(jù)t：t=-1:0.02:1;第22頁，共25頁，2022年，5月20日，11點5分，星期日神經(jīng)網(wǎng)絡(luò)工具箱訓練結(jié)果和數(shù)據(jù)導出 在圖形用戶窗口主界面點擊Export按鈕，彈出如圖所示結(jié)果導出界面。第23頁，共25頁，2