人工神經(jīng)網(wǎng)絡第1-3章課件

1、人工神經(jīng)網(wǎng)絡 Artificial Neural Networks電氣工程學院 張健10/11/20221第1章 引言1.1 人工神經(jīng)網(wǎng)絡的提出1.2 人工神經(jīng)網(wǎng)絡的特點1.3 歷史回顧10/11/20222第1章 引言人類對人工智能的研究可以分成兩種方式對應著兩種不同的技術：傳統(tǒng)的人工智能技術心理的角度模擬基于人工神經(jīng)網(wǎng)絡的技術生理的角度模擬10/11/202231.1 人工神經(jīng)網(wǎng)絡的提出 人工神經(jīng)網(wǎng)絡（Artificial Neural Networks，簡記作ANN），是對人類大腦系統(tǒng)的一階特性的一種描述。簡單地講，它是一個數(shù)學模型，可以用電子線路來實現(xiàn)，也可以用計算機程序來模擬，是人工

2、智能研究的一種方法。 10/11/202241.1 人工神經(jīng)網(wǎng)絡的提出1.1.1 智能與人工智能 一、 智能的含義智能是個體有目的的行為，合理的思維，以及有效的、適應環(huán)境的綜合能力。 智能是個體認識客觀事物和運用知識解決問題的能力。 人類個體的智能是一種綜合能力。10/11/202251.1 人工神經(jīng)網(wǎng)絡的提出聯(lián)想、推理、判斷、決策語言的能力這是智能的高級形式的又一方面。預測和認識“主動”和“被動”之分。聯(lián)想、推理、判斷、決策的能力是“主動”的基礎。運用進行抽象、概括的能力上述這5種能力，被認為是人類智能最為基本的能力 10/11/202271.1 人工神經(jīng)網(wǎng)絡的提出作為5種能力綜合表現(xiàn)形式的

3、3種能力發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力 實時、迅速、合理地應付復雜環(huán)境的能力 預測、洞察事物發(fā)展、變化的能力 10/11/202281.1 人工神經(jīng)網(wǎng)絡的提出1.1.2 物理符號系統(tǒng) 人腦的反映 形式化現(xiàn)實 信息 數(shù)據(jù) 物理系統(tǒng) 物理符號系統(tǒng) 表現(xiàn)智能10/11/2022101.1 人工神經(jīng)網(wǎng)絡的提出Newell和Simon假說 ：一個物理系統(tǒng)表現(xiàn)智能行為的充要條件是它有一個物理符號系統(tǒng)概念：物理符號系統(tǒng)需要有一組稱為符號的實體組成，它們都是物理模型，可以在另一類稱為符號結構的實體中作為成分出現(xiàn)，以構成更高級別的系統(tǒng) 10/11/2022111.1 人工神經(jīng)網(wǎng)絡的提出困難：抽象舍棄一些特性，同時

4、保留一些特性形式化處理用物理符號及相應規(guī)則表達物理系統(tǒng)的存在和運行。局限：對全局性判斷、模糊信息處理、多粒度的視覺信息處理等是非常困難的。10/11/2022121.1 人工神經(jīng)網(wǎng)絡的提出1.1.4 兩種模型的比較心理過程 邏輯思維 高級形式（思維的表象）生理過程 形象思維 低級形式（思維的根本） 仿生人工神經(jīng)網(wǎng)絡聯(lián)結主義觀點物理符號系統(tǒng)10/11/2022141.1 人工神經(jīng)網(wǎng)絡的提出物理符號系統(tǒng)和人工神經(jīng)網(wǎng)絡系統(tǒng)的差別 項目物理符號系統(tǒng)人工神經(jīng)網(wǎng)絡處理方式邏輯運算模擬運算執(zhí)行方式串行并行動作離散連續(xù)存儲局部集中全局分布10/11/2022151.2 人工神經(jīng)網(wǎng)絡的特點信息的分布表示運算的全

5、局并行和局部操作處理的非線性 10/11/2022171.2.1 人工神經(jīng)網(wǎng)絡的概念1、定義 1）HechtNielsen（1988年）人工神經(jīng)網(wǎng)絡是一個并行、分布處理結構，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元（PEProcessing Element）具有局部內(nèi)存，并可以完成局部操作。每個處理單元有一個單一的輸出聯(lián)接，這個輸出可以根據(jù)需要被分枝成希望個數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號，即相應處理單元的信號，信號的大小不因分支的多少而變化。10/11/2022181.2.1 人工神經(jīng)網(wǎng)絡的概念（1）HechtNielsen（1988年）（續(xù)）處理單元的輸

6、出信號可以是任何需要的數(shù)學模型，每個處理單元中進行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達處理單元的所有輸入信號的當前值和存儲在處理單元局部內(nèi)存中的值。10/11/2022191.2.1 人工神經(jīng)網(wǎng)絡的概念強調(diào)： 并行、分布處理結構； 一個處理單元的輸出可以被任意分枝，且大小不變； 輸出信號可以是任意的數(shù)學模型； 處理單元完全的局部操作 10/11/2022201.2.1 人工神經(jīng)網(wǎng)絡的概念（2） Rumellhart，McClelland，Hinton的PDP 1） 一組處理單元（PE或AN）；2） 處理單元的激活狀態(tài)（ai）；3） 每個處理單元的輸出函數(shù)（fi）；

7、4） 處理單元之間的聯(lián)接模式；5） 傳遞規(guī)則（wijoi）；6） 把處理單元的輸入及當前狀態(tài)結合起來產(chǎn)生激活值的激活規(guī)則（Fi）；7） 通過經(jīng)驗修改聯(lián)接強度的學習規(guī)則；8） 系統(tǒng)運行的環(huán)境（樣本集合）。 10/11/2022211.2.1 人工神經(jīng)網(wǎng)絡的概念（3） Simpson（1987年）人工神經(jīng)網(wǎng)絡是一個非線性的有向圖，圖中含有可以通過改變權大小來存放模式的加權邊，并且可以從不完整的或未知的輸入找到模式。 10/11/2022221.2.1 人工神經(jīng)網(wǎng)絡的概念4、別名人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡（NN）自適應系統(tǒng)（Adaptive Systems）、自適應網(wǎng)（Adaptive Netw

8、orks）聯(lián)接模型（Connectionism）神經(jīng)計算機（Neurocomputer）10/11/2022241.2.2 學習（Learning）能力 人工神經(jīng)網(wǎng)絡可以根據(jù)所在的環(huán)境去改變它的行為自相聯(lián)的網(wǎng)絡異相聯(lián)的網(wǎng)絡：它在接受樣本集合A時，可以抽取集合A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關系。“抽象”功能。不同的人工神經(jīng)網(wǎng)絡模型，有不同的學習/訓練算法10/11/2022251.2.4 信息的分布存放信息的分布存提供容錯功能由于信息被分布存放在幾乎整個網(wǎng)絡中，所以，當其中的某一個點或者某幾個點被破壞時，信息仍然可以被存取。系統(tǒng)在受到局部損傷時還可以正常工作。并不是說可以任意地對完成學習的網(wǎng)絡

9、進行修改。也正是由于信息的分布存放，對一類網(wǎng)來說，當它完成學習后，如果再讓它學習新的東西，這時就會破壞原來已學會的東西。 10/11/2022271.2.5適應性(Applicability)問題 擅長兩個方面：對大量的數(shù)據(jù)進行分類，并且只有較少的幾種情況；必須學習一個復雜的非線性映射。目前應用：人們主要將其用于語音、視覺、知識處理、輔助決策等方面。在數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最佳解的近似解（不是最佳近似解）等方面也有較好的應用。 10/11/2022281.3 歷史回顧 1.3.1 萌芽期（20世紀40年代）人工神經(jīng)網(wǎng)絡的研究最早可以追溯到人類開始研究自己的智能

10、的時期，到1949年止。1943年，心理學家McCulloch和數(shù)學家Pitts建立起了著名的閾值加權和模型，簡稱為M-P模型。發(fā)表于數(shù)學生物物理學會刊Bulletin of Methematical Biophysics1949年，心理學家D. O. Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說Hebb學習律。 10/11/2022291.3.2 第一高潮期（19501968） 以Marvin Minsky，F(xiàn)rank Rosenblatt，Bernard Widrow等為代表人物，代表作是單級感知器（Perceptron）?？捎秒娮泳€路模擬。人們樂觀地認為幾乎已經(jīng)找到了智能的關鍵。許多部門都

11、開始大批地投入此項研究，希望盡快占領制高點。 10/11/2022301.3.3 反思期（19691982） M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 異或”運算不可表示 二十世紀70年代和80年代早期的研究結果 認識規(guī)律：認識實踐再認識 10/11/2022311.3.4 第二高潮期（19831990） 1982年，J. Hopfield提出循環(huán)網(wǎng)絡用Lyapunov函數(shù)作為網(wǎng)絡性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動力學的關系用非線性動力學的方法來研究ANN的特性指出信息被存放在網(wǎng)絡中神經(jīng)元的聯(lián)接上 10/11

12、/2022321.3.4 第二高潮期（19831990）2）1984年， J. Hopfield設計研制了后來被人們稱為Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動。3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡中引入了隨機機制，提出所謂的Boltzmann機。 10/11/2022331.3.4 第二高潮期（19831990）4）1986年，并行分布處理小組的Rumelhart等研究者重新獨立地提出多層網(wǎng)絡的學習算法BP算法，較好地解決了多層網(wǎng)絡

13、的學習問題。（Paker1982和Werbos1974年）國內(nèi)首屆神經(jīng)網(wǎng)絡大會是1990年12月在北京舉行的。 10/11/2022341.3.5 再認識與應用研究期（1991） 問題：1）應用面還不夠寬2）結果不夠精確3）存在可信度的問題 10/11/2022351.3.5 再認識與應用研究期（1991） 研究：1）開發(fā)現(xiàn)有模型的應用，并在應用中根據(jù)實際運行情況對模型、算法加以改造，以提高網(wǎng)絡的訓練速度和運行的準確度。2）充分發(fā)揮兩種技術各自的優(yōu)勢是一個有效方法3）希望在理論上尋找新的突破，建立新的專用/通用模型和算法。4）進一步對生物神經(jīng)系統(tǒng)進行研究，不斷地豐富對人腦的認識。 10/11/

14、202236第2章 人工神經(jīng)網(wǎng)絡基礎2.1 生物神經(jīng)網(wǎng) 2.2 人工神經(jīng)元 2.3 人工神經(jīng)網(wǎng)絡的拓撲特性 2.4 存儲與映射 2.5 人工神經(jīng)網(wǎng)絡的訓練10/11/2022372.1 生物神經(jīng)網(wǎng)1、構成胞體(Soma)枝蔓（Dendrite）胞體(Soma) 軸突（Axon）突觸（Synapse）2、工作過程10/11/2022382.1 生物神經(jīng)網(wǎng)3、六個基本特征：1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強弱；3）神經(jīng)元之間的聯(lián)接強度是可以隨訓練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；6) 每個神經(jīng)元

15、可以有一個“閾值”。10/11/2022392.2 人工神經(jīng)元 神經(jīng)元是構成神經(jīng)網(wǎng)絡的最基本單元（構件）。人工神經(jīng)元模型應該具有生物神經(jīng)元的六個基本特性。 10/11/2022402.2.1 人工神經(jīng)元的基本構成 人工神經(jīng)元模擬生物神經(jīng)元的一階特性。輸入：X=（x1，x2，xn）聯(lián)接權：W=（w1，w2，wn）T網(wǎng)絡輸入：net=xiwi向量形式：net=XWxn wnx1 w1x2 w2net=XW10/11/2022412.2.2 激活函數(shù)(Activation Function) 激活函數(shù)執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡輸入的變換，也可以稱為激勵函數(shù)、活化函數(shù)： o=f（net） 1、線性函數(shù)

16、（Liner Function） f（net）=k*net+c netooc10/11/2022422、非線性斜面函數(shù)(Ramp Function) if netf（net）= k*netif |net|0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。 10/11/2022432、非線性斜面函數(shù)（Ramp Function） - - net o 10/11/2022443、閾值函數(shù)（Threshold Function）階躍函數(shù)if netf（net）=-if net 、均為非負實數(shù)，為閾值二值形式：1if netf（net）=0if net 雙極形式：1if netf（net）=-1if n

17、et 10/11/2022453、閾值函數(shù)（Threshold Function）階躍函數(shù) -onet010/11/2022464、S形函數(shù) 壓縮函數(shù)（Squashing Function）和邏輯斯特函數(shù)（Logistic Function）。f（net）=a+b/(1+exp(-d*net)a，b，d為常數(shù)。它的飽和值為a和a+b。最簡單形式為：f（net）= 1/(1+exp(-d*net) 函數(shù)的飽和值為0和1。S形函數(shù)有較好的增益控制 10/11/2022474、S形函數(shù) a+b o(0,c)netac=a+b/210/11/2022482.2.3 M-P模型 x2 w2fo=f（ne

18、t）xn wnnet=XWx1 w1McCullochPitts（MP）模型，也稱為處理單元（PE） 10/11/2022492.3 人工神經(jīng)網(wǎng)絡的拓撲特性 連接的拓撲表示 ANiwijANj 10/11/2022502.3.1 聯(lián)接模式 用正號（“+”，可省略）表示傳送來的信號起刺激作用，它用于增加神經(jīng)元的活躍度；用負號（“-”）表示傳送來的信號起抑制作用，它用于降低神經(jīng)元的活躍度。層次（又稱為“級”）的劃分，導致了神經(jīng)元之間的三種不同的互連模式： 10/11/2022512.3.1 聯(lián)接模式 1、 層（級）內(nèi)聯(lián)接層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（Intra-field）聯(lián)接或側聯(lián)接（Lateral）。

19、用來加強和完成層內(nèi)神經(jīng)元之間的競爭2、 循環(huán)聯(lián)接反饋信號。 10/11/2022522.3.1 聯(lián)接模式3、層（級）間聯(lián)接 層間（Inter-field）聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接。這種聯(lián)接用來實現(xiàn)層間的信號傳遞前饋信號反饋信號 10/11/2022532.3.2 網(wǎng)絡的分層結構 單級網(wǎng) 簡單單級網(wǎng) 10/11/202254簡單單級網(wǎng)x1x2xno1o2omwnmw11w1mw2mwn1輸出層輸入層10/11/202255簡單單級網(wǎng)W=（wij）輸出層的第j個神經(jīng)元的網(wǎng)絡輸入記為netj：netj=x1w1j+x2w2j+xnwnj其中, 1 j m。取NET=（net1，net2，ne

20、tm）NET=XWO=F（NET）10/11/202256單級橫向反饋網(wǎng)輸出層x1o1w11w1mx2o2w2mxnomwn1輸入層V10/11/202257單級橫向反饋網(wǎng) V=（vij）NET=XW+OVO=F（NET）時間參數(shù)神經(jīng)元的狀態(tài)在主時鐘的控制下同步變化考慮X總加在網(wǎng)上的情況NET（t+1）=X（t）W+O（t）VO(t+1)=F(NET(t+1)O（0）=0考慮僅在t=0時加X的情況。 穩(wěn)定性判定10/11/202258多級網(wǎng)輸出層隱藏層輸入層o1o2omx1x2xn10/11/202259層次劃分 信號只被允許從較低層流向較高層。層號確定層的高低：層號較小者，層次較低，層號較大

21、者，層次較高。輸入層：被記作第0層。該層負責接收來自網(wǎng)絡外部的信息輸出層隱藏層輸入層o1o2omx1x2xn10/11/202260第j層：第j-1層的直接后繼層（j0），它直接接受第j-1層的輸出。輸出層：它是網(wǎng)絡的最后一層，具有該網(wǎng)絡的最大層號，負責輸出網(wǎng)絡的計算結果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號輸出層隱藏層輸入層o1o2omx1x2xn10/11/202261約定 :輸出層的層號為該網(wǎng)絡的層數(shù)：n層網(wǎng)絡，或n級網(wǎng)絡。第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對應的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時候，一般

22、我們用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2omx1x2xnW(1)W(2)W(3)W(h)10/11/202262多級網(wǎng)h層網(wǎng)絡輸出層隱藏層輸入層o1o2omx1x2xnW(1)W(2)W(3)W(h)10/11/202263多級網(wǎng)非線性激活函數(shù) F(X)=kX+CF3(F2(F1(XW(1)W(2)W(3)10/11/202264循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o2omxn10/11/202265循環(huán)網(wǎng) 如果將輸出信號反饋到輸入端,就可構成一個多層的循環(huán)網(wǎng)絡。輸入的原始信號被逐步地“加強”、被“修復”。大腦的短期記憶特征看到的東西不是一下子就從腦海里消失的。穩(wěn)定：反饋信號會

23、引起網(wǎng)絡輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當變化最后消失時，網(wǎng)絡達到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡是不穩(wěn)定的。 10/11/2022662.4 存儲與映射 空間模式（Spatial Model）時空模式（Spatialtemporal Model）空間模式三種存儲類型1、 RAM方式（Random Access Memory）隨機訪問方式是將地址映射到數(shù)據(jù)。2、 CAM方式（Content Addressable Memory）內(nèi)容尋址方式是將數(shù)據(jù)映射到地址。3、 AM方式（Associative Memory）相聯(lián)存儲方式是將數(shù)據(jù)映射到數(shù)據(jù)。 10/11

24、/2022672.4 存儲與映射后續(xù)的兩種方式是人工神經(jīng)網(wǎng)絡的工作方式。在學習/訓練期間，人工神經(jīng)網(wǎng)絡以CAM方式工作；權矩陣又被稱為網(wǎng)絡的長期存儲（Long Term Memory，簡記為LTM）。網(wǎng)絡在正常工作階段是以AM方式工作的；神經(jīng)元的狀態(tài)表示的模式為短期存儲（Short Term Memory，簡記為STM）。 10/11/2022682.4 存儲與映射自相聯(lián)（Auto-associative）映射：訓練網(wǎng)絡的樣本集為向量集合為A1，A2，An在理想情況下，該網(wǎng)絡在完成訓練后，其權矩陣存放的將是上面所給的向量集合。 10/11/2022692.4 存儲與映射異相聯(lián)（Hetero-a

25、ssociative）映射（A1，B1），（A2，B2），（An，Bn） 該網(wǎng)絡在完成訓練后，其權矩陣存放的將是上面所給的向量集合所蘊含的對應關系。當輸入向量A不是樣本的第一的分量時，樣本中不存在這樣的元素（Ak，Bk），使得AiAkA或者AAkAj且此時有AiAAj則向量B是Bi與Bj的插值。 10/11/2022702.5 人工神經(jīng)網(wǎng)絡的訓練 人工神經(jīng)網(wǎng)絡最具有吸引力的特點是它的學習能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡著名的學習定理：人工神經(jīng)網(wǎng)絡可以學會它可以表達的任何東西。人工神經(jīng)網(wǎng)絡的表達能力大大地限制了它的學習能力。人工神經(jīng)網(wǎng)絡的學習過程就是對它的訓練過程10/1

26、1/2022712.5.1無導師學習 無導師學習(Unsupervised Learning)與無導師訓練(Unsupervised Training)相對應 抽取樣本集合中蘊含的統(tǒng)計特性，并以神經(jīng)元之間的聯(lián)接權的形式存于網(wǎng)絡中。10/11/2022722.5.1無導師學習Hebb學習律、競爭與協(xié)同（Competitive and Cooperative）學習、隨機聯(lián)接系統(tǒng)（Randomly Connected Learning）等。Hebb算法D. O. Hebb在1961年的核心：當兩個神經(jīng)元同時處于激發(fā)狀態(tài)時被加強，否則被減弱。數(shù)學表達式表示：Wij（t+1）=Wij（t）+oi（t）o

27、j（t）10/11/2022732.5.2 有導師學習 有導師學習(Supervised Learning)與有導師訓練(Supervised Training)相對應。輸入向量與其對應的輸出向量構成一個“訓練對”。10/11/202274訓練算法的主要步驟1） 從樣本集合中取一個樣本（Ai，Bi）；2） 計算出網(wǎng)絡的實際輸出O； 3） 求D=Bi-O；4） 根據(jù)D調(diào)整權矩陣W；5） 對每個樣本重復上述過程，直到對整個樣本集來說，誤差不超過規(guī)定范圍。10/11/202275Delta規(guī)則 Widrow和Hoff的寫法：Wij(t+1)=Wij(t)+(yj- aj(t)oi(t)也可以寫成：W

28、ij(t+1)=Wij(t)+ Wij(t) Wij(t)=joi(t)j=yj- aj(t)10/11/202276Delta規(guī)則Grossberg的寫法為： Wij(t)=ai(t)(oj(t)-Wij(t)更一般的Delta規(guī)則為： Wij(t)=g(ai(t)，yj，oj(t)，Wij(t)10/11/202277第3章 感知器 主要內(nèi)容：感知器與人工神經(jīng)網(wǎng)絡的早期發(fā)展；線性可分問題與線性不可分問題；Hebb學習律；Delta規(guī)則;感知器的訓練算法。重點：感知器的結構、表達能力、學習算法難點：感知器的表達能力 10/11/202278第3章 感知器3.1 感知器與人工神經(jīng)網(wǎng)絡的早期發(fā)展

29、 3.2 感知器的學習算法 3.2.1 離散單輸出感知器訓練算法 3.2.2 離散多輸出感知器訓練算法3.2.3 連續(xù)多輸出感知器訓練算法3.3 線性不可分問題3.3.1 異或(Exclusive OR)問題 3.3.2 線性不可分問題的克服 實現(xiàn)！問題的發(fā)現(xiàn)與解決！10/11/2022793.1 感知器與ANN的早期發(fā)展McCulloch 和Pitts 1943年，發(fā)表第一個系統(tǒng)的ANN研究閾值加權和(M-P)數(shù)學模型。1947年，開發(fā)出感知器。1949年，提出Hebb學習律。單輸出的感知器(M-P模型)x2 x1o xn10/11/2022803.1 感知器與ANN的早期發(fā)展1962年，R

30、osenblatt宣布：人工神經(jīng)網(wǎng)絡可以學會它能表示的任何東西 o1多輸出感知器x1x2o2omxn輸入層輸出層10/11/2022813.2 感知器的學習算法 感知器的學習是有導師學習 感知器的訓練算法的基本原理來源于著名的Hebb學習律 基本思想：逐步地將樣本集中的樣本輸入到網(wǎng)絡中,根據(jù)輸出結果和理想輸出之間的差別來調(diào)整網(wǎng)絡中的權矩陣 10/11/2022823.2.1離散單輸出感知器訓練算法 二值網(wǎng)絡：自變量及其函數(shù)的值、向量分量的值只取0和1函數(shù)、向量。權向量：W=(w1，w2，wn)輸入向量：X=(x1，x2，xn)訓練樣本集：(X，Y)|Y為輸入向量X對應的輸出 10/11/202

31、283算法3-1離散單輸出感知器訓練算法 1. 初始化權向量W；2. 重復下列過程，直到訓練完成：2.1 對每個樣本（X，Y），重復如下過程：2.1.1 輸入X；2.1.2 計算o=F（XW）；2.1.3 如果輸出不正確，則當o=0時，取 W=W+X，當o=1時，取 W=W-X 10/11/2022843.2.2離散多輸出感知器訓練算法 樣本集：(X,Y)|Y為輸入向量X對應的輸出輸入向量：X=(x1,x2,xn)理想輸出向量：Y=(y1,y2,ym)激活函數(shù)：F 權矩陣W=(wij)實際輸出向量：O=(o1,o2,om)o1多輸出感知器x1x2o2omxn輸入層輸出層10/11/202285

32、算法3-2離散多輸出感知器訓練算法 1.初始化權矩陣W；2.重復下列過程，直到訓練完成： 2.1 對每個樣本（X，Y），重復如下過程：2.1.1 輸入X；2.1.2 計算O=F（XW）；2.1.3 for j=1 to m do 執(zhí)行如下操作：if oj yj then if oi = 0 then for i = 1 to n wij=wij+xi else for i= 1 to n do wij=wij-xi10/11/202286算法3-2離散多輸出感知器訓練算法算法思想：將單輸出感知器的處理逐個地用于多輸出感知器輸出層的每一個神經(jīng)元的處理。第1步，權矩陣的初始化：一系列小偽隨機數(shù)。

33、10/11/202287算法3-2離散多輸出感知器訓練算法第2步，循環(huán)控制。方法1：循環(huán)次數(shù)控制法：對樣本集執(zhí)行規(guī)定次數(shù)的迭代改進分階段迭代控制：設定一個基本的迭代次數(shù)N，每當訓練完成N次迭代后，就給出一個中間結果10/11/202288算法3-2離散多輸出感知器訓練算法方法2：精度控制法：給定一個精度控制參數(shù)精度度量：實際輸出向量與理想輸出向量的對應分量的差的絕對值之和；實際輸出向量與理想輸出向量的歐氏距離的和 “死循環(huán)”：網(wǎng)絡無法表示樣本所代表的問題10/11/202289算法3-2離散多輸出感知器訓練算法方法3：綜合控制法：將這兩種方法結合起來使用 注意：精度參數(shù)的設置。根據(jù)實際問題選定；初始測試階段，精度要求低，測試完成后，再給出實際的精度要求。10/11/2022903.2.3 連續(xù)多輸出感知器訓練算法 用公式wij=wij+（yj-oj）xi取代了算法3-2 第2.1.3步中的