人工神經網(wǎng)絡基礎知識

1、2 人工神經網(wǎng)絡根底知識 2.1人工神經網(wǎng)絡的生物學根底 人的智能來自于大腦，大腦是由大量的神經細胞或神經元組成的。每個神經元可以看作為一個小的處理單元，這些神經元按照某種方式互相連接起來，構成了大腦內部的生物神經元網(wǎng)絡，他們中各神經元之間連接的強弱，按照外部的鼓勵信號作自適應變化，而每個神經元又隨著接收到的多個鼓勵信號的綜合大小呈現(xiàn)興奮或抑制狀態(tài)。據(jù)現(xiàn)在的了解，大腦的學習過程就是神經元之間連接強度隨外部鼓勵信息做自適應變化的過程，大腦處理信息的結果確由神經元的狀態(tài)表現(xiàn)出來。顯然，神經元是信息處理系統(tǒng)的最小單元。雖然神經元的類型有很多種，但其根本結構相似。第一頁，共六十三頁。神經元是大腦處理信

2、息的根本單元人腦約由101l-1012個神經元組成，其中，每個神經元約與104-105個神經元通過突觸聯(lián)接，形成極為錯縱復雜而且又靈活多變的神經網(wǎng)絡神經元以細胞體為主體，由許多向周圍延伸的不規(guī)那么樹枝狀纖維構成的神經細胞，其形狀很像一棵枯樹的枝干主要由細胞體、樹突、軸突和突觸(Synapse，又稱神經鍵)組成 一、生物神經元第二頁，共六十三頁。 生物神經元網(wǎng)絡結構 樹突是樹狀的神經纖維接收網(wǎng)絡，它將電信號傳送到細胞體細胞體對這些輸入信號進行整合并進行閾值處理軸突是單根長纖維，它把細胞體的輸出信號導向其他神經元一個神經細胞的軸突和另一個神經細胞樹突的結合點稱為突觸 神經元的排列和突觸的強度(由復

3、雜的化學過程決定)確立了神經網(wǎng)絡的功能。 第三頁，共六十三頁。生物學研究說明一些神經結構是與生俱來的，而其他局部那么是在學習的過程中形成的。在學習的過程中，可能會產生一些新的連接，也可能會使以前的一些連接消失。這個過程在生命早期最為顯著。第四頁，共六十三頁。二、突觸的信息處理生物神經元傳遞信息的過程為多輸入、單輸出；神經元各組成局部的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近；當神經元細胞體通過軸突傳到突觸前膜的脈沖幅度到達一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經傳遞的化學物質；突觸有兩種類型，興奮性突觸和抑制性突觸。前者產生正突觸后電位，后者產生負突觸后電位。抑制性-神經

4、元雖然接收到其他神經元傳遞的信息，但沒有向外傳遞信息，該神經元稱“抑制性的；興奮性-當一個神經元的樹突接收的興奮信息累計超過閾值，該神經元被激活并傳遞出信息給其他神經元。第五頁，共六十三頁。三、信息傳遞功能與特點 具有時空整合能力時間整合各輸入脈沖抵達神經元的先后時間不同，一個脈沖引起的突觸后電位很小，但隨著時間延續(xù)，另有脈沖到達，總的突觸后電位就增大。空間整合在同一時刻產生的刺激所引起的膜電位變化，大致等于各單獨刺激引起的膜電位變化的代數(shù)和。這種累加求和稱空間整合。不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞 神經纖維傳導的速度，即脈沖沿神經纖維傳遞的速度，在1150ms之間 信息傳遞時延

5、和不應期，一般為0.3lms可塑性，突觸傳遞信息的強度是可變的，即具有學習功能 存在學習、遺忘或疲勞飽和效應對應突觸傳遞作用增強、減弱和飽和第六頁，共六十三頁。2、生物神經系統(tǒng)的六個根本特征：1神經元及其聯(lián)接；2神經元之間的聯(lián)接強度決定信號傳遞的強弱；3神經元之間的聯(lián)接強度是可以隨訓練改變的；4信號可以是起刺激作用的，也可以是起抑制作用的；5一個神經元接受的信號的累積效果斷定該神經元的狀態(tài)；6) 每個神經元可以有一個“閾值。第七頁，共六十三頁。2.人工神經元模型人工神經網(wǎng)絡是在現(xiàn)代神經生物學研究根底上提出的模擬生物過程以反映人腦某些特性的計算結構。它不是人腦神經系統(tǒng)的真實描寫，而只是它的某種抽

6、象、簡化和模擬。根據(jù)前面對生物神經網(wǎng)絡的研究可知，神經元及其突觸是神經網(wǎng)絡的根本器件。因此，模擬生物神經網(wǎng)絡應首先模擬生物神經元。在人工神經網(wǎng)絡中，神經元常被稱為“處理單元。有時從網(wǎng)絡的觀點出發(fā)常把它稱為“節(jié)點。人工神經元是對生物神經元的一種形式化描述，它對生物神經元的信息處理過程進行抽象，并用數(shù)學語言予以描述；對生物神經元的結構和功能進行模擬，并用模型圖予以表達。 第八頁，共六十三頁。目前人們提出的神經元模型已有很多，其中最早提出且影響最大的，是1943年心理學家McCulloch和數(shù)學家WPitts在分析總結神經元根本特性的根底上首先提出的MP模型。該模型經過不斷改進后，形成目前廣泛應用的

7、形式神經元模型。關于神經元的信息處理機制，該模型在簡化的根底上提出以下6點約定進行描述：1每個神經元都是一個多輸入單輸出的信息處理單元；2突觸分興奮性和抑制性兩種類型；3神經元具有空間整合特性和閾值特性；4神經元輸入輸出間有固定的時滯，主要取決于突觸延擱；5忽略時間整合作用和不應期；6神經元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)。第九頁，共六十三頁。MP模型：稱為作用函數(shù)或激發(fā)函數(shù)第十頁，共六十三頁。 MP模型 作用函數(shù) 求和操作第十一頁，共六十三頁。 MP模型 f(x)是作用函數(shù)(Activation Function)，也稱激發(fā)函數(shù)。MP神經元模型中的作用函數(shù)為單位階躍函數(shù)： 其表

8、達式為：第十二頁，共六十三頁。激發(fā)函數(shù)的根本作用控制輸入對輸出的激活作用對輸入、輸出進行函數(shù)轉換將可能無限域的輸入變換成指定的有限范圍內的輸出 可知當神經元i的輸入信號加權和超過閾值時，輸出為“1，即“興奮狀態(tài)；反之輸出為“0，是“抑制狀態(tài)。 MP模型第十三頁，共六十三頁。例、實現(xiàn)邏輯函數(shù)“與門AND gate運算。1 真，0假第十四頁，共六十三頁。第十五頁，共六十三頁。人工神經元的數(shù)學模型描述： 第j個神經元，接受多個其它神經元i在t時刻的輸入xi(t)，引起神經元j的信息輸出為yj(t):式中 wij神經元i到j的突觸連接系數(shù)，即加權值； j神經元j的閾值； ij輸入、輸出間的突觸時延；

9、f()神經元轉移激活函數(shù).為簡單起見，將上式中的突觸時延取為單位時間，那么 式中 netjj單元激活值；netj=第十六頁，共六十三頁。其它各單元對第j個單元的輸入，通過加權，按某種運算把輸入信號的綜合作用整合起來，給出它們的總效果稱凈輸入。凈輸入整合表達應有多種方式，人們探索到的人腦空間整合方式近似為線性求和。即單元凈輸入表為 為簡便起見，省去式中t,而且常用向量表示 式中 均為列向量：假設令 第十七頁，共六十三頁。至此，人工神經元數(shù)學模型可簡化為看到，人工神經元模型較全面表現(xiàn)了前述點約定：單輸入多輸出顯見；用突觸的正負表達突觸的“興奮與抑制；凈輸入關系net和閾值，表現(xiàn)了空間整合特性和閾值

10、特性；y(t+1)與x(t)之間的單位時差表現(xiàn)了突觸延擱“；沒有考慮時間整合和不應期；權系數(shù)與時間無關，表達了神經元的非時變“。第十八頁，共六十三頁。2.3人工神經元轉移函數(shù) 神經元的各種不同數(shù)學模型的主要區(qū)別在于采用了不同的轉移函數(shù)，從而使神經元具有不同的信息處理特性。而神經元的信息處理特性、網(wǎng)絡拓補結構和網(wǎng)絡學習方式是決定人工神經網(wǎng)絡整體性能的三大要素, 因此轉移函數(shù)的研究具有重要意義。神經元的轉移函數(shù)反映了神經元輸出與其激活狀態(tài)之間的關系，目前提出了多種，最常用的轉移函數(shù)有以下幾種形式。1 閾值型轉移函數(shù) 閾值型轉移函數(shù)采用單位階躍函數(shù)，也稱硬限幅函數(shù)，用下式定義: 第十九頁，共六十三頁

11、。具有這一作用方式的神經元稱為閾值型神經元，這是神經元模型中最簡單的一種，經典的MP模型就屬于此類。硬限幅函數(shù)也可采用符號函數(shù)，如圖，用下式定義第二十頁，共六十三頁。2 非線性轉移函數(shù)常用的是單極性sigmoid函數(shù)，簡稱S函數(shù)，函數(shù)本身及其導數(shù)都連續(xù)，處理上十分方便，變化范圍是01，如下圖,用下式定義第二十一頁，共六十三頁。有時也采用雙極性S型函數(shù)雙曲正切函數(shù)tanh(x),其變化范圍是-11，如下圖。其表達式為第二十二頁，共六十三頁。3、線性函數(shù) （1）線性作用函數(shù)：輸出等于輸入，即 （2）飽和線性作用函數(shù) （3）對稱飽和線性作用函數(shù) 第二十三頁，共六十三頁。4 概率型轉移函數(shù) 采用概率型

12、轉移函數(shù)的神經元模型其輸入與輸出之間的關系是不確定的，需要用一個隨機函數(shù)來描述輸出狀態(tài)的概率。如，設神經元輸出為1的概率為式中 T稱溫度參數(shù)。采用這種轉移函數(shù)的神經元輸出狀態(tài)分布的典型代表是Boltzmann 機。第二十四頁，共六十三頁。5、高斯函數(shù) 反映出高斯函數(shù)的寬度 還有許多轉移函數(shù)的數(shù)學模型，不一一介紹。 第二十五頁，共六十三頁。2.4人工神經網(wǎng)絡模型 大量神經元組成龐大的神經網(wǎng)絡，才能實現(xiàn)對復雜信息的處理與存儲，并表現(xiàn)出各種優(yōu)越的特性。神經網(wǎng)絡的強大功能與其大規(guī)模并行互連、非線性處理以及互連結構的可塑性密切相關。因此必須按一定規(guī)那么將神經元連接成神經網(wǎng)絡，并使網(wǎng)絡中各神經元的連接權按

13、一定規(guī)那么變化。生物神經網(wǎng)絡由數(shù)以億計的生物神經元連接而成，而人工神經網(wǎng)絡限于物理實現(xiàn)的困難和為了計算簡便，是由相對少量的神經元按一定規(guī)律構成的網(wǎng)絡。人工神經元網(wǎng)絡要顯示出人腦的某些的根本特征:(1)分布存儲和容錯性(2)大規(guī)模并行處理(3)自學習、自組織和自適應(4)大量神經元群體行為,表現(xiàn)出復雜非線性系統(tǒng)特性 第二十六頁，共六十三頁。人們對網(wǎng)絡模型做了大量研究,目前人工神經網(wǎng)絡的模型很多，已有近百種，可以按照不同的方法進行分類。按網(wǎng)絡性能可分-連續(xù)性和離散性、確定性和隨機性網(wǎng)絡;按學習方式可分-有導師和無導師 學習方式網(wǎng)絡。常見的分類方法-按網(wǎng)絡連接的拓撲結構分類和按網(wǎng)絡內部 的信息流向分

14、類。 如按網(wǎng)絡內部的信息流向分類:前饋(向)型網(wǎng)絡和反響型網(wǎng)絡.2.4.1網(wǎng)絡拓撲結構類型 網(wǎng)絡拓撲結構的不同表現(xiàn)為神經元之間連接方式的不同。根據(jù)神經元之間的連接方式，可將神經網(wǎng)絡結構分為層次型結構和互連型結構兩大類。第二十七頁，共六十三頁。層次型結構 層次型結構的神經網(wǎng)絡將神經元按功能分成假設干層，如輸入層、中間層也稱為隱層和輸出層，各層順序相連，如圖 所示。 輸入層各神經元負責接受來自外界的輸入信息，并傳遞給中間各隱層神經元；隱層是神經網(wǎng)絡的內部信息處理層，負責信息變換，根據(jù)信息變換能力的需要，隱層可設計為一層或多層； 最后一個隱層傳遞到輸出層各神經元的信息經進一步處理后即完成一次從輸入到

15、輸出的信息處理，由輸出層向外界如執(zhí)行機構或顯示設備輸出信息處理結果。第二十八頁，共六十三頁。層次型網(wǎng)絡結構有3種典型的結構形式。1單純層次型網(wǎng)絡結構神經元分層排列，各層神經元接受前一層輸入并輸出到下一層，層內神經元自身以及神經元之間不存在連接通路。單純層次型網(wǎng)絡結構第二十九頁，共六十三頁。2層內有互連的層次型網(wǎng)絡結構這種結構的特點是在同一層內引入神經元間的側向作用，使得能同時激活的神經元個數(shù)可控，以實現(xiàn)各層神經元的自組織。第三十頁，共六十三頁。3輸出層到輸入層有連接的層次型網(wǎng)絡結構輸出層到輸入層有連接路徑,其輸入層神經元既可接受輸入，也具有信息處理功能。 第三十一頁，共六十三頁?；ミB型結構 對

16、于互連型網(wǎng)絡結構，網(wǎng)絡中任意兩個節(jié)點之間都可能存在連接路徑，因此可以根據(jù)網(wǎng)絡中節(jié)點的互連程度將互連型網(wǎng)絡結構細分為全互連型網(wǎng)絡、局部互連型網(wǎng)絡、稀疏連接型網(wǎng)絡3種情況。 1全互連型網(wǎng)絡每個節(jié)點均與所有其他節(jié)點連接。第三十二頁，共六十三頁。2局部互連型網(wǎng)絡 3稀疏連接型網(wǎng)絡節(jié)點只與少數(shù)相距較遠的節(jié)點相連。每個節(jié)點只與其鄰近的節(jié)點有連接。第三十三頁，共六十三頁。2.4.2網(wǎng)絡信息流向類型 從神經網(wǎng)絡內部信息傳遞方向來分，可分為兩種類型：前饋型網(wǎng)絡和反響型網(wǎng)絡。1 前饋型網(wǎng)絡 單純前饋型網(wǎng)絡的結構特點前述的分層網(wǎng)絡完全相同，前饋是因網(wǎng)絡信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名。從信息

17、處理能力看，網(wǎng)絡中的節(jié)點可分兩種：一種是輸入節(jié)點，只負責從外界引入信息后向前傳遞給第一隱層；另一種是具有處理能力的節(jié)點，包括各隱層和輸出層節(jié)點。前饋型網(wǎng)絡中一層的輸出是下一層的輸人，信息的處理具有逐層傳遞進行的方向性，一般不存在反響環(huán)路。因此這類網(wǎng)絡很容易串聯(lián)起來建立多層前饋網(wǎng)絡。第三十四頁，共六十三頁。前饋(向)網(wǎng)絡特點:(1)層次關系清楚每個神經元只與前一層神經元相連;隱層可多層.(2)反響關系根本前饋網(wǎng)絡無反響關系;隱層自身互聯(lián),形成同層神經元之間橫向抑制機制,大多自組織競爭型網(wǎng)絡都采用此種;輸出到輸入層有反響.對復雜圖形的順序選擇和識別字符需要此類網(wǎng)絡;(3)屬有導師學習型網(wǎng)絡(輸出值

18、-教師信號-誤差-實現(xiàn)權值自適應)(4)屬于非線性映射網(wǎng)絡第三十五頁，共六十三頁。當提到具有單層計算神經元的網(wǎng)絡時，指的應是一個兩層前饋網(wǎng)絡輸入層和輸出層，當提到具有單隱層的網(wǎng)絡時，指的應是一個三層前饋網(wǎng)絡輸入層、隱層和輸出層。2 反響型網(wǎng)絡反響網(wǎng)絡是指其信息流向的特點。在反響網(wǎng)絡中所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接受輸入，同時又可以向外界輸出。一般來說:互連型網(wǎng)絡結構 屬于反響型網(wǎng)絡第三十六頁，共六十三頁。上面介紹的分類方法、結構形式和信息流向只是對目前常見的網(wǎng)絡結構的概括和抽象。實際應用的神經網(wǎng)絡可能同時兼有其中一種或幾種形式。例如，從連接形式看，層次型網(wǎng)絡中可能出現(xiàn)局

19、部的互連；從信息流向看，前饋網(wǎng)絡中可能出現(xiàn)局部反響。綜合來看，前述的網(wǎng)絡模型可分別稱為：前饋層次型、前饋層內互連型、輸入輸出有反響的前饋層次型反響全互連型和反響局部互連型。反響網(wǎng)絡特點:(1)反響關系 全互聯(lián)網(wǎng)絡;局部互聯(lián)網(wǎng)絡.(2)屬于無導師學習網(wǎng)絡(3)屬于非線性動力學系統(tǒng)網(wǎng)絡第三十七頁，共六十三頁。前饋層次型前饋層內互連型輸入輸出有反響的前饋層次型反響全互連型反響局部互連型神經網(wǎng)絡的拓撲結構是決定神經網(wǎng)絡特性的第二大要素。第三十八頁，共六十三頁。神經網(wǎng)絡的開發(fā)工作分兩個階段:學習階段(期):也稱自適應期或設計期,通過學習樣本或其他方法訓練權矩陣;工作階段(期):各連接權成熟(不再改變),

20、求解實際問題,單元狀態(tài)變遷,以求到達穩(wěn)態(tài)解.第三十九頁，共六十三頁。人工神經網(wǎng)絡連接權確實定通常有兩種方法根據(jù)具體要求，直接計算，如Hopfield網(wǎng)絡作優(yōu)化計算通過學習得到的。大多數(shù)人工神經網(wǎng)絡都采用這種方法 學習是改變各神經元連接權值的有效方法，也是表達人工神經網(wǎng)絡智能特性最主要的標志。離開了學習，神經網(wǎng)絡就失去了誘人的自適應、自組織能力學習方法是人工神經網(wǎng)絡研究中的核心問題2.5人工神經網(wǎng)絡的學習 第四十頁，共六十三頁。 人類具有學習能力,人類的知識和智慧是在不斷的學習與實踐中逐漸形成和開展起來的。學習可定義為：“根據(jù)與環(huán)境的相互作用而發(fā)生的行為改變，其結果導致對外界刺激產生反響的新模式

21、的建立。 學習過程離不開訓練,學習過程就是一種經過訓練而使個體在行為上產生較為持久改變的過程.例如,游泳等體育技能的學習需要反復的訓練才能提高,數(shù)學等理論知識的掌握需要通過大量的習題進行練習.一般來說,學習效果隨著訓練量的增加而提高,這就是學習的進步. 網(wǎng)絡的運行一般分為學習訓練和工作兩個階段。學習的目的是為了從訓練數(shù)據(jù)中提取隱含的知識和規(guī)律，并存儲于網(wǎng)絡中供工作階段使用。 第四十一頁，共六十三頁。 學習的神經機制,涉及神經元如何分布、處理和存儲信息等。這樣的問題單用行為研究是不能答復的，必須把研究深入到細胞和分子水平。每一種心理功能，如記憶與思想，均歸因于神經細胞組群的活動。大腦中，功能性的

22、神經元連接、突觸的形成是關鍵，醫(yī)學研究說明：神經元之間的突觸聯(lián)系，其根本局部是先天就有的，但其他局部是由于學習過程中頻繁地給予刺激而成長起來的。突觸的形成、穩(wěn)定與修飾等均與刺激有關，隨外界給予的刺激性質不同，能形成和改變神經元的突觸聯(lián)系。 神經網(wǎng)絡的全體連接權值可用一個矩陣W表示，其整體內容反映了神經網(wǎng)絡對于所解決問題的知識存儲，神經網(wǎng)絡能夠通過對樣本的學習訓練，不斷改變網(wǎng)絡的連接權值以及拓撲結構，以使網(wǎng)絡的輸出不斷地接近期望輸出。這一過程稱為神經網(wǎng)絡的學習或訓練，其本質是對可變權值的動態(tài)調整。第四十二頁，共六十三頁。 把修正權值的算法稱為學習規(guī)那么學習算法等。對單個處理單元，無論采用哪種學習

23、規(guī)那么進行調整，其算法都十分簡單。但當大量處理單元集體進行權值調整時，網(wǎng)絡就呈現(xiàn)出“智能特性，其中有意義的信息就分布地存儲在調整后的權值矩陣W中。 神經網(wǎng)絡具有學習功能是其最主要的特征之一,各種學習算法的研究在ANN理論與實踐開展過程中起著重要作用. 人工神經網(wǎng)絡的學習和計算機的機器學習有類似的分類，一類有導師學習(從例子中學習)，一類無導師學習,還有一類為死記式學習。在ANN中，學習規(guī)那么是修正權的一個算法，以獲得滿意的系統(tǒng)性能。 現(xiàn)有的學習規(guī)那么大體上可分為以下幾類： 第四十三頁，共六十三頁。1有導師學習規(guī)那么(糾錯規(guī)那么) 依賴關于輸出節(jié)點的外部反響來改變權系數(shù)，使實際結點的輸出與外部的

24、期望輸出相一致,即有導師學習規(guī)那么。從方法上看，基于或等效于梯度下降方法，通過在局部最大改善的方向上，按照小步逐次進行修正，力圖到達表示函數(shù)功能問題的全局解，但不能保證得到全局最優(yōu)解，同時還要求有大量的訓練樣本，因而收斂速度變慢。此外，這種規(guī)那么對樣本的表示次序變化比較敏感。 2無導師學習規(guī)那么 學習表現(xiàn)為自適應于輸入空間的檢測規(guī)那么。該規(guī)那么的關鍵在于調整參數(shù)以反映觀察事件的分布，即是將事件空間分類成輸入活動區(qū)域，并有選擇地對這些區(qū)域響應。3死記式學習(相關規(guī)那么) 僅根據(jù)連接之間的激活水平改變權系數(shù)。常用于自聯(lián)想網(wǎng)絡，執(zhí)行特殊記憶狀態(tài)的死記式學習。第四十四頁，共六十三頁。現(xiàn)在將要分別介紹常

25、用的、根本的學習規(guī)那么。 可以認為，一個神經元是一個自適應單元，其權值可以根據(jù)它所接受的輸入信號、它的輸出信號以及對應的監(jiān)督信號進行調整。日本著名神經網(wǎng)絡學者Amari于1990年提出一種神經網(wǎng)絡權值調整的通用學習規(guī)那么，該規(guī)那么的圖解表示見以下圖。圖中的神經元j是神經網(wǎng)絡中的某個節(jié)點，其輸入用向量X表示，該輸入可以來自網(wǎng)絡外部，也可以來自其他神經元的輸出。 第四十五頁，共六十三頁。 第i個輸入與神經元j的連接權情用wij表示，連接到神經元j的全部權值構成了權向量Wj。應當注意的是，該神經元的閾值，對應的輸入分量x0恒為-1。圖中，rr(Wj，X，dj)稱學習信號，該信號通常是W和X的函數(shù)，而

26、在有導師學習時，它也是教師信號dj的函數(shù)。通用學習規(guī)那么可表達為：權向量Wj在t時刻的調整量Wjt與 t時刻的輸入向量Xt和學習信號 r的乘積成正比。用數(shù)學式表示為 Wjt=rWjt,X(t),dj(t)Xt 第四十六頁，共六十三頁。Wjt=rWjt,X(t),dj(t)Xt式中，為正數(shù)，稱為學習常數(shù)，其值決定了學習速率，也稱學習率。基于離散時間調整時，下一時刻的權向量應為 Wj(t十1)=WjtrWjt,X(t),dj(t)Xt 不同的學習規(guī)那么對r(Wj，X，dj)有不同的定義，從而形成各種各樣的神經網(wǎng)絡學習規(guī)那么。下面對常用學習規(guī)那么作一簡要介紹。第四十七頁，共六十三頁。在Hebbian

27、學習規(guī)那么中，學習信號簡單地等于神經元的輸出 權向量的調整公式為 權向量中，每個分量的調整由下式確定 = = i=0,1,，n上式說明，權值調整量與輸入輸出的乘積成正比。顯然，經常出現(xiàn)的輸入模式將對權向量有最大的影響。 251 Hebbian學習現(xiàn)那么 1949年，心理學家DOHebb最早提出關于神經網(wǎng)絡學習機理的“突觸修正 假設。該假設指出，當神經元的突觸前膜電位與后膜電位同時為正時，突觸傳導增強，當前膜電位與后膜電位正負相反時，突觸傳導減弱，也就是說，當神經元i與神經元j同時處于興奮狀態(tài)時，兩者之間的連接強度應增強。(實質上就是條件反射學說,后來得到了神經細胞學說的證明)根據(jù)該假設定義的權

28、值調整方法，稱為Hebbian學習規(guī)那么。 第四十八頁，共六十三頁。此外，要求權值初始化，即在學習開始前t=0，先對Wj(0)賦予零附近的小隨機數(shù)。 Hebbian學習規(guī)那么代表一種純前饋、無導師學習。該規(guī)那么在各種神經網(wǎng)絡模型中起著重要的作用。 下面用一個簡單的例子來說明具有簡單網(wǎng)絡的二進制和連續(xù)激活函數(shù)的Hebb學習情況。例 能看出有4輸入單輸出神經元網(wǎng)絡，其閾值為0，學習率=1，3個輸入樣本向量和初始權向量分別為X1=1 2 1.5 0T,X2=1 -0.5 -2 -1.5T,X3=0 1 -1 1.5T,W(0)=1 -1 0 0.5T,試按Hebb規(guī)那么進行網(wǎng)絡訓練。解 假設神經元采

29、用雙極性硬限幅函數(shù)，即f(net)=sgn(net).學習過程如下步驟：(1)輸入第一個樣本X1，計算凈輸入net1，調整權向量為W1net1=W(0)TX1=1 -1 0 0.51 -2 1.5 0T=3W(1)=W(0)+sgn(net1)X1=W(0)+X1=1 -1 0 0.5T+1 -2 1.5 0T=2 -3 1.5 0.5T第四十九頁，共六十三頁。(2)輸入第二個樣本X2，計算凈輸入net2，調整權向量為W2 net2=W(1)TX2=2 -3 1.5 0.51 -0.5 -2 -1.5T=-0.25W(2)=W(1)+sgn(net2)X2 =W(1)-X2 =2 -3 1.5

30、 0.5T-1 -0.5 -2 -1.5T =1 -2.5 3.5 2T(3) 輸入第三個樣本X3，計算凈輸入net3，調整權向量W(3)net3=W(2)TX3 =1 -2.5 3.5 20 1 -1 1.5T =-3W(3)=W(2)+sgn(net3)X3 =W(2)-X3 =1 -2.5 3.5 2T-0 1 -1 1.5T =1 -3.5 4.5 0.5T可見，當轉移函數(shù)為符號函數(shù)且=1時，H學習規(guī)那么的權值調整將簡化為權向量加或減輸入向量。第五十頁，共六十三頁。下面看一下轉移函數(shù)為雙極性連續(xù)函數(shù) 時，此例權值調整情況：(1) net1=W(0)TX1=1 -1 0 0.51 -2

31、1.5 0T=3 y1=f(net1)= W(1)=W(0)+y1X1=1.905 -2.81 1.357 0.5T(2) net2=W(1)TX2=-0.154 y2=f(net2)= W(2)=W(1)+y2X2=1.828 -2.772 1.512 0.616T(3) net3=W(2)TX3=-3.36 y3=f(net3)= W(3)=W(2)+y3X3=1.828 -3.70 2.44 -0.785T比較兩種權值調整結果看出，在兩種轉移函數(shù)下的權值調整方向是一致的，但是，采用連續(xù)轉移函數(shù)時，權值的調整力度相對減弱。第五十一頁，共六十三頁。2。5。2感知器學習規(guī)那么 感知器Perce

32、ptron是美國學者Rosenblatt 于1958年提出來的，實際上它是一個具有單層計算單元的神經元網(wǎng)絡。他指出，感知器可以學會它能表示的任何事情，這個結論曾使不少人企圖用感知器模仿人的視網(wǎng)膜來識別圖像的某些特征。對于感知器的學習規(guī)那么，學習信號是通過神經元的期望輸出和實際輸出響應之間的差來決定。因而，學習信號等于 r=dj-yj 1 WjTX0式中 yj為實際輸出，yj=sgnWjTX= -1 WjTX0即感知器采用的是符號轉移函數(shù);dj為所期望的輸出響應。因此，權值的調整公式為 Wj=(dj-sgn(WjTX)X wij=(dj-sgn(WjTX)xi i=1，2，n 第五十二頁，共六十

33、三頁。請注意，這個規(guī)那么僅對二進制神經元響應是可以應用的，而且上式表達了屬于雙極二進制情況下的規(guī)那么。在這種規(guī)那么下，當且僅當yj是不正確情況，權重得到調節(jié)。 感知器學習規(guī)那么屬于有導師學習規(guī)那么，權重可以在任何值上初始化。 感知器理論是研究其他神經網(wǎng)絡的根底，感知器學習規(guī)那么對于神經網(wǎng)絡的有導師學習有極為重要的意義。第五十三頁，共六十三頁。2.5.3 (Delta)學習規(guī)那么 學習規(guī)那么又稱最小均方規(guī)那么LMS。它利用目標激活值與所得的激活值之差進行學習。其方法是：調整聯(lián)系強度，使這個差減小。 學習規(guī)那么唯一適用于單極性和雙極性Sigmoid型轉移函數(shù)以及在有導師訓練模式中定義的連續(xù)激活函數(shù)

34、。學習信號定義如下：式中 是對于 計算得激活函數(shù) 的導數(shù)。那么,權值調整公式為 = i=0,1,2.n 第五十四頁，共六十三頁。 該學習規(guī)那么可由實際輸出值yj和期望輸出值dj之間最小平方誤差的條件推導出來。定義神經元實際輸出與期望輸出間的平方誤差為 式中，誤差E是權向量Wj函數(shù)。欲使誤差E最小，Wj應與誤差的負梯度成正比，即 =- (Wj沿E的負梯度方向變化) # 式中，比例系數(shù)是一個正常數(shù)， 為誤差梯度. =-代入#式得權值調整計算式 = 第五十五頁，共六十三頁。式子 得到證明。 對于這種訓練方法，權可以在任何值上得到初始化。 1986年McClelland和Rumelhart將規(guī)那么引入

35、作為神經元網(wǎng)絡的訓練。這個規(guī)那么并行于離散感知器學習規(guī)那么，它亦可稱作為連續(xù)感知器訓練規(guī)那么。學習規(guī)那么能夠被推廣用于多層網(wǎng)絡。例 設有3輸入單輸出網(wǎng)絡,將閾值含于權向量內,即學習率 -1 1 -2 0T , -1 0 1.5 -0.5T , -1 -1 1 0.5T 0.5 1 -1 0T, 試按規(guī)那么進行網(wǎng)絡學習.第五十六頁，共六十三頁。解:設轉移函數(shù)為雙極性連續(xù)函數(shù)那么 或第一步 輸入樣本X1,計算凈輸入net1及權向量W(1)net1=W(0)TX1 =2.50.526 0.974 -0.948 0T第二步 計算輸入樣本X2 .計算凈輸入net2及權向量W(2)net2=W(1)TX2 =-1.948第五十七頁，共六十三頁。0.531 0.974 -0.956 0.002T第三步因為每步中0.505 0.947 -0.929 0.016T,所以每步權值均得到修正,這種方法常要求小的值.第五十八頁，共六十三頁。2。5。4 WidrowHoff學習規(guī)那么 1962年WidrowHo