人工神經網(wǎng)絡理論(張超102020036)-PPT幻燈片

前言：

為了了解ANN，我們首先分析一下現(xiàn)行計算機所存在的問題。盡管現(xiàn)行計算機在當今世界發(fā)揮著巨大的作用，但它在智能化信息處理過程中存在著許多局限性?，F(xiàn)行計算機有以下三個主要特點：(1)它必須不折不如地按照人們已經編制好的程序步驟來進行相應的數(shù)值計算或邏輯運算，它沒有主動學習的能力和自適應能力，因此它是被動的。(2)所有的程序指令都要調入CPU一條接一條地順序執(zhí)行。因此．它的處理信息方式是集中的、串行的。(3)存儲器的位置(即地址)和其中存儲的具體內容無關。因此，在調用操作的指令或數(shù)據(jù)時，總是先找它所在存貯器的地址，然后再查出所存貯的內容。這就是說，存貯內容和存貯地址是不相關的。由于現(xiàn)行計算機的上述特點，一方面它在像數(shù)值計算或邏輯運算這類屬于順序性(串行性)信息處理中，表現(xiàn)出遠非人所能及的速度；另一方面，在涉及人類日常的信息活動，例如識別圖形、聽懂語言等，卻又顯得那樣低能和笨拙。

正是由于認識到傳統(tǒng)計算機在智能信息處理中的這種難以逾越的局限性．使得人們考慮到有必要進一步了解分析人腦神經系統(tǒng)信息處理和存貯的機理特征．以便尋求一條新的人工神經網(wǎng)絡智能信息處理途徑。人工神經網(wǎng)絡研究是采用自下而上的方法，從腦的神經系統(tǒng)結構出發(fā)來研究腦的功能，研究大量簡單的神經元的集團信息處理能力及其動態(tài)行為。目前，神經網(wǎng)絡的研究使得對多年來困擾計算機科學和符號處理的一些難題可以得到比較令人滿意的解答，特別是對那些時空信息存貯及并行搜索、自組織聯(lián)想記億、時空數(shù)據(jù)統(tǒng)計描述的自組織以及從一些相互關聯(lián)的活動中自動獲取知識等一般性問題的求解，更顯示出獨特的能力。由此引起了智能研究者們的廣泛關注，并普遍認為神經網(wǎng)絡方法適合于低層次的模式處理。

基本的MP模型

wij——代表神經元i與神經元j之間的連接強度(模擬生物神經元之間突觸連接強度)，稱之為連接權值；ui——代表神經元i的活躍值，即神經元狀態(tài)量；vj——代表外部環(huán)境或別的神經元的一個輸出構成的輸入向量；θi——代表神經元i的閾值。函數(shù)f表達了神經元的輸入輸出特性。在MP模型中，f一般定義為階躍函數(shù)：二、感知器模型感知器是一種早期的神經網(wǎng)絡模型，感知器中第一次引入了學習的概念，使人腦所具備的學習功能在基于符號處理的數(shù)學到了一定程度的模擬。1、簡單感知器簡單感知器模型實際上仍然是MP模型的結構，但是它通過采用監(jiān)督學習來逐步增強模式劃分的能力，達到所謂學習的目的。其結構如下圖所示

感知器處理單元對n個輸入進行加權和操作即：其中，wi為第i個輸入到處理單元的連接權值θ為閾值。f取階躍函數(shù).感知器在形式上與MP模型差不多，它們之間的區(qū)別在于神經元間連接權的變化。感知器的連接權定義為可變的，這樣感知器就被賦予了學習的特性。利用簡單感知器可以實現(xiàn)邏輯代數(shù)中的一些運算（與運算，或運算，非運算等）。多層感知器如果在輸入和輸出層間加上一層或多層的神經元(隱層神經元)，就可構成多層前向網(wǎng)絡，這里稱為多層感知器。

這里需指出的是：多層感知器只允許調節(jié)一層的連接權。這是因為按感知器的概念，無法給出一個有效的多層感知器學習算法。上述三層感知器中，有兩層連接權，輸入層與隱層單元間的權值是隨機設置的固定值，不被調節(jié)；輸出層與隱層間的連接權是可調節(jié)的?？梢宰C明，只要隱層和隱層單元數(shù)足夠多，多層感知器網(wǎng)絡可實現(xiàn)任何模式分類。但是，多層網(wǎng)絡的權值如何確定，即網(wǎng)絡如何進行學習，在感知器上沒有得到解決：當年Minsky等人就是因為對于非線性空間的多層感知器學習算法未能得到解決，使其對神經網(wǎng)絡的研究作出悲觀的結論。感知器收斂定理

對于一個N個輸入的感知器，如果樣本輸入函數(shù)是線性可分的，那么對任意給定的一個輸入樣本x，要么屬于某一區(qū)域F+，要么不屬于這一區(qū)域，記為F—。F+，F(xiàn)—兩類樣本構成了整個線性可分樣本空間。（即如果樣本線性可分，則感知器為收斂的。）[定理]如果樣本輸入函數(shù)是線性可分的，那么下面的感知器學習算法經過有限次迭代后，可收斂到正確的權值或權向量。假設樣本空間F是單位長度樣本輸入向量的集合，若存在一個單位權向量w*和一個較小的正數(shù)δ＞0，使得w*·x>=δ對所有的樣本輸入x都成立，則權向量w按下述學習過程僅需有限步就可收斂。因此，感知器學習迭代次數(shù)是一有限數(shù)，經過有限次迭代，學習算法可收斂到正確的權向量w*。對于上述證明，要說明的是：正數(shù)δ越小，迭代次數(shù)越多：其次，若樣本輸入函數(shù)不是線性可分的，則學習過程將出現(xiàn)振蕩，得不到正確的結果。[定理]假定隱含層單元可以根據(jù)需要自由設置，那么