人工神經網絡

第三講神經網絡的學習規(guī)則和感知器主講內容◆§3.1機器學習與神經網絡學習◆§3.2幾種神經網絡學習規(guī)則◆

§3.3感知器學習規(guī)則、算法以及收斂性

定理◆§3.4本講問題本章目的：①介紹各種學習算法的數學原理、分析學習性質；②說明算法的使用。（不講有關的算法的生理學、生物學原理）第三講神經網絡的學習規(guī)則和感知器┃主講人方濤§3.1機器學習與神經網絡學習3.1.1機器學習3.1.2神經網絡學習及其分類第三講神經網絡的學習規(guī)則和感知器┃主講人方濤3.1.1機器學習

機器學習━━AI的一個分支學科

§3.1機器學習與神經網絡學習

人類學習行為（客觀世界）→研究歸納、類比等基本方法→獲取各種知識和技能。機器學習→了解人類的各種學習過程→建立各種學習模型→賦予機器的學習能力。有了學習能力，才能不斷自我完善，自我校正，自動獲取和發(fā)現新的知識……

沒有機器學習的系統不會是一個真正的智能系統。機器學習目前已經有：事例學習、遺傳學習、類比學習……

第三講神經網絡的學習規(guī)則和感知器┃主講人方濤§3.1機器學習與神經網絡學習機器學習的發(fā)展歷史：①20世紀50年代中期

研究沒有任何初始知識的通用學習系統，尤其是神經網絡系統。

主要特點：數值表示和參數調整，比如感知機、生物進化過程模擬等。AI：符號表示和啟發(fā)式方法，即偏于模式識別②20世紀60年代初期

概念學習和語言獲取。

主要特點：符號表示（已成為AI主要方法）③20世紀70年代中后期專家系統和知識工程形成，對知識尤為關注，興盛時期。④20世紀80年代中后期

源于神經網絡的重新興起，使非符號的神經網絡研究和符號學習得以深入開展。

第三講神經網絡的學習規(guī)則和感知器┃主講人方濤§3.1機器學習與神經網絡學習機器學習的發(fā)展歷史：⑤20世紀90年代

有限樣本統計理論線性空間表示,Vapnik：SVM（1991）;

弱學習定理（1990）;Freund：AdaBoost（1996）⑥21世紀近10年----流形學習研究熱局部線性嵌入(LLE)

等距映射(Isomap)

拉普拉斯特征映射(LaplacianEigenmap)……

第三講神經網絡的學習規(guī)則和感知器┃主講人方濤17對象的層次性流形（HML）構造高維特征空間的層次性流形學習◆流形學習降維研究目標高維特征低維嵌套的非線性映射，提供目標特性低維表達的有效方式

LLE、ISOMap、LaplacianEigenmap、HessianEigenmap等多子流形◆多類別高分影像對象廣泛存在大類、小類等層次性結構單一結構的流形難以更準確進行非線性映射◆層次性流形（HML）不同類別、不同層次的多個子流形父流形與子流形間關系，通過自下而上“共

享特征”實現層次性鄰及矩陣18◆流形學習降維廣義回歸神經網絡GRNN解決out-of-sample通過層次性流形（HML）降維，解譯精度比單一流形性能顯著提高高維特征空間的層次性流形學習該方法得到了國際同行評價“Thisisacompletelyvalidapproachfromapragmaticperspective,andcanevenleadtobetterresults”§3.1機器學習與神經網絡學習3.1.2神經網絡學習及其分類人工神經網絡的主要學習算法：3.1.2.1有無導師的學習方式

與機器學習類似：事例學習、無導師學習、死記式學習…。主要分為：①監(jiān)督學習（有導師學習）

依據期望值與實際網絡輸出值之差來調整連接權，因此需要有導師來提供期望值。

將訓練樣本的數據加入到網絡輸入端，由期望輸出與網絡輸出得到誤差信號，由此控制連接權的調整，多次訓練使得連接權收斂到某個確定值。

反傳網絡、感知器、LVQ算法、廣義規(guī)則……第三講神經網絡的學習規(guī)則和感知器┃主講人方濤§3.1機器學習與神經網絡學習②非監(jiān)督學習（無導師學習）

神經元僅根據I/O來修正連接權。直接將網絡置于環(huán)境中，學習階段與工作階段于一體，具有自適應性。

比如：Hebb學習規(guī)則（簡單），競爭學習（復雜）、ART、自組織映射…③強化學習

（有導師學習的特例）

采用“評論員”來評價與給定輸入相對應的神經網絡輸出的優(yōu)度（質量因子）。

典型例子：遺傳算法（Gas）。3.1.2.2來自環(huán)境刺激模式的多少分類①聯想式學習②非聯想式學習第三講神經網絡的學習規(guī)則和感知器┃主講人方濤§3.1機器學習與神經網絡學習3.1.2.3網絡連接方式來分①階層②相互連接

一旦神經網絡的拓撲結構確定后，學習就是連接權的修正。學習模型：第三講神經網絡的學習規(guī)則和感知器┃主講人方濤§3.2幾種神經網絡學習規(guī)則3.2.1Hebb學習規(guī)則3.2.2剃度下降算法與學習規(guī)則3.2.３其它幾種學習規(guī)則第三講神經網絡的學習規(guī)則和感知器┃主講人方濤§3.2幾種神經網絡學習規(guī)則3.2.1Hebb學習規(guī)則

Hebb（美國心理學家）1949年提出假說（OrganizationofBehavior）：“如果兩個神經元A和B有一個共同的突觸S，那么當兩個神經元同時興奮時，突觸的強度增強?！?/p>

規(guī)則：當第i個和第j個神經元同時處于興奮狀態(tài)時，其連接權加強。（最簡單的非監(jiān)督學習）學習速率參數（訓練速率參數）、輸入輸出權的初始化：在0附近取很小的隨機值。第三講神經網絡的學習規(guī)則和感知器┃主講人方濤§3.2幾種神經網絡學習規(guī)則3.2.2剃度下降算法與學習規(guī)則

①剃度下降算法的一般形式

其中E為誤差函數。

誤差反傳訓練算法（BP）就是由梯隊算法推導出來的，收斂速度慢。②學習訓練算法（最小均方規(guī)則）

學習規(guī)則：用神經元的輸出值與期望值之間的最小平方誤差來調整連接權。第三講神經網絡的學習規(guī)則和感知器┃主講人方濤§3.2幾種神經網絡學習規(guī)則

剃度向量

標量

令

標量可以推廣于多層網絡。學習訓練算法為剃度下降算法的一個特例。

第三講神經網絡的學習規(guī)則和感知器┃主講人方濤§3.2幾種神經網絡學習規(guī)則3.2.3其它幾種學習規(guī)則

①內外星學習規(guī)則Grossberg1974年提出來的，由信號的流向確定是內星還是外星。

內星：節(jié)點通過連接權接受一組輸入信號。

連接權的學習規(guī)則：第三講神經網絡的學習規(guī)則和感知器┃主講人方濤§3.2幾種神經網絡學習規(guī)則

外星：節(jié)點通過連接權輸出一組信號。

連接權的學習規(guī)則：②Winner-Take-All（勝者為王）學習規(guī)則(無)③隨機訓練算法(概率/能量)④模擬退火算法⑤Widrow-Hoff學習規(guī)則……第三講神經網絡的學習規(guī)則和感知器┃主講人方濤§3.3感知器學習規(guī)則、算法以及收斂性定理第三講神經網絡的學習規(guī)則和感知器┃主講人方濤3.3.1感知器學習規(guī)則及算法3.2.2簡單感知器的局限性3.2.３感知器的收斂性Theconceptualschemefor‘learning’inthiscontextisamachinewithaninputchannelforfigures,apairofYESandNOoutputindicators,andareinforcementor‘reward’buttonthatthemachine’soperatorcanusetoindicatehisapprovalordisapprovalofthemachine’sbehavior.”——M.L.MinskyandS.A.Papert,“Perceptron”(1988)§3.3感知器學習規(guī)則、算法以及收斂性定理第三講神經網絡的學習規(guī)則和感知器┃主講人方濤3.3.1感知器學習規(guī)則及算法

感知器（perceptron）是1957年美國Rosenblatt提出的單層計算單元的網絡，相當于一個神經元。也稱線性閾值單元（LTU）?！?.3感知器學習規(guī)則、算法以及收斂性定理第三講神經網絡的學習規(guī)則和感知器┃主講人方濤

在感知器中，連接權是可以改變的，即可以學習訓練的。Rosenblatt已證明如果兩類模式是線性可區(qū)分的，則算法一定會收斂，即連接權一定會存在，否則在分類邊界產生震蕩，使連接權不收斂。

學習規(guī)則：

學習信號（或導師信號）：期望值d與實際輸出值之差。連接權的調整形式：學習速率參數常常，有助于訓練規(guī)則朝正確解收斂，太小，將產生慢收斂，太大，將可能引起震蕩?！?.3感知器學習規(guī)則、算法以及收斂性定理第三講神經網絡的學習規(guī)則和感知器┃主講人方濤

迭代算法過程：①確定初始值，包括連接權較小的非零隨機值（包括閾值）；②輸入不同的訓練樣本和導師信號d或者期望的輸出；③計算實際輸出④修正連接權⑤轉入②步，重復②～④的步驟，直到連接權向量收斂，停止迭代訓練過程。ANN的學習過程就是訓練過程，在將訓練樣本集輸入到網絡的過程中，按照一定的方式來調整神經元之間的聯結權重值，使得網絡能夠將訓練樣本集的內涵以聯結權重矩陣的方式存儲起來，從而使得網絡在接受輸入時，能夠給出適當的輸出。

§3.3感知器學習規(guī)則、算法以及收斂性定理第三講神經網絡的學習規(guī)則和感知器┃主講人方濤3.3.2簡單感知器的局限性

僅能進行簡單的線性分類和解決一階謂詞邏輯。W/|W|二維的廣義線性可分離方程：n維的廣義線性可分離方程：§3.3感知器學習規(guī)則、算法以及收斂性定理第三講神經網絡的學習規(guī)則和感知器┃主講人方濤3.3.2簡單感知器的局限性

“線性不可分”問題的困境及其解決1969年，Minsky和Papert在“Perceptron”一書中從理論上證明單層感知器無法解決許多簡單的問題，包括“異或(XOR)”問題。使得ANN理論的發(fā)展在1970～80年代處于低潮。導致政府和企業(yè)資助減少，研究人員撤退……MarvinMinskyMITMediaLabandMITAILab

ToshibaProfessorofMediaArtsandSciences

ProfessorofE.E.andC.S.,M.I.T

§3.3感知器學習規(guī)則、算法以及收斂性定理第三講神經網絡的學習規(guī)則和感知器┃主講人方濤對異或（Exclusive-OR-XOR）問題，無法求解。XORy01x001110XOR是一個雙輸入、單輸出問題。對應的單層感知器為：xyabzax+by=xy無論如何選擇參數a，b，，都無法滿足劃分。這種由單層感知器不能表達的問題稱為線性不可分問題。盡管簡單感知器學習算法有局限性，但是它還是給出了單個神經元的自組織、自學習的算法，對神經網絡研究有其重要意義?！?.3感知器學習規(guī)則、算法以及收斂性定理第三講神經網絡的學習規(guī)則和感知器┃主講人方濤3.3.3感知器的收斂性

收斂定理：（1958年Rosenblatt里程碑式的進展）

假設函數線性可分，那么經過感知器學習算法有限次迭代后，可以收斂到正確的權值或者權向量。

假定①訓練樣本為單位向量；②依據函數的線性可區(qū)分性，將所有小于0的輸出都歸化為大于0的輸出，即

則以替換，則有

只需證明：如果存在使得則

下列