神經(jīng)網(wǎng)絡(luò)學習課件

2008-2009學年第1學期摘自《TalkingNets:AnOralHistoryofNeuralNetworks》封面2008-2009學年第1學期摘自《TalkingNets12008-2009學年第1學期神經(jīng)網(wǎng)絡(luò)基礎(chǔ)公元前400年左右，柏拉圖和亞里士多德就曾對人類認知、記憶、思維進行過研究；19世紀末，出現(xiàn)了神經(jīng)元學說；美國生物學家W.James在《Physiology》一書中提到，“人腦中兩個基本單元靠得較近時，一個單元的興奮會傳到另一個單元；20世紀40年代，神經(jīng)解剖學、神經(jīng)生理學、神經(jīng)元的電生理過程等有了突破性進展。2008-2009學年第1學期神經(jīng)網(wǎng)絡(luò)基礎(chǔ)公元前400年左右22008-2009學年第1學期人腦中神經(jīng)元（神經(jīng)細胞）的結(jié)構(gòu)Nucleus：核

Cellbody：細胞體

Dentrite：樹突

Axon：軸突2008-2009學年第1學期人腦中神經(jīng)元（神經(jīng)細胞）的結(jié)構(gòu)32008-2009學年第1學期神經(jīng)元之間的電信號傳遞軸突后部裂出許多分枝，分枝末端有突觸，突觸與樹突連接；軸突中的信號經(jīng)突觸轉(zhuǎn)換為“阻止”或“激活”信號；當神經(jīng)元的“凈輸入”超過閾值時，其沿軸突發(fā)出信號；改變突觸的效能，神經(jīng)元之間的影響隨之改變，學習就發(fā)生了。突觸（神經(jīng)鍵）2008-2009學年第1學期神經(jīng)元之間的電信號傳遞軸突后部42008-2009學年第1學期生物神經(jīng)元的結(jié)構(gòu)摘自張仰森《人工智能原理與應(yīng)用》隨書課件2008-2009學年第1學期生物神經(jīng)元的結(jié)構(gòu)摘自張仰森《人52008-2009學年第1學期1943年，W.S.McCulloch和W.A.Pitts合作提出了第一個人工神經(jīng)元模型（M-P模型）；Sumy0T1f是閾值為T的階躍函數(shù)∑I1I2IN…W1W2WNyM-P模型中輸入、輸出的關(guān)系摘自.eg/rehan/ann/2_3_1%20The%20McCulloch-Pitts%20Model%20of%20Neuron.htm2008-2009學年第1學期1943年，W.S.McCu62008-2009學年第1學期M-P神經(jīng)元模型樹突加和細胞體閾值軸突參考：突觸2008-2009學年第1學期M-P神經(jīng)元模型樹突加和細胞體7每次調(diào)整，只有一個神經(jīng)元按其凈輸入調(diào)整輸出（即狀態(tài)），而其他神經(jīng)元保持狀態(tài)不變；Y=(y1,y2,…,yn)一個神經(jīng)元興奮，通過突觸抑制相鄰神經(jīng)元；yj(t+1)=f(netj)設(shè)計一個神經(jīng)網(wǎng)絡(luò)模型，19世紀末，出現(xiàn)了神經(jīng)元學說；抑制現(xiàn)象使神經(jīng)元之間出現(xiàn)競爭；科學出版社,2006年3月第1版.2008-2009學年第1學期這個過程稱為神經(jīng)網(wǎng)絡(luò)的學習或訓練。2008-2009學年第1學期每次調(diào)整，只有一個神經(jīng)元按其凈輸入調(diào)整輸出（即狀態(tài)），而其他神經(jīng)元保持狀態(tài)不變；2008-2009學年第1學期James在《Physiology》一書中提到，“人腦中兩個基本單元靠得較近時，一個單元的興奮會傳到另一個單元；這是一種離散型反饋式神經(jīng)網(wǎng)絡(luò)（英縮寫DHNN）；2008-2009學年第1學期CPN對偶傳播神經(jīng)網(wǎng)絡(luò)蘊含在連接權(quán)值、閾值、網(wǎng)絡(luò)結(jié)構(gòu)中；對Wj*(t+1)進行歸一化2008-2009學年第1學期1949年，DonalaU.Hebb在“TheOrganizationofBehavior”一書中認為學習的過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的連接強度隨著突觸前后神經(jīng)元的活動而變化；連接權(quán)的學習律正比于突觸前后兩個神經(jīng)元的活動狀態(tài)值的乘積；可假設(shè)權(quán)是對稱的，細胞的互連結(jié)構(gòu)是通過改變彼此的連接權(quán)創(chuàng)造出來的。突觸連接強度的可變性是學習和記憶的基礎(chǔ)每次調(diào)整，只有一個神經(jīng)元按其凈輸入調(diào)整輸出（即狀態(tài)），而其他82008-2009學年第1學期Hebb規(guī)則這是神經(jīng)網(wǎng)絡(luò)的第1個學習算法；神經(jīng)元的輸出連接權(quán)值的調(diào)整公式學習率凈輸入2008-2009學年第1學期Hebb規(guī)則這是神經(jīng)網(wǎng)絡(luò)的第192008-2009學年第1學期1957年，F(xiàn)rankRosenblatt在M-P模型基礎(chǔ)上，定義了一個具有單層計算單元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，取名為“感知器”。輸入層計算層(輸出層)…………x1x2xixny1yjymw1jwnj2008-2009學年第1學期1957年，F(xiàn)rankRos10人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.(1,-1,-1)設(shè)X1和X2是表示兩個樣本的向量；在串行方式下，為使網(wǎng)絡(luò)收斂，W應(yīng)為對稱陣；每次調(diào)整，只有一個神經(jīng)元按其凈輸入調(diào)整輸出（即狀態(tài)），而其他神經(jīng)元保持狀態(tài)不變；BAM雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)對于樣本少量錯誤不敏感。Vj可對應(yīng)0至1之間的任意實數(shù)人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.2008-2009學年第1學期2008-2009學年第1學期當神經(jīng)元的“凈輸入”超過閾值時，其沿軸突發(fā)出信號；(1,-1,-1)只允許某一層的連接權(quán)值可調(diào)，因為無法知道網(wǎng)絡(luò)隱層的神經(jīng)元的理想輸出；James在《Physiology》一書中提到，“人腦中兩個基本單元靠得較近時，一個單元的興奮會傳到另一個單元；“感知器”是怎么訓練的呢？2008-2009學年第1學期2008-2009學年第1學期2008-2009學年第1學期人工神經(jīng)網(wǎng)絡(luò)不適合高精度計算；多層感知器可解決單層感知器無法解決的某些問題，例如，用二層感知器就可解決異或問題。Y(0)=(x1(0),x2(0),…,xn(0))2008-2009學年第1學期設(shè)計一個神經(jīng)網(wǎng)絡(luò)模型，除了明確網(wǎng)絡(luò)的結(jié)構(gòu)、神經(jīng)元的傳輸函數(shù)（f）；還要給出學習算法。學習算法用于得出神經(jīng)網(wǎng)絡(luò)中的各個參數(shù)。學習算法通常是迭代算法，對應(yīng)神經(jīng)網(wǎng)絡(luò)的演變過程；算法收斂到一個穩(wěn)定狀態(tài)時，神經(jīng)網(wǎng)絡(luò)的各參數(shù)（連接權(quán)值、閾值等）就基本不變了；這個過程稱為神經(jīng)網(wǎng)絡(luò)的學習或訓練。人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.2008-2009學年第1學期設(shè)計一112008-2009學年第1學期人工神經(jīng)網(wǎng)絡(luò)的兩個操作模式訓練模式（trainingmode）準備大量的有教師指導的（或無教師指導的）的訓練樣本（即實例），對ANN進行訓練，確定ANN的內(nèi)部參數(shù)（甚至結(jié)構(gòu)）。使用模式（usingmode）輸入一個實際例子，讓ANN分析并給出結(jié)果。2008-2009學年第1學期人工神經(jīng)網(wǎng)絡(luò)的兩個操作模式訓練122008-2009學年第1學期“感知器”是怎么訓練的呢？假設(shè)每個樣本含n個屬性，用向量(x1,x2,…,xn)表示；若X為樣本變量，X∈Rn；wij是xi到神經(jīng)元j

的連接權(quán)值，Wj是神經(jīng)元j

的輸入連接的權(quán)值向量，即Wj=(w1j,w2j,…,

wnj)；先隨機設(shè)置{wij}和{θj

}，θj

是神經(jīng)元

j

的閾值；不同神經(jīng)元的參數(shù)（包括連接權(quán)值和閾值）的學習是相互獨立的，故只需給出一個神經(jīng)元的學習算法。2008-2009學年第1學期“感知器”是怎么訓練的呢？假設(shè)132008-2009學年第1學期神經(jīng)元j的參數(shù)怎么學習呢？樣本必須是有教師指導的，即預(yù)先知道其分類；輸入(x1,x2,…,xn)時，神經(jīng)元j的輸出應(yīng)為dj。對于離散感知器，yj按下式計算。

則wij的調(diào)整規(guī)則是

wij(t+1)=wij(t)+η(dj-yj)xiη為調(diào)整步幅系數(shù)，η>02008-2009學年第1學期神經(jīng)元j的參數(shù)怎么學習呢？142008-2009學年第1學期“感知器”對線性可分問題具有分類能力若樣本空間為Rn，存在n-1維的超平面可將樣本分為兩類，則稱線性可分。線性可分的二維樣本空間存在至少一組wij和θj

，使得對應(yīng)兩個子空間的神經(jīng)元輸出分別為0和1。2008-2009學年第1學期“感知器”對線性可分問題具有分152008-2009學年第1學期t樣本X期望輸出dW(t)實際輸出y=W(t)TXW(t+1)=W(t)+η(d－y)X0(1,-1,-1)-1(0,0,0)0(-0.4,0.4,0.4)1(1,1,-1)1(-0.4,0.4,0.4)-0.4(0.16,0.96,-0.16)2(1,-1,-1)-1(0.16,0.96,-0.16)-0.64(0.016,1.104,-0.016)3(1,1,-1)1(0.016,1.104,-0.016)1.136(0.038,1.050,-0.038)∞…………(0,1,0)例：連接強度W的學習過程（η=0.4）驗證：

(0,1,0)T(1,-1,-1)=-1(0,1,0)T(1,1,-1)=12008-2009學年第1學期t樣本期望W(t)實際輸出W(162008-2009學年第1學期“感知器”無法解決線性不可分問題；1969年，Minsky和Papert指出了“感知器”的這種局限性，例如，“感知器”無法實現(xiàn)“異或”邏輯。邏輯“與”邏輯“異或”x1x2yx1x2y0000000100111001011111102008-2009學年第1學期“感知器”無法解決線性不可分問172008-2009學年第1學期設(shè)輸入向量X=(x1,x2)，神經(jīng)元j的輸出為：學習邏輯“與”時，有至少存在一組w1j、w2j和θ滿足上述方程組，即單結(jié)點感知器對2輸入的邏輯“與”

問題有分類能力。2008-2009學年第1學期設(shè)輸入向量X=(x1,x2)182008-2009學年第1學期學習邏輯“異或”時，有不存在任何一組w1j、w2j和θ滿足上述方程組，即單結(jié)點感知器不能對2輸入的邏輯“異或”

問題求解。011x1x2線性可分011x1x2線性不可分2008-2009學年第1學期學習邏輯“異或”時，有0192008-2009學年第1學期多層感知器采用二層或多層感知器；只允許某一層的連接權(quán)值可調(diào)，因為無法知道網(wǎng)絡(luò)隱層的神經(jīng)元的理想輸出；要允許各層的連接權(quán)值可調(diào)，需要用1986年提出的誤差反向傳播（即BP）學習算法。多層感知器可解決單層感知器無法解決的某些問題，例如，用二層感知器就可解決異或問題。2008-2009學年第1學期多層感知器采用二層或多層感知器202008-2009學年第1學期70年代，集成電路使計算機快速發(fā)展；在“感知器”局限性的困擾下，機器學習的熱點由連接主義（即神經(jīng)網(wǎng)絡(luò)）轉(zhuǎn)向符號主義；70年代被認為是ANN的研究低潮期，但仍有ANN的一些重要成果出現(xiàn)。72年，芬蘭T.Kohonen教授提出了無教師學習網(wǎng)絡(luò)SOM（Self-OrganizingfeatureMap）;76年，美國Grossberg教授提出了ART（AdaptiveResonnanceTheory）。自組織競爭網(wǎng)絡(luò)模型2008-2009學年第1學期70年代，集成電路使計算機快速21一個神經(jīng)元興奮，通過突觸抑制相鄰神經(jīng)元；不同神經(jīng)元的參數(shù)（包括連接權(quán)值和閾值）的學習是相互獨立的，故只需給出一個神經(jīng)元的學習算法。SOM中的競爭學習算法科學出版社,2006年3月第1版.求輸出與期望輸出的誤差e由初始狀態(tài)，網(wǎng)絡(luò)開始演化。在串行方式下，為使網(wǎng)絡(luò)收斂，W應(yīng)為對稱陣；人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.2008-2009學年第1學期保證給定的樣本是網(wǎng)絡(luò)的吸引子，且有一定的吸引域。2008-2009學年第1學期人工神經(jīng)網(wǎng)絡(luò)是一種并行計算模型；每次調(diào)整，只有一個神經(jīng)元按其凈輸入調(diào)整輸出（即狀態(tài)），而其他神經(jīng)元保持狀態(tài)不變；CPN對偶傳播神經(jīng)網(wǎng)絡(luò)這個過程稱為神經(jīng)網(wǎng)絡(luò)的學習或訓練。2008-2009學年第1學期2008-2009學年第1學期對于n層網(wǎng)絡(luò)結(jié)構(gòu)，學習后可得到n-1個超曲面，組成復合曲面，從而實現(xiàn)復雜的分類任務(wù)；保證給定的樣本是網(wǎng)絡(luò)的吸引子，且有一定的吸引域。人工神經(jīng)網(wǎng)絡(luò)有較強的容錯性和魯棒性；保證給定的樣本是網(wǎng)絡(luò)的吸引子，且有一定的吸引域。當神經(jīng)元的“凈輸入”超過閾值時，其沿軸突發(fā)出信號；2008-2009學年第1學期自組織競爭神經(jīng)網(wǎng)絡(luò)模型生物神經(jīng)網(wǎng)絡(luò)中，有側(cè)抑制現(xiàn)象；一個神經(jīng)元興奮，通過突觸抑制相鄰神經(jīng)元；它越興奮，對周圍神經(jīng)元的抑制作用越強。抑制現(xiàn)象使神經(jīng)元之間出現(xiàn)競爭；起初，各神經(jīng)元都處于（不同程度）興奮狀態(tài)，最后“勝者為王”。自組織特征映射（SOM）和自適應(yīng)共振理論（ART）都屬于這類神經(jīng)網(wǎng)絡(luò)模型。一個神經(jīng)元興奮，通過突觸抑制相鄰神經(jīng)元；2008-2009學222008-2009學年第1學期SOM的典型結(jié)構(gòu)輸入層競爭層(輸出層)…………x1x2xixny1yjymw1jwnj2008-2009學年第1學期SOM的典型結(jié)構(gòu)輸入層競爭層…232008-2009學年第1學期SOM可實現(xiàn)聚類分析聚類在沒有教師指導的情況下，自動尋找樣本的屬性關(guān)系，將相似的樣本劃歸為一類。分類已知各樣本的類別，在類別知識（即教師信號）的指導下，形成分類規(guī)則，將各樣本分到各自的類中。共同點：尋找樣本-類的映射函數(shù)。2008-2009學年第1學期SOM可實現(xiàn)聚類分析242008-2009學年第1學期樣本相似度的測量設(shè)X1和X2是表示兩個樣本的向量；歐式距離法余弦法（向量夾角法）X1X2X1－

X22008-2009學年第1學期樣本相似度的測量設(shè)X1和252008-2009學年第1學期SOM中的競爭學習算法對樣本X

和各神經(jīng)元的連接權(quán)值向量Wj規(guī)一化尋找獲勝的神經(jīng)元jX1XiXnw1jwijwnj……yj輸入到神經(jīng)元j的連接2008-2009學年第1學期SOM中的競爭學習算法對樣本262008-2009學年第1學期SOM中的競爭學習算法網(wǎng)絡(luò)輸出與權(quán)值調(diào)整對Wj*(t+1)進行歸一化如果α足夠小則退出；否則衰減α，轉(zhuǎn)①2008-2009學年第1學期SOM中的競爭學習算法網(wǎng)絡(luò)輸出272008-2009學年第1學期1982年，美國物理學家JohnJ.Hopfield提出了一種全連接神經(jīng)網(wǎng)絡(luò)模型（即Hopfield模型）；這是一種離散型反饋式神經(jīng)網(wǎng)絡(luò)（英縮寫DHNN）；引入了“能量函數(shù)”概念，支持對神經(jīng)網(wǎng)絡(luò)運行穩(wěn)定性進行判定；成功求解旅行商問題（TravelingSalesmanProblems）。1984年，他又提出了連續(xù)型Hopfield網(wǎng)絡(luò)（英縮寫CHNN）。2008-2009學年第1學期1982年，美國物理學家Joh282008-2009學年第1學期離散型Hopfield神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型一般有wii=0，wij=wjiy1y2yjynθ1θ2θjθnw2jx1x2xjxnwj2…………2008-2009學年第1學期離散型Hopfield神經(jīng)網(wǎng)絡(luò)292008-2009學年第1學期神經(jīng)元的輸出也稱神經(jīng)元的狀態(tài)；所有神經(jīng)元的狀態(tài)構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài)Y；

Y=(y1,y2,…,yn)網(wǎng)絡(luò)輸入就是網(wǎng)絡(luò)狀態(tài)的初始值Y(0)；

Y(0)=(x1(0),x2(0),…,xn(0))由初始狀態(tài)，網(wǎng)絡(luò)開始演化。

yj(t+1)=f(netj)

這里，netj為神經(jīng)元j的凈輸入，f(·)為神經(jīng)元的特性函數(shù)（也稱作用、傳遞或轉(zhuǎn)移函數(shù)）。y1y2yjynθnx1x2xjxn…………2008-2009學年第1學期神經(jīng)元的輸出也稱神經(jīng)元的狀態(tài)；302008-2009學年第1學期常見的特性函數(shù)10fu10fu10fuuk閾值型S狀(如sigmoid函數(shù))分段線性(飽和線性)2008-2009學年第1學期常見的特性函數(shù)10fu10fu312008-2009學年第1學期對于DHNN，特性函數(shù)f可以是閾值型也可以是分段線性型凈輸入netj的計算2008-2009學年第1學期對于DHNN，特性函數(shù)f可322008-2009學年第1學期DHNN的兩種學習方式串行方式（也稱異步方式）每次調(diào)整，只有一個神經(jīng)元按其凈輸入調(diào)整輸出（即狀態(tài)），而其他神經(jīng)元保持狀態(tài)不變；神經(jīng)元狀態(tài)的調(diào)整次序可按某種規(guī)定次序進行，也可隨機選定。并行方式（也稱同步方式）每次調(diào)整，各神經(jīng)元都按其凈輸入調(diào)整各自的狀態(tài)。

y1y2yjynθnx1x2xjxn…………2008-2009學年第1學期DHNN的兩種學習方式串行方式33BAM雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)2008-2009學年第1學期2008-2009學年第1學期2008-2009學年第1學期從輸入層到輸出層，逐層計算結(jié)點狀態(tài)；2008-2009學年第1學期自組織競爭神經(jīng)網(wǎng)絡(luò)模型“感知器”是怎么訓練的呢？Nucleus：核Cellbody：細胞體不存在任何一組w1j、w2j和θ滿足上述方程組，即單結(jié)點感知器不能對2輸入的邏輯“異或”問題求解。2008-2009學年第1學期串行方式（也稱異步方式）串行方式（也稱異步方式）連接權(quán)的學習律正比于突觸前后兩個神經(jīng)元的活動狀態(tài)值的乘積；學習算法用于得出神經(jīng)網(wǎng)絡(luò)中的各個參數(shù)。1986年，MIT出版社（Cambridge）出版了J.人工神經(jīng)網(wǎng)絡(luò)的兩個操作模式Nucleus：核Cellbody：細胞體2008-2009學年第1學期2008-2009學年第1學期改變突觸的效能，神經(jīng)元之間的影響隨之改變，學習就發(fā)生了。2008-2009學年第1學期2008-2009學年第1學期DHNN可能收斂于某個穩(wěn)定狀態(tài)，也可能產(chǎn)生振蕩構(gòu)成極限環(huán)；在串行方式下，為使網(wǎng)絡(luò)收斂，W應(yīng)為對稱陣；在并行方式下，為使網(wǎng)絡(luò)收斂，W應(yīng)為非負定對稱陣；保證給定的樣本是網(wǎng)絡(luò)的吸引子，且有一定的吸引域。參考：朱大奇,史慧.人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.第3章.科學出版社,2006年3月第1版.y1y2yjynθnx1x2xjxn…………BAM雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)2008-2009學年第1學期DH342008-2009學年第1學期連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)模型該模型可表示為下列的非線性微分方程組：ui是神經(jīng)元i的膜電位，Ci和Ri分別是輸入電容和電阻，Ii是電路外的輸入電流，wij是神經(jīng)元i到神經(jīng)元j的連接強度，f(u)是u的非線性函數(shù)。這是一個N輸入、N輸出的有N組運算放大器的電路，每個運放輸出有到各運放輸入的反饋通路。2008-2009學年第1學期連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)352008-2009學年第1學期連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)的神經(jīng)元模型VjVjujCj…ViRij

=1/wijRjVj可對應(yīng)0至1之間的任意實數(shù)2008-2009學年第1學期連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)362008-2009學年第1學期Hopfield網(wǎng)絡(luò)是一種非線性的動力網(wǎng)絡(luò)；可通過反復的網(wǎng)絡(luò)動態(tài)迭代來求解問題，這是符號邏輯方法所不具有的特性；在求解某些問題時，其求解方法與人類的求解方法很相似；所求得的解可能不是最佳解，但其求解速度快。2008-2009學年第1學期Hopfield網(wǎng)絡(luò)是一種非線372008-2009學年第1學期1986年，MIT出版社（Cambridge）出版了J.L.Rumelhart和D.E.McClelland主編的“ParallelDistributedProcessing:ExplorationintheMicrostructuresofCognition”一書；其中，詳細分析了多層前饋網(wǎng)絡(luò)中的誤差反向傳播（ErrorBackPropagation）算法，即BP算法，它很好地解決了感知器局限性問題。2008-2009學年第1學期1986年，MIT出版社（Ca382008-2009學年第1學期前饋型神經(jīng)網(wǎng)絡(luò)輸入層輸出層隱層…x1xixN1……………y1yiyNm……2008-2009學年第1學期前饋型神經(jīng)網(wǎng)絡(luò)輸入層輸出層隱層392008-2009學年第1學期BP算法正向傳播從輸入層到輸出層，逐層計算結(jié)點狀態(tài)；每一層結(jié)點的狀態(tài)只影響下一層結(jié)點的狀態(tài)。如輸出層沒有得到期望輸出（即有誤差），轉(zhuǎn)入反向傳播過程。反向傳播將誤差信號沿原路返回，通過修改各層的連接權(quán)值，使誤差信號遞減直到最小。2008-2009學年第1學期BP算法正向傳播40自組織競爭神經(jīng)網(wǎng)絡(luò)模型對于樣本少量錯誤不敏感。2008-2009學年第1學期2008-2009學年第1學期對樣本X和各神經(jīng)元的連接權(quán)值向量Wj規(guī)一化di：輸出層神經(jīng)元i的期望輸出2008-2009學年第1學期保證給定的樣本是網(wǎng)絡(luò)的吸引子，且有一定的吸引域。參考：朱大奇,史慧.ui是神經(jīng)元i的膜電位，Ci和Ri分別是輸入電容和電阻，Ii是電路外的輸入電流，wij是神經(jīng)元i到神經(jīng)元j的連接強度，f(u)是u的非線性函數(shù)。凈輸入netj的計算除了明確網(wǎng)絡(luò)的結(jié)構(gòu)、神經(jīng)元的傳輸函數(shù)（f）；Kohonen教授提出了無教師學習網(wǎng)絡(luò)SOM（Self-OrganizingfeatureMap）;“感知器”是怎么訓練的呢？摘自http://osp.2008-2009學年第1學期若X為樣本變量，X∈Rn；2008-2009學年第1學期2008-2009學年第1學期“感知器”對線性可分問題具有分類能力人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.神經(jīng)網(wǎng)絡(luò)的魯棒性與精確計算本身就是矛盾的。2008-2009學年第1學期是還有樣本嗎BP算法的流程圖初始化給定輸入向量和期望輸出求隱層、輸出層各結(jié)點輸出求輸出與期望輸出的誤差e求誤差梯度權(quán)值學習計算隱層結(jié)點誤差否設(shè)置連接權(quán)和閾的初值有e足夠小結(jié)束無自組織競爭神經(jīng)網(wǎng)絡(luò)模型2008-2009學年第1學期是還有樣412008-2009學年第1學期多層前饋網(wǎng)絡(luò)中的符號xi：樣本的第i個屬性yi：輸出層神經(jīng)元i的輸出di：輸出層神經(jīng)元i的期望輸出wijk：第i層神經(jīng)元

j

到第i+1層神經(jīng)元k的連接權(quán)值oij：第i層神經(jīng)元j的輸出θij：第

i

層神經(jīng)元

j

的閾值netij：第i層神經(jīng)元j的凈輸入Ni：第

i

層神經(jīng)元的數(shù)目2008-2009學年第1學期多層前饋網(wǎng)絡(luò)中的符號xi：樣本422008-2009學年第1學期BP算法中的前向計算特征函數(shù)必須是有界連續(xù)可微的，如sigmoid函數(shù)2008-2009學年第1學期BP算法中的前向計算特征函數(shù)必432008-2009學年第1學期BP算法中的反向計算輸出層神經(jīng)元j的狀態(tài)誤差網(wǎng)絡(luò)學習的目標函數(shù)wijk的調(diào)整量2008-2009學年第1學期BP算法中的反向計算輸出層神經(jīng)442008-2009學年第1學期BP算法中的反向計算（續(xù)）2008-2009學年第1學期BP算法中的反向計算（續(xù)）452008-2009學年第1學期BP學習算法的特點特性函數(shù)是連續(xù)可微的，通過學習可得到超曲面來劃分樣本空間；對于n層網(wǎng)絡(luò)結(jié)構(gòu)，學習后可得到n-1個超曲面，組成復合曲面，從而實現(xiàn)復雜的分類任務(wù)；缺點：算法的收斂速度慢；依據(jù)梯度下降理論修改參數(shù)，可能出現(xiàn)局部極小問題。2008-2009學年第1學期BP學習算法的特點特性函數(shù)是連462008-2009學年第1學期其他神經(jīng)網(wǎng)絡(luò)模型BAM雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)CMAC小腦神經(jīng)網(wǎng)絡(luò)RBF徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)CPN對偶傳播神經(jīng)網(wǎng)絡(luò)量子神經(jīng)網(wǎng)絡(luò)參考：朱大奇，史慧.人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.科學出版社，2006.32008-2009學年第1學期其他神經(jīng)網(wǎng)絡(luò)模型BAM雙向聯(lián)想472008-2009學年第1學期小結(jié)人工神經(jīng)網(wǎng)絡(luò)是一種并行計算模型；不同于馮·諾依曼計算機；但神經(jīng)網(wǎng)絡(luò)計算機還沒有出現(xiàn)，一般在馮氏計算機上進行串行模擬。人工神經(jīng)網(wǎng)絡(luò)中知識是分布存儲的；蘊含在連接權(quán)值、閾值、網(wǎng)絡(luò)結(jié)構(gòu)中；神經(jīng)網(wǎng)絡(luò)學習不僅是參數(shù)學習，還包括結(jié)構(gòu)學習。對人類而言，完全透明，無法理解；教材P252第2行，“不透明”應(yīng)為“透明”2008-2009學年第1學期小結(jié)人工神經(jīng)網(wǎng)絡(luò)是一種并行計算482008-2009學年第1學期小結(jié)（續(xù)）人工神經(jīng)網(wǎng)絡(luò)有較強的容錯性和魯棒性；對于樣本少量錯誤不敏感。人工神經(jīng)網(wǎng)絡(luò)的學習能力有別于符號主義；在符號主義機器學習中，根據(jù)樣本修改規(guī)則，怎么修改由人事先確定；而神經(jīng)網(wǎng)絡(luò)的學習從隨機初始值開始，在理論上學習結(jié)果不依賴初始值，且學習過程無人工干預(yù)。2008-2009學年第1學期小結(jié)（續(xù)）人工神經(jīng)網(wǎng)絡(luò)有較強的492008-2009學年第1學期小結(jié)（續(xù)）人工神經(jīng)網(wǎng)絡(luò)不適合高精度計算；神經(jīng)網(wǎng)絡(luò)的魯棒性與精確計算本身就是矛盾的。人工神經(jīng)網(wǎng)絡(luò)的學習還有待研究。目前的學習算法中，使用了過多的經(jīng)驗參數(shù)；有些學習算法的收斂速度太慢。2008-2009學年第1學期小結(jié)（續(xù)）人工神經(jīng)網(wǎng)絡(luò)不適合高502008-2009學年第1學期摘自《TalkingNets:AnOralHistoryofNeuralNetworks》封面2008-2009學年第1學期摘自《TalkingNets512008-2009學年第1學期設(shè)計一個神經(jīng)網(wǎng)絡(luò)模型，除了明確網(wǎng)絡(luò)的結(jié)構(gòu)、神經(jīng)元的傳輸函數(shù)（f）；還要給出學習算法。學習算法用于得出神經(jīng)網(wǎng)絡(luò)中的各個參數(shù)。學習算法通常是迭代算法，對應(yīng)神經(jīng)網(wǎng)絡(luò)的演變過程；算法收斂到一個穩(wěn)定狀態(tài)時，神經(jīng)網(wǎng)絡(luò)的各參數(shù)（連接權(quán)值、閾值等）就基本不變了；這個過程稱為神經(jīng)網(wǎng)絡(luò)的學習或訓練。2008-2009學年第1學期設(shè)計一個神經(jīng)網(wǎng)絡(luò)模型，52“感知器”是怎么訓練的呢？起初，各神經(jīng)元都處于（不同程度）興奮狀態(tài)，最后“勝者為王”。2008-2009學年第1學期人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.2008-2009學年第1學期摘自張仰森《人工智能原理與應(yīng)用》隨書課件Vj可對應(yīng)0至1之間的任意實數(shù)多層感知器可解決單層感知器無法解決的某些問題，例如，用二層感知器就可解決異或問題。人工神經(jīng)網(wǎng)絡(luò)的學習能力有別于符號主義；抑制現(xiàn)象使神經(jīng)元之間出現(xiàn)競爭；連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)的神經(jīng)元模型對人類而言，完全透明，無法理解；2008-2009學年第1學期McCulloch和W.人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.若樣本空間為Rn，存在n-1維的超平面可將樣本分為兩類，則稱線性可分。設(shè)X1和X2是表示兩個樣本的向量；McCulloch和W.2008-2009學年第1學期2008-2009學年第1學期2008-2009學年第1學期2008-2009學年第1學期2008-2009學年第1學期多層感知器采用二層或多層感知器；只允許某一層的連接權(quán)值可調(diào)，因為無法知道網(wǎng)絡(luò)隱層的神經(jīng)元的理想輸出；要允許各層的連接權(quán)值可調(diào)，需要用1986年提出的誤差反向傳播（即BP）學習算法。多層感知器可解決單層感知器無法解決的某些問題，例如，用二層感知器就可解決異或問題。“感知器”是怎么訓練的呢？2008-2009學年第1學期多層532008-2009學年第1學期自組織競爭神經(jīng)網(wǎng)絡(luò)模型生物神經(jīng)網(wǎng)絡(luò)中，有側(cè)抑制現(xiàn)象；一個神經(jīng)元興奮，通過突觸抑制相鄰神經(jīng)元；它越興奮，對周圍神經(jīng)元的抑制作用越強。抑制現(xiàn)象使神經(jīng)元之間出現(xiàn)競爭；起初，各神經(jīng)元都處于（不同程度）興奮狀態(tài)，最后“勝者為王”。自組織特征映射（SOM）和自適應(yīng)共振理論（ART）都屬于這類神經(jīng)網(wǎng)絡(luò)模型。2008-2009學年第1學期自組織競爭神經(jīng)網(wǎng)絡(luò)模型生物神經(jīng)542008-2009學年第1學期對于DHNN，特性函數(shù)f可以是閾值型也可以是分段線性型凈輸入netj的計算2008-2009學年第1學期對于DHNN，特性函數(shù)f可552008-2009學年第1學期DHNN可能收斂于某個穩(wěn)定狀態(tài)，也可能產(chǎn)生振蕩構(gòu)成極限環(huán)；在串行方式下，為使網(wǎng)絡(luò)收斂，W應(yīng)為對稱陣；在并行方式下，為使網(wǎng)絡(luò)收斂，W應(yīng)為非負定對稱陣；保證給定的樣本是網(wǎng)絡(luò)的吸引子，且有一定的吸引域。參考：朱大奇,史慧.人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.第3章.科學出版社,2006年3月第1版.y1y2yjynθnx1x2xjxn…………2008-2009學年第1學期DHNN可能收斂于某個穩(wěn)定狀態(tài)562008-2009學年第1學期是還有樣本嗎BP算法的流程圖初始化給定輸入向量和期望輸出求隱層、輸出層各結(jié)點輸出求輸出與期望輸出的誤差e求誤差梯度權(quán)值學習計算隱層結(jié)點誤差否設(shè)置連接權(quán)和閾的初值有e足夠小結(jié)束無2008-2009學年第1學期是還有樣本嗎BP算法的流程圖初57人工神經(jīng)網(wǎng)絡(luò)的學習能力有別于符號主義；神經(jīng)元之間的電信號傳遞2008-2009學年第1學期2008-2009學年第1學期輸入(x1,x2,…,xn)時，神經(jīng)元j的輸出應(yīng)為dj。只允許某一層的連接權(quán)值可調(diào)，因為無法知道網(wǎng)絡(luò)隱層的神經(jīng)元的理想輸出；其中，詳細分析了多層前饋網(wǎng)絡(luò)中的誤差反向傳播（ErrorBackPropagation）算法，即BP算法，它很好地解決了感知器局限性問題。自組織特征映射（SOM）和自適應(yīng)共振理論（ART）都屬于這類神經(jīng)網(wǎng)絡(luò)模型。求輸出與期望輸出的誤差e2008-2009學年第1學期1969年，Minsky和Papert指出了“感知器”的這種局限性，例如，“感知器”無法實現(xiàn)“異或”邏輯。要允許各層的連接權(quán)值可調(diào)，需要用1986年提出的誤差反向傳播（即BP）學習算法。每次調(diào)整，各神經(jīng)元都按其凈輸入調(diào)整各自的狀態(tài)。McCulloch和W.2008-2009學年第1學期它越興奮，對周圍神經(jīng)元的抑制作用越強。若X為樣本變量，X∈Rn；將誤差信號沿原路返回，通過修改各層的連接權(quán)值，使誤差信號遞減直到最小。輸入(x1,x2,…,xn)時，神經(jīng)元j的輸出應(yīng)為dj。2008-2009學年第1學期對于n層網(wǎng)絡(luò)結(jié)構(gòu)，學習后可得到n-1個超曲面，組成復合曲面，從而實現(xiàn)復雜的分類任務(wù)；這是一個N輸入、N輸出的有N組運算放大器的電路，每個運放輸出有到各運放輸入的反饋通路。若X為樣本變量，X∈Rn；2008-2009學年第1學期19世紀末，出現(xiàn)了神經(jīng)元學說；這里，netj為神經(jīng)元j的凈輸入，f(·)為神經(jīng)元的特性函數(shù)（也稱作用、傳遞或轉(zhuǎn)移函數(shù)）。引入了“能量函數(shù)”概念，支持對神經(jīng)網(wǎng)絡(luò)運行穩(wěn)定性進行判定；(1,-1,-1)2008-2009學年第1學期2008-2009學年第1學期人工神經(jīng)網(wǎng)絡(luò)中知識是分布存儲的；人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.2008-2009學年第1學期2008-2009學年第1學期2008-2009學年第1學期2008-2009學年第1學期輸入(x1,x2,…,xn)時，神經(jīng)元j的輸出應(yīng)為dj。2008-2009學年第1學期訓練模式（trainingmode）2008-2009學年第1學期連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)的神經(jīng)元模型2008-2009學年第1學期摘自《TalkingNets:AnOralHistoryofNeuralNetworks》封面抑制現(xiàn)象使神經(jīng)元之間出現(xiàn)競爭；在“感知器”局限性的困擾下，機器學習的熱點由連接主義（即神經(jīng)網(wǎng)絡(luò)）轉(zhuǎn)向符號主義；設(shè)輸入向量X=(x1,x2)，神經(jīng)元j的輸出為：2008-2009學年第1學期2008-2009學年第1學期這是一種離散型反饋式神經(jīng)網(wǎng)絡(luò)（英縮寫DHNN）；設(shè)X1和X2是表示兩個樣本的向量；串行方式（也稱異步方式）70年代被認為是ANN的研究低潮期，但仍有ANN的一些重要成果出現(xiàn)。公元前400年左右，柏拉圖和亞里士多德就曾對人類認知、記憶、思維進行過研究；設(shè)計一個神經(jīng)網(wǎng)絡(luò)模型，2008-2009學年第1學期其中，詳細分析了多層前饋網(wǎng)絡(luò)中的誤差反向傳播（ErrorBackPropagation）算法，即BP算法，它很好地解決了感知器局限性問題。2008-2009學年第1學期學習算法用于得出神經(jīng)網(wǎng)絡(luò)中的各個參數(shù)。學習算法用于得出神經(jīng)網(wǎng)絡(luò)中的各個參數(shù)。(1,-1,-1)Nucleus：核Cellbody：細胞體求輸出與期望輸出的誤差e2008-2009學年第1學期2008-2009學年第1學期2008-2009學年第1學期SOM中的競爭學習算法2008-2009學年第1學期BP算法中的反向計算（續(xù)）人工神經(jīng)網(wǎng)絡(luò)的學習能力有別于符號主義；若X為樣本變量，X582008-2009學年第1學期摘自《TalkingNets:AnOralHistoryofNeuralNetworks》封面2008-2009學年第1學期摘自《TalkingNets592008-2009學年第1學期神經(jīng)網(wǎng)絡(luò)基礎(chǔ)公元前400年左右，柏拉圖和亞里士多德就曾對人類認知、記憶、思維進行過研究；19世紀末，出現(xiàn)了神經(jīng)元學說；美國生物學家W.James在《Physiology》一書中提到，“人腦中兩個基本單元靠得較近時，一個單元的興奮會傳到另一個單元；20世紀40年代，神經(jīng)解剖學、神經(jīng)生理學、神經(jīng)元的電生理過程等有了突破性進展。2008-2009學年第1學期神經(jīng)網(wǎng)絡(luò)基礎(chǔ)公元前400年左右602008-2009學年第1學期人腦中神經(jīng)元（神經(jīng)細胞）的結(jié)構(gòu)Nucleus：核

Cellbody：細胞體

Dentrite：樹突

Axon：軸突2008-2009學年第1學期人腦中神經(jīng)元（神經(jīng)細胞）的結(jié)構(gòu)612008-2009學年第1學期神經(jīng)元之間的電信號傳遞軸突后部裂出許多分枝，分枝末端有突觸，突觸與樹突連接；軸突中的信號經(jīng)突觸轉(zhuǎn)換為“阻止”或“激活”信號；當神經(jīng)元的“凈輸入”超過閾值時，其沿軸突發(fā)出信號；改變突觸的效能，神經(jīng)元之間的影響隨之改變，學習就發(fā)生了。突觸（神經(jīng)鍵）2008-2009學年第1學期神經(jīng)元之間的電信號傳遞軸突后部622008-2009學年第1學期生物神經(jīng)元的結(jié)構(gòu)摘自張仰森《人工智能原理與應(yīng)用》隨書課件2008-2009學年第1學期生物神經(jīng)元的結(jié)構(gòu)摘自張仰森《人632008-2009學年第1學期1943年，W.S.McCulloch和W.A.Pitts合作提出了第一個人工神經(jīng)元模型（M-P模型）；Sumy0T1f是閾值為T的階躍函數(shù)∑I1I2IN…W1W2WNyM-P模型中輸入、輸出的關(guān)系摘自.eg/rehan/ann/2_3_1%20The%20McCulloch-Pitts%20Model%20of%20Neuron.htm2008-2009學年第1學期1943年，W.S.McCu642008-2009學年第1學期M-P神經(jīng)元模型樹突加和細胞體閾值軸突參考：突觸2008-2009學年第1學期M-P神經(jīng)元模型樹突加和細胞體65每次調(diào)整，只有一個神經(jīng)元按其凈輸入調(diào)整輸出（即狀態(tài)），而其他神經(jīng)元保持狀態(tài)不變；Y=(y1,y2,…,yn)一個神經(jīng)元興奮，通過突觸抑制相鄰神經(jīng)元；yj(t+1)=f(netj)設(shè)計一個神經(jīng)網(wǎng)絡(luò)模型，19世紀末，出現(xiàn)了神經(jīng)元學說；抑制現(xiàn)象使神經(jīng)元之間出現(xiàn)競爭；科學出版社,2006年3月第1版.2008-2009學年第1學期這個過程稱為神經(jīng)網(wǎng)絡(luò)的學習或訓練。2008-2009學年第1學期每次調(diào)整，只有一個神經(jīng)元按其凈輸入調(diào)整輸出（即狀態(tài)），而其他神經(jīng)元保持狀態(tài)不變；2008-2009學年第1學期James在《Physiology》一書中提到，“人腦中兩個基本單元靠得較近時，一個單元的興奮會傳到另一個單元；這是一種離散型反饋式神經(jīng)網(wǎng)絡(luò)（英縮寫DHNN）；2008-2009學年第1學期CPN對偶傳播神經(jīng)網(wǎng)絡(luò)蘊含在連接權(quán)值、閾值、網(wǎng)絡(luò)結(jié)構(gòu)中；對Wj*(t+1)進行歸一化2008-2009學年第1學期1949年，DonalaU.Hebb在“TheOrganizationofBehavior”一書中認為學習的過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的連接強度隨著突觸前后神經(jīng)元的活動而變化；連接權(quán)的學習律正比于突觸前后兩個神經(jīng)元的活動狀態(tài)值的乘積；可假設(shè)權(quán)是對稱的，細胞的互連結(jié)構(gòu)是通過改變彼此的連接權(quán)創(chuàng)造出來的。突觸連接強度的可變性是學習和記憶的基礎(chǔ)每次調(diào)整，只有一個神經(jīng)元按其凈輸入調(diào)整輸出（即狀態(tài)），而其他662008-2009學年第1學期Hebb規(guī)則這是神經(jīng)網(wǎng)絡(luò)的第1個學習算法；神經(jīng)元的輸出連接權(quán)值的調(diào)整公式學習率凈輸入2008-2009學年第1學期Hebb規(guī)則這是神經(jīng)網(wǎng)絡(luò)的第1672008-2009學年第1學期1957年，F(xiàn)rankRosenblatt在M-P模型基礎(chǔ)上，定義了一個具有單層計算單元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，取名為“感知器”。輸入層計算層(輸出層)…………x1x2xixny1yjymw1jwnj2008-2009學年第1學期1957年，F(xiàn)rankRos68人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.(1,-1,-1)設(shè)X1和X2是表示兩個樣本的向量；在串行方式下，為使網(wǎng)絡(luò)收斂，W應(yīng)為對稱陣；每次調(diào)整，只有一個神經(jīng)元按其凈輸入調(diào)整輸出（即狀態(tài)），而其他神經(jīng)元保持狀態(tài)不變；BAM雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)對于樣本少量錯誤不敏感。Vj可對應(yīng)0至1之間的任意實數(shù)人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.2008-2009學年第1學期2008-2009學年第1學期當神經(jīng)元的“凈輸入”超過閾值時，其沿軸突發(fā)出信號；(1,-1,-1)只允許某一層的連接權(quán)值可調(diào)，因為無法知道網(wǎng)絡(luò)隱層的神經(jīng)元的理想輸出；James在《Physiology》一書中提到，“人腦中兩個基本單元靠得較近時，一個單元的興奮會傳到另一個單元；“感知器”是怎么訓練的呢？2008-2009學年第1學期2008-2009學年第1學期2008-2009學年第1學期人工神經(jīng)網(wǎng)絡(luò)不適合高精度計算；多層感知器可解決單層感知器無法解決的某些問題，例如，用二層感知器就可解決異或問題。Y(0)=(x1(0),x2(0),…,xn(0))2008-2009學年第1學期設(shè)計一個神經(jīng)網(wǎng)絡(luò)模型，除了明確網(wǎng)絡(luò)的結(jié)構(gòu)、神經(jīng)元的傳輸函數(shù)（f）；還要給出學習算法。學習算法用于得出神經(jīng)網(wǎng)絡(luò)中的各個參數(shù)。學習算法通常是迭代算法，對應(yīng)神經(jīng)網(wǎng)絡(luò)的演變過程；算法收斂到一個穩(wěn)定狀態(tài)時，神經(jīng)網(wǎng)絡(luò)的各參數(shù)（連接權(quán)值、閾值等）就基本不變了；這個過程稱為神經(jīng)網(wǎng)絡(luò)的學習或訓練。人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.2008-2009學年第1學期設(shè)計一692008-2009學年第1學期人工神經(jīng)網(wǎng)絡(luò)的兩個操作模式訓練模式（trainingmode）準備大量的有教師指導的（或無教師指導的）的訓練樣本（即實例），對ANN進行訓練，確定ANN的內(nèi)部參數(shù)（甚至結(jié)構(gòu)）。使用模式（usingmode）輸入一個實際例子，讓ANN分析并給出結(jié)果。2008-2009學年第1學期人工神經(jīng)網(wǎng)絡(luò)的兩個操作模式訓練702008-2009學年第1學期“感知器”是怎么訓練的呢？假設(shè)每個樣本含n個屬性，用向量(x1,x2,…,xn)表示；若X為樣本變量，X∈Rn；wij是xi到神經(jīng)元j

的連接權(quán)值，Wj是神經(jīng)元j

的輸入連接的權(quán)值向量，即Wj=(w1j,w2j,…,

wnj)；先隨機設(shè)置{wij}和{θj

}，θj

是神經(jīng)元

j

的閾值；不同神經(jīng)元的參數(shù)（包括連接權(quán)值和閾值）的學習是相互獨立的，故只需給出一個神經(jīng)元的學習算法。2008-2009學年第1學期“感知器”是怎么訓練的呢？假設(shè)712008-2009學年第1學期神經(jīng)元j的參數(shù)怎么學習呢？樣本必須是有教師指導的，即預(yù)先知道其分類；輸入(x1,x2,…,xn)時，神經(jīng)元j的輸出應(yīng)為dj。對于離散感知器，yj按下式計算。

則wij的調(diào)整規(guī)則是

wij(t+1)=wij(t)+η(dj-yj)xiη為調(diào)整步幅系數(shù)，η>02008-2009學年第1學期神經(jīng)元j的參數(shù)怎么學習呢？722008-2009學年第1學期“感知器”對線性可分問題具有分類能力若樣本空間為Rn，存在n-1維的超平面可將樣本分為兩類，則稱線性可分。線性可分的二維樣本空間存在至少一組wij和θj

，使得對應(yīng)兩個子空間的神經(jīng)元輸出分別為0和1。2008-2009學年第1學期“感知器”對線性可分問題具有分732008-2009學年第1學期t樣本X期望輸出dW(t)實際輸出y=W(t)TXW(t+1)=W(t)+η(d－y)X0(1,-1,-1)-1(0,0,0)0(-0.4,0.4,0.4)1(1,1,-1)1(-0.4,0.4,0.4)-0.4(0.16,0.96,-0.16)2(1,-1,-1)-1(0.16,0.96,-0.16)-0.64(0.016,1.104,-0.016)3(1,1,-1)1(0.016,1.104,-0.016)1.136(0.038,1.050,-0.038)∞…………(0,1,0)例：連接強度W的學習過程（η=0.4）驗證：

(0,1,0)T(1,-1,-1)=-1(0,1,0)T(1,1,-1)=12008-2009學年第1學期t樣本期望W(t)實際輸出W(742008-2009學年第1學期“感知器”無法解決線性不可分問題；1969年，Minsky和Papert指出了“感知器”的這種局限性，例如，“感知器”無法實現(xiàn)“異或”邏輯。邏輯“與”邏輯“異或”x1x2yx1x2y0000000100111001011111102008-2009學年第1學期“感知器”無法解決線性不可分問752008-2009學年第1學期設(shè)輸入向量X=(x1,x2)，神經(jīng)元j的輸出為：學習邏輯“與”時，有至少存在一組w1j、w2j和θ滿足上述方程組，即單結(jié)點感知器對2輸入的邏輯“與”

問題有分類能力。2008-2009學年第1學期設(shè)輸入向量X=(x1,x2)762008-2009學年第1學期學習邏輯“異或”時，有不存在任何一組w1j、w2j和θ滿足上述方程組，即單結(jié)點感知器不能對2輸入的邏輯“異或”

問題求解。011x1x2線性可分011x1x2線性不可分2008-2009學年第1學期學習邏輯“異或”時，有0772008-2009學年第1學期多層感知器采用二層或多層感知器；只允許某一層的連接權(quán)值可調(diào)，因為無法知道網(wǎng)絡(luò)隱層的神經(jīng)元的理想輸出；要允許各層的連接權(quán)值可調(diào)，需要用1986年提出的誤差反向傳播（即BP）學習算法。多層感知器可解決單層感知器無法解決的某些問題，例如，用二層感知器就可解決異或問題。2008-2009學年第1學期多層感知器采用二層或多層感知器782008-2009學年第1學期70年代，集成電路使計算機快速發(fā)展；在“感知器”局限性的困擾下，機器學習的熱點由連接主義（即神經(jīng)網(wǎng)絡(luò)）轉(zhuǎn)向符號主義；70年代被認為是ANN的研究低潮期，但仍有ANN的一些重要成果出現(xiàn)。72年，芬蘭T.Kohonen教授提出了無教師學習網(wǎng)絡(luò)SOM（Self-OrganizingfeatureMap）;76年，美國Grossberg教授提出了ART（AdaptiveResonnanceTheory）。自組織競爭網(wǎng)絡(luò)模型2008-2009學年第1學期70年代，集成電路使計算機快速79一個神經(jīng)元興奮，通過突觸抑制相鄰神經(jīng)元；不同神經(jīng)元的參數(shù)（包括連接權(quán)值和閾值）的學習是相互獨立的，故只需給出一個神經(jīng)元的學習算法。SOM中的競爭學習算法科學出版社,2006年3月第1版.求輸出與期望輸出的誤差e由初始狀態(tài)，網(wǎng)絡(luò)開始演化。在串行方式下，為使網(wǎng)絡(luò)收斂，W應(yīng)為對稱陣；人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.2008-2009學年第1學期保證給定的樣本是網(wǎng)絡(luò)的吸引子，且有一定的吸引域。2008-2009學年第1學期人工神經(jīng)網(wǎng)絡(luò)是一種并行計算模型；每次調(diào)整，只有一個神經(jīng)元按其凈輸入調(diào)整輸出（即狀態(tài)），而其他神經(jīng)元保持狀態(tài)不變；CPN對偶傳播神經(jīng)網(wǎng)絡(luò)這個過程稱為神經(jīng)網(wǎng)絡(luò)的學習或訓練。2008-2009學年第1學期2008-2009學年第1學期對于n層網(wǎng)絡(luò)結(jié)構(gòu)，學習后可得到n-1個超曲面，組成復合曲面，從而實現(xiàn)復雜的分類任務(wù)；保證給定的樣本是網(wǎng)絡(luò)的吸引子，且有一定的吸引域。人工神經(jīng)網(wǎng)絡(luò)有較強的容錯性和魯棒性；保證給定的樣本是網(wǎng)絡(luò)的吸引子，且有一定的吸引域。當神經(jīng)元的“凈輸入”超過閾值時，其沿軸突發(fā)出信號；2008-2009學年第1學期自組織競爭神經(jīng)網(wǎng)絡(luò)模型生物神經(jīng)網(wǎng)絡(luò)中，有側(cè)抑制現(xiàn)象；一個神經(jīng)元興奮，通過突觸抑制相鄰神經(jīng)元；它越興奮，對周圍神經(jīng)元的抑制作用越強。抑制現(xiàn)象使神經(jīng)元之間出現(xiàn)競爭；起初，各神經(jīng)元都處于（不同程度）興奮狀態(tài)，最后“勝者為王”。自組織特征映射（SOM）和自適應(yīng)共振理論（ART）都屬于這類神經(jīng)網(wǎng)絡(luò)模型。一個神經(jīng)元興奮，通過突觸抑制相鄰神經(jīng)元；2008-2009學802008-2009學年第1學期SOM的典型結(jié)構(gòu)輸入層競爭層(輸出層)…………x1x2xixny1yjymw1jwnj2008-2009學年第1學期SOM的典型結(jié)構(gòu)輸入層競爭層…812008-2009學年第1學期SOM可實現(xiàn)聚類分析聚類在沒有教師指導的情況下，自動尋找樣本的屬性關(guān)系，將相似的樣本劃歸為一類。分類已知各樣本的類別，在類別知識（即教師信號）的指導下，形成分類規(guī)則，將各樣本分到各自的類中。共同點：尋找樣本-類的映射函數(shù)。2008-2009學年第1學期SOM可實現(xiàn)聚類分析822008-2009學年第1學期樣本相似度的測量設(shè)X1和X2是表示兩個樣本的向量；歐式距離法余弦法（向量夾角法）X1X2X1－

X22008-2009學年第1學期樣本相似度的測量設(shè)X1和832008-2009學年第1學期SOM中的競爭學習算法對樣本X

和各神經(jīng)元的連接權(quán)值向量Wj規(guī)一化尋找獲勝的神經(jīng)元jX1XiXnw1jwijwnj……yj輸入到神經(jīng)元j的連接2008-2009學年第1學期SOM中的競爭學習算法對樣本842008-2009學年第1學期SOM中的競爭學習算法網(wǎng)絡(luò)輸出與權(quán)值調(diào)整對Wj*(t+1)進行歸一化如果α足夠小則退出；否則衰減α，轉(zhuǎn)①2008-2009學年第1學期SOM中的競爭學習算法網(wǎng)絡(luò)輸出852008-2009學年第1學期1982年，美國物理學家JohnJ.Hopfield提出了一種全連接神經(jīng)網(wǎng)絡(luò)模型（即Hopfield模型）；這是一種離散型反饋式神經(jīng)網(wǎng)絡(luò)（英縮寫DHNN）；引入了“能量函數(shù)”概念，支持對神經(jīng)網(wǎng)絡(luò)運行穩(wěn)定性進行判定；成功求解旅行商問題（TravelingSalesmanProblems）。1984年，他又提出了連續(xù)型Hopfield網(wǎng)絡(luò)（英縮寫CHNN）。2008-2009學年第1學期1982年，美國物理學家Joh862008-2009學年第1學期離散型Hopfield神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型一般有wii=0，wij=wjiy1y2yjynθ1θ2θjθnw2jx1x2xjxnwj2…………2008-2009學年第1學期離散型Hopfield神經(jīng)網(wǎng)絡(luò)872008-2009學年第1學期神經(jīng)元的輸出也稱神經(jīng)元的狀態(tài)；所有神經(jīng)元的狀態(tài)構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài)Y；

Y=(y1,y2,…,yn)網(wǎng)絡(luò)輸入就是網(wǎng)絡(luò)狀態(tài)的初始值Y(0)；

Y(0)=(x1(0),x2(0),…,xn(0))由初始狀態(tài)，網(wǎng)絡(luò)開始演化。

yj(t+1)=f(netj)

這里，netj為神經(jīng)元j的凈輸入，f(·)為神經(jīng)元的特性函數(shù)（也稱作用、傳遞或轉(zhuǎn)移函數(shù)）。y1y2yjynθnx1x2xjxn…………2008-2009學年第1學期神經(jīng)元的輸出也稱神經(jīng)元的狀態(tài)；882008-2009學年第1學期常見的特性函數(shù)10fu10fu10fuuk閾值型S狀(如sigmoid函數(shù))分段線性(飽和線性)2008-2009學年第1學期常見的特性函數(shù)10fu10fu892008-2009學年第1學期對于DHNN，特性函數(shù)f可以是閾值型也可以是分段線性型凈輸入netj的計算2008-2009學年第1學期對于DHNN，特性函數(shù)f可902008-2009學年第1學期DHNN的兩種學習方式串行方式（也稱異步方式）每次調(diào)整，只有一個神經(jīng)元按其凈輸入調(diào)整輸出（即狀態(tài)），而其他神經(jīng)元保持狀態(tài)不變；神經(jīng)元狀態(tài)的調(diào)整次序可按某種規(guī)定次序進行，也可隨機選定。并行方式（也稱同步方式）每次調(diào)整，各神經(jīng)元都按其凈輸入調(diào)整各自的狀態(tài)。

y1y2yjynθnx1x2xjxn…………2008-2009學年第1學期DHNN的兩種學習方式串行方式91BAM雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)2008-2009學年第1學期2008-2009學年第1學期2008-2009學年第1學期從輸入層到輸出層，逐層計算結(jié)點狀態(tài)；2008-2009學年第1學期自組織競爭神經(jīng)網(wǎng)絡(luò)模型“感知器”是怎么訓練的呢？Nucleus：核Cellbody：細胞體不存在任何一組w1j、w2j和θ滿足上述方程組，即單結(jié)點感知器不能對2輸入的邏輯“異或”問題求解。2008-2009學年第1學期串行方式（也稱異步方式）串行方式（也稱異步方式）連接權(quán)的學習律正比于突觸前后兩個神經(jīng)元的活動狀態(tài)值的乘積；學習算法用于得出神經(jīng)網(wǎng)絡(luò)中的各個參數(shù)。1986年，MIT出版社（Cambridge）出版了J.人工神經(jīng)網(wǎng)絡(luò)的兩個操作模式Nucleus：核Cellbody：細胞體2008-2009學年第1學期2008-2009學年第1學期改變突觸的效能，神經(jīng)元之間的影響隨之改變，學習就發(fā)生了。2008-2009學年第1學期2008-2009學年第1學期DHNN可能收斂于某個穩(wěn)定狀態(tài)，也可能產(chǎn)生振蕩構(gòu)成極限環(huán)；在串行方式下，為使網(wǎng)絡(luò)收斂，W應(yīng)為對稱陣；在并行方式下，為使網(wǎng)絡(luò)收斂，W應(yīng)為非負定對稱陣；保證給定的樣本是網(wǎng)絡(luò)的吸引子，且有一定的吸引域。參考：朱大奇,史慧.人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.第3章.科學出版社,2006年3月第1版.y1y2yjynθnx1x2xjxn…………BAM雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)2008-2009學年第1學期DH922008-2009學年第1學期連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)模型該模型可表示為下列的非線性微分方程組：ui是神經(jīng)元i的膜電位，Ci和Ri分別是輸入電容和電阻，Ii是電路外的輸入電流，wij是神經(jīng)元i到神經(jīng)元j的連接強度，f(u)是u的非線性函數(shù)。這是一個N輸入、N輸出的有N組運算放大器的電路，每個運放輸出有到各運放輸入的反饋通路。2008-2009學年第1學期連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)932008-2009學年第1學期連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)的神經(jīng)元模型VjVjujCj…ViRij

=1/wijRjVj可對應(yīng)0至1之間的任意實數(shù)2008-2009學年第1學期連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)942008-2009學年第1學期Hopfield網(wǎng)絡(luò)是一種非線性的動力網(wǎng)絡(luò)；可通過反復的網(wǎng)絡(luò)動態(tài)迭代來求解問題，這是符號邏輯方法所不具有的特性；在求解某些問題時，其求解方法與人類的求解方法很相似；所求得的解可能不是最佳解，但其求解速度快。2008-2009學年第1學期Hopfield網(wǎng)絡(luò)是一種非線952008-2009學年第1學期1986年，MIT出版社（Cambridge）出版了J.L.Rumelhart和D.E.McClelland主編的“ParallelDistributedProcessing:ExplorationintheMicrostructuresofCognition”一書；其中，詳細分析了多層前饋網(wǎng)絡(luò)中的誤差反向傳播（ErrorBackPropagation）算法，即BP算法，它很好地解決了感知器局限性問題。2008-2009學年第1學期1986年，MIT出版社（Ca962008-2009學年第1學期前饋型神經(jīng)網(wǎng)絡(luò)輸入層輸出層隱層…x1xixN1……………y1yiyNm……2008-2009學年第1學期前饋型神經(jīng)網(wǎng)絡(luò)輸入層輸出層隱層972008-2009學年第1學期BP算法正向傳播從輸入層到輸出層，逐層計算結(jié)點狀態(tài)；每一層結(jié)點的狀態(tài)只影響下一層結(jié)點的狀態(tài)。如輸出層沒有得到期望輸出（即有誤差），轉(zhuǎn)入反向傳播過程。反向傳播將誤差信號沿原路返回，通過修改各層的連接權(quán)值，使誤差信號遞減直到最小。2008-2009學年第1學期BP算法正向傳播98自組織競爭神經(jīng)網(wǎng)絡(luò)模型對于樣本少量錯誤不敏感。2008-2009學年第1學期2008-2009學年第1學期對樣本X和各神經(jīng)元的連接權(quán)值向量Wj規(guī)一化di：輸出層神經(jīng)元i的期望輸出2008-2009學年第1學期保證給定的樣本是網(wǎng)絡(luò)的吸引子，且有一定的吸引域。參考：朱大奇,史慧.ui是神經(jīng)元i的膜電位，Ci和Ri分別是輸入電容和電阻，Ii是電路外的輸入電流，wij是神經(jīng)元i到神經(jīng)元j的連接強度，f(u)是u的非線性函數(shù)。凈輸入netj的計算除了明確網(wǎng)絡(luò)的結(jié)構(gòu)、神經(jīng)元的傳輸函數(shù)（f）；Kohonen教授提出了無教師學習網(wǎng)絡(luò)SOM（Self-OrganizingfeatureMap）;“感知器”是怎么訓練的呢？摘自http://osp.2008-2009學年第1學期若X為樣本變量，X∈Rn；2008-2009學年第1學期2008-2009學年第1學期“感知器”對線性可分問題具有分類能力人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.神經(jīng)網(wǎng)絡(luò)的魯棒性與精確計算本身就是矛盾的。2008-2009學年第1學期是還有樣本嗎BP算法的流程圖初始化給定輸入向量和期望輸出求隱層、輸出層各結(jié)點輸出求輸出與期望輸出的誤差e求誤差梯度權(quán)值學習計算隱層結(jié)點誤差否設(shè)置連接權(quán)和閾的初值有e足夠小結(jié)束無自組織競爭神經(jīng)網(wǎng)絡(luò)模型2008-2009學年第1學期是還有樣992008-2009學年第1學期多層前饋網(wǎng)絡(luò)中的符號xi：樣本的第i個屬性yi：輸出層神經(jīng)元i的輸出di：輸出層神經(jīng)元i的期望輸出wijk：第i層神經(jīng)元

j

到第i+1層神經(jīng)元k的連接權(quán)值oij：第i層神經(jīng)元j的輸出θij：第

i

層神經(jīng)元

j

的閾值netij：第i層神經(jīng)元j的凈輸入Ni：第

i

層神經(jīng)元的數(shù)目2008-2009學年第1學期多層前饋網(wǎng)絡(luò)中的符號xi：樣本1002008-2009學年第1學期BP算法中的前向計算特征函數(shù)必須是有界連續(xù)可微的，如sigmoid函數(shù)2008-2009學年第1學期BP算法中的前向計算特征函數(shù)必1012008-2009學年第1學期BP算法中的反向計算輸出層神經(jīng)元j的狀態(tài)誤差網(wǎng)絡(luò)學習的目標函數(shù)wijk的調(diào)整量2008-2009學年第1學期BP算法中的反向計算輸出層神經(jīng)1022008-2009學年第1學期BP算法中的反向計算（續(xù)）2008-2009學年第1學期BP算法中的反向計算（續(xù)）1032008-2009學年第1學期BP學習算法的特點特性函數(shù)是連續(xù)可微的，通過學習可得到超曲面來劃分樣本空間；對于n層網(wǎng)絡(luò)結(jié)構(gòu)，學習后可得到n-1個超曲面，組成復合曲面，從而實現(xiàn)復雜的分類任務(wù)；缺點：算法的收斂速度慢；依據(jù)梯度下降理論修改參數(shù)，可能出現(xiàn)局部極小問題。2008-2009學年第1學期BP學習算法的特點特性函數(shù)是連1042008-2009學年第1學期其他神經(jīng)網(wǎng)絡(luò)模型BAM雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)CMAC小腦神經(jīng)網(wǎng)絡(luò)RBF徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)CPN對偶傳播神經(jīng)網(wǎng)絡(luò)量子神經(jīng)網(wǎng)絡(luò)參考：朱大奇，史慧.人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.科學出版社，2006.32008-2009學年第1學期其他神經(jīng)網(wǎng)絡(luò)模型BAM雙向聯(lián)想1052008-2009學年第1學期小結(jié)人工神經(jīng)網(wǎng)絡(luò)是一種并行計算模型；不同于馮·諾依曼計算機；但神經(jīng)網(wǎng)絡(luò)計算機還沒有出現(xiàn)，一般在馮氏計算機上進行串行模擬。人工神經(jīng)網(wǎng)絡(luò)中知識是分布存儲的；蘊含在連接權(quán)值、閾值、網(wǎng)絡(luò)結(jié)構(gòu)中；神經(jīng)網(wǎng)絡(luò)學習不僅是參數(shù)學習，還包括結(jié)構(gòu)學習。對人類而言，完全透明，無法理解；教材P252第2行，“不透明”應(yīng)為“透明”2008-2009學年第1學期小結(jié)人工神經(jīng)網(wǎng)絡(luò)是一種并行計算1062008-2009學年第1學期小結(jié)（續(xù)）人工神經(jīng)網(wǎng)絡(luò)有較強的容錯性和魯棒性；對于樣本少量錯誤不敏感。人工神經(jīng)網(wǎng)絡(luò)的學習能力有別于符號主義；在符號主義機器學習中，根據(jù)樣本修改規(guī)則，怎么修改由人事先確定；而神經(jīng)網(wǎng)絡(luò)的學習從隨機初始值開始，在理論上學習結(jié)果不依賴初始值，且學習過程無人工干預(yù)。2008-2009學年第1學期小結(jié)