人工神經(jīng)網(wǎng)絡方法課件

1、人工神經(jīng)網(wǎng)絡方法原理及應用張倩倩、孫晶人工神經(jīng)網(wǎng)絡方法人工神經(jīng)網(wǎng)絡簡介應用實例長江三角洲地區(qū) 城市體系的職能分類A人工神經(jīng)網(wǎng)絡，是一個具有高度非線性的A超大軌橫連續(xù)時間動另系統(tǒng)，是宙夫量爾 J 處理單元（神經(jīng)元）廣泛互連而形成的網(wǎng)絡。；I 是人腦的某種抽象、簡化與模擬。A人工神經(jīng)網(wǎng)絡的特點和優(yōu)越性：具有自學 習功能；宜有聯(lián)想看儲功能；具有咼速尋 找優(yōu)化解的能力。f A在現(xiàn)代地理學中，人工神經(jīng)網(wǎng)絡方法特別I適用于地理模式識別、地理過程模擬與預* 測、復雜地理系統(tǒng)的優(yōu)化計算等問題的研 究。-貳、-人工神經(jīng)網(wǎng)絡簡介A神經(jīng)元模型A神經(jīng)網(wǎng)絡的基本結構A人工神經(jīng)網(wǎng)絡的工作原理* A人工神經(jīng)網(wǎng)絡的學習規(guī)則；

2、A神經(jīng)網(wǎng)絡模型的種類A神經(jīng)元模型基于生物神經(jīng)元構造，W.McCulloch和W.Pitts于1943 年建立了一個模擬神經(jīng)元功能的數(shù)學模型，這個模型卑 被稱為MP模型。?MP模型是一個多輸岀單輸岀的非線性兀件。n1y 哄）在MP模型中，f是二值函數(shù)，其輸出值為0或1, 分別代表神經(jīng)元的抑制和興奮狀態(tài)，它可以用階 躍函數(shù)表示，即當wji0時，為興奮性突觸結合；當wjivO時，為 抑制性突觸結合；當wji=O時，為無結合。神經(jīng)元構成的神經(jīng)網(wǎng)絡如圖所示。神經(jīng)元之間的突觸結合有興奮性和抑制性兩種。 在下圖中，(a)和(b)分別給岀了兩個神經(jīng) 元串行連接和相互結合型連接的情形。(a) 所示的兩個神經(jīng)元串

3、行連接，當W20為興奮性 諛 連接時，若神經(jīng)元1處于興奮狀態(tài)，則神經(jīng)元2也處于% 興奮狀態(tài)；當W2V0為抑制性連接時，若神經(jīng)元1處于h 興奮狀態(tài)，反而會使神經(jīng)元2容易處于抑制狀態(tài)。在 f(b) 中，兩個神經(jīng)元處于相互結合性狀態(tài)，若M2和 W21均為正，則某一個神經(jīng)元處于興奮狀態(tài)時，另一個 神經(jīng)元也傾向于興奮狀態(tài)，這稱為神經(jīng)元之間的協(xié)調(diào) 作用；若W2和W21均為均為負,則當某一個神經(jīng)元處于興奮狀態(tài)時，另一神經(jīng)元傾向于抑制狀態(tài)，這稱為 卩神經(jīng)元之間的競爭作用。協(xié)調(diào)和競爭是神經(jīng)網(wǎng)絡中并行信息處理的基本動態(tài)特性。*A神經(jīng)網(wǎng)絡的基本結構大類O把大量的神經(jīng)元通過一定的拓撲結構連接 起來，就形成了神經(jīng)網(wǎng)絡。

4、神經(jīng)元之間的 連接方式有相互結合型結構和層狀結構兩圖(a)所示的相互結合型神經(jīng)網(wǎng)絡系統(tǒng)中祥在著反饋 環(huán)。在神經(jīng)元的學習過程中，進行誤差反饋。反饋 有正、負之分，正反饋使系統(tǒng)發(fā)生振蕩，負反饋使 系統(tǒng)穩(wěn)定。在大腦神經(jīng)系統(tǒng)中，由于負反饋的存在, :使控制抑制的機構起著十分重要的作用。正反饋對大腦神經(jīng)元的同步動作起著一定的作用。在圖(b)所 示的層狀神經(jīng)網(wǎng)絡結構中，信號依特定的方向傳播。(在生物體內(nèi)，大腦皮質(zhì)之間、感覺器官和大腦之間，/就可以看作是一種分層結構，即功能模塊級的分層。，“在大腦內(nèi)確實存在各種機理不同的功能模塊，這一 卩 點被大腦的解剖研究已經(jīng)證明，而且每一個模塊內(nèi)-部是由神經(jīng)元組成的并彳

5、亍處理系統(tǒng)。A人工神經(jīng)網(wǎng)絡的工作原理人工神經(jīng)網(wǎng)絡首先要以一定的學習準則進行學習，然后才能 工作。網(wǎng)絡學習的準則應該是：如果網(wǎng)絡作出錯誤的判決， 則通過網(wǎng)絡的學習，應使得網(wǎng)絡減少下次犯同樣錯誤的可能 性。將模式分布地記憶在網(wǎng)絡的各個連接權值上。當網(wǎng)絡再 次遇到其中任何一個模式時，能夠作出迅速、準確的判斷和此時各計算單元狀態(tài)不變，各連接權值可修改(通過學習樣本 或其他方法)，前一階段較快，各單元的狀態(tài)亦稱短期記憶(STM),后一階段慢的多，權及連接方式亦稱長期記憶(LTM) o *識別。神經(jīng)網(wǎng)絡的工作過程主要由兩個階段組成，一個階段 是工作期，此時各連接權值固定，計算單元的狀態(tài)變化，以 求達到穩(wěn)定

6、狀態(tài)。另一階段是學習期(自適應期，或設計期),人工神經(jīng)網(wǎng)絡的學習規(guī)則神經(jīng)網(wǎng)絡的學習過程，一般是，首先設定初時權值 如果無先驗的知識，初時權值可設定為隨機值。接 I /著輸入樣本數(shù)據(jù)進行學習，參照評價標準進行評判。如果達到要求，就停止學習，否則按照給定的學習法則調(diào)整權值，繼續(xù)進行學習，直到取得滿意的結 ; 果為止。1 神經(jīng)網(wǎng)絡的學習規(guī)則，主要包括誤差傳播式學習、 j 聯(lián)想學習、競爭性(Competitive)學習和基于知識 的學習等。各種學習規(guī)則都是以Hebb規(guī)則為基礎的。誤差傳播式學習Hi 0ui 0感知器(Perceptron)是神經(jīng)網(wǎng)絡中的一種最基本的 神經(jīng)網(wǎng)絡模型，它是F.Rosenbl

7、att于1961年提岀來的。 設神經(jīng)元的輸入輸岀關系為= WJi(t) + 7SiXJji a+1)=叫,(0+- d)Xj是學習速率，di是教師信號或希望輸出，6是實 際輸岀y：與希望輸出之差，y：和虧取1或0的離散值。*聯(lián)想式學習根據(jù)空間或時間上接近的事物之間，性質(zhì)上相彳以或相反的事物之間，以及存在因果關系的事物都可能在人的大腦中產(chǎn)生聯(lián)想的原理，人們提岀了許多無教師的聯(lián)想式學習模式，其學習規(guī)則可以表示為wji(t + X) = wji(t) + Tyixj在聯(lián)想式學習中，權值變化僅是輸入與輸出同時 興奮的結果。由于聯(lián)想發(fā)生在輸入與輸出之間， 所以這種聯(lián)想被稱為異聯(lián)想(Hetroassoci

8、ation)。競爭性學習 在競爭性學習時，網(wǎng)絡各輸出單元相互競爭，最 后達到只有一個最強者激活，最常見的一種情況 是輸出神經(jīng)元之間有側向抑制性連接,這樣，原 來輸出單元中若有一個單元較強，則它將獲勝并 抑制其它單元，最后只有此強者處于激活狀態(tài)。 最常見的競爭性學習規(guī)則可以寫為-W.,.）若神經(jīng)旳競爭獲勝 若神經(jīng)元j競爭失敗具有側向抑制性連接的競爭學習網(wǎng)絡A神經(jīng)網(wǎng)絡模型的種類按照拓撲結構可以分為反饋神經(jīng)網(wǎng)絡模型和前向神經(jīng) 網(wǎng)絡模型；按照性能可以分為連續(xù)型和離散型神經(jīng)網(wǎng) 絡模型，確定型和隨機型神經(jīng)網(wǎng)絡模型；按照學習方 式可以分為有教師學習和無教師學習神經(jīng)網(wǎng)絡；按照 連接突觸性質(zhì)可以分為一階線性關聯(lián)

9、神經(jīng)網(wǎng)絡模型和 f高階非線性關聯(lián)神經(jīng)網(wǎng)絡模型。常見的人工神經(jīng)網(wǎng)絡 i 模型，主要包括感知器(Perceptron)神經(jīng)網(wǎng)絡、線 性神經(jīng)網(wǎng)絡、前饋神經(jīng)網(wǎng)絡、徑向基函數(shù)神經(jīng)網(wǎng)絡、卜 自組織競爭神經(jīng)網(wǎng)絡、回歸神經(jīng)網(wǎng)絡等。應用實例：長江三角洲地區(qū)城市體系的職能分類A建立城市職能分類的指標體系A Koh on en網(wǎng)絡的原理A建立城市分類的Kohonen網(wǎng)絡模型A結果及討論建立城市職能分類的指標體系1選擇反映城市社會發(fā)展的指標在人口與勞動力構成中選取總人口、非農(nóng)業(yè)人 口、從業(yè)人員作為衡量城市規(guī)模的指標；將在 校小學生數(shù)、中等學校學生數(shù)、高等學校學生 數(shù)三項合并為一項，即在校學生數(shù)，同時選取 各類專業(yè)技術

10、人員、公共圖書館圖書藏量、醫(yī) 院衛(wèi)生院床位數(shù)作為反映社會文化教育的指標2選擇反映城市社會經(jīng)濟的指標在城市國民生產(chǎn)總值綜合指標中，選取國內(nèi)生產(chǎn) 總值、人均國民生產(chǎn)總值、第一產(chǎn)業(yè)、第二產(chǎn)業(yè)、 第三產(chǎn)業(yè)、工業(yè)產(chǎn)值、農(nóng)林牧漁總產(chǎn)值以及有關 財政、金融、保險等17項指標。3選擇反映城市基礎設施的指標從交通運輸、郵電事業(yè)的指標中，選取了公路客 運量、公路客運量、郵電業(yè)務總量3項指標。表城市職能分類指標體系城市社會發(fā)展/總人口、非農(nóng)業(yè)人口、從業(yè)人員、在職職工年 平均工資、在校學生數(shù)、各類專業(yè)技術人員、f 公共圖書館圖書藏量、醫(yī)院衛(wèi)生院床位數(shù)。丿厶（城市經(jīng)濟發(fā)展1叫輅 i城市社會發(fā)展國內(nèi)生產(chǎn)總值、人均國民生產(chǎn)

11、總 值、第一產(chǎn)業(yè)產(chǎn)值、第二產(chǎn)業(yè)產(chǎn)值、第三產(chǎn)業(yè) 產(chǎn)值、工業(yè)產(chǎn)值、農(nóng)林牧漁總產(chǎn)值、固定資產(chǎn) 投資、財政總收入、地方財政收入、地方財政 支出、出口總額、利用外資、年末金融機構存 款余額、年末金融機構貸款余額、保險收入、 已決賠款。1城市基礎設施公路客運量、公路客運量、郵電業(yè)務總量。1Kohonen網(wǎng)絡的原理Kohonen網(wǎng)絡也稱為自組織特征映射網(wǎng)絡（Self- Organizing Feature Map,簡稱SOM 網(wǎng)絡），通過 尋找最優(yōu)權值矢量對輸入模式集合進行分類。由輸入層和輸出層（也稱競爭層）構成的兩層 網(wǎng)絡，輸入層用于接收輸入模式，輸岀層的神 經(jīng)元一般按正則二維陣列排列，兩層之間的各 神經(jīng)

12、元實現(xiàn)雙向權連接。摸式分類輸入模式Kohonen網(wǎng)絡結構2 Kohonen網(wǎng)絡的學習和工作規(guī)則Kohonen網(wǎng)絡的自組織學習過程可以描述為：對 于每一個網(wǎng)絡的輸入，只調(diào)整一部分權值，使權 向量更接近或更偏離輸入矢量，這一調(diào)整過程， 就是競爭學習，隨著不斷學習，所有權矢量都在 輸入矢量空間相互分離，形成了各自代表輸入空 間的一類模式，這就是Kohonen網(wǎng)絡的特征自動 識別的聚類功能。建立城市分類的Kohonen網(wǎng)絡模型1指標數(shù)據(jù)的處理在本模型中，采用標準差標準化，將原始數(shù)據(jù)Xj =（兀1，無2，兀護，兀巾）（i = 1，2,加）轉換為：X；=（柿兀2,心）（i = 12申）習= (i = 1,

13、2,加;/ = 1,2,/)2運用Mat 1 ab神經(jīng)網(wǎng)絡工具箱建立Kohonen網(wǎng)絡模型將長江三角洲各城市的2 8項指標導入Kohonen網(wǎng)絡 作為網(wǎng)絡的輸入模式，因此輸入層的#神經(jīng)元個數(shù)為28；而競爭層的神經(jīng)元個數(shù)決定于需要分成幾類，在不清楚分類數(shù)目的情況下，競爭層神經(jīng) 元個數(shù)從開始，然后依次加1,分別進行學習。(I在Kohonen網(wǎng)絡模型中，選擇網(wǎng)絡訓練的迭代最大次 j數(shù)為1000次，初始的學習率為0.5。3 Kohonen網(wǎng)絡模型的分類結果PS結果及討論:從長江三角洲城市的分類模型結果來看，分類結果與實際情況1 大體一致，結果較為理想。該方法的最大的優(yōu)點是避免了各層 次權重帶來的主觀性。qi/運用Kohonen網(wǎng)絡進行城市分類，存在很多需要改進的地方