計算智能人工神經(jīng)網(wǎng)絡

計算智能人工神經(jīng)網(wǎng)絡第一頁，共五十三頁，編輯于2023年，星期五第二頁，共五十三頁，編輯于2023年，星期五第三頁，共五十三頁，編輯于2023年，星期五第四頁，共五十三頁，編輯于2023年，星期五第五頁，共五十三頁，編輯于2023年，星期五第六頁，共五十三頁，編輯于2023年，星期五計算智能的概念計算智能（ComputationalIntelligence）1992—貝茲德克(Bezdek)：CI取決于數(shù)據(jù)，不依賴知識；AI應用知識精品.計算智能:生命科學+信息科學

計算智能是信息科學、生命科學、認知科學等不同學科相互交叉的產(chǎn)物。它主要借鑒仿生學的思想，基于人們對生物體智能機理的認識，采用數(shù)值計算的方法去模擬和實現(xiàn)人類的智能。計算智能的主要研究領域包括：神經(jīng)計算、進化計算、模糊計算、螞群計算等。第七頁，共五十三頁，編輯于2023年，星期五計算智能的主要研究領域神經(jīng)網(wǎng)絡是一種對人類智能的結構模擬方法，它是通過對大量人工神經(jīng)元的廣泛并行互聯(lián)，構造人工神經(jīng)網(wǎng)絡系統(tǒng)去模擬生物神經(jīng)系統(tǒng)的智能機理的。進化計算是一種對人類智能的演化模擬方法，它是通過對生物遺傳和演化過程的認識，用進化算法去模擬人類智能的進化規(guī)律的。模糊計算是一種對人類智能的邏輯模擬方法，它是通過對人類處理模糊現(xiàn)象的認知能力的認識，用模糊邏輯去模擬人類的智能行為的。第八頁，共五十三頁，編輯于2023年，星期五人工智能與計算智能

AI：基于知識處理CI：基于數(shù)值計算高級認知形式低級認知形式邏輯計算自然計算推理學習優(yōu)化適應計算復雜度：CI--〉AI--–〉BI(Biological)大量實踐證明，只有把AI和CI很好地結合起來，才能更好地模擬人類智能，才是智能科學技術發(fā)展的正確方向。第九頁，共五十三頁，編輯于2023年，星期五CNNCPRCIANNAPRAIBNNBPRBI人類知識(+)傳感輸入知識(+)傳感數(shù)據(jù)計算(+)傳感器B~生物的A~符號的C~數(shù)值的復雜性復雜性輸入層次貝慈德克的智能的3個層次第十頁，共五十三頁，編輯于2023年，星期五組合優(yōu)化問題求解局部搜索（LS：LocalSearch）遺傳算法(GA：GeneticAlgorithm)人工神經(jīng)網(wǎng)絡（ANN:ArtificialNeuralNetwork）模擬退火算法（SA：SimulatedAnnealing）螞蟻群算法(ACA：AntColonyAlgorithm)免疫算法(IA：ImmuneAlgorithm)粒子群優(yōu)化算法（PSO：ParticleSwarmOptimization）……第十一頁，共五十三頁，編輯于2023年，星期五第六章人工神經(jīng)網(wǎng)絡

(ANN:ArtificialNeuralNetwork)人工神經(jīng)網(wǎng)絡概述多層前饋神經(jīng)網(wǎng)絡(BP網(wǎng)絡)HOPFIELD神經(jīng)網(wǎng)絡HOPFIELD網(wǎng)絡應用第十二頁，共五十三頁，編輯于2023年，星期五6.1人工神經(jīng)網(wǎng)絡概述(一)人工神經(jīng)網(wǎng)絡(ArtificialNeuralNetwork:ANN):抽象,簡化與模擬大腦生物結構的計算模型,也稱連接主義或并行分布處理(ParalellDistributedProcessing:PDP)模型人工神經(jīng)元ANN的三大要素:神經(jīng)元，網(wǎng)絡拓撲結構,學習算法拓撲結構:分層結構,互連結構學習算法:監(jiān)督型(有指導),非監(jiān)督型(沒指導)第十三頁，共五十三頁，編輯于2023年，星期五生物神經(jīng)元結構第十四頁，共五十三頁，編輯于2023年，星期五神經(jīng)元的工作機制神經(jīng)元組成：細胞體（處理器）、樹突（輸入端）、軸突（輸出端）神經(jīng)元有兩種工作狀態(tài)：興奮和抑制神經(jīng)元間的連接權是可以接受外界刺激而改變的，這構成了學習機能的基礎。第十五頁，共五十三頁，編輯于2023年，星期五什么是神經(jīng)元網(wǎng)絡神經(jīng)元網(wǎng)絡(NeuralNet)指由大量神經(jīng)元互連而成的網(wǎng)絡，有點象服務器互連而成的國際互連網(wǎng)(Internet).人腦有1000億個神經(jīng)元，每個神經(jīng)元平均與10000個其他神經(jīng)元互連，這就構成了人類智慧的直接物質(zhì)基礎。第十六頁，共五十三頁，編輯于2023年，星期五人工神經(jīng)元的基本結構∑x1xnxiF()yi=f(uj)=f（∑wixi-θ）ujw1wnwi激勵函數(shù)(或傳播函數(shù))要素:權值(wi),門限值(θ),非線性激勵函數(shù)(f)狀態(tài):被激活的興奮狀態(tài)(ui>=θ)

沒被激活的抑制狀態(tài)(ui<θ)第十七頁，共五十三頁，編輯于2023年，星期五常用神經(jīng)元激勵函數(shù)(一)1-1a階躍函數(shù)1-1b斜坡函數(shù)f(x)=1x≥1kx-1<x<1-1x≤-1f(x)=1x≥0-1x<0第十八頁，共五十三頁，編輯于2023年，星期五常用神經(jīng)元激勵函數(shù)(二)1-1Sigmoid函數(shù)f(x)=1/(1+exp(-x))第十九頁，共五十三頁，編輯于2023年，星期五yj=f((∑wijhi)-θj)激勵函數(shù)為Sigmoid多層神經(jīng)網(wǎng)絡輸入層隱層1x1xny1yn隱層2輸出層Hj=f((∑wijxi)-θj)hj=f((∑wijhi)-θj)第二十頁，共五十三頁，編輯于2023年，星期五6.1人工神經(jīng)網(wǎng)絡概述(二)ANN的突出特點信息的分布存儲：即使局部損壞，通過聯(lián)想可恢復。自適應,自組織,自學習：根據(jù)環(huán)境自動改變網(wǎng)絡及結構。

并行處理：速度快。非線性映射：任意精度逼近。從訓練樣本中自動獲得知識：特別是針對復雜環(huán)境。ANN的應用---走向?qū)嵱没\斷與檢測：疾病診斷、故障檢測等。識別：圖像、文字、指紋、語音等。分析與預測：天氣、市場、股票，決策控制、管理等。第二十一頁，共五十三頁，編輯于2023年，星期五6.1人工神經(jīng)網(wǎng)絡概述(二)ANN的分類拓撲結構：無反反饋/有反饋、層次/全連接學習方法：有教師/無教師網(wǎng)絡性能：連續(xù)型/離散型、線性/非線性確定性：確定性/隨機型ANN的發(fā)展到50年代中期前到60年代末期到80年代初期至今 產(chǎn)生時期-〉高潮時期-〉低潮時期-〉蓬勃發(fā)展時期神經(jīng)元模型 雙層感知器模型69年Minsky論著 1982年Hopfield的成功求解TSPNP難題第二十二頁，共五十三頁，編輯于2023年，星期五6.2單層感知機神經(jīng)網(wǎng)絡(一)單層感知機神經(jīng)網(wǎng)絡

:1957年Rosenblatt提出,可實現(xiàn)二分類學習算法(為二分類問題) Step1初始化勸值(wi)以及閥值

Step2提交訓練示例(x1,…,xn,d),

如x屬于A類,d=1;否則x屬于B類,d=0; Step3計算輸出

Step4修正數(shù)值:wij(t+1)=wij(t)+k[dj(t)-yj(t)]yj(t) Step5goto2,直到w對一切樣本都穩(wěn)定不變.

當f=sgn(wx-θ)時,以上學習算法一定收斂.第二十三頁，共五十三頁，編輯于2023年，星期五yj=f((∑wijxi)-θj)單層感知機神經(jīng)網(wǎng)絡基本結構輸入部分輸出層x1xny1ymwij可解決的問題

兩類線性可分模式的分類問題不能解決的問題復雜的模式分類問題第二十四頁，共五十三頁，編輯于2023年，星期五

使用感知機的主要目的是為了對外部輸入進行分類。羅森勃拉特已經(jīng)證明，如果外部輸入是線性可分的（指存在一個超平面可以將它們分開），則單層感知器一定能夠把它劃分為兩類。其判別超平面由如下判別式確定：

作為例子，下面討論用單個感知器實現(xiàn)邏輯運算的問題。事實上，單層感知器可以很好地實現(xiàn)“與”、“或”、“非”運算，但卻不能解決“異或”問題。

第二十五頁，共五十三頁，編輯于2023年，星期五

y=f(w1x1+w2x2-θ)單層感知機分類器實例輸入部分輸出層x1x2yw2w1第二十六頁，共五十三頁，編輯于2023年，星期五例1“與”運算（x1∧x2）(0,0)(1,1)(0,1)(1,0)與運算問題圖示輸入輸出超平面閾值條件x1x2x1∧x2w1*x1+w2*x2-θ=0000w1*0+w2*0-θ＜0θ＞0010w1*0+w2*1

-θ＜0θ＞w2100w1*1+w2*0-θ＜0θ＞w1

111w1*1+w2*1-θ≥0θ≤w1+w2

可以證明此表有解，例如取w1=1，w2=1，θ=1.5，其分類結果如右圖所示。其中，輸出為1的用實心圓，輸出為0的用空心圓。后面約定相同。第二十七頁，共五十三頁，編輯于2023年，星期五例2“或”運算（x1∨x2）輸入輸出超平面閾值條件x1x2x1∨x2w1*x1+w2*x2-θ=0000w1*0+w2*0-θ＜0θ＞0011w1*0+w2*1

-θ≥0θ≤w2101w1*1+w2*0-θ≥0θ≤w1

111w1*1+w2*1-θ≥0θ≤w1+w2

此表也有解，例如取w1=1，w2=1，θ=0.5，其分類結果如右圖所示。(0,1)(0,0)(1,0)與運算問題圖示(1,1)第二十八頁，共五十三頁，編輯于2023年，星期五例3“非”運算（?x1）輸入輸出超平面閾值條件x1?x1w1*x1-θ=001w1*0-θ≥0θ≤010w1*1

–θ<0θ>w1此表也有解，例如取w1=-1，θ=-0.5，其分類結果如右圖所示。非運算問題圖示01第二十九頁，共五十三頁，編輯于2023年，星期五例4“異或”運算（x1XORx2）輸入輸出超平面閾值條件x1x2X1XORx2w1*x1+w2*x2-θ=0000w1*0+w2*0-θ＜0θ＞0011w1*0+w2*1-θ≥0θ≤w2101w1*1+w2*0-θ≥0θ≤w1

110w1*1+w2*1-θ<0θ>w1+w2

此表無解，即無法找到滿足條件的w1、w2和θ，如右圖所示。因為異或問題是一個非線性可分問題，需要用多層感知器來解決。(0,1)(0,0)(1,0)異或運算問題圖示(1,1)第三十頁，共五十三頁，編輯于2023年，星期五XOR問題A2(1,1)A1(0,0)B1(1,0)B2(0,1)無法用一條直線把節(jié)點正確分開---非線性問題第三十一頁，共五十三頁，編輯于2023年，星期五XOR問題A2(1,1)A1(0,0)B1(1,0)B2(0,1)可以用二條直線把節(jié)點正確分開---多層網(wǎng)絡第三十二頁，共五十三頁，編輯于2023年，星期五6.2多層前饋網(wǎng)絡(二)多層感知機神經(jīng)網(wǎng)絡(MPNN)MPNN的計算能力:激勵函數(shù)為S型函數(shù)時,

二層MPNN:足可以解決任意分類判定問題.

三層MPNN:可形成任意復雜決策區(qū)域,以任意精度逼近任何連續(xù)函數(shù).MPNN的應用領域:函數(shù)逼近,模式識別,分類等.BP學習算法:第三十三頁，共五十三頁，編輯于2023年，星期五yj=f((∑wijhi)-θj)激勵函數(shù)為Sigmoid三層感知機神經(jīng)網(wǎng)絡基本結構簡化圖輸入層隱層1x1xny1yn隱層2輸出層Hj=f((∑wijxi)-θj)hj=f((∑wijhi)-θj)第三十四頁，共五十三頁，編輯于2023年，星期五x11y=x1

XORx2x1X2x121-1111-1輸入層隱層輸出層權值權值圖5.14“異或”問題的多層感知器閾值0.5閾值-1.5閾值1.5(0,1)(0,0)(1,0)圖5.15異或問題的解決(1,1)隱層神經(jīng)元x11所確定的直線方程為它可以識別一個半平面。隱層神經(jīng)元x12所確定的直線方程為它也可以識別一個半平面。輸出層神經(jīng)元所確定的直線方程為它相當于對隱層神經(jīng)元x11和x12的輸出作“邏輯與”運算，因此可識別由隱層已識別的兩個半平面的交集所構成的一個凸多邊形，如圖所示。

y=x1XORx2=(x1Vx2)AND(-x1V-x2)第三十五頁，共五十三頁，編輯于2023年，星期五反向傳播法(BackPropagation)(一)反向傳播法(BP):1985年Rumellart等提出.

正向計算

:正向計算各層輸出,計算最終輸出與目標輸出間的誤差.

反向計算

:逐層傳播誤差信號,修正勸值,直到誤差小于給定值. Step1初始化勸值(wij)及閥值為小的隨機數(shù). Step2施加輸入(x0,x1,…,xn-1),期待輸出(d0,d1,…,dn-1) Step3正向計算:各層的輸出y0,y1,…,yn-1 Step4反向計算:wij(t+1)=wij(t)+kδiX’i(t) Step5goto3,直到w對一切樣本都穩(wěn)定不變.輸出層:δi=yi(1-yi)(di-yi)中間層:δi=x’i(1-x’i)∑δkwik第三十六頁，共五十三頁，編輯于2023年，星期五反向傳播法(BP)(二)優(yōu)點:算法推導清楚,精度高.計算能力強.

訓練后的網(wǎng)絡運行速度塊.缺點:非線性優(yōu)化,可能陷入局部最小區(qū)間.

學習算法的收斂速度慢，可能不收斂.

網(wǎng)絡中隱含節(jié)點的設置無理論指導.第三十七頁，共五十三頁，編輯于2023年，星期五基于神經(jīng)網(wǎng)絡的知識表示與推理

基于神經(jīng)網(wǎng)絡的知識表示并不像在產(chǎn)生式系統(tǒng)中那樣獨立地表示為每一條規(guī)則，而是將某一問題的若干知識在同一網(wǎng)絡中表示（分布式）。例如，在有些神經(jīng)網(wǎng)絡系統(tǒng)中，知識是用神經(jīng)網(wǎng)絡所對應的有向權圖的鄰接矩陣及閾值向量表示的。第三十八頁，共五十三頁，編輯于2023年，星期五異或邏輯的神經(jīng)網(wǎng)絡第三十九頁，共五十三頁，編輯于2023年，星期五鄰接矩陣第四十頁，共五十三頁，編輯于2023年，星期五如果用產(chǎn)生式規(guī)則描述，則該網(wǎng)絡代表下述四條規(guī)則：IFx1=0ANDx2=0THENy=0IFx1=0ANDx2=1THENy=1IFx1=1ANDx2=0THENy=1IFx1=1ANDx2=1THENy=0第四十一頁，共五十三頁，編輯于2023年，星期五基于神經(jīng)網(wǎng)絡的推理基于神經(jīng)網(wǎng)絡的推理是通過網(wǎng)絡計算實現(xiàn)的。把用戶提供的初始證據(jù)用作網(wǎng)絡的輸入，通過網(wǎng)絡計算最終得到輸出結果。第四十二頁，共五十三頁，編輯于2023年，星期五正向神經(jīng)網(wǎng)絡推理的特征同層神經(jīng)元完全并行，層間的信息傳遞串行。計算的數(shù)據(jù)結果是確定的，不會出現(xiàn)推理沖突。學習訓練的模式是自適應推理。每個神經(jīng)元的計算可以分為已知輸入加權和與未知輸入加權和，如果前者大于后者，則未知輸入的輸入不影響結果判斷，從而在信息不完全時，照樣可以進行推理。第四十三頁，共五十三頁，編輯于2023年，星期五6.3HOPFIELD神經(jīng)網(wǎng)絡(一)HOPFIELD神經(jīng)網(wǎng)絡(HOP網(wǎng)絡):全連接網(wǎng)絡同步離散HOP網(wǎng)絡:S(t+1)=sgn{WS(t)+I}

W:權值矩陣S:狀態(tài)向量

當神經(jīng)元不斷更新狀態(tài)使S(t+1)=S(t)時,網(wǎng)絡收斂.主要用于:組合優(yōu)化,記憶與聯(lián)想.驗證HOP網(wǎng)絡的穩(wěn)定性:能量函數(shù)是下降函數(shù)

E=-1/2∑∑wijvivj+∑θiviwii=0,wij=wji

設只有一個神經(jīng)元的狀態(tài)變化(1->0),那么E的增量:

ΔEi=1/2∑wijvj–θi

系統(tǒng)的穩(wěn)定條件為：

θi>=∑wij第四十四頁，共五十三頁，編輯于2023年，星期五6.3HOPFIELD神經(jīng)網(wǎng)絡(二)

節(jié)點間的權值：wij每個節(jié)點的狀態(tài)：sisi=1如果

WS(t)+I>00其他情況wij第四十五頁，共五十三頁，編輯于2023年，星期五6.3HOPFIELD神經(jīng)網(wǎng)絡(三)能量函數(shù):決定網(wǎng)絡的平衡狀態(tài),函數(shù)的極小點就是網(wǎng)絡的平衡狀態(tài).設計能量函數(shù),利用極小點(平衡狀態(tài))存儲信息. m Wij=k∑(2xi-1)(2xj-1)i≠j其它wij=0; s=1

第四十六頁，共五十三頁，編輯于2023年，星期五6.3HOP網(wǎng)絡應用(一)1N皇后問題問題表示:矩陣能量函數(shù):E=A/2∑(∑sij-1)2+A/2∑(∑sij-1)2

+(A+B)/2∑∑sij(1-sij) +C/2∑∑∑sij(si+k,j+k+si+k,j-k)ijiiijjj第四十七頁，共五十三頁，編輯于2023年，星期五6.3HOP網(wǎng)絡應用(二)2二分圖問題問題表示:連接矩陣Csi=1若節(jié)點i屬于節(jié)點集合A-1若節(jié)點i屬于節(jié)點集合B

問題可轉化為：在∑si=0的條件下，最小化-∑∑cijsisj能量函數(shù):?第四十八頁，共五十三頁，編輯于2023年，星期五6.3HOP網(wǎng)絡應用(二)2二分圖問題問題表示:連接矩陣Csi=1若節(jié)點i屬于節(jié)點集合A-1若節(jié)點i屬于節(jié)點集合B

問題可轉化為：在