人工智能10-神經(jīng)網(wǎng)絡(luò)3課件

1、神經(jīng)網(wǎng)絡(luò)-1回顧感知器的設(shè)計(jì),就是確定各個輸入的權(quán)重的過程110不行感知器的參數(shù)設(shè)計(jì)可以將紅點(diǎn)和綠點(diǎn)分開的直線結(jié)論：只要能畫出一條直線，將輸入點(diǎn)按照要求分成兩類，那么就可以設(shè)計(jì)出相應(yīng)的感知器，實(shí)現(xiàn)該功能。確定感知器的參數(shù)，就是獲取這條直線的參數(shù)。感知器的學(xué)習(xí)delta法則當(dāng)訓(xùn)練樣例集合不是線性可分的，感知器的學(xué)習(xí)過程就不能收斂，那么就需要采用delta法則。delta法則可以使得感知器的學(xué)習(xí)過程收斂到目標(biāo)函數(shù)的最佳近似思想：采用梯度下降方法來搜索可能的權(quán)向量的假設(shè)空間，來找到最佳擬合訓(xùn)練樣例的權(quán)向量主要內(nèi)容多層網(wǎng)絡(luò)和反向傳播算法Hopfield網(wǎng)絡(luò)及其學(xué)習(xí)1. 多層網(wǎng)絡(luò)和BP學(xué)習(xí)算法單個感知器

2、只能表示線性決策面多層網(wǎng)絡(luò)能夠表示高度非線性的決策面，其表征能力更強(qiáng)BP學(xué)習(xí)算法BP算法（學(xué)習(xí)過程）是由兩部分組成：信號的正向傳播與誤差的反向傳播正向傳播過程中，輸入信號從輸入層經(jīng)隱含層，逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)如果在輸出層未得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來，修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)反向傳播算法用于多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，從而得到各層的神經(jīng)元權(quán)值。采用梯度下降方法，以最小化網(wǎng)絡(luò)輸出值和目標(biāo)值之間的誤差誤差信號從后向前傳遞，即從輸出層傳播到中間層，再由中間層傳播到輸入層。在反向

3、傳播的過程中，逐層修改聯(lián)結(jié)的權(quán)值。修改方法遵循delta學(xué)習(xí)法則加入輸入和期望輸出計(jì)算隱層和輸出層的輸出迭代次數(shù)加1調(diào)節(jié)輸出層和隱層的連接權(quán)值 改變訓(xùn)練樣例樣例完？迭代完？NoNoyes結(jié)束BP算法的基本流程 初始化 YesBP網(wǎng)絡(luò)特點(diǎn)輸入和輸出是并行的模擬量網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定權(quán)因子通過學(xué)習(xí)信號調(diào)節(jié)。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明BP網(wǎng)絡(luò)特點(diǎn)隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個別權(quán)因子的損壞不會對網(wǎng)絡(luò)輸出產(chǎn)生大的影響只有當(dāng)希望對網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在0和1之間，那么在輸出層應(yīng)當(dāng)包含S型激活函數(shù)在一般情況下，均是在隱含層采用S型激活函數(shù)，而輸出層采用線性激活函數(shù)2. Hopfie

4、ld網(wǎng)絡(luò)及其學(xué)習(xí)美國加州工學(xué)院物理學(xué)家霍普菲爾德(JHopfield) 提出反饋網(wǎng)絡(luò)模型及Hopfield網(wǎng)絡(luò)反饋網(wǎng)絡(luò) 又稱自聯(lián)想記憶網(wǎng)絡(luò)，其目的是為了設(shè)計(jì)一個網(wǎng)絡(luò)，儲存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)通過自行運(yùn)行而最終收斂到這個設(shè)計(jì)的平衡點(diǎn)上。反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動力學(xué)系統(tǒng)的動態(tài)特性。它所具有的主要特性為以下兩點(diǎn)：第一、網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)；第二，系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲到網(wǎng)絡(luò)中。 霍普菲爾德網(wǎng)絡(luò)是單層對稱全反饋網(wǎng)絡(luò)，根據(jù)其激活函數(shù)的選取不同，可分為離散型的霍普菲爾德網(wǎng)絡(luò)(Di

5、screte Hopfield Neural Network，簡稱DHNN)連續(xù)型的霍普菲爾德網(wǎng)絡(luò)(Continuous Hopfield Neural Network，簡稱CHNN)。DHNN的激活函數(shù)為二值型的，其輸入、輸出為0，1的反饋網(wǎng)絡(luò)，主要用于聯(lián)想記憶。CHNN的激活函數(shù)的輸入與輸出之間的關(guān)系為連續(xù)可微的單調(diào)上升函數(shù)，主要用于優(yōu)化計(jì)算。 2.1 霍普菲爾德網(wǎng)絡(luò)模型 反饋網(wǎng)絡(luò)結(jié)構(gòu)圖 在反饋網(wǎng)絡(luò)中如果其激勵函數(shù)f()是一個二值型的硬函數(shù)，如aisgn(ni)，il, 2, r，則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)；如果ai=f(ni)中的f()為一個連續(xù)單調(diào)上升的有界函數(shù)，這類網(wǎng)絡(luò)被稱為連續(xù)型反

6、饋網(wǎng)絡(luò)。圖2所示為一個具有飽和線性激活函數(shù)，它滿足連續(xù)單調(diào)上升的有界函數(shù)的條件，常作為連續(xù)型的激活函數(shù)。 圖1 DHNN中的激活函數(shù) 圖2 CHNN中的激活函數(shù) 2.2 狀態(tài)軌跡 狀態(tài)：網(wǎng)絡(luò)中每個神經(jīng)元的輸出值，對應(yīng)DHNN,只有兩種狀態(tài)（1，0）設(shè)狀態(tài)矢量N=n1, n2, ，nr，網(wǎng)絡(luò)的輸出矢量為Aa1，a2，asT ，在一個r維狀態(tài)空間上，可以用一條軌跡來描述狀態(tài)變化情況。從初始值N(t0)出發(fā)，N(t0+t)N(t0+2t)N(t0+mt)，這些在空間上的點(diǎn)組成的確定軌跡，是演化過程中所有可能狀態(tài)的集合。 圖 三維空間中的狀態(tài)軌跡 說明對于DHNN，因?yàn)镹(t)中每個值只可能為1，或0

7、，1，對于確定的權(quán)值wij，其軌跡是跳躍的階梯式，如圖中A所示。對于CHNN，因?yàn)閒()是連續(xù)的，因而，其軌跡也是連續(xù)的。如圖中B、C所示。 2.3 穩(wěn)定點(diǎn)穩(wěn)定點(diǎn)：狀態(tài)軌跡從系統(tǒng)在t0時狀態(tài)的初值N(t0)開始，經(jīng)過一定的時間t(t0)后，到達(dá)N(t0+t)。如果N(t0+t+t)=N(t0+t)，t0，則狀態(tài)N(t0+t)稱為網(wǎng)絡(luò)的穩(wěn)定點(diǎn)，或平衡點(diǎn)，此時該網(wǎng)絡(luò)是穩(wěn)定的。 處于穩(wěn)定時的網(wǎng)絡(luò)狀態(tài)叫做穩(wěn)定狀態(tài)。 在一個反饋網(wǎng)絡(luò)中，存在很多穩(wěn)定點(diǎn)，根據(jù)不同情況，這些穩(wěn)定點(diǎn)可以分為：1)漸近穩(wěn)定點(diǎn)：如果在穩(wěn)定點(diǎn)Ne周圍的N()區(qū)域內(nèi)，從任一個初始狀態(tài)N(t0)出發(fā)的每個運(yùn)動，當(dāng)t時都收斂于Ne，則稱N

8、e為漸近穩(wěn)定點(diǎn)。 2)不穩(wěn)定平衡點(diǎn)Nen：在某些特定的軌跡演化過程中，網(wǎng)絡(luò)能夠到達(dá)穩(wěn)定點(diǎn)Nen，但對于其它方向上的任意一個小的區(qū)域N()，不管N()取多么小，其軌跡在時間t以后總是偏離Nen； 3)網(wǎng)絡(luò)的解：如果網(wǎng)絡(luò)最后穩(wěn)定到設(shè)計(jì)人員期望的穩(wěn)定點(diǎn)，且該穩(wěn)定點(diǎn)又是漸近穩(wěn)定點(diǎn)，那么這個點(diǎn)稱為網(wǎng)絡(luò)的解； 4)網(wǎng)絡(luò)的偽穩(wěn)定點(diǎn)：網(wǎng)絡(luò)最終穩(wěn)定到一個漸近穩(wěn)定點(diǎn)上，但這個穩(wěn)定點(diǎn)不是網(wǎng)絡(luò)設(shè)計(jì)所要求的解，這個穩(wěn)定點(diǎn)為偽穩(wěn)定點(diǎn)。 2.4 狀態(tài)軌跡1）狀態(tài)軌跡為極限環(huán)如果在某些參數(shù)的情況下，狀態(tài)N(t)的軌跡是一個圓，或一個環(huán)，狀態(tài)N(t)沿著環(huán)重復(fù)旋轉(zhuǎn)，永不停止，此時的輸出A(t)也出現(xiàn)周期變化，即出現(xiàn)振蕩，如前圖

9、中C的軌跡即是極限環(huán)出現(xiàn)的情形對于DHNN，軌跡變化可能在兩種狀態(tài)下來回跳動，其極限環(huán)為2。如果在r種狀態(tài)下循環(huán)變化，稱其極限環(huán)為r。 2）混沌現(xiàn)象如果狀態(tài)N(t)的軌跡在某個確定的范圍內(nèi)運(yùn)動，但既不重復(fù)，又不能停下來，狀態(tài)變化為無窮多個，而軌跡也不能發(fā)散到無窮遠(yuǎn)，這種現(xiàn)象稱為混沌在出現(xiàn)混沌的情況下，系統(tǒng)輸出變化為無窮多個，并且隨時間推移不能趨向穩(wěn)定，但又不發(fā)散。 3) 狀態(tài)軌跡發(fā)散如果狀態(tài)N(t)的軌跡隨時間一直延伸到無窮遠(yuǎn)，此時狀態(tài)發(fā)散，系統(tǒng)的輸出也發(fā)散。在人工神經(jīng)網(wǎng)絡(luò)中，由于激活函數(shù)是一個有界函數(shù)，雖然狀態(tài)N(t)是發(fā)散的，但其輸出A(t)還是穩(wěn)定的，而A（t）的穩(wěn)定反過來又限制了狀態(tài)的發(fā)散。一般非線性人工神經(jīng)網(wǎng)絡(luò)中發(fā)散現(xiàn)象是不會發(fā)生的，除非神經(jīng)元的輸入輸出激活函數(shù)是線性的2.5 應(yīng)用目前的人工神經(jīng)網(wǎng)絡(luò)是利用狀態(tài)軌跡的第一種情況，即穩(wěn)定的專門軌跡來解決某些問題的。利用Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定點(diǎn)可以模擬人的記憶如果把系統(tǒng)的穩(wěn)定點(diǎn)視做一個記憶的話，那么從初始狀態(tài)朝這個穩(wěn)定點(diǎn)移動的過程就是尋找該記憶的過程。 狀態(tài)的初始值可以認(rèn)為是給定的有關(guān)該記憶的部分信息，狀態(tài)N(t)移動的過程，是從部分信息去尋找全部信息，這就是聯(lián)想記憶的過程。 反饋網(wǎng)絡(luò)的狀態(tài)移動的過程實(shí)際上是一種計(jì)算聯(lián)想記憶或優(yōu)化的過程。它的解并不需要真的去計(jì)算，只需要去形成一類反饋神經(jīng)網(wǎng)絡(luò)，適當(dāng)?shù)赜懻撈錂?quán)重值wij，