Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法

1、整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法1第第10章章 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方神經(jīng)網(wǎng)絡(luò)優(yōu)化方法法整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法2Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法n10.1 人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型n10.2 Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)n10.3 Hopfield網(wǎng)絡(luò)與最優(yōu)化問(wèn)題網(wǎng)絡(luò)與最優(yōu)化問(wèn)題整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法3人工神經(jīng)網(wǎng)絡(luò)n人工神經(jīng)網(wǎng)絡(luò)是指由大量簡(jiǎn)單人工神經(jīng)元互聯(lián)而成的一種計(jì)算結(jié)構(gòu)。它可以在某種程度上模擬生物神經(jīng)系統(tǒng)的工作過(guò)程，從而具備解決實(shí)際問(wèn)題的能力。n人工神經(jīng)網(wǎng)絡(luò)由于其大規(guī)模并行處理、學(xué)習(xí)、聯(lián)想和記憶等功能，以及它高度的自組織和自適應(yīng)能力，已成為解決許多工程

2、問(wèn)題的有力工具，近年來(lái)得到了飛速的發(fā)展。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法4生物神經(jīng)系統(tǒng)生物神經(jīng)系統(tǒng) n生物神經(jīng)系統(tǒng)是一個(gè)有高度組織和相互作用的數(shù)目龐大的細(xì)胞組織群體。這些細(xì)胞被稱為神經(jīng)細(xì)胞，也稱作神經(jīng)元。整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5人工神經(jīng)元模型人工神經(jīng)元模型 n人工神經(jīng)元是構(gòu)成人工神經(jīng)網(wǎng)絡(luò)的基本單元，是對(duì)生物神經(jīng)元特性及功能的一種數(shù)學(xué)抽象，通常為一個(gè)多輸入單輸出器件。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法6人工神經(jīng)元模型人工神經(jīng)元模型 n輸入與輸出信號(hào)輸入與輸出信號(hào)：s1、s2、.sn為輸入，vi為輸出。輸出也稱為單元的狀態(tài)。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法7人工神經(jīng)元模型人工神經(jīng)元模型 n權(quán)值：給不同的輸入

3、的信號(hào)一定的權(quán)值，用wij表示。一般權(quán)值為+表示激活，為-表示抑制； 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法8人工神經(jīng)元模型人工神經(jīng)元模型 n求和器：用表示，以計(jì)算各輸入信號(hào)的加權(quán)和，其效果等同于一個(gè)線性組合； 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法9人工神經(jīng)元模型人工神經(jīng)元模型 n激活函數(shù)：圖中的f()，主要起非線性映射作用，另外還可以作為限幅器將神經(jīng)元輸出幅度限制在一定范圍內(nèi)； 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法10人工神經(jīng)元模型人工神經(jīng)元模型 n閾值：控制激活函數(shù)輸出的開關(guān)量，用i表示。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法11人工神經(jīng)元模型人工神經(jīng)元模型 n上述作用可用數(shù)學(xué)方式表示如下： 1( )niijjjiiiiiuw s

4、xuvf xi=1, 2, n 式中，sj為輸入信號(hào)；wij為神經(jīng)元i對(duì)輸入信號(hào)sj的權(quán)值；ui為線性組合結(jié)果；i為閾值；f()為激活函數(shù)；vi為神經(jīng)元i的輸出。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法12激活函數(shù)的若干形式激活函數(shù)的若干形式 n（1）閾值函數(shù)，即階躍函數(shù) 1 0( )sgn( )0 0 xf xxx于是神經(jīng)元i的相應(yīng)輸出為： 01 00iiixvx式中， injjijiswx1整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法13激活函數(shù)的若干形式激活函數(shù)的若干形式 n（2）分段線性函數(shù) 特點(diǎn)：類似于系數(shù)為1的非線性放大器，當(dāng)工作于線性區(qū)時(shí)它是一個(gè)線性組合器，放大系數(shù)趨于無(wú)窮大時(shí)變成一個(gè)閾值單元 111( )(

5、1) 11210 xf xx xx 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法14激活函數(shù)的若干形式激活函數(shù)的若干形式 n（3）sigmoid函數(shù) 式中，c為大于0的參數(shù)，可控制曲線斜率 1( )1 exp()f xcx整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法1510.1.3 人工神經(jīng)網(wǎng)絡(luò)的互連模式人工神經(jīng)網(wǎng)絡(luò)的互連模式 n根據(jù)連接方式的不同，將現(xiàn)有的各類神經(jīng)網(wǎng)絡(luò)分為根據(jù)連接方式的不同，將現(xiàn)有的各類神經(jīng)網(wǎng)絡(luò)分為如下如下2種形式：種形式：前饋型網(wǎng)絡(luò)前饋型網(wǎng)絡(luò) ，反饋型網(wǎng)絡(luò)，反饋型網(wǎng)絡(luò)（1）前饋型網(wǎng)絡(luò)）前饋型網(wǎng)絡(luò) n各神經(jīng)元接受前一層的輸入，并輸出給下一各神經(jīng)元接受前一層的輸入，并輸出給下一層，沒(méi)有反饋。層，沒(méi)有反饋。n結(jié)點(diǎn)分

6、為兩類，即輸入單元和計(jì)算單元，每結(jié)點(diǎn)分為兩類，即輸入單元和計(jì)算單元，每一計(jì)算單元可有任意個(gè)輸入，但只有一個(gè)輸一計(jì)算單元可有任意個(gè)輸入，但只有一個(gè)輸出（它可耦合到任意多個(gè)其他結(jié)點(diǎn)作為輸入出（它可耦合到任意多個(gè)其他結(jié)點(diǎn)作為輸入）。）。n可分為不同的層，第可分為不同的層，第i-1層輸出是第層輸出是第i層的輸層的輸入，輸入和輸出結(jié)點(diǎn)與外界相連，而其他中入，輸入和輸出結(jié)點(diǎn)與外界相連，而其他中間層稱為隱層。間層稱為隱層。 主要起函數(shù)映射作用，常用于模式識(shí)別和函數(shù)逼近主要起函數(shù)映射作用，常用于模式識(shí)別和函數(shù)逼近 。整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法16（2）反饋型網(wǎng)絡(luò)）反饋型網(wǎng)絡(luò) n所有結(jié)點(diǎn)都是計(jì)算單元，同時(shí)也可接

7、受輸入，并向外界輸出。所有結(jié)點(diǎn)都是計(jì)算單元，同時(shí)也可接受輸入，并向外界輸出。n若總的單元數(shù)為若總的單元數(shù)為n，則每一個(gè)結(jié)點(diǎn)有，則每一個(gè)結(jié)點(diǎn)有n-1個(gè)輸入、個(gè)輸入、個(gè)輸出，如圖個(gè)輸出，如圖10-7 的形的形式。式。 反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)按對(duì)能量函數(shù)極按對(duì)能量函數(shù)極小點(diǎn)的利用分為兩類：小點(diǎn)的利用分為兩類：一類是能量函數(shù)的所有極一類是能量函數(shù)的所有極小點(diǎn)都起作用，主要用作小點(diǎn)都起作用，主要用作各種各種聯(lián)想存儲(chǔ)器聯(lián)想存儲(chǔ)器；第二類只利用全局極小點(diǎn)第二類只利用全局極小點(diǎn)，主要用于，主要用于優(yōu)化問(wèn)題求解優(yōu)化問(wèn)題求解。Hopfield模型、波爾茲模型、波爾茲曼機(jī)（曼機(jī)（BM）模型等可以完）模型等可以完成此類計(jì)算

8、。成此類計(jì)算。整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法1710.2 Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) - HNN n網(wǎng)絡(luò)中引入了反饋，所以它是一個(gè)非線性動(dòng)力學(xué)系統(tǒng) .n非線性動(dòng)力學(xué)系統(tǒng)著重關(guān)心的是系統(tǒng)的穩(wěn)定性問(wèn)題。 n在Hopfield模型中，神經(jīng)網(wǎng)絡(luò)之間的聯(lián)系總是設(shè)為的，這保證了系統(tǒng)最終會(huì)達(dá)到一個(gè)固定的有序狀態(tài)，即穩(wěn)定狀態(tài)。 特點(diǎn)：特點(diǎn)：整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法18Hopfield網(wǎng)絡(luò)基本結(jié)構(gòu)網(wǎng)絡(luò)基本結(jié)構(gòu): 其中，I1, I2,., In是外部對(duì)網(wǎng)絡(luò)的輸入；v1, v2,., vn是網(wǎng)絡(luò)系統(tǒng)的輸出；u1, u2, ., un是對(duì)相應(yīng)神經(jīng)元輸入，wij是從第j個(gè)神經(jīng)元對(duì)第i個(gè)神經(jīng)元的輸入的權(quán)值，wji=w

9、ij，wii=0。f()是特性函數(shù)，決定了網(wǎng)絡(luò)是離散離散的還是連續(xù)連續(xù)的。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法19離散型離散型Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò) n定義定義：對(duì)圖10-8中的特性函數(shù)f()取閾值函數(shù)（見(jiàn)圖10-3）等硬限函數(shù)，使神經(jīng)元的輸出取離散值，就得到離散型離散型Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)。 n工作原理工作原理：設(shè)有n個(gè)神經(jīng)元，v為神經(jīng)網(wǎng)絡(luò)的狀態(tài)矢量，為第i個(gè)神經(jīng)元的輸出，輸出取值為0或者為l的二值狀態(tài)。對(duì)任一神經(jīng)元i， 為第i個(gè)神經(jīng)元的內(nèi)部未加權(quán)輸入，它們對(duì)該神經(jīng)元的影響程度用連接權(quán)wij表示。 為第i個(gè)神經(jīng)元的閾值。 i01 00iiixvx（10-6） ivj ijv整理ppt神

10、經(jīng)網(wǎng)絡(luò)優(yōu)化方法20離散型離散型Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò) n2種狀態(tài)更新方式種狀態(tài)更新方式：q異步方式異步方式：在任一時(shí)刻t，只有某一個(gè)神經(jīng)元按式（10-6）發(fā)生變化，而其余n-1個(gè)神經(jīng)元的狀態(tài)保持不變。q同步方式同步方式：在任一時(shí)刻t，有部分神經(jīng)元按式（10-6）變化（部分同步）或所有神經(jīng)元按式（10-6）變化（全并行方式）。 一旦給出一旦給出Hopfield網(wǎng)絡(luò)的權(quán)值和神經(jīng)元的閾值，網(wǎng)絡(luò)的權(quán)值和神經(jīng)元的閾值，則網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移序列就確定了。則網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移序列就確定了。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法21離散型離散型Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò) n定義定義10.1 若神經(jīng)元i在更新過(guò)程中，輸出變量v不

11、再變化，則稱神經(jīng)元i已穩(wěn)定穩(wěn)定。若Hopfield網(wǎng)絡(luò)從t=0的任意一個(gè)初始輸出狀態(tài)開始，存在一個(gè)有限的時(shí)間，此時(shí)間點(diǎn)后系統(tǒng)中所有神經(jīng)元都是穩(wěn)定的，即網(wǎng)絡(luò)狀態(tài)不再發(fā)生變化，則稱該的，即： ，對(duì)所有 。 ()( )tttvv0t 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法22離散型離散型Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 若神經(jīng)網(wǎng)絡(luò)的連接權(quán)矩陣W是零主對(duì)角元素的對(duì)稱矩陣，即滿足wij=wji且wii0，il，2，n，網(wǎng)絡(luò)狀態(tài)按串行異步方式更新，則網(wǎng)絡(luò)必收斂于狀態(tài)空間中的某一穩(wěn)定狀態(tài)。 如果網(wǎng)絡(luò)是穩(wěn)定的，則在滿足一定的參數(shù)條件下，某種能量函數(shù)在網(wǎng)絡(luò)運(yùn)行過(guò)程中是不斷降低并最后趨于穩(wěn)定平衡狀態(tài)的網(wǎng)絡(luò)網(wǎng)絡(luò)中任意一個(gè)神經(jīng)元節(jié)點(diǎn)狀態(tài)

12、發(fā)生變化時(shí)，能量中任意一個(gè)神經(jīng)元節(jié)點(diǎn)狀態(tài)發(fā)生變化時(shí)，能量E都將減小都將減小。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法23能量函數(shù)與穩(wěn)定性能量函數(shù)與穩(wěn)定性iviviEiEiE假設(shè)第i個(gè)神經(jīng)元節(jié)點(diǎn)狀態(tài)的變化量記為，相應(yīng)的能量變化量記為。能量隨狀態(tài)變化而減小意味著總是負(fù)值。考察兩種情況：iviv由0變?yōu)?時(shí)，0，必有xi0。（1）當(dāng)狀態(tài)由1變?yōu)?時(shí)，0，必有xi0。 （2）當(dāng)狀態(tài)iviv可見(jiàn)iv與xi的積總是正正的。 iEiv)(nijijijvwiv=-xi=故節(jié)點(diǎn)i的能量可定義為： nijiijijivvwE)(對(duì)于離散型網(wǎng)絡(luò)方程，Hopfield將網(wǎng)絡(luò)整體能量函數(shù)定義為： iiininijjiijvvvw

13、tE121)(整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法24能量函數(shù)與穩(wěn)定性能量函數(shù)與穩(wěn)定性n容易證明它滿足Lyapunov函數(shù)的三個(gè)條件：函數(shù)函數(shù)連續(xù)可導(dǎo)；函數(shù)正定以及；函數(shù)的導(dǎo)數(shù)半連續(xù)可導(dǎo)；函數(shù)正定以及；函數(shù)的導(dǎo)數(shù)半負(fù)定。負(fù)定。 從iijjijivwvVE)(可以看出E對(duì)于所有V的分量是連續(xù)的。 嚴(yán)格來(lái)說(shuō)，式（10-9）并不能滿足Lyapunov函數(shù)的正定條件。但是，對(duì)于神經(jīng)元有界的神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性來(lái)說(shuō)，正定條件可以退化為只要求該函數(shù)有界。即前面已討論過(guò)的即前面已討論過(guò)的“E隨狀態(tài)變化而嚴(yán)格隨狀態(tài)變化而嚴(yán)格單調(diào)遞減單調(diào)遞減”整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法25能量函數(shù)與穩(wěn)定性能量函數(shù)與穩(wěn)定性nW和 （由n個(gè)i構(gòu)

14、成的列向量）都是有確定值的矩陣和向量，且 有界，因此E有下界： n因?yàn)槭剑?0-9）的E是有界函數(shù)，從而可知式（10-9）是正定的，即網(wǎng)絡(luò)將最終達(dá)到穩(wěn)定狀態(tài)網(wǎng)絡(luò)將最終達(dá)到穩(wěn)定狀態(tài)。niininjijwE111min21訂正：P155整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法26能量函數(shù)與穩(wěn)定性能量函數(shù)與穩(wěn)定性 離散Hopfield模型的穩(wěn)定狀態(tài)與能量函數(shù)E在狀態(tài)空間的局部極小點(diǎn)是一一對(duì)應(yīng)的。 需要指出：一般在Hopfield神經(jīng)網(wǎng)絡(luò)中，能量函數(shù)可能存在局部最小值，如圖10-9所示。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法27能量函數(shù)與穩(wěn)定性能量函數(shù)與穩(wěn)定性例例10-1 試計(jì)算一個(gè)有8個(gè)神經(jīng)元的離散Hopfield網(wǎng)絡(luò)，

15、其網(wǎng)絡(luò)權(quán)值W和閾值向量如下： 023. 015. 0065. 005. 053. 022. 017. 023. 0081. 070. 014. 077. 030. 024. 015. 081. 0015. 032. 026. 061. 078. 0065. 070. 015. 0066. 019. 058. 063. 005. 014. 032. 066. 0010. 047. 033. 053. 077. 026. 019. 010. 0091. 045. 022. 030. 061. 058. 047. 091. 0055. 017. 024. 078. 063. 033. 045. 05

16、5. 00W0.650.30.40.750.150.250.950.35 試確定網(wǎng)絡(luò)最后的平衡狀態(tài)。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法28能量函數(shù)與穩(wěn)定性能量函數(shù)與穩(wěn)定性例例10-1 試計(jì)算一個(gè)有8個(gè)神經(jīng)元的離散Hopfield網(wǎng)絡(luò)， 其網(wǎng)絡(luò)權(quán)值W和閾值向量如下： 解：解：1計(jì)算步驟如下：（1）按式（10-9）確定如下能量函數(shù)： iiininijjiijvvvwE121（2）隨機(jī)選取神經(jīng)元i，按下式判斷該神經(jīng)元輸出狀態(tài)vi（即采用了閾值為0的雙極硬限函數(shù)），按串行工作方式，直至狀態(tài)不變，計(jì)算終止： niijjij ixw vniijjij ixw v若神經(jīng)元i的狀態(tài) 0，則取vi=1若記憶模式較少，

17、同時(shí)模式之間的差異較大，則聯(lián)想的結(jié)果就比較正確；而當(dāng)需記憶的模式較多時(shí)，網(wǎng)絡(luò)到達(dá)的穩(wěn)定狀態(tài)往往不是己記憶的模式，亦即容易引起混淆； 再者，當(dāng)模式間差異較小時(shí)，網(wǎng)絡(luò)可能無(wú)法辨別出正確的模式，此時(shí)即便采用已記憶的模式作為聯(lián)想模式（自聯(lián)想），也仍可能出錯(cuò)，如本例所示。注意：本例m1和m2是該網(wǎng)絡(luò)的兩個(gè)穩(wěn)定狀態(tài)?？沈?yàn)證，對(duì)于該網(wǎng)絡(luò)的其余6個(gè)網(wǎng)絡(luò)狀態(tài)中的任何一個(gè)，都可在一次運(yùn)行后收斂于這兩個(gè)狀態(tài)中的一個(gè)。解畢。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法3610.2.3 連續(xù)型連續(xù)型Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)n將離散的Hopfield神經(jīng)網(wǎng)絡(luò)模型擴(kuò)展到連續(xù)時(shí)間的動(dòng)力學(xué)模型，其網(wǎng)絡(luò)的連接方式不變，仍然是全互連對(duì)稱結(jié)構(gòu)，特性

18、函數(shù)f()選用Sigmoid函數(shù)，使神經(jīng)元的輸出取連續(xù)值。連續(xù)的Hopfield網(wǎng)絡(luò)可與一電子線路對(duì)應(yīng)，如圖10-10所示。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法3710.2.3 連續(xù)型連續(xù)型Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)n圖10-11表示由運(yùn)算放大器實(shí)現(xiàn)的一個(gè)節(jié)點(diǎn)的模型。 對(duì)于該模型，其電路方程可寫為： 1( )njiiiiijiijiivuduuCIdtRRvf u（10-12） 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法38式中，iI為系統(tǒng)的外部激勵(lì)。經(jīng)過(guò)整理，得： 1( )njiiijiiijiiiivduuIdtR CR CCvf u （10-13） 式中， njijiiRRR1111令 1,iiiijiijiiI

19、RC wR CC，有： )(11iiinjjijiiufvvwudtdu整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法39定義定義10.2 對(duì)式（10-14）的連續(xù)Hopfield網(wǎng)絡(luò)，其能量函數(shù)E(t)為( )1011111( )( )2innnnv tijijiiij iiiE tw vvvfx dx （10-15） 證明式（10-15）表示的能量函數(shù)滿足李雅普諾夫函數(shù)的前兩個(gè)條件是很容易的事。第三個(gè)條件的滿足則可用式（10-15）推導(dǎo)得到。從式（10-15）不難看出： dtduvwudvdEinijijijii)(連續(xù)連續(xù)Hopfield網(wǎng)絡(luò)收斂性網(wǎng)絡(luò)收斂性（10-16） 于是， niiiiiniiiini

20、iiniiidtdvdvdudtdvdtdvdvdudtdvdtdudtdvdvdEdtdE12111)()(iiufv 為Sigmoid函數(shù)時(shí)，其逆函數(shù) )(1iivfu為非減函數(shù)，即 當(dāng) 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法400)(1iiiivfdvddvdu（10-18） 0dtdE故 。 注意，式（10-15）的最后一項(xiàng)在Sigmoid函數(shù)值高增益下由于接近限幅器而可以忽略不計(jì)。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法41對(duì)于連續(xù)Hopfield網(wǎng)絡(luò)，如果f- -1()為單調(diào)遞增的連續(xù)函數(shù)，Ci0，wij= wji，則沿系統(tǒng)運(yùn)動(dòng)軌道有 0dtdE（10-19） 0dtdui0dtdE當(dāng)且僅當(dāng)時(shí)，(i=1,

21、2,n) 由定理10.2可知，連續(xù)Hopfield網(wǎng)絡(luò)隨時(shí)間推移其能量函數(shù)總是在不斷地減少。網(wǎng)絡(luò)的平衡點(diǎn)就是E(t)的極小值點(diǎn)。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法42連續(xù)連續(xù)Hopfield網(wǎng)絡(luò)的工作方式有如下網(wǎng)絡(luò)的工作方式有如下結(jié)論：結(jié)論： n系統(tǒng)過(guò)程從任意非平衡狀態(tài)出發(fā)，最終收斂于平衡狀態(tài)，平衡點(diǎn)有限。如果平衡點(diǎn)是穩(wěn)定的，那么一定是漸近穩(wěn)定的。漸近穩(wěn)定平衡點(diǎn)為其能量函數(shù)的極小點(diǎn)；n通過(guò)適當(dāng)?shù)膶W(xué)習(xí)，該網(wǎng)絡(luò)能將任意一級(jí)正交矢量存儲(chǔ)起來(lái)作為漸近穩(wěn)定平衡點(diǎn)；n連續(xù)Hopfield網(wǎng)絡(luò)的信息存儲(chǔ)表現(xiàn)為神經(jīng)元之間互連的分布動(dòng)態(tài)存儲(chǔ)；n連續(xù)Hopfield網(wǎng)絡(luò)以大規(guī)模非線性連續(xù)時(shí)間并行方式處理信息，其計(jì)算時(shí)間

22、就是系統(tǒng)趨于平衡點(diǎn)的時(shí)間。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法43連續(xù)連續(xù)Hopfield網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)迭代過(guò)程網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)迭代過(guò)程的框圖的框圖 初始化在每個(gè)周期（掃描）重復(fù)下列步驟：是否到達(dá)穩(wěn)定狀態(tài)隨機(jī)抽取一個(gè)在此周期中尚未更新的神經(jīng)元。 vi+=sgm( ui+)。停止否是injjijiiiivwtudvdEtuu1計(jì)算整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法4410.3 Hopfield網(wǎng)絡(luò)與最優(yōu)化問(wèn)題網(wǎng)絡(luò)與最優(yōu)化問(wèn)題 n如果把一個(gè)動(dòng)態(tài)系統(tǒng)的穩(wěn)定點(diǎn)視為個(gè)能量函數(shù)的極小點(diǎn)，而把能量函數(shù)視為一個(gè)優(yōu)化問(wèn)題的目標(biāo)函數(shù)，那么從初態(tài)朝這個(gè)穩(wěn)定點(diǎn)的演變過(guò)程就是一個(gè)求解該優(yōu)化問(wèn)題的過(guò)程。n反饋網(wǎng)絡(luò)用于優(yōu)化計(jì)算和作為聯(lián)想存儲(chǔ)這兩

23、個(gè)問(wèn)題是對(duì)偶的：用于優(yōu)化計(jì)算時(shí)權(quán)矩陣W已知，目的是尋找E以達(dá)到最小的穩(wěn)定狀態(tài)；而作聯(lián)想存儲(chǔ)時(shí)穩(wěn)定狀態(tài)則是給定的（對(duì)應(yīng)于待存的模式向量），要通過(guò)學(xué)習(xí)來(lái)尋找合適的W。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法45旅行商問(wèn)題（旅行商問(wèn)題（TSP） n給定N個(gè)城市和它們兩兩之間的直達(dá)距離，找出一個(gè)閉合旅程，使每個(gè)城市只經(jīng)過(guò)一次，且總的旅行距離必須為最短。nHopfield與Tank將N城市TSP問(wèn)題映射到連續(xù)Hopfield網(wǎng)絡(luò)中，通過(guò)這N個(gè)城市的一個(gè)旅程旅程次序表次序表給出問(wèn)題的一個(gè)可行解。n在旅程次序表中，一個(gè)旅程的城市次序由一組神經(jīng)元的輸出狀態(tài)表示。建立能量方程使最優(yōu)旅程次序表對(duì)應(yīng)網(wǎng)絡(luò)的穩(wěn)定終止?fàn)顟B(tài)。 整理p

24、pt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法46旅行商問(wèn)題（旅行商問(wèn)題（TSP）n對(duì)一個(gè)N城市的TSP問(wèn)，因?yàn)橛蠳個(gè)城市，并對(duì)應(yīng)有N種次序，所以要有NN個(gè)神經(jīng)元。n在圖10-13（a）給出了一個(gè)路徑，其旅程總距離d為d=dBH+dHS+dSG+dGC+dCX+dXB，其中B是第一個(gè)被訪問(wèn)的，隨后依次為H、S、G、C和X。這里，dIJ表示從I市到J市的直達(dá)距離。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法47旅行商問(wèn)題（旅行商問(wèn)題（TSP）n用換位矩陣來(lái)表示TSP一條路徑的方法 ：在該矩陣中，每一列只有一個(gè)元素為l，其余為0，列的大小表示對(duì)某城市訪問(wèn)的次序。同樣每一行也只有一個(gè)元素為1，其余為0。通過(guò)這樣的矩陣，可惟一地確定一條旅行路

25、線。 整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法48對(duì)于用Hopfield網(wǎng)絡(luò)來(lái)求解TSP問(wèn)題，就是要恰當(dāng)?shù)貥?gòu)造一個(gè)能量函數(shù)，使得Hopfield網(wǎng)絡(luò)中的n個(gè)神經(jīng)元能夠求得問(wèn)題的解，并使其能量處于最低狀態(tài)。為此，構(gòu)造能量函數(shù)需考慮以下兩個(gè)問(wèn)題：（1）能量函數(shù)要具有適合于換位矩陣的穩(wěn)定狀態(tài)（約束條件）。（2）能量函數(shù)要有利于表達(dá)在TSP所有合法旅行路線中最短路線的解（目標(biāo)函數(shù)）。能量函數(shù)的合法形式可以通過(guò)考慮神經(jīng)元的輸出是0或1來(lái)實(shí)現(xiàn)。先考慮第（2）個(gè)問(wèn)題。 定義優(yōu)化目標(biāo)函數(shù)為： )(21min)(1,1,xxyiyiyixixyvvvdvJ整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法49旅行商問(wèn)題（旅行商問(wèn)題（TSP）xxyi

26、yiyixixyvvvdvJ )(21)(min1,1,xjxjjixivvvJ0)(1ixyixyxivvvJ0)(2xixiNvvJ0)()(23TSP可表示為如下優(yōu)化問(wèn)題： （10-21）（10-22）（10-23）(10-24) s.t.糾正P162yj整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法50旅行商問(wèn)題（旅行商問(wèn)題（TSP）寫在一起，其目標(biāo)函數(shù)為 xiiyiyxyxixyxixiixxyyixixiijxjxivvvdD nvCvvBvvAE)(22221,1,2（10-25） 此即描述TSP的Hopfield神經(jīng)網(wǎng)絡(luò)的能量函數(shù)。 糾正P162yj整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法51旅行商問(wèn)題（旅行商

27、問(wèn)題（TSP）比較式（10-25）與式（10-15）同一變量?jī)啥说南禂?shù)，可得到網(wǎng)絡(luò)連接權(quán)和閾值的表達(dá)式（這里需要注意的是，因?yàn)榫W(wǎng)絡(luò)是二維的，每個(gè)變量有兩個(gè)下標(biāo)，而且求和符號(hào)也相應(yīng)增加一倍）： CnDdCBATxiijijxyxyijijxyyjxi)()1 ()1 (1,1,（10-26） ijjiji ij, 0, 1式中，為Kronecker函數(shù)，糾正P163xi,yj-Cn整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法52旅行商問(wèn)題（旅行商問(wèn)題（TSP）相應(yīng)的神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)方程為 )2exp(11)()()(01,1,uuufvvvdDnvCvBvAudtduxixixiijxyxyiyiyxyyjyjyi

28、xjxixi（10-27） 選擇合適的參數(shù)A，B，C，D和初始狀態(tài)0u，用式（10-27）引導(dǎo)網(wǎng)絡(luò)狀態(tài)的變化，就可得到用其穩(wěn)定的網(wǎng)絡(luò)狀態(tài)所表示的TSP的最優(yōu)解。 糾正P163整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法53二分圖最優(yōu)化問(wèn)題二分圖最優(yōu)化問(wèn)題 定義：給定n（n為偶數(shù)）個(gè)節(jié)點(diǎn)，選擇任意兩節(jié)點(diǎn)進(jìn)行相互連線，由此連成一個(gè)線圖；對(duì)于此線圖，用分割線將所有節(jié)點(diǎn)分為二等份，從而獲得一個(gè)二分圖，要求該分割線跨越這兩組之間的連線最少。如圖10-14的線圖中，給出了兩種不同的分割方式，分割1有10條跨越連線，分割2有2條跨越連線（此為最小值）。二分圖問(wèn)題的在超大規(guī)模集成電路（VLSI）的布線設(shè)計(jì)中有廣泛應(yīng)用。 圖10

29、-14 二分圖示例整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法54二分圖最優(yōu)化問(wèn)題二分圖最優(yōu)化問(wèn)題 可用如下連接矩陣表示圖10-14的連接方式： 0110000000100100000010011000000110100001001101000100001010010000010101000000101100000001010000111110 W（10-28） 1 , 0 , iji jwi j相連不連式中， 糾正P164整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法55二分圖最優(yōu)化問(wèn)題二分圖最優(yōu)化問(wèn)題 記分割節(jié)點(diǎn)后形成的兩個(gè)區(qū)為A和B，定義一個(gè)在節(jié)點(diǎn)i處的神經(jīng)元為： 式中，n是節(jié)點(diǎn)數(shù)，是一個(gè)常數(shù)（拉格朗日參數(shù)），且wij=cij- 。 1 1 iiAviB（10-30） 這一問(wèn)題的Hopfield網(wǎng)絡(luò)能量函數(shù)為： （10-31） ijijjiniiijijjiwvvnvcvvE212)(22121糾正P164整理ppt神經(jīng)網(wǎng)絡(luò)優(yōu)化方法56二分圖最優(yōu)化問(wèn)題二分圖最優(yōu)化問(wèn)題可證明該函數(shù)是李雅普諾夫函數(shù)。1niijjjidEuw vdv （10-32） 按二值硬限函數(shù)建立更新規(guī)則，有： 1sgnniijjjvw v（10-33） 每個(gè)神經(jīng)元