人工神經網絡構成以及其實際應用

1、人工神經網絡構成以及其實際神經網絡（neural networks，NN） 生物神經網絡( natural neural network, NNN): 由中樞神經系統（腦和脊髓）及周圍神經系統（感覺神經、運動神經等）所構成的錯綜復雜的神經網絡，其中最重要的是腦神經系統。人工神經網絡(artificial neural networks, ANN): 模擬人腦神經系統的結構和功能，運用大量簡單處理單元經廣泛連接而組成的人工網絡系統。神經網絡方法： 隱式的知識表示方法2第2章 人工神經網絡及其應用2.1 神經元與神經網絡 2.2 BP神經網絡及其學習算法 2.3 BP神經網絡的應用 2.4 Hop

2、field神經網絡及其改進 2.5 Hopfield神經網絡的應用2.6 Hopfield神經網絡優(yōu)化方法求解JSP 3第2章 人工神經網絡及其應用2.1 神經元與神經網絡 2.2 BP神經網絡及其學習算法 2.3 BP神經網絡的應用2.4 Hopfield神經網絡及其改進2.5 Hopfield神經網絡的應用2.6 Hopfield神經網絡優(yōu)化方法求解JSP42.1 神經元與神經網絡2.1.1 生物神經元的結構2.1.2 神經元數學模型2.1.3 神經網絡結構與工作方式52.1.1 生物神經元的結構人腦由一千多億（1011億 1014 億）個神經細胞（神經元）交織在一起的網狀結構組成，其中大

3、腦皮層約140億個神經元，小腦皮層約1000億個神經元。 神經元約有1000種類型，每個神經元大約與103 104個其他神經元相連接，形成極為錯綜復雜而又靈活多變的神經網絡。 人的智能行為就是由如此高度復雜的組織產生的。浩瀚的宇宙中，也許只有包含數千憶顆星球的銀河系的復雜性能夠與大腦相比。62.1.1 生物神經元的結構（輸入）（輸出） 神經沖動生物神經元結構神經沖動只能由前一級神經元的軸突末梢傳向下一級神經元的樹突或細胞體，不能進行反方向的傳遞72.1.1 生物神經元的結構 神經元具有兩種常規(guī)工作狀態(tài)：興奮與抑制狀態(tài)，即滿足0-1律。 當傳入的神經沖動使細胞膜電位升高閾值時，細胞進入興奮狀態(tài)，

4、產生神經沖動并由軸突輸出；當傳入的沖動使膜電位下降低于閾值時，細胞進入抑制狀態(tài)，沒有神經沖動輸出。 工作狀態(tài)： 興奮狀態(tài)：細胞膜電位 動作電位的閾值 神經沖動 抑制狀態(tài)：細胞膜電位 0, wij = wji , 則 ；當且僅當 752.4.3 隨機神經網絡Hopfield神經網絡中，神經元狀態(tài)為1是根據其輸入是否大于閾值確定的，是確定性的。隨機神經網絡中，神經元狀態(tài)為1是隨機的，服從一定的概率分布。例如，服從玻爾茲曼(Boltzmann)、高斯(Gaussian)、柯西(Cauchy)分布等，從而構成玻爾茲曼機、高斯機、柯西機等隨機機。762.4.3 隨機神經網絡1. Boltzmann機 1

5、985年，加拿大多倫多大學教授欣頓(Hinton)等人借助統計物理學的概念和方法，提出了Boltzmann機神經網絡模型。 Boltzmann機是離散Hopfield神經網絡的一種變型，通過對離散Hopfield神經網絡加以擾動，使其以概率的形式表達，而網絡的模型方程不變，只是輸出值類似于Boltzmann分布以概率分布取值。 Boltzmann機是按Boltzmann概率分布動作的神經網絡。772.4.3 隨機神經網絡1. Boltzmann機 （續(xù)） 離散Hopfield神經網絡的輸出： Boltzman機的內部狀態(tài)： 神經元 輸出值為0和1時的概率：782.4.3 隨機神經網絡1. Bo

6、ltzmann機 （續(xù)） Boltzmann的能量函數： 神經元 狀態(tài)轉換時網絡能量的變化： 神經元 改變?yōu)闋顟B(tài)“1”的概率： )exp(11TEpiiD-+=79 2. 高斯機 2.4.3 隨機神經網絡 :均值為0的高斯隨機變量（白噪聲） ，其方差為 3. 柯西機 : 柯西隨機變量（有色噪聲） 802.4.4 混沌神經網絡1. 混沌 混沌：自然界中一種較為普遍的非線性現象，其行 為看似混亂復雜且類似隨機，卻存在精致的內在規(guī) 律性。 混沌的性質 ：（1）隨機性：類似隨機變量的雜亂表現。（2）遍歷性：不重復地歷經一定范圍內的所有狀態(tài)。（3）規(guī)律性：由確定性的迭代式產生。 811. 混沌 （續(xù)）混

7、沌學的研究熱潮開始于20世紀70年代初期。1963年，Lorenz在分析氣候數據時發(fā)現：初值十分接近的兩條曲線的最終結果會相差很大，從而獲得了混沌的第一個例子。1975年，Li-Yorke的論文周期3意味著混沌使“混沌”一詞首先出現在科技文獻中?；煦绲陌l(fā)現，對科學的發(fā)展具有深遠的影響。 2.4.4 混沌神經網絡822.4.4 混沌神經網絡2. 混沌神經元 混沌神經元（1987年，Freeman）：構造混沌神經網絡的基本單位。 混沌神經元模型：832.4.4 混沌神經網絡3. 混沌神經網絡 1990年，Aihara等提出了第一個混沌神經網絡模型(chaotic neural network，CN

8、N)。 1991年，Inoue等利用兩個混沌振蕩子耦合成一個神經元的方法，構造出一個混沌神經計算機. 1992年，Nozawa基于歐拉離散化的Hopfield神經網絡，通過增加一個大的自反饋項，得到了一個與Aihara等提出的類似的CNN模型。 842.4.4 混沌神經網絡 3. 混沌神經網絡（1）基于模擬退火策略的自抑制混沌神經網絡 1995年，Chen等提出的暫態(tài)混沌神經網絡(transient chaotic neural network，TCNN) ：852.4.4 混沌神經網絡 3. 混沌神經網絡（1）基于模擬退火策略的自抑制混沌神經網絡 具有暫態(tài)混沌特性。 能演化到一個穩(wěn)定狀態(tài)。

9、搜索區(qū)域為一分形結構。 具有混沌退火機制。 一種廣義的混沌神經網絡。 可求解0-1問題，也可求解連續(xù)非線性優(yōu)化問題。862.4.4 混沌神經網絡非線性函數： 872.4.4 混沌神經網絡 3. 混沌神經網絡（2）基于加大時間步長的混沌神經網絡 CHNN的歐拉離散化： 1998年，Wang和Smith采用加大時間步長產生混沌：882.4.4 混沌神經網絡 3. 混沌神經網絡（3）引入噪聲的混沌神經網絡 1995年，Hayakawa等的混沌神經網絡：892.5 Hopfield神經網絡的應用8.5.1 Hopfield神經網絡在聯想記憶中的應用8.5.2 Hopfield神經網絡優(yōu)化方法90如何實

10、現HNN的聯想記憶功能? 網絡能夠通過聯想來輸出和輸入模式最為相似的樣本模式。2.5.1 Hopfield神經網絡在聯想記憶中的應用91例 傳感器輸出：外形，質地，重量T 2.5.1 Hopfield神經網絡在聯想記憶中的應用92 樣本:例 步驟： （1）設計DHNN結構（2）設計連接權矩陣（3）測試具體怎樣實現聯想記憶？2.5.1 Hopfield神經網絡在聯想記憶中的應用93 樣本: （1）設計DHNN結構3神經元的DHNN結構圖注：2.5.1 Hopfield神經網絡在聯想記憶中的應用94（ 2）設計連接權矩陣 樣本: ， 連接權：8.5.1 Hopfield神經網絡在聯想記憶中的應用9

11、5 （2）設計連接權矩陣 樣本: ， 連接權：T01,0,)2(=x8.5.1 Hopfield神經網絡在聯想記憶中的應用96 （2）設計連接權矩陣8.5.1 Hopfield神經網絡在聯想記憶中的應用97 輸入：1，1，1T 輸出 ? （3）測試8.5.1 Hopfield神經網絡在聯想記憶中的應用98 （3）測試 調整次序： 初始狀態(tài)： 測試用例： 樣本：8.5.1 Hopfield神經網絡在聯想記憶中的應用99 調整次序： 213k = 08.5.1 Hopfield神經網絡在聯想記憶中的應用100k = 1 調整次序： 2138.5.1 Hopfield神經網絡在聯想記憶中的應用101

12、k = 2 調整次序： 2138.5.1 Hopfield神經網絡在聯想記憶中的應用102k = 2k = 3k = 0k = 1 樣本： 調整次序：2 1 32 1 32 1 32 1 38.5.1 Hopfield神經網絡在聯想記憶中的應用103 例 輸入：1，1 ，1T 輸出：1，0 ，1T 8.5.1 Hopfield神經網絡在聯想記憶中的應用1048.5.2 Hopfield神經網絡優(yōu)化方法 連續(xù)Hopfiled神經網絡求解約束優(yōu)化問題的基本思路： 1985年，霍普菲爾德和塔克（D. W. Tank）應用連續(xù)Hopfield 神經網絡求解旅行商問題（traveling salesma

13、n problem，TSP）獲得成功。1058.5.2 Hopfield神經網絡優(yōu)化方法 用神經網絡方法求解優(yōu)化問題的一般步驟：（1）將優(yōu)化問題的每一個可行解用換位矩陣表示。（2）將換位矩陣與由 n 個神經元構成的神經網絡相對應：每一個可行解的換位矩陣的各元素與相應的神經元穩(wěn)態(tài)輸出相對應。（3）構造能量函數，使其最小值對應于優(yōu)化問題的最優(yōu)解，并滿足約束條件。（4）用罰函數法構造目標函數，與Hopfield神經網絡的計算能量函數表達式相等，確定各連接權和偏置參數。（5）給定網絡初始狀態(tài)和網絡參數等，使網絡按動態(tài)方程運行，直到穩(wěn)定狀態(tài)，并將它解釋為優(yōu)化問題的解。106 應用舉例： Hopfield

14、神經網絡優(yōu)化方法求解TSP。 1985年，霍普菲爾德和塔克（D. W. Tank）應用連續(xù)Hopfield 神經網絡求解旅行商問題獲得成功。 旅行商問題（traveling salesman problem，TSP） ：有 n 個城市，城市間的距離或旅行成本已知，求合理的路線使每個城市都訪問一次，且總路徑（或者總成本）為最短。8.5.2 Hopfield神經網絡優(yōu)化方法107 應用舉例：Hopfield神經網絡優(yōu)化方法求解TSP 旅行商問題（TSP）：典型的組合優(yōu)化問題 n 個城市存在的路徑數： 用窮舉法，Cray 計算機的計算速度：108次/秒。 1985年，Hopfield 和Tank 用

15、Hopfield網絡求解 n30 的TSP問題，0.2 s 就得到次優(yōu)解。 8.5.2 Hopfield神經網絡優(yōu)化方法108 5個城市的TSP：神經元數目：258.5.2 Hopfield神經網絡優(yōu)化方法109 TSP的描述： 用罰函數法，寫出優(yōu)化問題的目標函數：8.5.2 Hopfield神經網絡優(yōu)化方法110 Hopfield神經網絡能量函數：8.5.2 Hopfield神經網絡優(yōu)化方法 令E1 與目標函數J相等，確定神經網絡的連接權值和偏置電流：111神經網絡的動態(tài)方程：8.5.2 Hopfield神經網絡優(yōu)化方法112 選擇合適的A、B、C、D和網絡的初始狀態(tài)，按網絡動態(tài)方程演化直到

16、收斂。8.5.2 Hopfield神經網絡優(yōu)化方法1138.5.2 Hopfield神經網絡優(yōu)化方法 神經網絡優(yōu)化計算目前存在的問題：（1）解的不穩(wěn)定性。（2）參數難以確定。（3）能量函數存在大量局部極小值，難以保證最優(yōu) 解。1148.6 Hopfield神經網絡優(yōu)化方法求解JSP8.6.1 作業(yè)車間調度問題8.6.2 JSP的Hopfield神經網絡及其求解8.6.3 作業(yè)車間生產調度舉例8.6.4 基于隨機神經網絡的生產調度方法1158.6.1 作業(yè)車間調度問題 作業(yè)車間調度問題（job-shop scheduling Problem，JSP）: 一類滿足任務配置和順序約束要求的資源分配問

17、題。 問題描述：給定一個作業(yè)（工件）的集合和一個機器的集合，每個作業(yè)包括多道工序，每道工序需要在一臺給定的機器上非間斷地加工一段時間；每臺機器一次最多只能加工一道工序，調度就是把工序分配給機器上某個時間段，使加工完成時間最短。116 Foo S. Y.和Y. Takefuji在1988年最早提出用Hopfield神經網絡求解JSP。8.6.1 作業(yè)車間調度問題 對于單臺機器加工問題，如果有 個作業(yè)而每個作業(yè)只考慮加工時間以及與操作序列有關的安裝時間，則這個問題就和 個城市的TSP等價。 Conway 等（1967），生產調度理論：“一般作業(yè)車間調度問題是一個迷人的挑戰(zhàn)性問題。盡管問題本身描述非

18、常容易，但是朝著問題求解的方向作任何的推進都是極端困難的”。 1171. JSP的換位矩陣表示 01,1,11,2,22,2,12,1,21,1,1100001,2,2000012,2,1001002,1,2100002作業(yè) 2機器 JSP8.6.2 JSP的Hopfield神經網絡及其求解“工序(2,2,1)依賴于另一工序(1,2,2)”的命題成立 。(1,2,2)：作業(yè) 1 的工序 2 在機器 2 上執(zhí)行 。“工序 不依賴于任何別的工序”的命題。 1188.6.2 JSP的Hopfield神經網絡及其求解 作業(yè) 機器JSP的工序約束條件：（1）各工序應服從優(yōu)先順序關系。任一工序可以依賴于另

19、一個工序，也可以不依賴于任何工序（如在0時刻啟動的工序）。（2） 所有工序不允許自依賴和互依賴。（3）允許在0時刻啟動的工序數不超過 。即在 時，在0時刻啟動的工序數應為 。（4）在同一時刻啟動的同一作業(yè)的工序不多于一個。（5 ）在同一時刻同一機器上啟動的工序不多于一個。 1198.6.2 JSP的Hopfield神經網絡及其求解 2. JSP計算能量函數 : 與矩陣中 位置相對應的神經元的輸出狀態(tài)。 行約束 全局約束 非對稱約束 列約束 1208.6.2 JSP的Hopfield神經網絡及其求解3. Hopfield 神經網絡的參數連續(xù)型 Hopfield 神經網絡的計算能量函數: 神經元

20、與神經元 之間的連接權 神經元 的偏置電流 : 1218.6.2 JSP的Hopfield神經網絡及其求解4. Hopfield神經網絡的運動方程1228.6.2 JSP的Hopfield神經網絡及其求解 5. 成本樹 step1 ：根據換位矩陣，構造成本樹。 step2： 計算成本樹上各操作 的開始時間 和結束 時間 。 step3 ：判斷是否出現死鎖調度。 step4 ：調整死鎖調度。1238.6.2 JSP的Hopfield神經網絡及其求解6. 甘特圖step1：根據換位矩陣，計算成本樹上各操作的開始時間和結束時間，并給出相應的甘特圖。step2：判斷甘特圖中每臺機器上各作業(yè)的開始時間是否發(fā)生重疊。step 3：判斷同一作業(yè)的各操作的開始時間是否發(fā)生重疊。step4：重復step2 和step3，直至甘特圖中同一機器上各作業(yè)的開始時間和同一作業(yè)的各操作的開始時間都不發(fā)生重疊為止。1248.6.3 作業(yè)車間生產調度舉例2作業(yè)3機器的