第8章人工神經(jīng)網(wǎng)絡在物性估算中的應用ppt課件(全)

1、第8章 人工神經(jīng)網(wǎng)絡在物性估算中的應用 8.1 神經(jīng)網(wǎng)絡理論的發(fā)展及沿革 8.2 神經(jīng)網(wǎng)絡的基本原理8.3 幾種典型的人工神經(jīng)網(wǎng)絡的基本原理及應用策略8.4 神經(jīng)網(wǎng)絡物性估算應用策略及實例應用總目錄8.1 神經(jīng)網(wǎng)絡理論的發(fā)展及沿革 生物神經(jīng)網(wǎng)絡和人工神經(jīng)網(wǎng)絡概念生物神經(jīng)網(wǎng)絡 生物特有的對外界的各種刺激快速有效地做出有效應反應的神經(jīng)網(wǎng)絡。典型的生物神經(jīng)網(wǎng)絡 ：人腦 人工神經(jīng)網(wǎng)絡 是對生物神經(jīng)網(wǎng)絡的模擬，神經(jīng)元也由生物神經(jīng)元，變成了人工神經(jīng)元。 總目錄本章目錄上頁下頁8.1.2 人工神經(jīng)網(wǎng)絡的發(fā)展歷史 第一階段 是早期工作階段 1943年，心理學家Mc Culloch和數(shù)學家Pitts合作提出了形

2、式神經(jīng)元的數(shù)學模型（簡稱MP模型）1949年D.OHebb從心理學的角度提出了至今仍對神經(jīng)網(wǎng)絡理論有著重要影響的Hebb學習法則 1961年ERosen blatt提出了著名的感知機（Perceptron）模型 第二階段是過渡期階段 1962年，Widrow提出了主要適用于自適應系統(tǒng)的自適應線性元件（Adaline）網(wǎng)絡 本章目錄上頁下頁總目錄1969年，人工智能創(chuàng)始人之一美國麻省理工學院的Minsky和Papert以感知器為名出版了一本書 第三階段是復蘇階段 1982年，HoPfield提出了神經(jīng)網(wǎng)絡一種新的數(shù)學模型HoPfield網(wǎng)絡模型 Hinton和Sejnowski于1984年提出的

3、Boltzmann機模型 Rumelhart和McCelland為首的科學小組，于1986年提出誤差逆?zhèn)鞑ゾW(wǎng)絡及其學習算法 第四階段成熟理智階段 本章目錄上頁下頁總目錄8.1.3 人工神經(jīng)網(wǎng)絡物性估算中的應用及未來發(fā)展趨勢 有關人工神經(jīng)網(wǎng)絡在化學化工方面的應用研究在80年代后期才有報道。主要分成五類： 譜圖分析結構與性質預測信號處理過程控制和故障診斷化學反應產物估計 本章目錄上頁下頁總目錄8.2 神經(jīng)網(wǎng)絡的基本原理 8.2.1 神經(jīng)元的基本生物特性 生物神經(jīng)元 詳見教材8.2.2 神經(jīng)元的基本數(shù)學表達 目前對生物神經(jīng)元的認識而言，神經(jīng)元的數(shù)學模型可用圖8-4及式8-1，8-2表示。 （8-1）

4、（8-2）本章目錄上頁下頁總目錄 上面神經(jīng)元示意圖及數(shù)學模型中，xi是輸入神經(jīng)元的信號，wi是輸入各信號的權重，是神經(jīng)元的輸出閥值，只有當輸入神經(jīng)元各信號的加權之和大于神經(jīng)元的輸出閥值，神經(jīng)元才有輸出信號。輸出響應函數(shù) 階約響應函數(shù)符號函數(shù)S（Sigmoid）型響應函數(shù)（8-3） （8-4） （8-5） 本章目錄上頁下頁總目錄8.2.3 神經(jīng)網(wǎng)絡的基本結構類型及學習規(guī)則 基本連接結構有兩種 ：階層型： 圖8-6 階層型神經(jīng)網(wǎng)絡 本章目錄上頁下頁總目錄圖8-7 全互連型神經(jīng)網(wǎng)絡 全互連型 無論哪種形式的神經(jīng)網(wǎng)絡都有一個共同的特點：網(wǎng)絡的學習和運行取決于個神經(jīng)元連接權值及閥值的動態(tài)演化過程。 決定

5、神經(jīng)網(wǎng)絡特性的因素有兩個，它們分別是網(wǎng)絡的拓撲結構和網(wǎng)絡的學習、工作規(guī)則。 本章目錄上頁下頁總目錄人工神經(jīng)網(wǎng)絡的訓練 幾種典型的學習規(guī)則 （1）Hebb學習規(guī)則 原則是如果兩個神經(jīng)元同時興奮，則它們之間的連接權值增加，對于相互連接節(jié)點i和j，其輸出值分別為ai和bj，則根據(jù)下式調整權重：(8-6) 其中j是節(jié)點j的學習速度常數(shù)，0j1。 （2）隨機學習規(guī)則 應用統(tǒng)計學、概率論隨機調節(jié)連接權重。其特點是只接受可使誤差矢量減小的隨機權重變化。 本章目錄上頁下頁總目錄（3）誤差修正學習 現(xiàn)今應用最普遍的人工神經(jīng)網(wǎng)絡學習方法，是一種有監(jiān)督學習。誤差修正學習是通過定義輸出層某一節(jié)點t的輸出誤差開始的：

6、然后計算輸出層的總平方誤差： 已知E，可以計算出與第j個節(jié)點連接的第i個連接權重因子的變化wij： （8-7） （8-8） （8-9） 本章目錄上頁下頁總目錄8.2.4 神經(jīng)網(wǎng)絡解決物性估算問題的基本策略 用神經(jīng)網(wǎng)絡來估算物質的性質必須解決三個基本問題。第一個 是對物質的表針問題 第二個 是采用何種神經(jīng)網(wǎng)絡及其算法問題 第三個 問題是神經(jīng)網(wǎng)絡輸入與輸出數(shù)據(jù)的歸一化問題 本章目錄上頁下頁總目錄8.3 幾種典型的人工神經(jīng)網(wǎng)絡的基本原理及應用策略 8.3.1 BP網(wǎng)絡 1）網(wǎng)絡的基本原理 BP網(wǎng)絡是目前應用最廣，其基本思想最直觀、最容易理解的階層型神經(jīng)網(wǎng)絡，網(wǎng)絡采用誤差逆?zhèn)鞑W習算法。 工作原理如下

7、：首先根據(jù)需要解決的問題確定網(wǎng)絡的層數(shù)及各層的神經(jīng)元數(shù)；其次，利用已知的模式，按誤差逆?zhèn)鞑サ乃惴ㄓ柧毦W(wǎng)絡，直至確定網(wǎng)絡的各連接權及閥值。最后，利用已經(jīng)訓練好的網(wǎng)絡，在輸入層輸入變量，讓網(wǎng)絡按照前面確定的連接權及閥值進行運算，得到輸出層神經(jīng)元的各輸出層，最后一步，又稱回響，也是最后解決問題的關鍵訓練學習工作由四個過程組成：（1）模式順傳播過程 （2）誤差逆?zhèn)鞑ミ^程 （3）神經(jīng)網(wǎng)絡訓練過程 （4）網(wǎng)絡的收斂過程 本章目錄上頁下頁總目錄2）網(wǎng)絡的計算過程 BP網(wǎng)絡的具體計算過程可以分為以下幾步。 初始化工作。 隨機選取一已知模式對，進行模式順傳播計算，直算至輸出層各神經(jīng)元的輸出值 計算輸出層及的中間

8、層的校正誤差 根據(jù)各神經(jīng)元的校正誤差及輸入值，調整各神經(jīng)元的連接權和閥值。 U=U+1，返回步驟（2），直至所有m個模式對訓練完畢，轉下一步。 計算全局誤差 進行網(wǎng)絡測試 本章目錄上頁下頁總目錄3) 網(wǎng)絡的應用策略 加速BP網(wǎng)絡收斂速度的方法主要是從改變學習系數(shù)，用雙曲線正切函數(shù)代替S函數(shù)、對S函數(shù)輸出進行限制、改變權值和閥值修正的形式等方面加以著手。 但對于具體應用的人員來說，重點不在于收斂速度，而在于是否收斂及收斂精度。只要網(wǎng)絡在有限的時間內，按我們所要求的精度收斂即可。這樣，用BP網(wǎng)絡估算物性關鍵在于網(wǎng)絡輸入特征變量的選擇和確定。 本章目錄上頁下頁總目錄8.3.2 Hopfield神經(jīng)網(wǎng)

9、絡 1)網(wǎng)絡的基本原理 網(wǎng)絡中的每個神經(jīng)元只能取“0”或“1”兩種狀態(tài)，網(wǎng)絡中5個神經(jīng)元中的任一個神經(jīng)元和其它4個神經(jīng)元互連，既每一個神經(jīng)元都將自己的輸出通過連接權傳送給所有其它的神經(jīng)元，同時又接收所有其它神經(jīng)元傳遞過來的信息。是一種反饋型神經(jīng)網(wǎng)絡。每一個神經(jīng)元在t時刻的輸出函數(shù)為： （8-31） （8-32） 本章目錄上頁下頁總目錄2)網(wǎng)絡的運行規(guī)則 Hopfield神經(jīng)網(wǎng)絡的運行規(guī)則 :固定連接權和閥值，按一定的規(guī)則計算，改變神經(jīng)元的輸出狀態(tài)，最后使網(wǎng)絡達到穩(wěn)定的狀態(tài)。而網(wǎng)絡達到穩(wěn)定的狀態(tài)時，再按一定的規(guī)則計算，網(wǎng)絡的狀態(tài)也不會改變。具體計算機計算收斂過程如下。1.輸入網(wǎng)絡的神經(jīng)元數(shù)目，隨

10、機給定各神經(jīng)元的連接權值及閥值（或根據(jù)實際需要人工給定各神經(jīng)元的連接權值及閥值）。2.根據(jù)神經(jīng)元的兩種輸出狀態(tài)0或1，隨機給定所有神經(jīng)元的輸出狀 態(tài)（或人工給定）得到網(wǎng)絡的初始狀態(tài)。 3.從網(wǎng)絡中隨機選取第i個神經(jīng)元，按式8-32計算選中神經(jīng)元的值： 4.根據(jù)值的大小，確定第i個神經(jīng)元下一時刻的值 本章目錄上頁下頁總目錄5 第i個神經(jīng)元以外的所有神經(jīng)元的輸出保持不變 6 判斷網(wǎng)絡是否達到穩(wěn)定狀態(tài)，如果達到穩(wěn)定狀態(tài)轉下一步（7）；反之則返回（3） 7 打印穩(wěn)定狀態(tài)及能量函數(shù)，并判斷是否需要在不同的初始狀態(tài)下進行網(wǎng)絡收斂運行，是轉（2），否程序結束運行 3）網(wǎng)絡的應用策略 對于物性估算而言，如果我們能夠將我們所要解決的問題，如擬合偏差最小問題轉化成網(wǎng)絡的能量函數(shù)，就有可能將Hopfield神經(jīng)網(wǎng)絡應用于物性估算中，通過網(wǎng)絡的運行，使能量函數(shù)達到最小化，從而達到問題的求解方法。有關將這方面的知識應用于物性估算的尚未見報道，讀者如感興趣可參閱有關神經(jīng)網(wǎng)絡的專著。 本章目錄上頁下頁總目錄8.4 神經(jīng)網(wǎng)絡物性估算應用策略及應用實例8.4.1 應用策略 8.4.2 常壓沸點下蒸發(fā)潛熱計算 具體方法以及 VB代