上課singer給優(yōu)化神網(wǎng)絡(luò)

第十三章人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是近年來得到迅速發(fā)展的一個(gè)前沿課題。神經(jīng)網(wǎng)絡(luò)由于其大規(guī)模并行處理、容錯(cuò)性、自組織和自適應(yīng)能力和聯(lián)想功能強(qiáng)等特點(diǎn)，已成為解決很多問題的有力工具。本節(jié)首先對(duì)神經(jīng)網(wǎng)絡(luò)作簡(jiǎn)單介紹，然后介紹幾種常用的神經(jīng)網(wǎng)絡(luò)，包括前向神經(jīng)網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史

最早的研究可以追溯到20世紀(jì)40年代。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts合作提出了形式神經(jīng)元的數(shù)學(xué)模型。這一模型一般被簡(jiǎn)稱M-P神經(jīng)網(wǎng)絡(luò)模型，至今仍在應(yīng)用，可以說，人工神經(jīng)網(wǎng)絡(luò)的研究時(shí)代，就由此開始了。1949年，心理學(xué)家Hebb提出神經(jīng)系統(tǒng)的學(xué)習(xí)規(guī)則，為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。現(xiàn)在，這個(gè)規(guī)則被稱為Hebb規(guī)則，許多人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)還遵循這一規(guī)則。1957年，F(xiàn).Rosenblatt提出“感知器”(Perceptron)模型，第一次把神經(jīng)網(wǎng)絡(luò)的研究從純理論的探討付諸工程實(shí)踐，掀起了人工神經(jīng)網(wǎng)絡(luò)研究的第一次高潮。20世紀(jì)60年代以后，數(shù)字計(jì)算機(jī)的發(fā)展達(dá)到全盛時(shí)期，人們誤以為數(shù)字計(jì)算機(jī)可以解決人工智能、專家系統(tǒng)、模式識(shí)別問題，而放松了對(duì)“感知器”的研究。于是，從20世紀(jì)60年代末期起，人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)優(yōu)化算法1982年，美國(guó)加州工學(xué)院物理學(xué)家Hopfield提出了離散的神經(jīng)網(wǎng)絡(luò)模型，標(biāo)志著神經(jīng)網(wǎng)絡(luò)的研究又進(jìn)入了一個(gè)新高潮。1984年，Hopfield又提出連續(xù)神經(jīng)網(wǎng)絡(luò)模型，開拓了計(jì)算機(jī)應(yīng)用神經(jīng)網(wǎng)絡(luò)的新途徑。1986年，Rumelhart和Meclelland提出多層網(wǎng)絡(luò)的誤差反傳(backpropagation)學(xué)習(xí)算法，簡(jiǎn)稱BP算法。BP算法是目前最為重要、應(yīng)用最廣的人工神經(jīng)網(wǎng)絡(luò)算法之一。自20世紀(jì)80年代中期以來，世界上許多國(guó)家掀起了神經(jīng)網(wǎng)絡(luò)的研究熱潮，可以說神經(jīng)網(wǎng)絡(luò)已成為國(guó)際上的一個(gè)研究熱點(diǎn)。人工神經(jīng)元模型與人工神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)元是一個(gè)多輸入、單輸出的非線性元件，如圖13-1所示。其輸入、輸出關(guān)系可描述為

式中，是從其它神經(jīng)元傳來的輸入信號(hào)；是閾值；表示從神經(jīng)元到神經(jīng)元的連接權(quán)值；為傳遞函數(shù)。

yjθjx0=1∑fωnjx1x2...xnω2jω1j圖13-1人工神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元互連而成的網(wǎng)絡(luò)，按其拓?fù)浣Y(jié)構(gòu)來分，可以分成兩大類：層次網(wǎng)絡(luò)模型和互連網(wǎng)絡(luò)模型。層次網(wǎng)絡(luò)模型是神經(jīng)元分成若干層順序連接，在輸入層上加上輸入信息，通過中間各層，加權(quán)后傳遞到輸出層后輸出，其中有的在同一層中的各神經(jīng)元相互之間有連接，有的從輸出層到輸入層有反饋；互連網(wǎng)絡(luò)模型中，任意兩個(gè)神經(jīng)元之間都有相互連接的關(guān)系，在連接中，有的神經(jīng)元之間是雙向的，有的是單向的，按實(shí)際情況決定。前向神經(jīng)網(wǎng)絡(luò)(1)多層前向網(wǎng)絡(luò)一個(gè)M層的多層前向網(wǎng)絡(luò)可描述為：①網(wǎng)絡(luò)包含一個(gè)輸入層（定義為第0層）和M-1個(gè)隱層，最后一個(gè)隱層稱為輸出層；②第層包含個(gè)神經(jīng)元和一個(gè)閾值單元（定義為每層的第0單元），輸出層不含閾值單元；

③第層第個(gè)單元到第個(gè)單元的權(quán)值表為；④第層（>0）第個(gè)（>0）神經(jīng)元的輸入定義為，輸出定義為，其中為隱單元激勵(lì)函數(shù)，常采用Sigmoid函數(shù)，即。輸入單元一般采用線性激勵(lì)函數(shù)，閾值單元的輸出始終為1；

⑤

目標(biāo)函數(shù)通常采用：

其中P為樣本數(shù)，為第p個(gè)樣本的第j個(gè)輸出分量。

⑵BP算法BP算法是前向神經(jīng)網(wǎng)絡(luò)經(jīng)典的有監(jiān)督學(xué)習(xí)算法，它的提出，對(duì)前向神經(jīng)網(wǎng)絡(luò)的發(fā)展起過歷史性的推動(dòng)作用。對(duì)于上述的M層的人工神經(jīng)網(wǎng)絡(luò)，BP算法可由下列迭代式描述，具體推導(dǎo)可參見神經(jīng)網(wǎng)絡(luò)的相關(guān)書目。

其中，為學(xué)習(xí)率。實(shí)質(zhì)上，BP算法是一種梯度下降算法，算法性能依賴于初始條件，學(xué)習(xí)過程易于陷入局部極小。數(shù)值仿真結(jié)果表明，BP算法的學(xué)習(xí)速度、精度、初值魯棒性和網(wǎng)絡(luò)推廣性能都較差，不能滿足應(yīng)用的需要。實(shí)用中按照需要適當(dāng)改進(jìn)。1982年，Hopfield開創(chuàng)性地在物理學(xué)、神經(jīng)生物學(xué)和計(jì)算機(jī)科學(xué)等領(lǐng)域架起了橋梁，提出了Hopfield反饋神經(jīng)網(wǎng)絡(luò)模型(HNN)，證明在高強(qiáng)度連接下的神經(jīng)網(wǎng)絡(luò)依靠集體協(xié)同作用能自發(fā)產(chǎn)生計(jì)算行為。Hopfield網(wǎng)絡(luò)是典型的全連接網(wǎng)絡(luò)，通過在網(wǎng)絡(luò)中引入能量函數(shù)以構(gòu)造動(dòng)力學(xué)系統(tǒng)，并使網(wǎng)絡(luò)的平衡態(tài)與能量函數(shù)的極小解相對(duì)應(yīng)，從而將求解能量函數(shù)極小解的過程轉(zhuǎn)化為網(wǎng)絡(luò)向平衡態(tài)的演化過程。

Hopfield網(wǎng)絡(luò)(1)

離散型Hopfield網(wǎng)絡(luò)離散型Hopfield網(wǎng)絡(luò)的輸出為二值型，網(wǎng)絡(luò)采用全連接結(jié)構(gòu)。令為各神經(jīng)元的輸出，為各神經(jīng)元與第個(gè)神經(jīng)元的連接權(quán)值，為第神經(jīng)元的閾值，則有

能量函數(shù)定義為則其變化量為

也就是說，能量函數(shù)總是隨神經(jīng)元狀態(tài)的變化而下降的。

(2)

連續(xù)型Hopfield網(wǎng)絡(luò)連續(xù)型Hopfield網(wǎng)絡(luò)的動(dòng)態(tài)方程可簡(jiǎn)化描述如下：

其中，分別為第神經(jīng)元的輸入和輸出，具有連續(xù)且單調(diào)增性質(zhì)的神經(jīng)元激勵(lì)函數(shù)，為第i神經(jīng)元到j(luò)第神經(jīng)元的連接權(quán)，為施加在第i神經(jīng)元的偏置，和為相應(yīng)的電容和電阻，。

定義能量函數(shù)

則其變化量

其中，

于是，當(dāng)時(shí)，