第六章 智能算法

1、湯奕2022-6-251東南大學(xué) Southeast University6.1 智能算法概述6.1.1 什么是智能算法智能計(jì)算也有人稱(chēng)之為“軟計(jì)算”，是人們受自然（生物界）規(guī)律的啟迪，根據(jù)其原理，模仿求解問(wèn)題的算法。利用仿生原理進(jìn)行設(shè)計(jì)(包括設(shè)計(jì)算法)，這就是智能計(jì)算的思想。這方面的內(nèi)容很多，如人工神經(jīng)網(wǎng)絡(luò)技術(shù)、遺傳算法、模擬退火算法、模擬退火技術(shù)和群集智能技術(shù)等。2022-6-252東南大學(xué) Southeast University智能算法遺傳算法粒子群算法人工神經(jīng)網(wǎng)絡(luò)人工免疫算法2022-6-25東南大學(xué) Southeast University36.1.2 遺傳算法6.1.2.1 特點(diǎn)

2、6.1.2.2 運(yùn)用領(lǐng)域6.1.2.3 遺傳算法在電力系統(tǒng)應(yīng)用現(xiàn)狀2022-6-254東南大學(xué) Southeast University遺傳算法（Genetic Algorithms）是基于生物進(jìn)化理論的原理發(fā)展起來(lái)的一種廣為應(yīng)用的、高效的隨機(jī)搜索與優(yōu)化的方法。主要特點(diǎn)是群體搜索策略和群體中個(gè)體之間的信息交換，搜索不依賴(lài)于梯度信息。1975年霍蘭教授發(fā)表了第一本比較系統(tǒng)論述遺傳算法的專(zhuān)著自然系統(tǒng)與人工系統(tǒng)中的適應(yīng)性（Adaptation in Natural and Artificial Systems）。2022-6-255東南大學(xué) Southeast University6.1.2.1 特

3、點(diǎn)遺傳算法是解決搜索問(wèn)題的一種通用算法，對(duì)于各種通用問(wèn)題都可以使用。搜索算法的共同特征為： 首先組成一組候選解； 依據(jù)某些適應(yīng)性條件測(cè)算這些候選解的適應(yīng)度； 根據(jù)適應(yīng)度保留某些候選解，放棄其他候選解； 對(duì)保留的候選解進(jìn)行某些操作，生成新的候選解。在遺傳算法中，上述幾個(gè)特征以一種特殊的方式組合在一起：基于染色體群的并行搜索，帶有猜測(cè)性質(zhì)的選擇操作、交換操作和突變操作。這種特殊的組合方式將遺傳算法與其它搜索算法區(qū)別開(kāi)來(lái)。2022-6-256東南大學(xué) Southeast University遺傳算法還具有以下幾方面的特點(diǎn)(1)：(1)遺傳算法從問(wèn)題解的串集開(kāi)始搜索，而不是從單個(gè)解開(kāi)始。這是遺傳算法與

4、傳統(tǒng)優(yōu)化算法的極大區(qū)別。傳統(tǒng)優(yōu)化算法是從單個(gè)初始值迭代求最優(yōu)解的；容易誤入局部最優(yōu)解。遺傳算法從串集開(kāi)始搜索，覆蓋面大，利于全局擇優(yōu)。(2)許多傳統(tǒng)搜索算法都是單點(diǎn)搜索算法，容易陷入局部的最優(yōu)解。遺傳算法同時(shí)處理群體中的多個(gè)個(gè)體，即對(duì)搜索空間中的多個(gè)解進(jìn)行評(píng)估，減少了陷入局部最優(yōu)解的風(fēng)險(xiǎn)，同時(shí)算法本身易于實(shí)現(xiàn)并行化。2022-6-257東南大學(xué) Southeast University(3)遺傳算法基本上不用搜索空間的知識(shí)或其它輔助信息，而僅用適應(yīng)度函數(shù)值來(lái)評(píng)估個(gè)體，在此基礎(chǔ)上進(jìn)行遺傳操作。適應(yīng)度函數(shù)不僅不受連續(xù)可微的約束，而且其定義域可以任意設(shè)定。這一特點(diǎn)使得遺傳算法的應(yīng)用范圍大大擴(kuò)展。(4

5、)遺傳算法不是采用確定性規(guī)則，而是采用概率的變遷規(guī)則來(lái)指導(dǎo)他的搜索方向。(5)具有自組織、自適應(yīng)和自學(xué)習(xí)性。遺傳算法利用進(jìn)化過(guò)程獲得的信息自行組織搜索時(shí)，硬度大的個(gè)體具有較高的生存概率，并獲得更適應(yīng)環(huán)境的基因結(jié)構(gòu)。2022-6-25東南大學(xué) Southeast University8遺傳算法還具有以下幾方面的特點(diǎn)(2)：6.1.2.2 運(yùn)用領(lǐng)域運(yùn)用領(lǐng)域遺傳算法的應(yīng)用領(lǐng)域： 優(yōu)化：優(yōu)化： 程序設(shè)計(jì)：程序設(shè)計(jì)： 機(jī)器學(xué)習(xí)：機(jī)器學(xué)習(xí)： 經(jīng)濟(jì)學(xué)：經(jīng)濟(jì)學(xué)：2022-6-259東南大學(xué) Southeast University6.1.2.2 運(yùn)用領(lǐng)域運(yùn)用領(lǐng)域 免疫系統(tǒng)：免疫系統(tǒng)： 進(jìn)化現(xiàn)象和學(xué)習(xí)現(xiàn)象進(jìn)化現(xiàn)

6、象和學(xué)習(xí)現(xiàn)象： 社會(huì)經(jīng)濟(jì)問(wèn)題：社會(huì)經(jīng)濟(jì)問(wèn)題：2022-6-2510東南大學(xué) Southeast University6.1.2.3 遺傳算法在電力系統(tǒng)應(yīng)用現(xiàn)狀遺傳算法在電力系統(tǒng)應(yīng)用現(xiàn)狀電源規(guī)劃輸電網(wǎng)絡(luò)規(guī)劃電力系統(tǒng)無(wú)功優(yōu)化電力市場(chǎng)2022-6-2511東南大學(xué) Southeast University6.1.3 粒子群算法6.1.3.1 群體（群集）智能（Swarm Intelligence）群集智能(Swarm Intelligence)中的群體(Swarm)指的是“一組相互之間可以進(jìn)行直接通信或者間接通信(通過(guò)改變局部環(huán)境)的主體，這組主體能夠合作進(jìn)行分布問(wèn)題求解”。而所謂群集智能指的是“無(wú)

7、智能的主體通過(guò)合作表現(xiàn)出智能行為的特性”。2022-6-2512東南大學(xué) Southeast University群集智能的特點(diǎn)和優(yōu)點(diǎn)：群體中相互合作的個(gè)體是分布式的(Distributed)，這樣更能夠適應(yīng)當(dāng)前網(wǎng)絡(luò)環(huán)境下的工作狀態(tài); 沒(méi)有中心的控制與數(shù)據(jù)，這樣的系統(tǒng)更具有魯棒性(Robust)，不會(huì)由于某一個(gè)或者某幾個(gè)個(gè)體的故障而影響整個(gè)問(wèn)題的求解?？梢圆煌ㄟ^(guò)個(gè)體之間直接通信而是通過(guò)非直接通信(Stimergy)進(jìn)行合作，這樣的系統(tǒng)具有更好的可擴(kuò)充性(Scalability)。由于系統(tǒng)中個(gè)體的增加而增加的系統(tǒng)的通信開(kāi)銷(xiāo)在這里十分小。系統(tǒng)中每個(gè)個(gè)體的能力十分簡(jiǎn)單，這樣每個(gè)個(gè)體的執(zhí)行時(shí)間比較短，

8、并且實(shí)現(xiàn)也比較簡(jiǎn)單，具有簡(jiǎn)單性(Simplicity)。2022-6-2513東南大學(xué) Southeast University在計(jì)算智能(Computational Intelligence)領(lǐng)域有兩種基于群智能的算法：蟻群算法(Ant Colony Optimization)和粒子群算法(Particle Swarm Optimization)。蟻群算法是對(duì)螞蟻群落食物采集過(guò)程的模擬，已經(jīng)成功運(yùn)用在很多離散優(yōu)化問(wèn)題上。2022-6-2514東南大學(xué) Southeast University6.1.3.2 粒子群優(yōu)化算法粒 子 群 優(yōu) 化 算 法 ( P S O ) 是 一 種 進(jìn) 化 計(jì)

9、算 技 術(shù)(Evolutionary Computation)，有Eberhart博士和Kennedy博士發(fā)明。源于對(duì)鳥(niǎo)群捕食的行為研究。PSO同遺傳算法類(lèi)似，是一種基于疊代的優(yōu)化工具。系統(tǒng)初始化為一組隨機(jī)解，通過(guò)疊代搜尋最優(yōu)值。但是并沒(méi)有遺傳算法用的交叉(crossover)以及變異(mutation)。而是粒子在解空間追隨最優(yōu)的粒子進(jìn)行搜索。同遺傳算法比較，PSO的優(yōu)勢(shì)在于簡(jiǎn)單容易實(shí)現(xiàn)并且沒(méi)有許多參數(shù)需要調(diào)整。目前已廣泛應(yīng)用于函數(shù)優(yōu)化，神經(jīng)網(wǎng)絡(luò)訓(xùn)練，模糊系統(tǒng)控制以及其他遺傳算法的應(yīng)用領(lǐng)域。粒子群優(yōu)化算法(PSO) 也是起源對(duì)簡(jiǎn)單社會(huì)系統(tǒng)的模擬，最初設(shè)想是模擬鳥(niǎo)群覓食的過(guò)程，但后來(lái)發(fā)現(xiàn)PSO

10、是一種很好的優(yōu)化工具。2022-6-2515東南大學(xué) Southeast UniversityP S O 是 由 模 擬 鳥(niǎo) 群 覓 食 的 社 會(huì) 行 為(Social Behavior) 所衍生,藉由觀察鳥(niǎo)群覓食的社會(huì)行為得到啟發(fā),而將其應(yīng)用於解決搜尋與最佳化的相關(guān)問(wèn)題上。這樣的覓食行為是利用社會(huì)中所存在的互相影響的概念,將每只鳥(niǎo)視為一個(gè)個(gè)體,在解空間中個(gè)體各自尋找著較佳解,并藉由個(gè)體間相互比較及資訊的更新,來(lái)引領(lǐng)所有個(gè)體朝向解空間中的最佳解位置.2022-6-25東南大學(xué) Southeast University16PSO從這種模型中得到啟示并用于解決優(yōu)化問(wèn)題。PSO中，每個(gè)優(yōu)化問(wèn)題的解

11、都是搜索空間中的一只鳥(niǎo)。我們稱(chēng)之為“粒子”。所有的粒子都有一個(gè)由被優(yōu)化的函數(shù)決定的適應(yīng)值(fitness value)，每個(gè)粒子還有一個(gè)速度決定他們飛翔的方向和距離。然后粒子們就追隨當(dāng)前的最優(yōu)粒子在解空間中搜索。2022-6-2517東南大學(xué) Southeast UniversityPSO初始化為一群隨機(jī)粒子(隨機(jī)解)，然后通過(guò)疊代找到最優(yōu)解，在每一次疊代中，粒子通過(guò)跟蹤兩個(gè)“極值”來(lái)更新自己。第一個(gè)就是粒子本身所找到的最優(yōu)解，這個(gè)解叫做個(gè)體極值pBest，另一個(gè)極值是整個(gè)種群目前找到的最優(yōu)解，這個(gè)極值是全局極值gBest。另外也可以不用整個(gè)種群而只是用其中一部分最優(yōu)粒子的鄰居，那么在所有鄰居

12、中的極值就是局部極值。 2022-6-2518東南大學(xué) Southeast UniversityPSO的算法過(guò)程為： 種群隨機(jī)初始化。 對(duì)種群內(nèi)的每一個(gè)個(gè)體計(jì)算適應(yīng)值(fitness value)。適應(yīng)值與最優(yōu)解的距離直接有關(guān)。 種群根據(jù)適應(yīng)值進(jìn)行復(fù)制。 如果終止條件滿足的話，就停止，否則轉(zhuǎn)步驟 。2022-6-2519東南大學(xué) Southeast UniversityPSO和遺傳算法的比較共同之處：兩者都隨機(jī)初始化種群，而且都使用適應(yīng)值來(lái)評(píng)價(jià)系統(tǒng)，而且都根據(jù)適應(yīng)值來(lái)進(jìn)行一定的隨機(jī)搜索。兩個(gè)系統(tǒng)都不是保證一定找到最優(yōu)解。但是，PSO沒(méi)有遺傳操作如交叉(crossover)和變異(mutatio

13、n)，而是根據(jù)自己的速度來(lái)決定搜索。粒子還有一個(gè)重要的特點(diǎn)，就是有記憶。不同之處：信息共享機(jī)制是很不同的。在遺傳算法中，染色體(chromosomes) 互相共享信息，所以整個(gè)種群的移動(dòng)是 比 較 均 勻 的 向 最 優(yōu) 區(qū) 域 移 動(dòng) 。 在 P S O 中 , 只 有g(shù)Best (or lBest) 給出信息給其他的粒子， 這是單向的信息流動(dòng)。整個(gè)搜索更新過(guò)程是跟隨當(dāng)前最優(yōu)解的過(guò)程。與遺傳算法比較, 在大多數(shù)的情況下，所有的粒子可能更快的收斂于最優(yōu)解。2022-6-2520東南大學(xué) Southeast University6.1.3.3 粒子群算法在電力系統(tǒng)應(yīng)用現(xiàn)狀粒子群優(yōu)化算法作為現(xiàn)代啟

14、發(fā)式算法的一個(gè)成員，最近幾年在電力系統(tǒng)領(lǐng)域中的應(yīng)用研究逐漸顯示出其優(yōu)越性和廣闊的應(yīng)用前景，在解決經(jīng)典優(yōu)化算法難以求解的諸如不連續(xù)、不可微的非線性病態(tài)優(yōu)化問(wèn)題和組合優(yōu)化問(wèn)題時(shí)顯示出了強(qiáng)大的優(yōu)勢(shì)，從而引起了國(guó)際學(xué)術(shù)界和工程界的普遍關(guān)注。PSO 算法在電網(wǎng)擴(kuò)展規(guī)劃、檢修計(jì)劃、機(jī)組組合、負(fù)荷經(jīng)濟(jì)分配、最優(yōu)潮流計(jì)算與無(wú)功優(yōu)化控制、諧波分析與電容器配置、網(wǎng)絡(luò)狀態(tài)估計(jì)、參數(shù)辨識(shí)、優(yōu)化設(shè)計(jì)等領(lǐng)域都已經(jīng)有應(yīng)用，但目前的很多工作還處于起步研究階段，有很多問(wèn)題值得進(jìn)一步研究，相信隨著研究的進(jìn)一步深入，PSO 算法將在電力系統(tǒng)中得到更廣泛的的應(yīng)用。2022-6-2521東南大學(xué) Southeast Universit

15、y6.1.4 人工神經(jīng)網(wǎng)絡(luò)算法 “人工神經(jīng)網(wǎng)絡(luò)”(ARTIFICIAL NEURAL NETWORK，簡(jiǎn)稱(chēng)ANN)是在對(duì)人腦組織結(jié)構(gòu)和運(yùn)行機(jī)制的認(rèn)識(shí)理解基礎(chǔ)之上模擬其結(jié)構(gòu)和智能行為的一種工程系統(tǒng)。40年代初期，心理學(xué)家McCulloch、數(shù)學(xué)家Pitts就提出了人工神經(jīng)網(wǎng)絡(luò)的第一個(gè)數(shù)學(xué)模型，從此開(kāi)創(chuàng)了神經(jīng)科學(xué)理論的研究時(shí)代。F Rosenblatt、Widrow和J. J .Hopfield等學(xué)者又先后提出了感知模型，使得人工神經(jīng)網(wǎng)絡(luò)技術(shù)得以蓬勃發(fā)展。2022-6-2522東南大學(xué) Southeast University神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息

16、傳遞的基本單元。據(jù)神經(jīng)生物學(xué)家研究的結(jié)果表明，人的一個(gè)大腦一般有10101011個(gè)神經(jīng)元。每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支樹(shù)突組成。軸突的功能是將本神經(jīng)元的輸出信號(hào)(興奮)傳遞給別的神經(jīng)元。其末端的許多神經(jīng)末梢使得興奮可以同時(shí)傳送給多個(gè)神經(jīng)元。樹(shù)突的功能是接受來(lái)自其它神經(jīng)元的興奮。神經(jīng)元細(xì)胞體將接受到的所有信號(hào)進(jìn)行簡(jiǎn)單處理(如：加權(quán)求和，即對(duì)所有的輸入信號(hào)都加以考慮且對(duì)每個(gè)信號(hào)的重視程度體現(xiàn)在權(quán)值上有所不同)后由軸突輸出。神經(jīng)元的樹(shù)突與另外的神經(jīng)元的神經(jīng)末梢相連的部分稱(chēng)為突觸。2022-6-2523東南大學(xué) Southeast University

17、6.1.4.1 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元廣泛互連而成的系統(tǒng)，它的這一結(jié)構(gòu)特點(diǎn)決定著人工神經(jīng)網(wǎng)絡(luò)具有高速信息處理的能力。人腦的每個(gè)神經(jīng)元大約有103104個(gè)樹(shù)突及相應(yīng)的突觸，一個(gè)人的大腦總計(jì)約形成10141015個(gè)突觸。用神經(jīng)網(wǎng)絡(luò)的術(shù)語(yǔ)來(lái)說(shuō)，即是人腦具有10141015個(gè)互相連接的存儲(chǔ)潛力。雖然每個(gè)神經(jīng)元的運(yùn)算功能十分簡(jiǎn)單，且信號(hào)傳輸速率也較低(大約100次/秒)，但由于各神經(jīng)元之間的極度并行互連功能，最終使得一個(gè)普通人的大腦在約1秒內(nèi)就能完成現(xiàn)行計(jì)算機(jī)至少需要數(shù)10億次處理步驟才能完成的任務(wù)。2022-6-2524東南大學(xué) Southeast University人工神經(jīng)

18、網(wǎng)絡(luò)的知識(shí)存儲(chǔ)容量很大。在神經(jīng)網(wǎng)絡(luò)中，知識(shí)與信息的存儲(chǔ)表現(xiàn)為神經(jīng)元之間分布式的物理聯(lián)系。它分散地表示和存儲(chǔ)于整個(gè)網(wǎng)絡(luò)內(nèi)的各神經(jīng)元及其連線上。每個(gè)神經(jīng)元及其連線只表示一部分信息，而不是一個(gè)完整具體概念。只有通過(guò)各神經(jīng)元的分布式綜合效果才能表達(dá)出特定的概念和知識(shí)。由于人工神經(jīng)網(wǎng)絡(luò)中神經(jīng)元個(gè)數(shù)眾多以及整個(gè)網(wǎng)絡(luò)存儲(chǔ)信息容量的巨大，使得它具有很強(qiáng)的不確定性信息處理能力。即使輸入信息不完全、不準(zhǔn)確或模糊不清，神經(jīng)網(wǎng)絡(luò)仍然能夠聯(lián)想思維存在于記憶中的事物的完整圖象。只要輸入的模式接近于訓(xùn)練樣本，系統(tǒng)就能給出正確的推理結(jié)論。2022-6-2525東南大學(xué) Southeast University正是因?yàn)槿斯ど窠?jīng)

19、網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)和其信息存儲(chǔ)的分布式特點(diǎn)，使得它相對(duì)于其它的判斷識(shí)別系統(tǒng)，如：專(zhuān)家系統(tǒng)等，具有另一個(gè)顯著的優(yōu)點(diǎn)：健壯性健壯性。生物神經(jīng)網(wǎng)絡(luò)不會(huì)因?yàn)閭€(gè)別神經(jīng)元的損失而失去對(duì)原有模式的記憶。人工神經(jīng)網(wǎng)絡(luò)是一種非線性的處理單元。只有當(dāng)神經(jīng)元對(duì)所有的輸入信號(hào)的綜合處理結(jié)果超過(guò)某一門(mén)限值后才輸出一個(gè)信號(hào)。因此神經(jīng)網(wǎng)絡(luò)是一種具有高度非線性的超大規(guī)模連續(xù)時(shí)間動(dòng)力學(xué)系統(tǒng)。它突破了傳統(tǒng)的以線性處理為基礎(chǔ)的數(shù)字電子計(jì)算機(jī)的局限，標(biāo)志著人們智能信息處理能力和模擬人腦智能行為能力的一大飛躍。 2022-6-2526東南大學(xué) Southeast University6.1.4.2 幾種典型神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介1) 多層感知網(wǎng)絡(luò)多

20、層感知網(wǎng)絡(luò)(誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò))2 )競(jìng)爭(zhēng)型競(jìng)爭(zhēng)型(KOHONEN)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)3 ) Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)2022-6-2527東南大學(xué) Southeast University多層感知網(wǎng)絡(luò)多層感知網(wǎng)絡(luò)(誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)) 1986年以Rumelhart和McCelland為首的科學(xué)家出版了Parallel Distributed Processing，完整地提出了誤差逆?zhèn)鞑W(xué)習(xí)算法。多層感知網(wǎng)絡(luò)是一種具有三層或三層以上的階層型神經(jīng)網(wǎng)絡(luò)。典型的多層感知網(wǎng)絡(luò)是三層、前饋的階層網(wǎng)絡(luò)，即：輸入層I、隱含層(也稱(chēng)中間層)J和輸出層K。相鄰層之間的

21、各神經(jīng)元實(shí)現(xiàn)全連接，即下一層的每一個(gè)神經(jīng)元與上一層的每個(gè)神經(jīng)元都實(shí)現(xiàn)全連接，而且每層各神經(jīng)元之間無(wú)連接。2022-6-2528東南大學(xué) Southeast UniversityBP網(wǎng)的主要缺陷學(xué)習(xí)收斂速度太慢、網(wǎng)絡(luò)的學(xué)習(xí)記憶具有不穩(wěn)定性，即：當(dāng)給一個(gè)訓(xùn)練好的網(wǎng)提供新的學(xué)習(xí)記憶模式時(shí)，將使已有的連接權(quán)值被打亂，導(dǎo)致已記憶的學(xué)習(xí)模式的信息的消失。2022-6-2529東南大學(xué) Southeast University競(jìng)爭(zhēng)型競(jìng)爭(zhēng)型(KOHONEN)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基于人的視網(wǎng)膜及大腦皮層對(duì)剌激的反應(yīng)而引出的。神經(jīng)生物學(xué)的研究結(jié)果表明：生物視網(wǎng)膜中，有許多特定的細(xì)胞，對(duì)特定的圖形(輸入模式)比較敏感，

22、并使得大腦皮層中的特定細(xì)胞產(chǎn)生大的興奮，而其相鄰的神經(jīng)細(xì)胞的興奮程度被抑制。對(duì)于某一個(gè)輸入模式，通過(guò)競(jìng)爭(zhēng)在輸出層中只激活一個(gè)相應(yīng)的輸出神經(jīng)元。許多輸入模式，在輸出層中將激活許多個(gè)神經(jīng)元，從而形成一個(gè)反映輸入數(shù)據(jù)的“特征圖形”。2022-6-2530東南大學(xué) Southeast University競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)是一種以無(wú)教師方式進(jìn)行網(wǎng)絡(luò)訓(xùn)練的網(wǎng)絡(luò)。它通過(guò)自身訓(xùn)練，自動(dòng)對(duì)輸入模式進(jìn)行分類(lèi)。競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)規(guī)則與其它類(lèi)型的神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)規(guī)則相比，有其自己的鮮明特點(diǎn)。在網(wǎng)絡(luò)結(jié)構(gòu)上，它既不象階層型神經(jīng)網(wǎng)絡(luò)那樣各層神經(jīng)元之間只有單向連接，也不象全連接型網(wǎng)絡(luò)那樣在網(wǎng)絡(luò)結(jié)構(gòu)上沒(méi)有明顯的層次界限。它一般

23、是由輸入層(模擬視網(wǎng)膜神經(jīng)元)和競(jìng)爭(zhēng)層(模擬大腦皮層神經(jīng)元，也叫輸出層)構(gòu)成的兩層網(wǎng)絡(luò)。兩層之間的各神經(jīng)元實(shí)現(xiàn)雙向全連接，而且網(wǎng)絡(luò)中沒(méi)有隱含層。有時(shí)競(jìng)爭(zhēng)層各神經(jīng)元之間還存在橫向連接。2022-6-2531東南大學(xué) Southeast University競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的基本思想基本思想是網(wǎng)絡(luò)競(jìng)爭(zhēng)層各神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入模式的響應(yīng)機(jī)會(huì)，最后僅有一個(gè)神經(jīng)元成為競(jìng)爭(zhēng)的勝者，并且只將與獲勝神經(jīng)元有關(guān)的各連接權(quán)值進(jìn)行修正，使之朝著更有利于它競(jìng)爭(zhēng)的方向調(diào)整。神經(jīng)網(wǎng)絡(luò)工作時(shí)，對(duì)于某一輸入模式，網(wǎng)絡(luò)中與該模式最相近的學(xué)習(xí)輸入模式相對(duì)應(yīng)的競(jìng)爭(zhēng)層神經(jīng)元將有最大的輸出值，即以競(jìng)爭(zhēng)層獲勝神經(jīng)元來(lái)表示分類(lèi)結(jié)果。這是通過(guò)競(jìng)爭(zhēng)

24、得以實(shí)現(xiàn)的，實(shí)際上也就是網(wǎng)絡(luò)回憶聯(lián)想的過(guò)程。2022-6-2532東南大學(xué) Southeast University除了競(jìng)爭(zhēng)的方法外，還有通過(guò)抑制手段抑制手段獲取勝利的方法，即網(wǎng)絡(luò)競(jìng)爭(zhēng)層各神經(jīng)元抑制所有其它神經(jīng)元對(duì)輸入模式的響應(yīng)機(jī)會(huì)，從而使自己“脫穎而出”，成為獲勝神經(jīng)元。除此之外還有一種稱(chēng)為側(cè)抑制側(cè)抑制的方法，即每個(gè)神經(jīng)元只抑制與自己鄰近的神經(jīng)元，而對(duì)遠(yuǎn)離自己的神經(jīng)元不抑制。這種方法常常用于圖象邊緣處理，解決圖象邊緣的缺陷問(wèn)題。2022-6-2533東南大學(xué) Southeast University競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)和不足：因?yàn)樗鼉H以輸出層中的單個(gè)神經(jīng)元代表某一類(lèi)模式，所以一旦輸出層中的某

25、個(gè)輸出神經(jīng)元損壞，則導(dǎo)致該神經(jīng)元所代表的該模式信息全部丟失。2022-6-2534東南大學(xué) Southeast University Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)1986年美國(guó)物理學(xué)家J.J.Hopfield陸續(xù)發(fā)表幾篇論文，提出了Hopfield神經(jīng)網(wǎng)絡(luò)。基本的Hopfield神經(jīng)網(wǎng)絡(luò)是一個(gè)由非線性元件構(gòu)成的全連接型單層反饋系統(tǒng)。2022-6-2535東南大學(xué) Southeast UniversityHopfield神經(jīng)網(wǎng)絡(luò)是一個(gè)反饋型的網(wǎng)絡(luò)：網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元都將自己的輸出通過(guò)連接權(quán)連接權(quán)傳送給所有其它神經(jīng)元，同時(shí)又都接收所有其它神經(jīng)元傳遞過(guò)來(lái)的信息。即：網(wǎng)絡(luò)中的神經(jīng)元t時(shí)刻的輸出狀

26、態(tài)實(shí)際上間接地與自己的t-1時(shí)刻的輸出狀態(tài)有關(guān)。其狀態(tài)變化可以用差分方程來(lái)表征。反饋型網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)就是它具有穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)的時(shí)候，也就是它的能量函數(shù)達(dá)到最小的時(shí)候。2022-6-2536東南大學(xué) Southeast University對(duì)于同樣結(jié)構(gòu)的網(wǎng)絡(luò)，當(dāng)網(wǎng)絡(luò)參數(shù)(指連接權(quán)值和閥值)有所變化時(shí)，網(wǎng)絡(luò)能量函數(shù)的極小點(diǎn)(稱(chēng)為網(wǎng)絡(luò)的穩(wěn)定平衡點(diǎn))的個(gè)數(shù)和極小值的大小也將變化。因此，可以把所需記憶的模式設(shè)計(jì)成某個(gè)確定網(wǎng)絡(luò)狀態(tài)的一個(gè)穩(wěn)定平衡點(diǎn)。若網(wǎng)絡(luò)有M個(gè)平衡點(diǎn)，則可以記憶M個(gè)記憶模式。當(dāng)網(wǎng)絡(luò)從與記憶模式較靠近的某個(gè)初始狀態(tài)(相當(dāng)于發(fā)生了某些變形或含有某些噪聲的記憶模式，也即：只提供

27、了某個(gè)模式的部分信息)出發(fā)后，網(wǎng)絡(luò)按Hopfield工作運(yùn)行規(guī)則進(jìn)行狀態(tài)更新，最后網(wǎng)絡(luò)的狀態(tài)將穩(wěn)定在能量函數(shù)的極小點(diǎn)。這樣就完成了由部分信息的聯(lián)想過(guò)程。2022-6-2537東南大學(xué) Southeast UniversityHopfield神經(jīng)網(wǎng)絡(luò)的能量函數(shù)是朝著梯度減小的方向變化，但它仍然存在一個(gè)問(wèn)題，那就是一旦能量函數(shù)陷入到局部極小值，它將不能自動(dòng)跳出局部極小點(diǎn)，到達(dá)全局最小點(diǎn)，因而無(wú)法求得網(wǎng)絡(luò)最優(yōu)解。 2022-6-25東南大學(xué) Southeast University386.1.4.3人工神經(jīng)元網(wǎng)絡(luò)在電力系統(tǒng)應(yīng)用現(xiàn)狀1975年在第五次PSCC會(huì)議上Dillon等人發(fā)表了一篇用自學(xué)習(xí)機(jī)進(jìn)

28、行負(fù)荷預(yù)報(bào)的文章。1986年S.Y.OH等人的工作，用模式識(shí)別和聯(lián)想記憶的方法進(jìn)行大規(guī)模電力系統(tǒng)的安全估計(jì), 對(duì)一個(gè)實(shí)際電力系統(tǒng)進(jìn)行了研究, 表明了該方法的可行性。2022-6-2539東南大學(xué) Southeast University人工神經(jīng)元網(wǎng)絡(luò)最適合多模式識(shí)別類(lèi)型的問(wèn)題。在電力系統(tǒng)中人工神經(jīng)元網(wǎng)絡(luò)能解決的問(wèn)題有:靜態(tài)或動(dòng)態(tài)安全度分析、同步電機(jī)建模、監(jiān)視和診斷、警報(bào)處理、經(jīng)濟(jì)負(fù)荷調(diào)度、故障診斷、拓?fù)涞目捎^測(cè)性、負(fù)荷辨識(shí)、組合優(yōu)化和控制，尤其對(duì)非線性、隨機(jī)或時(shí)變系統(tǒng)的控制?，F(xiàn)在在這些領(lǐng)域，人工神經(jīng)元網(wǎng)絡(luò)已經(jīng)得到了充分的應(yīng)用。2022-6-2540東南大學(xué) Southeast University6.1.5 人工免疫算法 6.1.5.1 人工免疫算法基本思想局部收斂和全局收斂之間的矛盾，造成了進(jìn)化算法的早熟收斂問(wèn)題。免疫系統(tǒng)為解決問(wèn)題提供了靈感源泉：1)抗體是特異的，一種抗體只強(qiáng)烈地結(jié)合幾種類(lèi)似的抗原決定基結(jié)構(gòu)或模式。當(dāng)抗原侵入時(shí)，免疫系統(tǒng)首先進(jìn)行識(shí)別，然后快速地產(chǎn)生抗體來(lái)消滅抗原。與成千上萬(wàn)代的生物進(jìn)化過(guò)程相比，這是一個(gè)快速的過(guò)程，一般只為十幾分鐘到幾天的時(shí)間; 2)免疫系統(tǒng)大約含有多種不同的蛋白質(zhì)(抗體是能夠與抗原發(fā)生特異性結(jié)合的球蛋白)，但外部潛在的抗原或待識(shí)別的模式有 種之多。要實(shí)現(xiàn)對(duì)數(shù)量級(jí)遠(yuǎn)