現(xiàn)代優(yōu)化方法課件

現(xiàn)代優(yōu)化方法現(xiàn)代優(yōu)化方法1概述人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork)遺傳算法禁忌搜索算法模擬退火算法蟻路算法主要內(nèi)容概述主要內(nèi)容2精品資料精品資料3你怎么稱呼老師？如果老師最后沒有總結(jié)一節(jié)課的重點的難點，你是否會認為老師的教學(xué)方法需要改進？你所經(jīng)歷的課堂，是講座式還是討論式？教師的教鞭“不怕太陽曬，也不怕那風雨狂，只怕先生罵我笨，沒有學(xué)問無顏見爹娘……”“太陽當空照，花兒對我笑，小鳥說早早早……”現(xiàn)代優(yōu)化方法課件4現(xiàn)代優(yōu)化方法包括人工神經(jīng)網(wǎng)絡(luò)、遺傳算法、禁忌搜索算法、模擬退火算法、蟻路算法等；這些算法是根據(jù)一些直觀基礎(chǔ)而構(gòu)建的，我們把它稱之為啟發(fā)式算法，有人稱現(xiàn)代優(yōu)化算法主要指仿生算法；牽涉到的學(xué)科廣泛生物進化、人工智能、數(shù)學(xué)和物理、神經(jīng)系統(tǒng)和統(tǒng)計力學(xué)等。這些算法和人工智能、計算機科學(xué)和運籌學(xué)相融合。概述現(xiàn)代優(yōu)化方法包括人工神經(jīng)網(wǎng)絡(luò)、遺傳算法、禁忌搜索算法、模擬退5計算復(fù)雜性與傳統(tǒng)算法的局限旅行商問題：一個商人欲到n個城市推銷商品，每兩個城市i和j之間的距離為dij，如何選擇一條道路使得商人每個城市走一遍后回到起點且所走路徑最短。對稱距離非對稱距離概述計算復(fù)雜性與傳統(tǒng)算法的局限概述6采用枚舉法來解決非對稱旅行商問題假定有n個城市，共需要(n-1)!次枚舉，假定完成25個城市的總距離的計算及比較需要1秒，則當城市增加時，需要的時間如下表所示：概述城市數(shù)2425262728293031時間1s24s10m4.3h4.9d136.5d10.8y325y采用枚舉法來解決非對稱旅行商問題概述城市數(shù)2425262727人類對人工智能的研究可以分成兩種方式對應(yīng)著兩種不同的技術(shù)：傳統(tǒng)的人工智能技術(shù)—心理的角度模擬基于人工神經(jīng)網(wǎng)絡(luò)的技術(shù)—生理的角度模擬人工神經(jīng)網(wǎng)絡(luò)的定義是由人工神經(jīng)元互聯(lián)組成的網(wǎng)絡(luò)，從微觀結(jié)構(gòu)和功能上對人腦的抽象、簡化，是模擬人類智能的一條重要途徑。反映了人腦功能的若干基本特征，如，并行信息處理、學(xué)習、聯(lián)想、模式分類、記憶等。簡單地講，它是一個數(shù)學(xué)模型，可以用電子線路來實現(xiàn)，也可以用計算機程序來模擬，是人工智能研究的一種方法。人工神經(jīng)網(wǎng)絡(luò)人類對人工智能的研究可以分成兩種方式對應(yīng)著兩種不同的技術(shù)：人8智能的含義智能是個體有目的的行為，合理的思維，以及有效的、適應(yīng)環(huán)境的綜合能力。智能是個體認識客觀事物和運用知識解決問題的能力。人類個體的智能是一種綜合能力。人工神經(jīng)網(wǎng)絡(luò)：概念的提出智能的含義人工神經(jīng)網(wǎng)絡(luò)：概念的提出9智能的概念的八個方面人工神經(jīng)網(wǎng)絡(luò)：概念的提出智能的概念的八個方面人工神經(jīng)網(wǎng)絡(luò)：概念的提出10人工智能：研究如何使類似計算機這樣的設(shè)備去模擬人類的這些能力。研究人工智能的目的增加人類探索世界，推動社會前進的能力進一步認識自己人工神經(jīng)網(wǎng)絡(luò)：概念的提出人工智能：研究如何使類似計算機這樣的設(shè)備去模擬人類的這些能力11聯(lián)接主義觀點核心：智能的本質(zhì)是聯(lián)接機制。神經(jīng)網(wǎng)絡(luò)是一個由大量簡單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)ANN力求從四個方面去模擬人腦的智能行為物理結(jié)構(gòu)計算模擬存儲與操作訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)：概念的提出聯(lián)接主義觀點人工神經(jīng)網(wǎng)絡(luò)：概念的提出12物理符號系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的差別人工神經(jīng)網(wǎng)絡(luò)：概念的提出物理符號系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)處理方式邏輯運算模擬運算執(zhí)行方式串行并行動作離散連續(xù)存儲局部集中全局分布物理符號系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的差別人工神經(jīng)網(wǎng)絡(luò)：概念的提出13兩種人工智能技術(shù)的比較人工神經(jīng)網(wǎng)絡(luò)：概念的提出傳統(tǒng)的AI技術(shù)ANN技術(shù)基本實現(xiàn)方式串行處理；由程序?qū)崿F(xiàn)控制并行處理；對樣本數(shù)據(jù)進行多目標學(xué)習；通過人工神經(jīng)元之間的相互作用實現(xiàn)控制基本開發(fā)方法設(shè)計規(guī)則、框架、程序；用樣本數(shù)據(jù)進行調(diào)試（由人根據(jù)已知的環(huán)境去構(gòu)造一個模型）定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型，通過樣本數(shù)據(jù)，依據(jù)基本的學(xué)習算法完成學(xué)習自動從樣本數(shù)據(jù)中抽取內(nèi)涵（自動適應(yīng)應(yīng)用環(huán)境）設(shè)計規(guī)則、框架、程序；用樣本數(shù)據(jù)進行調(diào)試（由人根據(jù)已知的環(huán)境去構(gòu)造一個模型）適應(yīng)領(lǐng)域符號處理，數(shù)值計算模擬處理，感覺，大規(guī)模數(shù)據(jù)并行處理模擬對象左腦（邏輯思維）右腦（形象思維）兩種人工智能技術(shù)的比較人工神經(jīng)網(wǎng)絡(luò)：概念的提出傳統(tǒng)的AI技術(shù)14信息的分布表示運算的全局并行和局部操作處理的非線性人工神經(jīng)網(wǎng)絡(luò)：特點信息的分布表示人工神經(jīng)網(wǎng)絡(luò)：特點15人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為自相聯(lián)的網(wǎng)絡(luò)異相聯(lián)的網(wǎng)絡(luò)：它在接受樣本集合A時，可以抽取集合A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關(guān)系?！俺橄蟆惫δ?。不同的人工神經(jīng)網(wǎng)絡(luò)模型，有不同的學(xué)習/訓(xùn)練算法人工神經(jīng)網(wǎng)絡(luò)：學(xué)習能力人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為人工神經(jīng)網(wǎng)絡(luò)：學(xué)16基本特征的自動提取由于其運算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實現(xiàn)模式的自動分類。泛化（Generalization）能力與抽象能力人工神經(jīng)網(wǎng)絡(luò)：學(xué)習能力基本特征的自動提取人工神經(jīng)網(wǎng)絡(luò)：學(xué)習能力17信息的分布存提供容錯功能由于信息被分布存放在幾乎整個網(wǎng)絡(luò)中，所以，當其中的某一個點或者某幾個點被破壞時，信息仍然可以被存取。系統(tǒng)在受到局部損傷時還可以正常工作。并不是說可以任意地對完成學(xué)習的網(wǎng)絡(luò)進行修改。也正是由于信息的分布存放，對一類網(wǎng)來說，當它完成學(xué)習后，如果再讓它學(xué)習新的東西，這時就會破壞原來已學(xué)會的東西。人工神經(jīng)網(wǎng)絡(luò)：學(xué)習能力信息的分布存提供容錯功能人工神經(jīng)網(wǎng)絡(luò)：學(xué)習能力18擅長兩個方面：對大量的數(shù)據(jù)進行分類，并且只有較少的幾種情況；必須學(xué)習一個復(fù)雜的非線性映射。目前應(yīng)用：人們主要將其用于語音、視覺、知識處理、輔助決策等方面。在數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最佳解的近似解（不是最佳近似解）等方面也有較好的應(yīng)用。。人工神經(jīng)網(wǎng)絡(luò)：學(xué)習能力擅長兩個方面：人工神經(jīng)網(wǎng)絡(luò)：學(xué)習能力19萌芽期（20世紀40年代）人工神經(jīng)網(wǎng)絡(luò)的研究最早可以追溯到人類開始研究自己的智能的時期，到1949年止。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會刊《BulletinofMathematicalBiophysics》1949年，心理學(xué)家D.O.Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說——Hebb學(xué)習律。人工神經(jīng)網(wǎng)絡(luò)：歷史回顧萌芽期（20世紀40年代）人工神經(jīng)網(wǎng)絡(luò)：歷史回顧20第一高潮期（1950~1968）以MarvinMinsky，F(xiàn)rankRosenblatt，BernardWidrow等為代表人物，代表作是單級感知器（Perceptron）?？捎秒娮泳€路模擬。人們樂觀地認為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項研究，希望盡快占領(lǐng)制高點。人工神經(jīng)網(wǎng)絡(luò)：歷史回顧第一高潮期（1950~1968）人工神經(jīng)網(wǎng)絡(luò)：歷史回顧21反思期（1969~1982）M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年異或”運算不可表示二十世紀70年代和80年代早期的研究結(jié)果認識規(guī)律：認識—實踐—再認識人工神經(jīng)網(wǎng)絡(luò)：歷史回顧反思期（1969~1982）人工神經(jīng)網(wǎng)絡(luò)：歷史回顧22第二高潮期（1983~1990）1982年，J.Hopfield提出循環(huán)網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動力學(xué)的關(guān)系用非線性動力學(xué)的方法來研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上1984年，J.Hopfield設(shè)計研制了后來被人們稱為Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動。人工神經(jīng)網(wǎng)絡(luò)：歷史回顧第二高潮期（1983~1990）人工神經(jīng)網(wǎng)絡(luò)：歷史回顧23第二高潮期（1983~1990）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機機制，提出所謂的Boltzmann機。1986年，并行分布處理小組的Rumelhart等研究者重新獨立地提出多層網(wǎng)絡(luò)的學(xué)習算法——BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習問題。人工神經(jīng)網(wǎng)絡(luò)：歷史回顧第二高潮期（1983~1990）人工神經(jīng)網(wǎng)絡(luò)：歷史回顧24再認識與應(yīng)用研究期（1991~）問題：應(yīng)用面還不夠?qū)捊Y(jié)果不夠精確存在可信度的問題。人工神經(jīng)網(wǎng)絡(luò)：歷史回顧再認識與應(yīng)用研究期（1991~）人工神經(jīng)網(wǎng)絡(luò)：歷史回顧25人的思維由腦完成人腦約由1011～1012個神經(jīng)元組成，每個神經(jīng)元約與104～105個神經(jīng)元聯(lián)接，能接受并處理信息。因此，人腦是復(fù)雜的信息并行加工處理巨系統(tǒng)。人腦可通過自組織、自學(xué)習，不斷適應(yīng)外界環(huán)境的變化。其自組織、自學(xué)習性來源于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的可塑性，主要反映在神經(jīng)元之間聯(lián)接強度的可變性上。人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)人的思維由腦完成人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)26人(或其它生物)的神經(jīng)網(wǎng)絡(luò)示意圖人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)人(或其它生物)的神經(jīng)網(wǎng)絡(luò)示意圖人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)27一個神經(jīng)元通過晶枝(dendrite)接收到信息后，它對這些信息進行處理，并通過它所控制的觸突(synapse)傳給其它神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)一個神經(jīng)元通過晶枝(dendrite)接收到信息后，它對這些28神經(jīng)元的六個基本特征：神經(jīng)元及其聯(lián)接；神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強弱；神經(jīng)元之間的聯(lián)接強度是可以隨訓(xùn)練改變的；信號可以是起刺激作用的，也可以是起抑制作用的；一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；每個神經(jīng)元可以有一個“閾值”。人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)神經(jīng)元的六個基本特征：人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)29人工神經(jīng)元神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個基本特性。人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)人工神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)30單層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)(轉(zhuǎn)自Matlab幫助文件)有些教材把它稱為兩層結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)單層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)(轉(zhuǎn)自Matlab幫助文件)人工神經(jīng)網(wǎng)絡(luò)：31多層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)(轉(zhuǎn)自Matlab幫助文件)人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)多層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)(轉(zhuǎn)自Matlab幫助文件)人工神經(jīng)網(wǎng)絡(luò)：32Hopfield網(wǎng)絡(luò)(反饋型結(jié)構(gòu))人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)Hopfield網(wǎng)絡(luò)(反饋型結(jié)構(gòu))人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)33其它網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)其它網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)34人工神經(jīng)網(wǎng)絡(luò)計算過程示意圖人工神經(jīng)網(wǎng)絡(luò)：舉例人工神經(jīng)網(wǎng)絡(luò)計算過程示意圖人工神經(jīng)網(wǎng)絡(luò)：舉例35神經(jīng)網(wǎng)絡(luò)在目前已有幾十種不同的模型。通?？砂?個原則進行神經(jīng)網(wǎng)絡(luò)的歸類。按照網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分，則有前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。按照學(xué)習方式區(qū)分，則有有教師學(xué)習和無教師學(xué)習網(wǎng)絡(luò)。按照網(wǎng)絡(luò)性能區(qū)分，則有連續(xù)型和離散性網(wǎng)絡(luò)，隨機型和確定型網(wǎng)絡(luò)。按照突觸性質(zhì)區(qū)分，則有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。按對生物神經(jīng)系統(tǒng)的層次模擬區(qū)分，則有神經(jīng)元層次模型，組合式模型，網(wǎng)絡(luò)層次模型，神經(jīng)系統(tǒng)層次模型和智能型模型。人工神經(jīng)網(wǎng)絡(luò)：種類及應(yīng)用神經(jīng)網(wǎng)絡(luò)在目前已有幾十種不同的模型。通?？砂?個原則進行神經(jīng)36常見的神經(jīng)網(wǎng)絡(luò)類型及應(yīng)用人工神經(jīng)網(wǎng)絡(luò)：種類及應(yīng)用名稱典應(yīng)用型Perception感知器文字識別、分類問題、聲音識別BackPropagation反向傳播網(wǎng)絡(luò)評估、預(yù)測、識別等包含有各種優(yōu)化算法來實現(xiàn)它。自組織網(wǎng)絡(luò)分類問題Hopfield網(wǎng)絡(luò)TSP問題…………常見的神經(jīng)網(wǎng)絡(luò)類型及應(yīng)用人工神經(jīng)網(wǎng)絡(luò)：種類及應(yīng)用名稱典應(yīng)用型37生物進化的規(guī)律：選擇、遺傳和變異。借鑒了生物進化的特征，其主要特征為：進化發(fā)生在解的編碼上(染色體)人為地構(gòu)造函數(shù)使好的染色體的后代數(shù)超過平均數(shù)染色體保持父母的特征染色體會產(chǎn)生變異遺傳算法生物進化的規(guī)律：選擇、遺傳和變異。遺傳算法38生物遺傳概念遺傳算法中的作用適者生存算法終止時，有可能得到最優(yōu)解個體解染色體解的編碼基因解中每一分量的特征(如各分量的值)適應(yīng)性適應(yīng)函數(shù)值群體選定的一組解種群根據(jù)適應(yīng)函數(shù)選定一組解交配通過交叉原則產(chǎn)生的一組新的解變異編碼的某個分量發(fā)生變化的過程遺傳算法生物遺傳概念和遺傳算法中的概念比較生物遺傳概念遺傳算法中的作用適者生存算法終止時，有可能得到最39例：用遺傳算法求f(x)=x2，0≤x≤31，x為整數(shù)的最大值用五位二進制編碼0000→0，10000→16，11111→31五位字符串稱為染色體，每位稱為基因，每個基因有兩種狀態(tài)0,1首先產(chǎn)生一個隨機群體，如4個(通常取偶數(shù)個)x1=00000,x2=11001,x3=01111,x4=01000適應(yīng)函數(shù)fitness(xi)=f(x)=x2遺傳算法例：用遺傳算法求f(x)=x2，0≤x≤31，x為整數(shù)的最大40fitness(x1)=0,fitness(x2)=252,fitness(x3)=152,fitness(x4)=82定義第i個個體入選種群的概率為適應(yīng)值大的染色體生存的概率較大遺傳算法fitness(x1)=0,fitness(x2)=25241假若要產(chǎn)生四個個體，則根據(jù)各個體的概率，有可能是如下結(jié)構(gòu)：2個11001,1個01111,1個10000采用如下方式交配遺傳算法假若要產(chǎn)生四個個體，則根據(jù)各個體的概率，有可能是如下結(jié)構(gòu)：遺42若y4的第一個基因發(fā)生變異，則y4=11001如滿足停止規(guī)則，則結(jié)束，否則重新計算適應(yīng)度函數(shù)，繼續(xù)上述過程。遺傳算法若y4的第一個基因發(fā)生變異，則y4=11001遺傳算法43應(yīng)用：各種NP-Hard優(yōu)化問題遺傳算法應(yīng)用：各種NP-Hard優(yōu)化問題遺傳算法44為了找到“全局最優(yōu)解”，就不應(yīng)該執(zhí)著于某一個特定的區(qū)域。局部搜索的缺點就是太貪婪地對某一個局部區(qū)域以及其鄰域搜索，導(dǎo)致一葉障目，不見泰山。禁忌搜索就是對于找到的一部分局部最優(yōu)解，有意識地避開它（但不是完全隔絕），從而獲得更多的搜索區(qū)間。兔子們找到了泰山，它們之中的一只就會留守在這里，其他的再去別的地方尋找。就這樣，一大圈后，把找到的幾個山峰一比較，珠穆朗瑪峰脫穎而出。禁忌搜索算法(tabu

search)為了找到“全局最優(yōu)解”，就不應(yīng)該執(zhí)著于某一個特定的區(qū)域。局部45當兔子們再尋找的時候，一般地會有意識地避開泰山，因為他們知道，這里已經(jīng)找過，并且有一只兔子在那里看著了。這就是禁忌搜索中“禁忌表（tabulist）”的含義。那只留在泰山的兔子一般不會就安家在那里了，它會在一定時間后重新回到找最高峰的大軍，因為這個時候已經(jīng)有了許多新的消息，泰山畢竟也有一個不錯的高度，需要重新考慮，這個歸隊時間，在禁忌搜索里面叫做“禁忌長度（tabulength）”；如果在搜索的過程中，留守泰山的兔子還沒有歸隊，但是找到的地方全是華北平原等比較低的地方，兔子們就不得不再次考慮選中泰山，也就是說，當一個有兔子留守的地方優(yōu)越性太突出，超過了“besttofar”的狀態(tài)，就可以不顧及有沒有兔子留守，都把這個地方考慮進來，這就叫“特赦準則（aspirationcriterion）”。這三個概念是禁忌搜索和一般搜索準則最不同的地方，算法的優(yōu)化也關(guān)鍵在這里。禁忌搜索算法(tabu

search)當兔子們再尋找的時候，一般地會有意識地避開泰山，因為他們知道46應(yīng)用：TSP問題禁忌搜索算法(tabu

search)應(yīng)用：TSP問題禁忌搜索算法(tabusearch)47溫度、能量、概率分布間的關(guān)系由統(tǒng)計力學(xué)表明，在溫度T，分子停留在狀態(tài)r滿足Boltzmann概率分布：在同一溫度，分子停留在能量小狀態(tài)的概率比停留在能量大狀態(tài)的概率要大。在最小能量狀態(tài)下，概率關(guān)于溫度T是單調(diào)下降的。溫度趨向0時，分子停留在最低能量狀態(tài)的概率趨向1。模擬退火算法(SimulatedAnnealing)溫度、能量、概率分布間的關(guān)系模擬退火算法(Simulated481982年,KirkPatrick將退火思想引入組合優(yōu)化領(lǐng)域，提出一種解大規(guī)模組合優(yōu)化問題的算法，對NP完全組合優(yōu)化問題尤其有效。這源于固體的退火過程，即先將溫度加到很高,再緩慢降溫(即退火)，使達到能量最低點。如果急速降溫(即為淬火)則不能達到最低點。模擬退火算法(SimulatedAnnealing)1982年,KirkPatrick將退火思想引入組合優(yōu)化領(lǐng)域49組合優(yōu)化問題與退火進行比較模擬退火算法(SimulatedAnnealing)組合優(yōu)化問題退火問題解狀態(tài)最優(yōu)解能量最低的狀態(tài)費用函數(shù)能量組合優(yōu)化問題與退火進行比較模擬退火算法(Simulated50模擬退火算法可以分解為解空間、目標函數(shù)和初始解三部分。模擬退火的基本思想:初始化：初始溫度T(充分大)，初始解狀態(tài)S(是算法迭代的起點)，每個T值的迭代次數(shù)L對k=1，……，L做第(3)至第6步：產(chǎn)生新解S′計算增量Δt′=C(S′)-C(S)，其中C(S)為評價函數(shù)若Δt′<0則接受S′作為新的當前解，否則以概率exp(-Δt′/T)接受S′作為新的當前解.如果滿足終止條件則輸出當前解作為最優(yōu)解，結(jié)束程序。終止條件通常取為連續(xù)若干個新解都沒有被接受時終止算法。T逐漸減少，且T->0，然后轉(zhuǎn)第2步。模擬退火算法(SimulatedAnnealing)模擬退火算法可以分解為解空間、目標函數(shù)和初始解三部分。模擬退51模擬退火算法的應(yīng)用很廣泛，可以較高的效率求解最大截問題(MaxCutProblem)、0-1背包問題(ZeroOneKnapsackProblem)、圖著色問題(GraphColouringProblem)、調(diào)度問題(SchedulingProblem)等等。模擬退火算法模擬退火算法的應(yīng)用很廣泛，可以較高的效率求解最大截問題(Ma52螞蟻在覓食過程中，會分泌一種化學(xué)物質(zhì)，稱為信息素(pheromone)。某種特殊的信息素被用于標記路徑信息。某些螞蟻通過其他螞蟻釋放的路徑信息素來尋找到食物。蟻路優(yōu)化螞蟻在覓食過程中，會分泌一種化學(xué)物質(zhì)，稱為信息素(phero53雙橋?qū)嶒炗捎谡答仚C制，所有的螞蟻最終會選擇某一條路徑對兩條橋路徑長度相同的情況，選擇兩條路徑的概率相同對兩條路徑長度不同的情況，較短路徑有較大的概率。蟻路優(yōu)化雙橋?qū)嶒炏伮穬?yōu)化54路徑探索盡管由于正反饋存在，不是所有的螞蟻都選擇同一條路徑，這種行為稱為“路徑探索”。學(xué)習和忘記盡管增加了較短的路徑，但螞蟻仍然選擇較長路徑蟻路優(yōu)化路徑探索蟻路優(yōu)化55應(yīng)用：車間作業(yè)調(diào)度TSP問題布局優(yōu)化故障診斷聚類分析、數(shù)據(jù)挖掘……蟻路優(yōu)化應(yīng)用：蟻路優(yōu)化56現(xiàn)代優(yōu)化方法現(xiàn)代優(yōu)化方法57概述人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork)遺傳算法禁忌搜索算法模擬退火算法蟻路算法主要內(nèi)容概述主要內(nèi)容58精品資料精品資料59你怎么稱呼老師？如果老師最后沒有總結(jié)一節(jié)課的重點的難點，你是否會認為老師的教學(xué)方法需要改進？你所經(jīng)歷的課堂，是講座式還是討論式？教師的教鞭“不怕太陽曬，也不怕那風雨狂，只怕先生罵我笨，沒有學(xué)問無顏見爹娘……”“太陽當空照，花兒對我笑，小鳥說早早早……”現(xiàn)代優(yōu)化方法課件60現(xiàn)代優(yōu)化方法包括人工神經(jīng)網(wǎng)絡(luò)、遺傳算法、禁忌搜索算法、模擬退火算法、蟻路算法等；這些算法是根據(jù)一些直觀基礎(chǔ)而構(gòu)建的，我們把它稱之為啟發(fā)式算法，有人稱現(xiàn)代優(yōu)化算法主要指仿生算法；牽涉到的學(xué)科廣泛生物進化、人工智能、數(shù)學(xué)和物理、神經(jīng)系統(tǒng)和統(tǒng)計力學(xué)等。這些算法和人工智能、計算機科學(xué)和運籌學(xué)相融合。概述現(xiàn)代優(yōu)化方法包括人工神經(jīng)網(wǎng)絡(luò)、遺傳算法、禁忌搜索算法、模擬退61計算復(fù)雜性與傳統(tǒng)算法的局限旅行商問題：一個商人欲到n個城市推銷商品，每兩個城市i和j之間的距離為dij，如何選擇一條道路使得商人每個城市走一遍后回到起點且所走路徑最短。對稱距離非對稱距離概述計算復(fù)雜性與傳統(tǒng)算法的局限概述62采用枚舉法來解決非對稱旅行商問題假定有n個城市，共需要(n-1)!次枚舉，假定完成25個城市的總距離的計算及比較需要1秒，則當城市增加時，需要的時間如下表所示：概述城市數(shù)2425262728293031時間1s24s10m4.3h4.9d136.5d10.8y325y采用枚舉法來解決非對稱旅行商問題概述城市數(shù)24252627263人類對人工智能的研究可以分成兩種方式對應(yīng)著兩種不同的技術(shù)：傳統(tǒng)的人工智能技術(shù)—心理的角度模擬基于人工神經(jīng)網(wǎng)絡(luò)的技術(shù)—生理的角度模擬人工神經(jīng)網(wǎng)絡(luò)的定義是由人工神經(jīng)元互聯(lián)組成的網(wǎng)絡(luò)，從微觀結(jié)構(gòu)和功能上對人腦的抽象、簡化，是模擬人類智能的一條重要途徑。反映了人腦功能的若干基本特征，如，并行信息處理、學(xué)習、聯(lián)想、模式分類、記憶等。簡單地講，它是一個數(shù)學(xué)模型，可以用電子線路來實現(xiàn)，也可以用計算機程序來模擬，是人工智能研究的一種方法。人工神經(jīng)網(wǎng)絡(luò)人類對人工智能的研究可以分成兩種方式對應(yīng)著兩種不同的技術(shù)：人64智能的含義智能是個體有目的的行為，合理的思維，以及有效的、適應(yīng)環(huán)境的綜合能力。智能是個體認識客觀事物和運用知識解決問題的能力。人類個體的智能是一種綜合能力。人工神經(jīng)網(wǎng)絡(luò)：概念的提出智能的含義人工神經(jīng)網(wǎng)絡(luò)：概念的提出65智能的概念的八個方面人工神經(jīng)網(wǎng)絡(luò)：概念的提出智能的概念的八個方面人工神經(jīng)網(wǎng)絡(luò)：概念的提出66人工智能：研究如何使類似計算機這樣的設(shè)備去模擬人類的這些能力。研究人工智能的目的增加人類探索世界，推動社會前進的能力進一步認識自己人工神經(jīng)網(wǎng)絡(luò)：概念的提出人工智能：研究如何使類似計算機這樣的設(shè)備去模擬人類的這些能力67聯(lián)接主義觀點核心：智能的本質(zhì)是聯(lián)接機制。神經(jīng)網(wǎng)絡(luò)是一個由大量簡單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)ANN力求從四個方面去模擬人腦的智能行為物理結(jié)構(gòu)計算模擬存儲與操作訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)：概念的提出聯(lián)接主義觀點人工神經(jīng)網(wǎng)絡(luò)：概念的提出68物理符號系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的差別人工神經(jīng)網(wǎng)絡(luò)：概念的提出物理符號系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)處理方式邏輯運算模擬運算執(zhí)行方式串行并行動作離散連續(xù)存儲局部集中全局分布物理符號系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的差別人工神經(jīng)網(wǎng)絡(luò)：概念的提出69兩種人工智能技術(shù)的比較人工神經(jīng)網(wǎng)絡(luò)：概念的提出傳統(tǒng)的AI技術(shù)ANN技術(shù)基本實現(xiàn)方式串行處理；由程序?qū)崿F(xiàn)控制并行處理；對樣本數(shù)據(jù)進行多目標學(xué)習；通過人工神經(jīng)元之間的相互作用實現(xiàn)控制基本開發(fā)方法設(shè)計規(guī)則、框架、程序；用樣本數(shù)據(jù)進行調(diào)試（由人根據(jù)已知的環(huán)境去構(gòu)造一個模型）定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型，通過樣本數(shù)據(jù)，依據(jù)基本的學(xué)習算法完成學(xué)習自動從樣本數(shù)據(jù)中抽取內(nèi)涵（自動適應(yīng)應(yīng)用環(huán)境）設(shè)計規(guī)則、框架、程序；用樣本數(shù)據(jù)進行調(diào)試（由人根據(jù)已知的環(huán)境去構(gòu)造一個模型）適應(yīng)領(lǐng)域符號處理，數(shù)值計算模擬處理，感覺，大規(guī)模數(shù)據(jù)并行處理模擬對象左腦（邏輯思維）右腦（形象思維）兩種人工智能技術(shù)的比較人工神經(jīng)網(wǎng)絡(luò)：概念的提出傳統(tǒng)的AI技術(shù)70信息的分布表示運算的全局并行和局部操作處理的非線性人工神經(jīng)網(wǎng)絡(luò)：特點信息的分布表示人工神經(jīng)網(wǎng)絡(luò)：特點71人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為自相聯(lián)的網(wǎng)絡(luò)異相聯(lián)的網(wǎng)絡(luò)：它在接受樣本集合A時，可以抽取集合A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關(guān)系?！俺橄蟆惫δ?。不同的人工神經(jīng)網(wǎng)絡(luò)模型，有不同的學(xué)習/訓(xùn)練算法人工神經(jīng)網(wǎng)絡(luò)：學(xué)習能力人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為人工神經(jīng)網(wǎng)絡(luò)：學(xué)72基本特征的自動提取由于其運算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實現(xiàn)模式的自動分類。泛化（Generalization）能力與抽象能力人工神經(jīng)網(wǎng)絡(luò)：學(xué)習能力基本特征的自動提取人工神經(jīng)網(wǎng)絡(luò)：學(xué)習能力73信息的分布存提供容錯功能由于信息被分布存放在幾乎整個網(wǎng)絡(luò)中，所以，當其中的某一個點或者某幾個點被破壞時，信息仍然可以被存取。系統(tǒng)在受到局部損傷時還可以正常工作。并不是說可以任意地對完成學(xué)習的網(wǎng)絡(luò)進行修改。也正是由于信息的分布存放，對一類網(wǎng)來說，當它完成學(xué)習后，如果再讓它學(xué)習新的東西，這時就會破壞原來已學(xué)會的東西。人工神經(jīng)網(wǎng)絡(luò)：學(xué)習能力信息的分布存提供容錯功能人工神經(jīng)網(wǎng)絡(luò)：學(xué)習能力74擅長兩個方面：對大量的數(shù)據(jù)進行分類，并且只有較少的幾種情況；必須學(xué)習一個復(fù)雜的非線性映射。目前應(yīng)用：人們主要將其用于語音、視覺、知識處理、輔助決策等方面。在數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最佳解的近似解（不是最佳近似解）等方面也有較好的應(yīng)用。。人工神經(jīng)網(wǎng)絡(luò)：學(xué)習能力擅長兩個方面：人工神經(jīng)網(wǎng)絡(luò)：學(xué)習能力75萌芽期（20世紀40年代）人工神經(jīng)網(wǎng)絡(luò)的研究最早可以追溯到人類開始研究自己的智能的時期，到1949年止。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會刊《BulletinofMathematicalBiophysics》1949年，心理學(xué)家D.O.Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說——Hebb學(xué)習律。人工神經(jīng)網(wǎng)絡(luò)：歷史回顧萌芽期（20世紀40年代）人工神經(jīng)網(wǎng)絡(luò)：歷史回顧76第一高潮期（1950~1968）以MarvinMinsky，F(xiàn)rankRosenblatt，BernardWidrow等為代表人物，代表作是單級感知器（Perceptron）。可用電子線路模擬。人們樂觀地認為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項研究，希望盡快占領(lǐng)制高點。人工神經(jīng)網(wǎng)絡(luò)：歷史回顧第一高潮期（1950~1968）人工神經(jīng)網(wǎng)絡(luò)：歷史回顧77反思期（1969~1982）M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年異或”運算不可表示二十世紀70年代和80年代早期的研究結(jié)果認識規(guī)律：認識—實踐—再認識人工神經(jīng)網(wǎng)絡(luò)：歷史回顧反思期（1969~1982）人工神經(jīng)網(wǎng)絡(luò)：歷史回顧78第二高潮期（1983~1990）1982年，J.Hopfield提出循環(huán)網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動力學(xué)的關(guān)系用非線性動力學(xué)的方法來研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上1984年，J.Hopfield設(shè)計研制了后來被人們稱為Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動。人工神經(jīng)網(wǎng)絡(luò)：歷史回顧第二高潮期（1983~1990）人工神經(jīng)網(wǎng)絡(luò)：歷史回顧79第二高潮期（1983~1990）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機機制，提出所謂的Boltzmann機。1986年，并行分布處理小組的Rumelhart等研究者重新獨立地提出多層網(wǎng)絡(luò)的學(xué)習算法——BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習問題。人工神經(jīng)網(wǎng)絡(luò)：歷史回顧第二高潮期（1983~1990）人工神經(jīng)網(wǎng)絡(luò)：歷史回顧80再認識與應(yīng)用研究期（1991~）問題：應(yīng)用面還不夠?qū)捊Y(jié)果不夠精確存在可信度的問題。人工神經(jīng)網(wǎng)絡(luò)：歷史回顧再認識與應(yīng)用研究期（1991~）人工神經(jīng)網(wǎng)絡(luò)：歷史回顧81人的思維由腦完成人腦約由1011～1012個神經(jīng)元組成，每個神經(jīng)元約與104～105個神經(jīng)元聯(lián)接，能接受并處理信息。因此，人腦是復(fù)雜的信息并行加工處理巨系統(tǒng)。人腦可通過自組織、自學(xué)習，不斷適應(yīng)外界環(huán)境的變化。其自組織、自學(xué)習性來源于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的可塑性，主要反映在神經(jīng)元之間聯(lián)接強度的可變性上。人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)人的思維由腦完成人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)82人(或其它生物)的神經(jīng)網(wǎng)絡(luò)示意圖人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)人(或其它生物)的神經(jīng)網(wǎng)絡(luò)示意圖人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)83一個神經(jīng)元通過晶枝(dendrite)接收到信息后，它對這些信息進行處理，并通過它所控制的觸突(synapse)傳給其它神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)一個神經(jīng)元通過晶枝(dendrite)接收到信息后，它對這些84神經(jīng)元的六個基本特征：神經(jīng)元及其聯(lián)接；神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強弱；神經(jīng)元之間的聯(lián)接強度是可以隨訓(xùn)練改變的；信號可以是起刺激作用的，也可以是起抑制作用的；一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；每個神經(jīng)元可以有一個“閾值”。人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)神經(jīng)元的六個基本特征：人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)85人工神經(jīng)元神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個基本特性。人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)人工神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)86單層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)(轉(zhuǎn)自Matlab幫助文件)有些教材把它稱為兩層結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)單層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)(轉(zhuǎn)自Matlab幫助文件)人工神經(jīng)網(wǎng)絡(luò)：87多層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)(轉(zhuǎn)自Matlab幫助文件)人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)多層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)(轉(zhuǎn)自Matlab幫助文件)人工神經(jīng)網(wǎng)絡(luò)：88Hopfield網(wǎng)絡(luò)(反饋型結(jié)構(gòu))人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)Hopfield網(wǎng)絡(luò)(反饋型結(jié)構(gòu))人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)89其它網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)其它網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)90人工神經(jīng)網(wǎng)絡(luò)計算過程示意圖人工神經(jīng)網(wǎng)絡(luò)：舉例人工神經(jīng)網(wǎng)絡(luò)計算過程示意圖人工神經(jīng)網(wǎng)絡(luò)：舉例91神經(jīng)網(wǎng)絡(luò)在目前已有幾十種不同的模型。通常可按5個原則進行神經(jīng)網(wǎng)絡(luò)的歸類。按照網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分，則有前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。按照學(xué)習方式區(qū)分，則有有教師學(xué)習和無教師學(xué)習網(wǎng)絡(luò)。按照網(wǎng)絡(luò)性能區(qū)分，則有連續(xù)型和離散性網(wǎng)絡(luò)，隨機型和確定型網(wǎng)絡(luò)。按照突觸性質(zhì)區(qū)分，則有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。按對生物神經(jīng)系統(tǒng)的層次模擬區(qū)分，則有神經(jīng)元層次模型，組合式模型，網(wǎng)絡(luò)層次模型，神經(jīng)系統(tǒng)層次模型和智能型模型。人工神經(jīng)網(wǎng)絡(luò)：種類及應(yīng)用神經(jīng)網(wǎng)絡(luò)在目前已有幾十種不同的模型。通?？砂?個原則進行神經(jīng)92常見的神經(jīng)網(wǎng)絡(luò)類型及應(yīng)用人工神經(jīng)網(wǎng)絡(luò)：種類及應(yīng)用名稱典應(yīng)用型Perception感知器文字識別、分類問題、聲音識別BackPropagation反向傳播網(wǎng)絡(luò)評估、預(yù)測、識別等包含有各種優(yōu)化算法來實現(xiàn)它。自組織網(wǎng)絡(luò)分類問題Hopfield網(wǎng)絡(luò)TSP問題…………常見的神經(jīng)網(wǎng)絡(luò)類型及應(yīng)用人工神經(jīng)網(wǎng)絡(luò)：種類及應(yīng)用名稱典應(yīng)用型93生物進化的規(guī)律：選擇、遺傳和變異。借鑒了生物進化的特征，其主要特征為：進化發(fā)生在解的編碼上(染色體)人為地構(gòu)造函數(shù)使好的染色體的后代數(shù)超過平均數(shù)染色體保持父母的特征染色體會產(chǎn)生變異遺傳算法生物進化的規(guī)律：選擇、遺傳和變異。遺傳算法94生物遺傳概念遺傳算法中的作用適者生存算法終止時，有可能得到最優(yōu)解個體解染色體解的編碼基因解中每一分量的特征(如各分量的值)適應(yīng)性適應(yīng)函數(shù)值群體選定的一組解種群根據(jù)適應(yīng)函數(shù)選定一組解交配通過交叉原則產(chǎn)生的一組新的解變異編碼的某個分量發(fā)生變化的過程遺傳算法生物遺傳概念和遺傳算法中的概念比較生物遺傳概念遺傳算法中的作用適者生存算法終止時，有可能得到最95例：用遺傳算法求f(x)=x2，0≤x≤31，x為整數(shù)的最大值用五位二進制編碼0000→0，10000→16，11111→31五位字符串稱為染色體，每位稱為基因，每個基因有兩種狀態(tài)0,1首先產(chǎn)生一個隨機群體，如4個(通常取偶數(shù)個)x1=00000,x2=11001,x3=01111,x4=01000適應(yīng)函數(shù)fitness(xi)=f(x)=x2遺傳算法例：用遺傳算法求f(x)=x2，0≤x≤31，x為整數(shù)的最大96fitness(x1)=0,fitness(x2)=252,fitness(x3)=152,fitness(x4)=82定義第i個個體入選種群的概率為適應(yīng)值大的染色體生存的概率較大遺傳算法fitness(x1)=0,fitness(x2)=25297假若要產(chǎn)生四個個體，則根據(jù)各個體的概率，有可能是如下結(jié)構(gòu)：2個11001,1個01111,1個10000采用如下方式交配遺傳算法假若要產(chǎn)生四個個體，則根據(jù)各個體的概率，有可能是如下結(jié)構(gòu)：遺98若y4的第一個基因發(fā)生變異，則y4=11001如滿足停止規(guī)則，則結(jié)束，否則重新計算適應(yīng)度函數(shù)，繼續(xù)上述過程。遺傳算法若y4的第一個基因發(fā)生變異，則y4=11001遺傳算法99應(yīng)用：各種NP-Hard優(yōu)化問題遺傳算法應(yīng)用：各種NP-Hard優(yōu)化問題遺傳算法100為了找到“全局最優(yōu)解”，就不應(yīng)該執(zhí)著于某一個特定的區(qū)域。局部搜索的缺點就是太貪婪地對某一個局部區(qū)域以及其鄰域搜索，導(dǎo)致一葉障目，不見泰山。禁忌搜索就是對于找到的一部分局部最優(yōu)解，有意識地避開它（但不是完全隔絕），從而獲得更多的搜索區(qū)間。兔子們找到了泰山，它們之中的一只就會留守在這里，其他的再去別的地方尋找。就這樣，一大圈后，把找到的幾個山峰一比較，珠穆朗瑪峰脫穎而出。禁忌搜索算法(tabu

search)為了找到“全局最優(yōu)解”，就不應(yīng)該執(zhí)著于某一個特定的區(qū)域。局部101當兔子們再尋找的時候，一般地會有意識地避開泰山，因為他們知道，這里已經(jīng)找過，并且有一只兔子在那里看著了。這就是禁忌搜索中“禁忌表（tabulist）”的含義。那只留在泰山的兔子一般不會就安家在那里了，它會在一定時間后重新回到找最高峰的大軍，因為這個時候已經(jīng)有了許多新的消息，泰山畢竟也有一個不錯的高度，需要重新考慮，這個歸隊時間，在禁忌搜索里面叫做“禁忌長度（tabulength）”；如果在搜索的過程中，留守泰山的兔子還沒有歸隊，但是找到的地方全是華北平原等比較低的地方，兔子們就不得不再次考慮選中泰山，也就是說，當一個有兔子留守的地方優(yōu)越性太突出，超過了“besttofar”的狀