狀態(tài)轉(zhuǎn)移算法及其在工業(yè)過(guò)程建模與控制中的應(yīng)用.ppt

狀態(tài)轉(zhuǎn)移算法及其在工業(yè)過(guò)程建模與控制中的應(yīng)用,信息科學(xué)與工程學(xué)院,周曉君,Part 0 引子 Part 1 建模中的優(yōu)化問(wèn)題 part 2 控制中的優(yōu)化問(wèn)題 part 3 智能優(yōu)化算法及狀態(tài)轉(zhuǎn)移算法 part 4 未來(lái)研究方向,Outline,Part 0 引子,一類行測(cè)題：數(shù)字推理,數(shù)字推理題是行測(cè)（行政職業(yè)能力測(cè)驗(yàn)）考試的必考項(xiàng)目，其數(shù)字規(guī)律紛繁復(fù)雜，一般要求作答者在幾秒內(nèi)得出答案。,(1) 7, 9, -1, 5, () A 4; B 2; C -1; D-3 分析：選D，7+9=16； 9-1=8；-1+5=4；5-3=2，16,8,4,2形成等比數(shù)列 (2) 1, 2, 5, 29, () A 34; B 841; C 866; D 37 分析：選C，5=12+22；29=22+52；（）=52+292=866,Part 0 引子,(3) 2, 12, 30, () A 56; B 65; C 75; D 56 分析：選D，12=2；34=12；56=30；78=56 (4) 4, 2, 2, 3, 6, () A 6; B 8; C 10; D 15 分析：選D，2/4=0.5; 2/2=1; 3/2=1.5; 6/3=2; 0.5, 1, 1.5, 2成等差，所以后項(xiàng)為2.56=15 (5) 1, 7, 8, 57, () A 123; B 122; C 121; D 120 分析：選C，12+7= 8；72+8 =57； 82+57=121 (6) 95, 88, 71, 61, 50, () A 40; B 39; C 38; D 37 分析：選A ，95-9-5=81；88-8-8=72；71-7-1=63；61-1-6=54；50-5-0=45；40-4-0=36，構(gòu)成等差數(shù)列,Part 0 引子,答案：多做多練，孰能生巧，摸清出題者的思路。,那么出題者的思路是什么呢？,經(jīng)過(guò)分析不難發(fā)現(xiàn)，出題者出題的思路千變?nèi)f化。這好比出題者自己掌握了一套密碼（規(guī)則），要作答者去猜他的密碼。,這是什么邏輯？,答案：毫無(wú)邏輯。,做這類題目的方法是什么呢？怎樣以最快的速度解決該類問(wèn)題呢？,既然沒(méi)有邏輯，那么數(shù)字推理題是不是沒(méi)有答案，或者任何答案都合理？,答案：是。,Part 0 引子,要證明一個(gè)結(jié)論錯(cuò)誤往往比證明它正確容易，因?yàn)橐粋€(gè)反例就夠了！,(1) 7, 9, -1, 5, () A 4; B 2; C -1; D-3 分析：選D，7+9=16； 9-1=8；-1+5=4；5-3=2，16,8,4,2形成等比數(shù)列,Part 1 建模中的優(yōu)化問(wèn)題,優(yōu)化視角下的建模問(wèn)題 非線性系統(tǒng)辨識(shí)問(wèn)題 應(yīng)用實(shí)例,Part 1 建模中的優(yōu)化問(wèn)題,小結(jié)：,引子里面講的數(shù)字推理題和我們平常接觸到的建模問(wèn)題從本質(zhì)上是一致的，由“BP網(wǎng)絡(luò)可以擬合任意非線性”可知，采用BP網(wǎng)絡(luò)也是可以擬合上面問(wèn)題的，只是答案或許不在選擇中。引子中給出的答案其實(shí)和BP網(wǎng)絡(luò)無(wú)關(guān)，它是一種多項(xiàng)式擬合，但從本質(zhì)上屬于“核函數(shù)理論”。,直接依靠數(shù)據(jù)進(jìn)行經(jīng)驗(yàn)建模，需要確定模型結(jié)構(gòu)和優(yōu)化模型參數(shù)，由于模型結(jié)構(gòu)不確定性，通常采用機(jī)理分析或間接的方法。從某種意義上說(shuō)，機(jī)理模型就是完善的經(jīng)驗(yàn)?zāi)Ｐ停菪旨?jí)機(jī)）。,優(yōu)化算法一般用在優(yōu)化模型參數(shù)上，但也有優(yōu)化模型結(jié)構(gòu)的，比如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（層數(shù)和隱含層節(jié)點(diǎn)數(shù)），這從理論上和實(shí)踐上可行，但從邏輯上講不通。,Part 2 控制中的優(yōu)化問(wèn)題,魯棒控制問(wèn)題 PID控制問(wèn)題,小結(jié)：,控制中的優(yōu)化問(wèn)題有些是控制中本身存在的優(yōu)化問(wèn)題，比如LMI問(wèn)題。,Part 2 控制中的優(yōu)化問(wèn)題,Part 2 控制中的優(yōu)化問(wèn)題,Part 2 控制中的優(yōu)化問(wèn)題,對(duì)其他控制問(wèn)題，可以將其轉(zhuǎn)換為優(yōu)化問(wèn)題的形式。比如PID控制,這一類問(wèn)題中，一般控制器結(jié)構(gòu)確定，需要優(yōu)化控制器結(jié)構(gòu)參數(shù)。比如采用模糊控制器時(shí)，可以優(yōu)化隸屬度函數(shù)；采用滑模控制器時(shí)，可以優(yōu)化切換函數(shù)系數(shù)。采用神經(jīng)網(wǎng)絡(luò)控制器時(shí)，可以優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，權(quán)系數(shù)等。,Part 3 智能優(yōu)化算法及狀態(tài)轉(zhuǎn)移算法,常用的智能優(yōu)化算法 遺傳算法（1975） 模擬退火算法（1987） 粒子群算法（1995） 差分進(jìn)化算法（1995） 人工免疫系統(tǒng)（1996） 蟻群算法（1997） CMA-ES（2001） ,Part 3 智能優(yōu)化算法及狀態(tài)轉(zhuǎn)移算法,智能優(yōu)化算法種類多，機(jī)理各異，存在的普遍問(wèn)題：尋優(yōu)能力不足，統(tǒng)計(jì)性能差。根據(jù)“沒(méi)有免費(fèi)的午餐”理論，沒(méi)有一種優(yōu)化算法能在所有的優(yōu)化問(wèn)題上有效。,造成這種情況的原因是: (1)優(yōu)化問(wèn)題本身的復(fù)雜性：不可微，高維，多模態(tài)等。(2) 優(yōu)化算法的局限性（認(rèn)識(shí)上的不足）。,初中(配方),Part 3 智能優(yōu)化算法及狀態(tài)轉(zhuǎn)移算法,高中 (求導(dǎo)，特殊函數(shù)),大學(xué) (多元函數(shù)極值),Part 3 智能優(yōu)化算法及狀態(tài)轉(zhuǎn)移算法,Part 3 智能優(yōu)化算法及狀態(tài)轉(zhuǎn)移算法,研究生 （函數(shù)的復(fù)雜性）,多模態(tài) 高維,Part 3 智能優(yōu)化算法及狀態(tài)轉(zhuǎn)移算法,收斂性問(wèn)題,最速下降法 遺傳算法 粒子群算法,小結(jié)： 基于梯度的優(yōu)化算法的收斂性，僅是證明算法能使,證明這個(gè)結(jié)論實(shí)際上是沒(méi)有多大含義的，因?yàn)檫@個(gè)條件一般是迭代算法的終止條件，由費(fèi)馬引理可知，函數(shù)在極值點(diǎn)的導(dǎo)數(shù)為0。也就是說(shuō)，對(duì)于凸優(yōu)化問(wèn)題，這個(gè)點(diǎn)是永遠(yuǎn)存在的，只是迭代時(shí)間的長(zhǎng)短。,Part 3 智能優(yōu)化算法及狀態(tài)轉(zhuǎn)移算法,其他智能優(yōu)化算法的收斂性證明僅證明算法能全局收斂到某一點(diǎn)，但這一點(diǎn)是否是全局最優(yōu)點(diǎn)沒(méi)有判定。 全局收斂和收斂到全局最優(yōu)解是兩回事。在一般的智能優(yōu)化算法中，都采用“貪婪準(zhǔn)則”（精英選擇）選擇個(gè)體，這樣能保證后代比父代優(yōu)越，這樣保證了算法不會(huì)發(fā)散。 實(shí)際上，最早的隨機(jī)搜索算法已經(jīng)證明了其全局收斂性。 Random optimization（1965）,Part 3 智能優(yōu)化算法及狀態(tài)轉(zhuǎn)移算法,Part 3 智能優(yōu)化算法及狀態(tài)轉(zhuǎn)移算法,最初版本的狀態(tài)轉(zhuǎn)移算法 帶有新算子的狀態(tài)轉(zhuǎn)移算法 引入交流機(jī)制的狀態(tài)轉(zhuǎn)移算法,Part 4 未來(lái)研究方向,狀態(tài)轉(zhuǎn)移算法的參數(shù)學(xué)習(xí)(正在研究) 基于狀態(tài)轉(zhuǎn)移算法的約束優(yōu)化（正在研究） 基于狀態(tài)轉(zhuǎn)移算法的多目標(biāo)優(yōu)化（待研究） 狀態(tài)轉(zhuǎn)移算法的其他應(yīng)用（待研究）,選擇狀態(tài)轉(zhuǎn)移算法的理由： （1）物理幾何意義明確。 （2）全局搜索能力好。 （