神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)控制

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)控制第1頁/共20頁神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)控制NeuralNetworkbasedLearningControl第2頁/共20頁7.1ReinforcementLearning(再勵(lì)學(xué)習(xí)，自強(qiáng)式學(xué)習(xí)）神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法有三類：監(jiān)督學(xué)習(xí)SupervisedLearning—例如BP

—有明確的“教師”信號無監(jiān)督學(xué)習(xí)UnsupervisedLearning

—沒有任何“教師”信號

—只是通過輸入數(shù)據(jù)的內(nèi)部信息

相當(dāng)自組織？類方法。

—例如

再勵(lì)學(xué)習(xí)ReinforcementLearning源于心理學(xué)

簡單的說，一個(gè)人有筆錢，有幾個(gè)投資選擇A.B.C.他投B，賺錢了，再投B。untilB不賺錢了，或有

突發(fā)事件使他覺得A更好，于是將錢投到A。第3頁/共20頁由Barto等人提出的ReinforcementLearning可稱為ASE/ACE模型，即由

ASE：AssociativeSearchElement：關(guān)聯(lián)搜索單元

ACE：AdaptiveCriticElement：自適應(yīng)評判單元

構(gòu)成。

ASE的作用是確定控制信號y

ACE則對再勵(lì)信號r進(jìn)行改善，得到

ASE和ACE各有n路輸入通道，由系統(tǒng)狀態(tài)S解碼而成（這與cmac相同），且每一時(shí)刻只選一個(gè)，即

控制信號的確定和各通道權(quán)值的修正如下：第4頁/共20頁其中，和分別為ASE和ACE各通道的權(quán)值；

是經(jīng)改善的再勵(lì)信號，α、β、γ和δ有關(guān)系數(shù),noise為隨機(jī)噪聲。第5頁/共20頁DECODERCart—PolesystemV1,..v2vnW1,w2wn第6頁/共20頁Cart-Pole的數(shù)學(xué)模型Failure的條件顯然，各單元的輸出幾乎完全取決于被選通道的權(quán)值，

ASE略受噪聲的影響。

各權(quán)值的學(xué)習(xí)幾乎獨(dú)立，只有那些曾經(jīng)被選中的通道才會得到修正，其他則不變。

這樣，一旦碰到完全新的情況，則可能輸出一個(gè)完全錯(cuò)誤的控制信號,導(dǎo)致FAIL第7頁/共20頁TwoapproachestoNeuralNetworkbasedLearningControl7.2DirectInverseModelling7.3LearningControlwithaDistalTeacher(DistalLearning)第8頁/共20頁ThecontrolproblemLearnerEnvironmentintentionactionoutcomeInverseModelEnvironmenty*x[n-1]u[n-1]y[n-1]第9頁/共20頁1.TheDirectInverseModelingapproachtolearninganinversemodelEnvironmentInverseModelx[n-1]y[n]u[n-1]+-第10頁/共20頁2.ThedistallearningapproachtolearninganinversemodelEnvironmentForwardModelx[n-1]y[n]u[n-1]+-2.1Learningtheforwardmodelusingthepredictionerrory[n]-y’[n]y’[n]第11頁/共20頁2.2Learningtheinversemodelviaforwardmodelusingtheperformanceerrory*[n]-y[n]InverseModely*[n-1]x[n-1]u[n-1]y[n]forwardModely*[n]-y[n]第12頁/共20頁Thecontrolsystems1.Thedirestinversemodelingapproach

EnvironmentInverseModely[n]u[n-1]+-y*[n]第13頁/共20頁1.2Eg.LearningcontrolofCSTRusingCMACCMACmemoryCMACtrainingCMACresponseCSTRPcontrollerextremecontrollercontrolSwitchreferenceCoordinatorSdepedudupueucSo第14頁/共20頁TheCSTRsystem(continuous-stirredtankreactor)Andthismaybetransformedtothedimensionlessformas:第15頁/共20頁Where,x1istheconversionraterelatingtothereactionconcentration;x2isthereactiontemperatureinthedimensionlessform;UfandUcarecontrolvariablescorrespondingtotheinputflowrateFandcoolanttemperatureTc,respectively.aresystemparameters.

第16頁/共20頁Temperaturecontrolfeedproductjacket第17頁/共20頁CMACbasedlearningcontrolapproachCurrentoutcomestateSo(x1,x2,dx1),currentsettingx1e(k),nextsettingx1e[k+1],where,dx1[k]=x1[k]–x1[k-1]Leted=x1e[k+1]–x1[k-1],ep=x1e[k]-x1[k],where,ed=differencebetweennextsettingandcurrentoutput,ep=currentdeviationbetweendesiredandactualoutputIF|ed|>threshold,THENtaketheextremecontrol,i.e.,IFed>threshold,THENUc=UmaxIFed<-threshold,THENUc=UminOTHERWISEtakethelearningcontrolUc=Up+UdUp=ep*Kp,Ud=CMACresponse第18頁/共20頁CMACtraining

So(x1[k+1],x2[k+1],dx1[k+1])astheinputtotheCMACUc[k]asthe“teachersignal”forthetraining

ConsiderthatSoistheresultcausedbyUc[k],therefore,ifthein