13章迭代學(xué)習(xí)控制解析

1、LOGO智能控制理論及應(yīng)用智能控制理論及應(yīng)用-第十三章迭代學(xué)習(xí)控制第十三章迭代學(xué)習(xí)控制主講：尚振東主講：尚振東河南科技大學(xué)機(jī)電工程學(xué)院河南科技大學(xué)機(jī)電工程學(xué)院匯報(bào)提綱匯報(bào)提綱基本原理基本原理1基本迭代學(xué)習(xí)控制算法基本迭代學(xué)習(xí)控制算法2迭代學(xué)習(xí)控制的關(guān)鍵技術(shù)迭代學(xué)習(xí)控制的關(guān)鍵技術(shù)3機(jī)械手軌跡跟蹤迭代學(xué)習(xí)控制仿真實(shí)例機(jī)械手軌跡跟蹤迭代學(xué)習(xí)控制仿真實(shí)例4線性時(shí)變連續(xù)系統(tǒng)迭代學(xué)習(xí)控制線性時(shí)變連續(xù)系統(tǒng)迭代學(xué)習(xí)控制5移動(dòng)機(jī)器人軌跡跟蹤迭代學(xué)移動(dòng)機(jī)器人軌跡跟蹤迭代學(xué)習(xí)控制習(xí)控制6第第11章章 迭代學(xué)習(xí)控制迭代學(xué)習(xí)控制 實(shí)際控制中存在一類軌跡跟蹤問題，它的控制任務(wù)是尋找控制律 ，使得被控對(duì)象輸出 在有限時(shí)間

2、上沿著整個(gè)期望軌跡實(shí)現(xiàn)零誤差軌跡跟蹤。這列跟蹤問題是具有挑戰(zhàn)性的控制問題。 人們在處理實(shí)際場合中的重復(fù)操作任務(wù)時(shí)，往往依據(jù)對(duì)象的可重復(fù)動(dòng)態(tài)行為與期望行為的差距來調(diào)整決策。通過重復(fù)操作，使得對(duì)象行為與期望行為的配合達(dá)到要求。這時(shí)，衡量動(dòng)態(tài)行為的指標(biāo)是某種滿意指標(biāo)。 u t y t0,T 迭代學(xué)習(xí)控制（迭代學(xué)習(xí)控制（ILC,Iterative Learning Control）的思）的思想最初由日本學(xué)者想最初由日本學(xué)者Uchiyama于于1978年提出年提出23，于，于1984年年由由Arimoto等人等人24做出了開創(chuàng)性的研究。這些學(xué)者借鑒人們做出了開創(chuàng)性的研究。這些學(xué)者借鑒人們在重復(fù)過程中追求

3、滿意指標(biāo)達(dá)到期望行為的簡單原理，成功在重復(fù)過程中追求滿意指標(biāo)達(dá)到期望行為的簡單原理，成功地使得具有強(qiáng)耦合非線性多變量的工業(yè)機(jī)器人快速高精度地地使得具有強(qiáng)耦合非線性多變量的工業(yè)機(jī)器人快速高精度地執(zhí)行軌跡跟蹤任務(wù)。其基本做法是對(duì)于一個(gè)在有限時(shí)間區(qū)間執(zhí)行軌跡跟蹤任務(wù)。其基本做法是對(duì)于一個(gè)在有限時(shí)間區(qū)間上執(zhí)行軌跡跟蹤任務(wù)的機(jī)器人，利用前一次或前幾次操作時(shí)上執(zhí)行軌跡跟蹤任務(wù)的機(jī)器人，利用前一次或前幾次操作時(shí)測得的誤差信息修正控制輸入，使得該重復(fù)任務(wù)在下一次操測得的誤差信息修正控制輸入，使得該重復(fù)任務(wù)在下一次操作過程中做得更好。如此不斷重復(fù)，直至在整個(gè)時(shí)間區(qū)間上作過程中做得更好。如此不斷重復(fù)，直至在整個(gè)時(shí)

4、間區(qū)間上輸出軌跡跟蹤上期望軌跡。輸出軌跡跟蹤上期望軌跡。 迭代學(xué)習(xí)控制適合于具有重復(fù)運(yùn)動(dòng)性質(zhì)的被控對(duì)象，迭代學(xué)習(xí)控制適合于具有重復(fù)運(yùn)動(dòng)性質(zhì)的被控對(duì)象，通過迭代修正達(dá)到某種控制目標(biāo)的改善。迭代學(xué)習(xí)控制方通過迭代修正達(dá)到某種控制目標(biāo)的改善。迭代學(xué)習(xí)控制方法不依賴于系統(tǒng)的精確數(shù)學(xué)模型，能在給定的時(shí)間范圍內(nèi)法不依賴于系統(tǒng)的精確數(shù)學(xué)模型，能在給定的時(shí)間范圍內(nèi),以非常簡單的算法實(shí)現(xiàn)不確定性高的非線性強(qiáng)耦合動(dòng)態(tài)系以非常簡單的算法實(shí)現(xiàn)不確定性高的非線性強(qiáng)耦合動(dòng)態(tài)系統(tǒng)的控制，并高精度跟蹤給定期望軌跡，因而一經(jīng)推出，統(tǒng)的控制，并高精度跟蹤給定期望軌跡，因而一經(jīng)推出，就在運(yùn)動(dòng)控制領(lǐng)域得到了廣泛的運(yùn)用。就在運(yùn)動(dòng)控制領(lǐng)

5、域得到了廣泛的運(yùn)用。 迭代學(xué)習(xí)控制方法具有很強(qiáng)的工程背景，這些背景包迭代學(xué)習(xí)控制方法具有很強(qiáng)的工程背景，這些背景包括：執(zhí)行諸如焊接、噴涂、裝配、搬運(yùn)等重復(fù)任務(wù)的工業(yè)括：執(zhí)行諸如焊接、噴涂、裝配、搬運(yùn)等重復(fù)任務(wù)的工業(yè)機(jī)器人；指令信號(hào)為周期函數(shù)的伺服系統(tǒng)；數(shù)控機(jī)床；磁機(jī)器人；指令信號(hào)為周期函數(shù)的伺服系統(tǒng)；數(shù)控機(jī)床；磁盤光盤驅(qū)動(dòng)系統(tǒng)；機(jī)械制造中使用的坐標(biāo)測量機(jī)等。盤光盤驅(qū)動(dòng)系統(tǒng)；機(jī)械制造中使用的坐標(biāo)測量機(jī)等。 由于迭代學(xué)習(xí)控制模擬了人腦學(xué)習(xí)和自我調(diào)節(jié)的功能，因而由于迭代學(xué)習(xí)控制模擬了人腦學(xué)習(xí)和自我調(diào)節(jié)的功能，因而是一種典型的智能控制方法是一種典型的智能控制方法25。經(jīng)歷了三十多年的發(fā)展，迭代。經(jīng)歷了

6、三十多年的發(fā)展，迭代學(xué)習(xí)控制已成為智能控制中具有嚴(yán)格數(shù)學(xué)描述的一個(gè)分支。目前學(xué)習(xí)控制已成為智能控制中具有嚴(yán)格數(shù)學(xué)描述的一個(gè)分支。目前,迭代學(xué)習(xí)控制在學(xué)習(xí)算法、收斂性、魯棒性、學(xué)習(xí)速度及工程應(yīng)迭代學(xué)習(xí)控制在學(xué)習(xí)算法、收斂性、魯棒性、學(xué)習(xí)速度及工程應(yīng)用研究上取得了很大的進(jìn)展。用研究上取得了很大的進(jìn)展。 11.1 基本原理基本原理 設(shè)被控對(duì)象的動(dòng)態(tài)過程為設(shè)被控對(duì)象的動(dòng)態(tài)過程為 ， (11.1)( )( ( ), ( ), )tftt txxu( )( ( ), ( ), )tgtt tyxu 式中，式中， 、 、 分別為系統(tǒng)的狀態(tài)，輸出和輸入分別為系統(tǒng)的狀態(tài)，輸出和輸入變量，變量， 、 為適當(dāng)維數(shù)的

7、向量函數(shù)，其結(jié)構(gòu)與參數(shù)均未知。為適當(dāng)維數(shù)的向量函數(shù)，其結(jié)構(gòu)與參數(shù)均未知。若期望控制若期望控制 存在存在,則迭代學(xué)習(xí)控制的目標(biāo)為：給定期望輸出則迭代學(xué)習(xí)控制的目標(biāo)為：給定期望輸出 和每次運(yùn)行的初始狀態(tài)和每次運(yùn)行的初始狀態(tài) ,要求在給定的時(shí)間要求在給定的時(shí)間 內(nèi)內(nèi),按照按照一定的學(xué)習(xí)控制算法通過多次重復(fù)的運(yùn)行一定的學(xué)習(xí)控制算法通過多次重復(fù)的運(yùn)行,使控制輸使控制輸入入 ，而系統(tǒng)輸出，而系統(tǒng)輸出 第第k 次運(yùn)行時(shí)，式次運(yùn)行時(shí)，式(11.1) 表示為：表示為： (11.2) 跟蹤誤差為跟蹤誤差為 (11.3) nxRmyRruR( )f( )gd( ) tud( ) ty(0)kx0,tTd( )( )

8、kttuud( )( )kttyy( )( ),( ), )kkktftt txxu( )( ),( ), )kkktgtt tyxud( )( )( )kkttteyy 迭代學(xué)習(xí)控制可分為開環(huán)學(xué)習(xí)和閉環(huán)學(xué)習(xí)。 開環(huán)學(xué)習(xí)控制的方法是：第k+1次的控制等于第k次控制再加上第k次輸出誤差的校正項(xiàng)，即 (11.4) 閉環(huán)學(xué)習(xí)策略是：取第K+1次運(yùn)行的誤差作為學(xué)習(xí)的修正項(xiàng)，即 (11.5) 式中，L為線性或非線性算子。1( )L( ),( )kkktttuue11( )L( ),( )kkktttuue 11.2 基本迭代學(xué)習(xí)控制算法基本迭代學(xué)習(xí)控制算法 Arimoto 等首先給出了線性時(shí)變連續(xù)系統(tǒng)的

9、等首先給出了線性時(shí)變連續(xù)系統(tǒng)的D型迭代學(xué)習(xí)控制型迭代學(xué)習(xí)控制律律24 (11.6) 式中，式中， 為常數(shù)增益矩陣。在為常數(shù)增益矩陣。在D 型算法的基礎(chǔ)上，相繼出現(xiàn)了型算法的基礎(chǔ)上，相繼出現(xiàn)了P 型、型、PI 型、型、PD 型迭代學(xué)習(xí)控制律。從一般意義來看它們都型迭代學(xué)習(xí)控制律。從一般意義來看它們都是是PID型迭代學(xué)習(xí)控制律的特殊形式，型迭代學(xué)習(xí)控制律的特殊形式，PID迭代學(xué)習(xí)控制律表示迭代學(xué)習(xí)控制律表示為為 (11.7) 式中式中, 、 、 為學(xué)習(xí)增益矩陣。算法中的誤差信息使用稱為為學(xué)習(xí)增益矩陣。算法中的誤差信息使用稱為開環(huán)迭代學(xué)習(xí)控制，如果使用開環(huán)迭代學(xué)習(xí)控制，如果使用 則稱為閉環(huán)迭代學(xué)習(xí)控

10、制，如果則稱為閉環(huán)迭代學(xué)習(xí)控制，如果同時(shí)使用和則稱為開閉環(huán)迭代學(xué)習(xí)控制。同時(shí)使用和則稱為開閉環(huán)迭代學(xué)習(xí)控制。1( )( )( )kkktttuue 1d( )( )( )( )( )tkkkkktttt0uueee 此外，還有高階迭代學(xué)習(xí)控制算法、最優(yōu)迭代學(xué)習(xí)控制算法、遺忘因此外，還有高階迭代學(xué)習(xí)控制算法、最優(yōu)迭代學(xué)習(xí)控制算法、遺忘因子迭代學(xué)習(xí)控制算法和反饋?zhàn)拥鷮W(xué)習(xí)控制算法和反饋-前饋迭代學(xué)習(xí)控制算法等。前饋迭代學(xué)習(xí)控制算法等。 11.3 迭代學(xué)習(xí)控制的關(guān)鍵技術(shù)迭代學(xué)習(xí)控制的關(guān)鍵技術(shù) 11.3.1 學(xué)習(xí)算法的穩(wěn)定性和收斂性學(xué)習(xí)算法的穩(wěn)定性和收斂性 穩(wěn)定性與收斂性問題是研究當(dāng)學(xué)習(xí)律與被控系統(tǒng)滿

11、足什么條件時(shí)，迭穩(wěn)定性與收斂性問題是研究當(dāng)學(xué)習(xí)律與被控系統(tǒng)滿足什么條件時(shí)，迭代學(xué)習(xí)控制過程才是穩(wěn)定收斂的。算法的穩(wěn)定性保證了隨著學(xué)習(xí)次數(shù)的增代學(xué)習(xí)控制過程才是穩(wěn)定收斂的。算法的穩(wěn)定性保證了隨著學(xué)習(xí)次數(shù)的增加，控制系統(tǒng)不發(fā)散，但是，對(duì)于學(xué)習(xí)控制系統(tǒng)而言，僅僅穩(wěn)定是沒有實(shí)加，控制系統(tǒng)不發(fā)散，但是，對(duì)于學(xué)習(xí)控制系統(tǒng)而言，僅僅穩(wěn)定是沒有實(shí)際意義的，只有使學(xué)習(xí)過程收斂到真值，才能保證得到的控制為某種意義際意義的，只有使學(xué)習(xí)過程收斂到真值，才能保證得到的控制為某種意義下最優(yōu)的控制。收斂是對(duì)學(xué)習(xí)控制的最基本的要求，多數(shù)學(xué)者在提出新的下最優(yōu)的控制。收斂是對(duì)學(xué)習(xí)控制的最基本的要求，多數(shù)學(xué)者在提出新的學(xué)習(xí)律的同時(shí)

12、，基于被控對(duì)象的一些假設(shè)，給出了收斂的條件。例如，學(xué)習(xí)律的同時(shí)，基于被控對(duì)象的一些假設(shè)，給出了收斂的條件。例如，Arimoto在最初提出在最初提出PID型學(xué)習(xí)控制律時(shí)，僅針對(duì)線性系統(tǒng)在型學(xué)習(xí)控制律時(shí)，僅針對(duì)線性系統(tǒng)在D型學(xué)習(xí)律型學(xué)習(xí)律下的穩(wěn)定性和收斂條件作了證明下的穩(wěn)定性和收斂條件作了證明 11.3.2 初始值問題初始值問題 運(yùn)用迭代學(xué)習(xí)控制技術(shù)設(shè)計(jì)控制器時(shí)，只需要通過重復(fù)操作運(yùn)用迭代學(xué)習(xí)控制技術(shù)設(shè)計(jì)控制器時(shí)，只需要通過重復(fù)操作獲得的受控對(duì)象的誤差或誤差導(dǎo)數(shù)信號(hào)。在這種控制技術(shù)中，迭獲得的受控對(duì)象的誤差或誤差導(dǎo)數(shù)信號(hào)。在這種控制技術(shù)中，迭代學(xué)習(xí)總要從某初始點(diǎn)開始，初始點(diǎn)指初始狀態(tài)或初始輸出。幾

13、代學(xué)習(xí)總要從某初始點(diǎn)開始，初始點(diǎn)指初始狀態(tài)或初始輸出。幾乎所有的收斂性證明都要求初始條件是相同的，解決迭代學(xué)習(xí)控乎所有的收斂性證明都要求初始條件是相同的，解決迭代學(xué)習(xí)控制理論中的初始條件問題一直是人們追求的目標(biāo)之一。目前已提制理論中的初始條件問題一直是人們追求的目標(biāo)之一。目前已提出的迭代學(xué)習(xí)控制算法大多數(shù)要求被控系統(tǒng)每次運(yùn)行時(shí)的初始狀出的迭代學(xué)習(xí)控制算法大多數(shù)要求被控系統(tǒng)每次運(yùn)行時(shí)的初始狀態(tài)在期望軌跡對(duì)應(yīng)的初始狀態(tài)上，即滿足初始條件：態(tài)在期望軌跡對(duì)應(yīng)的初始狀態(tài)上，即滿足初始條件： （11.8） 當(dāng)系統(tǒng)的初始狀態(tài)不在期望軌跡上，而在期望軌跡某一很小當(dāng)系統(tǒng)的初始狀態(tài)不在期望軌跡上，而在期望軌跡某一

14、很小鄰域內(nèi)時(shí)，通常把這類問題歸結(jié)為學(xué)習(xí)控制的魯棒性問題研究。鄰域內(nèi)時(shí)，通常把這類問題歸結(jié)為學(xué)習(xí)控制的魯棒性問題研究。d(0)(0),0,1,2,kxxk 11.3.3 學(xué)習(xí)速度問題學(xué)習(xí)速度問題 在迭代學(xué)習(xí)算法研究中，其收斂條件基本上都是在學(xué)習(xí)次數(shù)在迭代學(xué)習(xí)算法研究中，其收斂條件基本上都是在學(xué)習(xí)次數(shù) 下給出的。而在實(shí)際應(yīng)用場合，學(xué)習(xí)次數(shù)下給出的。而在實(shí)際應(yīng)用場合，學(xué)習(xí)次數(shù) 顯然是沒有顯然是沒有任何實(shí)際意義的。因此，如何使迭代學(xué)習(xí)過程更快地收斂于期望任何實(shí)際意義的。因此，如何使迭代學(xué)習(xí)過程更快地收斂于期望值是迭代學(xué)習(xí)控制研究中的另一個(gè)重要問題。值是迭代學(xué)習(xí)控制研究中的另一個(gè)重要問題。 迭代學(xué)習(xí)控制

15、本質(zhì)上是一種前饋控制技術(shù)，大部分學(xué)習(xí)律盡迭代學(xué)習(xí)控制本質(zhì)上是一種前饋控制技術(shù)，大部分學(xué)習(xí)律盡管證明了學(xué)習(xí)收斂的充分條件，但收斂速度還是很慢?？衫枚喙茏C明了學(xué)習(xí)收斂的充分條件，但收斂速度還是很慢。可利用多次學(xué)習(xí)過程中得到的知識(shí)來改進(jìn)后續(xù)學(xué)習(xí)過程的速度，例如，采次學(xué)習(xí)過程中得到的知識(shí)來改進(jìn)后續(xù)學(xué)習(xí)過程的速度，例如，采用高階迭代控制算法、帶遺忘因子的學(xué)習(xí)律、利用當(dāng)前項(xiàng)或反饋用高階迭代控制算法、帶遺忘因子的學(xué)習(xí)律、利用當(dāng)前項(xiàng)或反饋配置等方法來構(gòu)造學(xué)習(xí)律，可使收斂速度大大加快。配置等方法來構(gòu)造學(xué)習(xí)律，可使收斂速度大大加快。k k 11.3.4 魯棒性問題魯棒性問題 迭代學(xué)習(xí)控制理論的提出有濃厚的工程背

16、景，因此僅僅在迭代學(xué)習(xí)控制理論的提出有濃厚的工程背景，因此僅僅在無干擾條件下討論收斂性問題是不夠的，還應(yīng)討論存在各種干無干擾條件下討論收斂性問題是不夠的，還應(yīng)討論存在各種干擾的情形下系統(tǒng)的跟蹤性能。一個(gè)實(shí)際運(yùn)行的迭代學(xué)習(xí)控制系擾的情形下系統(tǒng)的跟蹤性能。一個(gè)實(shí)際運(yùn)行的迭代學(xué)習(xí)控制系統(tǒng)除了存在初始偏移外，還或多或少存在狀態(tài)擾動(dòng)、測量噪聲、統(tǒng)除了存在初始偏移外，還或多或少存在狀態(tài)擾動(dòng)、測量噪聲、輸入擾動(dòng)等各種干擾。魯棒性問題討論存在各種干擾時(shí)迭代學(xué)輸入擾動(dòng)等各種干擾。魯棒性問題討論存在各種干擾時(shí)迭代學(xué)習(xí)控制系統(tǒng)的跟蹤性能。具體地說，一個(gè)迭代學(xué)習(xí)控制系統(tǒng)是習(xí)控制系統(tǒng)的跟蹤性能。具體地說，一個(gè)迭代學(xué)習(xí)控

17、制系統(tǒng)是魯棒的，是指系統(tǒng)在各種有界干擾的影響下，其迭代軌跡能收魯棒的，是指系統(tǒng)在各種有界干擾的影響下，其迭代軌跡能收斂到期望軌跡的鄰域內(nèi)，而當(dāng)這些干擾消除時(shí)，迭代軌跡會(huì)收斂到期望軌跡的鄰域內(nèi)，而當(dāng)這些干擾消除時(shí)，迭代軌跡會(huì)收斂到期望軌跡。斂到期望軌跡。 11.4 機(jī)械手軌跡跟蹤迭代學(xué)習(xí)控制仿真實(shí)例機(jī)械手軌跡跟蹤迭代學(xué)習(xí)控制仿真實(shí)例 11.4.1控制器設(shè)計(jì)控制器設(shè)計(jì) 考慮一個(gè)關(guān)節(jié)的機(jī)器人，其動(dòng)態(tài)性能可以由以下二階非線性考慮一個(gè)關(guān)節(jié)的機(jī)器人，其動(dòng)態(tài)性能可以由以下二階非線性微分方程描述：微分方程描述： （11.9） 式中：式中： 為關(guān)節(jié)角位移量，為關(guān)節(jié)角位移量， 為機(jī)器人的慣性矩陣為機(jī)器人的慣性矩陣

18、 表示離心力和哥氏力，表示離心力和哥氏力， 為重力項(xiàng)，為重力項(xiàng)， 為控制力矩，為控制力矩， 為各種誤差和擾動(dòng)。為各種誤差和擾動(dòng)。 設(shè)系統(tǒng)所要跟蹤的期望軌跡為設(shè)系統(tǒng)所要跟蹤的期望軌跡為 ， 。系統(tǒng)第。系統(tǒng)第i次輸出次輸出為為 令令 。 d, D q qC q q qG qnqR n nD qR,nC q qR nG qRnRdnR dty0,tT ity diittteyy 在學(xué)習(xí)開始時(shí)，系統(tǒng)的初始狀態(tài)為在學(xué)習(xí)開始時(shí)，系統(tǒng)的初始狀態(tài)為 。學(xué)習(xí)控制的任務(wù)為。學(xué)習(xí)控制的任務(wù)為通過學(xué)習(xí)控制律設(shè)計(jì)通過學(xué)習(xí)控制律設(shè)計(jì) ，使第，使第 次運(yùn)動(dòng)誤差次運(yùn)動(dòng)誤差 減少。減少。 采用三種基于反饋的迭代學(xué)習(xí)控制律：采用

19、三種基于反饋的迭代學(xué)習(xí)控制律： （1）閉環(huán)）閉環(huán)D型型 （11.10） （2）閉環(huán)）閉環(huán)PD型：型： （11.11） （3）指數(shù)變增益）指數(shù)變增益D型：型： （11.12） 00 x 1uit1i 1eit 1dd1kkkttttuuKqq 1pd1dd1kkkkttttttuuKqqKqq 1pd1dd1kkkkttttttuuKqqKqq 11.4.2 仿真實(shí)例仿真實(shí)例 針對(duì)二關(guān)節(jié)機(jī)械手，介紹一種機(jī)器人針對(duì)二關(guān)節(jié)機(jī)械手，介紹一種機(jī)器人PD型反型反饋迭代學(xué)習(xí)控制的仿真設(shè)計(jì)方法。針對(duì)二關(guān)節(jié)機(jī)饋迭代學(xué)習(xí)控制的仿真設(shè)計(jì)方法。針對(duì)二關(guān)節(jié)機(jī)器人控制系統(tǒng)式（器人控制系統(tǒng)式（11.9），各項(xiàng)表示為：），各

20、項(xiàng)表示為： 2 2ijdD2221111212122122coscccdd ldlll lqII21221221222cosccdddll lql222222cdd lI2 2ijcC112chq1212chqhq211chq 220c2 122sinchm l lq T12GGG 干擾項(xiàng)為干擾項(xiàng)為 機(jī)器人系統(tǒng)參數(shù)為機(jī)器人系統(tǒng)參數(shù)為 ， ， ， 采用三種閉環(huán)迭代學(xué)習(xí)控制律，其中采用三種閉環(huán)迭代學(xué)習(xí)控制律，其中 為為D型迭代學(xué)習(xí)控制，型迭代學(xué)習(xí)控制， 為為PD型迭代學(xué)習(xí)控制，型迭代學(xué)習(xí)控制， 為變增益指數(shù)為變增益指數(shù)D型迭代學(xué)習(xí)控制。型迭代學(xué)習(xí)控制。 兩個(gè)關(guān)節(jié)的位置指令分別為兩個(gè)關(guān)節(jié)的位置指令分

21、別為 和和 ，為了保證被控對(duì)象，為了保證被控對(duì)象初始輸出與指令初值一致，取被控對(duì)象的初始狀態(tài)初始輸出與指令初值一致，取被控對(duì)象的初始狀態(tài)為為 。取。取PD型迭代學(xué)習(xí)控制，即型迭代學(xué)習(xí)控制，即 ，仿真結(jié)，仿真結(jié)果如圖果如圖11-1至圖至圖11-3所示。所示。1112 112212gcosgcosccGd ld lqd lqq22212gcoscGd lqqTd0.3sin0.1 1 ett121 kgdd120.5mll120.25mccll2120.1 kg mII29.81 m/sg 1M 2M 3M sin(3 ) tcos(3 ) t T00310 x3M 圖圖1111-1 20 20次

22、迭代學(xué)習(xí)的次迭代學(xué)習(xí)的跟蹤過程跟蹤過程圖圖11-2 第第20次迭代學(xué)習(xí)次迭代學(xué)習(xí)的位置跟蹤的位置跟蹤圖圖1111-3 20 20次迭代過程中誤差范次迭代過程中誤差范數(shù)的收斂過程數(shù)的收斂過程 11.5 線性時(shí)變連續(xù)系統(tǒng)迭代學(xué)習(xí)控制線性時(shí)變連續(xù)系統(tǒng)迭代學(xué)習(xí)控制 11.5.1 系統(tǒng)描述系統(tǒng)描述 Arimoto等等24給出了線性時(shí)變連續(xù)系統(tǒng)給出了線性時(shí)變連續(xù)系統(tǒng) （11.13） 的開環(huán)的開環(huán)PID型迭代學(xué)習(xí)控制律：型迭代學(xué)習(xí)控制律： （11.14） 其中其中 ， ， 為學(xué)習(xí)增益矩陣。為學(xué)習(xí)增益矩陣。 ttttttttxAxBuyCx 1dddkkktttttuuLeL 11.5.2 控制器設(shè)計(jì)及收斂性

23、分析控制器設(shè)計(jì)及收斂性分析定理定理1 若由式（若由式（11.13）和式（）和式（11.14）式描述的系統(tǒng)滿足如下條）式描述的系統(tǒng)滿足如下條件件24： （1） ； （2）每次迭代初始條件一致，即）每次迭代初始條件一致，即 則當(dāng)則當(dāng) 時(shí)，有時(shí)，有 ， 。證明：證明： 由式（由式（11.13）及條件式（）及條件式（2）得）得則則 ，即系統(tǒng)滿足初始條件。，即系統(tǒng)滿足初始條件。 1tttICB 00d01,2,3,00 xxyykkk dyyktt0,tT 110000yCxCxykkkk 000,1,2,kke 非齊次一階線性微分方程非齊次一階線性微分方程 的的解為：解為： 取取 ，則，則 由于由于

24、， ，則，則 tttttxAxBu 000000expdexpdexpd dexpexpexpdexpexpdtttttttttt xCAABuACAABuACAABu,expttA 110,dtkkkktttxxBuu deyykkttt 1d1eyykkttt 11110,deeyyCxxCBuukkkkkktkkttttttttt 即 將PID型控制律式（11.14）代入上式，則第k+1次輸出的誤差為： （11.15） 利用分部積分公式，令 ，有 （11.16） 將式（11.16）代入式（11.15），得 （11.17） 110,deeCBuutkkkktttt 100,ddeeCBeL

25、eetkkkkktttt ,GCBtt 0000d,d,dtttkkktkktttttCBeGeGeCBeGe 1000 0,d,d,d deI CBeGeCBLeCBetkkkttkktttttttttt 將式（11.17）兩端取范數(shù)，有 （11.18） 式中 根據(jù) 范數(shù)的定義可知，函數(shù) 范數(shù)為 。將式（11.18）兩端同乘以 ， ，并考慮到 有 1000 01200 0,d,d,d ddd deI CBeGeCBLeCBeI CBeeetkkkttkkttkkkttttttttttttttbb 1,0,0,maxsup, sup,tTtTbtttGCBL 2,0,sup,CBtTbtt:

26、0,nfTR 0supett Tff t expt00exp1expdtt （11.19） 根據(jù)根據(jù) 范數(shù)的定義，函數(shù)范數(shù)的定義，函數(shù) 的范數(shù)的范數(shù)為：為：由于由于 ， ， ，則有，則有 。 將式（將式（11.19）的結(jié)果應(yīng)用于下式，得：）的結(jié)果應(yīng)用于下式，得： 1110001111expdexpexpexpdexpexpd1 expexp1expexpexp11 exptttkkkkkkktbtbbtttbbtttbTbeeeeeee: 0,nfTR 0suptt Tff te 0,tT 0,t 0, kkee其中 。即 （11.20） 22000020202022expd dexpexpe

27、xpd d1 expexpexpd1 expexpexpd1 expexpexpd1 expexp1exp1 exp1 exttkktktktkkktbtbTtbTbtTbtTtbtTb eeeeeee 22p1 expktTbe1 exp1 exp0tT 222001 expexpd dtkkTtbb ee 則（則（11.19）和（）和（11.20）代入（）代入（11.18），得），得 （11.21） 其中其中 。由于。由于 ，則當(dāng)，則當(dāng) 取足夠大取足夠大時(shí)，可以時(shí)，可以 使使 。 因此因此 。定理得證。定理得證。 如果將控制律式（如果將控制律式（11.14）中的）中的 改為改為 ，則為閉環(huán)

28、，則為閉環(huán)PID型迭代學(xué)習(xí)控制律。同定理型迭代學(xué)習(xí)控制律。同定理1的證明過程，可證明閉環(huán)的證明過程，可證明閉環(huán)PID迭代迭代學(xué)習(xí)控制律。學(xué)習(xí)控制律。1eekk 2121 exp1 expTTbb11lim0ekk e k1e k 11.5.3 仿真實(shí)例仿真實(shí)例 考慮考慮2輸入輸入2輸出線性系統(tǒng)：輸出線性系統(tǒng)： 期望跟蹤軌跡為期望跟蹤軌跡為 11122223111101x tx tu txtxtut 11222001y tx tytxt 1d2dsin(3 )cos(3 )ytttyt0,1t 由于由于 ，取，取 ，可滿足定理，可滿足定理1中的條中的條件（件（1），在控制律式（），在控制律式（1

29、1.14）中）中取取 ， ，系統(tǒng)的初始狀態(tài)為，系統(tǒng)的初始狀態(tài)為 。 在在chap11_2sim.mdl程序中，選擇程序中，選擇Simulink的的Manual Switch開關(guān)，將開關(guān)向下，取開關(guān)，將開關(guān)向下，取PD型開環(huán)型開環(huán)迭代學(xué)習(xí)控制律，仿真結(jié)果見圖迭代學(xué)習(xí)控制律，仿真結(jié)果見圖11-4至至11-6所示。所示。將開關(guān)向上，采用將開關(guān)向上，采用PD型閉環(huán)迭代學(xué)習(xí)控制律，仿型閉環(huán)迭代學(xué)習(xí)控制律，仿真結(jié)果見圖真結(jié)果見圖11-7至至11-9所示?？梢姡]環(huán)收斂速所示?？梢姡]環(huán)收斂速度好于開環(huán)收斂速度。度好于開環(huán)收斂速度。2201CB0.95000.952.0002.0L0 1 02 00010

30、xx 圖圖11-4 30次迭代學(xué)習(xí)的跟蹤過次迭代學(xué)習(xí)的跟蹤過程程（開環(huán)（開環(huán)PD控制）控制）圖圖11-5 第第30次迭代學(xué)習(xí)次迭代學(xué)習(xí)的位置跟蹤（開環(huán)的位置跟蹤（開環(huán)PD控控制制）圖圖11-6 30次迭代過程中誤次迭代過程中誤差最大絕對(duì)值的收斂過程差最大絕對(duì)值的收斂過程（開環(huán)（開環(huán)PD控制）控制）圖圖11-7 30次迭代學(xué)習(xí)的次迭代學(xué)習(xí)的跟蹤過程（閉環(huán)跟蹤過程（閉環(huán)PD控制）控制）圖圖11-8 第第30次迭代學(xué)習(xí)次迭代學(xué)習(xí)的位置跟蹤（閉環(huán)的位置跟蹤（閉環(huán)PD控控制）制）圖圖11-9 30次迭代過程中誤次迭代過程中誤差最大絕對(duì)值的收斂過程差最大絕對(duì)值的收斂過程（閉環(huán)（閉環(huán)PD控制）控制） 11.

31、6 移動(dòng)機(jī)器人軌跡跟蹤迭代學(xué)習(xí)控制移動(dòng)機(jī)器人軌跡跟蹤迭代學(xué)習(xí)控制 移動(dòng)機(jī)器人是一種在復(fù)雜的環(huán)境下工作的具有自規(guī)劃、自移動(dòng)機(jī)器人是一種在復(fù)雜的環(huán)境下工作的具有自規(guī)劃、自組織、自適應(yīng)能力的機(jī)器人。在移動(dòng)機(jī)器人的相關(guān)技術(shù)研究中，組織、自適應(yīng)能力的機(jī)器人。在移動(dòng)機(jī)器人的相關(guān)技術(shù)研究中，控制技術(shù)是其核心技術(shù)，也是其實(shí)現(xiàn)真正的智能化和完全的自控制技術(shù)是其核心技術(shù)，也是其實(shí)現(xiàn)真正的智能化和完全的自主移動(dòng)的關(guān)鍵技術(shù)。移動(dòng)機(jī)器人具有時(shí)變、強(qiáng)耦合和非線性的主移動(dòng)的關(guān)鍵技術(shù)。移動(dòng)機(jī)器人具有時(shí)變、強(qiáng)耦合和非線性的動(dòng)力學(xué)特征，由于測量和建模的不精確，加上負(fù)載的變化以及動(dòng)力學(xué)特征，由于測量和建模的不精確，加上負(fù)載的變化以

32、及外部擾動(dòng)的影響，實(shí)際上無法得到移動(dòng)機(jī)器人精確、完整的運(yùn)外部擾動(dòng)的影響，實(shí)際上無法得到移動(dòng)機(jī)器人精確、完整的運(yùn)動(dòng)模型。動(dòng)模型。v 通過對(duì)文通過對(duì)文27的控制方法進(jìn)行詳細(xì)推導(dǎo)及仿真分析，研究一類的控制方法進(jìn)行詳細(xì)推導(dǎo)及仿真分析，研究一類移動(dòng)機(jī)器人迭代學(xué)習(xí)離散控制的設(shè)計(jì)及仿真方法。移動(dòng)機(jī)器人迭代學(xué)習(xí)離散控制的設(shè)計(jì)及仿真方法。 11.6.1 數(shù)學(xué)基礎(chǔ)數(shù)學(xué)基礎(chǔ) 代表代表N維歐氏空間，定義向量范數(shù)為：維歐氏空間，定義向量范數(shù)為： （11.22) 其中其中 為為( )階實(shí)數(shù)矩陣，定義矩陣范數(shù)為：階實(shí)數(shù)矩陣，定義矩陣范數(shù)為： （11.23) 其中其中 為矩陣的最大特征值。為矩陣的最大特征值。取取 ， , ，

33、定義范數(shù)為：，定義范數(shù)為： （11.2411.24)nR1/2Tzz znRzp mRCpmT|maxCC C max1,Nndizzz, ,zq u y 1| ( ), 1supkk Nkzz:z NR 11.6.2 系統(tǒng)描述系統(tǒng)描述 圖圖11-10為移動(dòng)機(jī)器人運(yùn)動(dòng)模型，它在同一根軸上有兩為移動(dòng)機(jī)器人運(yùn)動(dòng)模型，它在同一根軸上有兩個(gè)獨(dú)立的推進(jìn)輪，機(jī)器人在二維空間移動(dòng)，點(diǎn)代表機(jī)器個(gè)獨(dú)立的推進(jìn)輪，機(jī)器人在二維空間移動(dòng)，點(diǎn)代表機(jī)器人的當(dāng)前位置，廣義坐標(biāo)定義為，和為直角坐標(biāo)系下的人的當(dāng)前位置，廣義坐標(biāo)定義為，和為直角坐標(biāo)系下的坐標(biāo)，為機(jī)器人的方位角。當(dāng)機(jī)器人的標(biāo)定方向?yàn)榈乩碜鴺?biāo)，為機(jī)器人的方位角。當(dāng)機(jī)

34、器人的標(biāo)定方向?yàn)榈乩碜鴺?biāo)系的橫軸正半軸時(shí)，定義為坐標(biāo)系的橫軸正半軸時(shí)，定義為0。移動(dòng)機(jī)器人受不完。移動(dòng)機(jī)器人受不完全約束的影響而只能在驅(qū)動(dòng)輪軸的方向運(yùn)動(dòng)，點(diǎn)的線速全約束的影響而只能在驅(qū)動(dòng)輪軸的方向運(yùn)動(dòng)，點(diǎn)的線速度和角速度定義為和。度和角速度定義為和。 圖圖11-10 移動(dòng)機(jī)器人運(yùn)移動(dòng)機(jī)器人運(yùn)動(dòng)模型動(dòng)模型 根據(jù)圖根據(jù)圖11-10，針對(duì)，針對(duì)P點(diǎn)，移動(dòng)機(jī)器人的離散運(yùn)動(dòng)學(xué)方程可由下式點(diǎn)，移動(dòng)機(jī)器人的離散運(yùn)動(dòng)學(xué)方程可由下式描述描述v （11.25） 其中其中 為采樣時(shí)間，機(jī)器人狀態(tài)向量為為采樣時(shí)間，機(jī)器人狀態(tài)向量為 ，速度向量為速度向量為 。 式（式（11.25）可寫為：）可寫為： （11.26） 其

35、中其中v （11.27）pppppppppp(1)( )cos( )0( )(1)( )sin( )0( )(1)( )01x kx kkv ky ky kTkkkkTTppp( )( ),( ),( )kx ky kkqTppp( )( ),( )kv kkup(1)( )( ( ), )( )kkkkkqqB qupppcos( )0( ), )sin( )001kk kTk B q 如圖如圖11-10所示，期望軌跡為所示，期望軌跡為 。運(yùn)。運(yùn)動(dòng)軌跡跟蹤的控制問題就是為確定動(dòng)軌跡跟蹤的控制問題就是為確定 ，使，使 跟跟蹤蹤 。 線速度和角速度誤差分別為：線速度和角速度誤差分別為： （11.

36、28） （11.29） 移動(dòng)機(jī)器人迭代學(xué)習(xí)控制系統(tǒng)結(jié)構(gòu)如圖移動(dòng)機(jī)器人迭代學(xué)習(xí)控制系統(tǒng)結(jié)構(gòu)如圖11-11所示。所示。dddd( )( ),( ),( ) , 1kx ky kkknpT( )( ),( )kv kku( )P kd( )P k pv kvkv kp( )( )( )kkk 圖圖11-11 移動(dòng)機(jī)器人迭代學(xué)習(xí)控制系統(tǒng)結(jié)構(gòu)移動(dòng)機(jī)器人迭代學(xué)習(xí)控制系統(tǒng)結(jié)構(gòu)移動(dòng)機(jī)器人離散運(yùn)動(dòng)學(xué)方程可描述如下：移動(dòng)機(jī)器人離散運(yùn)動(dòng)學(xué)方程可描述如下： （11.30) （11.31)(1)( )( ( ), ) ( )( ),kkkkkkqqB qu( )( )( )kkkyq其中其中 為狀態(tài)干擾，為狀態(tài)干擾，

37、為輸出測量噪聲，為輸出測量噪聲， 為為系統(tǒng)輸出，系統(tǒng)輸出， 。 考慮迭代過程，由（考慮迭代過程，由（11.30）和（）和（11.31）可得：）可得： （11.32） （11.33） 其中其中 為迭代次數(shù)，為迭代次數(shù)， 為離散時(shí)間，為離散時(shí)間， 。 ， 分別代表第分別代表第 次迭代的狀態(tài)、輸入、輸出、狀態(tài)干擾和輸出噪聲。次迭代的狀態(tài)、輸入、輸出、狀態(tài)干擾和輸出噪聲。 機(jī)器人運(yùn)動(dòng)方程（機(jī)器人運(yùn)動(dòng)方程（11.32）和（）和（11.33）滿足下列性質(zhì)和假設(shè)：）滿足下列性質(zhì)和假設(shè)：性質(zhì)性質(zhì)1：考慮理想情況，取：考慮理想情況，取 均為零，均為零， ，則期望軌跡的，則期望軌跡的方程可寫為方程可寫為 （11.

38、34） （11.35）( )k( )kT( )( ), ( ), ( )kx ky kky( )( ),( )kv kkTu(1)( )( ), )( )( ),iiiiikkk kkkqqB qu( )( )( )iiikkkyqik1,kn( )ikq( ),( ),( ),( )iiiikkkkuyi( ),( )iikkkNdddd(1)( )(q ( ), )( ),kkk kkqqBudd( )( ),kkyq 性質(zhì)性質(zhì)2：矩陣函數(shù)滿足：矩陣函數(shù)滿足Lipschitz條件：條件： ， ， 為正常數(shù)為正常數(shù) （11.36） 性質(zhì)性質(zhì)3：矩陣：矩陣 是有界的是有界的 , ,為正常數(shù)，矩

39、為正常數(shù)，矩陣陣 為為 的滿秩矩陣。的滿秩矩陣。 假設(shè)假設(shè)1: ； 假設(shè)假設(shè)2：干擾和噪聲有界：干擾和噪聲有界 （11.37） 其中其中 ， 為正常數(shù)。為正常數(shù)。 假設(shè)假設(shè)3：在每一次迭代中，軌跡都是從：在每一次迭代中，軌跡都是從 的鄰域開始，即的鄰域開始，即 ， ， 。12B12|(, )(, )|kkcB qB qqqkNBc( ( ), )iq k kBB|( ), )|ik kbB q( ), )ik kB q( ), )ik kqddu1max |( )|k nkb u11 k n11 k nmax max |( )| ,max max |( )|iiiikbkb bbd(0)q0d

40、q|(0)(0)|ibqq0q0b1i 11.6.3 控制律設(shè)計(jì)及收斂性分析控制律設(shè)計(jì)及收斂性分析 迭代學(xué)習(xí)控制律設(shè)計(jì)為：迭代學(xué)習(xí)控制律設(shè)計(jì)為： （11.38） 對(duì)于第對(duì)于第i次迭代，跟蹤誤差信號(hào)為次迭代，跟蹤誤差信號(hào)為 ， 和和 為學(xué)習(xí)的增益矩陣，滿為學(xué)習(xí)的增益矩陣，滿足足 ， ， ， ， 。 通過控制律（通過控制律（11.38），使?fàn)顟B(tài)變量），使?fàn)顟B(tài)變量 、控制輸入、控制輸入 、系、系統(tǒng)輸出統(tǒng)輸出 分別收斂于期望值。分別收斂于期望值。1121( )( )( ) (1)( )( )iiiikkkkkkuuLeLed( )( )( )iikkkeyy1( )kL2( )kL11L|( )|kb

41、L22L|( )|kbLkN1L0b2L0b( )ikq( )iku( )iky 定理定理 1：考慮離散系統(tǒng)（：考慮離散系統(tǒng)（11.32）和（）和（11.33），滿足假設(shè)），滿足假設(shè)1-3，采用控制律（采用控制律（11.38），則），則 （11.39） 對(duì)于所有對(duì)于所有 都成立。如果忽略狀態(tài)干擾，輸出噪聲和都成立。如果忽略狀態(tài)干擾，輸出噪聲和初始狀態(tài)誤差（即初始狀態(tài)誤差（即 ），則分別收斂于期望值。如果），則分別收斂于期望值。如果考慮干擾、噪聲和誤差的存在，則考慮干擾、噪聲和誤差的存在，則 ， ， 有界，且收斂于有界，且收斂于 的函數(shù)。的函數(shù)。 證明：證明：由式由式（11.3411.34）和）

42、和（11.3211.32）得：）得： 1|( ) (, )|1ikkILB q(, )nikRNq0q0bbbd|( )( )|ikkuud|( )( )|ikkqqd|( )( )|ikkyy0q,b b b （11.40） 考慮性質(zhì)考慮性質(zhì)2和和3及假設(shè)及假設(shè)1和和2，得，得 令令 ，則，則 對(duì)上式進(jìn)行遞推并考慮假設(shè)對(duì)上式進(jìn)行遞推并考慮假設(shè)3，得：，得： （11.41） dddddddddd111,iiiiiiiiiiiiiiikkkkkkkkkkkkkkkkq kkkkkkkkkkkkkkkkqqqqB quqB quqB quBuuuqB qB quB qu dBuB1iiiikkc

43、bkbkbqqqud2Bu1hc b 2B1iiikhkbkbqqu 0112B2q0kkjkiijkhbjbh b quv由（11.38）式得：1d1d1211d2d11d2d111dd( )( )( )( )( )( ) (1)( )( )( )( )(1)(1)( )( )( )( )( )(1)(1)(1)( )( )( )( )( )( )( )( ), )iiiiiiiiiiiiiikkkkkkkkkkkkkkkkkkkkkkkkkkkkk kuuuuuLeLeuLyyLyyuLqqLqquLqB qud121111dddd112111( )( )( ), )( ) ( )( )(

44、1)( )( )(1)( )( )( )( )( ), )( )( ), )( )( )( ) ( )( )( )( )( )(1)( )(iiiiiiiiiiiiiiiikkk kkkkkkkkkkkkk kkk kkkkkkkkkkkkqB quLLquLqLB quB quuuLLquL11dd211121111dd211)( )( ) ( ), )( )( )( ), )( ( ), )( ) ( )( )( )( )( )( )( )( ) ( ), )( )( )( )( )( ), )( ), )( ) ( )( )( )iiiiiiiiiiiiikkk kkkk kq k kk

45、kkkkkkkkk kkkkkk kk kkkkkqLB quLB qBuLqLLILB quLqLB qB quLqL121( )( )( )( )iiikkkkL 利用性質(zhì)2和假設(shè)2，得v 令 ， ，則 將（11.39）和（11.41）代入上式，得11d21211LLBuL1LL( )( ) ( ), )( )( )( )( )()iiiiiikkk kkbkb c bkbkbbbb buILB quqqq1d11LBuL2(1)hbc bb h121LL()bbbbb b2111L11( )( ) ( ), )( )( )( )iiiiikkk kkhkbkbuILB quqq02011

46、112B2011L2B12q10( )( )( )( )kkjkiiiqjkkjkijkkhhbjbh bbhbjbh bb uuuu 因此 上式兩端同乘，取范數(shù)，得20211112112B011L2B10( )( )( )( )kkkjiiLqijkkjijkkhbh bbhhbjbbhbjb uuuu202211Lq11121B011L2B1011( )( )()111( )11( )kkkiikjkjjkijkjjkijhkkhbbhhbbjbbhbjb uuuujv取 ，得2max 1,h202202111211q1B011L2B10121q1B2L2B1()()1/()()1/()kjkiiLijkjkijniLinihhhbbbbbbhbbhhhbbbbbhbhbb uuuuuuu2202222B 1BL11Lq1221L221/1/|()1/nniinhhhb hb bhbbbhhbhbhhuu 即 （11.42）v 其中，根據(jù)等比數(shù)列有 （11.43）v 。22