協(xié)作機(jī)器人-感知、交互、操作與控制技術(shù) 課件 -8-操作控制

協(xié)作機(jī)器人操作控制目錄CONtants操作任務(wù)分類(lèi)010203操作任務(wù)建模操作技能學(xué)習(xí)操作任務(wù)分類(lèi)從是否需要進(jìn)行力控制可以分為力控制操作任務(wù)和不需要力控制的操作任務(wù)；從被操作環(huán)境的動(dòng)力學(xué)特性可以分為剛性接觸、柔性接觸、塑性接觸、摩擦接觸等；

從機(jī)器人-環(huán)境耦合特性可以分為瞬時(shí)耦合、松耦合和緊耦合三種，瞬時(shí)耦合包括拾取并放置任務(wù)，松耦合包括按壓按鈕、軸孔裝配或插入任務(wù)，緊耦合包括開(kāi)關(guān)門(mén)、轉(zhuǎn)動(dòng)閥門(mén)等；從機(jī)器人-環(huán)境接觸狀態(tài)是否可變分為定接觸狀態(tài)任務(wù)和變接觸狀態(tài)任務(wù)；從任務(wù)階段可分為單階段任務(wù)和多階段任務(wù)；從環(huán)境是否可變可分為定常操作任務(wù)和變化操作任務(wù)；從環(huán)境結(jié)構(gòu)性特點(diǎn)可分為結(jié)構(gòu)性操作任務(wù)和非結(jié)構(gòu)性操作任務(wù)。操作任務(wù)建模機(jī)器人-環(huán)境接觸動(dòng)力學(xué)模型如下所示：技能學(xué)習(xí)意義隨著機(jī)器人技術(shù)的發(fā)展，人們期望機(jī)器人具備更強(qiáng)的自主操作能力，在更多領(lǐng)域代替人類(lèi)完成更加復(fù)雜的操作任務(wù)；在人工分析機(jī)器人行為特性和工作任務(wù)要求的基礎(chǔ)上,采用傳統(tǒng)復(fù)雜編程、遙操作或示教編程等常規(guī)方法可使機(jī)器人具備一定的操作技能，較好地勝任諸多結(jié)構(gòu)化工作環(huán)境和單一固定任務(wù)的工作場(chǎng)景，完成快速、準(zhǔn)確、可重復(fù)位置和力控制的任務(wù)；

采用傳統(tǒng)常規(guī)方法設(shè)計(jì)的機(jī)器人操作技能不能動(dòng)態(tài)地適應(yīng)非結(jié)構(gòu)化工作環(huán)境或場(chǎng)景多變的工作場(chǎng)合，且機(jī)器人操作技能開(kāi)發(fā)過(guò)程中存在著周期長(zhǎng)、效率低、工作量大及不能滿(mǎn)足需求的多樣性等諸多難題；采用機(jī)器學(xué)習(xí)方法設(shè)計(jì)具備一定自主決策和學(xué)習(xí)能力的機(jī)器人操作技能學(xué)習(xí)系統(tǒng)，使機(jī)器人在復(fù)雜、動(dòng)態(tài)的環(huán)境中學(xué)習(xí)并獲取操作技能，能彌補(bǔ)傳統(tǒng)編程等常規(guī)方法的缺陷，極大提高機(jī)器人對(duì)環(huán)境的適應(yīng)能力。研究現(xiàn)狀近年來(lái),機(jī)器人操作技能學(xué)習(xí)研究正逐漸成為機(jī)器人研究領(lǐng)域的前沿和熱點(diǎn),新的學(xué)習(xí)方法被逐漸應(yīng)用于機(jī)器人的操作技能學(xué)習(xí)中，諸多著名研究機(jī)構(gòu)和公司,如DeepMind、加州大學(xué)伯克利分校、OpenAI、GoogleBrain、清華大學(xué)、等在此領(lǐng)域取得了一定的成果，但仍面臨著巨大挑戰(zhàn)?？捎枚喾N機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)機(jī)器人操作技能學(xué)習(xí)，機(jī)器人訓(xùn)練數(shù)據(jù)的產(chǎn)生方式?jīng)Q定了機(jī)器人學(xué)習(xí)所要采用的具體方法。機(jī)器人操作技能學(xué)習(xí)所需數(shù)據(jù)大致可由機(jī)器人與環(huán)境交互產(chǎn)生或由專(zhuān)家提供。因此，機(jī)器人操作技能學(xué)習(xí)方法分為基于強(qiáng)化學(xué)習(xí)的方法，基于示教學(xué)習(xí)的方法和基于小樣本數(shù)據(jù)學(xué)習(xí)的方法。基于強(qiáng)化學(xué)習(xí)的方法馬爾科夫過(guò)程MDP（S,A,R,P,r）優(yōu)化目標(biāo)值函數(shù)基于值函數(shù)的方法分為基于模型學(xué)習(xí)的值函數(shù)方法和無(wú)模型的值函數(shù)方法?？傮w而言,基于無(wú)模型的值函數(shù)方法不需對(duì)系統(tǒng)建模，計(jì)算量小，但價(jià)值函數(shù)的獲取需要通過(guò)機(jī)器人與環(huán)境的不斷交互采樣估計(jì)得到?；趯W(xué)習(xí)模型的值函數(shù)方法首先需要依據(jù)機(jī)器人與環(huán)境的交互數(shù)據(jù)學(xué)習(xí)得到系統(tǒng)模型，并基于該模型采用仿真形式得到最優(yōu)策略，故其在真實(shí)環(huán)境中所需的樣本少，但計(jì)算量大?；趶?qiáng)化學(xué)習(xí)的方法使用參數(shù)化策略

時(shí)，強(qiáng)化學(xué)習(xí)的優(yōu)化目標(biāo)為：策略梯度的計(jì)算公式如下：策略參數(shù)更新公式如下：在機(jī)器人操作技能學(xué)習(xí)領(lǐng)域,策略搜索比基于價(jià)值函數(shù)的強(qiáng)化學(xué)習(xí)更具優(yōu)勢(shì)，主要體現(xiàn)在:1)采用策略搜索方法可以較為方便的融入專(zhuān)家知識(shí),可依據(jù)獲取的專(zhuān)家策略對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行初始化，以加速策略?xún)?yōu)化的收斂過(guò)程;2)策略函數(shù)比價(jià)值函數(shù)具有更少的學(xué)習(xí)參數(shù)，基于策略搜索的強(qiáng)化學(xué)習(xí)算法更加高效?；趶?qiáng)化學(xué)習(xí)的方法基于參數(shù)化策略的方法基于強(qiáng)化學(xué)習(xí)的方法基于深度神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域的新分支，其通過(guò)組合低層特征形成更加抽象的高層表示，以得到數(shù)據(jù)的分布式特征。近年來(lái)，諸多學(xué)者將深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)相結(jié)合得到的深度強(qiáng)化學(xué)習(xí)算法成功應(yīng)用于視頻游戲、圍棋等領(lǐng)域。與常規(guī)強(qiáng)化學(xué)習(xí)方法相比，深度強(qiáng)化學(xué)習(xí)算法將具有強(qiáng)表征能力的深度神經(jīng)網(wǎng)絡(luò)用于強(qiáng)化學(xué)習(xí)中價(jià)值函數(shù)和策略函數(shù)的表達(dá)，避免了人為手工設(shè)計(jì)特征，同時(shí)也易融入環(huán)境中的圖像感知信息，較適合于機(jī)器人操作技能學(xué)習(xí)。DQN網(wǎng)絡(luò)結(jié)構(gòu)示意圖基于深度強(qiáng)化學(xué)習(xí)的方法基于人機(jī)交互強(qiáng)化學(xué)習(xí)的方法使用人機(jī)交互式強(qiáng)化學(xué)習(xí)時(shí)，強(qiáng)化學(xué)習(xí)的學(xué)習(xí)過(guò)程中不僅從環(huán)境獲得獎(jiǎng)勵(lì)，同時(shí)還從人員處獲得獎(jiǎng)勵(lì)、建議、評(píng)估、約束、動(dòng)作修正、探索指導(dǎo)等等。COACH和策略搜索方法串行工作模式COACH和策略搜索方法并行工作模式基于示教學(xué)習(xí)的方法在機(jī)器人操作技能學(xué)習(xí)領(lǐng)域，示教學(xué)習(xí)是通過(guò)模仿給定的專(zhuān)家數(shù)據(jù)學(xué)習(xí)得到操作技能策略。示教學(xué)習(xí)可降低機(jī)器人搜索策略空間的復(fù)雜度，在一定程度上提高了機(jī)器人操作技能學(xué)習(xí)效率。近年來(lái)，示教學(xué)習(xí)已成為機(jī)器人操作技能學(xué)習(xí)的熱點(diǎn)領(lǐng)域之一。依據(jù)對(duì)示教數(shù)據(jù)的使用方式，大致可將示教學(xué)習(xí)分為行為克隆(Behaviorcloning)和逆強(qiáng)化學(xué)習(xí)(Inversereinforcementlearning)兩類(lèi)。GMM/GMR擬合、GPR擬合、神經(jīng)網(wǎng)絡(luò)擬合、HMM等基于小數(shù)據(jù)學(xué)習(xí)的方法無(wú)論是基于強(qiáng)化學(xué)習(xí)還是基于示教學(xué)習(xí)的機(jī)器人操作技能學(xué)習(xí)方法都需要一定量的訓(xùn)練數(shù)據(jù)。能否使用少量訓(xùn)練數(shù)據(jù)就可學(xué)習(xí)到新的操作技能成為了機(jī)器人快速應(yīng)用于各領(lǐng)域的關(guān)鍵。近年來(lái)發(fā)展的遷移學(xué)習(xí)(Transferlearning)及元學(xué)習(xí)(Metalearning)具有利用先前數(shù)據(jù)經(jīng)驗(yàn)的機(jī)制，在面對(duì)新任務(wù)少量數(shù)據(jù)時(shí),能夠?qū)崿F(xiàn)基于小樣本數(shù)據(jù)的快速任務(wù)學(xué)習(xí)。遷移學(xué)習(xí)是從一個(gè)或多個(gè)源域(Sourcedomain)中抽取知識(shí)、經(jīng)驗(yàn)然后應(yīng)用于目標(biāo)域(Target

domain)的學(xué)習(xí)方法，已在諸如計(jì)算機(jī)視覺(jué)及控制等領(lǐng)域取得了一定的進(jìn)展。在機(jī)器人操作技能學(xué)習(xí)領(lǐng)域，遷移學(xué)習(xí)可將基于一種或多種任務(wù)上學(xué)習(xí)到的能力遷移到另一種新的任務(wù)上，以提高機(jī)器人操作技能的學(xué)習(xí)效率?；谛?shù)據(jù)學(xué)習(xí)的方法元學(xué)習(xí)(Metalearning)及以此為基礎(chǔ)的一次性學(xué)習(xí)(One-shotlearning)是一種基于少量訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行學(xué)習(xí)的機(jī)器學(xué)習(xí)方法。元學(xué)習(xí)通過(guò)在大量相關(guān)任務(wù)且每種任務(wù)包含少量標(biāo)記數(shù)據(jù)的任務(wù)集上對(duì)策略進(jìn)行訓(xùn)練，能夠自動(dòng)學(xué)得訓(xùn)練任務(wù)集中的共有知識(shí)?？偨Y(jié)：

通過(guò)分析已有的機(jī)器人操作技能學(xué)習(xí)研究工作,機(jī)器人操作技能學(xué)習(xí)問(wèn)題主要聚焦于兩方面：一是如何使機(jī)器人學(xué)習(xí)得到