深度強(qiáng)化學(xué)習(xí)與機(jī)器人控制

深度強(qiáng)化學(xué)習(xí)與機(jī)器人控制深度強(qiáng)化學(xué)習(xí)與機(jī)器人控制2017/12/21強(qiáng)化學(xué)習(xí)（reinforcementLearning,rl）

Agent通過與環(huán)境交互學(xué)習(xí)一個(gè)從環(huán)境狀態(tài)到行為的映射，學(xué)習(xí)的目標(biāo)是使累積折扣獎(jiǎng)賞最大。可用Markov決策過程描述，四個(gè)元素：S、A、P、R深度強(qiáng)化學(xué)習(xí)（DeepreinforcementLearning,Drl）

——從感知到控制

結(jié)合深度學(xué)習(xí)的感知能力和強(qiáng)化學(xué)習(xí)的決策能力，直接從高維原始數(shù)據(jù)學(xué)習(xí)控制策略。解決了強(qiáng)化學(xué)習(xí)的1.函數(shù)逼近器：連續(xù)狀態(tài)到連續(xù)動(dòng)作空間映射問題；2.endtoend:高維數(shù)據(jù)直接到動(dòng)作的映射發(fā)展：Q-learningDQNPolicyGradient:endtoendDeepDeterministicPolicyGradientActionnetwork,Criticnetwork[1]Mnih,Volodymyr,etal."Human-levelcontrolthroughdeepreinforcementlearning"Nature518.7540(2015)

深度強(qiáng)化學(xué)習(xí)能干什么(棋類)游戲自動(dòng)駕駛飛行器控制機(jī)械臂操作多足行走深度強(qiáng)化學(xué)習(xí)能干什么（對(duì)于我們）動(dòng)目標(biāo)捕獲（在軌服務(wù)，工業(yè)，娛樂）自主裝配（在軌構(gòu)建，工業(yè)）自動(dòng)駕駛、導(dǎo)航（星表探測(cè)）多目標(biāo)識(shí)別（在軌監(jiān)測(cè)）設(shè)計(jì)師助手DRL應(yīng)用于機(jī)器人控制的步驟1.設(shè)計(jì)算法2.編寫程序3.訓(xùn)練4.應(yīng)用1.設(shè)計(jì)算法以動(dòng)目標(biāo)抓捕任務(wù)DQN方法為例明確任務(wù)，確定輸入輸（狀態(tài)、動(dòng)作）1.設(shè)計(jì)算法制定獎(jiǎng)賞規(guī)則1.設(shè)計(jì)算法更新Q值函數(shù)傳統(tǒng)上采用查表的方式計(jì)算Q值函數(shù)，為了計(jì)算方便，可以利用上一周期的值用Bellman方程等更新Q值：由于狀態(tài)動(dòng)作空間巨大，我們訓(xùn)練一個(gè)深度遞歸網(wǎng)絡(luò)（DeepRecurrentNeuralNetwork,RNN）來擬合Q值表。1.設(shè)計(jì)算法

2.編寫程序環(huán)境：Linux、Mac、Win架構(gòu)：TensorFlow等語言：Python偽代碼：3.訓(xùn)練兩種訓(xùn)練方式：模擬訓(xùn)練：搭建模擬器、模擬訓(xùn)練、移植OpenAIGym，MuJoCo，rllab,DeepMindLab,TORCS,PySC2等一系列優(yōu)秀的平臺(tái)MuJoCo（Multi-JointdynamicswithContact）是一個(gè)物理模擬器，可以用于機(jī)器人控制優(yōu)化等研究。TensorFlow等均集成了OpenAIGym，MuJoCo實(shí)物訓(xùn)練：?jiǎn)螜C(jī)；多機(jī)經(jīng)驗(yàn)共享3.訓(xùn)練

實(shí)物訓(xùn)練

模擬訓(xùn)練+移植4.應(yīng)用經(jīng)過長(zhǎng)時(shí)間訓(xùn)練，算法收斂，性能滿足要求后可應(yīng)用于真實(shí)場(chǎng)景DRL頂尖成果(左：DeepMind右：SIGGRAPH小組)總結(jié)深度強(qiáng)化學(xué)習(xí)為決策類問題（包括機(jī)器人控制）帶來有效的解決方案，在某些領(lǐng)域可達(dá)到優(yōu)于人的效果。對(duì)于我們來說在機(jī)器人抓捕、裝配、規(guī)劃、導(dǎo)航、行走方面皆可利用，服務(wù)于在軌服務(wù)、深空探測(cè)、輔助設(shè)計(jì)、民用市場(chǎng)開拓等領(lǐng)域。但DRL（人工智能）不是什么都適合干，不是什么都能干。我們應(yīng)該斟酌其可利用的領(lǐng)域，不能為了趕時(shí)髦而盲目代入。AlphaGo戰(zhàn)勝人類的意義確實(shí)是劃時(shí)代的，借用兩位人類棋手的話結(jié)尾：“人類千年的實(shí)戰(zhàn)演練進(jìn)化，