基于深度強化學習的無人駕駛智能決策控制研究

1、    基于深度強化學習的無人駕駛智能決策控制研究    朱武哲摘 要：隨著人工智能技術(shù)的發(fā)展，越來越多的智能應(yīng)用正在潛移默化地改變我們的生活。普及無人駕駛車輛是未來交通的發(fā)展方向，決策控制問題則是無人駕駛技術(shù)發(fā)展需要面對的重要問題。本文針對無人駕駛決策控制問題，提出將示教學習與強化學習相結(jié)合的解決方案，嘗試吸取示教學習算法的優(yōu)點，對強化學習算法訓練效果進行提升?；谏疃却_定性策略梯度算法（deep deterministic policy gradient， ddpg），本文提出了融合示教的 ddpg 算法（ddpg with demonstratio

2、n， ddpgwd），并使用了開源微軟仿真環(huán)境對算法進行了仿真驗證，證明了上述算法在自動駕駛決策控制中的有效性。關(guān)鍵詞：無人駕駛智能決策;深度確定性策略梯度算法;示教學習;強化學習一 引言隨著自動駕駛技術(shù)的不斷突破，無人駕駛車輛的生產(chǎn)已經(jīng)向?qū)嵱没~進，在未來數(shù)年內(nèi)將對提高道路安全、促進交通管理和改善城市環(huán)保等產(chǎn)生顛覆性影響。據(jù)統(tǒng)計，在所有車輛肇事情況中，九成以上的車禍是由駕駛員的失誤造成的。因此，無人駕駛功能的出現(xiàn)，有可能大幅降低交通肇事案件的數(shù)量。我國對于無人駕駛的研究起步較早，但是隨著對自動駕駛應(yīng)變能力要求的不斷提高，新一代的無人駕駛車輛既需要對復(fù)雜的道路場景進行識別與分析，又需要克服不同

3、環(huán)境下的傳感器噪聲等問題，同時還需要實時應(yīng)對各種突發(fā)狀況，這對自動駕駛?cè)斯ぶ悄艿目焖賹W習能力、泛化能力提出了更高的要求，成為急需攻克的難點問題。當前，制約無人駕駛技術(shù)應(yīng)用的一個關(guān)鍵問題是如何保證車輛在不可控復(fù)雜環(huán)境中長時間安全自主行駛。在不可控復(fù)雜交通環(huán)境中，道路情況復(fù)雜（包括道路標志缺失、被遮擋、表面破損，行人及車輛共存等），道路周圍環(huán)境多變（包括天氣、光照和氣候多變，城市部分片區(qū)改造或重新規(guī)劃等）。在不可控環(huán)境中要求無人駕駛車輛具有更加智能的決策控制能力，能夠綜合利用感知信息，在緊急突發(fā)情況下做出安全合理的決策控制。以示教學習（imitation learning）為代表的一系列通過人類示

4、教來引導(dǎo)機器進行學習的智能方法，已經(jīng)在機器人與智能控制領(lǐng)域取得了很大的成就。但是，如何將人類的經(jīng)驗用于汽車自動駕駛?cè)斯ぶ悄艿挠柧?，尤其是在示教樣本較少的情況下，如何應(yīng)付不可控復(fù)雜交通場景、如何提高泛化能力，都是無人駕駛研究的難點。無人駕駛的決策與控制模塊是決定無人駕駛汽車安全性、穩(wěn)定性的關(guān)鍵。圖1展示了谷歌無人車和特斯拉自動駕駛模式下發(fā)生的事故。會發(fā)生這些事故，主要原因是面對不可控的突發(fā)交通狀況時，無人車無法做出最佳的實時決策與控制。因此，不可控復(fù)雜環(huán)境中的無人駕駛的決策和控制，逐漸成為制約無人駕駛技術(shù)發(fā)展的關(guān)鍵問題。二 國內(nèi)外研究現(xiàn)狀強化學習是一種再激勵學習算法，和上述的監(jiān)督學習方法不同，它

5、通過和環(huán)境交互試錯進行在線的學習，獲取反饋，從而優(yōu)化策略，不依賴環(huán)境模型和先驗知識。近年來很多學者將強化學習用于無人車路徑規(guī)劃上面。liwei huang等在動態(tài)環(huán)境下基于強化學習進行車輛的路徑規(guī)劃和避障，將狀態(tài)空間分為八個角度區(qū)間，動作域分為三向前、左轉(zhuǎn)和右轉(zhuǎn)三個動作，并加入-貪婪策略改進了獎勵函數(shù)，實現(xiàn)了無人小車導(dǎo)航，但是該方法未考慮后退動作，難以解決若前方堵死時車輛如何選擇動作的問題，還有避讓的路線是折線，并不是光滑的，與現(xiàn)實車輛行駛路線不符;董培方等加入初始引力勢場和陷阱搜索的改進q-learning算法，在其基礎(chǔ)上對環(huán)境進行陷阱區(qū)域逐層搜索，剔除凹形陷阱區(qū)域q值迭代，加快了路徑規(guī)劃的

6、收斂速度，搜索到較好的路徑，但是其收斂速度還有待提高，規(guī)劃的路徑也可能不是最優(yōu)的;張明雨利用代價地圖的cost信息來構(gòu)建狀態(tài)空間，動作空間，獎賞函數(shù)和值函數(shù)，然后對移動機器人進行訓練，獲得q值表，然后在后面的導(dǎo)航過程中遇到障礙物時，用學習到的策略選擇動作，避過障礙物，使用代價地圖結(jié)合q-learning算法來修改全局路徑實現(xiàn)機器人的動態(tài)導(dǎo)航;張汕播等針對未知環(huán)境，利用情感學習機制輔助強化學習系統(tǒng)，給出算法在當時環(huán)境下的決策空間，實現(xiàn)agent的實時決策，最后將強化學習模型和a*算法結(jié)合構(gòu)建路徑規(guī)劃系統(tǒng)。現(xiàn)在大部分的無人駕駛車輛都是在無人區(qū)域或者簡單的道路環(huán)境下行駛的，但是現(xiàn)實的路況都是實時變化

7、的，障礙物分布隨機且多，我們希望在復(fù)雜動態(tài)環(huán)境下無人車輛能自主搜索出合適的路徑并自主避讓障礙物。三 ddpgwd 算法框架本文采用組合運動規(guī)劃方法進行無人車的行為規(guī)劃。運動規(guī)劃的組合方法通過連續(xù)的配置空間找到路徑，而無需借助近似值。組合方法通過對規(guī)劃問題建立離散表示來找到完整的解，首先使用路徑規(guī)劃器生成備選的路徑和目標點（這些路徑和目標點是融合動力學可達的），然后通過優(yōu)化算法選擇最優(yōu)的路徑。在大規(guī)模學習時強化學習普遍有收斂速度慢、規(guī)劃效率低的缺點，對于無人車輛來說，其“試錯”機制可能會使車輛撞擊到障礙物，不能直接應(yīng)用于真實環(huán)境中。針對上述問題，擬加入人工勢場法對環(huán)境的勢能進行賦值作為搜索啟發(fā)信

8、息對q值進行初始化，從而在學習初期便能引導(dǎo)移動機器人快速收斂，提高規(guī)劃效率，使用攝像機、激光雷達等識別周圍環(huán)境，結(jié)合強化學習進行動態(tài)的路徑規(guī)劃，流程圖如下：利用強化學習解決機器人路徑規(guī)劃問題時，機器人會在相應(yīng)的環(huán)境中“試錯”學習，在執(zhí)行動作的同時會得到相應(yīng)的獎勵，考慮動作選擇和回報的馬爾科夫過程稱為馬爾科夫決策過程。強化學習的各種方法都是以馬爾科夫決策過程（mdp）為基礎(chǔ)的。s：表示系統(tǒng)環(huán)境狀態(tài)的集合;a：表示agent可采取的動作集合;p（s|s，a）描述在當前狀態(tài)ss下，agent采取動作aa，轉(zhuǎn)移到ss的概率;r（s，a）表示在狀態(tài)s下agent執(zhí)行動作a后獲得的獎賞值;目標就是求出累計

9、獎勵最大的策略的期望。根據(jù)求解方法不同，強化學習的算法主要分為兩大類：基于值的算法（value-based）和基于策略的算法（policy-based）。四 試驗驗證（一）環(huán)境因素分析外界環(huán)境因素作為無人駕駛車輛的主要信息輸入，對無人駕駛過程中的環(huán)境感知、系統(tǒng)決策，路徑規(guī)劃和系統(tǒng)控制都有十分重要的影響。外界環(huán)境因素本身也是一個龐大而且復(fù)雜的系統(tǒng)，從廣義上講，外界環(huán)境因素主要包括靜態(tài)環(huán)境因素和動態(tài)環(huán)境因素。其中靜態(tài)的環(huán)境因素有不同類型的道路和交通標志、道路上和兩邊的場景以及靜態(tài)障礙物等;動態(tài)的環(huán)境因素有車輛、行人、交通信號燈以及動態(tài)障礙物等。1.結(jié)構(gòu)化道路影響無人駕駛車輛的主要靜態(tài)環(huán)境因素是道路

10、和靜態(tài)障礙物，道路兩旁的建筑和場景對于車輛路徑規(guī)劃的影響較小，故本文不做討論。其中道路又分為結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路兩種，在結(jié)構(gòu)化道路中又有直道、彎道、十字路口、y型路口、環(huán)島、主干道的出口和入口以及這些要素的組合道路等，對于非結(jié)構(gòu)化道路本文不做討論。直道，作為結(jié)構(gòu)化道路中最簡單的組成元素，是結(jié)構(gòu)化道路主要的存在形式，大多數(shù)的道路都是以盡量直道的原則建造。直道又分為單車道和多車道，直道的邊界都是直線，主要的參數(shù)是道路的長度、寬度和邊界位置等信息。車輛在直道上行駛的方式較為固定，一般是直行、換道行駛，同時采取一些避障行為。彎道，通常作為道路的連接，彎道也是典型路況中的典型組成元素。由于其特殊性，

11、彎道是交通事故的多發(fā)地。所以在做無人駕駛車輛的局部路徑規(guī)劃時，要著重考慮車輛在彎道的曲率值下的行駛能力。車輛在彎道上行駛的類型一般是沿著彎道作轉(zhuǎn)向行駛。匯入和匯出道路，兩條或者多條道路的合并形成匯入道路。單條道路分成多條道路形成匯出道路。車輛在匯入?yún)R出道路上，一般會進行變道和避障行駛。十字路口，兩條或者多條道路相會產(chǎn)生十字路口，無人駕駛車輛的路徑規(guī)劃主要考慮來往車輛和行人。車輛在十字路口上，一般有轉(zhuǎn)向、調(diào)頭和直行等行駛方式。u型路，u型路通常是曲率比較大的彎道，有可能出現(xiàn)在雙向直道上需要調(diào)頭的位置。和彎道相類似，車輛在u型路上，一般是沿著u型路作調(diào)頭行駛，和彎道不同時是，轉(zhuǎn)向角度更大，目標點一

12、般在身后。2.行人行人在道路上行走一般具有很大的隨意性，是道路交通上的不確定因素，同時由于行人缺少相應(yīng)保護，往往在發(fā)生交通事故時會受到較大的傷害。行人在道路上行走一般可以分為兩類，一類是沿著道路行走，另一類是橫穿道路行走。由于行人具有隨意性，無人駕駛車輛如何檢測和避讓行人是研究的重點和難點之一。為了驗證ddpgwd最終訓練得到的模型泛化性，我們在微軟開源仿真平臺測試軌道中進行了測試，軌道形狀及場景如下圖所示，無人車能夠順利地完成整圈的駕駛。綜合上述仿真實驗，我們提出的ddpgwd算法能夠合理地解決無人駕駛的決策控制問題，并且通過引入示教監(jiān)督數(shù)據(jù)，能夠在相同的獎勵值函數(shù)下、在一定量的訓練回合中獲得比原始ddpg算法更多的訓練步數(shù)，可以更快地學到一個相對合理的策略。在弱化獎勵值函數(shù)后，我們提出的算法效果雖有所下降，但相較于ddpg算法仍然能夠維持在一個較高的訓練水平。五 結(jié)語本文介紹了基本深度強化算法原理，分析了ddpgwd算法作為無人駕駛車輛局部路徑規(guī)劃與決策算法的優(yōu)缺點。針對無人駕駛車輛使用ddpg算法進行局部路徑規(guī)劃的缺點，提出了基于場景約束的d