無人機(jī)集群協(xié)同與對抗技術(shù)

無人機(jī)集群協(xié)同與對抗技術(shù)

問題與出路主要內(nèi)容中心化無人機(jī)集群關(guān)鍵技術(shù)中心化集群控制系統(tǒng)存在的問題與去中心化分布式自主系統(tǒng)對策無人機(jī)集群去中心化分布式計(jì)算模型無人機(jī)集群對抗技術(shù)研究集群對抗策略仿真演練平臺建設(shè)集群決策模型設(shè)計(jì)與博弈策略演化集群智能(Swarm

Intelligence)強(qiáng)化學(xué)習(xí)(ReinforcementLearning)技術(shù)無人機(jī)集群對抗大賽標(biāo)準(zhǔn)設(shè)計(jì)5/9/2019無人機(jī)集群作戰(zhàn)關(guān)鍵技術(shù)當(dāng)前，雖然無人機(jī)集群技術(shù)研究發(fā)展日新月異，但是在非確定復(fù)雜環(huán)境的軍事應(yīng)用領(lǐng)域，無人機(jī)集群面對的環(huán)境復(fù)雜多變且對抗性極強(qiáng)，集群成員之間自主高效協(xié)作的實(shí)現(xiàn)難度很大。因此，如何實(shí)現(xiàn)無人機(jī)集群自主編隊(duì)飛行(防撞避障)，如何保障無人機(jī)集群成員間的高效信息交互(自組通信網(wǎng)絡(luò)與分布式局部/全局態(tài)勢感知)，如何完成無人機(jī)集群的智能優(yōu)化控制(集群行為建模與機(jī)器學(xué)習(xí))，如何實(shí)現(xiàn)集群作戰(zhàn)任務(wù)的實(shí)時(shí)動態(tài)合理分配(集群決策建模與合作/對抗策略)，已經(jīng)成為無人機(jī)集群對抗技術(shù)中極具挑戰(zhàn)性的瓶頸問題，也是無人機(jī)集群進(jìn)一步發(fā)展有待廣泛研究的重要課題。無人機(jī)集群對抗涉及現(xiàn)代控制理論、代數(shù)圖論、網(wǎng)絡(luò)通信、分布式計(jì)算、人工智能與機(jī)器學(xué)習(xí)、集群智能(swarmintelligence)、復(fù)雜適應(yīng)系統(tǒng)、博弈論以及系統(tǒng)論等多學(xué)科理論與技術(shù)，這是近二十年以來控制工程由中心化控制發(fā)展到自主多智能體的去中心化分布式集群涌現(xiàn)控制的一個(gè)技術(shù)轉(zhuǎn)捩點(diǎn)，是復(fù)雜性與復(fù)雜系統(tǒng)理論發(fā)展的一個(gè)工程化方向，是人工智能發(fā)展的高級階段，是自主互聯(lián)無人機(jī)器社會學(xué)的一塊實(shí)驗(yàn)基地。5/9/2019中心化的無人機(jī)集群控制關(guān)鍵技術(shù)5/9/2019關(guān)鍵技術(shù)(1)集群通信組網(wǎng)與自主控制集群分布式實(shí)時(shí)操作系統(tǒng)內(nèi)核設(shè)計(jì)集群分布式計(jì)算實(shí)時(shí)數(shù)據(jù)一致性共識協(xié)議(比如RAFT協(xié)議)無人機(jī)集群自組網(wǎng)絡(luò)技術(shù)(Ad-hoc)集群防撞避障自組織計(jì)算新原理動態(tài)航跡實(shí)時(shí)規(guī)劃集群分布式計(jì)算協(xié)同航路規(guī)劃編隊(duì)運(yùn)動協(xié)調(diào)規(guī)劃與控制基于故障預(yù)測的任務(wù)規(guī)劃5/9/2019關(guān)鍵技術(shù)(2)集群環(huán)境感知與理解多源傳感信息融合三維實(shí)距拓?fù)鋾r(shí)序圖實(shí)時(shí)建模方法基于生物視覺認(rèn)知機(jī)理的目標(biāo)識別與環(huán)境建模方法復(fù)雜環(huán)境下分布式協(xié)同感知與理解非結(jié)構(gòu)化感知方法5/9/2019關(guān)鍵技術(shù)(3)集群任務(wù)協(xié)同規(guī)劃與決策非確定復(fù)雜環(huán)境下多目標(biāo)優(yōu)化實(shí)時(shí)決策建模方法多目標(biāo)在線/離線優(yōu)化與決策算法及策略參數(shù)優(yōu)化方法小樣本數(shù)據(jù)強(qiáng)化學(xué)習(xí)技術(shù)與策略參數(shù)在線優(yōu)化方法集群分布式計(jì)算環(huán)境下的動態(tài)多任務(wù)協(xié)同實(shí)時(shí)規(guī)劃5/9/2019關(guān)鍵技術(shù)(4)

集群人機(jī)智能融合與自適應(yīng)學(xué)習(xí)人機(jī)交互技術(shù)人機(jī)功能動態(tài)分配技術(shù)人機(jī)綜合顯控技術(shù)無人機(jī)自主學(xué)習(xí)與推理能力提升方法平臺狀態(tài)/戰(zhàn)術(shù)態(tài)勢/任務(wù)協(xié)同綜合顯示技術(shù)5/9/2019問題與對策問題-中心化集群控制(集散控制思想）中心化控制思想系統(tǒng)結(jié)構(gòu)復(fù)雜，工程控制難度高由頂向下的系統(tǒng)功能模塊化設(shè)計(jì)技術(shù)固定的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)基于知識的集中式被動型路徑規(guī)劃與任務(wù)分配全局態(tài)勢感知與集中式行為決策決策模型與對抗策略設(shè)計(jì)節(jié)點(diǎn)地位不一致系統(tǒng)功能固定對策-集群智能（Swarm

Intelligence）去中心化自組織思想系統(tǒng)結(jié)構(gòu)簡單，工程控制難度低由下向上的系統(tǒng)功能涌現(xiàn)機(jī)制分布式自組織網(wǎng)絡(luò)自適應(yīng)的分布式主動型路徑尋優(yōu)與任務(wù)合作/競爭分布式局部態(tài)勢感知與獨(dú)立行為決策決策模型與對抗策略演化節(jié)點(diǎn)地位一致系統(tǒng)功能涌現(xiàn)5/9/2019解決思路:無人機(jī)集群

去中心化分布式計(jì)算模型

Swarm

Intelligence結(jié)構(gòu)簡單的集群節(jié)點(diǎn)通過局部感知、局部態(tài)勢計(jì)算與局部信息交換，形成節(jié)點(diǎn)局部態(tài)勢三維時(shí)序拓?fù)鋱D，通過分布式共享數(shù)據(jù)庫進(jìn)一步構(gòu)建全局態(tài)勢三維時(shí)序拓?fù)鋱D，實(shí)時(shí)計(jì)算局部/全局友機(jī)合作態(tài)勢矩陣以及敵機(jī)與友機(jī)對抗態(tài)勢矩陣，節(jié)點(diǎn)基于局部/全局合作態(tài)勢與對抗態(tài)勢矩陣，根據(jù)集群合作與對抗決策模型獨(dú)立作出并發(fā)布行為決策，各節(jié)點(diǎn)更新態(tài)勢矩陣信息。分布式計(jì)算各節(jié)點(diǎn)如此獨(dú)立循環(huán)迭代感知、計(jì)算與決策，通過涌現(xiàn)出系統(tǒng)的自組織功能完成復(fù)雜的集群任務(wù)。5/9/2019無人機(jī)集群分布式計(jì)算模型分布式多智能體系統(tǒng)(Multi-Agent)去中心化自主節(jié)點(diǎn)智能體局部環(huán)境感知與計(jì)算智能體局部態(tài)勢計(jì)算自主節(jié)點(diǎn)信息交互

智能體決策模型與博弈策略分布式節(jié)點(diǎn)自主路徑尋優(yōu)分布式節(jié)點(diǎn)任務(wù)合作與競爭多方博弈均衡策略演化Markov決策模型Bellman動態(tài)規(guī)劃技術(shù)算法博弈論演化博弈論增強(qiáng)學(xué)習(xí)技術(shù)Q-Learning演化計(jì)算（Evolutionary

Computations）5/9/2019MultiUAV3無人機(jī)集群仿真平臺建設(shè)飛行動力學(xué)模型傳感器模型武器威脅模型網(wǎng)絡(luò)通訊模型友機(jī)合作模型攻防對抗模型博弈策略演化模塊5/9/2019集群合作與對抗策略仿真演化環(huán)境集群合作策略演化設(shè)計(jì)模塊復(fù)雜適應(yīng)系統(tǒng)CAS理論Reynolds集群啟發(fā)性規(guī)則Boids模型Swarm模型Tanner模型Couzin模型人工勢場領(lǐng)航控制演化計(jì)算與強(qiáng)化學(xué)習(xí)集群對抗策略演化設(shè)計(jì)模塊局部三維時(shí)變拓?fù)鋱D構(gòu)造局部態(tài)勢感知計(jì)算局部態(tài)勢交互通信局部態(tài)勢評估模型局部態(tài)勢-行動決策模型策略搜索演化計(jì)算與強(qiáng)化學(xué)習(xí)研究集群大小、網(wǎng)絡(luò)拓?fù)浜蛦螜C(jī)智能與集群態(tài)勢感知、智能涌現(xiàn)以及作戰(zhàn)效能之間的關(guān)系5/9/2019強(qiáng)化學(xué)習(xí)(ReinforcementLearning)技術(shù)5/9/2019每步t智能體執(zhí)行：執(zhí)行動作At;接收觀察信息Ot；接收回報(bào)Rt；環(huán)境執(zhí)行：接收動作At；發(fā)出觀察信息Ot+1；發(fā)出標(biāo)量回報(bào)信息Rt+1；迭代過程t以環(huán)境采樣周期遞增智能體在與環(huán)境的互動中學(xué)習(xí)5/9/2019MARL5/9/2019多智能體強(qiáng)化學(xué)習(xí)中的困難問題學(xué)習(xí)任務(wù)的維度災(zāi)難問題狀態(tài)轉(zhuǎn)移概率函數(shù)和回報(bào)函數(shù)在多智能體聯(lián)合動作空間下計(jì)算，隨著狀態(tài)和動作的增加，計(jì)算復(fù)雜度呈指數(shù)增長問題更加嚴(yán)重學(xué)習(xí)目標(biāo)的定義問題每個(gè)智能體回報(bào)跟其他智能體的行為相關(guān)，不可能單獨(dú)最大化某個(gè)智能體的回報(bào)學(xué)習(xí)過程的不穩(wěn)定性問題智能體共同學(xué)習(xí)，每個(gè)智能體都面臨一個(gè)不停變化的環(huán)境，最好的策略可能會隨著其他智能體策略的改變而改變。知識探索和利用過程的平衡問題在多智能體下，探索不僅是為了獲取環(huán)境的信息，還包括其他智能體的信息，以此適應(yīng)其他智能體的行為。但過度探索會打破與其他智能體之間的平衡。5/9/2019基于任務(wù)性質(zhì)可對MARL進(jìn)行分類完全合作型無協(xié)調(diào)型直接協(xié)調(diào)型間接協(xié)調(diào)型完全競爭型混合型Agent-independentmethodsAgent-trackingmethodsAgent-awaremethods5/9/2019基于任務(wù)性質(zhì)的MARL分類MARL=時(shí)間差分增強(qiáng)學(xué)習(xí)

博弈論

直接策略搜索5/9/2019按照任務(wù)性質(zhì)與智能體的獨(dú)立性分類MARL5/9/2019

種群初始化解滿足要求？雜交變異更新種群選擇結(jié)束演化計(jì)算一般流程圖5/9/2019無人機(jī)集群對抗大賽標(biāo)準(zhǔn)設(shè)計(jì)集群對抗仿真平臺飛行動力學(xué)模型傳感器模型武器威脅模型網(wǎng)絡(luò)通訊模型對抗策略仿真演化環(huán)境友機(jī)合作模型攻防對抗模型仿真Q-Learning算法策略優(yōu)化計(jì)算集群對抗飛行試驗(yàn)環(huán)境同構(gòu)機(jī)型硬軟件同構(gòu)有效負(fù)載相同對抗集群無人機(jī)數(shù)量相同對抗集群嵌入式?jīng)Q策模塊友機(jī)合作模型與合作策略攻防對抗模型與對抗策略飛行Q-Learning算法5/9/2019對抗大賽的技術(shù)意義無人機(jī)集群對抗賽是一個(gè)檢驗(yàn)群體智能技術(shù)有效性的賽場，可以促進(jìn)無人機(jī)集群決策建模、多智能體系統(tǒng)仿真與機(jī)器學(xué)習(xí)的研究水平。對抗雙方無人機(jī)集群硬軟件與有效負(fù)載同構(gòu)，無人機(jī)決策模型與對抗策略設(shè)計(jì)成可插拔的集群控制模塊。比賽參與者分別經(jīng)過仿真對抗演化平臺得到屬于自己的最優(yōu)決策模型與對抗策略，對抗雙方分別將己方集群無人機(jī)的控制模塊更新為自己的最優(yōu)決策模型與對抗策略。比賽以規(guī)定時(shí)間內(nèi)對抗雙方無人機(jī)的損毀數(shù)量作為戰(zhàn)局的評估基礎(chǔ)，以雙方無人機(jī)的損毀數(shù)量隨對抗進(jìn)行時(shí)間的變化關(guān)系給出比賽最終評分。對抗比賽檢驗(yàn)各參賽方無人機(jī)集群決策模型與對抗策略的設(shè)計(jì)能力，促進(jìn)無人機(jī)集群智能的研究水平。大賽平臺提供開源集群對抗仿真軟件環(huán)境，包括與比賽無人機(jī)同型號的飛行動力學(xué)模型，傳感器模型，武器威脅模型以及可用的網(wǎng)絡(luò)通訊模型，參賽各方主要研究集群合作與對抗決策模型，通過集群對抗仿真平臺采用智能計(jì)算與機(jī)器學(xué)習(xí)等方法搜索最優(yōu)對抗策略。比賽聚焦集群合作與對抗決策建模，重點(diǎn)關(guān)注對抗策略的演化發(fā)現(xiàn)與集群智能的涌現(xiàn)機(jī)理。5/9/2019對抗大賽的科學(xué)意義過去50年中，人工智能研究的主要問題是"單智能體靜態(tài)可預(yù)測環(huán)境中的問題求解"，其標(biāo)準(zhǔn)問題是國際象棋人-機(jī)對抗賽；未來50年中，人工智能的主要問題是"多智能體動態(tài)不可預(yù)測環(huán)境中的問題求解"，其標(biāo)準(zhǔn)問題是足球的機(jī)-機(jī)對抗賽和人-機(jī)對抗賽。從科學(xué)研究的觀點(diǎn)看，無論是現(xiàn)實(shí)世界中的智能機(jī)器人或機(jī)器人團(tuán)隊(duì)(如家用機(jī)器人和軍用機(jī)器人團(tuán)隊(duì)等)，還是網(wǎng)絡(luò)空間中的軟件智能體(如用于網(wǎng)絡(luò)計(jì)算和電子商務(wù)的各種自主軟件以及它們組成的"聯(lián)盟")，都可以抽象為具有自主性、社會性、反應(yīng)性和能動性的"智能體"(agents)。由這些智能體以及相關(guān)的人構(gòu)成的多智能體系統(tǒng)(Multi-agentSystems)，是未來物理和信息世界的一個(gè)縮影。其基本問題是智能體(包括人)之間的協(xié)調(diào)與發(fā)展，主要研究內(nèi)容包括智能體設(shè)計(jì)、多智能體系統(tǒng)體系結(jié)構(gòu)、智能體協(xié)商與合作、自動推理、規(guī)劃、機(jī)器學(xué)習(xí)與知識獲取、認(rèn)知建模、系統(tǒng)生態(tài)和進(jìn)化等一系列專題。這些專題有的是新提出的(如"合作")，有的是過去未能徹底解決并在新的條件下更加復(fù)雜化的(如機(jī)器學(xué)習(xí))。這些問題不解決，未來社會所需的一系列關(guān)鍵性技術(shù)就無法實(shí)現(xiàn)。值得注意的是，上述問題中的大多數(shù)都會在即將到來的比機(jī)器人足球賽更具挑戰(zhàn)性的UAV(無人機(jī))集群對抗大賽中得到集中體現(xiàn)。5/9/2019

結(jié)束5/9/2019無協(xié)調(diào)的方法基于協(xié)調(diào)的方法間接協(xié)調(diào)方法完全合作型任務(wù):Q-Learning5/9/2019無協(xié)調(diào)：非負(fù)回報(bào)的確定式Q-Learning每個(gè)智能