無人機集群技術(shù)-智能組網(wǎng)與協(xié)同 課件 第6章 無人機集群航跡規(guī)劃

國家級虛擬仿真實驗教學一流本科課程《無人機集群技術(shù)》第六章

無人機集群航跡規(guī)劃技術(shù)目錄6.1集群航跡規(guī)劃概述6.2無人機集群編隊設計與控制方法6.3基于虛擬勢場法的協(xié)同避障算法6.4基于Dubins路徑的航跡規(guī)劃算法6.5無人機集群威脅區(qū)域躲避協(xié)同控制算法6.6基于深度強化學習的協(xié)同航跡規(guī)劃6.7本章小結(jié)6.1集群航跡規(guī)劃概述航跡規(guī)劃的約束條件4飛機性能13地理環(huán)境障礙油耗、時間要求2動靜態(tài)威脅無人機的航跡規(guī)劃一般可以描述為以下需要解決的問題：已知：起點；一組要服從的限制條件，如機動能力、續(xù)航能力等；一組需要執(zhí)行任務的目標區(qū)域；一組威脅或障礙區(qū)域；終點。要求：尋找一條穿過目標區(qū)域的可飛路徑，而且在某種性能指標函數(shù)的度量下是最優(yōu)的，即付出的代價最小。6.14航跡規(guī)劃關(guān)鍵技術(shù)編隊隊形設計編隊控制信息交換傳遞技術(shù)近距離編隊時飛機之間的氣動影響實現(xiàn)無人機集群編隊飛行需要解決的關(guān)鍵問題：6.15航跡規(guī)劃算法的分類現(xiàn)代智能算法：人工勢場法啟發(fā)式尋優(yōu)搜索算法遺傳算法人工神經(jīng)網(wǎng)絡算法蟻群算法粒子群算法基于案例的學習算法12傳統(tǒng)經(jīng)典算法：統(tǒng)計歸納法最優(yōu)控制法單元格法Dijkstra算法動態(tài)規(guī)劃法導數(shù)相關(guān)法6.16航跡規(guī)劃算法的分類人工勢場法：將無人機在周圍環(huán)境中的運動，設計成一種抽象的人造引力場中的運動，目標點對移動無人機產(chǎn)生引力，威脅和障礙對移動無人機產(chǎn)生斥力，無人機則在兩者綜合生成的勢場中飛行。A*算法：A*算法是比較流行的啟發(fā)式搜索算法之一，被廣泛應用于路徑優(yōu)化領(lǐng)域，該算法采用啟發(fā)式搜索和最短路徑的搜索相結(jié)合的方法。從起始節(jié)點開始，A*算法不斷尋找最佳節(jié)點使得成本最低，并優(yōu)先擴展這些節(jié)點，使目標函數(shù)值變小，從而形成一組節(jié)點集，這些點的有序連接就是優(yōu)化的路徑。遺傳算法：遺傳算法模擬達爾文“物競天擇，適者生存”的進化法則，提供了一種求解復雜優(yōu)化問題的通用框架，是效仿自然進化過程中搜索最優(yōu)結(jié)果的方法?，F(xiàn)代智能算法6.17航跡規(guī)劃算法的分類人工神經(jīng)網(wǎng)絡算法：人類的大腦由數(shù)量眾多的神經(jīng)元構(gòu)成，這些神經(jīng)元細胞相互之間緊密連接，提出了模擬大腦神經(jīng)元工作的人工神經(jīng)網(wǎng)絡算法。蟻群算法：受到蟻群在環(huán)境中尋找食物與巢穴之間最有效路徑的行為啟發(fā)而產(chǎn)生的航跡規(guī)劃算法。粒子群算法：將無人機在周圍環(huán)境中的運動，設計成一種抽象的人造引力場中的運動，目標點對移動無人機產(chǎn)生引力，威脅和障礙對移動無人機產(chǎn)生斥力，無人機則在兩者綜合生成的勢場中飛行。基于案例的算法：基于案例的學習方法是一種增量式的學習過程，它具有類比學習的功能，該方法通過建立案例庫的方式來存儲之前的規(guī)劃案例，是一組大同小異的學習策略。6.186.2無人機集群編隊設計與控制方法無人機坐標系定義與變換

空間大地坐標系地球中心坐標系載體坐標系NED坐標系無人機在完成飛行工作時，需要依賴于精確的位置坐標，用于各種用途，包括導航、運動規(guī)劃和控制以及任務完成。無人機對于運動的描述主要基于參考系的位置以及速度方向，各個坐標系之間能夠相互轉(zhuǎn)換。6.210無人機編隊隊形的保持與變換常見的編隊隊形：6.211無人機集群的特點與需求21無人機之間的防碰撞隊列中的無人機需要將其它無人機視為附加的移動障礙物，并采取適當?shù)谋苷闲袨槎酂o人機間的協(xié)作編隊控制算法應避免隊列中有一架或多架無人機落后而導致整體等待或完全停止的情況3避免死鎖情況無人機的飛行應加以控制，以避免出現(xiàn)一架或多架無人機對其它無人機路徑造成阻塞的情況編隊控制策略的約束條件：6.212無人機編隊控制方式13跟隨領(lǐng)航者法基于行為的方法2虛擬結(jié)構(gòu)法4圖論法5一致性法無人機的編隊控制目標包括編隊一致性和編隊模式。根據(jù)模式的不同需求，無人機編隊控制方法分為剛性編隊模式和柔性編隊模式。6.213無人機編隊控制方式將某一無人機視為能夠完全獲取整體導航信息的群體領(lǐng)航者，并作為群體中的參考無人機。集中式設計簡單集群的抗摧毀性比較低跟隨領(lǐng)航者法分布式集群的抗摧毀性顯著提升算法設計難6.214無人機編隊控制方式無人機之間保持成剛性架構(gòu)，其整體行為就像嵌入在剛性結(jié)構(gòu)中的粒子一樣，能夠?qū)崿F(xiàn)高精度的運動，不需要領(lǐng)導者的選擇，并且可以靈活的保持固有的各種幾何形狀。虛擬結(jié)構(gòu)法6.215無人機編隊控制方式基于行為的方法：通過采用混合矢量加權(quán)控制函數(shù)來解決編隊控制問題，能夠根據(jù)不同編隊任務生成不同的控制命令。圖論法：利用拓撲圖上的頂點來描述單個無人機，兩點之間的邊用來表述無人機間的關(guān)聯(lián)約束拓撲關(guān)系，將控制理論引入圖中。一致性法：智能體利用與之通信的鄰居智能體的狀態(tài)信息更新自身的狀態(tài)，并最終使所有智能體狀態(tài)達到一致。6.2166.3基于虛擬勢場法的協(xié)同避障算法虛擬勢場法基本原理人工勢場法（ArtificialPotentialField，APF）又稱為虛擬勢場法，其基本思想是把智能體所在的環(huán)境進行抽象化，成為一個虛擬的勢場，智能體受到勢場中力的作用而移動。6.318虛擬力13導航力避障力2拓撲力在原有引力、斥力的基礎(chǔ)上，將單個無人機受到虛擬力分為導航力、拓撲力和避障力三個部分，三種力相疊加則為該無人機最終受到的合力，合力方向即為無人機的運動方向。6.319虛擬力導航力在整個無人機飛行的過程中，集群運動的終點或者路徑規(guī)劃中某個臨時的目標點對無人機產(chǎn)生的導航力是始終驅(qū)使無人機向目的地運動最主要的控制力。6.320虛擬力理此時導航力公式為：

其中kGuidance為導航力增益系數(shù)。

由公式可以看出，導航力和導航力增益系數(shù)與起始位置的歐式距離有關(guān)。6.321虛擬力拓撲力無人機集群由大量無人機節(jié)點組成，兩架在一定范圍內(nèi)的無人機會產(chǎn)生相互作用力。拓撲力一方面維持無人機集群的拓撲結(jié)構(gòu)，另一方面也可以有效地避免無人機之間因距離過近而導致碰撞事故的發(fā)生，對無人機的集群避障有著重要的影響。6.322虛擬力避障力在真實的任務場景下，無人機集群在飛行途中經(jīng)常會遇到如山峰、建筑等障礙物。同時，無人機集群在執(zhí)行軍事任務時，需要有效地避開敵方設置的電磁干擾區(qū)域。此時，避障力的存在就可以很大程度上提高無人機的生存能力，減少經(jīng)濟損失。避障力是以斥力的形式作用于無人機上。6.323虛擬力01虛擬力合力將導航力、拓撲力和避障力三種力進行矢量相加，則可以計算出無人機在虛擬勢場中P位置時最終受到的虛擬力合力虛擬力作為一種虛構(gòu)的概念，其力的大小無法被直觀的感受，卻與各節(jié)點之間的距離息息相關(guān)使用反正切函數(shù)arctan()進行歸一化操作，將無人機所受的虛擬力大小映射到對應的速度大小上6.324虛擬力滿足虛擬力到速度的映射的原因：反正切函數(shù)是單調(diào)增函數(shù)，速度隨著F的增大而變大，符合實際情況當虛擬力的大小為0時，其映射的速度大小也為0，符合實際情況當虛擬力較大時，速度對虛擬力大小的增加敏感度較低，可以避免無人機速度過快無法調(diào)控6.325虛擬勢場法的局部最小點問題當智能個體的運動環(huán)境中存在著形狀較為復雜的障礙物，或者障礙物距離目的地很近時，虛擬勢場中可能會出現(xiàn)局部最小點，出現(xiàn)“目標不可達”或“來回震蕩”的現(xiàn)象。6.326基于虛擬勢場法無人機集群協(xié)同避障無領(lǐng)航者模式領(lǐng)航者-跟隨者模式集群中所有的無人機知曉集群的運動路徑每一個無人機所受的導航力均來自終點或下一個目的點每個人無人機之間的運動相對獨立在一些軍事任務中，為了避免信息泄露，無人機集群的運動信息并不會告知所有無人機節(jié)點由于戰(zhàn)場局勢的變化，無人機的運動路徑需要實時地發(fā)生變化。如果此時使用無領(lǐng)航者模式，將更新的運動信息告知每一個無人機節(jié)點開銷較大。在這種情況下，通常會把更新的運動信息告知其中某個無人機。6.327基于虛擬勢場法無人機集群協(xié)同避障在領(lǐng)航者-跟隨者模式下存在的問題？當無人機集群數(shù)量較大時，受到通信范圍的限制，將所有跟隨者直接與領(lǐng)航者對接顯然是不切實際的，所以此時需要一種新的方法來解決運動信息不足的問題。6.328基于虛擬勢場法無人機集群協(xié)同避障集群分級制度按照跟隨者到領(lǐng)航者距離的遠近，把跟隨者劃分成不同的層級領(lǐng)航者仍然受到來自下一個目的點的導航力、周圍節(jié)點的拓撲力以及避障力的影響此時跟隨者會失去導航力的作用，僅受到低層級節(jié)點的吸引力、周圍節(jié)點的排斥力以及避障力的作用6.329虛擬勢場法的避障性能基于虛擬勢場法對無人機集群避障算法進行仿真驗證無人機集群初始位置障礙物目的地6.330虛擬勢場法的避障性能基于虛擬勢場法對無人機集群避障算法進行仿真驗證導航力作用到達目的地避障力作用改變隊形拓撲結(jié)構(gòu)變化運動軌跡6.331虛擬勢場法的避障性能在分配導航力權(quán)重βG、拓撲力權(quán)重βT、避障力權(quán)重βO時，需要對這三個參數(shù)進行合理的設置。如果三個系數(shù)設置不夠合理，則會出現(xiàn)無人機撞毀的情況。6.3326.4基于Dubins路徑的航跡規(guī)劃算法Dubins曲線Dubins路徑是在滿足轉(zhuǎn)彎半徑和設定的起始點和目標點的速度方向的限制下，連接兩個二維平面（即X-Y平面）的最短路徑6.434路徑擴展點的選擇MFDA算法將直線航跡與威脅區(qū)域圓的切點作為下一步擴展節(jié)點LSRRLS將節(jié)點pn1和節(jié)點pn2均加入進OPEN表中通過評估函數(shù)分別計算兩個節(jié)點的代價值并進行比較，選擇出代價值最小的節(jié)點作為下一步的路徑擴展節(jié)點同時將此節(jié)點添加到CLOSE表中，循環(huán)計算，規(guī)劃無人機飛行航跡6.435路徑擴展點的代價計算與選取

MFDA算法同時考慮路徑代價和威脅代價對無人機軌跡的影響，估價函數(shù)建立如下

其中，g(n)=w1·Distance+w2·Hazard，w1表示距離代價的影響因子，w2表示威脅代價的影響因子，w1+w2=1。Distance距離由兩端弧長和一段直線長度構(gòu)成，如圖所示，分別計算LSR和RLS兩種類型的Dubins路徑距離。LSRRLS6.436MFDA算法路徑規(guī)劃流程①首先將起始點當作當前路徑擴展點，生成到目標點的路徑。②通過MFDA算法估價函數(shù)計算并選出代價值最小的點作為下一步的路徑擴展點，將此路徑擴展點加入到CLOSE表中。③將步驟②中選取的路徑擴展點作為當前的位置，然后重新執(zhí)行步驟①的操作。之后重復上述過程，不斷產(chǎn)生新的路徑擴展點，直到到達目的點，構(gòu)建出完整路徑。6.4376.5無人機集群威脅區(qū)域躲避協(xié)同控制算法單集群編隊避障控制“虛擬中心點”是以Dubins曲線為核心的路徑擴展點。在無人機集群飛行過程中，采用“跟隨領(lǐng)航者”模式，將虛擬中心點看做領(lǐng)航者，使用MFDA算法進行突發(fā)威脅區(qū)域航跡規(guī)劃，在此基礎(chǔ)上建立的路徑擴展點作為領(lǐng)航者下一步的位置點，并在每一個路徑擴展點上建立以虛擬中心點即領(lǐng)航者為圓心，半徑為Rvir的圓形，虛擬集群參考點在圓上均勻分布。虛擬集群參考點6.539單集群編隊避障控制人工勢場函數(shù)的設計將無人機看作是一個質(zhì)點，障礙物看作是圓形區(qū)域根據(jù)無人機當前位置的勢能來決定飛行的方向和速度人工勢場法遵循“近距排斥，遠距吸引”的原則無人機在各種力的合力下運動時會逐漸達到平衡態(tài)此時每個無人機會占據(jù)“圓環(huán)形”集群編隊隊形上的一個虛擬集群控制點，在此位置所建立的勢場最小6.540單集群編隊避障控制單集群編隊控制算法流程每一個無人機選擇在虛擬集群中心點為圓心上均勻分布的虛擬集群控制點設計合適的勢場函數(shù)使得真實無人機受到虛擬集群控制點的引力最終在合力的作用下形成固定的隊形利用虛擬控制網(wǎng)絡中虛擬集群控制點的引力使無人機集群保持穩(wěn)定的隊形6.541多集群編隊避障控制k-means分簇算法k-means算法是一種無監(jiān)督的分簇算法，通過聚類計算來處理無類標數(shù)據(jù)。在進行分簇之前，k-means算法開始并不知道數(shù)據(jù)的正確分簇結(jié)果，根據(jù)算法發(fā)掘數(shù)據(jù)自身的信息特點，然后對多個數(shù)據(jù)進行分簇。①算法運行開始設置分簇個數(shù)k；②從所有樣本集合中隨機選取k個樣本作為k個初始簇的簇中心；③將集群中的每個樣本點根據(jù)距離劃分到距離它最近的簇中心所代表的簇中；④使用每個簇中的所有樣本點重新計算每個簇的簇中心點；⑤重復步驟③和步驟④，直到簇中心不再出現(xiàn)改變或者達到仿真設置的計算次數(shù)，或者在設定的容錯范圍內(nèi)。6.542多集群編隊避障控制編隊間防碰撞算法兩架無人機飛行軌跡示意圖飛行遠離飛行遠離飛行靠近6.543多集群編隊避障控制編隊間防碰撞算法同一威脅區(qū)域發(fā)生碰撞不同威脅區(qū)域發(fā)生碰撞選擇新的路徑擴展點6.544多集群編隊避障控制集群編隊控制算法流程對無人機集群進行分簇處理，根據(jù)MFDA算法進行路徑規(guī)劃各個無人機分簇之間通過速度矢量共享的方式判斷是否會發(fā)生碰撞，如果發(fā)生碰撞則通過MFDA算法重新選擇路徑擴展點，否則集群中無人機選擇相應的虛擬集群控制點無人機集群在合力的作用下向虛擬集群控制點方向飛行如果每個無人機集群都到達了設定的目標點附近則仿真結(jié)束，否則每個集群虛擬中心繼續(xù)根據(jù)MFDA算法進行路徑規(guī)劃，重新按照上述步驟進行算法運行6.5456.6基于深度強化學習的協(xié)同航跡規(guī)劃系統(tǒng)模型假設任務區(qū)域其中有N個無人機、M個障礙物和一個目標每架無人機都配備有GPS定位設備，并能識別自己的位置無人機之間可以通過無線收發(fā)器通信，以交換位置和速度等信息無人機最初位于起始點隨機分布并打算沿著實時規(guī)劃軌跡移動到目標點障礙物在任務區(qū)域中隨機分布無人機通過傳感器確定障礙物的位置為了滿足強化學習的要求，采用離散時間尺度6.647系統(tǒng)模型無人機集群系統(tǒng)的航跡規(guī)劃行程應盡可能小要求無人機能夠自主避開障礙物及其鄰居節(jié)點兩個無人機之間的距離必須小于最大通信距離無人機集群協(xié)同航跡規(guī)劃的主要目標：6.648馬爾可夫決策過程

馬爾可夫決策過程必須滿足馬爾可夫性過程的下一個狀態(tài)僅取決于過程的當前狀態(tài)和決策者選擇的動作6.649馬爾可夫決策過程式中，γ∈[0,1)表示折扣因子。通常，我們表示在策略π下，在s狀態(tài)采取行動的價值（即預期回報）作為行動價值函數(shù)強化學習的目標是學習一個策略π，以使累計折扣報酬最大化6.650馬爾可夫決策過程其中α是學習率，r+γmaxQπ(s′,a′)稱為TD目標，r+γmaxQπ(s′,a′)?Qπ(s,a)稱為TD誤差。動作值函數(shù)在每個時間步更新一次，直到收斂。利用收斂的動作值函數(shù)并根據(jù)貝爾曼最優(yōu)性原則即可確定最優(yōu)策略。時間差分（temporaldifference,TD）法，其中動作值函數(shù)的更新規(guī)則為根據(jù)貝爾曼的最優(yōu)性原則，最優(yōu)策略等價于最大化動作值函數(shù)6.651狀態(tài)和動作空間設計目標狀態(tài)信息障礙物狀態(tài)信息鄰居信息為了使無人機的飛行軌跡更加平滑，模型采用連續(xù)動作空間無人機i在時間步t的觀測信息si,t由三部分組成6.652獎勵函數(shù)設計獎勵信號將加強智能體的行動一個好的獎勵函數(shù)可以縮短算法的收斂時間盡快到達目標點不與障礙物和鄰居節(jié)點發(fā)生碰撞與鄰居節(jié)點保持適當?shù)木嚯x

無人機集群系統(tǒng)的航跡規(guī)劃的主要目的：6.653獎勵函數(shù)設計獎勵函數(shù)定義接近目標獎勵：該獎勵用于指導無人機朝著目標方向飛行。其基本思想是，在每一個步中，朝向目標方