第六章 未來展望與挑戰(zhàn)

無人機載荷與行業(yè)應用第六章 未來展望與挑戰(zhàn)目 錄

基于載荷數(shù)據(jù)的AI識別項目1項目2項目3項目4

載荷數(shù)據(jù)的深化應用5G網(wǎng)聯(lián)無人機的機遇

無人機載荷數(shù)據(jù)仿真項目1基于載荷數(shù)據(jù)的AI識別無人機可以搭載的載荷十分豐富，包括光電吊艙、正射相機、傾斜相機、多拼相機、熱成像相機、多光譜/高光譜、激光雷達和合成孔徑雷達等。這些載荷獲取的數(shù)據(jù)形式多樣，并且包含了不同的對地觀測信息，具有數(shù)據(jù)量大、價值密度低等特點。如何利用新興的人工智能技術(shù)，結(jié)合傳統(tǒng)的遙感數(shù)據(jù)處理方法，對多種多樣的無人機遙感數(shù)據(jù)進行處理，高效地識別出關(guān)鍵信息，是基于無人機載荷數(shù)據(jù)的AI識別相關(guān)技術(shù)要解決的重要問題。任務1

基于可見光數(shù)據(jù)的AI識別無人機可見光載荷獲取的數(shù)據(jù)包括常見原始RGB圖像和正射影像常見原始RGB圖像是光電吊艙或其他可見光相機直接獲取得到，一般構(gòu)成無人機視頻圖像和無人機相片集正射影像一般是指利用相片集或視頻圖像進行初步拼接或鑲嵌，得到更大范圍的對地觀測可監(jiān)管數(shù)據(jù)要完成指定的監(jiān)管任務，首先要提取上述兩種載荷數(shù)據(jù)中的感興趣目標（包括但是不限于人、車、道路、河流、山峰、樹木、土地類型等），然后按照一定的業(yè)務邏輯對獲取到的感興趣目標做進一步的處理。利用無人機圖像提取到感興趣目標，結(jié)合無人機平臺和載荷的相關(guān)數(shù)據(jù)如地理坐標和位姿，計算得到目標的實際地理位置和范圍，可以實現(xiàn)各類應用，比如目標偵測和定位、地面感興趣要素提取等，在區(qū)域監(jiān)控、應急測繪、自然資源管理、農(nóng)業(yè)管理等行業(yè)都具備巨大的應用價值。任務1

基于可見光數(shù)據(jù)的AI識別任務1基于可見光數(shù)據(jù)的AI識別從常見無人機RGB圖像中提取感興趣目標的方法有多種，目前主流的方法是基于卷積神經(jīng)網(wǎng)絡的三大計算機視覺基礎任務——分類、檢測、分割，分別對應圖像級、對象級、像素級的感興趣目標提取。（a）圖像分類（b）目標分類

（c）語義分割目標分類、檢測、分割（d）實例分割任務1

基于可見光數(shù)據(jù)的AI識別基于分類任務的感興趣目標提取方法由一個卷積網(wǎng)絡（結(jié)構(gòu)可根據(jù)需求設計）提取特征，后接一個全連接層組成（如AlexNet、ResNet、GoogleNet等），輸出圖像級的感興趣目標分類結(jié)果，通常應用于場景分類（無人機場景下此類應用較少）基于檢測任務的感興趣目標提取方法可分為以R-CNN系列為代表的一階段目標檢測思路和以YOLO系列為代表的兩階段目標檢測思路，輸出對象級的感興趣目標定位與分類結(jié)果（在圖像中用一個矩形框定位感興趣目標的位置），可應用于公路巡檢、海洋巡檢、環(huán)境監(jiān)測等多個無人機的行業(yè)應用場景。任務1

基于可見光數(shù)據(jù)的AI識別基于分割任務的感興趣目標提取方法根據(jù)是否區(qū)分同類目標個體，可分為語義分割與實例分割，但無論是語義分割網(wǎng)絡還是實例分割網(wǎng)絡，大多都采用encoder-decoder結(jié)構(gòu)（如U-Net、deeplab等），輸出像素級的感興趣目標像素分類結(jié)果（將圖像中屬于感興趣目標的像素與其他像素作區(qū)分），可以看作是更精細的檢測結(jié)果，一般用于對檢測結(jié)果要求更為細致的場景（如裸露土地分割、農(nóng)作物面積統(tǒng)計等）。正射影像由相片集或視頻圖像拼接而成，其分辨率遠遠大于常見的RGB圖像。因此正射影像不能直接用上述基于卷積神經(jīng)網(wǎng)絡的方法提取感興趣目標，而是需要按需制定某種裁剪策略，將正射影像裁剪為分辨率較小的圖片塊，分別提取圖片塊中感興趣的目標，將所有圖像塊的提取結(jié)果進行取冗余處理，以得到最終的正射影像感興趣目標提取結(jié)果。任務1

氣體傳感器簡介與地面通用感興趣目標提取相比，基于無人機影像的感興趣目標提取具有目標占比更小、外觀與地面相差大、背景更為復雜的難點。因此，地面通用目標提取的數(shù)據(jù)集和網(wǎng)絡結(jié)構(gòu)與無人機場景并不是十分契合，且無人機采集的影像數(shù)據(jù)相比于地面采集的影像數(shù)據(jù)，具有更大的自由度，給訓練數(shù)據(jù)集的采集、標注、劃分帶來了更多挑戰(zhàn)。任務1

氣體傳感器簡介任務2

基于熱成像數(shù)據(jù)的AI識別因此，若將熱成像數(shù)據(jù)與可見光數(shù)據(jù)融合，利用不同數(shù)據(jù)間的特性互補，可以有效改善單個數(shù)據(jù)源的影像信息不足的缺點。選擇合適的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)及方法，對融合后的影像進行感興趣目標提取能夠取得更好的效果?？梢姽鈧鞲衅鳎嚎梢垣@得目標的顏色、紋理等信息，但成像效果易受到天氣、光照等因素的影響。紅外傳感器：接收熱輻射，不受光照影響，且不受電磁干擾，其成像效果更穩(wěn)定，但紅外傳感器靠溫差成像，圖像通常對比度低，細節(jié)模糊。任務2

基于熱成像數(shù)據(jù)的AI識別按照融合的方式不同像素級融合理方式，不同圖像像素是融合后像素的一維信息特征級融合特征級融合，即需要先提前特征，然后再通過合理方式進行融合決策級融合決策級融合需要先分別提取不同圖像的感興趣目標，再對提取的結(jié)果進行融合按照融合的方式不同，圖像的融合可分為像素級融合、特征級融合以及決策級融合。像素級融合如同數(shù)字多通道的圖像處光譜數(shù)據(jù)作為一種集光譜和空間信息于一體的數(shù)據(jù)源，使得識別和區(qū)分各類地物的能力大大提高，對光譜數(shù)據(jù)進行精準分類是獲取地物信息的一種主要途徑，在農(nóng)作物預估產(chǎn)、病蟲害防治、地球環(huán)境監(jiān)測、地質(zhì)災害預警、國防軍事偵察等方面都具有重要的研究價值和意義。任務3

基于光譜數(shù)據(jù)的AI識別任務3

基于光譜數(shù)據(jù)的AI識別與普通圖像不同，光譜數(shù)據(jù)是三維的立方數(shù)據(jù)，廣泛應用于普通圖像的二維卷積網(wǎng)絡在處理三維光譜數(shù)據(jù)時存在一定的局限性，不能充分利用聯(lián)合的光譜和空間信息。由于光譜數(shù)據(jù)與視頻數(shù)據(jù)同為相似的三維數(shù)據(jù)，在視頻的應用和分析上取得優(yōu)越性能的三維卷積神經(jīng)網(wǎng)絡成為更有效提取光譜-空間聯(lián)合特征、進行光譜數(shù)據(jù)分類的可行方法。光譜數(shù)據(jù)示意圖任務4

基于激光點云數(shù)據(jù)的AI識別激光雷達掃描技術(shù)被用來實時快速采集地形表面的三維信息，通常來說機載

LIDAR系統(tǒng)由激光掃描系統(tǒng)、全球衛(wèi)星導航定位系統(tǒng)（GNSS）和慣性測量單元（IMU）組成。首先通過激光掃描系統(tǒng)獲得反射點到掃描儀的距離及方位角信息，得到反射點在激光坐標系下的三維坐標，然后將反射點的三維坐標轉(zhuǎn)換到慣性參考坐標系下，接著結(jié)合IMU測得的姿態(tài)信息以及GNSS測得的定位信息，獲得反射點在當?shù)貐⒖甲鴺讼迪碌娜S坐標，最后將其顯示在地面站成圖系統(tǒng)中，便得到了三維點云數(shù)據(jù)，點云數(shù)據(jù)中每個點至少應包含空間坐標信息，此外還可包含顏色、反射強度等信息。任務4

基于激光點云數(shù)據(jù)的AI識別由于 LIDAR 系統(tǒng)具有受天氣影響小、自動化度高、成圖快速精確等優(yōu)點，在地形掃描測繪、城市三維重建等眾多方面具有廣泛應用。在點云數(shù)據(jù)的處理中，主要包含的任務有：3D點云分類與2D圖像的任務目標相似，3D點云分類是指識別出點云所屬的對象類別3D點云目標檢測與跟蹤3D點云目標檢測與跟蹤是指在點云中定位對象的具體位置并在連續(xù)幀中識別出同一對象（使用點云中豐富的幾何信息，有望克服基于2D圖像跟蹤所面臨的遮擋、照明、比例變化等缺點）任務4

基于激光點云數(shù)據(jù)的AI識別3D點云分割3D點云分割則是給每個點預測一個類別標簽，表明它所屬的對象類別，本質(zhì)上是一種對點云中每個點的分類（注意與3D點云分類任務做區(qū)分，3D點云分類任務是對整個點云分類）3D點云配準點云配準指的是輸入兩個點云，輸出一個變換矩陣，使得經(jīng)過變換后的兩個點云的重合程度盡可能高。任務4

基于激光點云數(shù)據(jù)的AI識別一是基于點（point-based）的處理模式（如SqueezeSeg、RangeNet＋＋）優(yōu)勢：基于點的處理模式直接操縱原始點云數(shù)據(jù)，能最大限度地利用點云的空間信息缺點：但該模式下點的數(shù)量眾多，計算量龐大二是基于投影（projection-based）的處理模式（如PointNet、RandLA-Net）優(yōu)勢：投影到2D平面后，可以利用二維圖像領域成熟的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)及方法對其進行處理缺點：將3D點云投影到2D平面，不可避免地將損失點云的空間信息在現(xiàn)有的深度學習點云處理方法中，有兩大主流模式：人工智能在SAR

數(shù)據(jù)上的應用主要集中在目標檢測（Object Detection）、抑斑降噪（Despeckling）、自動目標識別（Automatic

Target

Recognition，ATR）、圖像分類（Image Classification）、相位解纏（Phase Unwrapping，PU）、成像仿真（Imaging

Simulation）等領域。任務5

基于SAR數(shù)據(jù)的AI識別任務5

基于SAR數(shù)據(jù)的AI識別在SAR圖像的目標檢測方面，目前主要集中于基于SSDD等數(shù)據(jù)集進行SAR圖像船舶檢測的研究。多尺度快速R-CNN、深度CNNs、輕量級CNN、YOLO-V4和YOLO-V5等深度學習網(wǎng)絡，在SAR圖像船舶檢測上都有良好應用并且，船舶檢測的定位框已經(jīng)從軸向包圍盒（Axis-aligned

BoundingBox，AABB）發(fā)展為有向包圍盒（Oriented

Bounding

Box，OBB）或旋轉(zhuǎn)包圍盒（Rotatable

Bounding

Box，RBB），例如SDOE、DRBOXV1和DRBOX

V2等。任務5

基于SAR數(shù)據(jù)的AI識別SAR這種相干系統(tǒng)易受到乘性噪聲的影響，在圖像上形成相干斑點噪聲，嚴重影響人眼判讀以及計算機的自動目標檢測和識別等應用。在SAR圖像的抑斑降噪方面，學界主要應用CNN進行相關(guān)研究，例如NeighCNN、Nonlocal CNN、Contourlet-CNN、Multi-Objective

CNN和ID-CNN等。任務5

基于SAR數(shù)據(jù)的AI識別在SAR圖像的自動目標識別方面，學界主要基于MSTAR等數(shù)據(jù)集進行SAR圖像軍事目標自動識別的研究，主要使用的深度學習網(wǎng)絡為CNN和GAN。例如以下幾種方法，都是針對MSTAR的軍事目標自動識別任務研發(fā)而成的。一種無損輕量化的CNN設計一種基于CNN的Self-Matching

CAM方法一種基于CN-GAN和CNN的復雜環(huán)境ATR方法一種極限學習機（ELM：Extreme

LearningMachine）和CNN相結(jié)合的方法一種在GAN上發(fā)展起來的基于多任務學習的開放集識別方法（OSR：OpenSet

Recognition）一種基于條件變量自動編碼器（CVAE）和GAN的CVAE-GAN模型MSTAR是在20世紀90年代中期，由美國國防高等研究計劃署（DARPA）推出，通過高分辨率的聚束式合成孔徑雷達采集多種蘇聯(lián)目標軍事車輛的SAR圖像。MSTAR計劃進行了SAR實測地面目標試驗，包括目標遮擋、偽裝、配置變化等擴展性條件，形成了較為系統(tǒng)、全面的實測數(shù)據(jù)庫。目前MSTAR數(shù)據(jù)集在SAR圖像目標識別研究上得到了廣泛應用。任務5

基于SAR數(shù)據(jù)的AI識別任務5基于SAR數(shù)據(jù)的AI識別在SAR圖像分類方面，學界將CNN廣泛地應用在極化SAR圖像分類領域，如圖所示。例如，一個完全無監(jiān)督的模型融合卷積自動編碼器（CAE）和矢量量化（VQ）與CNN結(jié)合在一起，實現(xiàn)了無監(jiān)督的極化SAR圖像分類。引自《ADeepVector

Quantization

Clustering

Method

forPolarimetric

SARImages》項目2載荷數(shù)據(jù)的深化應用任務1

正射相機數(shù)據(jù)正射影像圖是一種新型數(shù)字測繪產(chǎn)品，是有著廣闊應用前景的基礎地理信息數(shù)據(jù)。其作用如下：a.它可用于更新數(shù)字線劃地圖數(shù)據(jù)，提高數(shù)據(jù)的現(xiàn)勢性，加快地形圖的更新速度，也可作為背景圖直接應用于城市各種地理信息系統(tǒng)b.它不僅廣泛應用于城市規(guī)劃、土地管理、環(huán)境分析、綠地調(diào)查、地籍測量等方面，也可以與線劃圖、文字注記進行疊加，形成影像地圖，豐富地圖的形式，增加地圖的信息量任務1

正射相機數(shù)據(jù)c.利用數(shù)字正射影像與數(shù)字地面模型或者建筑結(jié)構(gòu)模型可建立三維立體景觀圖，豐富城市管理、規(guī)劃的手段與方法數(shù)字正射影像地圖增量式生成任務1

正射相機數(shù)據(jù)（1）修測數(shù)字線劃圖：數(shù)字線劃圖上高層建筑存在投影誤差，但對于4層樓以下的建筑物來說，投影誤差較小，可以忽略不計，而對于高層建筑可以先在建筑頂部采集其形狀、大小，再根據(jù)建筑可見的地面上的點確定其位置。（2）應用于城市規(guī)劃：正射影像信息覆蓋的范圍大，分辨率高，對于宏觀定性分析，有著重要的作用與價值。其信息可應用于大范圍的區(qū)域規(guī)劃，尤其對于城市規(guī)劃建設，應用現(xiàn)代信息提取技術(shù)可以開展很多專題的調(diào)查研究，揭示城市資源與環(huán)境的空間分布規(guī)律及其相互聯(lián)系、相互制約的關(guān)系，提出對于城市可持續(xù)發(fā)展規(guī)劃與管理決策等具有現(xiàn)實借鑒價值的建議。任務1

正射相機數(shù)據(jù)（3）制作三維景觀模型：用數(shù)字正射影像制作三維景觀具有非常廣闊的發(fā)展前景，可以為城市規(guī)劃的成功決策提供最基本、最直觀的技術(shù)支持；電子沙盤景觀更加真實，攜帶更加方便，更新也更加容易；真實、生動的三維景觀網(wǎng)上旅游使游客再也不受時間、空間的限制；其他像公安部門、消防部門的警力部署，電力部門的線路架設，交通部門的管理調(diào)度，三維景觀都會給予巨大的支持和再現(xiàn)。任務1

正射相機數(shù)據(jù)應用數(shù)字攝影測量技術(shù)所具有的制作城市景觀數(shù)字模型的功能，能在計算機上非常逼真地再現(xiàn)城市現(xiàn)狀，并可以多視角瀏覽，以輔助規(guī)劃設計與建設的參與者及決策者開展相關(guān)工作，毫無疑問，其基礎資料數(shù)字正射影像有著不可替代的作用。（3）制作三維景觀模型：任務1

正射相機數(shù)據(jù)（4）在土地變化方面的利用：利用數(shù)字正射影像圖的像幅范圍大，信息量豐富、獲取方便、更新快，可以及時地為土地決策部門提供決策所需的信息，通過系列數(shù)字正射影像圖的定期（如三年期、五年期、十年期、二十年期、五十年期）對比了解現(xiàn)代城市的建設發(fā)展歷程，體現(xiàn)了城市和環(huán)境以及土地利用等方面的發(fā)展變化，得到相應的土地利用類型分類圖，還可以對這些分類圖進行數(shù)據(jù)迭合等處理，獲取土地利用動態(tài)變化信息。任務1

正射相機數(shù)據(jù)正射影像資料具有宏觀、快速、動態(tài)、綜合的優(yōu)勢，數(shù)字正射影像圖資料可以為編制國土規(guī)劃和地區(qū)經(jīng)濟規(guī)劃提供國土資源（自然資源和社會資源）、環(huán)境和自然災害方面的調(diào)查與分析評價資料等。所以，數(shù)字正射影像資料是制定國民經(jīng)濟和社會發(fā)展計劃、國土規(guī)劃和地區(qū)經(jīng)濟規(guī)劃的一種手段。任務2

多拼相機數(shù)據(jù)多拼相機多用于傾斜攝影測量，獲取拍攝區(qū)域垂直與傾斜的影像數(shù)據(jù)，并配合慣導系統(tǒng)獲取曝光點的位置姿態(tài)信息，生成基于真實影像紋理的高分辨率實景三維模型。與正射影像相比：實景三維模型可以較為全面、清晰且高精度地感知目標物的復雜場景，其獲得的數(shù)據(jù)成果能更加真實客觀地反映目標物的實際情況，還可獲取目標物的絕對位置、高度等屬性信息，細節(jié)表達豐富，保證目標物成果的真實性及精度的可靠性。任務2

多拼相機數(shù)據(jù)實景三維模型非單體化模型單體化三維模型成果數(shù)據(jù)采用專業(yè)建模軟件生成三維模型一般在非單體化模型的基礎上進行，對建筑物等地物進行對象化、精細化構(gòu)造，單體化模型可以進行屬性查詢及編輯操作。隨著我國城市建設的快速發(fā)展，城鎮(zhèn)化進程日益加快，各個行業(yè)都在積極響應數(shù)字化、智慧化的號召，三維模型由于能夠逼真顯示現(xiàn)實三維場景，已成為城市規(guī)劃、建設、管理以及應急保障的重要依據(jù)。任務2

多拼相機數(shù)據(jù)智慧城市建設方面：隨著城市管理和地理信息服務對空間精密性、動態(tài)可視性需求的增強，作為智慧城市空間載體的數(shù)字城市建設被迅速推廣，快速構(gòu)建數(shù)字城市實景三維模型也逐步進入快速發(fā)展階段。特別是采用傾斜攝影測量技術(shù)，通過多視相機獲取多視角影像，使通過自動建模系統(tǒng)完成城市實景三維模型建模生產(chǎn)的實際應用得到推廣。城市實景三維模型建模示意圖任務2

多拼相機數(shù)據(jù)應急救災方面：災害的發(fā)生危及全球人民的生命財產(chǎn)安全，在應對災害過程中，關(guān)鍵問題是快速、及時地收集高質(zhì)量的數(shù)據(jù)信息，同時災害危險性評估及災后跟蹤分析也是重中之重。三維實景模型能直觀地反映災區(qū)的地形信息，便于進一步分析災害發(fā)生的位置、類型及范圍等。同時還可以對災區(qū)進行災后跟蹤，實時獲取災區(qū)的實際情況，及時把握災后重建工作的進程，制定合適的救助方案，避免二次災害的發(fā)生。任務2

多拼相機數(shù)據(jù)地質(zhì)監(jiān)測方面：通過構(gòu)建高精度的三維實景模型，融合AR技術(shù)實時、直觀、形象地呈現(xiàn)變形體的真實三維景象及變形情況，在三維實景模型上實時動態(tài)地顯示GNSS傳感器的狀態(tài)、監(jiān)測對象的變形量并對變形情況進行分析預警等。還可以通過手機、計算機等實時查看、控制傳感器，及時獲取監(jiān)測對象的各種數(shù)據(jù)，并對其進行分析、顯示及存儲等。熱成像技術(shù)是通過運用光電技術(shù)接收物體輻射的特殊紅外線信號，將該信號轉(zhuǎn)換成人眼可識別的圖像或視頻，并賦予圖像或視頻溫度值。紅外熱成像技術(shù)使人類超越了視覺局限，由此人們可以感知物體表面的溫度分布狀況。紅外熱成像儀就是利用該技術(shù)生產(chǎn)的載荷設備，憑著實時視頻成像、操作簡便、成本低等優(yōu)勢，依賴于無人機搭載可實現(xiàn)的遠距離、非接觸、大面積、直觀快速檢測等優(yōu)點，在民航、電力、石化、森林防火、醫(yī)療等領域也有著廣泛的應用。任務3

熱成像數(shù)據(jù)任務3

熱成像數(shù)據(jù)1.電力巡檢電力行業(yè)是紅外熱成像技術(shù)最先應用的行業(yè)之一，已被電力行業(yè)標準DL/T 644和DL/T 596等確定為標準檢測工具，它在安全隱患發(fā)現(xiàn)和設備維護檢測等方面具有不可替代的作用。紅外熱像儀作為成熟的電力在線監(jiān)測技術(shù)手段，可對負荷電氣設備進行檢測，通過對紅外熱成像譜圖的分析，能及時發(fā)現(xiàn)異常溫度點，快速定位隱患及缺陷點，防止電氣火災事故發(fā)生。供電系統(tǒng)也可結(jié)合紅外熱成像技術(shù)對電氣設備進行常規(guī)定期檢測，預先發(fā)現(xiàn)事故隱患，保障電力設備的持續(xù)可靠運行應用于電力巡檢中的紅外熱成像技術(shù)主要包括兩個部分：紅外熱成像技術(shù)檢測和熱成像溫度圖像分析。無人機搭載熱成像儀對電氣設備表面的溫度熱圖信息進行全面采集和掃描，若發(fā)現(xiàn)異常，則可通過地面站軟件控制無人機針對性、近距離地對異常部位進行準確、細致的監(jiān)測。再基于探測所得輻射信號轉(zhuǎn)換為電信號，處理生成溫度分布熱圖像，與電氣設備熱力場分布相對應。設備各部分的溫度分布基于熱圖像中不同顏色進行劃分，具備直觀、可視化的優(yōu)勢。圖像分析階段則是依據(jù)生成的熱圖像按照所需對其輻射率、亮度、對比度等參數(shù)進行調(diào)整，進而分析得到熱圖中每個點的溫度以及各線面上的最高溫度、平均溫度等有效信息。任務3

熱成像數(shù)據(jù)技術(shù)人員便可以此建立數(shù)據(jù)庫對探測物體的故障缺陷進行分析，以便采取有效且針對性的措施進行處置。同時，無人機回傳的位姿數(shù)據(jù)也便于技術(shù)人員對故障點位置進行精準定位，提高了故障處理的效率。電力巡線示意圖任務3

熱成像數(shù)據(jù)2.油氣管巡石油化工領域的許多設備需要在高溫高壓環(huán)境下工作，容易產(chǎn)生安全隱患。根據(jù)安全生產(chǎn)要求，需要對其進行實時監(jiān)測，提前發(fā)現(xiàn)異常并及時消除隱患。使用紅外熱成像技術(shù)能對管道、法蘭、閥門、油罐氣罐等石油化工行業(yè)常見設備的腐蝕、破裂、減薄、堵塞及泄漏等進行檢測，得到設備和材料表面溫度分布。根據(jù)異常溫度點的分布，可快速定位隱患點，以此減少石油化工生產(chǎn)中的潛在危險。無人機與熱成像儀的組合具備了非接觸式、抗干擾能力強、可靠性高、靈敏度高等優(yōu)點，可實時為檢查人員提供更為開闊的觀察視野，為設備維修整改提供數(shù)據(jù)依據(jù)，為企業(yè)設備安全管理提供技術(shù)支持。任務3

熱成像數(shù)據(jù)3.

生命探測融合應用無人機控制技術(shù)和紅外技術(shù)應運而生的紅外熱成像的生命探測飛行器可以很好解決特殊環(huán)境下搜救人員視野受限的問題，其通過高速率的數(shù)據(jù)流傳輸可將實時圖像傳輸至地面站，給搜救及觀測人員提供災難現(xiàn)場清晰、全局的視角圖像，便于現(xiàn)場指揮人員及時準確地構(gòu)建營救方案，有效降低復雜環(huán)境給救援行動帶來的負面影響，提高救援效率，爭取救援時間。水中/林區(qū)人員搜救示意圖任務3

熱成像數(shù)據(jù)飛行器控制模塊通信模塊在紅外熱成像模塊其功能體現(xiàn)在通過傳感器測得的無人機位姿數(shù)據(jù)進行姿態(tài)解算，確保飛行器以穩(wěn)定姿態(tài)執(zhí)行飛行任務則是將地面站軟件的控制指令傳送至飛行器控制模塊，合理操控飛行器按照所需姿態(tài)和路徑進行飛行中主要進行圖像信號的采集并實時回傳至通信模塊，再經(jīng)由通信模塊傳輸至地面指揮中心。同時，在此模塊中嵌入生命體檢測圖像算法，當檢測到生命體存在時飛行器可觸發(fā)報警裝置，作業(yè)人員則可結(jié)合位姿數(shù)據(jù)和熱成像圖對救援目標進行定位，實時熱成像圖也便于救援人員對目標生命體及其周圍環(huán)境進行觀測感知。該生命探測系統(tǒng)主要由飛行器控制模塊、通信模塊和紅外熱成像模塊構(gòu)成。任務3

熱成像數(shù)據(jù)4.

公路檢測上述應用均是面向局部區(qū)域的溫度明顯區(qū)別于其他地方，再通過熱紅外成像技術(shù)予以可視化的場景。熱成像數(shù)據(jù)也可以用于超廣視野內(nèi)的公路巡檢，并可結(jié)合可見光探測器完成日夜交替的巡檢任務。全時效無人機巡檢可保障在夜晚正常作業(yè)，彌補了可見光難以滿足低照度或無光條件下獲取真色彩、低噪度圖像要求，同時可利用LED補光補充紅外熱成像反射光源，使熱成像效果距離更遠，成像效果更加細膩。任務3

熱成像數(shù)據(jù)除卻以上展開介紹的熱成像數(shù)據(jù)實際應用，其也常被用在機場、海關(guān)等運輸行業(yè)重點場所的安全檢測上。用以解決普通攝像頭利用可見光成像導致黑夜或光線不好時圖像效果不佳的問題，有效降低一些警報被忽略或誤報的概率。諸如2019年新冠肺炎疫情，結(jié)合AI算法的紅外熱成像技術(shù)的體溫監(jiān)測系統(tǒng)可有效提高口岸出入境人員的體溫監(jiān)測能力。體溫檢測示意圖任務3

熱成像數(shù)據(jù)除上述幾個方面，可通過高分辨率的紅外熱成像技術(shù)，利用氣孔導度、光合特性和蒸騰速率與植被冠層溫度密切關(guān)系，來確定植被在非生物脅迫狀態(tài)下的響應，如水分脅迫等。此外，利用哺乳動物溫度恒定的特點，熱紅外相機還可用于對野生動物物種的精確識別。任務3

熱成像數(shù)據(jù)任務3

熱成像數(shù)據(jù)a.受限于熱紅外探測器的像元數(shù)目（如FLIRb.無人機只能搭載小型熱成像攝像Tau2

的像素數(shù)為640×512），目前熱紅外相機，這些設備通常使用非制冷的機的分辨率較低，當對非均質(zhì)目標進行觀測時混合像元（例如一個像元包含同時來自土壤和微，測輻射熱計傳感器（如氧化釩VOx），傳感器測量值溫漂較大植被的信號）的存在會顯著影響觀測的精度。c.另外，還需要消除背景溫度（包利用更高分辨率的RGB

圖像與熱紅外數(shù)據(jù)融括太陽輻射、環(huán)境溫度和風速等合可以降低混合像元的影響。的影響。。）因此，必須選擇合適的方法對熱紅外數(shù)據(jù)進行大氣糾正并進行現(xiàn)場校準。（1）像元間距從25、17、12發(fā)展到10，有效提高了目標分辨能力。（2）結(jié)合可見光、激光、雷達等探測器組成多光譜范圍的應用，監(jiān)測應用效果更為全面。（3）在熱紅外無損檢測應用方面，面臨著材料內(nèi)部缺陷的二維或三維模型建立、缺陷尺寸定量化檢測研究的更深入層面的需求。（4）增加探測器單元數(shù)量，快速獲取目標熱圖，提高焦平面探測器的幀速和采樣頻率。（5）結(jié)合業(yè)務場景，利用5G、AI、大數(shù)據(jù)等技術(shù)來加強紅外熱成像技術(shù)的自動化、智能化水平。任務3熱成像數(shù)據(jù)當前，紅外熱成像技術(shù)已逐步進入了以大陣列規(guī)模、小像元間距、低成本和高探測率為特征的第三代焦平面成像紅外探測系統(tǒng)，呈現(xiàn)出高靈敏度、高分辨率、低功耗和小型化的發(fā)展態(tài)勢，具備以下幾點技術(shù)特征：任務4

光譜相機數(shù)據(jù)多光譜相機：光譜分辨率在

/10數(shù)量級范圍的，其傳感器在可見光和近紅外光譜區(qū)只有幾個波段。高光譜相機：光譜分辨率在

/100的傳感器設備。多光譜遙感和高光譜遙感技術(shù)主要利用地物的光譜特性對目標進行識別與分析，利用通信技術(shù)和定位定姿技術(shù)快速無損獲取關(guān)于目標地物的高分辨率影像及光譜數(shù)據(jù)，經(jīng)過處理的數(shù)據(jù)作為參數(shù)輸入遙感反演模型，相關(guān)產(chǎn)出可用于參數(shù)提取或者行業(yè)具體應用光譜相機，融合了光譜技術(shù)與成像技術(shù)，是當前對地觀測遙感技術(shù)的常見傳感器。任務4

光譜相機數(shù)據(jù)低空無人機搭載光譜相機獲取影像，在中小尺度高精度遙感監(jiān)測中優(yōu)勢明顯，尤其在礦產(chǎn)勘察、農(nóng)業(yè)、林業(yè)、生態(tài)等領域的應用比較廣泛。隨著植被、礦物等光譜特性的深入探究，光譜探測技術(shù)在研究地物化學成分和結(jié)構(gòu)及自然環(huán)境微細變化方面也具有強大優(yōu)勢。多光譜數(shù)據(jù)高光譜數(shù)據(jù)任務4

光譜相機數(shù)據(jù)礦產(chǎn)資源勘察方面：通過對地表和地殼1

km范圍內(nèi)的光譜探測，實現(xiàn)利用光譜技術(shù)對地球陸地表面的地質(zhì)填圖和礦物蝕變信息的遙感探測、巖芯光譜探測，建立全球光譜數(shù)據(jù)庫集，滿足利用光譜探測技術(shù)對地殼1

km范圍內(nèi)礦物的識別和探礦需求，基于無人機平臺的多/高光譜遙感技術(shù)可以滿足高分辨率的礦物填圖和礦物壩區(qū)圈定，實現(xiàn)間接找礦。區(qū)域地質(zhì)制圖和礦產(chǎn)勘探是高光譜技術(shù)在眾多應用領域中最為成功的領域之一，結(jié)合地面高光譜探測技術(shù)能夠?qū)崿F(xiàn)礦物精細識別與探測、礦產(chǎn)精細開采，通過礦物含量的光譜定量反演技術(shù)，能為礦物冶煉提供精細的技術(shù)服務。任務4

光譜相機數(shù)據(jù)生態(tài)環(huán)境方面可利用紫外譜段的成像光譜儀對SO2、NO2等污染氣體進行監(jiān)測水質(zhì)參數(shù)監(jiān)測水環(huán)境監(jiān)測方面通過運用近紅外、短波紅外、熱紅外的譜段的成像光譜儀，可以用來監(jiān)測水華、葉綠素a、懸浮物、透明度等反映水環(huán)境質(zhì)量的水質(zhì)參數(shù)、水體污染物和水表溫度、核電站溫排水等熱污染狀況。無人機平臺的應用，使得高光譜成像儀更適用于重點區(qū)域或人類不可進入的區(qū)域的重復監(jiān)測，比如火山監(jiān)測、工廠失火、氣體集中泄露、河湖水質(zhì)參數(shù)監(jiān)測、規(guī)劃區(qū)域的土地利用分類和土壤污染等生態(tài)環(huán)境參數(shù)的監(jiān)測。當前的相關(guān)研究主要是利用高光譜數(shù)據(jù)獲得紅邊和植被指數(shù)等信息，從而對植被長勢、植被生物量進行定向、定量的評價，在此基礎上，與定量研究相結(jié)合的遙感技術(shù)可預測動物對景觀尺度的植被結(jié)構(gòu)和生物量的響應，并為群落調(diào)查與生物多樣性保護提供有效的手段。任務4

光譜相機數(shù)據(jù)任務4

光譜相機數(shù)據(jù)精細農(nóng)業(yè)領域農(nóng)作物種植信息是農(nóng)業(yè)調(diào)查的基礎和前提，沒有正確的農(nóng)作物信息提取就無法進行高效的農(nóng)業(yè)資源調(diào)查、作物估產(chǎn)和災害監(jiān)測。無人機載高光譜能夠發(fā)揮其高空間分辨率、實時調(diào)查的特點。能夠更加精確地對農(nóng)作物進行分類識別動態(tài)監(jiān)測災害災情的變化，定量化地評估農(nóng)業(yè)災害損失動態(tài)監(jiān)測作物長勢，更加準確地反演表征作物長勢的各項參數(shù)和進行農(nóng)作物估產(chǎn)促進實現(xiàn)對土壤質(zhì)量信息指標的監(jiān)測與土壤質(zhì)量的評價任務4

光譜相機數(shù)據(jù)不足與建議：不足：目前大多數(shù)無人機多光譜影像分辨率較低，特征點匹配難度大，幾何校正效率和精度有待提高。多光譜傳感器在無人機飛行過程中受飛行穩(wěn)定性及光照環(huán)境變化的影響，不同時刻采集的數(shù)據(jù)出現(xiàn)輻射非均一性，對圖像進行輻射校正的方法一般為半手工方式，操作較為復雜。建議：后續(xù)應用過程中必須研究針對所有數(shù)據(jù)的輻射校正算法，消除輻射非均一性對后續(xù)參量估算的影響。任務4

光譜相機數(shù)據(jù)不足與建議：不足：目前的數(shù)據(jù)解析往往通過地面實測數(shù)據(jù)建立經(jīng)驗回歸模型，模型受作物種植區(qū)域、作物類型以及作物生育期等的影響較大，后續(xù)需利用多種作物觀測數(shù)據(jù)建立通用性模型，并保證模型解析精度滿足實際需求。建議：建議在今后研究中，著重加強輻射校準的研究，探索通用性輻射校準方法，減少對地面定標的需求，提供具有更加準確輻射信息或者反射率信息的多光譜圖像，為提高后續(xù)應用的精度奠定基礎。任務5

激光雷達數(shù)據(jù)1.

大氣溫室氣體監(jiān)測激光雷達是遠程非接觸式探測的有效手段，尤其是在惡劣環(huán)境或人類難以到達的區(qū)域，激光雷達相比于傳統(tǒng)的采樣式探測方法，具有不可比擬的優(yōu)勢同時，激光雷達還可實現(xiàn)面向區(qū)域的實時探測，及時獲得區(qū)域范圍內(nèi)的溫室氣體排放空間和時間分布此外，激光雷達無須在被探測點放置任何裝置和設備，可以用于溫室氣體排放的隱形監(jiān)測，從而有效、定量監(jiān)控污染源的偷排偷放行為和量值。任務5

激光雷達數(shù)據(jù)溫室氣體探測激光雷達的發(fā)展方向主要集中在環(huán)境治理和監(jiān)測領域，其標定技術(shù)的發(fā)展也將會進一步提高激光雷達的探測準確度，使其在應用中發(fā)揮更重要的作用。溫室氣體探測激光雷達有望成為環(huán)?？己?、污染源追蹤以及碳交易領域的重要技術(shù)手段。既可以作為碳計量中區(qū)域排放源排放的直接監(jiān)測手段，對垃圾填埋場、污水處理廠、大型畜牧場等區(qū)域的溫室氣體排放進行監(jiān)測，也可以結(jié)合風速，在一個或多個點排放源的下風口，對排放源排放的污染氣體的面通量進行實時監(jiān)測，從而確定其排放總量，還可以監(jiān)控大型輸運工程或高壓氣站的安全。任務5

激光雷達數(shù)據(jù)無人機平臺通過搭載溫室氣體探測激光雷達，可以在大氣溫室氣體監(jiān)測這一領域大展身手。機載溫室氣體激光雷達具有移動便利的特點，可用于發(fā)現(xiàn)和監(jiān)測溫室氣體污染源。在不需要常年監(jiān)測的地點，采用無人機可有效利用雷達系統(tǒng)，使同一雷達系統(tǒng)可用于多點、多區(qū)域測量，由于無人機的機動性強，既便于短途移動，又便于長途通過飛機或貨輪運輸，因此，其監(jiān)測點甚至可以覆蓋更廣的區(qū)域，機載溫室氣體激光雷達還可以在測量范圍上拓展地面短距離測量激光雷達的能力。2.

森林資源探測激光雷達可以很好地穿透樹林，從而同時獲取樹木和地面的數(shù)據(jù)，而面對建筑物，激光將無法穿透，并且面對水域激光雷達將無法得到完整的數(shù)據(jù)，因此激光雷達可以較好地區(qū)分森林和非森林區(qū)域，可以用于森林資源的儲蓄量探測。任務5

激光雷達數(shù)據(jù)任務5

激光雷達數(shù)據(jù)利用多種森林類型樣地的激光雷達數(shù)據(jù)和地面實測蓄積量數(shù)據(jù)，首先采用多元線性回歸和非線性回歸方法，分別建立基于機載激光雷達數(shù)據(jù)的森林蓄積量回歸模型，通過對比分析，確定具有相同變量和統(tǒng)一結(jié)構(gòu)形成的普適性模型，然后采用建模方激光點云數(shù)據(jù)法，建立基于相同激光雷達變量的不同森林類型蓄積量模型，最后使用該模型處理激光雷達的某次作業(yè)數(shù)據(jù)，從而計算出該此作業(yè)對應森林的儲蓄量。任務5

激光雷達數(shù)據(jù)激光雷達在無人駕駛汽車上的第一個運用——“定位”已逐步成熟，當前的無人駕駛技術(shù)常見的實現(xiàn)方式的第一步就是以車載雷達加上slam技術(shù)來實時更新全局地圖，實現(xiàn)精確導航與厘米級定位。但該技術(shù)的弊端是需要提早制作好激光雷達地圖，也就是全局地圖。3.

無人駕駛領域的機載激光雷達運用而無人機平臺搭載激光雷達便可以很好地與該技術(shù)結(jié)合，更快捷地為自動駕駛提前構(gòu)建一個簡要的全局地圖，無論是人流涌動的城市道路，還是高速公路、小鄉(xiāng)村等人煙相對稀少的地方，無人機平臺都可以更快更精確地獲取到地圖。任務5

激光雷達數(shù)據(jù)4.水系探測水系探測主要采用機載激光雷達測深技術(shù)，該技術(shù)是一種主動式遙感觀測技術(shù)，利用激光在水中的反射、透射傳播特性進行水深測量。機載激光測深具有精度高、機動性好、覆蓋面積大、速度快、成本低等優(yōu)勢，因此在近岸水域得到了廣泛應用，包括淺海水深測量、水下地貌特征提取、水下調(diào)查、水底分類及制圖等。光電吊艙是一種光電探測裝置，通常搭載于各類無人機、無人艇等載體上。目前很多光電吊艙能夠同時搭載可見光相機、紅外熱像儀、激光測距儀以及各類高性能光電載荷，被廣泛應用于警用偵察、電力巡線、巡檢安防等各個領域，并發(fā)揮著日益重大的作用。隨著信息技術(shù)，圖像處理等相關(guān)技術(shù)的迅速發(fā)展，大眾對于光電吊艙數(shù)據(jù)的精度、可視化表現(xiàn)以及應用范圍等要求不斷提高，其偵查探測與目標跟蹤等功能正在向著全天候、高精度的方向不斷發(fā)展。任務6

光電吊艙數(shù)據(jù)任務6

光電吊艙數(shù)據(jù)無人機電力巡檢具有不受地形環(huán)境限制的優(yōu)勢，可實現(xiàn)電網(wǎng)線路巡視、設備巡查和災情監(jiān)控的一體化管理，具備在山區(qū)、林區(qū)、高原等復雜氣候地形環(huán)境下遠距離、長航時輸電線路巡檢和防災減災應用功能，有效提升電力系統(tǒng)防災減災和線路運行管理水平，具有很大的實用化應用前景。1.

電力巡檢任務6

光電吊艙數(shù)據(jù)此外，基于采集整理的山火預警計算內(nèi)容對危險等級進行劃分，主要包括山火附近可能被影響的輸電線路以及桿塔、火點到目標桿塔的距離等。針對輸電線路山火具有著火面積小、過火迅速以及伴隨大量煙霧的特點，構(gòu)建基于無人機光電吊艙系統(tǒng)的輸電線路山火監(jiān)測及預警方案。利用無人機搭載光電吊艙，基于其回傳的可見光視頻數(shù)據(jù)進行區(qū)域煙霧粗判。再對于監(jiān)測到煙霧的目標區(qū)域，采用無人機搭載紅外熱像儀以及長焦相機等吊艙設備對目標區(qū)域進行火點細判。任務6

光電吊艙數(shù)據(jù)電力巡線數(shù)據(jù)流圖任務6

光電吊艙數(shù)據(jù)電力巡檢應用下的吊艙數(shù)據(jù)處理流程主要包括以下五個步驟：（1）識別目標：通過可見光和紅外成像技術(shù)對電力設備進行歸類識別，基于規(guī)劃巡檢測區(qū)賦予無人機系統(tǒng)自主能力來對有效目標及時識別。（2）巡線跟蹤：由于電力線路是追蹤巡檢的核心對象，因而在飛行過程中，巡線目標始終保持在吊艙視場中心。（3）位置確定：通過吊艙以及飛控回傳的無人機位置信息時刻記錄飛行位置，并可在GIS界面和視頻界面同時標記電力巡線桿塔。（4）缺陷診斷：通過對光電吊艙系統(tǒng)傳回的圖像進行綜合分析、判斷識別，在巡檢過程中便確定桿塔等缺陷問題，供后續(xù)維護參考。任務6

光電吊艙數(shù)據(jù)（5）數(shù)據(jù)融合：建立數(shù)據(jù)庫，保存各個巡檢線路的數(shù)據(jù)，同時存儲各個缺陷描述和判斷規(guī)則，便于后續(xù)任務快速通過圖像來識別缺陷。數(shù)據(jù)庫中存儲的巡檢數(shù)據(jù)還包括巡檢時間、地點和人員等，方便對巡檢數(shù)據(jù)進行查詢，為線路巡檢提供更多數(shù)據(jù)信息。電力巡線示意圖任務6

光電吊艙數(shù)據(jù)2.林業(yè)勘察森林防火勘察預警包括地面巡護、瞭望臺監(jiān)測、航空巡護、衛(wèi)星遙感等手段。其中，航空巡護憑借其視野寬廣，機動性高，速度快，航程長，能高效對火場進行全面而長時間的觀察等優(yōu)勢脫穎而出。當發(fā)生重大森林火災時，光電偵察吊艙能以無人機為平臺在高空對森林火災進行偵察，由于吊艙的航向角為360

，可快速對火場進行可見光全景視頻拍攝。在火場煙霧或霾較濃時，利用吊艙紅外系統(tǒng)對火點或火線進行探測。利用激光器結(jié)合慣性導航裝置對火點或火線進行定位和測量，準確量算火線長度、林火燃燒強度等信息，從而快速形成火場態(tài)勢報告，使用地空無線傳輸設備送達火場前線指揮部，為火災指揮撲救提供及時準確的空中偵察信息。任務6

光電吊艙數(shù)據(jù)光電吊艙森林防火勘察無人機平臺構(gòu)成示意圖任務6

光電吊艙數(shù)據(jù)該系統(tǒng)通過無人機平臺在林區(qū)上空進行巡邏，拍攝林區(qū)的紅外/可見光視頻，對林區(qū)著火點進行定位，測算著火面積，預估火勢。再通過機載衛(wèi)星通信設備將視頻流和火點定位信息實時回傳到地面基站以及地面指揮中心。技術(shù)人員可通過計算機客戶端、手持控制端或地面指揮中心大屏，或通過云端網(wǎng)頁直播分享等多種方式觀看實時回傳的視頻圖像，為指揮決策提供科學依據(jù)。紅外/可見光山火識別（截圖）3.

海港監(jiān)測無人機監(jiān)測手段的應用可有效完善港口監(jiān)測系統(tǒng)，無人機吊艙監(jiān)測是利用無人機機動性強、成像清晰、定位精確、跟蹤航拍等優(yōu)點，結(jié)合原有檢測設備以達到快速反應、精準識別的目的。在原有單一平面監(jiān)測手段的基礎上，增加形成空地一體化的立體監(jiān)測方式，確保港口正常的運營。任務6

光電吊艙數(shù)據(jù)任務6

光電吊艙數(shù)據(jù)基于光電吊艙任務載荷的海港監(jiān)測分為常規(guī)監(jiān)測和應急監(jiān)測兩種應用模式。常規(guī)監(jiān)測常規(guī)監(jiān)測中無人機系統(tǒng)搭載可見光和紅外的雙光吊艙，利用其監(jiān)測范圍大的優(yōu)勢，能夠?qū)崿F(xiàn)對海域船只及附近船只的大范圍實時監(jiān)測。為保證夜間正常作業(yè)，紅外熱像儀在夜間仍然可以識別船只個體，實現(xiàn)對船只的簡單定位辨識及重點海域的監(jiān)測。對目標觀測定位涉及了多個平臺坐標系的轉(zhuǎn)換坐標系轉(zhuǎn)換示意圖任務6

光電吊艙數(shù)據(jù)應急監(jiān)測模式應急監(jiān)測模式中無人機系統(tǒng)搭載可見光和紅外雙光吊艙，利用懸停偵察的功能，針對特殊重點監(jiān)測目標執(zhí)行辨識、鎖定、追蹤等任務。一旦發(fā)現(xiàn)異常情況，實時鎖定追蹤可疑目標。同時，指揮中心可通過回傳的視頻數(shù)據(jù)以及無人機地理信息快速找到目標位置，并將信息迅速推送給指揮中心，實現(xiàn)實時精確識別指揮的效果。利用無人機系統(tǒng)懸?；虺掷m(xù)鎖定跟蹤目標及自動跟飛的功能進行港口監(jiān)測，并完成實時視頻拼接，可及時觀察港口和統(tǒng)計船只情況，便于港口指揮調(diào)度。同時，作業(yè)任務結(jié)束后，可見光快照可生成全局影像圖，為港口管理人員提供執(zhí)法依據(jù)。數(shù)據(jù)回傳存儲在地面站軟件或數(shù)據(jù)處理軟件中，依據(jù)可見光視頻或快照統(tǒng)計港口附近船只的數(shù)量和船體大小，為港口運營提供保障。任務6

光電吊艙數(shù)據(jù)4.應急安防隨著目標跟蹤技術(shù)的發(fā)展，無人機吊艙組合模塊逐步發(fā)展為智能城市管理系統(tǒng)中的機動監(jiān)控探頭，能有效補充山區(qū)、覆蓋空白區(qū)域的天網(wǎng)監(jiān)控探頭布建空白，輔助承擔市區(qū)重大活動安保、禁種鏟毒和突發(fā)事件處置等職能，全面滿足維穩(wěn)工作需要，提升公安機關(guān)應對突發(fā)事件的處置能力、立體化指揮和作戰(zhàn)能力?？梢姽?紅外目標跟蹤是目前光電吊艙執(zhí)行目標跟蹤的主流方法。相比于可見光目標跟蹤，紅外目標跟蹤可以實現(xiàn)晝夜不間斷工作，同時對于霧霾、大氣的穿透能力強，具有全天候的工作能力，故近年來紅外視覺跟蹤得到了大力的發(fā)展與應用，具有很大的潛力。任務6

光電吊艙數(shù)據(jù)當前的可見光/紅外目標跟蹤主要分為基于區(qū)域和基于特征兩種方法。基于區(qū)域的跟蹤方法主要借助于圖像分割技術(shù)獲取目標的小區(qū)域塊，再結(jié)合模板匹配算法對下一幀圖像中小區(qū)域塊的位置信息進行獲取，完成運動目標的跟蹤，算法流程如圖所示。光電吊艙目標跟蹤算法流程圖任務6

光電吊艙數(shù)據(jù)表征目標的特征主要有顏色、輪廓、紋理、小波、局部特征描述和光流特征等，也可融合多個特征形成特征組合共同描述目標。目標背景情況不同，有效表征目標的特征也不相同。提取目標的特征后，基于特征匹配模板實現(xiàn)機載光電圖像連續(xù)幀中目標的動態(tài)跟蹤。基于特征的目標跟蹤方法主要包括特征提取和特征匹配兩部分。任務6

光電吊艙數(shù)據(jù)a.

雙光吊艙回傳的可見光影像和熱成像影像，在地面站集成圖像智能分析軟件對圖像進行智能分析，可對疑似目標進行自動提示、報警。當遇到追捕、巡查等警務任務時，通過旋翼或固定翼無人機掛接雙光吊艙，拍攝追捕、巡查區(qū)域圖像，實時回傳地面站，地面站通過集成的圖像智能分析軟件自動識別熱源成像的同時，可見光相機可以實時分辨地理信息。軟件后臺對目標的出現(xiàn)自動識別、篩查、報警，并可對目標進行手動或自動跟蹤拍攝，可配合民警執(zhí)行巡查、巡邏、追捕等任務，視頻偵察實戰(zhàn)應用效果顯著。任務6

光電吊艙數(shù)據(jù)b.

使用可見光快照功能對活動、事件現(xiàn)場進行記錄，并可以將拍攝照片實時或事后拼接成一張完整正攝影像，也可以制作360

全景圖。制作的正攝圖或全景圖可以提供給公安情報指揮中心作為電子沙盤使用，極大方便了安保方案的制定，為現(xiàn)場決策指揮及處置行動提供了有力的情報支持?？梢姽?紅外公路巡檢車牌目標識別及跟蹤通過上述光電吊艙數(shù)據(jù)應用的技術(shù)特點，可以得知其正呈現(xiàn)出以信息化、網(wǎng)絡化為核心的“空、天、海、地”一體化應用模式。機載光電吊艙載荷不僅具備作為傳感器節(jié)點的視野廣、清晰度高等特點，同時兼具作為武器節(jié)點的跟蹤穩(wěn)定、定位精準等表現(xiàn)，遂行“識別、確認、跟飛、定位、回傳、評估”實時全鏈飛行任務，機載光電載荷數(shù)據(jù)隨之向著遠程化、精準化、智能化、綜合化方向快速發(fā)展。任務6

光電吊艙數(shù)據(jù)任務6

光電吊艙數(shù)據(jù)（1）數(shù)據(jù)信息實時性和傳輸量矛盾突出吊艙載荷的視頻流以及通過機載系統(tǒng)對圖像距離進行探測所獲取的信息數(shù)據(jù)，需借助通信系統(tǒng)向地面指揮控制中心傳送。通常來講，機載通信系統(tǒng)則要選用衛(wèi)星通信設備亦或是空地無線電通信設備。近年來，為了滿足相應行業(yè)需求，吊艙載荷傳輸?shù)臄?shù)據(jù)量與傳輸實時性需求之間的矛盾日益突出，不僅要使信息傳輸容量增加，同樣也需要在傳輸信號之前由吊艙系統(tǒng)完成前端處理。任務6

光電吊艙數(shù)據(jù)（2）圖像處理與視覺增強技術(shù)的深度應用隨著高光譜成像、三維成像、偏振成像等新型成像技術(shù)的發(fā)展應用，圖像增強處理技術(shù)將向著基于多特征、多維度（空間、深度、時間、光譜、偏振）的方向發(fā)展。與此同時，隨著壓縮感知理論、自適應編碼孔徑成像等計算混合成像技術(shù)的發(fā)展，圖像增強技術(shù)也由后處理逐步發(fā)展至“成像-處理”一體化模式，綜合利用光學系統(tǒng)、采樣和圖像重構(gòu)處理技術(shù)以實現(xiàn)大視場、高分辨率紅外成像。任務6

光電吊艙數(shù)據(jù)（3）模塊化帶來的數(shù)據(jù)融合由于探測器性能直接決定了吊艙探測跟蹤的性能，需依據(jù)用戶的實際需求科學合理地配置有效載荷。無人機可攜帶載荷設備的豐富化、模塊化也對各載荷數(shù)據(jù)的聯(lián)合應用提出了新的要求，吊艙數(shù)據(jù)需要與激光點云數(shù)據(jù)、定位導航數(shù)據(jù)等有效融合以構(gòu)建二維或三維成像，更真實更全面地反饋目標及其周圍環(huán)境信息，成為指揮決策階段中的重要一環(huán)。遙感以其宏觀性、綜合性、多尺度、多層次的特點，已成為地質(zhì)研究和地質(zhì)勘查中不可缺少的技術(shù)手段，在礦產(chǎn)勘查和地質(zhì)災害監(jiān)測等方面都發(fā)揮了越來越大的作用；隨著遙感空間、光譜、時間和輻射分辨率的不斷提高，不僅極大地提高了遙感的觀測尺度、對地物的分辨本領和識別的精細程度，而且使遙感地質(zhì)發(fā)生了由宏觀探測到微觀探測、由定性解譯到定量反演的質(zhì)的飛躍。任務7

合成孔徑雷達數(shù)據(jù)合成孔徑雷達（Synthetic

ApertureRadar，SAR），作為一種主動式微波遙感手段，具有全天候、全天時、較高穿透能力等特點，在環(huán)境保護、災害監(jiān)測、海洋觀測、資源勘查、精細農(nóng)業(yè)、地質(zhì)測繪和政府公共決策等方面有著廣泛的應用。SAR在地球遙感中的應用已有30多年的歷史。這30多年來，我國在合成孔徑雷達的系統(tǒng)研制和應用研究等方面，也取得了重大的突破和進步。今天，超過15個星載SAR系統(tǒng)正在運行，并用在無數(shù)的應用中。任務7

合成孔徑雷達數(shù)據(jù)SAR用于繪制地球表面在各自波長域中的散射特性，成像場景的許多物理和幾何參數(shù)會影響SAR圖像像素的灰度值；場景反演受到這種高度模糊性的影響，需要在不同波長、極化、時間、入射角等條件下獲取SAR數(shù)據(jù)，如圖所示。單景SAR數(shù)據(jù)局部入射角反演圖任務7

合成孔徑雷達數(shù)據(jù)SAR被廣泛應用于地質(zhì)礦產(chǎn)勘查、地質(zhì)沉降監(jiān)測和海洋監(jiān)測等領域。圖為地質(zhì)礦產(chǎn)勘查中基于SAR的找礦運用。六景SAR拼接數(shù)據(jù)振幅信息灰度圖任務7

合成孔徑雷達數(shù)據(jù)SAR相位信息干涉測量的DEM反演圖干涉SAR（InSAR）利用從不同軌道位置和或不同時間獲取的至少兩幅復值SAR圖像的相位差，從這些干涉數(shù)據(jù)集獲得可用于測量多種地球物理量的信息，如地形、變形（火山、地震、冰原）、冰川流、洋流、植被特性等，如圖所示。任務7

合成孔徑雷達數(shù)據(jù)總之，SAR為地球科學和氣候變化研究、環(huán)境和地球系統(tǒng)監(jiān)測、2-D和3-D制圖、變化檢測、4-D制圖（空間和時間）、安全相關(guān)應用以及行星探測等多種應用提供高分辨率、晝夜和與天氣無關(guān)的圖像。隨著20世紀90年代雷達技術(shù)和地球、生物物理參數(shù)反演建模的進步，利用來自多個機載和星載系統(tǒng)的數(shù)據(jù)，從技術(shù)推動的發(fā)展模式轉(zhuǎn)變?yōu)橛脩粜枨罄瓌拥哪Ｊ?。任?

合成孔徑雷達數(shù)據(jù)任務7

合成孔徑雷達數(shù)據(jù)目前，國內(nèi)外的SAR設備廠商正在努力研發(fā)，以便為民用的工業(yè)級無人機應用，提供小型化、低成本的SAR設備。不過，目前國內(nèi)民用領域，尚無能夠保證干涉測量成果質(zhì)量的同軌SAR系統(tǒng)，提供給工業(yè)級無人機應用。下面，僅介紹一些國外的無人機機載SAR系統(tǒng)。對低成本無人值守觀測日益增長的興趣促使洛克希德·馬丁導彈和火控部門檢查并證明在Ka波段使用小型廉價SAR/ISAR系統(tǒng)的可行性（Seong-Hwoon

Kim，2005）。Goleta一直在為小型無人系統(tǒng)的應用開發(fā)低成本和輕型MMW

SAR

/

MTI雷達，已經(jīng)建立了兩種不同雷達的初始模型，即LUAVR和LCLPR（JohnC.

KirkJr，2009）。時空大數(shù)據(jù)是通過對地觀測等技術(shù)手段來反映人類活動的時空規(guī)律，包括時間變化趨勢和空間變化規(guī)律。時空大數(shù)據(jù)來源于3S（RS、GIS和GNSS），即遙感、地理信息系統(tǒng)和全球?qū)Ш叫l(wèi)星系統(tǒng)。地理信息系統(tǒng)提供空間數(shù)據(jù)模型，用以描述實際世界的空間模型，大致分為場模型、對象模型和網(wǎng)絡模型。全球?qū)Ш叫l(wèi)星系統(tǒng)可以獲得精確的三維坐標，即經(jīng)度、緯度和高度。遙感數(shù)據(jù)獲取空間參數(shù)描述實際對象的更多信息，其中包括地表植被分布與類型、地形地貌、地物分布、區(qū)域景觀等，并且利用成像的具體時間作為時間參數(shù)。任務8

多元時空大數(shù)據(jù)應用時空大數(shù)據(jù)的獲取歸類為傳感器采集、野外測量和業(yè)務數(shù)據(jù)整理。其中最重要的來源是傳感器采集，包括航天遙感、航空遙感、地面遙感、導航定位、物聯(lián)網(wǎng)檢測、網(wǎng)絡爬蟲等等。航空遙感多指利用飛機、飛艇、氣球等空中平臺對地觀測的遙感技術(shù)。隨著現(xiàn)代信息技術(shù)的發(fā)展，無人機遙感技術(shù)得到極大的推廣，成為一種靈活、快速、分辨率更高的遙感方式。結(jié)合全球定位導航系統(tǒng)的支持，無人機遙感系統(tǒng)采集的數(shù)據(jù)具有完備的時間和空間參數(shù)，并且從多個維度描述了地面對象信息。基于多種載荷的無人機遙感技術(shù)，可以短時間內(nèi)獲取不同時間維度的對地觀測數(shù)據(jù)，如何對大量數(shù)據(jù)進行處理和提取信息，成了新的挑戰(zhàn)。任務8

多元時空大數(shù)據(jù)應用時空大數(shù)據(jù)內(nèi)涵豐富，數(shù)據(jù)來源廣泛，基于時空大數(shù)據(jù)可以開展的應用十分豐富。時空大數(shù)據(jù)可以描述某個地理范圍內(nèi)，不同對象或要素隨時間變化的情況。這一特性可以直接應用在智慧城市中，實際上時空大數(shù)據(jù)中的3S信息可以提供統(tǒng)一的時間空間信息描述方式。結(jié)合時空大數(shù)據(jù)，智慧城市可以開展的應用包括智慧國土、智慧環(huán)保、智慧物業(yè)、智慧交通、智慧工業(yè)、災害預警、環(huán)境檢測等。任務8

多元時空大數(shù)據(jù)應用使用空天地一體化遙感系統(tǒng)采集的時空數(shù)據(jù)，可以對目標區(qū)域的植被、城市、水體和土壤進行檢測和管理。利用無人機搭載的可見光、光譜相機、激光雷達采集的數(shù)據(jù)，利用先進的數(shù)據(jù)挖掘方式，獲取監(jiān)測區(qū)域目標的不同時間的信息，進行對象的關(guān)鍵參數(shù)提取。任務8

多元時空大數(shù)據(jù)應用以智慧國土為例：任務8

多元時空大數(shù)據(jù)應用同樣，盡管時空大數(shù)據(jù)的應用范圍十分廣泛，但是也面臨一些共性問題。首先，雖然時空大數(shù)據(jù)的數(shù)量以幾何倍數(shù)增長，但是大數(shù)據(jù)分析和處理能力跟不上增長的速度，特別是在處理多模態(tài)多源的時空大數(shù)據(jù)上，需要跨模態(tài)分析的相關(guān)算法和技術(shù)進一步發(fā)展。其次，時空大數(shù)據(jù)的來源也更加豐富，隨著各類傳感器技術(shù)的發(fā)展，不同的數(shù)據(jù)呈現(xiàn)不同的特性，亟需發(fā)展更加靈活的時空大數(shù)據(jù)存儲、數(shù)據(jù)融合和數(shù)據(jù)清洗等技術(shù)，更好地管理和使用這些數(shù)據(jù)。任務8

多元時空大數(shù)據(jù)應用最后，需要注意時空大數(shù)據(jù)的安全性，時空大數(shù)據(jù)描述了一個區(qū)域、一個國家的幾乎所有信息，需要保護這些信息避免它們被不法分子利用，危害地區(qū)和國家安全。解決這些問題需要時空大數(shù)據(jù)的管理機構(gòu)構(gòu)建完整的動態(tài)信息安全可控體系，需要從基礎軟硬件設施、數(shù)據(jù)傳輸、數(shù)據(jù)保密和數(shù)據(jù)安全方面提供數(shù)據(jù)的全面監(jiān)控。項目35G網(wǎng)聯(lián)無人機的機遇5G

指

的

是

第

五

代

移

動

通

信

技

術(shù)

（

5th Generation MobileNetworks），是最新一代的蜂窩移動通信技術(shù)，是繼2G（GSM）、3G（UMTS、LTE）和4G（LTE-A、WiMAX）系統(tǒng)的新一輪技術(shù)標準的升級。5G

網(wǎng)絡通過提供人人通信、人機通信和機器之間通信等多種方式，支持移動因特網(wǎng)和物聯(lián)網(wǎng)的多種應用場景，如圖所示。5G應用場景圖5G

網(wǎng)絡通過提供多樣化業(yè)務需求和業(yè)務特征的能力，適應不同應用場景的靈活性和多樣化的業(yè)務需求，如超寬帶、超低時延、海量連接、超高可靠性等。5G網(wǎng)絡的超高速、超低時延和超高可靠性的顯著特征，將不僅提升人們的通信體驗，還將拓展智能制造、車聯(lián)網(wǎng)、智能物流、無線家庭寬帶接入等行業(yè)應用，承擔著推進全社會數(shù)字化進程的使命。5G的空中接口和系統(tǒng)架構(gòu)以革命性的創(chuàng)新設計支持超大帶寬、多連接以及低時延高可靠性等體驗。前幾代無線網(wǎng)絡的特點是有固定的接入?yún)?shù)和頻譜資源塊，以低頻為主；5G網(wǎng)絡允許使用全頻譜（低頻＋高頻）和創(chuàng)新的新空口和架構(gòu)來提供最佳通信服務。國內(nèi)現(xiàn)階段的5G主要的通信頻段范圍為FR1低頻頻段，即通常所講的5G

Sub～6

GHz（450

MHz～6

GHz）。雖然5G在FR2高頻頻段的帶寬資源更加豐富，從24.25

GHz到52.6

GHz均可以使用，且最大的小區(qū)寬帶支持400

MHz的流量傳輸。但該頻段屬于高頻的毫米波頻段，存在通信傳播損耗太大，通信覆蓋范圍太小的情況。并且因為配套的毫米波頻段集成電路元器件制造成本價格高昂的原因，暫時未能做到低成本的量化生產(chǎn)。因此，隨著后續(xù)5G應用場景的豐富和電子元器件生產(chǎn)工藝的優(yōu)化，5G的高頻頻段的資源終將被合理地利用起來。無線通信在過去20年經(jīng)歷了突飛猛進的發(fā)展，從以話音為主的2G時代（GSM），發(fā)展到以數(shù)據(jù)為主的3G和4G時代，目前正在步入萬物互聯(lián)的5G時代。移動網(wǎng)絡在繼續(xù)豐富人們的溝通和生活的同時，也向全行業(yè)數(shù)字化轉(zhuǎn)型提供能力，提高各行業(yè)的運作效率和服務質(zhì)量5G應用特點任務1

5G與無人機無人機行業(yè)高速發(fā)展的同時，也對無人機的通信數(shù)據(jù)鏈路提出了新需求，呈現(xiàn)出與蜂窩移動通信技術(shù)緊密結(jié)合的發(fā)展趨勢，形成“5G網(wǎng)聯(lián)無人機”系統(tǒng)。5G與無人機任務1

5G與無人機在無人機系統(tǒng)平臺上加裝5G通信芯片或模組設備，通過通信認證將無人機平臺和載荷系統(tǒng)接入5G蜂窩移動通信網(wǎng)絡中，可使傳統(tǒng)的無人機信息化平臺賦能為“5G網(wǎng)聯(lián)無人機”系統(tǒng)。無人機的信息化數(shù)據(jù)接入5G專用的低空覆蓋網(wǎng)絡后，可以極大延展無人機及信息化載荷的應用領域并產(chǎn)生巨大的經(jīng)濟價值。任務1

5G與無人機5G網(wǎng)聯(lián)無人機在飛行過程中應通過5G網(wǎng)絡進行數(shù)據(jù)傳輸和控制指令傳輸，無人機的飛行數(shù)據(jù)傳送至無人機云管控平臺，云管控平臺可實時顯示無人機飛行軌跡、飛行信息。5G網(wǎng)聯(lián)無人機的無人機終端和地面控制終端均通過5G核心網(wǎng)與云服務器、視頻流媒體服務器、AI計算服務器等進行數(shù)據(jù)交互，并通過各類業(yè)務服務器加載各類場景的應用，實現(xiàn)5G賦能的新的信息化應用能力5G網(wǎng)聯(lián)無人機系統(tǒng)框架任務1

5G與無人機全球?qū)⒁虼诵纬梢粋€數(shù)以千萬計的低空無人機智能網(wǎng)絡?？赏ㄟ^各類智慧監(jiān)管平臺7×24 h不間斷地提供視頻監(jiān)控、空中貨運、遙感信息采集、智能巡檢等各種各樣的行業(yè)應用與服務，進而構(gòu)成一個全新的、豐富多彩、極具價值的“5G網(wǎng)聯(lián)低空信息網(wǎng)”。因此，基于新一代的5G蜂窩移動通信網(wǎng)絡可為網(wǎng)聯(lián)無人機賦予以下重要能力。超視距飛行管 實時超高清視理 頻監(jiān)視遠程低時延指 無人機自動化控 值守無人機云端智慧調(diào)度遙感數(shù)據(jù)業(yè)務高性能加密無人機數(shù)據(jù)云端智能化處理任務1

5G與無人機在無人機系統(tǒng)平臺上加裝5G通信芯片或模組設備，通過通信認證將無人機平臺和載荷系統(tǒng)接入5G蜂窩移動通信網(wǎng)絡中，可使傳統(tǒng)的無人機信息化平臺賦能為“5G網(wǎng)聯(lián)無人機”系統(tǒng)。無人機的信息化數(shù)據(jù)接入5G專用的低空覆蓋網(wǎng)絡后，可以極大延展無人機及信息化載荷的應用領域并產(chǎn)生巨大的經(jīng)濟價值。任務1

5G與無人機目前5G網(wǎng)聯(lián)無人機系統(tǒng)因5G的技術(shù)發(fā)展仍處于早期。各大移動運營公司主推的5G應用以大帶寬、低延遲的能力優(yōu)勢切入到傳統(tǒng)的行業(yè)中來。通過向傳統(tǒng)成熟行業(yè)提供“5G＋無人機”的新功能，以交通線網(wǎng)和城市區(qū)域的5G網(wǎng)絡覆蓋為契機，探索交通管理、智慧物流、基礎設施巡檢等場景下5G網(wǎng)聯(lián)無人機應用場景。任務2

5G網(wǎng)聯(lián)無人機的應用方案1.交通管理（1）交通管理應用場景概述交通管理場景示意圖任務2

5G網(wǎng)聯(lián)無人機的應用方案城市交通擁堵是目前各大城市都面臨的主要問題之一，城市交通管理中目前以傳統(tǒng)人工現(xiàn)場處理為主，雖然有部分地方嘗試使用傳統(tǒng)無人機進行輔助管理，但仍存在事故擁堵難疏導、趕赴現(xiàn)場效率低、人工處理成本高等痛點。為突破當前交通管理場景中的諸多瓶頸，網(wǎng)聯(lián)無人機的需求變得十分迫切。利用5G網(wǎng)聯(lián)無人機搭載雙光相機、喊話器、夜視探照燈等多種載荷，通過網(wǎng)聯(lián)無人機空中機動靈活、實時遠程控制、實時傳輸處理的能力提升交通管理效率，同時搭配自動機庫可實現(xiàn)飛機的自動起飛、回收、存儲、充電、放電等，擺脫對維護人員的依賴，降低人工成本，從而全面解決客戶痛點。任務2

5G網(wǎng)聯(lián)無人機的應用方案平時無人機存放于自動機庫內(nèi)，當有飛行需求時無人機自主從機庫起飛，完成任務后無人機自動降落于自動機庫內(nèi)。在自動機庫中，無人機可進行充電或自動更換電池，為下一次任務做好準備。有了自動機庫的依托，無人機就可以在無人干預的情況下自行起飛和降落，更換電池，實現(xiàn)全自動化作業(yè)。通過在城市主要道路部署機庫，無人機云管控平臺可根據(jù)實際情況設置無人機的飛行計劃及飛行路線，并提前通過5G網(wǎng)絡下發(fā)給機庫及飛機。飛機按照既定的路線飛行，并實時將交通情況通過5G網(wǎng)絡回傳至無人機云管理平臺。任務2

5G網(wǎng)聯(lián)無人機的應用方案①

交通巡檢。②

違法取證。③

事故疏導。交通管理場景可實現(xiàn)的功能如下：任務2

5G網(wǎng)聯(lián)無人機的應用方案無人機機庫（2）交通管理應用系統(tǒng)組成。交通管理場景應用方案主要包括了無人機云管理平臺、5G無人機機載終端、無人機自動機庫及無人機飛行平臺等部分。無人機自動機庫主要完成對無人機的存儲、收放、充電、換電等功能，是網(wǎng)聯(lián)無人機實現(xiàn)無人化自動化的重要支撐。無人機平臺采用與機庫配對的多旋翼無人機或固定翼無人機，主要完成前端的數(shù)據(jù)采集，如圖像、視頻或其他遙感載荷采集的信息化數(shù)據(jù)，通過5G機載終端實時回傳至無人機云管理平臺中的業(yè)務板塊中進行相應的云端任務處理。任務2

5G網(wǎng)聯(lián)無人機的應用方案（3）交通管理部署方案。根據(jù)對傳統(tǒng)交通管理場景應用的分析，在該場景下對5G網(wǎng)絡的部署要求如表所示，現(xiàn)有技術(shù)水平的5G公網(wǎng)連接可滿足其網(wǎng)絡要求。交通管理場景5G網(wǎng)絡部署要求上行速率下行速率業(yè)務端到端時延控制端到端時延定位精度覆蓋高度30

Mbps300

kbps<200

ms<20

ms<0.5

m<100

m任務2

5G網(wǎng)聯(lián)無人機的