基于嵌入式視覺的無人機(jī)目標(biāo)定位系統(tǒng)

基于嵌入式視覺的無人機(jī)目標(biāo)定位系統(tǒng)摘要：物聯(lián)網(wǎng)正在變得無處不在，在制造業(yè)的應(yīng)用尤為廣泛。作為第四產(chǎn)業(yè)的演進(jìn)，物聯(lián)網(wǎng)技術(shù)起著重要作用。在工業(yè)4.0、工業(yè)5.0這些正在蓬勃發(fā)展的領(lǐng)域或是具有廣泛前景的領(lǐng)域都離不開物聯(lián)網(wǎng)的。未來讓世界真正實(shí)現(xiàn)“萬物互聯(lián)”的6G通信和元宇宙，也為物聯(lián)網(wǎng)技術(shù)的發(fā)展起到大力推動作用。關(guān)鍵詞：嵌入式視覺；陣列相機(jī)；無人機(jī)目標(biāo)；定位系統(tǒng)引言隨著無人機(jī)廣泛應(yīng)用于各個(gè)行業(yè)，無人機(jī)“黑飛”現(xiàn)象嚴(yán)重危害了公園、游樂場等地的公共安全和個(gè)人隱私安全。因此，用于抵制“黑飛”無人機(jī)的系統(tǒng)，反無人機(jī)系統(tǒng)的研發(fā)迫在眉睫。目標(biāo)檢測技術(shù)是反無人機(jī)系統(tǒng)中關(guān)鍵的一環(huán)，如何在復(fù)雜背景下對無人機(jī)進(jìn)行實(shí)時(shí)檢測是亟待解決的問題。在公園、游樂場等公共安全區(qū)域，無人機(jī)的飛行背景復(fù)雜、尺度較小，因此該復(fù)雜飛行背景下的無人機(jī)目標(biāo)檢測任務(wù)可以歸為復(fù)雜背景下小尺度目標(biāo)檢測任務(wù)。在檢測過程中，由于目標(biāo)的背景復(fù)雜度高、小目標(biāo)邊緣特征不顯著以及光照的影響，使得對小目標(biāo)的檢測非常困難。1無人機(jī)位姿的視覺測量方案目前，無人機(jī)位姿的視覺測量方案大多需要已知精確的幾何尺寸作為先驗(yàn)信息，如需要明確具體的機(jī)型、在模型坐標(biāo)系下關(guān)鍵點(diǎn)的三維坐標(biāo)等，按照模型的使用方式不同，大致可將現(xiàn)有算法分為三類：第一類是PnP類算法，PnP是Perspective-n-Point的簡寫，這類算法需定義多個(gè)關(guān)鍵點(diǎn)，基于提取得到的關(guān)鍵點(diǎn)二維圖像坐標(biāo)和其先驗(yàn)的三維世界坐標(biāo)的對應(yīng)關(guān)系，完成無人機(jī)位姿的計(jì)算。這類算法靈活、快速，最早由M.A.Fischler提出，后續(xù)涌現(xiàn)了大量的改進(jìn)算法。其中較為經(jīng)典的為EPnP算法，通過設(shè)置4個(gè)虛擬控制點(diǎn)，可高效求解目標(biāo)位姿。除了關(guān)鍵特征點(diǎn)，特征邊緣也可用于這類計(jì)算。使用角點(diǎn)和邊緣等多個(gè)特征，共同計(jì)算飛機(jī)位姿，以解決特征點(diǎn)易被自身遮擋的問題。盡管如此，這類算法由于使用的都是稀疏特征，在復(fù)雜條件下，如目標(biāo)較遠(yuǎn)或成像質(zhì)量較差等情況下，這類特征易被噪聲淹沒，以至于難以準(zhǔn)確甚至無法完成圖像特征的提取，進(jìn)而導(dǎo)致算法失效。第二類是模板匹配算法，這類算法需要實(shí)現(xiàn)根據(jù)所需測量的模型制作包含大量不同位姿的模板庫，然后將提取得到的目標(biāo)圖像與模板庫進(jìn)行匹配，找到對應(yīng)的位姿。這類方法只能針對特定的某一機(jī)型完成測量，且模板庫的制作過程煩瑣，算法的泛用性較差。第三類是機(jī)器學(xué)習(xí)與深度學(xué)習(xí)方法，這類算法是指首先使用待測目標(biāo)的數(shù)據(jù)集訓(xùn)練分類器或者神經(jīng)網(wǎng)絡(luò)，完成訓(xùn)練后，使用得到的權(quán)重進(jìn)行位姿的回歸計(jì)算。SVM分類器與RANSAC算法結(jié)合的方法，實(shí)現(xiàn)對三維目標(biāo)的位姿測量。使用RGB圖像并利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法完成對目標(biāo)位姿的測量。此方法計(jì)算直接，且通常具有較高精度；但是與模板匹配方法類似，也需要事先針對所處理機(jī)型制作大量數(shù)據(jù)集，較為繁瑣。另外，使用深度學(xué)習(xí)方法直接進(jìn)行位姿計(jì)算，網(wǎng)絡(luò)規(guī)模通常較大，需要大量計(jì)算資源，不適合在機(jī)載環(huán)境中使用。2YOLOv5n算法改進(jìn)無人機(jī)圖像小目標(biāo)較多、環(huán)境復(fù)雜、密集目標(biāo)眾多等問題，為實(shí)現(xiàn)無人機(jī)城市在巡檢中對地面目標(biāo)進(jìn)行快速且精準(zhǔn)識別，針對YOLOv5n進(jìn)行改進(jìn)，無人機(jī)圖像輸入的信息較大目標(biāo)小，需要獲取高質(zhì)量的全局信息，在主干網(wǎng)絡(luò)中引入BoT模塊，在減少參數(shù)量的條件下，增強(qiáng)網(wǎng)絡(luò)的檢測精度與速度；特征融合網(wǎng)絡(luò)中引入CBAM注意力機(jī)制，增強(qiáng)小目標(biāo)的特征提取，降低背景對小目標(biāo)的干擾；引入解耦頭，增強(qiáng)網(wǎng)絡(luò)提取特征圖的信息，并在原有的網(wǎng)絡(luò)中增加了一個(gè)20×20小目標(biāo)檢測層M，提高對無人機(jī)圖像的檢測精度。3無人機(jī)目標(biāo)定位系統(tǒng)設(shè)計(jì)3.1陣列相機(jī)的搭建搭建陣列相機(jī)時(shí)，考慮到運(yùn)用于無人機(jī)搭載，選用性能強(qiáng)勁的680PR0無人機(jī)，其三維尺寸為98cm×98cm×32cm，最大載質(zhì)量2kg，完全滿足搭載陣列相機(jī)的硬件條件，并且采用相同型號無人機(jī)作為后續(xù)實(shí)驗(yàn)識別定位目標(biāo)。在設(shè)計(jì)陣列相機(jī)時(shí)，首先考慮所選鏡頭，這里單個(gè)鏡頭采用視覺識別定位領(lǐng)域最常用的Prime41相機(jī)，在跟蹤范圍方面具有極大優(yōu)勢，這一優(yōu)勢是多目相機(jī)陣列所傾向的，在這個(gè)跟蹤范圍內(nèi)，Prime41相機(jī)使多目陣列相機(jī)能夠有效地對前方環(huán)境做出不同的反應(yīng)。根據(jù)實(shí)際無人機(jī)飛行識別定位跟蹤目標(biāo)，其與目標(biāo)的間隔距離在0~10m不等，在經(jīng)過多次實(shí)際實(shí)驗(yàn)考慮實(shí)用性、穩(wěn)定性，最終以2m、7m作為分割，設(shè)計(jì)一種2×3的相機(jī)陣列，在僚機(jī)上掛載不同焦距的2×3相機(jī)陣列，并使用3組雙目視覺定位的方法來對無人機(jī)隊(duì)列的主機(jī)進(jìn)行空間識別和定位。3.2硬件系統(tǒng)設(shè)計(jì)本文使用RISC-V架構(gòu)的KendryteK210芯片作為嵌入式視覺的MCU，K210具有良好的功耗性能、穩(wěn)定性和可靠性,其內(nèi)置的神經(jīng)網(wǎng)絡(luò)處理器(KPU)算力可達(dá)到0.8TFLOPS，能夠通過硬件加速實(shí)現(xiàn)嵌入式端的神經(jīng)網(wǎng)絡(luò)模型推理。目標(biāo)定位模塊的硬件系統(tǒng)以搭載K210芯片的MaixBit開發(fā)板為核心，同時(shí)與實(shí)現(xiàn)各項(xiàng)功能所必需的硬件模塊相連接,以實(shí)現(xiàn)硬件系統(tǒng)的模塊化。重量僅57.6g。針對夜間目標(biāo)定位的需求，本文使用紅外夜視燈和紅外攝像頭組成圖像采集系統(tǒng)。USB轉(zhuǎn)TTL模塊用于開發(fā)板供電和串口通信，LCD顯示屏用于調(diào)試設(shè)備時(shí)顯示檢測結(jié)果。3.3引入BoT模塊BoT模塊是一個(gè)由卷積神經(jīng)網(wǎng)絡(luò)（CNN）與Transformer的混合模型，該架構(gòu)將自注意力應(yīng)用于計(jì)算機(jī)視覺圖像處理任務(wù)中，BoT模塊是在經(jīng)典網(wǎng)絡(luò)ResNetBottleneck的結(jié)構(gòu)上進(jìn)行改進(jìn)而來的，雖然3×3的卷積運(yùn)算能夠有效的獲取局部的特征信息，使用多頭自注意力機(jī)制MHSA（Multi-HeadSelfAttention）代替了ResNetBottleneck中的3×3卷積，不僅減少了參數(shù)量的計(jì)算從而加快了網(wǎng)絡(luò)結(jié)構(gòu)的檢測速度，還提高了網(wǎng)絡(luò)的檢測精度。MHSA是多頭自注意層，通過在二維特征圖上實(shí)現(xiàn)全局注意力，使用的頭的個(gè)數(shù)為4個(gè)，在計(jì)算自注意力之前，將輸入的特征圖分別與二維的1×1卷積，分別創(chuàng)造出查詢矩陣Q、鍵矩陣S以及值矩陣M，分出多頭分別進(jìn)行注意力的計(jì)算，可以使計(jì)算量不會增加；同時(shí)引入二維位置編碼Rh與Rw，進(jìn)行矩陣求和，得到位置矩陣P，有利于理解輸入像素點(diǎn)的順序，查詢矩陣Q分別與位置矩陣怕P、鍵矩陣S做矩陣乘法，得到矩陣QST與QPT，它們分別包含有不同的注意力信息。結(jié)束語本文所設(shè)計(jì)面向無人機(jī)的陣列相機(jī)搭配對應(yīng)識別定位算法，相較傳統(tǒng)雙目相機(jī)，可以實(shí)現(xiàn)快捷相機(jī)組切換，獲得更大的視野、更精準(zhǔn)的視覺定位信息，應(yīng)對無人機(jī)執(zhí)行復(fù)雜任務(wù)，高速飛行中對于目標(biāo)的快速識別定位都有著不錯(cuò)的表現(xiàn)。實(shí)驗(yàn)結(jié)果也表明這種陣列相機(jī)整體表現(xiàn)均優(yōu)于傳統(tǒng)雙目相機(jī)，有著不錯(cuò)的實(shí)際應(yīng)用價(jià)值。當(dāng)然其中也有值得繼續(xù)改進(jìn)的地方，如對于無人機(jī)執(zhí)行任務(wù)時(shí)，天氣環(huán)境多變，陽光、大霧等天氣因素都會影響到陣列相機(jī)的識別和定位，需要后續(xù)對于這些天氣因素在系統(tǒng)中添加降光除霧算法，這將是后續(xù)研究方向。參考文獻(xiàn)[1]黃嘉濱.基于視頻流的無人機(jī)目標(biāo)識別方法研究[D].西安理工大學(xué),2021.[2]雒朝輝.基于無人機(jī)的森林