嵌入式系統(tǒng)期末報(bào)告基于FPGA的實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)應(yīng)用于無(wú)人飛行器

1、嵌入式系統(tǒng)期末報(bào)告基于fpga的實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)應(yīng)用于無(wú)人飛行器 姓 名： 班 級(jí)： 13電信2班 學(xué) 號(hào)： 2013302 指導(dǎo)老師： 日期： 2016.6.27 華南農(nóng)業(yè)大學(xué)電子工程學(xué)院電子信息工程系hindawi publishing corporationinternational journal of recongurable computing volume 2016, article id 8457908, 16 pages /10.1155/2016/8457908研究文獻(xiàn)基于fpga的實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)應(yīng)用于無(wú)人飛行器移動(dòng)目標(biāo)檢測(cè)在無(wú)人機(jī)(uav

2、)最常見(jiàn)的任務(wù)是在空中移動(dòng)監(jiān)視、發(fā)現(xiàn)和跟蹤我們感興趣的目標(biāo)，例如協(xié)助民用的搜索、救援行動(dòng)。在實(shí)時(shí)嵌入式系統(tǒng)使用現(xiàn)場(chǎng)可編程門陣列(fpga) 可以實(shí)現(xiàn)復(fù)雜的檢測(cè)算法。這篇文章通過(guò)fpga來(lái)介紹部署開(kāi)發(fā)無(wú)人機(jī)的實(shí)時(shí)移動(dòng)目標(biāo)檢測(cè)芯片系統(tǒng)(soc)。檢測(cè)算法利用包括運(yùn)動(dòng)估計(jì)和對(duì)象分割過(guò)程的成立圖像配準(zhǔn)技術(shù)。運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng)的實(shí)現(xiàn)雛形為集成低成本并且配備了trdb-d5m相機(jī)的fpga開(kāi)發(fā)板-terasic de2-115。該系統(tǒng)由nios ii處理器和面向數(shù)據(jù)流的專用硬件加速器組成，專用硬件加速器時(shí)鐘頻率為100 mhz，能夠以30幀每秒的處理速度對(duì)640×480像素的灰度分辨率視頻進(jìn)行處理

3、。1. 介紹 無(wú)人機(jī)(uav)在移動(dòng)空中監(jiān)視操作中扮演了一個(gè)重要的角色，而且被廣泛應(yīng)用到不同的領(lǐng)域中，例如空中偵察、邊境巡邏、資源勘探、戰(zhàn)斗和軍事應(yīng)用。由于其移動(dòng)特性,無(wú)人機(jī)還被部署到了災(zāi)難地區(qū)，通過(guò)收集高分辨率的圖像完成搜索救援行動(dòng)1。除此之外,無(wú)人機(jī)在交通監(jiān)控的應(yīng)用也被做過(guò)一些研究2、3。因?yàn)榇蠖鄶?shù)監(jiān)控系統(tǒng)需要檢測(cè)和跟蹤感興趣的對(duì)象,所以移動(dòng)目標(biāo)探測(cè)是無(wú)人機(jī)監(jiān)控系統(tǒng)的一個(gè)典型的步驟4。移動(dòng)目標(biāo)檢測(cè)就是通過(guò)相機(jī)捕獲的一系列視覺(jué)圖像之中，定位移動(dòng)對(duì)象(前景)在靜態(tài)場(chǎng)景(背景)駐留的過(guò)程。因?yàn)閷?duì)象發(fā)生的位移需要在后續(xù)視頻幀來(lái)定義其運(yùn)動(dòng)，所以至少需要對(duì)兩個(gè)連續(xù)的視頻幀進(jìn)行處理。如果在一個(gè)對(duì)象的在不

4、同的時(shí)間間隔選定的幀，而它位于相同背景的兩個(gè)不同位置，那么這個(gè)對(duì)象會(huì)被定義為一個(gè)移動(dòng)的目標(biāo)。因此，在分割移動(dòng)物體之前需要一個(gè)背景模型來(lái)表征即將到來(lái)的靜態(tài)場(chǎng)景視頻幀。 背景模型可以依據(jù)相機(jī)運(yùn)動(dòng)的類型來(lái)分類5，相機(jī)運(yùn)動(dòng)類型包括了固定式相機(jī)，可轉(zhuǎn)動(dòng)變焦相機(jī)，自由平面場(chǎng)景移動(dòng)相機(jī)，和具有自由幾何復(fù)雜場(chǎng)景運(yùn)動(dòng)的攝像機(jī)。移動(dòng)物體在靜止背景(靜態(tài)攝像頭)的檢測(cè)和分割可以通過(guò)簡(jiǎn)單的執(zhí)行背景減法技術(shù)得到6-11，而圖像配準(zhǔn)技術(shù)需要在對(duì)象的分割之前，使移動(dòng)背景(移動(dòng)相機(jī))，包括涉及到的相機(jī)的自我估計(jì)和補(bǔ)償，要跟之前選定的背景視頻幀相匹配。無(wú)人機(jī)視頻航拍成像被人們視為平面的一種場(chǎng)景12。平面場(chǎng)景的自我運(yùn)動(dòng)估計(jì)，可以

5、通過(guò)單應(yīng)性變換估計(jì)方法，例如建立仿射模型。因此,移動(dòng)物體可以通過(guò)登記記錄的視頻幀為估計(jì)模型并采用背景減法處理登記模型的手段被檢測(cè)出來(lái)。這種方法沒(méi)有考慮到出現(xiàn)明顯的深度變化的情況，雖然它會(huì)因?yàn)橐暡顚?dǎo)致不正確的目標(biāo)登記。 由于計(jì)算機(jī)視覺(jué)算法的復(fù)雜性，在航空成像檢測(cè)移動(dòng)目標(biāo)會(huì)是一個(gè)十分耗費(fèi)時(shí)間的過(guò)程。檢測(cè)移動(dòng)目標(biāo)實(shí)際也不完全依賴地面處理站無(wú)線電線路，因?yàn)橐曨l質(zhì)量將極大地取決于無(wú)線通信的速度和穩(wěn)定性。另外，完全自主的無(wú)人機(jī)是滿足需要的,因?yàn)樗梢栽谧钌俚娜斯じ深A(yù)條件下，針對(duì)檢測(cè)目標(biāo)進(jìn)行操作和兩者之間的反應(yīng)13。因此,自主無(wú)人機(jī)系統(tǒng)要求具有高機(jī)動(dòng)性和高計(jì)算能力，來(lái)完成執(zhí)行對(duì)系統(tǒng)平臺(tái)本身的檢測(cè)。 使用現(xiàn)場(chǎng)

6、可編程門陣列(fpga)將滿足無(wú)人機(jī)系統(tǒng)的低功耗，高計(jì)算能力和小型電路要求。fpga系統(tǒng)是解決在移動(dòng)平臺(tái)的實(shí)時(shí)計(jì)算機(jī)視覺(jué)問(wèn)題的一個(gè)好方案14，它可以根據(jù)應(yīng)用所需來(lái)重新配置來(lái)處理不同的任務(wù)。 文章介紹了fpga在實(shí)現(xiàn)無(wú)人機(jī)的實(shí)時(shí)運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng)的應(yīng)用。檢測(cè)算法利用圖像配準(zhǔn)技術(shù)，首先估計(jì)自我運(yùn)動(dòng)，然后從兩個(gè)后續(xù)幀使用塊匹配(成立匹配)和隨機(jī)樣本共識(shí)(ransac)算法。完成補(bǔ)償自我運(yùn)動(dòng)之后，幀差分,利用中值濾波和形態(tài)學(xué)方法都會(huì)被用于移動(dòng)物體的分割。本文的貢獻(xiàn)如下：（1）開(kāi)發(fā)的實(shí)時(shí)移動(dòng)目標(biāo)檢測(cè)芯片系統(tǒng)(soc)，640×480像素的視頻處理速度達(dá)到每秒30幀(fps)；（2）運(yùn)動(dòng)目標(biāo)檢測(cè)系

7、統(tǒng)的實(shí)現(xiàn)雛形為集成低成本并且配備了trdb-d5m相機(jī)的fpga開(kāi)發(fā)板-terasic de2-115，占領(lǐng)只有組合函數(shù)總量的13%和13%的總內(nèi)存碎片；（3）分區(qū)和管道調(diào)度檢測(cè)算法的硬件/軟件(hw / sw)代碼最大處理吞吐量。（4）包括塊匹配和對(duì)象分割模塊的面向流的硬件加速器，能在一個(gè)周期操作一個(gè)像素。（5）在不同密度的成立無(wú)人機(jī)自我運(yùn)動(dòng)估計(jì)和幀差分閾值情況下分析檢測(cè)性能。 其余報(bào)告如下：第二節(jié)討論了運(yùn)動(dòng)目標(biāo)檢測(cè)的文獻(xiàn)；第三節(jié)討論了運(yùn)動(dòng)目標(biāo)檢測(cè)算法；第四節(jié)描述了soc發(fā)展和專門的硬件架構(gòu)的移動(dòng)目標(biāo)檢測(cè)；第五節(jié)介紹了檢測(cè)結(jié)果的完整的原型；第六節(jié)總結(jié)本文。2. 相關(guān)工作 在過(guò)去幾十年天線視頻

8、或者無(wú)人機(jī)應(yīng)用方面的移動(dòng)目標(biāo)檢測(cè)定位就已經(jīng)被廣泛研究了。全局運(yùn)動(dòng)補(bǔ)償，運(yùn)動(dòng)檢測(cè)和對(duì)象跟蹤已經(jīng)組成了一個(gè)開(kāi)發(fā)框架15。當(dāng)作者們利用到累積幀差分和背景減法時(shí)，過(guò)去往往使用特征和基于梯度的技術(shù)的組合來(lái)補(bǔ)償自運(yùn)動(dòng)從而達(dá)到天線視頻車輛檢測(cè)目的。表1:相關(guān)工作中fpga對(duì)象檢測(cè)在上文提出的系統(tǒng)中不同的應(yīng)用的比較:表1文章研究16提出了通過(guò)使用基于分類器的梯度層次結(jié)構(gòu)(方向梯度直方圖)兩種不同的方法來(lái)檢測(cè)和跟蹤移動(dòng)車輛和人。注釋17文獻(xiàn)的工作是：提出了一個(gè)通過(guò)執(zhí)行運(yùn)動(dòng)補(bǔ)償,運(yùn)動(dòng)檢測(cè),包括數(shù)據(jù)捕獲和協(xié)作控制模塊的并行和跟蹤的移動(dòng)目標(biāo)檢測(cè)方法。注釋18文獻(xiàn)中則提出了多個(gè)目標(biāo)檢測(cè)算法，這適應(yīng)了在廣域監(jiān)視大量的移動(dòng)

9、目標(biāo)的應(yīng)用。注釋19文獻(xiàn)提出了不同的高度下對(duì)移動(dòng)目標(biāo)的檢測(cè)和跟蹤，同時(shí)在uav視頻上捕獲和顯示移動(dòng)目標(biāo)。在注釋20文獻(xiàn)提出了基于特征圖像配準(zhǔn)技術(shù)：在無(wú)人機(jī)視頻中檢測(cè)運(yùn)動(dòng)目標(biāo)。該作者利用后續(xù)的視頻幀角點(diǎn)，將它作為執(zhí)行自運(yùn)動(dòng)估計(jì)和補(bǔ)償特性的特征。在注釋21文獻(xiàn),航拍視頻的多模型估計(jì)方法被提出，作為在復(fù)雜的背景探測(cè)移動(dòng)物體的手段，該方法在檢測(cè)中能夠消除建筑物、樹(shù)木和其他假警報(bào)。因?yàn)檫@些文獻(xiàn)專注于在不同的情況下改善檢測(cè)算法,沒(méi)有考慮到無(wú)人機(jī)自主調(diào)度,他們一般把系統(tǒng)改進(jìn)成常見(jiàn)的平板電腦17,19-21或圖形處理單元(gpu)加速環(huán)境22。如表1所闡述，大多數(shù)基于fpga的目標(biāo)檢測(cè)系統(tǒng)的文獻(xiàn)都使用611靜

10、態(tài)照相機(jī)。他們利用背景減法技術(shù),如高斯混合模型(gmm)和視覺(jué)背景提取器來(lái)執(zhí)行在靜態(tài)背景視頻的前景對(duì)象分割。在23文獻(xiàn)提出了基于fpga運(yùn)動(dòng)目標(biāo)檢測(cè)的步行機(jī)器人。他們使用基于硬件/軟件一體設(shè)計(jì)系統(tǒng)的光流技術(shù)和幀差分技術(shù)，以此實(shí)現(xiàn)自運(yùn)動(dòng)估計(jì)。也有一些文獻(xiàn)提出基于fpga無(wú)人機(jī)檢測(cè)應(yīng)用。研究文獻(xiàn)24在提出了一種使用基于fpga的硬件/軟件結(jié)合設(shè)計(jì)，進(jìn)行無(wú)人機(jī)特征檢測(cè)和跟蹤。軟件在根據(jù)特征進(jìn)行對(duì)象的跟蹤時(shí)，作者一般使用專用硬件哈里斯特征檢測(cè)器從航拍視頻中提取對(duì)象特征。無(wú)人機(jī)實(shí)時(shí)檢測(cè)的實(shí)現(xiàn)，文獻(xiàn)13中描述了一個(gè)例子：根據(jù)汽車的形狀，大小，和顏色來(lái)檢測(cè)移動(dòng)目標(biāo)。然而,在文獻(xiàn)13、24進(jìn)行的檢測(cè)工作和基于

11、對(duì)象特性進(jìn)行的跟蹤并不集中于移動(dòng)目標(biāo)?；趂pga的無(wú)人機(jī)目標(biāo)檢測(cè)回避系統(tǒng)應(yīng)該有一個(gè)合適的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，在文獻(xiàn)25提出通過(guò)使用區(qū)域相位的相關(guān)技術(shù)，但是他們沒(méi)有創(chuàng)建一個(gè)完整的fpga系統(tǒng)原型裝置。此外，研究文獻(xiàn)26也指出無(wú)人機(jī)航拍的硬件設(shè)計(jì)和實(shí)時(shí)自運(yùn)動(dòng)估計(jì)的架構(gòu)。因此,文獻(xiàn)中只有數(shù)量有限的專注于發(fā)展一個(gè)完整的基于fpga實(shí)時(shí)檢測(cè)移動(dòng)目標(biāo)的無(wú)人機(jī)應(yīng)用原型。3.移動(dòng)目標(biāo)檢測(cè)算法 因?yàn)闊o(wú)人機(jī)是一個(gè)移動(dòng)的平臺(tái)，所以在提出的移動(dòng)目標(biāo)檢測(cè)算法采用了圖像配準(zhǔn)技術(shù)，它可以在目標(biāo)分割之前完成自我運(yùn)動(dòng)補(bǔ)償。圖像配準(zhǔn)算法可以被分為基于特征和基于區(qū)域（基于強(qiáng)度）的方法 27，28 。在基于特征的方法中，從兩個(gè)后續(xù)的

12、幀檢測(cè)到的特征比如角 29，30 或沖浪 31 ，從中一個(gè)框架到另一個(gè)找到每個(gè)特征的運(yùn)動(dòng)是相互關(guān)聯(lián)的。據(jù)報(bào)道，在軟件中實(shí)現(xiàn)基于特征的圖像配準(zhǔn)會(huì)計(jì)算的更快，因?yàn)闊o(wú)論像素?cái)?shù)的多少，它都只使用一個(gè)小數(shù)量的點(diǎn)去匹配。然而被檢測(cè)到的特征數(shù)量是無(wú)法預(yù)測(cè)的，因?yàn)樗Q于所捕獲的場(chǎng)景的幀，因此計(jì)算數(shù)量和要占用的存儲(chǔ)資源也是不可預(yù)知的，這也導(dǎo)致很難在高度并行的硬件中實(shí)現(xiàn)特征檢測(cè)。我們可以通過(guò)排序或優(yōu)先排序的得分（即特征強(qiáng)度）的額外步驟 24 ，從而出選擇他們最強(qiáng)的特征，使特征的數(shù)目可以減少到一個(gè)可預(yù)測(cè)的常數(shù)。然而，它提出了一些限制，因?yàn)橹挥懈叨燃y理的像素區(qū)域會(huì)被選中，而忽略掉像素均勻區(qū)域 32 。此外，基于特征

13、的方法要求不規(guī)則地訪問(wèn)內(nèi)存，這個(gè)方式不適合數(shù)據(jù)流訪問(wèn)模式的計(jì)算機(jī)硬件。 與之相反，基于區(qū)域的技術(shù)通過(guò)尋找從一個(gè)幀到另一個(gè)幀最類似的紋理的塊（區(qū)），在框架之間構(gòu)造了點(diǎn)對(duì)點(diǎn)的對(duì)應(yīng)關(guān)系。它適用于并行和流處理，因?yàn)樗邆浣o硬件實(shí)現(xiàn)的幾個(gè)優(yōu)點(diǎn)：1. 它具有高度并行的操作的特性，使它適合在硬件中的實(shí)現(xiàn)并行處理。2. 它允許簡(jiǎn)單的控制流，不要求圖像像素的不規(guī)則訪問(wèn)。3. 它具有固定大小的可預(yù)測(cè)的內(nèi)存需求計(jì)算數(shù)據(jù)量。該算法的整體流程化的圖1。它由兩個(gè)主要的過(guò)程組成，即運(yùn)動(dòng)估計(jì)和對(duì)象分割。在這項(xiàng)工作中使用基于區(qū)域的圖像配準(zhǔn)技術(shù)。對(duì)系統(tǒng)的輸入是當(dāng)前和前一幀連續(xù)兩灰度的視頻幀。首先，塊匹配在這兩個(gè)框架上進(jìn)行產(chǎn)生點(diǎn)對(duì)

14、點(diǎn)的幀間運(yùn)動(dòng)。圖1無(wú)人機(jī)視頻中的航空成像被假定為在平面場(chǎng)景有自由的相機(jī)運(yùn)動(dòng)與 5 ，并采用仿射模型估計(jì)自我運(yùn)動(dòng)。然后用ransac來(lái)去除所有點(diǎn)之間的微小的運(yùn)動(dòng)（異常值），導(dǎo)致了屬于仿射變換矩陣條件的自我運(yùn)動(dòng)。在使用仿射變換矩陣中的參數(shù)保證前一幀與當(dāng)前幀對(duì)齊之后，幀間差分可以通過(guò)像素相減兩幀的像素進(jìn)行排列，其次是經(jīng)過(guò)閾值處理生成一個(gè)二值圖像。二值圖像進(jìn)行中值濾波和形態(tài)學(xué)處理的，可以消除噪聲，使得只有檢測(cè)到的移動(dòng)目標(biāo)凸顯。該算法是使100mhz的niosii嵌入式軟處理器可以在soc環(huán)境運(yùn)行。然而，大多數(shù)在niosii運(yùn)行的進(jìn)程都很慢，不足以實(shí)現(xiàn)實(shí)時(shí)性能。為了實(shí)現(xiàn)一個(gè)實(shí)時(shí)的運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng)，在這項(xiàng)

15、工作中的所有進(jìn)程都必須在完全專用硬件加速器完成，除了部分硬件加速的ransac。3.1.塊匹配塊匹配包括兩個(gè)步驟：提取與匹配，這需要兩個(gè)連續(xù)的幀。 提取過(guò)程將從一個(gè)框架模板存儲(chǔ)幾個(gè)塊或圖像像素的補(bǔ)丁，在匹配過(guò)程中，將在第二幀中找到它們最相似的塊。通過(guò)與以塊的中心點(diǎn)的參考比較，從而產(chǎn)生許多對(duì)對(duì)應(yīng)的點(diǎn)，這表明了兩個(gè)連續(xù)的幀之間的點(diǎn)對(duì)點(diǎn)的運(yùn)動(dòng)（像素的運(yùn)動(dòng)）。這兩個(gè)框架的成對(duì)的點(diǎn)將被使用到ransac的自運(yùn)動(dòng)估計(jì)。塊提取是存儲(chǔ)從一個(gè)視頻幀的一個(gè)預(yù)定義的位置的9個(gè)像素的9個(gè)像素的無(wú)數(shù)塊的過(guò)程。這些塊將被用作在匹配過(guò)程中的模板,模板塊的位置均勻分布在圖像上。提取過(guò)程中沒(méi)有數(shù)學(xué)計(jì)算，因?yàn)樗侵簧婕皬囊曨l流到

16、臨時(shí)存儲(chǔ)器的圖像修補(bǔ)程序的直接復(fù)制。匹配過(guò)程中起到的作用是從當(dāng)前幀的每一個(gè)提取的模板塊找到最相似的塊，而這些模板塊都是從以前的框架提取的。這是通過(guò)關(guān)聯(lián)的模板塊與下一個(gè)框架，在相似性度量的基礎(chǔ)上找到他們相應(yīng)的位置。由于硬件實(shí)現(xiàn)簡(jiǎn)單，絕對(duì)差和被選作相關(guān)的匹配標(biāo)準(zhǔn)過(guò)程。絕對(duì)差和也會(huì)在相似性錯(cuò)誤評(píng)級(jí)（前一幀）和匹配塊（從當(dāng)前幀）之間，產(chǎn)生像素到像素相似性錯(cuò)誤評(píng)級(jí)的相關(guān)性。如果這兩個(gè)塊是由像素相同的像素，絕對(duì)差和將產(chǎn)生零的結(jié)果。塊匹配是計(jì)算密集型的，因?yàn)槊總€(gè)模板塊必須在其搜索區(qū)域內(nèi)通過(guò)執(zhí)行的每個(gè)塊的絕對(duì)差和，來(lái)搜索出其最相似的對(duì)。一些減少計(jì)算量的搜索技術(shù)已經(jīng)在文獻(xiàn)提出了，它們通過(guò)減少搜索區(qū)域，如三步搜索

17、技術(shù)33，34 ，四步搜索技術(shù) 35 ，和鉆石搜索 36 。然而，這些技術(shù)大多數(shù)是針對(duì)那些在不規(guī)則的方式讀取圖像的通用處理器，所以是不適合的數(shù)據(jù)流硬件架構(gòu)。 這項(xiàng)工作使用傳統(tǒng)的全搜索技術(shù) 37 ，由于其定期訪問(wèn)圖像的特性，所以它在流為導(dǎo)向的硬件執(zhí)行是非常有效的。它們所需的匹配計(jì)算量的數(shù)目是與塊（密度）和相應(yīng)的搜索區(qū)域的數(shù)目成比例的。更高密度的塊匹配給自運(yùn)動(dòng)估計(jì)提供了更多的點(diǎn)，以減少圖像配準(zhǔn)誤差，但同時(shí)也提出了更高的硬件成本要求（硬件計(jì)算單元的數(shù)量）。為了降低硬件成本，這項(xiàng)工作只利用了一個(gè)低密度塊（基于區(qū)域的）匹配，而非對(duì)幀到幀的每一個(gè)像素的運(yùn)動(dòng)進(jìn)行估計(jì)。為了進(jìn)一步優(yōu)化面向數(shù)據(jù)流結(jié)構(gòu)的硬件資源，

18、最適合和不重疊搜索區(qū)域被用來(lái)確保只有對(duì)每個(gè)輸入像素進(jìn)行計(jì)算一個(gè)絕對(duì)差和。對(duì)于一些行塊m，和一些列塊n，搜索區(qū)域被均勻地分布為每個(gè)塊，并分別用圖像寬度和圖像高度制定一個(gè)表格，表示𝑠𝑚 × 𝑠𝑛 個(gè)像素。制定的公式如下：模板塊位置（藍(lán)色）和它們的相應(yīng)的搜索區(qū)域（綠色）如圖2所示。在每個(gè)時(shí)鐘周期中，只有一個(gè)模板塊可以在它的相應(yīng)的搜索區(qū)域與另一個(gè)塊匹配。因?yàn)槊總€(gè)模板塊只會(huì)在其專用的搜索區(qū)域搜索，而不妨礙其他地區(qū)，整個(gè)塊匹配過(guò)程只占用對(duì)整個(gè)圖像處理的一個(gè)絕對(duì)差和計(jì)算單元，所以允許行m和列n在運(yùn)行時(shí)上下文切換。這個(gè)提出的方法是以相同

19、的硬件成本為基礎(chǔ)的，能夠在不同的密度的區(qū)域執(zhí)行。然而，更高的密度降低了每個(gè)塊的搜索區(qū)域，從而限制了流量位移（即每一點(diǎn)的行程距離）。在水平和垂直的位移限制分別為𝑑𝑚 = ±𝑊/2𝑚和 𝑑𝑚 = ±𝐻/2𝑛。由于無(wú)人機(jī)的位置和運(yùn)動(dòng)（高度、速度等）以及捕獲的空中視頻的幀速率會(huì)影響兩個(gè)連續(xù)的幀之間點(diǎn)對(duì)點(diǎn)的位移，如果幀之間的點(diǎn)對(duì)點(diǎn)位移超過(guò)在水平𝑑𝑚 或垂直𝑑𝑚，就會(huì)導(dǎo)致所提出的技術(shù)產(chǎn)生錯(cuò)誤的圖像

20、配準(zhǔn)結(jié)果。3.2 ransac塊匹配階段之后，從兩個(gè)連續(xù)的幀的一組點(diǎn)對(duì)運(yùn)動(dòng)（點(diǎn)對(duì)點(diǎn)運(yùn)動(dòng)）會(huì)被確定?；谶@些點(diǎn)對(duì)，自運(yùn)動(dòng)估計(jì)會(huì)被執(zhí)行。在這些點(diǎn)對(duì)之中通常出現(xiàn)異常值（矛盾運(yùn)動(dòng)），而ransac算法就是被應(yīng)用至從數(shù)據(jù)中刪除異常。ransac是目前最好的迭代算法，它可以描述兩個(gè)后續(xù)幀變換的仿射模型。不同于傳統(tǒng)的ransac算法 38 ，這個(gè)項(xiàng)目使用一個(gè)上限的時(shí)間限定ransac算法的計(jì)算（類似于 39 ），而無(wú)論實(shí)時(shí)迭代次數(shù)大小（如算法1所示）。在每次迭代中，ransac算法選擇三個(gè)不同的點(diǎn)對(duì)作為隨機(jī)樣本。 然后仿射變換的假設(shè)模型就會(huì)從所選擇的樣本的基礎(chǔ)上建立：在i表示仿射模型的參數(shù)進(jìn)行估計(jì)，

21、9909;𝑖和𝑦𝑖是選擇的采樣點(diǎn)的坐標(biāo)，𝑥𝑖'和𝑦𝑖'代表他們的對(duì)應(yīng)點(diǎn)對(duì)。圖 2: 在相同的硬件成本前提下，塊匹配的視頻幀中模板塊（藍(lán)色）和搜索區(qū)域（綠色）的位置文獻(xiàn) 40 𝑇𝑑𝑑試驗(yàn)提出的應(yīng)用于算法，如果假設(shè)模型距離實(shí)際很大，就會(huì)跳過(guò)以下步驟（步驟（4）和（5）來(lái)加快ransac計(jì)算速度。然后假設(shè)的合適度會(huì)被評(píng)估，并通過(guò)擬合其參數(shù)對(duì)所有點(diǎn)對(duì)評(píng)分。 最好的假設(shè)模型會(huì)在每一次迭代不斷地更新，ransac把到達(dá)上限時(shí)間終止的

22、結(jié)果作為最終的結(jié)果。因?yàn)閞ansac在全部的運(yùn)動(dòng)目標(biāo)檢測(cè)算法之中是計(jì)算量最少的，所以它作為軟件程序只與合適度評(píng)分步驟（步驟4）一起被硬件加速。合適度評(píng)分是對(duì)一個(gè)假設(shè)的適應(yīng)度的計(jì)算，它是對(duì)面向所有輸入數(shù)據(jù)（點(diǎn)對(duì)從塊匹配）的模型，如算法2中所描述的那樣。如果擬合誤差小于一個(gè)預(yù)定義的距離閾值，則每個(gè)數(shù)據(jù)被認(rèn)為在范圍之內(nèi)，閾值th（dist）反之亦然。合適度評(píng)分是其擬合誤差，而離群點(diǎn)為常數(shù)閾值th（dist）。合適度得分通過(guò)積累所有的個(gè)人分?jǐn)?shù)為每個(gè)數(shù)據(jù)計(jì)算結(jié)果，一個(gè)完美的擬合將有零計(jì)算得分。由于合適度得分是所有數(shù)據(jù)的一個(gè)迭代過(guò)程，計(jì)算數(shù)量增加與數(shù)據(jù)的大小有關(guān)。 ransac 是一個(gè)隨機(jī)算法，當(dāng)給予有限

23、的迭代時(shí)它可能不會(huì)產(chǎn)生最佳仿射模型。3.3對(duì)象分割自運(yùn)動(dòng)估計(jì)完成后，兩個(gè)連續(xù)的幀之間的相機(jī)運(yùn)動(dòng)要在對(duì)象的前景檢測(cè)之前完成補(bǔ)償。前一幀會(huì)被轉(zhuǎn)換，并且通過(guò)ransac算法估計(jì)仿射參數(shù)，實(shí)現(xiàn)與當(dāng)前幀的拼接。逆向映射技術(shù)被應(yīng)用于計(jì)算源圖像中的目標(biāo)像素相應(yīng)位置。仿射變換方程顯示在哪里， 𝑥𝑖 和 𝑦𝑖 是圖像目標(biāo)像素的坐標(biāo)，𝑥𝑖'和𝑦𝑖'表示對(duì)應(yīng)的源圖像像素坐標(biāo)，𝑖是 ransac算法估計(jì)的最適合仿射參數(shù)。各參數(shù)關(guān)系如下：3.4 流水線調(diào)度為了建

24、立一個(gè)數(shù)據(jù)流媒體視頻的實(shí)時(shí)運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng)，應(yīng)該利用適當(dāng)?shù)牧魉€調(diào)度，可以充分發(fā)揮系統(tǒng)的整體吞吐量。該算法可以通過(guò)每個(gè)獨(dú)立的工作在不同幀的硬件加速器劃分為幾個(gè)子過(guò)程，直到檢測(cè)周期結(jié)束之前，將中間結(jié)果從一個(gè)過(guò)程轉(zhuǎn)到另一個(gè)過(guò)程。因此，在每一個(gè)固定的延遲后，系統(tǒng)總是產(chǎn)生一個(gè)輸出。 整個(gè)過(guò)程分為四個(gè)階段，如圖3所示。4. 運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng)的提出運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng)的開(kāi)發(fā)原型為基于de2-115開(kāi)發(fā)板的友晶altera cyclone iv fpga設(shè)備。該系統(tǒng)由硬件/軟件協(xié)同設(shè)計(jì)，在硬件是專用加速器，算法是利用verilog硬件描述語(yǔ)言（hdl）經(jīng)過(guò)執(zhí)行軟件程序編碼得到，它使用nios ii軟核處理器，其

25、中軟件存儲(chǔ)器為sdram。運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng)架構(gòu)如圖4所示。圖3圖44對(duì)象分割4.1 運(yùn)動(dòng)目標(biāo)檢測(cè)的硬件加速移動(dòng)目標(biāo)檢測(cè)器的硬件結(jié)構(gòu)顯示在圖5。它的組成部分是運(yùn)動(dòng)估計(jì)核，對(duì)象分割的核，圖像采集卡以及其他接口。圖54.2 運(yùn)動(dòng)估計(jì)硬件加速器運(yùn)動(dòng)估計(jì)的核心由塊匹配和ransac硬件加速器組成。因?yàn)閞ansac需要點(diǎn)對(duì)的完整數(shù)據(jù)，點(diǎn)對(duì)由塊匹配計(jì)算提供，因此需要額外的緩沖區(qū)暫存每?jī)蓚€(gè)后續(xù)幀對(duì)應(yīng)的點(diǎn)對(duì)。運(yùn)動(dòng)估計(jì)過(guò)程的硬件結(jié)構(gòu)如圖6所示。圖64.2.1 塊匹配硬件加速器 圖7顯示了塊匹配硬件加速器的體系結(jié)構(gòu)，執(zhí)行模板塊是從一個(gè)幀和下一幀的模板塊匹配中提取的，這些模板塊都在相應(yīng)的搜索區(qū)域內(nèi)。整個(gè)過(guò)程都在數(shù)據(jù)流

26、中完成，不需要緩沖整個(gè)幀就能得到兩個(gè)后續(xù)幀的點(diǎn)對(duì)點(diǎn)運(yùn)動(dòng)（點(diǎn)對(duì)）。圖74.2.2 ransac算法的硬件加速器ransac的硬件設(shè)計(jì)利用在這項(xiàng)工作中只有加快合適度得分計(jì)算一步。在算法2中描述的，合適度得分是一個(gè)迭代的過(guò)程，它把假設(shè)模型基礎(chǔ)上所有的數(shù)據(jù)樣本進(jìn)行類似的計(jì)算。這一數(shù)據(jù)密集型過(guò)程中執(zhí)行流水線的數(shù)據(jù)通路如圖8所示?？刂茊卧糜谧x取輸入的數(shù)據(jù)， 每個(gè)時(shí)鐘周期內(nèi)，塊匹配的緩沖和數(shù)據(jù)流這些通路單元都會(huì)提供輸入數(shù)據(jù)。圖84.3 對(duì)象分割硬件結(jié)構(gòu) 對(duì)象的分割可以在一個(gè)光柵掃描執(zhí)行，面向流的架構(gòu)如圖9所示。所有子進(jìn)程都在流媒體視頻管道中被執(zhí)行的，同時(shí)沒(méi)有額外的幀緩沖。 對(duì)象分割過(guò)程是 由軟件處理器設(shè)置

27、仿射pe為仿射參數(shù)，進(jìn)而執(zhí)行ransac算法。從幀緩沖區(qū)的兩幀（sram）需要分割運(yùn)動(dòng)目標(biāo)。圖95 實(shí)驗(yàn)結(jié)果5.1 片上系統(tǒng)執(zhí)行驗(yàn)證移動(dòng)目標(biāo)檢測(cè)系統(tǒng)驗(yàn)證使用數(shù)據(jù)庫(kù)中的離線檢測(cè)模式。測(cè)試影片大小是640×480像素，并在驗(yàn)證過(guò)程之前進(jìn)行了灰度壓縮，測(cè)試視頻通過(guò)系統(tǒng)被傳送到一個(gè)usb海量存儲(chǔ)設(shè)備。在soc進(jìn)行檢測(cè)后，結(jié)果會(huì)顯示在vga圖像，同時(shí)也存儲(chǔ)在usb驅(qū)動(dòng)提供給后來(lái)的驗(yàn)證。 圖10顯示了使用不同的采樣視頻，片上系統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果。檢測(cè)到的區(qū)域（紅色）疊加在輸入框。在大多數(shù)情況下，片2上系統(tǒng)是能夠檢測(cè)到連續(xù)幀中的運(yùn)動(dòng)目標(biāo)。5.2 檢測(cè)算法的性能評(píng)價(jià) 檢測(cè)算法實(shí)現(xiàn)的性能評(píng)價(jià)使用數(shù)學(xué)性能指標(biāo)，并涉及到幾個(gè)參數(shù)：1、 真陽(yáng)性(tp)：檢測(cè)到的運(yùn)動(dòng)物體；2、 假陽(yáng)性(fp)：檢測(cè)區(qū)域中任何不符合的移動(dòng)物體；3、 假陰性(fn)：不被檢測(cè)到的移動(dòng)對(duì)象；4、 檢出率(dr)：tp/(tp+fn)5、 誤報(bào)率(far): fp/(tp+fp)5.3 對(duì)比全軟件實(shí)現(xiàn)的速度文章提出的運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng)的計(jì)算速度與不同平臺(tái)上的軟件計(jì)算做了比較，包括現(xiàn)代的桌面計(jì)算