基于dsp的多幀頻視頻跟蹤系統(tǒng)設(shè)計

基于dsp的多幀頻視頻跟蹤系統(tǒng)設(shè)計

1提高系統(tǒng)跟蹤帶寬在無人探測器和光度電經(jīng)緯儀領(lǐng)域，圖像跟蹤是一項極其重要的技術(shù)。學(xué)術(shù)界對圖像跟蹤技術(shù)研究起步早關(guān)注度高,該技術(shù)已日趨成熟。但隨著科技水平的不斷發(fā)展,各應(yīng)用領(lǐng)域?qū)D像跟蹤技術(shù)在集成化、魯棒性、實時性等方面提出了更高的要求。集成化方面,設(shè)備小型化、輕型化要求越來越高,對跟蹤器一般都需要板卡級嵌入式系統(tǒng)實現(xiàn),魯棒性和實時性往往互斥,需做合理折中。實際應(yīng)用中,為了提高伺服系統(tǒng)跟蹤帶寬以使系統(tǒng)對機(jī)動目標(biāo)適應(yīng)性更強,對圖像幀頻提出更高要求,由起初的標(biāo)準(zhǔn)PAL制模擬視頻(25frame/s),提高到30frame/sCameralink數(shù)字視頻,現(xiàn)在已經(jīng)需要達(dá)100frame/s甚至更高。在圖像幀頻提高的同時圖像數(shù)據(jù)量相應(yīng)變大,受遙測數(shù)據(jù)傳輸帶寬所限,在圖像傳送顯示時需要對其進(jìn)行抽幀降頻處理。基于以上背景需求,本文設(shè)計了一款基于TMS320C6455+FPGA+SDRAM結(jié)構(gòu)的實時圖像跟蹤嵌入式系統(tǒng),該系統(tǒng)能對100幀雙TAB視頻(視頻分左右路同時送出)圖像實時穩(wěn)定跟蹤且能將視頻抽幀降頻為25frame/s后輸出。2fpga20i4n數(shù)據(jù)分配本系統(tǒng)硬件設(shè)計采用TI公司高速數(shù)字信號處理芯片TMS320C6455作為主運算處理器。該芯片在主頻為1GHz下完成100frame/s視頻對目標(biāo)的實時跟蹤。FPGA采用Altera公司StratixⅡ系列EP2S50F1020I4N芯片與兩片SDRAM配合完成跟蹤器系統(tǒng)內(nèi)部數(shù)據(jù)分配及圖像抽幀輸出任務(wù)。具體結(jié)構(gòu)框圖如圖1所示。為適應(yīng)100frame/s視頻圖像的大數(shù)據(jù)量傳輸要求,本系統(tǒng)視頻輸入采用雙路雙TAB模式,在圖像行場有效期間,每個像素時鐘同時傳輸2個像素數(shù)據(jù)即data(0)&data(512),data(1)&data(513),……分兩路IN1、IN2同時輸入本跟蹤系統(tǒng)。具體數(shù)據(jù)格式如圖2所示。視頻通過兩路CameraLink視頻接口進(jìn)入跟蹤系統(tǒng)后,在FPGA中分兩路單獨處理,一路送入DSP做跟蹤處理,實時計算目標(biāo)脫靶量;另一路做送往SDRAM,做抽幀處理后輸出。系統(tǒng)設(shè)兩路輸出,可將抽幀后視頻送往兩種不同用途。2.1dsp圖像采集為了保證圖像跟蹤的實時性,送往DSP的視頻圖像在FPGA中不經(jīng)處理,直接按雙TAB模式以16位數(shù)據(jù)送往DSP。在傳統(tǒng)的圖像跟蹤中,為節(jié)省時間提高系統(tǒng)實時性,根據(jù)圖像跟蹤時目標(biāo)移動的連續(xù)性DSP采集圖像一般采取開窗法進(jìn)行,即在大小為a×b的原始圖像中選取目標(biāo)當(dāng)前位置為中心的大小為X×Y的窗口內(nèi)進(jìn)行目標(biāo)模板為x×y的跟蹤算法計算(其中a>X>x,b>Y>y),如圖3所示。本系統(tǒng)為適應(yīng)視頻源信號雙TAB模式輸入的需求,圖像數(shù)據(jù)是前半幅與后半幅圖像數(shù)據(jù)同時到達(dá),若目標(biāo)在橫坐標(biāo)為a/2處時傳統(tǒng)開窗法位置換算復(fù)雜,且有圖像“不連續(xù)”的問題,給圖像采集造成困擾。為此,本系統(tǒng)設(shè)計DSPEDMA采集圖像采用16位數(shù)據(jù)模式整行采集進(jìn)行,即DSP按照視頻源圖像格式通過16位數(shù)據(jù)總線采集,圖像進(jìn)入DSP后再進(jìn)行圖像整合拼接,組成如圖4所示大小為a×Y的窗口圖像數(shù)據(jù)。做跟蹤算法時,在圖4所示的窗口數(shù)據(jù)中進(jìn)行二次開窗形成大小為X×Y的目標(biāo)實際搜索窗口。2.2sdram控制模塊設(shè)計SDRAM以其價格低、集成度高、數(shù)據(jù)讀取速度快及技術(shù)相對成熟且包括Atera和Xilinx等當(dāng)前比較主流的FPGA芯片都已集成了SDRAM控制核,而被廣泛應(yīng)用于多種數(shù)據(jù)存取領(lǐng)域。本系統(tǒng)視頻抽幀拼接由FPGA控制兩片SDRAM進(jìn)行乒乓讀寫來完成,在FPGA中的功能模塊劃分如圖5所示。本系統(tǒng)對視頻抽幀總的設(shè)計思路是兩路視頻分別寫入兩片SDRAM且每四幀數(shù)據(jù)只寫一幀,即將100frame/s視頻數(shù)據(jù)降頻為25frame/s的頻率寫入SDRAM中。寫完一幀后,再從SDRAM中把所寫數(shù)據(jù)讀出。讀出兩片SDRAM的數(shù)據(jù)先分別存入一個FPGA內(nèi)部FIFO中,最后再從各自FIFO中將數(shù)據(jù)送往CamerLink輸出接口。在從FIFO讀取數(shù)據(jù)時,按照乒乓方式進(jìn)行操作,即先讀取第一片F(xiàn)IFO中數(shù)據(jù)直至讀空,再開始讀取第二片F(xiàn)IFO,從而完成視頻的拼接工作。此過程中加入FIFO緩存的好處是,該系統(tǒng)可實現(xiàn)對視頻源像素時鐘的自適應(yīng)。在如圖5所示的功能模塊中,視頻源左圖像和視頻源右圖像分別表示經(jīng)由兩路CameraLink接口輸入系統(tǒng)的原始視頻,數(shù)據(jù)上傳模塊主要用來將視頻數(shù)據(jù)在一個FIFO中進(jìn)行緩存,在往FIFO中寫的時候要進(jìn)行抽幀處理,即每4幀圖像抽取一幀寫入,其他3幀丟棄,以此實現(xiàn)由100frame/s到25frame/s的降頻處理。在此模塊中主要由一個幀計數(shù)器和幀同步寫控制兩個功能,其中幀計數(shù)器由視頻圖像的場同步進(jìn)行計數(shù),計數(shù)滿4后清零,取計數(shù)值為0的幀的數(shù)據(jù)寫入FIFO中,幀同步寫控制用來確保第一個寫的數(shù)據(jù)是一幀數(shù)據(jù)的開頭。SDRAM狀態(tài)控制模塊完成SDRAM的控制功能,主要包括初始化和讀寫控制。系統(tǒng)上電或復(fù)位后對SDRAM初始化一次,這里SDRAM的系統(tǒng)時鐘設(shè)在133MHz,突發(fā)長度設(shè)為8。SDRAM讀、寫用狀態(tài)機(jī)來控制,控制過程如圖6中數(shù)據(jù)上傳部分所示。圖6中數(shù)據(jù)上傳FIFO和SDRAM的寫滿標(biāo)志信號主要靠計數(shù)產(chǎn)生,例如處理兩路512×768視頻圖像時,則當(dāng)往FIFO中寫數(shù)據(jù)時,寫滿512×768×3bit數(shù)據(jù)時表示FIFO或SDRAM已寫滿。數(shù)據(jù)下傳模塊控制過程如圖6中數(shù)據(jù)下傳部分所示,該模塊將SDRAM讀出的數(shù)據(jù)先放在FIFO中做緩存,由于是從2片SDRAM同時讀取數(shù)據(jù),因此需開2個FIFO,FIFO大小不小于1024×24bit。這里也用了一個狀態(tài)機(jī)來控制從這兩個FIFO讀數(shù),當(dāng)檢測到第一個FIFO里面的數(shù)據(jù)個數(shù)大于或等于512個時,就開始從這個FIFO把數(shù)讀出,同時使得輸出視頻數(shù)據(jù)的場有效信號FVAL和行有效信號LVAL置高,從第一個FIFO讀完512個數(shù)據(jù)后,轉(zhuǎn)到讀取第二個FIFO,也讀取512個數(shù)據(jù),讀完第二個FIFO后,行有效信號LVAL信號置低,然后等待512個時鐘周期,再轉(zhuǎn)到讀取第一個FIFO,LVAL信號再置高,就這樣按上面的方式,一直讀了768次后,FVAL信號置低,接下來再等待1420352個時鐘周期,這時又重復(fù)上面的方式,從而把數(shù)據(jù)組織成1024×768×24bit,且?guī)l為25Hz。這里時鐘為65MHz。輸出信號的時序圖如圖7所示。圖5中SDRAM控制器模塊則直接采用altera提供的SDRAM控制器來完成。綜上,本系統(tǒng)通過在FPGA中對SDRAM時序的控制很好地實現(xiàn)了對雙Tap100frame/s視頻圖像的降頻和拼接工作。實驗證明,該方法輸出圖像清晰穩(wěn)定,能有效解決該類問題。3dsp優(yōu)化算法目標(biāo)跟蹤是圖像處理領(lǐng)域研究較早關(guān)注度較高的部分,隨著技術(shù)的不斷進(jìn)步,近些年來研究出不少基于特征點等新的算法。新的算法一般復(fù)雜度較高,在工程實際應(yīng)用尤其是需要基于嵌入式系統(tǒng)實現(xiàn)的過程中會受硬件存儲容量和運算速度等所限而難以實現(xiàn)。本系統(tǒng)為了能夠滿足對100frame/s視頻的實時穩(wěn)定跟蹤要求,采用經(jīng)典的相關(guān)算法做優(yōu)化后實現(xiàn)。相關(guān)算法是通過求取實時圖像和預(yù)存模板之間最大相似度完成目標(biāo)跟蹤的。對一個二維圖像,相關(guān)函數(shù)可用式(1)表示:式中:X(j,k)表示實時圖,Y(j,k)表示預(yù)存模板?？梢钥闯?該算法是一個乘累加過程,為了能夠滿足實時性要求,本系統(tǒng)在DSP中實現(xiàn)對算法進(jìn)行了一系列優(yōu)化。進(jìn)行的優(yōu)化操作主要有用邏輯判斷語句代替if...else....語句,如此則減少了后者跳轉(zhuǎn)指令的延時間隙;式(1)中在循環(huán)中有平方操作,在此用乘法代替平方操作,以加快運算速度;式(1)中有對模板Y(j,k)求絕對值累加和的過程,在模板不更新的情況下,此參數(shù)為定值,本系統(tǒng)中,只在模板做更新時對該參數(shù)進(jìn)行計算,大大減少運算量;同時根據(jù)DSP硬件結(jié)構(gòu)特性,在做for循環(huán)時變量變化不是從0到N的上升模式,而改為從N到0的降低模式等。經(jīng)過綜上一系列優(yōu)化處理,該跟蹤算法在本系統(tǒng)中運算速度能控制在8ms之內(nèi),比優(yōu)化前11ms有明顯提高,能滿足該跟蹤系統(tǒng)對100frame/s視頻的實時跟蹤。4系統(tǒng)跟蹤實驗為驗證本系統(tǒng)的工作有效性和穩(wěn)定性,在自制板卡上采用幀頻為100frame/s,像素時鐘為65MHz,圖像大小為1024×768的相機(jī)進(jìn)行實驗。實驗過程中手持相機(jī)快速抖動,以測試系統(tǒng)跟蹤效果。結(jié)果如圖8所示,可以