實(shí)時圖像處理系統(tǒng)的設(shè)計與實(shí)現(xiàn)

實(shí)時圖像處理系統(tǒng)的設(shè)計與實(shí)現(xiàn)

1dsp的發(fā)展有利于實(shí)時圖像處理隨著數(shù)字技術(shù)人員的發(fā)展，數(shù)字圖像處理技術(shù)在各種應(yīng)用于個人、工業(yè)和生產(chǎn)領(lǐng)域的應(yīng)用，如視聽、電視會議、監(jiān)控系統(tǒng)、智能交通監(jiān)控、目標(biāo)跟蹤、機(jī)器人在線等。但在這些數(shù)字圖像處理系統(tǒng)中,一個突出的問題就是數(shù)據(jù)量龐大,數(shù)據(jù)處理相關(guān)性高,實(shí)現(xiàn)實(shí)時比較困難。因此圖像處理速度成為實(shí)時性的主要因素,這就要求實(shí)時圖像處理系統(tǒng)必須具有強(qiáng)大的運(yùn)算能力。高性能DSP的發(fā)展為實(shí)時的圖像處理提供了一個解決途徑。高速DSP不僅可以滿足在運(yùn)算性能方面的需要,而且由于DSP的可編程性,還可以在硬件一級獲得系統(tǒng)設(shè)計的極大靈活性。本設(shè)計采用TI公司TMS320C6711為核心處理器,結(jié)合CPLD構(gòu)成通用數(shù)字圖像處理系統(tǒng)。2dsp系統(tǒng)總體框架設(shè)計數(shù)字圖像處理系統(tǒng)需要完成視頻采集、數(shù)字處理視頻合成等功能為了滿足實(shí)時性的要求數(shù)字處理部分必須采用高速處理芯片,本設(shè)計選用了TI公司TMS320C6711浮點(diǎn)DSP,該芯片運(yùn)算速度快,指令周期為6ns,峰值運(yùn)算能力1336MIPS,對于雙精度運(yùn)算為250MFLOPS。這樣既可以滿足高速處理的要求,又可以滿足高精度運(yùn)算時的浮點(diǎn)要求。本系統(tǒng)的圖像信號源為標(biāo)準(zhǔn)的模擬視頻信號,系統(tǒng)包含:視頻信號采集系統(tǒng)(SAA7110、CPLD、雙端口RAM、單片機(jī))、視頻處理模塊(DSP器件TMS320C6711、SDRAM圖像幀存儲器、FLASH程序存儲器等)、其它DSP外圍電路(復(fù)位、電源連接、JTAG調(diào)試端口等)、視頻信號輸出系統(tǒng)(雙端口RAM、BT121)、供電系統(tǒng)等。該系統(tǒng)構(gòu)成的原理框架如圖1所示。其基本工作過程為:系統(tǒng)加電后,單片機(jī)對SAA7110進(jìn)行初始化,設(shè)置SAA7110的工作模式。初始化完成后,開始對輸入的模擬視頻信號進(jìn)行數(shù)字化。同時DSP也進(jìn)行復(fù)位、初始化的工作,DSP將主程序調(diào)入SDRAM中。當(dāng)DSP準(zhǔn)備就緒后,通知CPLD,輸入控制信號幀存(左側(cè)雙端口SRAM)寫入由采樣來的視頻圖像數(shù)據(jù)數(shù)據(jù)寫滿后將發(fā)中斷給DSP,通知DSP讀取數(shù)據(jù),開始進(jìn)行數(shù)據(jù)處理。數(shù)據(jù)處理完成后,DSP通知CPLD,控制數(shù)據(jù)寫入輸出幀存(右側(cè)雙端口SRAM)。數(shù)據(jù)寫滿后發(fā)中斷給BT121,進(jìn)行D/A轉(zhuǎn)換,將數(shù)字信號轉(zhuǎn)化為模擬信號,送往監(jiān)視器顯示。系統(tǒng)設(shè)計考慮的重點(diǎn)為處理速度,充分利用了C67XX系列DSP中EDMA的優(yōu)勢,用EDMA來進(jìn)行整個系統(tǒng)的數(shù)據(jù)傳輸。由于EDMA可以進(jìn)行背景操作,因而整個采樣和輸出過程基本不影響DSP的數(shù)據(jù)運(yùn)算。同時也利用了C67XX系列的二級緩存結(jié)構(gòu),加上系統(tǒng)外圍采用高速的數(shù)據(jù)存儲器芯片,這樣就大大提高了整個系統(tǒng)的處理速度。3該系統(tǒng)各部分的詳細(xì)介紹3.1基于fpga的視頻數(shù)據(jù)采集該部分主要完成的功能為數(shù)字化標(biāo)準(zhǔn)模擬視頻信號,提取出所需大小的數(shù)字圖像并存入幀存中,系統(tǒng)構(gòu)成見圖2。A/D轉(zhuǎn)換和同步分離由SAA7110來完成,CPLD控制寫入數(shù)據(jù)的時序、圖像采集大小,同時根據(jù)行、場同步信號和數(shù)據(jù)同步信號,CPLD要為雙端口SRAM提供地址信號和片選、讀寫等控制信號,將數(shù)字圖像存于雙端口SRAM中。本系統(tǒng)圖像采集芯片采用的是Philips公司的解碼芯片SAA7110。SAA7110是可編程的數(shù)字圖像處理芯片,它不僅可以完成圖像數(shù)字化,而且可以實(shí)現(xiàn)行場同步信號的自動檢測和分離這樣就可以省去同步分離電路的設(shè)計。SAA7110有6路模擬輸入,有3路模擬信號處理通道,輸入可以通過編程來選擇是NTSC、PAL或者SECAM的信號。SAA7110的初始化是通過I2C總線對其內(nèi)部控制寄存器相應(yīng)位置實(shí)現(xiàn)。將SAA7110的I2C總線的時鐘線SCL與單片機(jī)的SCL相連,雙向數(shù)據(jù)線SDA與單片機(jī)的SDA相連,在系統(tǒng)上電時通過單片機(jī)程序初始化數(shù)字視頻解碼器SAA7110。系統(tǒng)中雙端口存儲器采用的是IDT70V657S。它具有兩套獨(dú)立的地址、數(shù)據(jù)線及讀/寫控制線,將雙端口存儲器控制邏輯與存儲器集成在一片大規(guī)模集成電路內(nèi),雙端口控制邏輯具體到每個存儲器單元,實(shí)現(xiàn)了真正的雙端口,并且具有完善的握手控制信號電路,使得信息交換窗口的設(shè)計大大簡化,信息交換更加快速、可靠,所選IDT70V657S的讀寫時間是10ns。整個系統(tǒng)的時序是通過CPLD來控制的,CPLD器件選用美國Xilinx公司的XC95144X。CPLD是在Xilinx公司的EDA工具FoundationSeries3.1環(huán)境下設(shè)計的,使用VHDL高級硬件描述語言開發(fā)完成,可以根據(jù)不同的需要進(jìn)行編程。上電后,CPLD會等待DSP初始化的完成,當(dāng)DSP初始化完成后會通知CPLD開始工作。CPLD要控制由SAA7110采樣的數(shù)字圖像數(shù)據(jù)寫入輸入幀存,寫入地址由CPLD編程控制。提取的圖像大小也由CPLD控制,大小可以根據(jù)需要通過編程來進(jìn)行控制。在本系統(tǒng)中,視頻信號為PAL制式黑白全電視信號,一場圖像有312.5行,場消隱寬度為25個行周期,為使圖像的采集行范圍不落入場消隱期中,我們確定一場的采集從場同步滯后27個行同步開始,奇偶場各采集128行。這樣可以保證不會采到消隱電平。圖像每行時間為64μs,其中圖像占52.2μs,行消隱寬度為11.8μs,行消隱期中有4.7μs的行同步頭,我們確定從采集行行同步滯后7.1μs后開始采集,每行采集256個點(diǎn)。這樣從每幀圖像中采集256×256大小的數(shù)字圖像。對于圖像的采點(diǎn)可以根據(jù)自己的需要進(jìn)行控制,可以隨意采集整個圖像中的不同位置、不同大小,也可以隔點(diǎn)進(jìn)行采樣,關(guān)鍵在于要選取適合系統(tǒng)需要的圖像。3.2基于fpga的高效數(shù)據(jù)存儲視頻處理模塊如圖3所示。它以DSP為核心,它主要完成圖像數(shù)據(jù)的讀取、處理和輸出,輸出幀存的地址信號和片選、讀寫控制信號仍由CPLD來控制。本系統(tǒng)我們選擇TMS320C6711數(shù)字信號處理器作為中心處理單元。是公司最新推出的浮點(diǎn)DSP,擁有8個并行處理單元(兩個浮/定點(diǎn)32×32位乘法器、四個浮/定點(diǎn)算術(shù)邏輯單元和兩個定點(diǎn)算術(shù)邏輯單元)工作頻率為150Hz,最高可達(dá)900MFLOPS。C6711的CPU都采用VelociTI體系結(jié)構(gòu),其編譯效率可以達(dá)到手工匯編的70%到80%。這使得我們在絕大多數(shù)應(yīng)用中可以采用C語言編寫DSP程序,從而充分利用大量用C描述的算法程序,并獲得遠(yuǎn)勝于傳統(tǒng)DSP程序的可維護(hù)性、可移植性、可繼承性,縮短開發(fā)周期。C6711具有片內(nèi)cache存儲器L1和L2。C6711有兩層cache,一層是4kbyte的程序和數(shù)據(jù)cache,第二層cache是統(tǒng)一的64kbyte的數(shù)據(jù)和指令RAM。C6711還具備16個通道的EDMA控制器,各自進(jìn)行獨(dú)立的傳輸。同時,C6000系列DSPs的EMIF具有很強(qiáng)的接口能力,可以與目前所有類型的存儲器直接接口,本系統(tǒng)擴(kuò)展了16kFLASH、32MBYTESDRAM及32k×36bitSRAM,SDRAM為數(shù)據(jù)提供了很大的存儲空間,保證了復(fù)雜算法的需求。上電后,DSP通過芯片自舉方式從FLASH讀入1kbyte大小的程序數(shù)據(jù),該引導(dǎo)程序繼續(xù)將其他主程序調(diào)入SDRAM中,在以后的運(yùn)行過程中,DSP自動將運(yùn)行所需程序從SDRAM裝入片內(nèi)存儲器。當(dāng)CPLD控制數(shù)據(jù)寫入輸入幀存完成后,會發(fā)中斷給DSP。DSP接到中斷后從輸入幀存中讀取數(shù)據(jù),進(jìn)行處理。數(shù)據(jù)處理完成后,DSP通知CPLD,由CPLD控制數(shù)據(jù)寫入輸出幀存。為了提高系統(tǒng)效率,我們將雙端口RAM的存儲空間分為了兩部分,見圖3。在其中一部分的數(shù)據(jù)寫滿后,由DSP讀取,進(jìn)行處理。與此同時在另一部分開始寫入采集的圖像數(shù)據(jù)。這樣可以保證視頻采集系統(tǒng)和數(shù)據(jù)處理同時進(jìn)行,互不干擾,極大提高了系統(tǒng)的效率。數(shù)據(jù)輸出端也采用相同的劃分,當(dāng)DSP向其一部分寫入數(shù)據(jù)時,另一部分正由BT121讀取數(shù)據(jù),進(jìn)行D/A變換,這樣也保證了數(shù)據(jù)處理和視頻輸出的同時進(jìn)行。3.3d/a轉(zhuǎn)換電路視頻信號輸出顯示系統(tǒng)的功能是將經(jīng)過處理后的數(shù)字信號轉(zhuǎn)換成復(fù)合模擬視頻信號輸出到監(jiān)視器上,D/A轉(zhuǎn)換由BT121來完成,CPLD控制數(shù)據(jù)的讀取。D/A是A/D的逆過程,D/A重新將離散的數(shù)字信號轉(zhuǎn)換成連續(xù)的模擬信號。根據(jù)系統(tǒng)的不同要求,該模塊可以處理彩色和黑白信號。在此系統(tǒng)中,我們只處理Y信號,所以輸出為黑白圖像。本系統(tǒng)中選用的D/A芯片是BROOKTREE公司的BT121。BT121使用方便,電路簡單,其最高D/A速度為80MHz。它具有3路8位D/A轉(zhuǎn)換,輸出與RS-343A標(biāo)準(zhǔn)兼容。外電路只要給出BLANK、SYNC以及CLOCK信號,芯片將自動與數(shù)據(jù)D/A的結(jié)果合成全電視信號輸出。其工作過程為:CPLD控制輸出雙端口RAM,將存在其中的處理好圖像數(shù)據(jù)讀出,送入到BT121中,進(jìn)行D/A轉(zhuǎn)換。BT121接受由SAA7110分離出來的同步控制信號和消隱信號,在這些信號的協(xié)同下形成符合CCIR標(biāo)準(zhǔn)的視頻輸出信號,送到監(jiān)視器顯示。4系統(tǒng)實(shí)現(xiàn)了一個電子穩(wěn)像系統(tǒng)本文運(yùn)用TI公司的高性能浮點(diǎn)DSPTMS320C6711設(shè)計了一種通用實(shí)時圖像處理系統(tǒng),詳細(xì)討論了系統(tǒng)的具體結(jié)構(gòu)。設(shè)計結(jié)果基本上令人滿意,嘗試在該系統(tǒng)中運(yùn)行一些基本的圖像處理(銳化、平滑、邊緣檢測)和壓縮算法(JPEG、H.263),都達(dá)到了實(shí)時處理的目的。運(yùn)用該系統(tǒng),我們建立了一個電子穩(wěn)像系統(tǒng),在系統(tǒng)上進(jìn)行電子穩(wěn)像算法的運(yùn)算。穩(wěn)像算法主要包括圖像搜索算法和圖像補(bǔ)償算法,其運(yùn)算量要大于一般的圖像算法。在此系統(tǒng)中實(shí)現(xiàn)了搜索窗為128×128(像素),匹配窗為32×32(像素),運(yùn)算速度為23幀/s的穩(wěn)像