采用StratixII系列FPGA器件實(shí)現(xiàn)運(yùn)動(dòng)視覺處理系統(tǒng)的設(shè)計(jì)

采用StratixII系列FPGA器件實(shí)現(xiàn)運(yùn)動(dòng)視覺處理系統(tǒng)的設(shè)計(jì)（來源：微計(jì)算機(jī)信息，張學(xué)志，魏友國，涂望明，田璋，侯彥賓）引言隨著深亞微米工藝的發(fā)展，F(xiàn)PGA的容量和密度不斷增加，以其強(qiáng)大的并行乘加運(yùn)算（MAC）能力和靈活的動(dòng)態(tài)可重構(gòu)性，被廣泛應(yīng)用于通信、圖像等許多領(lǐng)域。但是在復(fù)雜算法的實(shí)現(xiàn)上，F(xiàn)PGA不如嵌入式處理器方便，所以在設(shè)計(jì)具有復(fù)雜算法和控制邏輯的系統(tǒng)時(shí)，往往需要和嵌入式處理器結(jié)合使用，這就是SOPC（SystemonaProgrammablechip，可編程片上系統(tǒng)）技術(shù)。SoPC是SoC和FPGA結(jié)合的產(chǎn)物，由單個(gè)可編程重構(gòu)的芯片完成整個(gè)系統(tǒng)的主要功能。SoPC設(shè)計(jì)靈活多變，可以用原理圖，硬件描述語言甚至是C/C++高級語言進(jìn)行設(shè)計(jì)；同時(shí)還具有可重構(gòu)、可裁減、可擴(kuò)充等特點(diǎn)，升級方便。SoPC兼?zhèn)銼oC和FPGA二者的優(yōu)點(diǎn)，具有如下特點(diǎn)：●豐富的IP核資源，包括通用IP核和專用的IP核●在系統(tǒng)可編程，設(shè)計(jì)、編譯、下載與調(diào)試簡單方便●內(nèi)置嵌入式軟核處理器，存儲器，外設(shè)接口控制器●大量可編程重構(gòu)的邏輯資源●功能強(qiáng)大的時(shí)鐘管理電路●支持多種I/O接口標(biāo)準(zhǔn)此外，由于減小了處理器和存儲器之間的傳輸線距離，SoPC無論在速度，還是信號完整性，電磁兼容等方面，比板級系統(tǒng)都有明顯的優(yōu)越性。1、功能框圖在數(shù)字視頻視覺采集與處理板級系統(tǒng)開發(fā)的基礎(chǔ)上，本文采用SoPC實(shí)現(xiàn)運(yùn)動(dòng)視覺處理與控制系統(tǒng)的設(shè)計(jì)方案。硬件采用Altera公司StratixII系列FPGA，軟件開發(fā)工具包括QuartusII，NiosII5.1IDE，DSPBuilder，MegaCoreIPLibrary5.1和Matlab7.0等。整個(gè)SoPC系統(tǒng)工作原理為：攝像頭采集的視頻圖像數(shù)據(jù)由圖像傳感器接口進(jìn)來；數(shù)字信號處理塊和數(shù)字圖像與數(shù)字視頻處理IP核完成視頻圖像的處理，如運(yùn)動(dòng)檢測、分割、特征提取、壓縮等；NiosII嵌入式處理器主要完成整個(gè)系統(tǒng)的控制功能；I2C總線用于訪問CMOS圖像傳感器的內(nèi)部寄存器；PC機(jī)可以通過USB接口訪問SoPC，如果距離較遠(yuǎn)的話，可以通過以太網(wǎng)口進(jìn)行數(shù)據(jù)的傳輸；視頻圖像及其處理后的結(jié)果既可以通過外部存儲器接口存放在CF卡，F(xiàn)LASH等存儲介質(zhì)中，也可以通過LCD顯示器接口在液晶顯示屏上直接顯示。該運(yùn)動(dòng)視覺SoPC的功能框圖如圖1所示：該模塊主要負(fù)責(zé)視頻圖像的采集，攝像頭參數(shù)的設(shè)置和云臺步進(jìn)電機(jī)的控制。其中，通過I2C總線可以設(shè)定攝像頭內(nèi)部控制寄存器。在FPGA中，實(shí)現(xiàn)I2C總線控制器的途徑有兩種：一種是在NiosII中用軟件模擬實(shí)現(xiàn)；另一種是采用第三方，比如Sciworx，CAST，DigitalCoreDesign等公司提供的IP核。這些IP核具有工作參數(shù)，可以根據(jù)需要進(jìn)行設(shè)定。以CAST公司提供的I2C總線控制器為例，傳輸速率最高為100Kbps，可以工作在4種模式下，分別是主發(fā)送器模式、主接收器模式、從發(fā)送器模式和從接收器模式。雙路CMOS圖像傳感器接口控制視頻圖像采集的時(shí)序，幀同步和行同步；云臺控制信號是根據(jù)視頻圖像處理后的結(jié)果，控制云臺的兩個(gè)步進(jìn)電機(jī)的轉(zhuǎn)動(dòng)。這兩個(gè)模塊需要自己開發(fā)，形成具有自主知識產(chǎn)權(quán)的IP核。2、視頻圖像處理模塊該模塊包括NiosII32位嵌入式處理器，數(shù)字信號處理塊，數(shù)字圖像與數(shù)字視頻處理IPMegaCore，以及其他一些邏輯電路，這是運(yùn)動(dòng)視覺處理與控制SoPC設(shè)計(jì)的重點(diǎn)和核心，分別分以下幾個(gè)部分介紹。（1）NiosII嵌入式處理器NiosII嵌入式處理器是一款通用的RISC結(jié)構(gòu)的CPU，它定位于廣泛的嵌入式應(yīng)用。在NiosIIIDE集成開發(fā)環(huán)境中，按照操作提示添加、設(shè)置相關(guān)參數(shù)，在幾分鐘之內(nèi)就能生成一個(gè)NiosII嵌入式處理器。其硬件開發(fā)過程為：①分析系統(tǒng)所要完成的功能、達(dá)到的性能②啟動(dòng)SOPCBuilder，選取具體的FPGA型號③定義CPU，外圍器件，存儲系統(tǒng)等模塊④為各個(gè)模塊分配基地址和中斷請求號（IRQ）⑤生成Nios系統(tǒng)模塊，引腳鎖定，編譯軟件開發(fā)過程為：①在SOPCBuilder中啟動(dòng)NiosIIIDE②創(chuàng)建C/C++軟件工程，并指定目標(biāo)硬件③利用工程模本編寫相應(yīng)的程序④編譯后，即可下載到硬件中運(yùn)行NiosIIIDE中可以采用C/C++或者匯編語言進(jìn)行程序的編寫，其文件擴(kuò)展名分別為.c和.s。一個(gè)單獨(dú)的NiosII/fCPU大約需要占用1800個(gè)LEs，如果再添加一些定時(shí)器，外圍器件等，那么占用的邏輯單元會進(jìn)一步增加。（2）數(shù)字信號處理塊StratixII系列FPGA內(nèi)部具有數(shù)字信號處理塊（DSPBlocks，DSP塊）。數(shù)字信號處理塊可以支持不同數(shù)據(jù)寬度的乘法器（9×9、18×18、36×36）和操作模式（乘法運(yùn)算、復(fù)數(shù)乘法運(yùn)算、乘加運(yùn)算和乘法累加運(yùn)算），每個(gè)DSP塊提供了2.8GMACS的DSP數(shù)據(jù)吞吐量。最大StratixII器件EP2S180內(nèi)部含有96個(gè)數(shù)字信號處理塊，能夠提供了284GMACS的吞吐量，可以支持384個(gè)18×18乘法器。此外，數(shù)字信號處理塊增加了新的舍入和飽和支持，便于將DSP固件代碼導(dǎo)入FPGA。一些應(yīng)用如話音處理，由于存放數(shù)據(jù)的存儲緩沖是固定寬度，可以使用舍入和飽和?，F(xiàn)在采用了支持舍入和飽和的數(shù)字信號處理塊，可以很方便地將基于DSP處理器的設(shè)計(jì)導(dǎo)入到FPGA中進(jìn)行實(shí)現(xiàn)。在Altera的可編程器件上進(jìn)行DSP系統(tǒng)設(shè)計(jì)，需要有同時(shí)支持高級的算法和硬件描述語言的開發(fā)工具。MathWorks的MATLAB和Simulink系統(tǒng)級的設(shè)計(jì)工具具備了算法開發(fā)、仿真、驗(yàn)證能力。Altera的DSPBuilder將這些工具與Altera的開發(fā)工具組合在一起，提供了一個(gè)系統(tǒng)設(shè)計(jì)、算法設(shè)計(jì)和硬件設(shè)計(jì)共享的DSP開發(fā)平臺。（3）視頻圖像處理IP核第三方提供有許多應(yīng)用于通信、圖像編解碼、視頻處理的可定制IP核。合理地利用這些IP核，在保證性能與可靠性的同時(shí)，可以大大縮短開發(fā)時(shí)間。下面介紹的是色彩空間轉(zhuǎn)換IP。CSC（ColorSpaceConvertorr）是Altera公司提供的MegaCoreIP庫文件中的一個(gè)專門用于圖像色彩空間轉(zhuǎn)換的IP核，與軟件轉(zhuǎn)換相比，其具有明顯的速度優(yōu)勢和靈活性：●每個(gè)時(shí)鐘周期完成一個(gè)像素點(diǎn)的轉(zhuǎn)換●在Stratix系列FPGA中，時(shí)鐘頻率大于200MHz●支持RGB和YCbCr、YUV之間的互換●用戶可以自定義轉(zhuǎn)換矩陣的相關(guān)系數(shù)●支持有符號數(shù)和無符號數(shù)輸入輸出的數(shù)據(jù)寬度為2～32b4RAM數(shù)據(jù)緩沖區(qū)StratixII系列FPGA最多包含有9Mb的片上RAM。這些RAM采用TriMatrix存儲結(jié)構(gòu)，包括三種大小的嵌入式存儲器塊，分別為：512b的M512塊，4Kb的M4K塊和512Kb的M-RAM塊，每個(gè)都可以配置支持各種特性，如單端口RAM，雙端口RAM，F(xiàn)IFO等，為大存儲量應(yīng)用提供解決方案。3、外部存儲器和外設(shè)接口StratixII系列FPGA為外部存儲器的可靠數(shù)據(jù)傳送而進(jìn)行了優(yōu)化設(shè)計(jì)，支持最新的存儲接口訪問片外存儲器。開發(fā)人員使用StratixII先進(jìn)的器件特性和可定制的IP核，能夠快速和方便地將各種大容量存儲器件集成到復(fù)雜的系統(tǒng)設(shè)計(jì)中。StratixII支持各種最新的存儲接口。StratixII系列FPGA片內(nèi)處理器與外設(shè)之間是通過Avalon交換式總線連接的。Avalon交換式總線是Altera開發(fā)的一種專用內(nèi)部連線技術(shù)，使用最少的邏輯資源來支持?jǐn)?shù)據(jù)總線的復(fù)用、地址譯碼、等待周期的產(chǎn)生、外設(shè)的地址對齊、中斷優(yōu)先級的指定等。外設(shè)接口可定制的IP核有USB、I2C、Ethernet、PCI等控制器，這些IP核大多是由第三方提供的，可以免費(fèi)試用，也可支付部分費(fèi)用購買。本系統(tǒng)采用的USB2.0控制器和以太網(wǎng)接口控制器均由Mentor公司提供。4、時(shí)鐘管理電路StratixII系列FPGA具有多達(dá)48個(gè)高性能的低偏移全局時(shí)鐘，它可以用于高性能功能或全局控制信號；多達(dá)12個(gè)可編程鎖相環(huán)（PLL），具有完備的時(shí)鐘管理和頻率合成能力，包括時(shí)鐘切換、PLL重配置、擴(kuò)頻時(shí)鐘、頻率綜合、可編程相位偏移、可編程延遲偏移、外部反饋和可編程帶寬。StratixII有兩類通用的PLL：增強(qiáng)型PLL和快速型PLL。增強(qiáng)型PLL功能豐富，支持外部反饋、擴(kuò)頻時(shí)鐘、可編程帶寬等；快速型PLL針對高速差分I/O接口進(jìn)行了優(yōu)化，具有動(dòng)態(tài)相位調(diào)整（DPA）功能。這些高速時(shí)鐘網(wǎng)絡(luò)和豐富的PLL結(jié)合起來，為系統(tǒng)在最小的時(shí)鐘偏移下工作提供有力的保證。5、SoPC的其他組成部分FPGA配置接口用于SoPC的配置、編譯和在線調(diào)試；LCD顯示接口可以外接液晶顯示屏；報(bào)警信號是在檢測和識別出運(yùn)動(dòng)目標(biāo)時(shí)，發(fā)出的聲音或光電信號，可用于安防；標(biāo)準(zhǔn)I/O口則是預(yù)留的，用于日后的升級擴(kuò)展。創(chuàng)新點(diǎn)：SoPC概念提出以前，電子系統(tǒng)的集成設(shè)計(jì)主要以板級為主，這種設(shè)計(jì)方法隨著系統(tǒng)時(shí)鐘頻率的不斷提高和電路功能的