AXI4Stream總線的FPGA視頻系統(tǒng)的開發(fā)研究

AXI4Stream總線的FPGA視頻系統(tǒng)的開發(fā)研究摘要:基于AXI4Stream總線協(xié)議，在Xilinx公司提供的FPGA上實(shí)現(xiàn)了一個具有缺陷像素校正、色彩濾波陣列插值、圖像降噪實(shí)時圖像采集與顯示功能的視頻系統(tǒng)。AXI4Stream總線協(xié)議由ARM公司提出，該協(xié)議專門針對視頻、音頻、數(shù)組等數(shù)據(jù)在片內(nèi)通信設(shè)計。利用IP核進(jìn)行嵌入式系統(tǒng)開發(fā)具有簡化設(shè)計、縮短開發(fā)周期等明顯優(yōu)勢。設(shè)計結(jié)果顯示，基于AXI4Stream總線的視頻系統(tǒng)具有通用性強(qiáng)、獨(dú)立、簡潔易維護(hù)等優(yōu)勢。引言

隨著科技的發(fā)展，實(shí)時視頻處理技術(shù)作為數(shù)字信號處理領(lǐng)域最活躍的研究方向之一得到了普遍的研究關(guān)注，并在通信、航空航天、雷達(dá)、遙測遙感和多媒體等行業(yè)中廣泛應(yīng)用。與用分離元器件構(gòu)建電路的模式相比，基于現(xiàn)場可編程門陣列(FPGA)技術(shù)的新型視頻采集系統(tǒng)在處理速度、可靠性、成本、擴(kuò)展能力和開發(fā)周期等方面具有明顯的優(yōu)勢。近年來，基于FPGA的視頻采集系統(tǒng)得到了充分的研究[1,2,3,4]，但鑒于此類研究對圖像數(shù)據(jù)未做通用的格式處理，使得系統(tǒng)過于集成，模塊間過于依賴，降低了系統(tǒng)通用性。AXI(AdvancedeXtensibleInterface)是一種總線協(xié)議，該協(xié)議是ARM公司提出的AMBA（AdvancedMicrocontrollerBustArchitecutre)協(xié)議中重要部分，是一種面向高性能、高帶寬、低延遲的片內(nèi)總線。AXI4于2010年由ARM公司發(fā)布，其中AXI4Stream屬于AXI4的子類，特別適宜流媒體數(shù)據(jù)的傳輸[5]。本文以一種專門針對視頻數(shù)據(jù)傳輸?shù)目偩€，即AXI4Stream總線，對整個視頻采集系統(tǒng)進(jìn)行重新研究。在保證高集成度的情況下，通過簡化模塊間通信接口大大提高了系統(tǒng)的通用性，具備良好的實(shí)用性和可擴(kuò)展性。1AXI4Stream總線介紹AXI4Stream總線主要應(yīng)用于數(shù)字信息單向傳遞的系統(tǒng)中。經(jīng)過采樣的物理量，例如圖像像素點(diǎn)數(shù)據(jù)、音頻采樣數(shù)據(jù)和經(jīng)過離散數(shù)字信號系統(tǒng)處理的數(shù)據(jù)等，尤其適用于此總線協(xié)議。AXI4Stream是一種單向的，由主機(jī)(master)到從機(jī)(slave)的基于握手信號傳遞數(shù)據(jù)的總線。系統(tǒng)采用的AXI4Stream總線是基于ARM公司發(fā)布的AMBA4AXI4StreamProtocolv1.0參考手冊[6]，該標(biāo)準(zhǔn)已廣泛應(yīng)用在主流市場上的嵌入式系統(tǒng)當(dāng)中。在保證功能完整的情況下，設(shè)計僅采用了部分信號線進(jìn)行數(shù)據(jù)傳輸。相關(guān)信號線名稱和功能解釋圖略——編者注。2系統(tǒng)結(jié)構(gòu)簡介系統(tǒng)基于AXIStream總線，以FPGA為主控芯片，由DDR2緩存圖像數(shù)據(jù)，從CMOS圖像傳感器讀取數(shù)據(jù)并處理后，送入視頻編碼芯片，最終通過DVI接口輸出，實(shí)現(xiàn)了一個實(shí)時圖像采集與顯示的視頻系統(tǒng)。該系統(tǒng)硬件框圖如圖1所示。

圖1系統(tǒng)硬件結(jié)構(gòu)框圖系統(tǒng)選用芯片組分別為：CMOS圖像傳感器選用Aptina公司的MT9V022，有效分辨率為752H×481V，該芯片廣泛應(yīng)用于視頻監(jiān)控、機(jī)器視覺等系統(tǒng)中；FPGA主控芯片選用Xilinx公司的Spartan6LX16，該芯片采用45nm低功耗工藝技術(shù)，提供多達(dá)15000個邏輯單元，滿足了低成本、大容量應(yīng)用的市場要求，并極大地降低了總功耗；DDR緩存芯片選用Micro公司提供的MT47H64M16HR25E，存儲容量為1Gb；視頻編碼芯片選用Chrontel公司提供的CH7301芯片，該芯片已廣泛應(yīng)用于顯示接口電路中。由于主控芯片選用Xilinx公司生產(chǎn)的FPGA，所以開發(fā)軟件采用由該公司提供的ISE(IntegratedSoftwareEnvironment)DesignSuit套件。

系統(tǒng)功能模塊結(jié)構(gòu)圖如圖2所示，所有模塊均采用硬件描述語言VerilogHDL在ISE內(nèi)實(shí)現(xiàn)。

圖2系統(tǒng)功能模塊結(jié)構(gòu)框圖對于圖1中所示功能模塊主要考慮以下幾點(diǎn)：

①CMOS圖像傳感器芯片和視頻編碼芯片與主控FPGA芯片通信采用的是I2C協(xié)議，所以加入了專門的I2C通信模塊。

②由CMOS圖像傳感器送出的圖像數(shù)據(jù)并非基于AXI4Stream總線，引入了一個通用視頻數(shù)據(jù)轉(zhuǎn)AXI4Stream模塊對數(shù)據(jù)進(jìn)行AXI4Stream格式化處理。

③圖像傳感器存在缺陷像素(DefectivePixel)，需要算法進(jìn)行去除，所以數(shù)據(jù)需經(jīng)過缺陷像素校正(DefectivePixelCorrection)模塊處理。

④從圖像傳感器獲取來的像素數(shù)據(jù)是Bayer格式(BayerPatten)的，需要轉(zhuǎn)換為RGB格式，引入了色彩濾波陣列插值(ColorFilterArrayInterpolation)模塊。

⑤經(jīng)過格式轉(zhuǎn)換后的原始數(shù)據(jù)噪點(diǎn)較多，需要引入圖像降噪(ImageNoiseReduction)模塊。

⑥圖像數(shù)據(jù)量龐大，而FPGA有限的存儲空間不能滿足數(shù)據(jù)吞吐需求，為了解決這個問題本文引入了外部存儲芯片DDR2，并采用專用的內(nèi)存接口管理(MemoryInterfaceController)模塊進(jìn)行管理。

⑦圖像數(shù)據(jù)需要匹配相應(yīng)的時序信號進(jìn)行輸出，所以系統(tǒng)內(nèi)設(shè)計了一個視頻時序信號控制（VideoTimingController)模塊解決這個問題。

⑧送入視頻編碼芯片的數(shù)據(jù)格式基于AXI4Stream協(xié)議，需要引入AXI4Stream轉(zhuǎn)視頻數(shù)據(jù)模塊將圖像數(shù)據(jù)和視頻時序控制信號進(jìn)行整合，轉(zhuǎn)換為編碼芯片可直接利用的數(shù)據(jù)格式。3功能實(shí)現(xiàn)模塊3.1I2C總線通信模塊

I2C總線協(xié)議有以下幾種不同的傳輸編碼，按順序依次為：開始位(startbit)、從設(shè)備地址(slavedeviceaddress)、應(yīng)答位(acknowledgebit)、數(shù)據(jù)信息(datamessage)，以及停止位(stopbit)。一個典型的I2C總線讀、寫時序如圖3所示。其中SCK為時鐘信號線，SDA為數(shù)據(jù)信號線?？臻e狀態(tài)下SCK和SDA都為高電平，讀寫開始的標(biāo)志是SDA信號線拉低電平，生成一個開始位，隨后主設(shè)備送出8位從設(shè)備地址信號。從設(shè)備地址的最后一位決定了此次操作的讀寫性質(zhì)，低電平表示寫操作，高電平表示讀操作。從設(shè)備隨后拉低SDA信號線以應(yīng)答。主設(shè)備隨后以8位為單位進(jìn)行讀或?qū)懖僮?，并在?yīng)答后拉高SDA信號線表示停止位，回到空閑狀態(tài)。

圖3I2C總線時序傳輸圖3.2視頻數(shù)據(jù)轉(zhuǎn)AXI4Stream模塊

由CMOS圖像傳感器MT9V022輸出的時序如圖4所示，其中LINE_VALID表示行數(shù)據(jù)有效，F(xiàn)RAME_VALID表示幀數(shù)據(jù)有效。本模塊通過偵測FRAME_VALID和LINE_VALID信號的上升和下降沿，以判斷圖像中每一行數(shù)據(jù)的開始和結(jié)束，通過結(jié)合并行傳輸?shù)?0位像素點(diǎn)信息，對AXI4Stream接口信號進(jìn)行匹配。該模塊以主模式(mastermode)接口輸出，接口信號包含：tdata表示像素點(diǎn)數(shù)據(jù)；TVALID和tready表示握手信號；tuser表示一幀圖像第一行第一個像素點(diǎn)；tlast表示每一行最后一個像素點(diǎn)。該模塊在ModelSim軟件中的功能仿真圖略——編者注。經(jīng)驗證，該模塊可實(shí)現(xiàn)數(shù)據(jù)格式轉(zhuǎn)換功能。3.3缺陷像素校正模塊

由于生產(chǎn)制造上的缺陷、日常操作中的故障，或是基于溫度或曝光差異等引起像素點(diǎn)電壓變化，從圖像傳感器獲取來的數(shù)據(jù)存在一定數(shù)目的缺陷像素數(shù)據(jù)。這些缺陷像素的特征大體可概括為以下幾個方面：失活（總為低），活躍（總為高），粘連（固定值）。這些異常可以進(jìn)一步表征為靜態(tài)的（總是存在的）或動態(tài)的（作為曝光量或溫度的函數(shù)）。

模塊核心代碼采用Xilinx公司提供的IP核——DefectivePixelCorrectionIPCore[7]，其編程接口如圖5所示。

圖5缺陷像素校正模塊編程接口對于圖像中較大的固定區(qū)域，此模塊需要去判斷該區(qū)域是圖像里靜止的部分還