基于FPGA的數(shù)字CMOS攝像機(jī)圖像采集

1、嵌入式課程設(shè)計(jì)課程題目:基于FPGA的圖像采集系統(tǒng) 課程成員: 指導(dǎo)老師:_ 基于FPGA的數(shù)字CMOS攝像機(jī)圖像采集一、數(shù)據(jù)采集系統(tǒng)概述數(shù)據(jù)采集是指將以各種形式輸入的被測(cè)信號(hào)，包括語(yǔ)音信號(hào)、溫度信號(hào)、濕度信號(hào)、圖像信號(hào)等經(jīng)過(guò)適當(dāng)處理，成為計(jì)算機(jī)可以識(shí)別的數(shù)字信號(hào)，從而送入計(jì)算機(jī)進(jìn)行存儲(chǔ)處理的過(guò)程，數(shù)據(jù)采集卡就是典型的基于數(shù)據(jù)采集系統(tǒng)原理的集成計(jì)算機(jī)擴(kuò)展卡。如圖1所示，在數(shù)據(jù)采集過(guò)程中主要有幾個(gè)關(guān)鍵部分:(1)輸入信號(hào)的幅度較小或者過(guò)大，需要經(jīng)過(guò)放大器單元將輸入信號(hào)幅度放大或者縮小;(2)輸入信號(hào)帶有較大的噪聲，需要經(jīng)過(guò)一個(gè)硬件的模擬濾波單元，將信號(hào)濾波整形;(3)將信號(hào)送到AD進(jìn)行模數(shù)轉(zhuǎn)換;

2、(4)將信號(hào)傳輸?shù)接?jì)算機(jī)；(5)存儲(chǔ)記錄和處理數(shù)據(jù)。圖1數(shù)據(jù)采集過(guò)程通常認(rèn)為如果數(shù)字邏輯電路的頻率超過(guò)50MHz，而且工作在這個(gè)頻率之上的電路已經(jīng)占到了整個(gè)電路系統(tǒng)的三分之一以上，就稱為高速電路。相應(yīng)的，對(duì)于并行采樣系統(tǒng)，如果采樣頻率達(dá)到50MHZ，數(shù)據(jù)量并行8bit以上;對(duì)于串行采樣系統(tǒng)，如果采樣頻率達(dá)到200MHz，一般將這種采樣系統(tǒng)也稱為高速數(shù)據(jù)采集。目前高速數(shù)據(jù)采集使用較多的采樣頻率一般在50M100MHz之間。采集系統(tǒng)分模擬系統(tǒng)和數(shù)字系統(tǒng)，大多數(shù)字采集系統(tǒng)中，CMOS圖像傳感器是系統(tǒng)的成像部件，它是系統(tǒng)的“眼睛”，能夠捕獲高速運(yùn)動(dòng)物體的圖像，此模塊是將采集的模擬圖像轉(zhuǎn)化為數(shù)字信號(hào)輸出

3、;圖像處理模塊是系統(tǒng)的中間緩存處理部分，此模塊為了消除或降低前期采集攜帶噪聲的影響，提高圖像質(zhì)量，將龐大的數(shù)據(jù)量進(jìn)行壓縮，以減小對(duì)存儲(chǔ)介質(zhì)容量的要求;數(shù)據(jù)傳輸模塊是系統(tǒng)與外設(shè)搭建的橋梁，此模塊是將實(shí)時(shí)采集的數(shù)據(jù)高速傳輸，給外設(shè)提供信息。二、總體方案設(shè)計(jì)方案1：圖像數(shù)據(jù)的傳輸通過(guò)USB總線技術(shù)完成系統(tǒng)的初始化以及將最終的傳輸信號(hào)準(zhǔn)確無(wú)誤地傳送到上位機(jī)上。USB技術(shù)具有簡(jiǎn)單化、通用性、可靠性、熱插拔、傳輸速率高等優(yōu)點(diǎn)，隨之帶來(lái)的是應(yīng)用USB技術(shù)的復(fù)雜程度高、總線傳輸協(xié)議需要協(xié)調(diào)等問(wèn)題。方案2： 利用兩片SDRAM進(jìn)行圖像數(shù)據(jù)的短時(shí)間存儲(chǔ)并快速傳輸，SDRAM是多Bank結(jié)構(gòu)，例如在一個(gè)具有兩個(gè)Ba

4、nk的SDRAM的模組中，其中一個(gè)Bank在進(jìn)行預(yù)充電期間，另一個(gè)Bank卻馬上可以被讀取，這樣當(dāng)進(jìn)行一次讀取后，又馬上去讀取已經(jīng)預(yù)充電Bank的數(shù)據(jù)時(shí)，就無(wú)需等待而是可以直接讀取了，這也就大大提高了存儲(chǔ)器的訪問(wèn)速度。其優(yōu)點(diǎn)是設(shè)計(jì)相對(duì)簡(jiǎn)單、不許考慮傳輸時(shí)轉(zhuǎn)換總線的問(wèn)題、較為可靠，缺點(diǎn)是SDRAM容量有限、傳輸時(shí)序需要計(jì)算準(zhǔn)確、SDRAM經(jīng)常刷新等。根據(jù)綜合分析和考慮，我們選用相對(duì)簡(jiǎn)單方便的方案2，選擇器件如下：FPGA采用Altera的Cyclone EP2C35F484C8，視頻采集芯片用飛利浦的SAA7113作為A/D轉(zhuǎn)換單元，兩塊型號(hào)為K4S641632E的SDRAM和FPGA構(gòu)成圖像幀

5、存儲(chǔ)及傳輸處理系統(tǒng)，ADV7125是數(shù)模轉(zhuǎn)換芯片，和計(jì)算機(jī)VGA顯示器相連作為顯示終端，系統(tǒng)整體框圖如圖2所示。圖2 視頻監(jiān)控系統(tǒng)整體框圖以上圖像視頻監(jiān)視系統(tǒng)的大部分設(shè)計(jì)工作都集中在對(duì)FPGA的編程開(kāi)發(fā)上，通過(guò)分析可以確定出FPGA需要包含如下幾個(gè)功能模塊。（1）視頻接口配置模塊：視頻采集芯片SAA7113具有多種采集方式，這里FPGA通過(guò)I²C總線對(duì)其內(nèi)部寄存器進(jìn)行配置，使其按照一定的格式進(jìn)行采樣。（2）異步FIFO模塊：當(dāng)FPGA接收A/D采樣的視頻數(shù)據(jù)時(shí)，由于SAA7113和FPGA一般在不同的時(shí)鐘頻率下，這就會(huì)出現(xiàn)通常所說(shuō)的異步時(shí)鐘問(wèn)題，處理不當(dāng)就容易出現(xiàn)亞穩(wěn)態(tài)，常用方法是在

6、兩者之間添加一塊異步FIFO。（3）視頻變換模塊：對(duì)得到的數(shù)字視頻流進(jìn)行解碼，識(shí)別出行、場(chǎng)同步信號(hào)，并且根據(jù)需要選擇采集圖像的大小，進(jìn)而變換成RGB格式的圖像數(shù)據(jù)，以便于后續(xù)顯示。（4）圖像幀存讀寫(xiě)模塊：將解碼后的數(shù)據(jù)經(jīng)由一個(gè)乒乓機(jī)制依次存放在兩片RAM中，每個(gè)里面剛好存放一幅圖像，通過(guò)乒乓機(jī)制使得兩塊存儲(chǔ)區(qū)域交替進(jìn)行存儲(chǔ)輸入和顯示輸出，避免等待，提高速度。（5）VGA控制模塊：根據(jù)VGA的工業(yè)參數(shù)，產(chǎn)生相應(yīng)的行同步和場(chǎng)同步信號(hào)，并在適當(dāng)時(shí)刻送入數(shù)據(jù)，經(jīng)由ADV7125送VGA進(jìn)行顯示。圖3描述了FPGA內(nèi)部的各個(gè)主要功能模塊。系統(tǒng)上電時(shí)，F(xiàn)PGA首先從外部Flash中讀取配置數(shù)據(jù)，完成自身的

7、程序加載，進(jìn)入工作模式狀態(tài)。隨后I²C配置接口模塊完成對(duì)SAA7113的初始化，初始化結(jié)束后，F(xiàn)PGA等待采集圖像的命令。FPGA收到采集命令后，啟動(dòng)采集視頻數(shù)據(jù)模塊、異步FIFO模塊和視頻解碼模塊進(jìn)行解碼，將數(shù)據(jù)輪換寫(xiě)到兩個(gè)幀存中，經(jīng)通信模塊送出，以上即為該系統(tǒng)的工作流程。下面主要針對(duì)SDRAM控制模塊的具體實(shí)現(xiàn)過(guò)程進(jìn)行詳細(xì)分析和介紹。圖3 FPGA系統(tǒng)內(nèi)部各模塊整體框圖三、SDRAM控制模塊系統(tǒng)要把每一幅圖像數(shù)據(jù)存儲(chǔ)到一個(gè)SDRAM里面供后續(xù)顯示，由于SDRAM整個(gè)數(shù)據(jù)的寫(xiě)入和讀出都需要一定的時(shí)間，為了避免中間等待過(guò)程，采用兩片等大的SDRAM交替工作，一片在從FIFO向其寫(xiě)入時(shí)

8、另一片向VGA輸出，使用乒乓機(jī)制交換它們的工作性質(zhì)。這樣問(wèn)題的重點(diǎn)就集中在FPGA對(duì)SDRAM的讀寫(xiě)控制模塊上。3.1 SDRAM概述之所以要用到SDRAM，是因?yàn)樗鼉r(jià)格低、體積小、速度快、容量大，是比較理想的存儲(chǔ)器件。在基于FPGA的圖像采集和集中顯示系統(tǒng)中，常常要用到這種大容量、高速度的存儲(chǔ)器。但SDRAM的控制邏輯比較復(fù)雜，對(duì)時(shí)序要求也十分嚴(yán)格，這就要求有一個(gè)專(zhuān)門(mén)的控制器，使系統(tǒng)用戶能很方便地操作SDRAM。SDRAM器件的管腳分為控制信號(hào)、地址和數(shù)據(jù)3類(lèi)。通常一個(gè)SDRAM中包含幾個(gè)BANK，每個(gè)BANK的存儲(chǔ)單元是按行和列尋址的。由于這種特殊的存儲(chǔ)結(jié)構(gòu)，SDRAM有以下幾個(gè)工作特性。

9、（1）SDRAM的初始化SDRAM在上電100200s后，必須由一個(gè)初始化進(jìn)程來(lái)配置SDRAM的模式存儲(chǔ)器，模式存儲(chǔ)器的值決定SDRAM的工作模式。訪問(wèn)存儲(chǔ)單位：為減少I(mǎi)/O引腳數(shù)量，SDRAM復(fù)用地址線，所有在讀寫(xiě)SDRAM時(shí)，先由ACTIVE命令激活要讀寫(xiě)的BANK，并鎖存行地址，然后在讀寫(xiě)指令有效時(shí)鎖存列地址。一旦BANK被激活后，只有執(zhí)行一次預(yù)充命令后才能再次激活同一BANK。（2）刷新和預(yù)充SDRAM的存儲(chǔ)單元可以理解為一個(gè)電容，總是傾向于放電，因此必須有定時(shí)刷新周期以避免數(shù)據(jù)全失。刷新周期可由（最小刷新周期+時(shí)候周期）計(jì)算獲得。對(duì)BANK預(yù)充電或者關(guān)閉已激活的BANK，可預(yù)充特定B

10、ANK也可同時(shí)作用于所有BANK，A10、BA0和BA1用于選擇BANK。（3）操作控制SDRAM的具體控制命令由一些專(zhuān)用控制引腳和地址線輔助完成。CS、RAS、CAS和WR在時(shí)鐘上升沿的狀態(tài)決定具體操作動(dòng)作，地址線和BANK選擇控制線在部分操作動(dòng)作中作為輔助參數(shù)輸入。由于特殊的存儲(chǔ)結(jié)構(gòu)，SDRAM操作指令比較多，不像SRAM一樣只有簡(jiǎn)單的讀寫(xiě)。根據(jù)系統(tǒng)要求，本設(shè)計(jì)選用SAMSUNG的K4S6432 SDRAM芯片。3.2 SDRAM控制器總體設(shè)計(jì)SDRAM控制器與外部的接口示意圖由圖4給出，控制器右端接口信號(hào)均為直接與SDRAM對(duì)應(yīng)管腳相連的信號(hào)；控制器左端的接口信號(hào)為與FPGA相連的系統(tǒng)控

11、制接口信號(hào)，其中，CLK為系統(tǒng)時(shí)鐘信號(hào)，RESET_N為復(fù)位信號(hào)，ADDR為系統(tǒng)給出的SDRAM地址信號(hào)，DAIN是系統(tǒng)用于寫(xiě)入SDRAM的數(shù)據(jù)信號(hào)，F(xiàn)PGA_RD和FPGA_WR為系統(tǒng)讀、寫(xiě)請(qǐng)求信號(hào)（1為有效，0為無(wú)效），SDRAM_FREE是SDRAM的空閑狀態(tài)標(biāo)示信號(hào)（0為空閑，1為忙碌），F(xiàn)DATA_ENABLE是控制器給系統(tǒng)的數(shù)據(jù)收發(fā)指示信號(hào)（為0時(shí)，無(wú)法對(duì)SDRAM進(jìn)行數(shù)據(jù)收發(fā)；為1時(shí)，若是系統(tǒng)讀操作，則系統(tǒng)此時(shí)可從DAOUT接收SDRAM的數(shù)據(jù)，若是寫(xiě)操作，則系統(tǒng)此時(shí)可以通過(guò)DAIN發(fā)送數(shù)據(jù)給SDRAM）。圖4 總體設(shè)計(jì)框圖和外部接口信號(hào)參照SDRAM的數(shù)據(jù)手冊(cè)可知，它的指令譯碼

12、對(duì)照表如表1所示。表1 SDRAM指令譯碼對(duì)照表命令CS_RAS_CAS_WE_A10 AP空操作指令（NOP）0111X刷新指令（REF/SELF）0001X讀寫(xiě)停止指令（BST）0110X模式設(shè)置指令（MRS）00000/1激活指令（ACTIVE）00110/1讀指令（READ）01010帶預(yù)充的讀指令（READA）01011寫(xiě)指令（WRITE）01000帶預(yù)充的寫(xiě)指令（WRITEA）01001預(yù)充指令（PRE）00100仔細(xì)分析SDRAM的各個(gè)接口信號(hào)、時(shí)序要求和工作模式，將該SDRAM控制器的內(nèi)部進(jìn)一步細(xì)化為多個(gè)功能模塊，結(jié)構(gòu)組成如圖5所示，包括系統(tǒng)控制接口模塊、CMD命令解析模塊、命

13、令相應(yīng)模塊、數(shù)據(jù)通路模塊。系統(tǒng)控制接口模塊用于接收系統(tǒng)的控制信號(hào)，進(jìn)而產(chǎn)生不同的CMD命令組合；CMD命令解析模塊用于接收CMD命令并解碼成操作指令；命令響應(yīng)模塊用于接收操作指令并產(chǎn)生SDRAM的操作動(dòng)作；數(shù)據(jù)通路模塊則用于控制數(shù)據(jù)的有效輸入輸出。圖5 SDRAM控制器的結(jié)構(gòu)圖3.3 SDRAM系統(tǒng)控制接口子模塊設(shè)計(jì)該模塊主要包括初始化和系統(tǒng)指令分析功能。其工作過(guò)程如下：由計(jì)數(shù)器控制在系統(tǒng)上電約200s后，先進(jìn)行SDRAM的初始化配置工作，由一個(gè)Precharge all back指令完成對(duì)所有BANK的預(yù)充，接著是多個(gè)Refresh指令，然后是模式配置指令LOADMODE，完成SDRAM的工

14、作模式設(shè)置。之后進(jìn)行控制器的初始化配置工作，先發(fā)出指令LOADREG1給控制器載入模式字，再發(fā)出LOADREG2指令載入控制器的刷新計(jì)數(shù)器值，完成控制器初始化配置。上述初始化過(guò)程結(jié)束后，系統(tǒng)指令分析機(jī)制才可接收并分析系統(tǒng)的讀寫(xiě)信號(hào)和地址信息，以及從下個(gè)模塊反饋回來(lái)的CMD_ACK信號(hào)，并產(chǎn)生對(duì)應(yīng)的CMD命令和SADDR地址信息給CMD命令解析模塊。通過(guò)程序設(shè)置，實(shí)現(xiàn)了根據(jù)初始化配置的參數(shù)來(lái)確定在讀寫(xiě)到特定時(shí)刻發(fā)出Precharge或者Refresh的CMD指令，從而簡(jiǎn)化了系統(tǒng)的控制。而每當(dāng)收到CMD_ACK為1時(shí)，表示CMD指令已經(jīng)發(fā)出并有效，此時(shí)就要發(fā)出NOP命令（CMD=000）。要說(shuō)明的

15、是，SADDR是分時(shí)復(fù)用的，在初始化載入模式時(shí)，SADDR用以傳輸用戶自己定義的模式字內(nèi)容；而在正常的讀寫(xiě)期間，SADDR作為地址線傳輸SDRAM所需的行、列和塊地址。代碼示例如附件1.3.4 CMD命令解析和命令相應(yīng)子模塊該模塊首先對(duì)CMD指令進(jìn)行判斷，其結(jié)果解釋輸出相應(yīng)的操作指令進(jìn)行響應(yīng)。例如，CMD為001時(shí)，則會(huì)輸出do_read信號(hào)為1；CMD為010時(shí)，則會(huì)輸出do_write信號(hào)為1，在同一時(shí)刻，只會(huì)輸出一種有效的操作指令。然后該模塊根據(jù)操作指令，做出符合SDRAM讀寫(xiě)規(guī)范的操作動(dòng)作，來(lái)進(jìn)行用戶期望的操作；給出數(shù)據(jù)選通信號(hào)OE，來(lái)控制數(shù)據(jù)通路模塊（寫(xiě)操作OE為1，讀操作時(shí)OE為0

16、）。此外，該模塊把系統(tǒng)非復(fù)用的地址ADDR處理為SDRAM復(fù)用的地址，分時(shí)送給SA、BA。程序中地址復(fù)用的方法為：assign raddr=ADDRROWSTART+ROWSIZE-1:ROWSTART;/raddr為行地址assign eaddr=ADDRCOLSTART+COLSIZE-1:COLSTART;/eaddr為列地址assign baddr=ADDRBANKSTART+BANKSIZE-1:BANKSTART;/baddr為BANK地址在程序中，WRITEA和READA的CMD指令實(shí)際隱含了ACTIVE命令，所以該模塊在收到do_write或do_read指令后，會(huì)先進(jìn)行激活動(dòng)

17、作，經(jīng)過(guò)初始化配置規(guī)定的CAS延遲時(shí)間之后再進(jìn)行讀寫(xiě)動(dòng)作。此外，該模塊內(nèi)含用以預(yù)設(shè)某些模式參數(shù)的模式寄存器，主要包括3類(lèi)：第1類(lèi)是SDRAM模式控制寄存器，在LOADMODE指令時(shí)，將該寄存器的值送入SDRAM的模式寄存器中，以控制SDRAM的工作模式；第2類(lèi)是SDRAM控制器的參數(shù)寄存器（LOAD_REG1），使得SDRAM控制器的工作方式與外部的SDRAM器件的工作方式匹配；第3類(lèi)是SDRAM的刷新周期控制寄存器，該寄存器預(yù)設(shè)用戶定義的自動(dòng)刷新計(jì)數(shù)值，用于SDRAM的刷新周期預(yù)設(shè)。上述3類(lèi)寄存器的預(yù)設(shè)值都是系統(tǒng)控制接口模塊在初始化時(shí)通過(guò)SADDR傳送給來(lái)的。收到各類(lèi)操作指令后，該模塊會(huì)反饋

18、給CMD命令解析模塊cmdack信號(hào)為1，并最終反饋到系統(tǒng)控制接口模塊的CMDACK信號(hào)為1，如果沒(méi)有收到任何操作指令，則cmdack=0，CMDACK信號(hào)為0。代碼示例如附件2.3.5 數(shù)據(jù)通路子模塊該模塊受OE信號(hào)的控制，使數(shù)據(jù)的進(jìn)出和相應(yīng)的操作指令在時(shí)序上同步。OE為1時(shí)，數(shù)據(jù)可由DQ腳寫(xiě)入SDRAM，OE為0時(shí)，數(shù)據(jù)可從SDRAM的DQ腳讀出。因?yàn)槭莾?nèi)部模塊，所以應(yīng)該盡量避免使用雙向端口，因此在這里DQ的輸入輸出作用分別用端口DQIN和DQOUT代替，在頂層模塊調(diào)用時(shí)再使用OE信號(hào)實(shí)現(xiàn)三態(tài)雙向傳輸。代碼示例如附件3.3.6 SDRAM控制器頂層模塊實(shí)際上在大型工程開(kāi)發(fā)過(guò)程中很少用到圖形

19、編輯工具，因?yàn)檫B接線較多不易連接，容易顯得雜亂，可讀性和可移植性都不強(qiáng)。因此大多數(shù)模塊調(diào)用都是通過(guò)代碼形式來(lái)調(diào)用的，讀者要熟悉并習(xí)慣使用在程序中調(diào)用另一個(gè)子模塊的方式。附件4是SDRAM控制器頂層模塊代碼示例，通過(guò)這種調(diào)用方式將其他子模塊融合在一個(gè)統(tǒng)一的大工程下。四、系統(tǒng)測(cè)試與分析4.1 整體效果圖 正面效果圖 背面效果圖4.2攝影效果圖（FPGA面板按下KEY1）4.3拍照效果圖（FPGA面板按下KEY2）附件1：部分源碼library ieee;use ieee.std_logic_1164.all;use ieee.std_logic_arith.all;entity control_i

20、nterface isgeneric(ASIZE:integer:=32);port( CLK :in std_logic; RESET_N :in std_logic; CMD :in std_logic_vector(2 downto 0); ADDR :in std_logic_vector(ASIZE-1 downto 0); REF_ACK :in std_logic; CM_ACK :in std_logic; NOP :out std_logic; READA :out std_logic; WRITEA :out std_logic; REFRESH :out std_logi

21、c; LOAD_MODE :out std_logic; SADDR :out std_logic_vector(ASIZE-1 downto 0); SC_CL :out std_logic_vector(1 downto 0); SC_RC :out std_logic_vector(1 downto 0); SC_RRD :out std_logic_vector(3 downto 0); SC_PM :out std_logic; SC_BL :out std_logic_vector(3 downto 0); REF_REQ :out std_logic; CMD_ACK :out

22、std_logic; );end control_interface;architecture RTL of control_interface is -signal declarations signal LOAD_REG1 : std_logic; signal LOAD_REG2 : std_logic; signal REF_PER : std_logic_vector(15 downto 0); signal timer : signed(15 downto 0); signal timer_zero : std_logic; signal SAADR_int : std_logic

23、_vector(ASIZE-1 downto 0); signal CMD_ACK_int : std_logic; signal SC_BL_int : std_logic_vector(3 downto 0);begin -This module decodes the commands from the CMD input to individual -command lines,NOP,READA,WRITEA,REFRESH,PRECHARGE,LOAD_MODE; -ADDR is register in order to keep it aligned with decoded

24、command. process(CLK,RESET_N) begin if(RESET_N='0')then NOP <='0' READA <='0' WRITEA <='0' REFRESH <='0' PRECHARGE <='0' LOAD_MODE <='0' load_reg1 <='0' load_reg2 <='0' SAADR_int <=(others=>'0');elseif rising_edge(CLK)