基于面陣CMOS圖像傳感器的2×2拼接系統(tǒng)

1、基于面陣CMOS圖像傳感器的2×2拼接系統(tǒng)視頻電路設(shè)計(jì)楊小樂(lè) 董建婷 董杰北京空間機(jī)電研究所摘要：本文論述了以2K×2K 面陣CMOS圖像傳感器LUPA4000為基礎(chǔ)的2×2光學(xué)拼接系統(tǒng)視頻電路的方案設(shè)計(jì)，具體軟硬件設(shè)計(jì)。每塊傳感器具有獨(dú)立焦面電路和信號(hào)處理電路，系統(tǒng)采用編碼與控制電路實(shí)現(xiàn)四塊傳感器同時(shí)曝光成像和積分時(shí)間同步設(shè)置，編碼與控制電路將四塊傳感器的圖像數(shù)據(jù)編碼后通過(guò)一路Camera Link接口輸出。實(shí)驗(yàn)成像結(jié)果表明，電路運(yùn)行可靠，操作靈活，可擴(kuò)展性強(qiáng)，能夠得到很好的拼接圖像。關(guān)鍵字：面陣CMOS LUPA4000 拼接視頻電路 The video ci

2、rcuit design of 2×2 stitching system based on area CMOS image sensor.Yang xiaole Dong jianting Dong jieBeijing institute of space Mechanics & ElectricityAbstract：This paper dissertate video circuit project design, hardware and software design of 2×2 optical stitching system based on 2K

3、×2K area CMOS image sensor LUPA4000. Every sensor has its own focal plane and signal process circuit, system realize four sensor exposal and integral time change synchronously by coding and control circuit. Coding and control circuit arranges four sensor image data and sends out through one Cam

4、era Link interface. Experiment result showed that circuit runs stably, operates and expands flexibly, can get good stitching image.Keywords: area cmos、LUPA4000、stitching video circuit1 引言目前高軌遙感相機(jī)是我國(guó)航天遙感器發(fā)展的一個(gè)重要方向，是提高我國(guó)光學(xué)遙感時(shí)間分辨率的重要手段。高軌遙感往往要求具有較高空間分辨率和極高的時(shí)間分辨率，同時(shí)要求具有較大單景觀測(cè)幅寬。高軌遙感大多使用面陣圖像傳感器。目前面陣CMOS圖

5、像傳感器的像元規(guī)模較小，無(wú)法滿足高軌遙感單景觀測(cè)幅寬要求，因此需要采用傳感器拼接來(lái)滿足系統(tǒng)要求。LUPA4000為Cypress公司的2K×2K面陣CMOS圖像傳感器，本文論述了基于該圖像傳感器的采用光學(xué)拼接方法的2×2拼接系統(tǒng)的視頻電路設(shè)計(jì)，介紹電路設(shè)計(jì)思路和方法，結(jié)合實(shí)驗(yàn)成像結(jié)果介紹了具體設(shè)計(jì)過(guò)程。2 系統(tǒng)功能與硬件設(shè)計(jì)2.1 LUPA4000圖像傳感器LUPA4000是一款具有四百萬(wàn)像素的APS圖像傳感器，它具有同步電子快門(mén)的功能；可實(shí)現(xiàn)開(kāi)窗讀出，在不開(kāi)窗口的模式下讀出速度為每秒15幀；動(dòng)態(tài)范圍在單斜率積分模式下動(dòng)態(tài)范圍為66dB，可以通過(guò)雙斜率或多斜率積分來(lái)提高其動(dòng)

6、態(tài)范圍最高可達(dá)90dB，內(nèi)部是集成兩塊10bit的AD轉(zhuǎn)換，可選擇單抽頭或雙抽頭讀出，有效地提高圖像讀出速率。2.2 系統(tǒng)方案設(shè)計(jì) 2×2拼接系統(tǒng)電路設(shè)計(jì)中要保證每個(gè)傳感器能夠正常成像，能夠接受上位機(jī)指令，完成每塊傳感器工作參數(shù)設(shè)置；通過(guò)接受上位機(jī)觸發(fā)脈沖，實(shí)現(xiàn)4塊傳感器同時(shí)曝光成像（誤差小于100ns）；能夠?qū)?塊傳感器的圖像數(shù)據(jù)，拼接為一幅完整的圖像通過(guò)1路Camera Link接口發(fā)送給圖采設(shè)備。為方便系統(tǒng)調(diào)試，提高拼接系統(tǒng)靈活性，系統(tǒng)中每塊傳感器采用獨(dú)立供電，具有獨(dú)立的信號(hào)處理電路，具有獨(dú)立的時(shí)鐘。系統(tǒng)采用編碼與控制電路，保證在4塊傳感器同時(shí)曝光成像的情況下，實(shí)現(xiàn)一路接口輸出

7、拼接圖像。系統(tǒng)方案如圖1所示。圖1 系統(tǒng)方案示意圖整個(gè)電路由Camera Link接口串聯(lián)，信號(hào)處理電路與編碼控制電路通過(guò)Camera Link接口連接，編碼與控制電路與圖采通過(guò)Camera Link接口連接。 系統(tǒng)成像控制流程：圖采設(shè)備通過(guò)Camera Link接口中的CC1控制接口向編碼與控制電路發(fā)送控制脈沖（上升沿有效），編碼與控制電路檢測(cè)到該脈沖后通過(guò)四路Camera Link接口同時(shí)向四塊信號(hào)處理電路轉(zhuǎn)發(fā)控制脈沖，信號(hào)處理電路檢測(cè)到脈沖后開(kāi)始控制傳感器積分，讀出圖像數(shù)據(jù)。 系統(tǒng)工作參數(shù)設(shè)置流程：圖采設(shè)備通過(guò)Camera Link接口中的串口向編碼與控制電路發(fā)送工作參數(shù)設(shè)置命令，編碼與

8、控制電路接收到該命令后通過(guò)Camera Link接口中的串口同時(shí)向四塊信號(hào)處理電路轉(zhuǎn)發(fā)該命令。系統(tǒng)圖像數(shù)據(jù)流程：各個(gè)信號(hào)處理電路具有獨(dú)立時(shí)鐘，依據(jù)成像控制流程可知，四塊信號(hào)處理電路輸出的圖像數(shù)據(jù)不可能同步到達(dá)編碼與控制電路，因此編碼與控制電路通過(guò)四路Camera Link接口接收到四路圖像數(shù)據(jù)后先緩存再編碼，然后通過(guò)Camera Link接口發(fā)送給圖采。2.3 硬件設(shè)計(jì)硬件組成框圖如圖2所示，焦面電路主要為CMOS傳感器提供其正常工作所需的偏置電源。LUPA4000的偏置電源達(dá)到了13 種，其中有7 種電源受環(huán)境因素的影響較大，在這7 種電源中有6 種是與像素陣列信號(hào)相關(guān)的，按照電源種類、電源

9、電壓以及電源的相互關(guān)系，最終通過(guò)7片LDO產(chǎn)生傳感器所需所有電源。采用MSK公司生產(chǎn)的小型、大電流、高精度、低壓差電壓轉(zhuǎn)換器MSK5102、MSK5101。 表1 焦面電路電源分配LDO電源MSK5102-2.5Vaa/ADC_Vaa/VpixMSK5102-2.5Vdd MSK5102-2.5Voo / ADC_Vdd/ vres_dsMSK5102-3.3Vmem_hMSK5101_ADJVmem_lMSK5101_ADJVa3MSK5101_ADJVres信號(hào)處理電路主要由FPGA和MSP430單片機(jī)構(gòu)成硬件核心，MSP430單片機(jī)功耗低、內(nèi)部集成硬件乘法器，具有很強(qiáng)的計(jì)算能力。它負(fù)責(zé)與

10、上位機(jī)串口通信和參數(shù)解譯、計(jì)算，并將解譯結(jié)果傳輸給FPGA。FPGA負(fù)責(zé)產(chǎn)生傳感器工作所需時(shí)序與控制信號(hào)，并進(jìn)行圖像處理和輸出。FPGA采用SPARTAN-3AN系列的XC3S200AN芯片，其內(nèi)部集成FLASH存儲(chǔ)器，無(wú)需外接FLASH，有助于消減成本，并且減小電路板體積。CMOS器件具有很高的暗電流與固定模式噪聲FPN，暗電流噪聲對(duì)圖像非均勻性具有很大的影響，系統(tǒng)設(shè)計(jì)中采用SDRAM緩存一幀暗背景，每次成像圖像數(shù)據(jù)在FPGA內(nèi)部進(jìn)行減暗背景操作后輸出。編碼與控制電路核心為FPGA，其主要由5路Camera Link接口和2路SDRAM芯片組成，SDRAM用于緩存圖像數(shù)據(jù)（備用）。其完成4塊

11、信號(hào)處理電路的控制與圖像采集，采用SPARTAN-3AN系列FPGA芯片 XC3S1400AN。 圖2 信號(hào)處理電路與編碼控制電路硬件框圖3.軟件設(shè)計(jì)3.1信號(hào)處理電路軟件Msp430單片機(jī)通過(guò)Camera Link接口中的串口與編碼控制電路進(jìn)行通信，傳遞工作參數(shù)（積分時(shí)間），串口指令格式如下：表2 MSP430單片機(jī)與編碼控制電路通信控制字AA55積分時(shí)間字節(jié)1積分時(shí)間字節(jié)2積分時(shí)間字節(jié)3和校驗(yàn)單片機(jī)與FPGA之間的數(shù)據(jù)通信，采用自編并口協(xié)議，其協(xié)議如下圖，由單片機(jī)發(fā)出控制信號(hào)，CS是片選信號(hào)， WR是寫(xiě)入允許信號(hào)，CC1/CC2為字節(jié)選擇信號(hào)， D7D0為通信數(shù)據(jù)總線為三態(tài)。圖3 MSP4

12、30單片機(jī)與FPGA通信協(xié)議在分析了LUPA4000的工作原理以及工作時(shí)序的基礎(chǔ)上，采用VHDL語(yǔ)言編寫(xiě)有限狀態(tài)機(jī)方式來(lái)實(shí)現(xiàn)傳感器工作時(shí)序的設(shè)計(jì)。FPGA內(nèi)部共用了7個(gè)狀態(tài)，采用摩爾型狀態(tài)機(jī)：Int狀態(tài)、SPI狀態(tài)、WAIT狀態(tài)、FOT狀態(tài)、READM狀態(tài)、DARKM狀態(tài)、TONG狀態(tài)，各個(gè)具體狀態(tài)轉(zhuǎn)換如圖4所示。Int狀態(tài)為初始化狀態(tài)，其為L(zhǎng)UPA4000提供1024個(gè)CLK_X和2048個(gè)CLK_Y寄存器清空時(shí)鐘。LUPA4000傳感器內(nèi)部具有32位的寄存器，其控制著傳感器的工作參數(shù)，如讀出方向、讀出地址、是否進(jìn)行開(kāi)窗操作等等，SPI狀態(tài)完成傳感器SPI寄存器參數(shù)寫(xiě)入操作。Wait狀態(tài)為空

13、閑等待狀態(tài)。TONG狀態(tài)為接收單片機(jī)傳輸?shù)膫鞲衅鞣e分時(shí)間參數(shù)。FOT狀態(tài)為積分狀態(tài)，根據(jù)LUPA4000的技術(shù)文檔，可知積分時(shí)間由:Reset、Mem_hl、Precharge、Sample四個(gè)信號(hào)狀態(tài)決定。Reset的低電平時(shí)間決定積分時(shí)間的長(zhǎng)短。READM狀態(tài)為讀出圖像數(shù)據(jù)并處理輸出，DARKM為采集暗背景圖像，當(dāng)FOT狀態(tài)結(jié)束，若暗背景采集指令darkm_begin等于1，則狀態(tài)機(jī)將轉(zhuǎn)入DARKM狀態(tài)，進(jìn)行暗背景采集，否則狀態(tài)機(jī)轉(zhuǎn)入READM狀態(tài)進(jìn)行正常圖像讀取與處理。darkm_begin 信號(hào)由Camera Link接口中的控制信號(hào)CC2決定，Pbegin_EN信號(hào)由Camera L

14、ink接口中的控制信號(hào)CC1決定，控制著傳感器曝光積分起動(dòng)。圖4 信號(hào)處理電路軟件狀態(tài)機(jī)3.2編碼與控制電路軟件編碼與控制電路主要完成四路信號(hào)處理電路的圖像數(shù)據(jù)的采集、編碼、輸出，同時(shí)實(shí)現(xiàn)四路信號(hào)處理電路的同步成像控制，以及積分時(shí)間參數(shù)的設(shè)置。編碼與控制電路以FPGA為硬件核心，F(xiàn)PGA編程中設(shè)計(jì)UART串口控制模塊，F(xiàn)PGA直接接收與圖采連接的Camera Link接口中的串口數(shù)據(jù)（積分時(shí)間），并直接轉(zhuǎn)發(fā)給信號(hào)處理電路。當(dāng)四路圖像數(shù)據(jù)同時(shí)進(jìn)入編碼與控制電路時(shí)，其采用FIFO緩存加4倍速讀出方案將4路圖像數(shù)據(jù)通過(guò)一路Camera Link接口輸出給圖采。首先信號(hào)處理電路輸出圖像數(shù)據(jù)時(shí)鐘頻率為2

15、0MHZ，在FPGA內(nèi)部為每路圖像數(shù)據(jù)開(kāi)設(shè)FIFO緩存，其寫(xiě)入時(shí)鐘為各自的圖像時(shí)鐘，而讀出時(shí)鐘是相同的為FPGA內(nèi)部產(chǎn)生的80M時(shí)鐘。FIFO緩存操作示意圖如圖5。圖5 FIFO緩存操作示意圖按照系統(tǒng)成像控制流程，雖然各個(gè)信號(hào)處理電路具有獨(dú)立的時(shí)鐘，但各路圖像數(shù)據(jù)到達(dá)編碼與控制電路的時(shí)間最大相差一個(gè)圖像數(shù)據(jù)時(shí)鐘周期，所以經(jīng)過(guò)FIFO緩存后，當(dāng)各個(gè)FIFO內(nèi)存儲(chǔ)一定數(shù)量的圖像數(shù)據(jù)時(shí)，F(xiàn)PGA按照80M時(shí)鐘依次讀出各個(gè)FIFO內(nèi)的圖像數(shù)據(jù)時(shí)，各個(gè)FIFO輸出的第一個(gè)圖像數(shù)據(jù)都對(duì)應(yīng)著傳感器的第一個(gè)像元，因此采用FIFO解決了四路信號(hào)處理電路時(shí)鐘不同步問(wèn)題。圖6為編碼與控制電路最終輸出圖像數(shù)據(jù)時(shí)序圖，

16、圖7為編碼與控制電路軟件仿真圖。圖6 編碼與控制電路輸出圖像時(shí)序圖7 編碼與控制電路軟件仿真4結(jié)論本文論述了以LUPA4000 CMOS傳感器為基礎(chǔ)的2×2拼接系統(tǒng)視頻電路設(shè)計(jì)，系統(tǒng)采用獨(dú)立信號(hào)處理電路加編碼與控制電路的方案，以Camera Link接口串聯(lián)整個(gè)系統(tǒng)，可靠性、靈活性高。保證了每片傳感器都能正常工作成像，實(shí)現(xiàn)各個(gè)傳感器同時(shí)曝光，積分時(shí)間同步可調(diào)。圖8為視頻電路采集拼接系統(tǒng)暗背景，圖9為拼接系統(tǒng)視頻電路成像圖像。圖8 暗背景圖像 圖9 成像圖片5 參考文獻(xiàn)1 李丹，尚媛園，宋謙. 天文用2K×2K 高速CMOS 相機(jī)的研制與測(cè)試結(jié)果J. 天文研究與技術(shù)，2006

17、，3(4)：380-386.2 黎向陽(yáng)，高偉，楊光宏，等. 面陣CMOS 圖像傳感器LUPA4000 的驅(qū)動(dòng)設(shè)計(jì)J. 現(xiàn)代電子技術(shù)，2008(8)：17-19.3 xilinx. Spartan-3 Generation Configuration User Guide4 xilinx. Spartan-3 Generation FPGA User Guide5 范鐵道，田雁，曹劍中，等. 基于FPGA 的CMOS 圖像感器IA_G3 驅(qū)動(dòng)電路的研究J. 電子器件，2009，32(2)：269-273.6 邢汝佳，張伯珩，邊川平，等. 基于CPLD 的CMOS 圖像傳感器的驅(qū)動(dòng)電路設(shè)計(jì)J. 科學(xué)技術(shù)與工程，2007，7(10)： 2354-2357.7 曹聽(tīng)燕CPLD在CMOS圖像傳感器驅(qū)動(dòng)電路中的應(yīng)用J儀表技術(shù)與傳感器，2005(4)：43458 姚遠(yuǎn)，李辰.FPGA 應(yīng)用