數(shù)碼影像系統(tǒng)的FPGA設計定稿

1、百度文庫好好學習,天天向上目錄1 .緒論1課題背景1數(shù)碼影像處理系統(tǒng)的現(xiàn)狀研究11.2.1當前主流數(shù)碼影像處理系統(tǒng)的研窕方法11. 2.2基于FPGA的數(shù)碼影像處理系統(tǒng)的特點2論文的課題意義2論文的主要內容3論文的主要創(chuàng)新點32.數(shù)碼影像系統(tǒng)4系統(tǒng)總體架構412c傳感器配置單元52. 2.1I2C總線工作原理53. 2.2I2C傳感器配置單元功能介紹6RAW轉化RGB84. 3.1RAW格式與RGB格式85. 3.2Bayer色彩模型96. 3.3雙線性插值算法97. 3.4雙線性插值算法的實現(xiàn)10百度文庫好好學習,天天向上always(posedgeiCLKornegedgeiRST_n)灰

2、度圖138. 1.1YCbCr空間149. 1.2由RGB產(chǎn)生灰度圖144 .系統(tǒng)驗證21設計平臺21灰度圖的驗證23二值圖的驗證24邊緣檢測的驗證24膨脹與侵蝕的驗證255 .設計總結與展望25設計總結25展望265.2.1全高清攝像265.2.2基于NiosII的二次開發(fā)265.2.3自動白平衡算法的初步探究276.結論29致謝3031參考文獻摘要本研究以FPGA技術為基礎的嵌入式實時影像處理系統(tǒng)，將目前數(shù)字信號處理中廣泛使用的大規(guī)?？删幊碳呻娐沸酒陀跋裉幚砑夹g相結合，克服了在影像處理中長期依賴PC機而且處理速度較慢的缺點，同時也避免了使用DSP芯-4百度文庫好好學習,天天向上片而導致

3、的不能隨組織架構變化而修改，具有較高的靈活性和復用性。在設計的過程中，查閱了很多相關資料，在認真研究，仔細分析并且動手實踐后，最終確定提出基于FPGA技術的數(shù)碼影像系統(tǒng)的設計方案。設計實現(xiàn)了基于緩存技術的了RAWtoRGB的雙線性轉化算法可調用模塊和Sobel邊緣檢測可調用模塊。該方案硬件平臺由DE2-70開發(fā)板、TRDB-D5M500M像素CMOS傳感器、VGA顯示器組成，使用VerilogHDL語言設計，在單片F(xiàn)PGA上實現(xiàn)了影像數(shù)據(jù)的采集和處理，包括雙線性插值算法、色彩空間的變換（RGB空間轉換YCbCr空間）、二值圖、Sobel邊沿檢測、膨脹和侵蝕、并且可以通過VGA接口顯示在顯示器上

4、。最后對系統(tǒng)的主要功能模塊進行了調試和驗證，實驗證明了系統(tǒng)可以較好的進行影像采集、影像處理和影像的現(xiàn)實，證明了系統(tǒng)框架及算法的正確性關鍵詞：實時影像處理、FPGA、VerilogHDL、雙線性插值算法、Sobel邊緣檢測AbstractThisresearch,designedanEmbeddedReal-timeDigitalVideoProcessingSystemonbasisofFPGAtechnique,isfocusedonthecombinationofvideoprocessingtechniquewiththelargescaleprogrammableintegration

5、chips,whicharewidelyusedindigitalsignalprocess.Itovercomesthelong-termdependencyonPCsduringthevideoprocessingandthelowpaceofprocessing,andavoidstheincapabilityofmodifyingthestructurewiththeuseofDSPchips.Thus,thissystempossesseshigherflexibilityandreusability.Intheprocedureofdesign,largeamountofdocum

6、entsareconsidered.Withattentivestudy,analysisandpractices,adesignprogramofdigitalvideosystembasedonFPGAtechniquewasraised.ThisresearchrealizestheRAWtoRGBbi-linearalgorithminvokablemodulesandSobeledgeexaminationinvokablemodules,allofwhicharebasedonthecachingtechnique.Thisprogram'shardwareplatform

7、consistsofDE2-70board.TRDB-D5M500MPixelCMOSsensorandVGAmonitorandusesVerilogHDLlanguagedesigntorealizeonsinglepieceofFPGAthecollectionandprocessingofvideodata,includingbi-linearinterpolation,theconversionofcolorspace(fromRGBcolorspacetoYCbCrspace),binaryimage,Sobeledgeexamination,expansionandcorrosi

8、on,andallthesecanbeseenonthemonitorthroughtheVGAinterface.Lastly,themainfunctionmodulesofthissystemaremodifiedandverified.Thisresearchclarifiesthecapabilityofcollecting,processingandthepresenceoftheimagesofthissystemandprovesthecorrectnessofthealgorithmandthesystemframework.Keywords:real-timevideopr

9、ocessing,FPGA,VerilogHDL,bl-linearinterpolation,Sobeledgeexamination-6百度文庫-好好學習,天天向上1 .緒論課題背景進入信息化時代之后，人類大概有80%以上的信息都來源于數(shù)碼影像，影像信息較之傳統(tǒng)的紙面媒體，所占的比例日益增高。在多媒體技術的各個領域中，影像處理技術占有極為重要的地位。影像處理技術被廣泛的應用于實時視頻監(jiān)控，網(wǎng)絡多媒體通信，高清數(shù)字電視等多個方面。隨著各種媒體的出現(xiàn)和網(wǎng)絡技術的飛速發(fā)展出現(xiàn)很多新鮮的事物，如網(wǎng)絡視頻會議、電視電話會議、多媒體智能會議等，這些系統(tǒng)都要求對數(shù)碼影像進行靈活的處理和顯示。而在電力、交

10、通、通信以及指揮調度等傳統(tǒng)行業(yè)中，多媒體的應用在逐漸增加。這些行業(yè)中應用到的大屏幕顯示系統(tǒng)，都要求其顯示的影像能根據(jù)具體要求進行靈活的變換。因此，數(shù)碼影像處理系統(tǒng)在民用方面有著廣闊的應用前景。數(shù)碼影像處理系統(tǒng)的現(xiàn)狀研究1. 2.1當前主流數(shù)碼影像處理系統(tǒng)的研究方法數(shù)碼影像處理系統(tǒng)主要完成數(shù)碼影像的采集、處理、存儲和顯示。影像采集部分完成影像的獲取，影像處理部分對獲得的影像數(shù)據(jù)進行相關處理，影像存儲部分用于存儲影像數(shù)據(jù)，影像顯示部分用于顯示經(jīng)處理或未經(jīng)處理的影像。數(shù)碼影像處理系統(tǒng)的核心任務是處理采集來的數(shù)碼影像信號。圖1-1影像處理系統(tǒng)目前的數(shù)碼影像處理系統(tǒng)大體上可以分為兩大類4,通用數(shù)碼影像處

11、理系統(tǒng)和專用數(shù)碼影像處理系統(tǒng)。通用數(shù)碼影像處理系統(tǒng)一般以通用計算機為基礎,如大型機、小型機、工作站、微機等，其中較普及的是以微機為基礎的數(shù)碼影像處理系統(tǒng)。專用數(shù)碼影像處理系統(tǒng)一般是針對嵌入式應用而產(chǎn)生和發(fā)展起來的，通常以DSP、可編程邏輯器件(FPGA)等為基礎.本課題是以可控編程邏輯器件（FPGA）為基礎的嵌入式實時專用影像處理系統(tǒng)做一個初步的探索。1.2.2基于FPGA的數(shù)碼影像處理系統(tǒng)的特點可編程邏輯器件（FPGA：FieldProgrammableGateArray）是近幾年才發(fā)展起來的一種新型集成電路，是當前數(shù)字系統(tǒng)設計的主要硬件基礎，是VHDL,Verilog-HDL等硬件編程語言

12、的物理實現(xiàn)工具，F(xiàn)PGA器件以其靈活的可重配和可編程特性，逐漸成為一種流行的設計載體被廣泛地應在工業(yè)控制、通信、消費類電子等各種領域的復雜設計中。M512 BlockM4K Block2,544,192 Memory BitsAdaptive Logic ModulesI/O Channels with External Memory Interface CircuitryHigh-Speed I/OChannels with Dynamic Phase Alignment (DPA)I/O Channels with External Memory Interface CircuitryHi

13、gh-Speed I/O Channels with DPADigital Signal Processing (DSP) BlocksM-RAM BlocksPhase-LockedLoops (PLL)圖1-2FPGA結構圖目前主流的FPGA仍是基于查找表技術的，已經(jīng)遠遠超出了先前版本的基本性能，并且整合了常用功能（如RAM、時鐘管理和DSP）的硬核（ASIC型）模塊。如圖1-2所示（注：圖1-2只是一個示意圖，實際上每一個系列的FPGA都有其相應的內部結構），F(xiàn)PGA芯片主要由7部分完成，分別為：可編程輸入輸出單元、基本可編程邏輯單元、完整的時鐘管理、嵌入塊式RAM、豐富的布線資源、內嵌

14、的底層功能單元和內嵌專用硬件模塊。論文的課題意義1）提高系統(tǒng)的實時性本課題采用VerilogHDL語言進行設計，各模塊間數(shù)據(jù)可并行處理，能有效提高視頻圖像的處理速度，滿足實時性要求。2）增強系統(tǒng)的靈活性利用FPGA的在系統(tǒng)硬件升級能力，可以在原有硬件資源不變的情況下對硬件系統(tǒng)進行升級。硬件升級包括緩存的升級、接口控制器的升級等。這在其他方式的視頻圖像處理器上是無法實現(xiàn)的。在使用過程中，可能會發(fā)現(xiàn)某些原始設計中的缺陷，或隨著技術的不斷更新，產(chǎn)生某些新的需求。此時，可以利用FPGA的硬件可重配置技術，在不改變原有硬件結構的情況下，通過網(wǎng)絡對異地的硬件電路進行遠程升級，更正設計中的瑕疵或增加功能。3

15、）為今后的進一步研究作基礎本課題對以可控編程邏輯器件（FPGA）為基礎的嵌入式實時專用影像處理系統(tǒng)做一個初步的探索，完成了影像最基本的采集，簡單的預處理，圖像制式的轉化，圖像的顯示和一些圖形學算法。在后文中提及到的自動白平衡、自動曝光等都可以以此為基礎作進一步的研究。論文的主要內容1）研究數(shù)碼影像系統(tǒng)的現(xiàn)狀，重點關注基于FPGA的嵌入式實時數(shù)碼影像系統(tǒng)。2）使用VerilogHDL語言設計數(shù)碼影像處理系統(tǒng)的采集、處理和顯示等IP模塊3）對系統(tǒng)軟、硬件進行綜合測試，驗證其正確性和可靠性論文的主要創(chuàng)新點1）設計實現(xiàn)基于緩存技術的了RAWtoRGB的雙線性轉化算法的實時處理單元，使得轉化后的影像有較

16、好的質量。2）設計實現(xiàn)了Sobel邊緣檢測的實時處理單元，對Sobel邊緣檢測這一圖形學上的重要算法做出較好的實現(xiàn)方式。2.數(shù)碼影像系統(tǒng)系統(tǒng)總體架構一個典型的數(shù)碼影像處理系統(tǒng)一般包括以下幾個部分：CMOS傳感器、影像處理系統(tǒng)、輸入輸出單元和顯示器等，概括而言，即為前文所述的影像采集、影像處理和影像顯示3大部分。影像采集事實上就是一個光電轉換的過程，即將被拍攝物體的光學信號轉換成可以被系統(tǒng)處理的數(shù)碼影像信號。影像的處理和顯示過程包括影像格式的轉換、圖形學上的算法處理然后將處理之后的圖像通過顯示器表現(xiàn)出來。結合課題需求和實際情況綜合分析，系統(tǒng)的硬件平臺總體框架如下圖所示:圖2T系統(tǒng)硬件平臺總體框圖

17、-5數(shù)碼影像系統(tǒng)中的大部分設計工作都集中在FPGA上完成，通過分析可以確定FPGA中需要包含以下幾個模塊（內部結構圖如圖2-3所示）:FASI>A4端口 SDRAM控制留ADSDRAM12c傳感器配置單元RL影像處理坦無CMOS影像傳感器TAFPGABJ塊CMOS傳達咨數(shù)據(jù)接口P( LKRAWgRBG轉換稹塊VGA捽制器D/ALCD or CRT圖2-2FPGA內部各模塊框圖（1）12c傳感器配置單元：FPGA通過12c總線對其內部控制寄存器進行配置，使其按照一定格式進行采樣輸出。百度文庫好好學習,天天向上（2） CMOS傳感器數(shù)據(jù)接口：當FPGA接收到CMOS傳送的影像數(shù)據(jù)之后，由于C

18、MOS影像傳感器和FPGA工作在不同頻率下，此模塊作為一個異步FIFO,來處理異步時鐘的問題。（3） RAWtoRGB轉換模塊：將得到的RAW格式影像數(shù)據(jù)轉化成RGB格式的影像數(shù)據(jù)，以便后續(xù)的處理和顯示。（4） 4端口SDRAM控制器:將轉換后的圖像存入SDRAM芯片中作為幀緩存。（5）影像處理單元：集成了本課題中所有完成的的影像后期處理模塊。（6）VGA控制器：，產(chǎn)生行同步和場同步信號，并在恰當?shù)臅r候將數(shù)據(jù)輸出，經(jīng)由D/A轉換后送至VGA顯示。對于圖像傳感器獲取的數(shù)據(jù)進行前期的預處理中，12c傳感器控制單元和RAWtoRGB轉換模塊為最重要的兩個模塊。I2C傳感器配置單元I2C（Inter-

19、IntegratedCircuit）總線是由PHILIPS公司開發(fā)的兩線式吊行總線，用于連接微控制器及其外圍設備。是微電子通信控制領域廣泛采用的一種總線標準。它是同步通信的一種特殊形式，具有接口線少，控制方式簡單，器件封裝形式小，通信速率較高等優(yōu)點。2.2.112c總線工作原理FC總線是由數(shù)據(jù)線SDA和時鐘SCL構成的串行總線，可發(fā)送和接收數(shù)據(jù)。在CPU與被控IC之間、IC與IC之間進行雙向傳送，最高傳送速率100kbpso各種被控制電路均并聯(lián)在這條總線上，但就像電話機一樣只有撥通各自的號碼才能工作，所以每個電路和模塊都有唯一的地址,在信息的傳輸過程中，總線上并接的每一模塊電路既是主控器（或被

20、控器），乂是發(fā)送器（或接收器），這取決于它所要完成的功能。CPU或者IC發(fā)出的控制信號分為地址碼和控制量兩部分,地址碼用來選址，即接通需要控制的電路，確定控制的種類；控制量決定該調整的類別（如曝光時間、增益等）及需要調整的量。這樣，各控制電路雖然掛在同一條總線上，卻彼此獨立，互不相關。rc總線在傳送數(shù)據(jù)過程中共有三種類型信號，它們分別是：開始信號、百度文庫-好好學習,天天向上結束信號和應答信號。開始信號：SCL為高電平時，SDA由高電平向低電平跳變，開始傳送數(shù)據(jù)。結束信號：SCL為低電平時，SDA由低電平向高電平跳變，結束傳送數(shù)據(jù)。應答信號：接收數(shù)據(jù)的IC在接收到8bit數(shù)據(jù)后，向發(fā)送數(shù)據(jù)的I

21、C發(fā)出特定的低電平脈沖，表示已收到數(shù)據(jù)。CPU向受控單元發(fā)出一個信號后，等待受控單元發(fā)出一個應答信號，CPU接收到應答信號后，根據(jù)實際情況作出是否繼傳遞信號的判斷。若未收到應答信號，由判斷為受控單元出現(xiàn)故障。其邏輯關系如圖2-3和圖2-4所示。圖2-3 12c總線的開始和結束信號廠X :Fftiflrfil from 他oaMrdeck lino held 匕wjvhilB intemxpks arcACKSTOP or repaatM START COtICiaaYCTAnTorreraaadSTAW8nditM圖2-4I2C總線的響應信號2.2.212c傳感器配置單元功能介紹在本設計中，1

22、2c總線主要應用在對CMOS傳感器的配置上?？刂茊卧ㄟ^12c總線和CMOS通信，配置CMOS給出的各個寄存器。不同得寄存器有對應的地址，和對應的控制量，從而調整CMOS的個參數(shù)，包括：曝光時間、紅綠藍曝光增益、水平消隱和垂直消隱等。12c傳感器配置單元結構圖如下：Parameter"ValueTypedefault exposure000001C000111000Unsigned Binaryexposure chorqc voluc000000C000110010Unsigned BinarytLK.Freq500000C0Signed Integer 1i2C-Freq2000

23、0Signed IntegerLUT_SIZE25Signed integeriCLKIZC-SCLK：-iRST_NI2C_SDATZOOM_MODE_SW:；iEXPOSURE_ADJiEXPOSURE_DEC_p產(chǎn)In圖2-512c傳感器配置單元FPGA實例化模塊圖其中常量default_exposure為默認曝光時間，exposure_change_value為曝光變化量，CLK_Freq為系統(tǒng)采樣時鐘頻率，I2C_Freq為I2C總線時鐘頻率LUT_SUZE為查找表數(shù)量。-8圖2-6I2C傳感器配置單元RTL圖RAW轉化RGBCMOS傳感器的數(shù)據(jù)由數(shù)據(jù)接口轉發(fā)后，仍舊是RAW格式，并

24、不能直接交由隨后的圖像處理模塊進行圖像處理，在期間要轉化為使用的比較多的RGB格式,因此就有了RAWtoRGB轉換模塊。2.3.1RAW格式與RGB格式RAW中文解釋是“原材料”或“未經(jīng)處理的東西”。RAW文件包含了原圖片文件在傳感器產(chǎn)生后，進入影像處理器之前的一切影像信息。通過對顏色過濾排列的專題的了解，我們應該知道傳統(tǒng)的傳感器中，每個象素只負責獲得一種顏色。每個象素承教的數(shù)據(jù)通常有10或12位(本文所選用的傳感器產(chǎn)生的是12位數(shù)據(jù))，而這些數(shù)據(jù)就能儲存到RAW文件里面。RAW文件最大的弊端在于，對于不同廠商的傳感器，RAW文件的色彩模型可能會不一樣，這圖像處理的不便。因此，往往會將RAW轉

25、化為RGB在進行處理。RGB色彩模式(也翻譯為“紅綠藍”，比較少用)是工業(yè)界的一種顏色標準,是通過對紅(R)、綠(G)、藍(B)三個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色的，RGB即是代表紅、綠、藍三個通道的顏色，這個標準兒乎包括了人類視力所能感知的所有顏色，是目前運用最廣的顏色系統(tǒng)之一。圖2-7RGB色彩空間RGB色彩模式使用RGB模型為圖像中每一個像素的R、G、B分量分配一個強度值。RGB圖像只使用三種顏色，就可以使它們按照不同的比例混合，在屏幕上重現(xiàn)不同的顏色。百度文庫好好學習,天天向上2.3.2Bayer色彩模型本課題從CMOS中獲取的RAW文件采用的是Bayer色彩

26、模型，其制式如下圖所示：圖2-8Bayer模型如2.3.1所述，Rawdata是指原始的數(shù)據(jù)，傳感器的單個像素只能感應一種顏色。如果這個原始數(shù)據(jù)的排列格式是RGRG/GBGB排列的，我們叫做Bayerpattern。(這個模型最為常見)。對于傳感器來說,BayerRGB的圖象結構是BG/GR的。Bayer模型說的是COLORFILTER的結構，分為兩種：STDBayerpattern與Pairpattern,其中STDBayerpattern的結構是BG/GR的(見圖2-8),而PairPattern顧名思義是指BGBG/GRGR的結構，即以四行為一個單位，前兩行是BG的結構，后兩行是GR的結

27、構，這種結構是美光專門為此申請了專利的，主要是在輸出TV模式(NTSC/PAL制)時用到。2. 3.3雙線性插值算法對于Bayer格式圖像的彩色還原算法，國內外都有很多成熟的算法，例如：最鄰近替換法、雙線性插值算法、平滑色調轉化算法、自適應邊界敏感的插值算法、模式匹配算法等?？紤]到可實現(xiàn)性、穩(wěn)定性等因素，本論文主要基于雙線性插值算法還原彩色圖像，還原出來的圖像效果較好，完全滿足實際應用要求。參照圖2-8,可以將雙線性而插值算法簡述為以下3種情況：1 .紅色/藍色像素點的綠色分量：差值等于其相鄰4個綠色像素點分量的均值，例如G8=(G3+G7+G9+G13)/42 .綠色像素點的紅色/藍色分量：

28、百度文庫-好好學習,天天向上差值等于其相鄰兩個像素的紅色/藍色分量，例如R7=(R2+R12)/2,B7=(B6+B8)/23 .紅色/藍色像素點的藍色/紅色分量：差值等于其對角方形的4個像素點處得紅色/藍色分量均值，例如R8二(R2+R4+R12+R14)/4,B14=(B8+B10+B18+B20)/4。2. 3.4雙線性插值算法的實現(xiàn)在使用C/C+或者其他編程語言對圖像進行處理的時候，可以直接將每個像素放到二維數(shù)組之中，然后使用for語句和if語句嵌套，實現(xiàn)諸如雙線性而插值算法非常的簡單。但是在FPGA中，由于做的是實時處理，SDRAM僅僅是用來做幀緩存，影像不斷從CMOS進來，再不斷的

29、傳送到VGA,可以將其視為FIFO,在使用HDL類語言進行FPGA的開發(fā)時，我們無法建立一個類似于高級編程語言中的二維數(shù)組來存取。因此為了解決實時性的問題本文采用了基于緩存技術的雙線性插值算法，其基本流程如圖2-9所示：圖2-9雙線性插值算法基本流程在通過緩存的處理后可以將3行的RAWDATA依次放入一個3X3的寄存器矩陣中，用來計算單個像素點的轉換，每過一個時鐘周期，寄存器矩陣中的數(shù)據(jù)會一次時鐘周期刷新一個，再通過調用寄存器矩陣中的數(shù)據(jù)進行插值運算，從而達到實時處理的功能。此模塊核心代碼如下：moduleRAW2RGB(iCLK.iRST.n,Iken(iDval),.clock(iCLK)

30、,.shiftin(iData),.shiftoutO,.taps2x(wDataO),.tapslx(wDatal),.taps0x(wData2);always(poscdgeiCLKornegedgeiRST_n)beginif(!iRST_n)begindval_ctrl<=0;endelsebeginif(iY_Cont>l)begindvaLctrl<=l;endelsebegindvaLctrI<=0;endendendalways(posedgedvaLctrlornegedgeiRST_n)beginif(!iRST_n)begindvalCtrlen

31、<=0;endelsebegindval_ctrLen<=l;endendalways(posedgeiCLKornegedgeiRST_n)beginif(!iRST_n)beginrDvaI<=0;oDval<=0;endelseif(dval_ctrl_en)beginrDval<=iDval;oDval<=rDval;endelsebeginrDval<=iDval;oDval<=0;endendalways(posedgeiCLKornegedgeiRST_n)-12百度文庫好好學習,天天向上像處理算法的VerilogHDL設計Veri

32、logHDL是一種硬件描述語言(HDL：HardwareDiscriptionLanguage),是一種以文本形式來描述數(shù)字系統(tǒng)硬件的結構和行為的語言，用它可以表示邏輯電路圖、邏輯表達式，還可以表示數(shù)字邏輯系統(tǒng)所完成的邏輯功能。VerilogHDL和VHDL是目前世界上最流行的兩種硬件描述語言，都是在20世紀80年代中期開發(fā)出來的。前者由GatewayDesignAutomation公司(該公司于1989年被Cadence公司收購)開發(fā)。兩種HDL均為IEEE標準。VerilogHDL由于其和C語言類似，擁有比基于ADA語言的VHDL有更高的可讀性，更重要的是它在復雜FPGA上的良好性能和可拓

33、展性，因此本課題所有的模塊都是使用VerilogHDL進行設計?；叶葓D在計算機領域中3,灰度(Grayscale)數(shù)字影像是每個像素只有一個采樣顏色的影像。這類影像通常顯示為從最暗黑色到最亮的白色的灰度，盡管理論上這個采樣可以任何顏色的不同深淺，甚至可以是不同克度上的不同顏色?；叶扔跋衽c黑白影像不同，在計算機影像領域中黑白影像只有黑白兩種顏色，灰度影像在黑色與白色之間還有許多級的顏色深度。但是，在數(shù)字影像領域之外，“黑白影像”也表示“灰度影像”，例如灰度的照片通常叫做“黑白照片”。百度文庫-好好學習,天天向上2.1.1 YCbCr空間正如幾何上用坐標空間來描述坐標集合，色彩空間用數(shù)學方式來描述

34、顏色集合。常見的3個基本色彩模型是RGB,CMYK和YUV。YCbCr則是在世界數(shù)字組織視頻標準研制過程中作為ITU-RBT1601建議的一部分，其實是YUV經(jīng)過縮放和偏移的翻版。在YCbCr中，Y是指亮度分量，Cb指藍色色度分量，而Cr指紅色色度分量。在YUV中，YCbCr是在計算機系統(tǒng)中應用領域最廣泛的版本，JPEG、MPEG均采用此格式。一般人們所講的YUV大多是指YCbCr。YCbCr有許多取樣格式，如4：2:0,4：2：2,和4：4：4。4:2:0表示每4個像素有4個亮度分量，2個色度分量(YYYYCbCr),僅采樣奇數(shù)掃描線，是便攜式視頻設備(MPEG-4)以及電視會議最常用格式；

35、4：2：2表示每4個像素有4個鳧度分量，4個色度分量(YYYYCbCrCbCr),是DVD、數(shù)字電視、HDTV以及其它消費類視頻設備的最常用格式；4：4：4表示全像素點陣(YYYYCbCrCbCrCbCrCbCr),用于高質量視頻應用、演播室以及專業(yè)視頻產(chǎn)品。3. 1.2由RGB產(chǎn)生灰度圖轉化為RGB格式后的數(shù)據(jù)都有3個單元分別表示和紅(R)、綠(G)、藍(B)三色空間；為了降低運算量，許多影響處理算法常常直接使用灰階的影像處理技術做處理和分析?；叶仁菦]有色彩，RGB色彩分量全部相等，用來確定黑白圖像中的顏色深度,故黑白圖片也被稱為灰度圖。彩色圖像的灰度其實是轉化為黑白圖像后的像素值，轉化的方

36、法看應用的領域而定，一般按加權的方法轉換：y-0.2990.5870.114'-R-Cb-0.1687-0.33130.5G(1)Cr0.5-0.4187-0.0813B根據(jù)公式(1)求得Y后，將原來的RGB(R,G,B)中的R,G,B統(tǒng)一用Y替換,形成新的顏色RGB(Y,Y,Y),用它替換原來的RGB(R,G,B)就是灰度圖了。實現(xiàn)灰度轉換的核心代碼如下：moduleRGB_to_Gray(-19en,elk..2fWl。f<IoBmar>(9.03.3.1-10+1-2042-10+1+1+2+1000-1-2-1PlP2PSP4P5P6P7P8P9&g

37、t;59i=lG=8；+G/(g)=<)'53.3.2Iken(iDVAL),clock(iCLK),.shiftin(iDATA),.tapsOx(LineO),.tapslx(Linel),.taps2x(Line2)；0G<I01G<I。clrO(!iRST_N),.clockO(iCLK),.dataa_O(LineO),.datab_0(X9),.datab_l(X8),.datab_2(X7),.result(Mac_xO)MAC_3xl(.aclrO(!iRST_N),.clockO(iCLK),.dataa_O(Linel),.datab_0(X6),

38、.datab_l(X5),datab_2(X4),.result(Mac_xl)MAC_3x2(.aclrO(!iRST_N),.clockO(iCLK),.dataa_0(Line2)9.datab_O(X3),.datab_l(X2),.datab_2(Xl),.result(Mac_x2)clrO(!iRST_N),.clockO(iCLK),.dataa_O(LineO),.datab_0(Y9),datab_l(Y8),datab_2(Y7),.result(Mac_yO)MAC_3yl(.aclrO(!iRST_N),.cIockO(iCLK),.dataa_O(Linel),.d

39、atab_0(Y6),.datab_l(Y5),datab_2(Y4),.result(Mac_yl);MAC_3y2(.aclrO(!iRST_N),.clockO(iCLK),.dataa_0(Line2),.datab_O(Y3),.datab_l(Y2),.datab_2(Yl),.result(Mac_y2);PA_3paO(.clock(iCLK),.dataOx(Mac_xO),.datalx(Mac_xl),data2x(Mac_x2),.result(Pa_x);PA_3pal(,clock(iCLK),dataOx(Mac_yO),.datalx(Mac_yl),.data

40、2x(Mac_y2),.result(Pa_jf);SQRTsqrtO(.clk(iCLK),.radical(Pa_x*Pa_x+Pa_y*Pa_y),.q(Abs_mag);always(posedgeiCLK.negedgeiRST_N)beginif(!iRST_N)oDVAL<=0;elsebeginoDVAL<=iDVAL:if(iDVAL)oDATA<=(Abs.mag>iTHRESHOLD)?0:1023;百度文庫好好學習,天天向上.2百度文庫-好好學習,天天向上-23DilationIken(iDVAL),.cIock(iCLK),.s

41、hiftin(iDATA),.tapsOx(LineO),.tapslx(Linel),.taps2x(Line2)；always(posedgeiCLKornegcdgeiRST_N)beginif(!iRST_N)beginXI<=0;X2<=0;X3<=0;X4<=0;X5<=0;X6<=0;X7<=0;X8<=0;X9<=0;oDVAL<=0;endelsebeginoDVAL<=iDVAL:X9<=LineO;X8<=X9;X7<=X8;X6<=Linel;X5<=X6;X4<=X5

42、;X3<=Line2;X2<=X3;XI<=X2;if(iDVAL)oDATA<=X9IX8IX7IX6IX5IX4IX3IX2IXI;elseoDATA<=0;endendendmodule完成編譯后可以得到如下的實例化模塊和對應的RTL結構圖:圖3T4膨脹算法的FPGA實例化模塊圖圖3-15膨脹算法模塊的RTL圖4.系統(tǒng)驗證設計平臺結合課題需求和實際情況綜合分析，選擇器件如下：影像采集主要依靠TRDB-D5MCMOS傳感器；采用DE2-70教學開發(fā)板，其上搭載了Altera的CycloneIIEP2C70F896CFPGA芯片，兩塊IS42s32MBSDRAM

43、,以此構成影像處理系統(tǒng)，同時:搭載的AVD7125是數(shù)模轉換芯片，輸出的影像信息將以VGA顯示器做為顯示終端。系統(tǒng)的軟件設計平臺為AlteraQuatusIIo圖4-1DE2-70開發(fā)板與TRDB-D5M500萬像素CMOS傳感器圖4-2系統(tǒng)硬件平臺TRDB-D5M是和DE2-70實驗板配套的500萬像素CMOS影像傳感器模塊，其結構圖如圖2-2所示。CMOS傳感器會根據(jù)12c總線傳送進來的數(shù)據(jù)進行配置后，根據(jù)時序信號傳送影像的原始數(shù)據(jù)（RAWDATA）,以供后面的RAW2RGB模塊處理使用。圖4-3傳感器核心結構圖在完成對數(shù)碼影像系統(tǒng)的設計后，其FPGA模塊的RTL頂層原理圖如下圖所示:圖4

44、-4FPGA模塊RTL頂層原理圖灰度圖的驗證在完成整體的設計之后，進入到系統(tǒng)的驗證階段。經(jīng)由RGBtoGray灰度轉化模塊處理后可以得出灰度圖，如圖4-6所示。在圖4-6中(a)為原始圖像,(b)為灰度圖。百度文庫-好好學習,天天向上（a）原始圖像（b）灰度圖圖4-6正常圖像與灰度圖（右圖為灰度圖）二值圖的驗證在完成灰度圖的驗證后，可以進而驗證由灰度圖轉換而成的二值圖，圖4-7為灰度圖和二值圖的對比，我們可以明顯的看出兩者在顯示上的不同，灰度圖根據(jù)亮度的不同有不同的灰階，而二值圖對已亮度在門閥值之上的像素點顯示白色，之下的顯示黑色。（a）灰度圖像（b）二值圖像圖4-7灰度圖與二值圖邊緣檢測的驗

45、證Sobel邊緣檢測是根據(jù)灰度的突變檢測出拍色圖像中物體邊緣的處理，本系統(tǒng)在實際驗證中Sobel邊沿檢測處理的效果非常明顯。(a)灰度圖像(b)Sobel邊沿檢測處理后圖4-8Sobel邊緣檢測示例膨脹與侵蝕的驗證膨脹和侵蝕的驗證我們采用閉運算來試驗，在對經(jīng)由Sobel邊緣檢測處理后的圖像進行先膨脹后侵蝕的閉運算后，我們可以非常明顯的看出處理后的圖像噪點明顯少了很多，圖像質量有了較大的提升。(a)Sobel邊沿檢測(b)閉運算后圖4-9閉運算前后對比5.設計總結與展望設計總結在對嵌入式實時影像處理系統(tǒng)進行初步的探究之后，我們驗證了此系統(tǒng)的正確性和可靠性，在對其進行開發(fā)的過程中間可以總結出許多經(jīng)

46、驗和技巧，具體如下所述：1 .在系統(tǒng)設定之初，有一些茫茫然，設定的指標和硬件性能之間有很大的差距，導致設計方案一波三折，由XiosII+FPGA改為純FPGA,期間走了不少彎路。2 .剛開始設計硬件的時候接觸的資料較少，沒有想到使用緩存技術來進行數(shù)據(jù)的延時操作，因此在RAWtoRGB這一塊卡死了很久，最后還是在實習單位的工程師給出了一些指導性的意見，再加上自己的拓展與完善，才有了最后的雙線性插值算法的實現(xiàn)模塊。3 .在調試的過程中，由于一直是在室內的熒光燈照環(huán)境下設計、啟動以及拍攝，并沒有考慮在其他光照環(huán)境下的情況，因此，本設計有其自身的局限性。4 .在開發(fā)板的邏輯資源使用上，還有很多的剩余，

47、并沒有充分的利用，可以在后期在做一些功能算法上的添加。5 .閱讀過CMOSSensor的參數(shù)說明之后，發(fā)現(xiàn)是可以進行全高清攝像的。6 .展望5.2.1全高清攝像對其進行全高清攝像的開發(fā)。參照CMOSSensor的硬件指標說明，在調節(jié)適當?shù)募拇嫫鲄?shù)后可以進行全高清攝像。R©«olufionFrameRateSub-名am01M0ModeColtmn(R0x04)Row_Size(R0x03)Shutter-Width.Lower(R0x09)Row_Bin(R0x225:4)Row_Skip(R0x22P：0)Column,Bin(R0x23HColumn-Skip(R0x

48、232：0)1.920x1080HDTV34.1N/A19191079<107900001.280X720HDTV67612叫7公<719000067.6skipping25591439<719010156.4binning25591439<7191111圖6-1CMOS傳感器的參數(shù)列表在硬件說明文檔中，理論上，是可以進行的全高清攝像的。其中涉及到各個參數(shù)寄存器的調節(jié)和圖像處理系統(tǒng)中各參數(shù)，時鐘頻率的調整，由于時間所限，只是進行了初步的設想，沒有進行過實踐論證。5.2.2基于NiosII的二次開發(fā)在之前提到過，設計的初期本是以NiosII+FPGA作為設計平臺，后來在實

49、驗的過程中發(fā)現(xiàn)主頻僅僅為100MHz的NiosIIProcesser遠遠滿足不了實時影像處理的要求。因此我們舍棄了NiosII做圖像處理核心的想法，轉而用純FPGA進行平臺的設計和搭建。但是NiosII由于其可搭建uLinux和uC的特點可用于設計影像處理系統(tǒng)-26百度文庫-好好學習,天天向上的軟件控制模塊，通過和PC通信，在PC機上使用軟件環(huán)境控制實驗板，5.2.3自動白平衡算法的初步探究自完成整個個系統(tǒng)的驗證之后，在影像的質量方面，仍舊有很大的改善空間,其中最直觀的就是影像的自動白平衡處理。在拍攝時，對于影像的質量，白平衡有非常重要的影響。白平衡的基本概念是“不管在任何光源下，都能將白色物

50、體還原為白色”，對在特定光源下拍攝時出現(xiàn)的偏色現(xiàn)象，通過加強對應的補色來進行補償。因此在實現(xiàn)自動白平衡時可謂為三個步驟：1）色溫估計圖像的色溫通常表現(xiàn)為平均色差，當RGB相等時，色差為0,表現(xiàn)為白色。在進行色溫估計前，我們會將RGB根據(jù)前文所提到的公式（1）轉化為YCbCr：色溫估計的目標就在于計算出影像的平均色差，其中最基本的方法是取影像的某個區(qū)域（往往是中心）中的所有像素進行計算。但如果該區(qū)域顏色比較單一或者正好落入大的色塊，計算出來的結果往往非常不準確。因此會加入以下的約束調價，來挑選合適的像素，提高色溫估計的精準度：-a<Ch<a,-p<Cr<p（7）-y<

51、;Cb+Cr<yY-Cb-Cr>（p由約束條件，色溫估計的算法流程如下圖所示：圖5-1色溫估計算法流程圖2）增益計算增益計算是在影像色溫估計的基礎上，通過一定的方法得到通道增益，即色溫校正因子，一般會有藍色和紅色兩個分量，分別對藍色和紅色通道進行調整。如前所述，白色的Cb,Cr均為0,因此通道增益P和v就是讓Cb、Cr調整到0或者接近0的兩個系數(shù)。增益計算的方法有很多，例如查表法和迭代法。查表法是將實現(xiàn)統(tǒng)計出的一張便，記錄了不同色溫所對應的通道增益，這個方法速度快，但是由于表的容量先知，不可能對各種色溫進行連續(xù)調節(jié)。而迭代法則是通過Cb和Cr的關系，不斷地調節(jié)M和v來實現(xiàn)，如圖所示，其中X為代步長：圖5-2增益算法程序流程圖3）色溫校正色溫校正就是讓紅藍兩通道乘以各自的增益，從而調節(jié)三色的比例，達到調節(jié)白平衡的效果。6.結論此次設計主要完成的是數(shù)碼影像系統(tǒng)的硬件平臺的搭建，內部功能模塊的設計和若干圖形學算法的處理。并