用CPLD實(shí)現(xiàn)嵌入式平臺上的實(shí)時圖像增強(qiáng)

1、用cpld實(shí)現(xiàn)嵌入式平臺上的實(shí)時圖像增強(qiáng)提出了在平臺上用實(shí)現(xiàn)實(shí)時圖像增加算法的解決計劃,并加以實(shí)現(xiàn) 重點(diǎn)研究了經(jīng)過改進(jìn)的圖像增加算法以及用法cpld實(shí)現(xiàn)的詳細(xì)辦法,介紹了所采納的嵌入式平臺的總體結(jié)構(gòu)通常,在擁有或的嵌入式平臺上,有關(guān)圖像信號處理的算法部分都由dsp和fpga完成 但是相對于標(biāo)準(zhǔn)的pc平臺來說,嵌入式平臺的資源有限得多,而且因?yàn)槌杀镜木売?中心處理器的速度也通常無法與pc相比 因此,在pc機(jī)上用軟件可以輕易實(shí)現(xiàn)的圖像處理算法,徹低移植到嵌入式平臺上就要頗費(fèi)一番周折了為了達(dá)到實(shí)時圖像處理的目的,除了最大限度地發(fā)揮中心處理器的圖像處理能力外,還需要合理地分配任務(wù) dsp芯片的優(yōu)勢在于

2、乘除運(yùn)算的能力,因?yàn)槠涮貏e的流水線結(jié)構(gòu)和處理單元,大部分dsp都能在單周期內(nèi)完成在pc上需若干個周期才干完成的乘法運(yùn)算,所以在舉行諸如fft dct等運(yùn)算時優(yōu)勢顯然;相反在舉行容易的加減運(yùn)算時,因?yàn)闀r鐘頻率和寬度都無法與pc機(jī)相比,效率不高 因此,假如能用硬件實(shí)時實(shí)現(xiàn)這些相對容易卻又繁瑣的運(yùn)算,就可以大大提高系統(tǒng)的總體性能1 改進(jìn)的圖像增加算法圖像增加是圖像處理中用于充實(shí)圖像質(zhì)量以及圖像視覺效果的一種辦法 在dsp平臺上采納直方圖均衡實(shí)現(xiàn)實(shí)時圖像增加是一種常用的辦法 對一幅延續(xù)圖像,其具有灰度g的閾值面積(全部輪廓線所包圍的面積)為a(g),則其直方圖h(g)定義為:h(g)=lima(g+g

3、)-a(g)/g=d/dca(g),g0對于數(shù)字圖像,g為整數(shù),a(g)表示灰度值大于等于g的象素個數(shù),當(dāng)g=1,h(g)=a(g+1)-a(g)假如對a(g)做一次系數(shù)為gm/a0的比例變換,gm表示灰度的最大值,a0表示圖像的面積(在數(shù)字圖像中為象素總數(shù)) 這就是種線性直方圖均衡 這種直方圖均衡的詳細(xì)實(shí)現(xiàn)如下:(1)對于圖像pi,j|i=1,2,.,n;j=1,2,.,m,就灰度g,g=0,1,.255,求出直方圖h(g);(2)由a(g+1)=a(g)+h(g)求出閾值面積a(g),g=1,2,.,255;(3)求出變換后的灰度分度值hnew(g)=255 a(g)/a0,a0=nm;(

4、4)pij=hnew(pij)借助lut,可使運(yùn)算以最迅速度實(shí)現(xiàn)考察直方圖均衡的實(shí)現(xiàn)過程可以發(fā)覺,這是一種有限區(qū)間內(nèi)的單調(diào)變換 從其頻域特性看,直方圖均衡轉(zhuǎn)變了已有頻率成分的分布,使它們分布得越發(fā)勻稱,但并不增強(qiáng)新的頻率成分 直方圖均衡對于彩色(灰度)值集中在低端的圖像,可起到較顯然的視覺充實(shí)作用 但對于那些顏色分布很不勻稱 頻帶較窄,特殊是整體偏亮的圖像,效果就不顯然了本文采納一種新的圖像增加辦法,將對圖像的邊緣增加處理與均衡結(jié)合起來,并且這些運(yùn)算終于可由硬件實(shí)現(xiàn)對于延續(xù)圖像p,其局部邊緣可由對應(yīng)空間梯度的幅值,取其一階近似pi,j=2pi,j-pi,j-pi-1,j,可得圖像pi,j|i=

5、1,2,.,n;j=1,2,.,m在(i,j)的邊緣信息假如不計pi,j的取值范圍,可挺直對圖像pi,j|i=1,2,.,n;j=1,2,.,m舉行修正:pi,j=pi,j+pi,j,其中,pi,j表示pi,j修正后的值 明顯,圖像pi,j|i=1,2,.,n;j=1,2,.,m按此規(guī)章修正后邊緣值的變幻更為劇烈,邊緣更為突出,可達(dá)到邊緣增加的效果 同時,因?yàn)樵谠瓐D像上疊加了梯度值,使得修正后的圖像的頻譜有一定的擴(kuò)展 但因?yàn)闆]有對pi,j的取值作約束,這樣處理后的象素值可能會溢出,例如對于每個顏色通道為8位的圖像,處理后的數(shù)值可能會大于255或小于0 因此,通常要對其舉行歸一化處理,即:pne

6、w=255%26;215;(p-pmin)/(pmax-pmin)但用硬件實(shí)現(xiàn)乘除運(yùn)算可能會占用無數(shù)資源,上述公式即便以運(yùn)算實(shí)現(xiàn)都是很不經(jīng)濟(jì)的 本文采納預(yù)拉伸加飽和/截止的辦法,在不犧牲頻率特性的基礎(chǔ)上達(dá)到削減計算量的目的考察pi,j與pi,j的直方圖,分離取得它們的右峰值所對應(yīng)的橫座標(biāo),記為g和g,并找到k,使得kg+g=255,則修正公式變?yōu)閜i,j=pi,j+kpi,j 其中kpi,j可以lut實(shí)現(xiàn) 修正后的pi,j可在0,255上舉行飽和/截止運(yùn)算2 用cpld實(shí)現(xiàn)實(shí)時的圖像增加本文所采納的改進(jìn)圖像增加算法的主要成份是差分 累加以及飽和/截止 這些運(yùn)算都是加減法及規(guī)律運(yùn)算,都屬于alu

7、的容易操作,適合硬件實(shí)現(xiàn) 本文采納cpld實(shí)現(xiàn)所提出的算法 以對具有30fps的1280 1024 rgb圖像計算pi,j為例,每計算一點(diǎn)pi,j需要4次加(減)運(yùn)算,即總的需要1280 1024 5;3 30 4=471,895,200次加(減)運(yùn)算 假如采納的dsp的速度是100mhz,且假定全部運(yùn)算都是單周期的,則僅僅該運(yùn)算就需要4.7s!所以采納cpld實(shí)現(xiàn)某些運(yùn)算是必須的圖3 圖像增加算法的硬件實(shí)現(xiàn)結(jié)構(gòu)采納cpld實(shí)現(xiàn)運(yùn)算(例如邊緣處理中涉及的求梯度運(yùn)算),還需解決數(shù)據(jù)的暫存問題 本文以一片高速sram作為數(shù)據(jù)緩沖區(qū) 因?yàn)閳D像數(shù)據(jù)的采樣輸入的頻率也很高,需要充分合理地支配好每一次操作

8、的時序,充分利用已參加運(yùn)算的數(shù)據(jù)及中間結(jié)果,削減數(shù)據(jù)進(jìn)出sram的次數(shù)2.1 基于e1-dsp的網(wǎng)絡(luò)圖像采集平臺在分析詳細(xì)實(shí)現(xiàn)辦法前,先簡要介紹所采納的硬件平臺 該平臺主要用于遠(yuǎn)程圖像采集和以太網(wǎng)傳輸,其圖像通道結(jié)構(gòu)1所示ov9620是的數(shù)字圖像,負(fù)責(zé)采集延續(xù)的數(shù)字圖像;中心處理器用法德國hyperstone公司的e1系列risc dsp,它集dsp和risc于一身,可以加載os,便利地實(shí)現(xiàn)任務(wù)調(diào)度 內(nèi)存管理等功能,大大提高系統(tǒng)的總體性能;cpld的基本功能是作為e1總線接口控制模塊,本文還將用它實(shí)現(xiàn)圖像增加運(yùn)算2.2 算法的總流程為了實(shí)現(xiàn)實(shí)時的讀寫和運(yùn)算,需要由外部產(chǎn)生24mhz%26;21

9、5;4的時鐘exclk作為讀寫時鐘,全部時序都由cmos時鐘和exclk控制,可以做到徹低同步 詳細(xì)流程2所示(1)在cmos時鐘到來時,從cmos傳感器的數(shù)據(jù)輸出口采集pi,j,并實(shí)現(xiàn)加法運(yùn)算result=pi,j+pi,j,同時用exclk的第0個時鐘向sram寫入pi,j-1或pi,m-1 (本行最后一個數(shù)據(jù),下一次操作應(yīng)換行);(2)在exclk的第1個時鐘鎖存ruselt,由sram讀入pi-1,j,并做減法運(yùn)算result=result-pi-1,j;(3)在exclk的第2個時鐘鎖存ruselt,由sram讀入pi,j-1,并做減法運(yùn)算result=result-pi,j-1;(

10、4)在exclk的第3個時鐘鎖存ruselt,同時寫入pi,j然后開頭下一個點(diǎn)的運(yùn)算2.3 硬件實(shí)現(xiàn)的規(guī)律結(jié)構(gòu)用cpld實(shí)現(xiàn)該算法所采納的規(guī)律結(jié)構(gòu)3所示其中?熏加模塊實(shí)現(xiàn)25;pi,j運(yùn)算,生成9位的運(yùn)算結(jié)果交給減模塊;減模塊在exclk的其次和第三個時鐘分離讀入pi-1,j和pi,j-1舉行減法運(yùn)算,并把結(jié)果存回result寄存器 因?yàn)閮纱螠p法在時光上是錯開的,因此只需要一個減法器就夠了,節(jié)省了內(nèi)部資源圖3中的脈沖計數(shù)器是一個模4計數(shù)器,全部的讀寫時序和運(yùn)算時序都由它控制 數(shù)據(jù)通道切換模塊控制流入result寄存器的數(shù)據(jù)流,在第一個exclk時鐘讓加法器的結(jié)果進(jìn)入result,其余的時光都讓

11、減法器的結(jié)果進(jìn)入result 兩個選通規(guī)律模塊對exclk起門控作用,選通規(guī)律1允許第1個和第2個時鐘通過,用來鎖存從sram讀入的數(shù)據(jù);選通規(guī)律2允許第1 2 3個時鐘通過,用來鎖存三次運(yùn)算的結(jié)果sram的讀寫操作由地址發(fā)生器和讀寫控制模塊共同實(shí)現(xiàn) 因?yàn)樗拇巫x寫操作的地址都不同,且不延續(xù),無法用一般的地址計數(shù)器實(shí)現(xiàn) 這里采納地址計數(shù)器加偏移的相對尋址法,詳細(xì)結(jié)構(gòu)4所示地址計數(shù)器中保存pi,j的地址,它由cmos clk作為時鐘實(shí)現(xiàn)累加;偏移地址則由脈沖計數(shù)器模塊控制,分離挑選pi,j-1 pi-1,j pi,j-1和pi,j的偏移地址;最后做減法運(yùn)算得到肯定地址送到sram通過上述設(shè)計和優(yōu)化,徹低可以在結(jié)構(gòu)和功能都比較容易的cpld上實(shí)現(xiàn)實(shí)時的圖像增加處理因?yàn)椴杉{了改進(jìn)的圖像增加算法,在處理窄頻帶的圖像時收到了十分好的效果,部分測試結(jié)果5所示與傳統(tǒng)的處理辦法相比,改進(jìn)后的算法對圖像的均衡效果更為顯然一些,而且因?yàn)檎箤捔祟l帶,圖像的詳情越發(fā)豐盛,圖像越發(fā)明艷和清楚以上算法都在cpld上實(shí)現(xiàn),并沒有占用dsp的處理時光,因而節(jié)約了大量的運(yùn)算時光 筆者做過一個實(shí)際測試,在100mhz主頻的e1 dsp上用c編程實(shí)現(xiàn)一幀640 480 rgb圖像的增加算法大約需要100ms(假如