雙線性插值圖像放大算法優(yōu)化及硬件實(shí)現(xiàn)

1、第29卷第1期2009年1月核電子學(xué)與探測(cè)技術(shù)Nuclear Elect ronics &Detection TechnologyVol. 29No. 1Jan. 2009雙線性插值圖像放大算法優(yōu)化及硬件實(shí)現(xiàn)帥金曉, 顏永紅, 彭琰, 羅江平(湖南大學(xué)物理與微電子科學(xué)學(xué)院, 湖南長沙410082摘要:提出了一種基于雙線性插值圖像放大的優(yōu)化算法, 在算法中加入輪廓增強(qiáng)處理, 保留了圖像邊緣的高頻信息, 改善了雙線性插值算法引起的邊緣模糊問題。改進(jìn)后的雙線性插值放大算法處理速度快, 硬件實(shí)現(xiàn)簡(jiǎn)單, 且有較好的圖像質(zhì)量。實(shí)驗(yàn)表明, 該算法適合于對(duì)圖像進(jìn)行實(shí)時(shí)放大處理。關(guān)鍵詞:圖像放大; 雙線

2、性插值; 輪廓增強(qiáng); 實(shí)時(shí)處理中圖分類號(hào):TN773文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):025820934(2009 0120055204圖像放大是一種常用的數(shù)字圖像處理技術(shù), 在航空航天、醫(yī)學(xué)、通訊、廣泛的應(yīng)用, , 放大圖像會(huì)出現(xiàn)明顯的方塊或鋸齒, 不能很好地保留原始圖像的邊緣信息1。雙線性插值是一種比較實(shí)用的放大方法, 它能夠較好地消除鋸齒, 放大后的圖像平滑性好, 并且運(yùn)算過程也較簡(jiǎn)單, 其缺點(diǎn)是圖像高頻信息丟失嚴(yán)重, 主要表現(xiàn)為細(xì)節(jié)與輪廓的模糊, 影響了放大圖像的清晰度。本文在雙線性插值放大技術(shù)的基礎(chǔ)上, 提出了一種改進(jìn)算法, 加入邊緣銳化處理, 增強(qiáng)平滑圖像的輪廓, 使放大后的圖像有較好的清

3、晰度2?；陔p線性插值放大的優(yōu)化算法處理速度快, 硬件實(shí)現(xiàn)簡(jiǎn)單, 有較高的圖像質(zhì)量, 特別適合于圖像的實(shí)時(shí)處理。本文給出了該算法的硬件實(shí)現(xiàn)方案, 改進(jìn)的放大算法已經(jīng)應(yīng)用于一款圖像處理芯片中, 且有較好的效果。11雙線性插值是指利用映射點(diǎn)在輸入圖像的4個(gè)鄰點(diǎn)的灰度值對(duì)映射點(diǎn)進(jìn)行插值, 即待插點(diǎn)處的數(shù)值用離待插點(diǎn)最近的四個(gè)點(diǎn)的值加權(quán)求得。在同一行內(nèi)根據(jù)待插值像素點(diǎn)與其前后的原圖像像素點(diǎn)的位置距離進(jìn)行加權(quán)線性插值, 即離原圖像像素點(diǎn)越近的待插值像素點(diǎn), 原圖像像素的加權(quán)系數(shù)就越大; 行間根據(jù)待插值行與其上下的原圖像行間的距離進(jìn)行加權(quán)線性插值, 即離原圖像行越近的待插值行, 原圖像行的加權(quán)系數(shù)就越大。

4、其原理圖如圖1所示 。收稿日期:2008209205基金項(xiàng)目:湖南省自然科學(xué)基金資助(No. 052jd40095 。作者簡(jiǎn)介:帥金曉(1985- , 男, 江西南昌人, 碩士研究生。研究方向:數(shù)字集成電路設(shè)計(jì)及圖像處理。圖1雙線性插值算法原理示意圖55對(duì)于一個(gè)目的像素, 其行列坐標(biāo)值分別除以放大倍數(shù), 通過反向變換映射為原圖像的浮點(diǎn)坐標(biāo)(i +p , j +q , 其中i 和j 均為非負(fù)整數(shù), p 和q 是取余后0, 1區(qū)間內(nèi)的浮點(diǎn)數(shù), 則這個(gè)目的像素的值f (i +p , j +q 可由原圖像(i +1, j 、(i , j +1 、(i +1, j +中坐標(biāo)為(i , j 、1 所對(duì)應(yīng)的

5、周圍四個(gè)像素的值來決定, 如公式(1 。(1 f (i +p , j +q =(1-p (1-q f (i , j +(1-p qf (i +1, j +p (1-q f (i , j +1 +pqf (i +1, j +1(2 式中, (w (i , j p (i , j 是p (i , j 鄰i , j近點(diǎn)的高頻分量, 把這個(gè)分量加到p (i , j 點(diǎn), 就增加了該點(diǎn)像素的銳化程度。對(duì)整個(gè)圖像的所有像素點(diǎn)進(jìn)行高通濾波處理, 可以恢復(fù)放大后圖像的高頻信息, 從而實(shí)現(xiàn)了圖像的邊緣銳化, 使圖像效果更加清晰。2硬件實(shí)現(xiàn)本文提出的雙線性插值優(yōu)化算法已經(jīng)實(shí)際應(yīng)用于圖像處理芯片中, 該系統(tǒng)在YUV

6、數(shù)據(jù)格式下實(shí)現(xiàn)圖像由分辨率QV GA 放大到V GA , 即實(shí)現(xiàn)了圖像的4倍放大。其系統(tǒng)框圖如圖2所示。其中, f (i , j 表示(i , j 處的像素值, p , q 隨著放大后像素行列坐標(biāo)的不同而改變。將這四個(gè)點(diǎn)的像素值按照權(quán)重不同做相加, 得到放大圖像目標(biāo)位置的像素值。雙線性插值得到的圖像本身比較平滑, 較好地抑制了采用鄰近取樣法帶來的“小鋸齒”弊端。由于雙線性內(nèi)插法具有低通濾波器的性質(zhì), 使高頻分量受損, 所以用這個(gè)算法會(huì)使圖像輪廓在一定程度上變得模糊。大算法處理速度快, , , 112針對(duì)雙線性插值算法會(huì)使高頻分量受損而出現(xiàn)邊界模糊的問題。本文提出了一種優(yōu)化算法, 即在雙線性插值

7、算法的基礎(chǔ)上加入輪廓增強(qiáng)處理, 可改善邊界模糊問題。圖像中邊緣的細(xì)節(jié)部分與圖像頻譜的高頻分量相對(duì)應(yīng), 因此可采用高通濾波讓高頻分量通過, 使圖像的邊緣或線條等細(xì)節(jié)變得清楚, 實(shí)現(xiàn)圖像銳化。考慮到實(shí)時(shí)性的要求, 本文將采用線性的FIR 濾波器來實(shí)現(xiàn)高通濾波3。如公式(2 。p i , j =p (i , j +(i , j 圖2圖像放大系統(tǒng)框圖w (i , j p (i , j (2其中w (i , j 為高通濾波算子的系數(shù), p (i ,j 為中心點(diǎn)像素值。在一個(gè)3×3的窗口中, 各像素點(diǎn)的系數(shù)如式(3 。w (i-1, j -1 w (i , j -1 w (i+1, j -1w

8、(i-1, j w (i , j w (i+1, j -1-1w (i-1, j + 1 w (i , j +1 w (i+1, j +1 -1-(3 =1/8-156-18-1本模塊硬件實(shí)現(xiàn)QV GA 放大到V GA 需要用到4個(gè)RAM 。其中RAM1用于緩存Y 分量的一行數(shù)據(jù), RAM2用于緩存UV 分量的行數(shù)據(jù),RAM3用于對(duì)圖像銳化時(shí)緩存兩行Y 分量數(shù)據(jù), 而RAM4用來實(shí)現(xiàn)FIFO 功能, 整合YUV 的數(shù)據(jù)使其有序輸出, 控制輸出數(shù)據(jù)的速率。輸入圖像經(jīng)放大4倍后, 每一行的輸入數(shù)據(jù)會(huì)得到兩行新的數(shù)據(jù), 并且每行也有數(shù)據(jù)擴(kuò)展。211圖像數(shù)據(jù)放大處理雙線性插值放大數(shù)據(jù)處理結(jié)構(gòu)如圖3所示

9、, 其中y_buf1為輸入圖像數(shù)據(jù)一級(jí)緩沖,y_buf2為輸入圖像數(shù)據(jù)二級(jí)緩沖, y _out1為RAM1讀出數(shù)據(jù)一級(jí)緩沖, r1_buf1為從RAM1讀出數(shù)據(jù)二級(jí)緩沖。以圖像兩行數(shù)據(jù)的處理為例, 原圖像前兩行分量數(shù)據(jù)如表(1 所示, 由原始圖像第一行的320個(gè)Y 數(shù)據(jù)插值可得到兩行640的數(shù)據(jù)。當(dāng)原始第一行數(shù)據(jù)到來時(shí), 通過插值計(jì)算可得到放大后圖像第一行數(shù)據(jù), 同時(shí)把原圖像第一行的數(shù)據(jù)依次送入RAM1。當(dāng)輸出數(shù)據(jù)第二行 此時(shí)RAM1中存儲(chǔ)的是原圖像第二行的數(shù)據(jù)。接著從RAM1中讀出原圖像第二行的數(shù)據(jù), 根據(jù)權(quán)重q , 放大后圖像第四行的數(shù)據(jù)將會(huì)只由讀出的第二行數(shù)據(jù)計(jì)算得到。放大后圖像第3行數(shù)

10、據(jù)計(jì)算過程為:放大后圖像第3行數(shù)據(jù)是由原圖像1,2行數(shù)據(jù)共同得到。如表1中, 原圖像第2行的第一個(gè)點(diǎn)yin (2,1 =98, 通過與RAM1讀出的前一行的第一個(gè)數(shù)據(jù)95計(jì)算, 可得到新圖像第三行的前兩圖3插值計(jì)算示意圖的同步信號(hào)到來時(shí), 把RAM1的數(shù)據(jù)讀出, 同時(shí)根據(jù)權(quán)重計(jì)算出放大后的第二行數(shù)據(jù)。這樣, 當(dāng)輸入數(shù)據(jù)行計(jì)數(shù)結(jié)束時(shí), 我們就得到了兩行放大后的數(shù)據(jù), 并且RAM1中存放了第一行輸入數(shù)據(jù)。表1輸入Y 分量數(shù)據(jù)11295982999939910049899個(gè)點(diǎn):yout (3,1 =yout (3,2 =yin (2,1 30. 5+yin (1,1 30. 5=(95+98 /2=

11、96;原圖像第2行的第2個(gè)點(diǎn)yin (2,2 =99, 與原圖像前一個(gè)點(diǎn)水平取平均, 同時(shí)與RAM1讀出的前一行的第1,2個(gè)數(shù)據(jù)95,99計(jì)算, 可得到新圖像的第3,4個(gè)點(diǎn):yout (3,3 =yin (2,1 30. 5+yin (1,1 30. 5+yin (1,2 35+yin (2,2 30. 5=(+ /499 /35+yin (1,2 30. 5(+y_out1 /2 =(99+99 /2=99首先將輸y_buf1與RAM1中讀出緩存的數(shù)據(jù)yout1進(jìn)行計(jì)算, 然后把原圖像第二行的輸入點(diǎn)送入RAM1, 即每次先讀出RAM1中存的上一行的點(diǎn)與當(dāng)前行進(jìn)行計(jì)算, 同時(shí)在寫信號(hào)有效時(shí),

12、將當(dāng)前輸入行的數(shù)據(jù)寫入RAM1中。這樣在原圖像第二行數(shù)據(jù)送入后, 我們將得到計(jì)算后放大圖像第3行的數(shù)據(jù),圖4為插值計(jì)算的仿真波形,y_tmp 為放大后圖像第3行的數(shù)據(jù)。通過比較可以看出仿真數(shù)據(jù)與實(shí)際計(jì)算數(shù)據(jù)一致。以上是Y 分量數(shù)據(jù)的運(yùn)算過程,UV 分量也可以通過類似計(jì)算得到。這樣經(jīng)插值計(jì)算后就得到了YUV 各分量的數(shù)據(jù)。圖4插值計(jì)算波形212銳化處理由于經(jīng)過雙線性插值后的圖像出現(xiàn)邊界模糊的問題, 而人眼對(duì)亮度即Y 分量是十分敏感的, 本文通過對(duì)亮度進(jìn)行銳化處理來增強(qiáng)圖像輪廓, 使圖像邊緣變得清晰。如圖5所示, 放大處理后的Y 分量數(shù)據(jù)進(jìn)入銳化模塊后, 對(duì)其行和列的數(shù)據(jù)各緩存兩次, 可得到一個(gè)3

13、×3的窗口, 通過這9個(gè)數(shù)據(jù)對(duì)中心像素點(diǎn)進(jìn)行高通濾波處理, 還原高頻信息, 最后可得到銳化后亮度數(shù)據(jù)4。經(jīng)過銳化處理的Y 分量數(shù)據(jù)和放大后的UV 分量數(shù)據(jù), 經(jīng)過FIFO 的整合, 可最后得到57有序的YUV 圖像數(shù)據(jù) 。利用本文優(yōu)化算法所得到的圖像。通過比較發(fā)現(xiàn), 圖(c 效果在清晰度上明顯優(yōu)于圖(b 。說明本算法對(duì)圖像效果有了較大的改善。4結(jié)論本文提出并實(shí)現(xiàn)了基于雙線性插值的圖像放大優(yōu)化算法, 通過在原算法基礎(chǔ)上加入銳化處理, 保留了圖像高頻信息, 改善了邊緣模糊問題。雙線性插值運(yùn)算簡(jiǎn)單, 且本設(shè)計(jì)對(duì)圖像信圖5銳化處理結(jié)構(gòu)圖3實(shí)驗(yàn)結(jié)果分析圖6是一組圖像效果圖, 其中圖(a 為原始

14、圖像, 圖(b 、圖(c 為圖像4倍放大后截圖, 圖(b 為雙線性插值算法所得到的圖像, 圖(c 為號(hào)采用流水線處理, 進(jìn)一步提高了計(jì)算速度。同時(shí)通過比較效果圖發(fā)現(xiàn)本文優(yōu)化算法對(duì)放大圖像質(zhì)量有了較大的提高。因此, 改進(jìn)的雙線性插值放大算法在處理速度、硬件實(shí)現(xiàn)成本和圖像質(zhì)量等方面都有很大的優(yōu)勢(shì) 。圖6放大圖像效果比較參考文獻(xiàn):1王岳環(huán), 彭曉. 基于FP GA 的數(shù)字圖像實(shí)時(shí)放大設(shè)計(jì)J.計(jì)算機(jī)工程與應(yīng)用,2005, (8 :1082110. 2Tohru Yamada and Rokuya Ishii. An algorithm tomagnify images J.Proceedings of

15、 The IEEE In 2ternational Conference on Industrial Technology , 1996:6742677.3K. Parulski and K. E. Spaulding , Color imageprocessing fordigital cameras , in Digital Color Ima 2ging Handbook , (eds. G. Sharma , CRC Press , Boca Raton , FL. , pp. 7282757, 2002.4Olukayode A. Ojo and Tatiana G. "

16、An algorithmfor integrated noise reduction and sharpness en 2hancement" J.IEEE Transactions on Consumer Electronics ,2000,46(3 :4762480.An Improved Algorithm and Its R ealizationof Image Magnif ication B ased on Bilinear InterpolationSHUA I Jin 2xiao , YAN Y ong 2hong , PEN G Yan ,L UO Jiang 2p

17、ing(College of Physics and Microelectronic Science , Hunan University ,Changsha , Hunan 410082, China Abstract :A improved algorit hm based on bilinear interpolation for image magnification is proposed. The edge enhancement is added into t he new algorit hm. It restores t he high 2frquency content of t he edge which improves the problem of edge blur result from bilinear interpolation . There will be high processing speed , low hardware cost