數(shù)字視頻圖像處理

1、DSP微光視頻處理系統(tǒng)理論分析一、背景介紹微光夜視技術(shù)已經(jīng)發(fā)展到了第4代，其標(biāo)志性的背照明CCD（BCCD）以及電子轟擊CCD（EBCCD）技術(shù)已經(jīng)成熟1-2。圖1分析了3代微光像增強(qiáng)器成像效果的對(duì)比情況3。從視距上看，第3代微光夜視儀是第2代的1.5到2倍以上4。在西方發(fā)達(dá)國(guó)家占主導(dǎo)地位的是3代像增強(qiáng)器，在我國(guó)2代像增強(qiáng)器占主導(dǎo)地位。這說(shuō)明，國(guó)內(nèi)外微光夜視器件的發(fā)展水平存在巨大差距。目前國(guó)外利用先進(jìn)的數(shù)字信號(hào)處理技術(shù)對(duì)微光圖像進(jìn)行處理，更容易發(fā)現(xiàn)和識(shí)別目標(biāo)；或利用多傳感器數(shù)據(jù)融合技術(shù)，將紅外與微光圖像融合，提高夜視圖像質(zhì)量，如圖2。圖1微光像增強(qiáng)器效果對(duì)比圖2紅外與微光圖像融合效果圖二、研究

2、狀況分析2.1具有視頻處理功能的CCD微光攝像機(jī)禎積分型CCD微光攝像機(jī)30-31：通過(guò)控制CCD的積累時(shí)間，使微光圖像信號(hào)直接在CCD電荷包中進(jìn)行多幀累加，從而有效的抑制隨機(jī)噪聲，以提高低照度和低對(duì)比情況下的信噪比和靈敏度。另一種是采用CCD視頻處理專用芯片的攝像機(jī)：CCD視頻處理電路采用EXAR公司的XRD4460芯片32，具有相關(guān)雙采樣、可編程增益控制、暗電平自動(dòng)校正、數(shù)字偏置控制、AD模數(shù)轉(zhuǎn)換控制等功能。上述處理方式是在微光攝像機(jī)內(nèi)部對(duì)視頻信號(hào)進(jìn)行處理的，通用性不強(qiáng)。2.2以存儲(chǔ)器和運(yùn)算器為中心的微光視頻數(shù)字處理技術(shù)以運(yùn)算器和大容量的數(shù)據(jù)存儲(chǔ)器相結(jié)合構(gòu)成圖像處理核心單元。存儲(chǔ)速度不高時(shí)

3、，采取多體并行處理結(jié)構(gòu)33。數(shù)字式實(shí)時(shí)微光圖像降噪器34，利用微光信號(hào)頻譜能量主要分布于行頻的整數(shù)倍頻及附近的場(chǎng)頻旁頻上，而噪聲則占據(jù)頻譜中大量空白區(qū)域的特點(diǎn)來(lái)設(shè)計(jì)梳狀濾波算法，并以此為基礎(chǔ)設(shè)計(jì)硬件，得到較高的圖像處理速度。微光圖像處理和跟蹤系統(tǒng)具有若干個(gè)硬件實(shí)時(shí)圖像處理功能單元，每個(gè)圖像處理功能單元適應(yīng)一種特定的圖像處理算法35。但是該方法靈活性差，算法多時(shí)功耗將顯著增多。2.3基于FPGA的微光圖像實(shí)時(shí)處理技術(shù)通過(guò)計(jì)算機(jī)仿真對(duì)圖像的處理算法進(jìn)行研究，選擇合理的算法組合，以取得抑制噪聲、增強(qiáng)目標(biāo)的效果；然后選用FPGA中適于做圖像處理的器件完成實(shí)時(shí)處理的主要流程36。FPGA構(gòu)造的加權(quán)均值濾

4、波器減小微光電視圖的噪聲37；FPGA構(gòu)造實(shí)時(shí)視頻圖像直方圖均衡器38?；贔PGA的微光圖像處理技術(shù)構(gòu)造也是獨(dú)立系統(tǒng)。優(yōu)點(diǎn)是FPGA可軟件編程，能夠適應(yīng)不同的算法要求，且可以達(dá)到較高的運(yùn)算速率；缺點(diǎn)是當(dāng)算法比較復(fù)雜時(shí)，對(duì)FPGA的容量和速度要求較高，成本會(huì)隨之增加。2.4基于DSP芯片的微光視頻圖像處理器 專用的數(shù)字視頻圖像處理芯片如LSI LOGIC公司的直方圖/Hough變換處理器L64250、二值濾波等；這些芯片構(gòu)造體積小、功耗低、性能高的模塊化實(shí)時(shí)圖像系統(tǒng)是比較方便的。SC-I型實(shí)時(shí)圖像處理系統(tǒng)39是一種小陣列的流水線處理機(jī)，具有體積小、功能強(qiáng)、編程靈活、全實(shí)時(shí)處理的特點(diǎn)。基于專用D

5、SP芯片的視頻圖像處理器其算法和硬件也是對(duì)應(yīng)的，系統(tǒng)的靈活性有點(diǎn)不足。通用DSP芯片的發(fā)展解決了上述問(wèn)題；近年來(lái)通用DSP芯片得到迅猛的發(fā)展，主頻不斷提高，內(nèi)存成倍增加，功耗卻迅速下降。能滿足實(shí)時(shí)圖像處理的需要；也是本文的研究點(diǎn)。三、理論分析微光視頻圖像的主要特點(diǎn)是噪聲強(qiáng)、有用信號(hào)弱、對(duì)比度低、圖像整體亮度不合理。DSP微光視頻處理系統(tǒng)主要針對(duì)微光系統(tǒng)的上述弱點(diǎn)，通過(guò)高速數(shù)字信號(hào)技術(shù)對(duì)其進(jìn)行實(shí)時(shí)化處理，以除去噪聲、提高圖像對(duì)比度、合理調(diào)整圖像亮度、優(yōu)化像質(zhì)從而改善微光電視系統(tǒng)的夜間觀察效果，提高其作用距離。DSP微光視頻處理系統(tǒng)的處理流程如圖3所示；本文將沿著該系統(tǒng)信號(hào)的處理流程，對(duì)DSP微光

6、視頻處理各個(gè)階段信號(hào)的特征、可能存在的問(wèn)題及處理方法進(jìn)行深入探討，由此建立起DSP微光視頻處理的理論依據(jù)。圖3微光視頻處理系統(tǒng)信號(hào)流程圖3.1微光視頻信號(hào)的表征從圖3看出，在DSP微光視頻處理系統(tǒng)信號(hào)流程的各個(gè)階段，微光視頻信號(hào)有著不同的形態(tài)：以標(biāo)準(zhǔn)模擬視頻輸入，經(jīng)內(nèi)部數(shù)字處理之后，又以標(biāo)準(zhǔn)模擬視頻輸出。故應(yīng)先對(duì)微光情況下的標(biāo)準(zhǔn)模擬和數(shù)字兩類視頻信號(hào)進(jìn)行深入研究，以利于進(jìn)行有效的處理。微光模擬視頻信號(hào)微光模擬信號(hào)是指：低光照條件下，景物經(jīng)過(guò)光學(xué)系統(tǒng)成像，并通過(guò)像增強(qiáng)器，最后耦合入CCD攝像機(jī)所形成的標(biāo)準(zhǔn)模擬視頻信號(hào)。它既具有普通標(biāo)準(zhǔn)模擬視頻信號(hào)的所有特征，同時(shí)又受微光條件影響。圖4微光模擬視頻

7、信號(hào)的形成圖4表示微光模擬視頻信號(hào)的形成過(guò)程。圖5為黑白測(cè)試條紋的微光圖像及相應(yīng)的標(biāo)準(zhǔn)模擬視頻波形圖，其中環(huán)境照度為10-3Lx。從該圖可以看出，在微光標(biāo)準(zhǔn)模擬視頻信號(hào)中，即包括圖像信號(hào)，又包含圖像和消隱脈沖。其中同步和消隱脈沖的寬度和電平有攝像機(jī)的信號(hào)制式?jīng)Q定；而圖像內(nèi)容則由目標(biāo)的內(nèi)容和環(huán)境照度決定，表現(xiàn)為照度越低，雜波幅值越大，圖像曲線變形越嚴(yán)重。同時(shí)，畫(huà)面上回附著大量閃爍的噪聲顆粒，造成對(duì)比度、分辨率明顯偏低，圖像邊緣模糊不清。圖5黑白測(cè)試條紋的微光圖像及相應(yīng)的模擬視頻波形攝像機(jī)輸出的標(biāo)準(zhǔn)模擬視頻信號(hào)可以看作是掃描點(diǎn)以速度v1和v2分別沿著水平及垂直方向周期移動(dòng)形成的，故可以用傅立葉級(jí)數(shù)

8、表示：其中，Sk1，k2是二維傅立葉級(jí)數(shù)的系數(shù)，L表示水平行寬，H表示垂直幀高。表示水平基頻，表示垂直基頻。電視圖像視頻信號(hào)如圖6所示，有圖及上述公式知：電視圖像信號(hào)的頻譜是以行頻為間隙的離散分布，在行頻的兩側(cè)，又以幀頻為間隙分布。對(duì)于微光視頻圖像，這些空隙被噪聲占據(jù)。圖6電視圖像信號(hào)的頻譜3.2 微光數(shù)字視頻信號(hào)圖3所示為DSP微光視頻處理系統(tǒng)的信號(hào)流程，可進(jìn)一步細(xì)化為圖7；這里圖像處理過(guò)程都是以數(shù)字信號(hào)的形式進(jìn)行的。圖7細(xì)化的DSP微光視頻信號(hào)處理流程圖微光數(shù)字視頻信號(hào)的形成：微光模擬視頻信號(hào)在垂直時(shí)間方向上是離散的，而水平方向則是連續(xù)的。如果在水平方向上沿著掃描線對(duì)微光模擬視頻進(jìn)一步離散

9、化，就形成了微光數(shù)字視頻信號(hào)；這個(gè)過(guò)程可用圖8來(lái)表示。圖8微光數(shù)字視頻的形成過(guò)程微光數(shù)字視頻的表征：（1） 柵格表示法 微光數(shù)字視頻信號(hào)可表示為時(shí)空域內(nèi)離散像素的集合，這種集合稱為采樣?xùn)鸥瘛D9（a）為一幀2:1隔行采樣的數(shù)字視頻圖像柵格，（b）則示出了各場(chǎng)之間采樣點(diǎn)的對(duì)應(yīng)關(guān)系及其時(shí)間順序。（a）完整的離散圖像（b）場(chǎng)之間的時(shí)間關(guān)系圖9 2:1隔行采樣的數(shù)字視頻信號(hào)柵格表示法（2） 采樣矩陣表示法 采樣矩陣表示法實(shí)際上是微光數(shù)字視頻點(diǎn)陣的三個(gè)基本矢量，通過(guò)它可以確定該點(diǎn)陣中所有像素的時(shí)空坐標(biāo)。微光數(shù)字視頻的2:1采樣矩陣表示式如下：這里三個(gè)基本矢量為：。（3） 位圖（BMP）表示法位圖表示法是

10、圖像柵格在物理存儲(chǔ)空間中的具體化。為了提高數(shù)字圖像處理的效率，圖像柵格中的數(shù)據(jù)需按一定的規(guī)律在幀存儲(chǔ)器中排列，稱之為位圖。位圖的五個(gè)關(guān)鍵參數(shù)：起始地址，每行像素個(gè)數(shù)，行間距值，行數(shù)及每個(gè)像素的位數(shù)。3.3微光視頻圖像處理中目標(biāo)運(yùn)動(dòng)影響的分析3.3.1 目標(biāo)運(yùn)動(dòng)對(duì)微光視頻圖像處理效果的影響圖10中，（a）（b）分別通過(guò)BBG-302中微光視頻觀察系統(tǒng)采集到的兩個(gè)相鄰幀，這兩個(gè)幀中目標(biāo)位置有所變化，（c）為（a）、（b）的算術(shù)平均值?？梢钥吹?，在（c）中，圖像噪聲雖然減小了，但目標(biāo)卻出現(xiàn)了脫尾現(xiàn)象，這種拖尾現(xiàn)象是由于用靜止圖像處理算法來(lái)處理運(yùn)動(dòng)圖像引起的。圖10 目標(biāo)運(yùn)動(dòng)對(duì)幀平均法圖像處理效果的影

11、響在視頻中，由于目標(biāo)的運(yùn)動(dòng)導(dǎo)致相鄰視頻幀的內(nèi)容有所不同，這對(duì)圖像處理的結(jié)果會(huì)產(chǎn)生一定的影響。在微光視頻圖像處理中，必須對(duì)目標(biāo)的運(yùn)動(dòng)情況有所了解，這樣才有可能采取適當(dāng)?shù)臑V波策略，獲得較好的圖像處理效果和系統(tǒng)的實(shí)時(shí)性。3.32微光視頻估算原理視頻信號(hào)的特點(diǎn)在于：相鄰幀在內(nèi)容上有很強(qiáng)的相關(guān)性，時(shí)間上又有一定的冗余性。相關(guān)性說(shuō)明相鄰兩幀之間目標(biāo)的運(yùn)動(dòng)具有因果關(guān)系，冗余性則是指相鄰兩幀之間有一定的時(shí)間間隔。這兩點(diǎn)是對(duì)微光視頻的估算成為可能。目標(biāo)運(yùn)動(dòng)造成相鄰幀的視頻圖像亮度分布發(fā)生變化，運(yùn)動(dòng)估算即是根據(jù)這種亮度分布的變化來(lái)估計(jì)目標(biāo)在像面上的二維投影運(yùn)動(dòng)；它有兩個(gè)常用的約束條件51：（1） 光流約束 對(duì)于點(diǎn)

12、目標(biāo)，其運(yùn)動(dòng)軌跡在二維像面上投影的每一點(diǎn)處，亮度保持不變，這就是光流約束條件。顯然，這里忽略了環(huán)境照明的變化以及目標(biāo)隱現(xiàn)與遮蔽物的影響。（2） 平滑限制 平滑限制是指在所考察像素的某一臨域內(nèi)，所有相素點(diǎn)的運(yùn)動(dòng)矢量保持一致。它對(duì)消除或減小圖像噪聲的影響是有利的，但在邊界處，卻又容易造成誤判。根據(jù)幀間圖像亮度分布變化對(duì)目標(biāo)運(yùn)動(dòng)進(jìn)行估算時(shí)，需要合理運(yùn)用兩個(gè)條件；其中，光流約束是最基本的條件，而平滑限制則是減小運(yùn)算量。 3.3.3微光視頻運(yùn)動(dòng)估算方法視頻運(yùn)動(dòng)的估算方法包括光流方程法、像素遞歸法、貝葉斯法和塊匹配法等，下面進(jìn)行簡(jiǎn)介：光流方程法：光流方程法就是光流約束條件的數(shù)學(xué)化，如下式所示。它將運(yùn)動(dòng)速度

13、（v1，v2）以及像素亮度在空間方向的變化率和時(shí)間方向的變化率聯(lián)系起來(lái)。這樣就可以通過(guò)測(cè)定像素亮度在空間和時(shí)間方向上的變化量值來(lái)估算出它的運(yùn)動(dòng)速度。像素遞歸法：通過(guò)給定被估算運(yùn)動(dòng)的“預(yù)期值” ，在此基礎(chǔ)上再用更新項(xiàng)進(jìn)行“校正”，來(lái)估算當(dāng)前運(yùn)動(dòng)矢量，如下式所示：一般取相鄰前一個(gè)像素估算所得的最佳值作為預(yù)期值，這相當(dāng)于在兩個(gè)相鄰像素之間增加了平滑約束，而更新項(xiàng)則通過(guò)最小化一個(gè)正定的位移幀差的函數(shù)得到，這相當(dāng)于在兩幀之間施加了光流限制。貝葉斯法：這種方法將二維運(yùn)動(dòng)估算看作最大后驗(yàn)概率估算問(wèn)題（MAP），在給定兩個(gè)圖像幀gk，gk-l的情況下，使后驗(yàn)概率最大位移矢量（d1,d2）即為所求。 塊匹配法： 該法首先將圖像分割成一個(gè)個(gè)