基于背景圖像的視頻圖像壓縮感知重構(gòu)關(guān)鍵技術(shù)研究

1、基于背景圖像的視頻圖像壓縮感知重構(gòu)關(guān)鍵技術(shù)研究引言傳統(tǒng)的信號(hào)采樣主要基于奈奎斯特采樣定理，需要較高的采樣頻率才能精確重構(gòu)出原始信號(hào)信息，對(duì)硬件提出了較高的要求。此外，編碼時(shí)為了達(dá)到一定的壓縮比和一定成本，舍棄了很大的采樣數(shù)據(jù)，沒有充分利用采樣數(shù)據(jù)。而對(duì)于視頻信號(hào)，主要采用運(yùn)動(dòng)估計(jì)、補(bǔ)償、數(shù)據(jù)交換編碼等算法來提高數(shù)據(jù)傳輸速率，因此視頻信號(hào)編解碼的復(fù)雜度較高。目前的壓縮感知( CS) 理論1-4，對(duì)具有一定稀疏度的信號(hào)，采樣觀測(cè)矩陣和變換基對(duì)視頻信號(hào)進(jìn)行降維，通過少量的觀測(cè)數(shù)據(jù)重構(gòu)出原始信號(hào)。因此一些學(xué)者將該理論應(yīng)用于視頻編碼中。在處理監(jiān)控視頻信號(hào)時(shí)，文獻(xiàn)5考慮到視頻幀與幀之間的相關(guān)性，通過幀間差

2、分圖像本身具有的稀疏性和參考幀圖像進(jìn)行幀圖像的重構(gòu)，以及對(duì)當(dāng)前幀圖像進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償提高視頻重構(gòu)質(zhì)量。但是參考幀圖像的選取對(duì)幀圖像重構(gòu)質(zhì)量有較大的影響，本文將基于幀間差分法獲取的背景圖像作為后一幀圖像的先驗(yàn)知識(shí)進(jìn)行后一幀幀圖像的重構(gòu)，通過獲取的背景圖像代替了原有的參考幀圖像進(jìn)行幀圖像的重構(gòu)，避免了參考幀圖像選取不同造成的重構(gòu)誤差，提高了重構(gòu)質(zhì)量，節(jié)省了重構(gòu)時(shí)間。1基于壓縮感知理論的視頻圖像的重構(gòu)壓縮感知是利用信號(hào)的稀疏特性，在遠(yuǎn)小于Nyquist HYPERLINK :/baike.baidu /view/53433.htm t _blank 采樣率的條件下，獲取信號(hào)的采用值，重建原始信

3、號(hào)的方法6，7。如果一個(gè)信號(hào)在某組基向量下的系數(shù)含有大量的零元素，則可以稱這個(gè)信號(hào)為稀疏的。對(duì)于一個(gè)有限長度為的一維離散信號(hào)，可以表示為: (1)其中為基向量，基向量的稀疏表示系數(shù)。對(duì)長度為的信號(hào)的重構(gòu)方法，首先對(duì)其進(jìn)行次的線性測(cè)量，表示矩陣為: （2）式中為的測(cè)量基，為長度為的信號(hào)的測(cè)量值。其中稀疏基 的列向量不能用測(cè)量基 的行向量來稀疏表示8，9，10，反之亦然。由于，方程的個(gè)數(shù)遠(yuǎn)遠(yuǎn)少于未知數(shù)的個(gè)數(shù)，所以這是一個(gè)欠定問題，一般來講無確定解。然而，如果是 稀疏的那么就有望求出確定解。求解信號(hào)的問題可以轉(zhuǎn)化成最小范數(shù)問題10-15，即:， (3)其中為使取最小值的,解出，再通過重建信號(hào)。基于壓

4、縮感知理論的視頻圖像的編解碼方法：先通過視頻攝像頭獲取視頻信號(hào)，對(duì)每幀視頻圖像進(jìn)行小波基稀疏表示，然后使用觀測(cè)矩陣進(jìn)行觀測(cè)得到帶加性噪聲的壓縮信號(hào)，在接收端進(jìn)行信息處理，使用結(jié)合壓縮感知重構(gòu)算法重構(gòu)每幀視頻圖像，具體流程如圖1 所示。(a)(b)圖1基于壓縮感知理論的視頻圖像的重構(gòu)原理框圖(a)視頻圖像編碼(b)視頻圖像解碼重構(gòu)Fig. 1 Schematic diagram of reconstruction of video image based on the theory of compressed sensing (a) video imaging coding (b) video

5、imaging decoding2 基于幀間差分背景圖像的視頻圖像的壓縮感知重構(gòu)視頻圖像的重構(gòu)不同于單幅普通圖像，因?yàn)橐曨l序列的相鄰幀圖像間存在很強(qiáng)的相關(guān)性，下一幀視頻圖像的重構(gòu)可以利用前一幀甚至前幾幀的背景信息作為先驗(yàn)條件?；趲g差分背景圖像的視頻圖像的壓縮感知重構(gòu)算法選用幀間差分法實(shí)現(xiàn)背景的提取，為下一幀圖像的重構(gòu)提供一個(gè)先驗(yàn)知識(shí)，并結(jié)合壓縮感知重構(gòu)算法，得到基于幀間差分背景圖像的視頻圖像的壓縮感知重構(gòu)算法，充分利用視頻序列間相鄰幀圖像之間的相關(guān)性，實(shí)現(xiàn)視頻圖像的壓縮感知重構(gòu)?；趲g差分背景圖像的視頻圖像的壓縮感知重構(gòu)過程中背景圖像的獲取方法如下。假設(shè)第 K 幀視頻圖像與第 K-1 幀

6、視頻圖像分別表示為與，利用幀間差分法可以求得背景圖像。(1) 利用第 K 幀圖像與第 K-1 幀圖像計(jì)算差分圖像；(2) 根據(jù)設(shè)定的閾值 T，將計(jì)算得到的差分圖像進(jìn)行二值化處理得到圖像；(3) 將圖像進(jìn)行開、閉運(yùn)算，去除噪聲，填充運(yùn)動(dòng)目標(biāo)內(nèi)部的空洞，得到圖像；(4) 根據(jù)圖像各點(diǎn)像素值，確定背景圖像，若圖像中的像素值為 0，則背景圖像中的像素值等于前兩幀圖像相應(yīng)位置的像素平均值，反之，背景圖像的像素值置零。公式如下： （4）基于幀間差分背景圖像的視頻圖像壓縮感知重構(gòu)算法的原理框圖如圖 2所示?；趲g差分背景圖像的視頻圖像壓縮感知重構(gòu)算法的流程圖如圖3所示，具體步驟如下：輸入：隨機(jī)測(cè)量值，測(cè)量

7、矩陣，稀疏變換； 輸出：原始信號(hào) 的 K-稀疏逼近（1）初始化，迭代次數(shù)，正則化參數(shù)，參數(shù)，變量初始值 ，迭代停止值 ；（2）判斷是否為前兩幀視頻圖像重構(gòu)，若是，則，轉(zhuǎn)到步驟（4）繼續(xù)執(zhí)行，若否，則轉(zhuǎn)到步驟（3）繼續(xù)執(zhí)行； （3）計(jì)算前兩幀圖像（第 K-1 幀圖像與第 K-2 幀圖像）的背景圖像，并對(duì)求得的背景圖像進(jìn)行小波變換，獲得初始化向量，即;（4）計(jì)算中間變量，即；（5）通過 和 的向量值更新空域變量，更新空域變量公式如下： （5） （6）計(jì)算中間變量，即；（7）通過 和的向量值進(jìn)行閾值算子操作，更新頻域變量；更新空域變量公式如下（soft為軟閾值算法）： （6）（8）利用式子 更新迭代

8、變量變量；（9）更新迭代次數(shù)，用 k+1 替代 k；（10）計(jì)算目標(biāo)函數(shù) 和迭代終止函數(shù)（迭代終止函數(shù)為） ；（11）判斷是否滿足迭代停止條件，若滿足，返回當(dāng)前估計(jì)值 ，反之，則返回到步驟（2）繼續(xù)執(zhí)行。(a)(b)圖2基于幀間差分背景圖像的視頻圖像壓縮感知重構(gòu)算法原理框圖(a)視頻圖像編碼(b)視頻圖像解碼Fig. 2 Schematic diagram of reconstruction of video image by compressive sensing based on background image of inter frame difference (a) video im

9、aging coding (b) video imaging decoding圖3基于幀間差分背景圖像的視頻圖像壓縮感知重構(gòu)算法流程Fig. 3 Flow diagram of reconstruction of video image by compressive sensing based on background image of inter frame difference (a) video image coding (b) video image decoding3仿真實(shí)驗(yàn)研究選用隨機(jī)矩陣作為測(cè)量矩陣以及正交小波進(jìn)行視頻圖像的稀疏表示，分別采用基于壓縮感知理論的重構(gòu)算法與基于幀間

10、差分背景圖像的視頻圖像重構(gòu)算法進(jìn)行視頻圖像的仿真重構(gòu)實(shí)驗(yàn)。采用MATLAB軟件作為仿真實(shí)驗(yàn)平臺(tái)，選取五幅視頻序列圖像進(jìn)行仿真。圖4（c）為采用幀間差分法獲取的背景圖像。(a) (b) (c)圖4基于幀間差分背景圖像的仿真計(jì)算實(shí)驗(yàn)(a)第一幀視頻圖像(b)第二幀視頻圖像c背景圖像Fig. 4 The simulation compute experiment of background image of inter frame difference (a) the first video image (b) the second video image (c) the background vi

11、deo image(a) (b) (c)圖5原始視頻圖像(a)第三幀視頻圖像(b)第四幀視頻圖像(c)第五幀視頻圖像Fig. 5 The original video image (a) the third video image (b) the forth video image (c) the fifth video image(a) (b) (c)圖6基于壓縮感知算法的重構(gòu)視頻圖像仿真實(shí)驗(yàn)(a)第三幀視頻圖像的重構(gòu)圖像(b)第四幀視頻圖像的重構(gòu)圖像(c)第五幀視頻圖像的重構(gòu)圖像Fig. 6 The reconstruction of video image based on the th

12、eory of compressed sensing (a) the third reconstruction video image (b) the forth reconstruction video image (c) the fifth reconstruction video image(a) (b) (c)圖7基于幀間差分背景圖像的視頻圖像壓縮感知重構(gòu)仿真實(shí)驗(yàn)(a)第三幀視頻圖像的重構(gòu)圖像(b)第四幀視頻圖像的重構(gòu)圖像(c)第五幀視頻圖像的重構(gòu)圖像Fig. 6 The reconstruction of video image by compressive sensing base

13、d on background image of inter frame difference (a) the third reconstruction video image (b) the forth reconstruction video image (c) the fifth reconstruction video image表1重構(gòu)圖像的PSNRTable 1 The PSNR of reconstructed images第3幀第4幀第5幀CS幀間差分CS對(duì)圖5的原視頻圖像序列進(jìn)行基于壓縮感知理論的重構(gòu)算法與基于幀間差分背景圖像的視頻圖像重構(gòu)算法的重構(gòu)仿真實(shí)驗(yàn)，結(jié)果如圖5、6所

14、示?；趲g差分背景圖像的壓縮感知重構(gòu)圖像從視覺效果有所改善，說明幀間差分法獲得的背景圖像作為先驗(yàn)知識(shí)起到積極作用。計(jì)算重構(gòu)后圖像的峰值信噪比（PSNR）繪制表1，可見：基于幀間差分背景圖像的壓縮感知重構(gòu)圖像的PSNR高于基于壓縮感知理論的重構(gòu)圖像的PSNR。計(jì)算基于壓縮感知理論的重構(gòu)算法與基于幀間差分背景圖像的視頻圖像重構(gòu)算法的重構(gòu)時(shí)間，繪制表2，可見基于幀間差分背景圖像的視頻圖像重構(gòu)時(shí)間小于基于壓縮感知理論的重構(gòu)時(shí)間。表2重構(gòu)時(shí)間Table 2 The reconstruction time of reconstructed images第3幀第4幀第5幀CS幀間差分CS5小結(jié)本文針對(duì)視頻

15、序列相鄰幀圖像之間的相關(guān)性，提出了基于幀間差分的背景圖像的視頻圖像重構(gòu)算法，利用前兩幀的視頻圖像的壓縮感知重構(gòu)圖像求得背景圖像，作為下一幀視頻圖像重構(gòu)的先驗(yàn)知識(shí)，提高重構(gòu)圖像的質(zhì)量，減少重構(gòu)時(shí)間。實(shí)驗(yàn)仿真結(jié)果表明，將幀間差分法與壓縮感知重構(gòu)算法相結(jié)合得到的視頻重構(gòu)算法在視頻圖像重構(gòu)的圖像質(zhì)量和重構(gòu)速度上具有良好的效果。引用文獻(xiàn)1Yang Xincheng,He Bin. Video Code Based on compressed sensingJ puter Science, 2013, 40(6A): 169J.計(jì)算機(jī)科學(xué), 2013, 40(6A): 169-1722E. Candes,

16、 M. Wakin. An introduction to compressive samplingJ.IEEE Signal Processing Magazine, 2008, 25(2): 21303J. Romberg. Imaging via compressive samplingJ.IEEE Signal Processing Magazine, 2008, 25(2): 14204O. Katz, Y. Bromberg and Y Silberberg,Compressive ghost imagingJ. Appl. Phys. Lett. 2009,95:1311105L

17、i Ang,Ma Qiang,Cen Yigang,Zhao Ruizhen,Cen Lihui. Reconstruction of surveillance video based on the compressed sensingJ. CAAI Transactions on Intelligent Systems, 2013, 8(6): 1-5 李昂，馬強(qiáng)，岑翼剛，趙瑞珍，岑麗輝?；趬嚎s感知的監(jiān)控視頻重構(gòu)J.智能系統(tǒng)學(xué)報(bào), 2013, 8(6): 1-56Chen Xihao, Qian Liu, Kai Hong,et al. Lensless ghost imaging wit

18、h true thermal lightJ.Opt. Lett., 2009, 34(5): 6956977Wenlin Gong, Shensheng Han. Lens ghost imaging with thermal light: from the far field to the near fieldJ.Phys. Lett. A, 2010, 374(36): 372337258Wenlin Gong, Shensheng Han. A method to improve the visibility of ghost images obtained by thermal lig

19、htJ.Phys. Lett. A, 2010, 374(8): 100510089E. Cands, J. Romberg, T. Tao. Robust uncertainty principles: exact signal reconstruction from highly incomplete frequency informationJ.IEEE Trans. Information Theory, 2006, 52(2): 48950910J. Haupt, R. Nowak. Signal reconstruction from noisy random projection

20、sJ. IEEE Trans. Information Theory, 2006, 52(9): 4036404811 HYPERLINK ://summary.aspx?DOI=10.1117%2f12.965879&Name=Vladimir+Katkovnik Vladimir Katkovnik, HYPERLINK ://summary.aspx?DOI=10.1117%2f12.965879&Name=Jaakko+Astola Jaakko Astola p

21、utational ghost imaging: advanced compressive sensing (CS) techniqueJ.SPIE,2012,8413:84130N12 HYPERLINK ://summary.aspx?DOI=10.1117%2f12.2003690&Name=Stephen+S.+Welsh Stephen S. Welsh, HYPERLINK ://summary.aspx?DOI=10.1117%2f12.2003690&Name=Matthew+P.+Edgar Matthew P. Edgar HYPERLINK ://summary.aspx?DOI=10.1117%2f12.2003690&Name=Phillip+Jonathan ,Phillip Jonathan HYPERLINK ://summary.aspx