視頻壓縮感知多假設(shè)局部增強(qiáng)重構(gòu)算法

視頻壓縮感知多假設(shè)局部增強(qiáng)重構(gòu)算法壓縮感知(Compressedsensing,CS)[1]理論突破了Nyquist采樣理論的瓶頸,指出對(duì)于稀疏信號(hào)或可壓縮信號(hào),可以用欠采樣得來的數(shù)據(jù)高概率恢復(fù)出原信號(hào),采樣率下限不再受限于信號(hào)帶寬.視頻壓縮感知(Compressedvideosensing,CVS)是基于CS理論的視頻信號(hào)編解碼方案,在編碼端直接通過線性投影合并采樣與壓縮過程,將計(jì)算壓力轉(zhuǎn)移至重構(gòu)端,十分適用于無線多媒體傳感網(wǎng)絡(luò)、無線視頻監(jiān)控等采樣端資源受限的應(yīng)用場景.

重構(gòu)算法是壓縮感知理論研究中的核心任務(wù).在圖像壓縮感知重構(gòu)中,文獻(xiàn)[2]提出的分塊壓縮感知(Block-basedcompressedsensing,BCS)成為大多數(shù)重構(gòu)算法采用的處理方式,整個(gè)編解碼過程以獨(dú)立圖像塊作為基本處理單元,顯著降低了存儲(chǔ)傳輸壓力.平滑Landweber投影算法(Smoothedprojectedlandweber,SPL)[3]通過維納濾波減輕分塊處理造成的塊效應(yīng),因其重構(gòu)的高效性成為圖像壓縮感知中的經(jīng)典重構(gòu)算法,并廣泛應(yīng)用于CVS重構(gòu).組稀疏重構(gòu)算法(Group-basedsparserepresentation,GSR)[4]提出組稀疏概念,以相似塊組進(jìn)行奇異值分解后的奇異值具備稀疏性作為假設(shè)前提,對(duì)每個(gè)相似塊組建立自適應(yīng)稀疏表示字典.近年來,研究人員嘗試?yán)蒙疃葘W(xué)習(xí)框架處理圖像壓縮感知問題,并提出了幾種信號(hào)重構(gòu)的實(shí)現(xiàn)框架[5-6].基于深度學(xué)習(xí)框架的重構(gòu)算法具有極高的重構(gòu)速度,但靈活性較差,在不同采樣率下均需訓(xùn)練出對(duì)應(yīng)模型.

視頻信號(hào)在圖像信號(hào)的基礎(chǔ)上增加了時(shí)間維度,利用好幀間相關(guān)性是提高CVS重構(gòu)質(zhì)量的關(guān)鍵.文獻(xiàn)[7]將多假設(shè)預(yù)測(Multi-hypothesisprediction,MH)運(yùn)用到CVS重構(gòu)中,并通過SPL算法對(duì)殘差進(jìn)行重構(gòu),提出了多假設(shè)預(yù)測重構(gòu)算法(Multi-hypothesispredictionBCS-SPL,MH-BCS-SPL).在此基礎(chǔ)上,文獻(xiàn)[8-9]對(duì)假設(shè)集的構(gòu)造方式提出了優(yōu)化方案,有效提升了多假設(shè)預(yù)測精度.文獻(xiàn)[10]通過解彈性網(wǎng)回歸問題求解各匹配塊權(quán)重,文獻(xiàn)[11]在其基礎(chǔ)上對(duì)l2l2范數(shù)正則化項(xiàng)引入了觀測域距離權(quán)重,進(jìn)一步提高了預(yù)測精度.文獻(xiàn)[12]提出一種基于多參考幀的兩階段多假設(shè)預(yù)測算法(Two-stagemulti-hypothesisreconstruction,2sMHR),在觀測域多假設(shè)得到的重構(gòu)幀基礎(chǔ)上對(duì)視頻幀進(jìn)行重疊分塊后再進(jìn)行一次像素域多假設(shè)預(yù)測,有效減輕了重構(gòu)幀的塊效應(yīng),明顯提高了視頻重構(gòu)質(zhì)量.為了提升圖像組(Groupofpicture,GOP)中間幀的重構(gòu)質(zhì)量,PBCR-DCVS算法(Position-basedcrossreconstructiondistributedCVS)[13]在對(duì)關(guān)鍵幀進(jìn)行二次迭代重構(gòu)的基礎(chǔ)上提出位置交叉重構(gòu)策略,改進(jìn)非關(guān)鍵幀的重構(gòu)順序并根據(jù)殘差大小自適應(yīng)擴(kuò)大搜索窗.基于MH的CVS重構(gòu)算法重構(gòu)速度較快,具有較高的實(shí)用性.與此同時(shí),受GSR算法在圖像壓縮感知重構(gòu)的出色表現(xiàn)所啟發(fā),研究人員基于GSR算法提出了一批新的視頻壓縮感知重構(gòu)算法.文獻(xiàn)[14]提出加權(quán)殘差稀疏算法(Reweightedresidualsparsity,RRS),根據(jù)信號(hào)殘差的稀疏性建立求解模型,在分裂Bregman迭代求解的過程中不斷更新信號(hào)殘差DCT(Discretecosinetransform)系數(shù)各分量的權(quán)重,實(shí)現(xiàn)重構(gòu)幀質(zhì)量的不斷提升.文獻(xiàn)[15]提出基于結(jié)構(gòu)相似度(Structuralsimilarity,SSIM)的幀間(Interframe,InterF)組稀疏表示重構(gòu)算法(SSIM-InterF-GSR),將結(jié)構(gòu)相似度(SSIM)作為相似塊選取時(shí)的匹配準(zhǔn)則,提高了相似塊組的組稀疏特性,并引入階梯遞減方案調(diào)整組內(nèi)相似塊個(gè)數(shù),提高了重構(gòu)精度.基于GSR的CVS重構(gòu)算法重構(gòu)質(zhì)量較高,但因其繁瑣的迭代過程導(dǎo)致算法復(fù)雜度較高.

多假設(shè)預(yù)測因其對(duì)視頻幀間相關(guān)性的高效利用成為了CVS重構(gòu)算法的關(guān)鍵技術(shù)之一,但在重構(gòu)中不同運(yùn)動(dòng)特征的圖像塊找到高質(zhì)量匹配塊的難易程度明顯不同,由于假設(shè)集與當(dāng)前待重構(gòu)圖像塊的匹配程度對(duì)圖像塊重構(gòu)質(zhì)量影響較大,低質(zhì)量的假設(shè)集合會(huì)極大增加圖像塊的重構(gòu)難度.針對(duì)此問題,本文提出了一種局部增強(qiáng)的多假設(shè)預(yù)測方案(Localenhancementreconstructionalgorithmbasedonmulti-hypothesisprediction,MH-LE),對(duì)初始重構(gòu)質(zhì)量不好的圖像塊進(jìn)行增強(qiáng)重構(gòu).主要?jiǎng)?chuàng)新點(diǎn)有:1)根據(jù)圖像塊的運(yùn)動(dòng)情況對(duì)圖像塊進(jìn)行分類,采用不同的多假設(shè)預(yù)測方法進(jìn)行預(yù)測重構(gòu);2)提出像素域雙路匹配策略,同時(shí)利用雙邊濾波前后的圖像進(jìn)行相似塊匹配,提高假設(shè)集質(zhì)量;3)將結(jié)構(gòu)相似度(SSIM)評(píng)價(jià)標(biāo)準(zhǔn)引入假設(shè)塊權(quán)值分配過程,提高預(yù)測精度.

1.CVS多假設(shè)預(yù)測算法

在采集端,傳統(tǒng)視頻編碼需要先以高于信號(hào)最高頻率的兩倍的速率采集視頻信號(hào),再通過一系列如運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償、信號(hào)變換等高復(fù)雜度的壓縮算法來丟棄冗余數(shù)據(jù).而CVS直接通過觀測矩陣ΦΦ對(duì)視頻幀圖像塊xx進(jìn)行隨機(jī)采樣,得到維數(shù)遠(yuǎn)小于原信號(hào)的觀測信號(hào)yy,同時(shí)實(shí)現(xiàn)信號(hào)的采樣與壓縮,觀測模型為

y=Φxy=Φx

(1)在分布式CVS信號(hào)采集中,通常以GOP為單位對(duì)GOP內(nèi)每個(gè)視頻幀單獨(dú)進(jìn)行采樣.GOP首幀為關(guān)鍵幀,其他幀為非關(guān)鍵幀,關(guān)鍵幀的采樣率一般比非關(guān)鍵幀高,在重構(gòu)階段能以更高的重構(gòu)質(zhì)量為非關(guān)鍵幀重構(gòu)提供高質(zhì)量邊信息.同時(shí),考慮到實(shí)際應(yīng)用過程中的采樣資源和傳輸壓力等因素,在對(duì)各個(gè)視頻幀進(jìn)行觀測的過程中采用非重疊分塊的BCS獨(dú)立觀測方法,將每個(gè)圖像塊的觀測值yy分別傳遞到解碼端再進(jìn)行聯(lián)合解碼重構(gòu).在CVS實(shí)現(xiàn)中,目前主要采用空間多路復(fù)用方式(Spatialmultiplexing,SM).SM方式可通過多個(gè)單像素相機(jī)(Singlepixelcamera,SPC)同時(shí)進(jìn)行逐幀采樣,將多個(gè)SPC得到的觀測結(jié)果拼接后即為該幀的目標(biāo)觀測值[16-17].

在重構(gòu)端,對(duì)當(dāng)前幀中的某個(gè)圖像塊進(jìn)行多假設(shè)預(yù)測時(shí),首先在參考幀中尋找當(dāng)前塊的相似塊組成假設(shè)集,然后利用假設(shè)塊的線性組合預(yù)測當(dāng)前塊,通過最小化觀測域歐氏距離得到最優(yōu)線性加權(quán)系數(shù)矢量

w^=argminw∥y?ΦHw∥22w^=arg?minw?‖y?ΦHw‖22

(2)其中,HH為當(dāng)前塊xx對(duì)應(yīng)的假設(shè)集矩陣,HH中的每一列為一個(gè)假設(shè)塊的列矢量,Hw^Hw^即為當(dāng)前塊的預(yù)測結(jié)果.

基于Tikhonov正則化的多假設(shè)預(yù)測加入了l2l2范數(shù)約束項(xiàng),具有簡單的閉式解,同時(shí)能夠在一定限度內(nèi)處理假設(shè)塊高度相關(guān)的情況[7].求解目標(biāo)為

w^=argminw∥y?ΦHw∥22+λ∥Γw∥22w^=arg?minw?‖y?ΦHw‖22+λ‖Γw‖22

(3)其中,ΓΓ為對(duì)角矩陣,對(duì)角線上元素為對(duì)應(yīng)的假設(shè)塊與當(dāng)前塊的觀測值之間的歐氏距離.可直接求得式(3)的閉式解

w^=[(ΦH)T(ΦH)+λΓTΓ]?1(ΦH)Tyw^=[(ΦH)T(ΦH)+λΓTΓ]?1(ΦH)Ty

(4)基于彈性網(wǎng)的多假設(shè)預(yù)測進(jìn)一步引入l1l1范數(shù)約束項(xiàng),通過強(qiáng)調(diào)ww的稀疏性對(duì)假設(shè)塊進(jìn)行自適應(yīng)選取,在此基礎(chǔ)上文獻(xiàn)[11]引入距離懲罰矩陣ΓΓ對(duì)ww進(jìn)行修正,提出自適應(yīng)加權(quán)彈性網(wǎng)(Adaptiveweightedelasticnet,AWEN)

w^=(1+λ2)argminw∥y?ΦHw∥22+λ1∥Γw∥1+λ2∥Γw∥22w^=(1+λ2)arg?minw?‖y?ΦHw‖22+λ1‖Γw‖1+λ2‖Γw‖22

(5)式(5)可通過LARS-EN算法[18]進(jìn)行迭代求解,在假設(shè)塊相關(guān)性較差的情況下該方法可得到更好的加權(quán)系數(shù),但算法復(fù)雜度較高.

2.多假設(shè)局部增強(qiáng)重構(gòu)算法(MH-LE)

多假設(shè)預(yù)測算法利用參考幀作為邊信息對(duì)當(dāng)前幀進(jìn)行預(yù)測,假設(shè)集中假設(shè)塊和當(dāng)前塊的匹配程度是決定預(yù)測質(zhì)量的關(guān)鍵因素之一,能否找到合適的匹配塊在一定程度上反映了準(zhǔn)確重構(gòu)當(dāng)前塊的難度.根據(jù)與相鄰幀的相關(guān)程度,可將圖像塊分為穩(wěn)定塊和運(yùn)動(dòng)塊兩個(gè)狀態(tài)類別.一方面,不同狀態(tài)的圖像塊在相鄰幀中找到高度匹配塊的難易程度不同.對(duì)于基本沒有出現(xiàn)位移的穩(wěn)定塊,直接在相鄰幀以當(dāng)前位置為中心建立搜索窗進(jìn)行搜索即可高概率地找到高度匹配塊;而重構(gòu)運(yùn)動(dòng)塊時(shí)需利用運(yùn)動(dòng)估計(jì)等方法來確定搜索窗位置,且無法保證一定能找到有效匹配塊.另一方面,假設(shè)集匹配程度不同導(dǎo)致不同狀態(tài)的圖像塊適用的預(yù)測方法不同.當(dāng)假設(shè)塊與當(dāng)前塊高度相關(guān)時(shí),基于彈性網(wǎng)的多假設(shè)預(yù)測算法會(huì)出現(xiàn)不穩(wěn)定現(xiàn)象,算法時(shí)間復(fù)雜度急劇增長,預(yù)測精度反而不如計(jì)算量很小的基于Tikhonov正則化的預(yù)測方法(Multi-hypothesisTikhonov,MH_Tikhonov)[11,13].由于穩(wěn)定塊較容易找到高度相關(guān)的匹配塊,采用MH_Tikhonov方法即可高質(zhì)量重構(gòu),引入過多的正則化條件反而會(huì)因過度強(qiáng)調(diào)泛化能力而造成欠擬合.因此,本文提出多假設(shè)局部增強(qiáng)重構(gòu)算法(MH-LE),對(duì)不同類別圖像塊采用不同的重構(gòu)策略,通過進(jìn)一步挖掘像素域信息對(duì)運(yùn)動(dòng)塊進(jìn)行二次重構(gòu),提升視頻整體重構(gòu)質(zhì)量.

2.1MH-LE算法框架本文所提算法采用coarse-to-fine策略,先進(jìn)行粗尺度的整體重構(gòu),再針對(duì)部分高概率低質(zhì)量的圖像塊進(jìn)行精細(xì)化重構(gòu).重構(gòu)算法實(shí)現(xiàn)的整體框架如圖1所示.

圖1MH-LE算法框架

Fig.1TheframeworkoftheproposedMH-LEalgorithm

下載:全尺寸圖片幻燈片

關(guān)鍵幀采用重構(gòu)性能較優(yōu)的GSR算法進(jìn)行獨(dú)立重構(gòu),為非關(guān)鍵幀的重構(gòu)提供高質(zhì)量的參考信息.考慮到MH_Tikhonov預(yù)測算法的高效性,本文將其作為非關(guān)鍵幀的初始重構(gòu)算法.在此基礎(chǔ)上,通過計(jì)算當(dāng)前幀與相鄰幀的幀差情況,根據(jù)圖像塊與相鄰幀的相關(guān)程度將圖像塊分為穩(wěn)定圖像塊和運(yùn)動(dòng)圖像塊,對(duì)運(yùn)動(dòng)圖像塊進(jìn)行增強(qiáng)重構(gòu).在增強(qiáng)重構(gòu)中,采用提出的像素域雙路匹配策略來構(gòu)造假設(shè)集,然后對(duì)當(dāng)前運(yùn)動(dòng)塊進(jìn)行AWEN多假設(shè)預(yù)測,在預(yù)測過程中同時(shí)結(jié)合觀測距離和結(jié)構(gòu)相似度距離調(diào)整各假設(shè)塊權(quán)值.最后,對(duì)整幅圖像重疊分塊后進(jìn)行像素域多假設(shè)預(yù)測[12]以減輕塊效應(yīng).圖1中虛線框內(nèi)容為本文所提算法的核心部分,符號(hào)⊕⊕為取并集操作,即完整圖像為運(yùn)動(dòng)塊與穩(wěn)定塊的集合.

2.2圖像塊狀態(tài)分類在MH_Tikhonov初始重構(gòu)的基礎(chǔ)上,本文通過計(jì)算相鄰幀幀差的方式來簡單確定圖像塊狀態(tài)類別,將計(jì)算力集中到運(yùn)動(dòng)圖像塊的增強(qiáng)重構(gòu)上.判斷圖像塊狀態(tài)類別的步驟分為兩步:1)計(jì)算幀差并進(jìn)行二值化處理,得到變化顯著點(diǎn)分布情況;2)統(tǒng)計(jì)各圖像塊內(nèi)變化顯著點(diǎn)比例,若高于給定閾值則判別為運(yùn)動(dòng)塊,反之為穩(wěn)定塊.以hall序列中的一個(gè)視頻幀為例,該過程中間結(jié)果圖如圖2所示.

圖2運(yùn)動(dòng)塊判斷過程中間結(jié)果圖

Fig.2Theintermediateresultofmotionblockjudgmentprocess

下載:全尺寸圖片幻燈片

由于非關(guān)鍵幀的重構(gòu)有先后順序,幀差的計(jì)算方式應(yīng)根據(jù)幀重構(gòu)順序來進(jìn)行設(shè)計(jì).本文算法采用文獻(xiàn)[19]提出的參考幀選擇方案,從GOP兩端向中間幀靠攏的重構(gòu)順序來對(duì)非關(guān)鍵幀進(jìn)行重構(gòu).因此,在GOP的前半部分和后半部分,幀差計(jì)算方式為當(dāng)前幀與相鄰已重構(gòu)幀的差值,而在GOP的中間幀因?yàn)橥瑫r(shí)有前后兩個(gè)相鄰幀作為參考幀,需要同時(shí)計(jì)算當(dāng)前幀與兩相鄰參考幀的差值.然后,對(duì)幀差圖像進(jìn)行閾值大小為τ1τ1的二值化處理,得到變化顯著點(diǎn)分布圖,GOP中間幀最終的變化顯著點(diǎn)分布圖為兩幅二值化幀差圖像的交集.最后,通過各圖像塊內(nèi)變化顯著點(diǎn)的比例即可判斷該圖像塊是否為運(yùn)動(dòng)圖像塊,當(dāng)固定大小的圖像塊中變化顯著點(diǎn)比例超過設(shè)定的數(shù)量比例閾值τ2τ2時(shí),則判定該圖像塊為運(yùn)動(dòng)塊,否則為穩(wěn)定塊.

2.3像素域雙路匹配策略初始重構(gòu)時(shí)運(yùn)動(dòng)圖像塊找到合適匹配塊的難度遠(yuǎn)大于穩(wěn)定圖像塊,造成運(yùn)動(dòng)圖像塊的初始重構(gòu)質(zhì)量較差,再次進(jìn)行匹配時(shí)準(zhǔn)確度較低.本文提出像素域雙路匹配策略提高假設(shè)集質(zhì)量,首先引入雙邊濾波[20]濾除部分噪聲,將濾波結(jié)果作為新的標(biāo)準(zhǔn)塊參與到匹配過程,匹配過程中更關(guān)注圖像塊的主要特征;其次提出細(xì)致化篩選方式構(gòu)建高質(zhì)量假設(shè)集,參與后期的AWEN多假設(shè)預(yù)測.像素域雙路匹配策略流程見圖3.

圖3像素域雙路匹配策略

Fig.3Dualchannelmatchingstrategyinpixeldomain

下載:全尺寸圖片幻燈片

在像素域雙路匹配策略中,運(yùn)動(dòng)塊的假設(shè)塊匹配工作分為兩路,一路直接在初始重構(gòu)結(jié)果上進(jìn)行匹配;另一路在匹配前先對(duì)當(dāng)前圖像塊和參考幀執(zhí)行濾波操作,利用濾波后的信息進(jìn)行匹配.在這兩路匹配流程分別建立起各自的假設(shè)集后將假設(shè)集進(jìn)行合并,得到最終的假設(shè)集,參與到之后進(jìn)行的AWEN預(yù)測.當(dāng)前初始重構(gòu)幀和前后關(guān)鍵幀、已重構(gòu)相鄰非關(guān)鍵幀共同組成了完整的參考幀集合,作為第一條匹配路線的參考幀集合.但由于關(guān)鍵幀重構(gòu)質(zhì)量已經(jīng)較高,濾波操作反而會(huì)抹去原有的真實(shí)信息,因此第二條匹配路線不將關(guān)鍵幀作為參考幀.

接下來具體介紹圖3中執(zhí)行雙邊濾波操作的匹配路線.

步驟1.對(duì)當(dāng)前運(yùn)動(dòng)塊和參考幀進(jìn)行雙邊濾波

當(dāng)前幀中運(yùn)動(dòng)圖像塊初始重構(gòu)質(zhì)量通常較差.由于重構(gòu)時(shí)只以在觀測域上逼近真實(shí)觀測值作為優(yōu)化目標(biāo),而沒有引入足夠的圖像先驗(yàn)信息,重構(gòu)結(jié)果往往存在明顯的塊效應(yīng),且圖像塊內(nèi)像素值的連續(xù)性較差.這樣的圖像塊如果不經(jīng)處理就直接在像素域?qū)ふ移ヅ鋲K,就很容易找到那些同樣充滿噪點(diǎn)及塊效應(yīng),且像素間灰度值不連貫的圖像塊.

因此,為了利用像素間相關(guān)性且在不至于過度平滑的情況下緩解情況嚴(yán)重的噪點(diǎn)問題,采用經(jīng)典的雙邊濾波對(duì)當(dāng)前圖像和參考幀進(jìn)行處理.雙邊濾波同時(shí)考慮了像素點(diǎn)間的歐氏距離和灰度差異,將周圍像素灰度值的加權(quán)平均作為當(dāng)前像素灰度值.周邊像素點(diǎn)對(duì)應(yīng)權(quán)值的計(jì)算式為

w(i,j;m,n)=exp(?(i?m)2+(j?n)22σ2d?∥I(i,j)?I(m,n)∥222σ2r)w(i,j;m,n)=exp(?(i?m)2+(j?n)22σd2?‖I(i,j)?I(m,n)‖222σr2)

(6)其中,(i,j)(i,j)為中心像素坐標(biāo),(m,n)(m,n)為當(dāng)前周邊像素的坐標(biāo),I(i,j)I(i,j),I(m,n)I(m,n)分別為二者對(duì)應(yīng)的灰度值,σdσd和σrσr為平滑參數(shù).

雙邊濾波有效地利用了像素相關(guān)性,使得濾波結(jié)果更符合自然圖像常見的內(nèi)部平滑特征,同時(shí)減少了干擾信息,有效地突出了圖像塊的主要特性.在圖像質(zhì)量較差的情況下,匹配時(shí)將圖像塊的主要初級(jí)特征而非細(xì)節(jié)等較難準(zhǔn)確重構(gòu)的特征作為關(guān)注點(diǎn),能夠提高匹配準(zhǔn)確度.

步驟2.快速運(yùn)動(dòng)估計(jì)尋找候選假設(shè)塊

由于運(yùn)動(dòng)圖像塊找到匹配塊的難度較大,因此通過快速運(yùn)動(dòng)估計(jì)方法來擴(kuò)大搜索范圍.該步驟采用已經(jīng)發(fā)展成熟的四步快速搜索算法在濾波后的參考幀中找到最佳匹配點(diǎn),然后把搜索窗內(nèi)的所有圖像塊作為候選假設(shè)塊.

步驟3.篩選假設(shè)塊

步驟2中得到的候選假設(shè)塊數(shù)量龐大,且質(zhì)量參差不齊,若全部參與加權(quán)計(jì)算,不僅會(huì)極大增加運(yùn)算量,還會(huì)降低預(yù)測精度.因此,需要對(duì)候選假設(shè)塊進(jìn)行篩選,只保留匹配程度較高的假設(shè)塊.篩選過程在觀測域和像素域共同進(jìn)行,由于觀測過程為多對(duì)一的映射過程,即使重構(gòu)圖像塊的觀測結(jié)果接近于真實(shí)觀測值,也無法確保重構(gòu)圖像塊接近真實(shí)圖像塊,因此需要像素域信息作為輔助信息來進(jìn)一步判斷匹配程度.篩選假設(shè)塊時(shí)先在觀測域上判斷匹配程度,再在像素域上匹配,遵循這樣的匹配順序主要有3個(gè)原因.1)觀測值相近是圖像塊內(nèi)容相近的前提,觀測結(jié)果相差太遠(yuǎn)的圖像塊基本不可能匹配;2)當(dāng)前塊的真實(shí)觀測值是目前已有的唯一的真實(shí)信息,而像素域信息為重構(gòu)信息,匹配可靠性嚴(yán)重依賴于重構(gòu)結(jié)果的質(zhì)量,依此找出來的假設(shè)塊可能出現(xiàn)與真實(shí)觀測值相差較大的情況;3)SSIM需對(duì)圖像塊進(jìn)行亮度、對(duì)比度以及結(jié)構(gòu)上的比較,計(jì)算復(fù)雜度較高,不適合處理大量數(shù)據(jù).因此,篩選假設(shè)塊時(shí)先在觀測域上進(jìn)行粗篩選,再在像素域上進(jìn)行細(xì)篩選.

篩選過程的具體操作為:在當(dāng)前已濾波的處理假設(shè)集中選出前K1K1個(gè)觀測結(jié)果和當(dāng)前塊真實(shí)觀測值最接近的假設(shè)塊,然后在這些假設(shè)塊中選出和已濾波的當(dāng)前塊SSIM值最大的前K2K2個(gè)假設(shè)塊作為當(dāng)前重構(gòu)路線的假設(shè)集.

另一條重構(gòu)路線采用類似的假設(shè)集構(gòu)造方法,其假設(shè)集與當(dāng)前塊均為未經(jīng)濾波的原始結(jié)果.最終,AWEN預(yù)測方法中使用的假設(shè)集為這兩條路線構(gòu)造的假設(shè)集之和HNHN.

2.4基于觀測距離和SSIM距離的權(quán)值調(diào)整方法得到全新的假設(shè)集后,利用AWEN算法對(duì)當(dāng)前塊進(jìn)行預(yù)測重構(gòu),即

w^=(1+λ2)argminw∥y?ΦHNw∥22+λ1∥ΓNw∥1+λ2∥ΓNw∥22w^=(1+λ2)arg?minw?‖y?ΦHNw‖22+λ1‖ΓNw‖1+λ2‖ΓNw‖22

(7)大部分的多假設(shè)預(yù)測算法采用距離懲罰方式來設(shè)計(jì)ΓNΓN,即將各假設(shè)塊與當(dāng)前塊的觀測域距離作為權(quán)值調(diào)整矩陣ΓNΓN對(duì)角線上的元素.然而,由于觀測值是原始信號(hào)經(jīng)低維映射后所得的結(jié)果,觀測值與原始信號(hào)為一對(duì)多的關(guān)系,觀測結(jié)果相近的信號(hào)在映射前并不一定相近.因此,對(duì)于那些假設(shè)集質(zhì)量較差的圖像塊,在對(duì)其假設(shè)塊進(jìn)行權(quán)值分配的過程中,如果只利用到觀測域信息,可能會(huì)出現(xiàn)噪聲塊被賦予大權(quán)重的意外情況.由于在預(yù)測前已經(jīng)有了初始重構(gòu)結(jié)果,可一并結(jié)合像素域信息來設(shè)計(jì)權(quán)值調(diào)整矩陣,減輕度量失真程度.

同時(shí)考慮圖像塊的觀測結(jié)果與圖像塊本身的結(jié)構(gòu)特性,本文提出基于觀測距離和SSIM距離的權(quán)值調(diào)整矩陣設(shè)計(jì)方法,即

ΓN=diag{∥y?Φh1∥×d1,∥y?Φh2∥×d2,?,∥y?ΦhK∥×dK}ΓN=diag{‖y?Φh1‖×d1,‖y?Φh2‖×d2,?,‖y?ΦhK‖×dK}

(8)其中,hihi表示假設(shè)塊總個(gè)數(shù)為KK的假設(shè)集中的第ii個(gè)假設(shè)塊,didi表示hihi與當(dāng)前塊的結(jié)構(gòu)相似度距離,定義為

di=1?SSIM2(hi,F(xcur;hi))di=1?SSIM2(hi,F(xcur;hi))

(9)其中,SSIM(?)SSIM(?)為結(jié)構(gòu)相似度度量函數(shù),由于SSIM值變化幅度較小,對(duì)SSIM結(jié)果引入平方操作以拉大差距.xcurxcur為當(dāng)前塊,F(?)F(?)為條件選擇函數(shù),其定義為

F(xcur;hi)={BF(xcur),xcur,若hi已過濾否則F(xcur;hi)={BF(xcur),若hi已過濾xcur,否則

(10)其中,BF(?)BF(?)為雙邊濾波操作.在計(jì)算結(jié)構(gòu)相似度時(shí),條件選擇函數(shù)FF的作用是確保參與計(jì)算的當(dāng)前塊的濾波狀態(tài)與假設(shè)塊保持一致.FF的輸出取決于hihi,若hihi為經(jīng)過濾波的假設(shè)塊,則函數(shù)輸出濾波后的當(dāng)前塊;反之,則仍輸出當(dāng)前塊.

濾波操作的目的是在像素域上發(fā)掘圖像塊間的潛在相似性,導(dǎo)致在強(qiáng)化圖像內(nèi)部主要特征的同時(shí)難免會(huì)對(duì)原圖內(nèi)容造成一定程度的更改,該情況下如果和濾波前圖像塊進(jìn)行比較,則無論是觀測誤差還是像素域誤差均會(huì)明顯增加,濾波后的圖像塊被認(rèn)為和當(dāng)前圖像塊匹配程度較低,導(dǎo)致被賦予更大權(quán)重的塊基本只能是那些未經(jīng)過濾波的假設(shè)塊.因此,在進(jìn)行權(quán)值調(diào)整時(shí),參與計(jì)算的當(dāng)前塊的狀態(tài)與假設(shè)塊的狀態(tài)應(yīng)保持一致,才能保證匹配計(jì)算的公平性,使更多的優(yōu)質(zhì)假設(shè)塊能夠參與到多假設(shè)重構(gòu)中.

3.仿真結(jié)果及分析

為驗(yàn)證本文所提MH-LE算法的有效性,在本節(jié)將對(duì)MH-LE進(jìn)行仿真實(shí)驗(yàn)并與最近幾年提出的性能較好的視頻壓縮感知重構(gòu)算法進(jìn)行比較分析.參與比較的算法包括基于多假設(shè)預(yù)測的兩種重構(gòu)算法2sMHR[12]和PBCR-DCVS[13],以及基于組稀疏的兩種重構(gòu)算法RRS[14]和SSIM-InterF-GSR[15].本節(jié)實(shí)驗(yàn)使用的視頻序列有:CIF格式(352×288)(352×288)的foreman,coastguard,soccer,mother-daughter,QCIF格式(176×144)(176×144)的foreman,hall,coastguard,suzie,salesman,soccer.觀測時(shí),視頻幀分塊大小為16×1616×16,觀測矩陣為高斯隨機(jī)矩陣.

MH-LE算法中各參數(shù)設(shè)置如下:1)圖像塊狀態(tài)分類的判斷中,幀差二值化閾值τ1τ1的大小決定被判定為變化顯著點(diǎn)的難易程度,數(shù)量比例閾值τ2τ2的大小決定被判定為變化塊的圖像塊個(gè)數(shù).結(jié)合視頻監(jiān)控中判斷運(yùn)動(dòng)物體時(shí)常見的幀差閾值設(shè)置情況并進(jìn)行大量實(shí)驗(yàn)發(fā)現(xiàn),τ1τ1取值在[5,20]的區(qū)間內(nèi)即可滿足大部分序列的運(yùn)動(dòng)情況判斷需求.而在進(jìn)行數(shù)量比例閾值的選取實(shí)驗(yàn)時(shí)發(fā)現(xiàn),當(dāng)顯著點(diǎn)比例約在20%～40%20%～40%時(shí),對(duì)圖像塊狀態(tài)的判斷結(jié)果基本合理.另外,考慮到變化區(qū)域重構(gòu)復(fù)雜度較高,變化區(qū)域圖像塊個(gè)數(shù)不應(yīng)過多,即τ2τ2不應(yīng)太小.因此,最終選取τ1=5,τ2=35%τ1=5,τ2=35%.2)運(yùn)動(dòng)估計(jì)中,四步快速搜索算法搜索步長設(shè)置為8,8,8,28,8,8,2.在雙邊濾波平滑參數(shù)的設(shè)置中,σdσd控制空間距離權(quán)重,σrσr控制圖像灰度變化權(quán)重,σdσd和σrσr的大小比例影響著對(duì)去噪和保邊這兩方面的重視程度,σdσd和σrσr的比值越大,去噪強(qiáng)度越大,但為避免過度平滑,需對(duì)該比值的取值上限進(jìn)行限制.考慮到所提算法引入雙邊濾波的目的是對(duì)圖像降噪以強(qiáng)化圖像基本特征,因此對(duì)σdσd設(shè)置更大的數(shù)值.經(jīng)過對(duì)多個(gè)序列的多次實(shí)驗(yàn),選取整體最優(yōu)值σd=1,σr=0.1σd=1,σr=0.1.式(7)的計(jì)算由spasm軟件包[21]中的elasticnet函數(shù)模塊實(shí)現(xiàn),該模塊需要設(shè)置λ2λ2和stopstop參數(shù).設(shè)置λ2=0.1,stop=λ2=0.1,stop=?1000×采樣率?1000×采樣率,stopstop參數(shù)直接決定了λ1λ1的具體值.

3.1與PBCR-DCVS結(jié)果對(duì)比及分析本小節(jié)將MH-LE算法與目前文獻(xiàn)中基于多假設(shè)預(yù)測的重構(gòu)算法中重構(gòu)峰值信噪比(Peaksignalfornoiseratio,PSNR)值最高的PBCR-DCVS[13]進(jìn)行性能對(duì)比,由于PBCR-DCVS算法未開源,為保證對(duì)比結(jié)果的公平性,PBCR-DCVS實(shí)驗(yàn)結(jié)果均取自原文獻(xiàn),本文實(shí)驗(yàn)條件與文獻(xiàn)一致,即實(shí)驗(yàn)序列為CIF格式的foreman,coastguard,soccer,mother-daughter,關(guān)鍵幀采樣率為0.7,GOP大小為8,取序列前88幀.各非關(guān)鍵幀采樣率下MH-LE與PBCR-DCVS重構(gòu)PSNR對(duì)比如圖4所示.

圖4MH-LE與PBCR-DCVS重構(gòu)PSNR對(duì)比

Fig.4ReconstructionPSNRperformancecomparisonbetweenMH-LEandPBCR-DCVS

下載:全尺寸圖片幻燈片

從圖4可見,對(duì)于foreman和soccer序列,本文所提MH-LE算法相比于PBCR-DCVS算法有明顯的性能提升,在各采樣率下均有1～2dB1～2dB的提升.Foreman和soccer序列中運(yùn)動(dòng)塊的初始重構(gòu)質(zhì)量相對(duì)較差,MH-LE算法對(duì)圖像塊進(jìn)行劃分后,利用像素域信息為運(yùn)動(dòng)塊構(gòu)造更高質(zhì)量的假設(shè)集,并在假設(shè)塊權(quán)值分配過程中結(jié)合SSIM評(píng)價(jià)標(biāo)準(zhǔn),有效提升了運(yùn)動(dòng)塊的重構(gòu)質(zhì)量.對(duì)于mother-daughter序列,MH-LE算法與PBCR-DCVS算法分別在低采樣率和高采樣率下顯示出其各自的優(yōu)越性.這是因?yàn)閙other-daughter序列內(nèi)容極其穩(wěn)定,在采樣率達(dá)到一定大小時(shí)即可獲得較高的初始重構(gòu)質(zhì)量.低采樣率時(shí)圖像塊初始重構(gòu)質(zhì)量一般,MH-LE算法中的濾波操作能帶來圖像塊質(zhì)量的改善;而在高采樣率時(shí)細(xì)節(jié)內(nèi)容成為相似塊匹配程度的重要依據(jù),在該情況下濾波操作會(huì)造成圖像細(xì)節(jié)的丟失.Coastguard序列包含大量如水面波紋、植被等細(xì)節(jié)較多的內(nèi)容,非關(guān)鍵幀初始重構(gòu)質(zhì)量較差.PBCR-DCVS更關(guān)注對(duì)關(guān)鍵幀信息的利用,通過對(duì)關(guān)鍵幀進(jìn)行二次重構(gòu)來提供更多的高質(zhì)量假設(shè)塊;而MH-LE算法中對(duì)非關(guān)鍵幀的濾波操作容易造成細(xì)節(jié)內(nèi)容的丟失,因此對(duì)coastguard序列中運(yùn)動(dòng)塊重構(gòu)質(zhì)量的提升幅度相對(duì)有限.

MH-LE算法中預(yù)處理操作帶來的額外開銷主要來自于運(yùn)動(dòng)塊的相似塊匹配過程,運(yùn)動(dòng)塊的參考幀集合增加了原參考幀的濾波結(jié)果,雖然增加了匹配次數(shù),但也提高了假設(shè)集質(zhì)量.MH-LE和PBCR-DCVS均采用了基于elasticnet的預(yù)測算法,該算法需通過迭代進(jìn)行求解,上述兩個(gè)算法的時(shí)間復(fù)雜度主要來源于預(yù)測算法的求解過程.由于MH-LE算法只對(duì)運(yùn)動(dòng)圖像塊采用基于elasticnet的預(yù)測算法,因此大大減少了需要進(jìn)行迭代計(jì)算的圖像塊個(gè)數(shù),和PBCR-DCVS相比具有更低的算法復(fù)雜度.

3.2算法重構(gòu)性能對(duì)比與復(fù)雜度分析3.2.1重構(gòu)性能對(duì)比分析本小節(jié)將MH-LE算法與RRS[14]、2s-MHR[12]、SSIM-InterF-GSR[15]進(jìn)行性能對(duì)比.實(shí)驗(yàn)序列為QCIF格式的foreman,hall,coastguard,suzie,salesman,soccer,關(guān)鍵幀采樣率為0.7,GOP大小為16,取序列的前96幀.各非關(guān)鍵幀采樣率下MH-LE與各算法重構(gòu)PSNR對(duì)比如表1所示.

表1各采樣率下算法重構(gòu)PSNR對(duì)比

Table1ReconstructionPSNRperformancecomparisonofvariousalgorithmsatdifferentsamplingrates

采樣率重構(gòu)算法視頻序列foremanhallcoastguardsuziesalesmansoccer0.1RRS31.1026.7325.9634.3931.1829.312sMHR33.2532.8828.9137.8235.3229.32SSIM-InterF-GSR34.6333.8729.0936.6834.3929.51MH-LE35.6035.5730.6738.1837.0930.320.2RRS35.7833.4530.3237.9437.1532.292sMHR36.1734.7630.8240.0636.5632.42SSIM-InterF-GSR37.7137.3431.7039.5536.5234.60MH-LE38.7937.8232.6140.6138.5933.750.3RRS37.9138.5632.5739.6038.0734.052sMHR38.3836.2132.4441.6337.3834.81SSIM-InterF-GSR39.5739.2933.2541.3637.8037.17MH-LE40.8739.5434.2642.2839.5036.16平均值RRS34.9332.9129.6137.3135.4731.882sMHR35.9334.6130.7239.8436.4232.18SSIM-InterF-GSR37.2136.8331.3439.1936.2333.76MH-LE38.4237.6432.5040.3538.3933.41

下載:導(dǎo)出CSV|顯示表格

從表1仿真結(jié)果可見,MH-LE算法在大部分采樣率下和其他重構(gòu)算法相比重構(gòu)性能均有較明顯的提升.分別和RRS、2sMHR、SSIM-InterF-GSR比較所有采樣率下PSNR的平均值,MH-LE算法在foreman序列上分別提升了3.49,2.49,1.21dBdB,在hall序列上分別提升了4.73,3.03,0.81dBdB,在coastguard序列上分別提升了2.89,1.78,1.16dBdB,在suzie序列上分別提升了3.04,0.51,1.16dBdB,在salesman序列上分別提升了2.92,1.97,2.16dBdB.在此類物體運(yùn)動(dòng)處于正常運(yùn)動(dòng)速度的視頻序列下,MH-LE算法能夠較好地區(qū)分出穩(wěn)定塊和運(yùn)動(dòng)塊,穩(wěn)定塊用經(jīng)過高度篩選的假設(shè)塊直接進(jìn)行多假設(shè)預(yù)測即可得到高質(zhì)量的預(yù)測結(jié)果,避免過度重構(gòu);而運(yùn)動(dòng)塊大概率上能夠在相鄰的視頻幀內(nèi)找到相關(guān)內(nèi)容,MH-LE算法加強(qiáng)對(duì)相鄰幀像素域信息的利用程度,首先引入像素域雙路匹配策略來豐富假設(shè)集資源,其次在預(yù)測過程中結(jié)合SSIM準(zhǔn)則來提高預(yù)測精度,這兩個(gè)措施大幅度改善了重構(gòu)質(zhì)量.在重構(gòu)suzie序列時(shí),基于多假設(shè)預(yù)測的2sMHR和MH-LE算法的重構(gòu)性能均高于SSIM-InterF-GSR算法.由于suzie序列運(yùn)動(dòng)極其緩慢,當(dāng)前塊能夠直接從參考幀中找到高度相關(guān)的匹配塊,多假設(shè)預(yù)測算法顯示出明顯的優(yōu)越性.對(duì)于soccer序列,MH-RE算法在0.1采樣率下保持了算法的性能優(yōu)越性,但在0.2采樣率以上時(shí)出現(xiàn)不及SSIM-InterF-GSR算法的情況.上述情況的出現(xiàn)和序列運(yùn)動(dòng)劇烈程度有關(guān).基于多假設(shè)預(yù)測的算法高度依賴假設(shè)塊的匹配程度,在處理快速運(yùn)動(dòng)序列時(shí),基于多假設(shè)預(yù)測的算法能利用到的幀間相關(guān)信息不足,在參考幀中難以找到優(yōu)質(zhì)匹配塊,因此預(yù)測結(jié)果相對(duì)較差;而SSIM-InterF-GSR直接利用幀內(nèi)自相似性,對(duì)相似塊組多次進(jìn)行低秩約束重構(gòu),通過不斷迭代提高重構(gòu)質(zhì)量.

對(duì)于foreman序列第8幀在0.1采樣率下的重構(gòu)結(jié)果,各算法的重構(gòu)視覺效果如圖5所示,并給出了每個(gè)重構(gòu)結(jié)果的PSNR值.在采樣率較低的情況下,對(duì)原圖像的重構(gòu)難度較大,RRS重構(gòu)結(jié)果中出現(xiàn)了明顯的噪點(diǎn),而2sMHR,SSIM-InterF-GSR和MH-LE算法基本重構(gòu)出了圖像的主要信息.2sMHR算法重構(gòu),在人物的耳朵、衣領(lǐng)、下巴處仍出現(xiàn)較明顯的塊效應(yīng);在SSIM-InterF-GSR算法的重構(gòu)圖像中雖然沒有出現(xiàn)塊效應(yīng),整體視覺效果十分柔和,但卻出現(xiàn)過度平滑現(xiàn)象,下巴褶皺、耳窩、屋檐下陰影等細(xì)節(jié)內(nèi)容被大量抹除.相比之下,MH-LE算法既減輕了塊效應(yīng),又避免了過度平滑,更忠實(shí)于原圖像.

圖5foreman第8幀重構(gòu)視覺效果圖

Fig.5Visualqualitycomparisonofvariousalgorithmsrecoveryonthe8thframeofforeman

下載:全尺寸圖片幻燈片

3.2.2算法復(fù)雜度對(duì)比分析本節(jié)將所提MH-LE算法與上述提供算法代碼的RRS[14],2s-MHR[12],SSIM-InterF-GSR[15]算法進(jìn)行時(shí)間復(fù)雜度比較,并根據(jù)比較結(jié)果進(jìn)行分析.本節(jié)所有實(shí)驗(yàn)均在搭載IntelCorei53.30GHz處理器的PC端完成,仿真軟件為MatlabR2022a,操作系統(tǒng)為Windows7.實(shí)驗(yàn)中采用QCIF格式的視頻序列:suzie,hall,foreman,soccer,以上序列的運(yùn)動(dòng)劇烈程度依次遞增.GOP長度為16