數(shù)字視頻技術(shù)5

數(shù)字視頻技術(shù)第五章新型視頻編碼技術(shù)2010年10月視頻編碼技術(shù)前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)§5.1基于視覺特性的編碼

視網(wǎng)膜側(cè)膝體

人類“眼腦”視覺信息系統(tǒng)處理基本流程

下顳葉皮質(zhì)區(qū)

信息論視覺信息論視頻編碼理論基礎(chǔ)視頻編碼

框架與方法

基于數(shù)字信號處理的框架與方法基于視覺模型的框架與方法

光學(xué)刺激

像素圖像塊局部特征部件/物體

視覺信息表示的基本粒子結(jié)構(gòu)§5.1基于視覺特性的編碼視覺信息論——從像素到基元（熵）質(zhì)量評價方法——與主觀感知一致編碼方法——多維度感知編碼、分布式視覺編碼香農(nóng)信息熵視覺熵像素集基元詞典擴展§5.1基于視覺特性的編碼技術(shù)1：紋理分析合成編碼**ThomasWiegand:NewTechniquesforImprovedVideoCoding§5.1基于視覺特性的編碼技術(shù)1：紋理分析合成編碼*用一個紋理分析器識別出圖像中的紋理區(qū)域；再用一個紋理合成器對這些特殊的紋理區(qū)域進行合成；其余的區(qū)域則采用傳統(tǒng)的視頻編碼方法進行編碼；視頻圖像中紋理區(qū)域的檢測與劃分——計算各個宏塊之間的距離,如果它們之間的距離小于一個給定的閾值,則認為它們的紋理特性相似,就把這兩個宏塊合并到同一集合中；紋理區(qū)域的合成,可以采用基于仿射模型的全局運動估計得到仿射參數(shù),然后把仿射參數(shù)傳到解碼端,并在解碼端對相應(yīng)的紋理區(qū)域進行合成。

*ThomasWiegand:NewTechniquesforImprovedVideoCoding§5.1基于視覺特性的編碼實驗結(jié)果對比§5.1基于視覺特性的編碼技術(shù)2：基于Inpainting技術(shù)的視頻編碼*碼率節(jié)省達18%*D.

Liu;X.Sun;F.Wu;S.Li;Y.Zhang,ImageCompressionWithEdge-BasedInpainting,IEEE-TCSVT,Vol.17,No.10,Oct.2007pp.1273–1287.§5.1基于視覺特性的編碼

Inpainting技術(shù)——圖像修復(fù)技術(shù)具有廣泛的應(yīng)用：修復(fù)具有收藏價值的舊名畫；修復(fù)具有劃痕的老照片和底片；去除圖像中的附加文字；去掉圖像中不想要的物體；圖像的放大和圖像壓縮編碼等；老照片修復(fù)字幕移除電影特技通信中圖像丟失塊的修補§5.1基于視覺特性的編碼集成圖像修復(fù)技術(shù)的新壓縮框架：編碼端有意丟棄一些圖像區(qū)域,同時從丟棄的區(qū)域中提取出關(guān)鍵視覺信息,以輔助信息的形式連同不完整圖像一起編碼傳輸;解碼端得到不完整圖像后,在輔助信息的幫助下,利用圖像修補技術(shù)將丟棄區(qū)域填補完整,從而重建圖像；該框架要求解決有輔助信息的圖像修補、輔助信息的提取和編碼、以及區(qū)域丟棄等若干新問題；現(xiàn)有的圖像修補方法可分為：基于偏微分方程——邊緣信息在圖像修補過程中非常重要；基于紋理合成——利用圖像片之間的相似性,提出將片位移信息作為圖像修補的輔助信息。

§5.1基于視覺特性的編碼技術(shù)3：視覺感知機理與編碼視覺感知與編碼是神經(jīng)計算科學(xué)研究的基本問題之一,其主要任務(wù)是以神經(jīng)生理學(xué)和認知科學(xué)的研究成果為基礎(chǔ),模擬人類視覺信息處理的神經(jīng)模式,從計算的角度研究新的計算原理和視覺信息處理系統(tǒng)；從稀疏編碼的思想出發(fā),以自然圖像或序列作為訓(xùn)練數(shù)據(jù),學(xué)習(xí)初級視皮層中簡單細胞和復(fù)雜細胞的時空感受野及其自組織拓撲圖,進而在較高級視皮層層次構(gòu)建視覺感知模型來感知外界圖像刺激中的內(nèi)容信息、平移、旋轉(zhuǎn)、縮放等運動和變換信息；§5.1基于視覺特性的編碼技術(shù)3：視覺感知機理與編碼“像素-基元/紋理-對象-場景”層次模型S.Zhu,UCLA感知圖獲取結(jié)構(gòu)感知合成紋理原始圖像合成圖像紋理區(qū)域估計§5.1基于視覺特性的編碼符合人眼特性的圖像/視頻質(zhì)量評價標(biāo)準(zhǔn)塊效應(yīng)、模糊效應(yīng)、振鈴效應(yīng)的模型表示

圖像/視頻庫主觀質(zhì)量評價視覺失真測度模型§5.2多維度可伸縮編碼在目前各類通信應(yīng)用中，視頻編碼的目標(biāo)正從面向存儲轉(zhuǎn)向面向傳輸，編碼的目的從產(chǎn)生適合存儲的固定尺寸的碼流發(fā)展到產(chǎn)生適合一定傳輸碼率的可伸縮性碼流；可伸縮編碼基本思想——將視頻編碼成一個可單獨解碼的基本層碼流和一個可在任何位置截斷的增強層碼流，其中基本層碼流適應(yīng)最低的網(wǎng)絡(luò)帶寬，增強層碼流用來覆蓋網(wǎng)絡(luò)帶寬變化的動態(tài)范圍?！?.2多維度可伸縮編碼可伸縮視頻編碼的特征有：具有“可伸縮”的視頻流，能夠動態(tài)的適應(yīng)網(wǎng)絡(luò)帶寬的變化，重構(gòu)質(zhì)量與帶寬成近似線性關(guān)系；具有抵抗數(shù)據(jù)丟失的魯棒性；能夠同時滿足具有不同處理能力的用戶終端的需求；可以在任意點截斷以適應(yīng)各種不同的通信環(huán)境和用戶需求?！?.2多維度可伸縮編碼視頻編碼的可伸縮特性主要包括3類：時域可伸縮性：解碼視頻可以具有不同的幀率，以適應(yīng)不同帶寬要求。最簡單可通過在碼流中添加B幀（雙向預(yù)測幀不作為參考圖像，在傳輸中丟棄不會影響其它幀的質(zhì)量，僅會降低幀率）來實現(xiàn)；空域可伸縮性：解碼視頻可具有不同的空間分辨率，以適應(yīng)不同顯示能力的終端。通過為視頻中的每一幀都創(chuàng)建多分辨率的表示（原視頻通過下采樣得到低分辨率的視頻，編碼得基本層碼流，原始視頻與基本層視頻之差為增強層碼流，即使增強層丟失，解碼端也可獲得一定質(zhì)量視頻）實現(xiàn)；質(zhì)量可伸縮性：解碼視頻可具有不同的視頻質(zhì)量，以適應(yīng)不同處理能力的終端設(shè)備。無需對原視頻下采樣，通過粗量化生成基本層碼流，后對原視頻與基本層視頻之差進行細量化生成增強層碼流?！?.2多維度可伸縮編碼時域可伸縮空域可伸縮質(zhì)量可伸縮時域可伸縮質(zhì)量可伸縮傳統(tǒng)可伸縮編碼§5.2多維度可伸縮編碼重點§5.2多維度可伸縮編碼可伸縮編碼框架：融合時域、空域、質(zhì)量、注意、動態(tài)范圍等的多維度可伸縮編碼方法注意編碼：基于注意模型的感興趣區(qū)域表達、編碼及碼流優(yōu)化截取方法注意可伸縮時域可伸縮質(zhì)量可伸縮空域可伸縮動態(tài)范圍可伸縮§5.3多視/立體視編碼一、多視采集系統(tǒng)線陣排列§5.3多視/立體視編碼弧形排列§5.3多視/立體視編碼面陣排列§5.3多視/立體視編碼多視點預(yù)測編碼—H.264MVC視內(nèi)預(yù)測視間預(yù)測：消除視間的冗余§5.3多視/立體視編碼二、立體視頻編碼立體感的產(chǎn)生——視差原理§5.3多視/立體視編碼立體電視與自由視點電視

會聚式多視攝像機系統(tǒng)：

N個攝像機有N個真實的視，在這些視之間可內(nèi)插出所需質(zhì)量的虛擬的視；從而觀看的立體圖像的視角范圍可擴展至整個虛線所示的1200的扇形區(qū)域，且可通過人的頭部（人眼）跟蹤技術(shù)即時看到隨視向改變而改變的立體圖像，提高立體視頻的真實感和臨場感?！?.3多視/立體視編碼立體顯示戴眼鏡觀看：互補色、時分立體電視不戴眼鏡即可觀看：三維顯示器§5.3多視/立體視編碼多視預(yù)測編碼深度信息獲取立體攝像機直接獲取：成本高雙目立體匹配方法：匹配點不唯一問題，遮擋問題單目單圖示線索方法：可利用圖示信息較少，提取深度不準(zhǔn)確其他研究：單目多圖示線索方法

§5.3多視/立體視編碼紋理圖深度圖分塊模型深度信息編碼基于模型的編碼，通過編碼模型參數(shù)來表示深度信息對相鄰幀間深度信息進行差分預(yù)測、量化編碼編碼過程中的率失真優(yōu)化立體電視示范系統(tǒng)多視點

立體視頻

采集裝置自動立體

顯示器分時立體

顯示器…深度圖

生成平臺多視點

立體視頻

編碼器直播點播服務(wù)器解碼

繪制

終端現(xiàn)有

視頻節(jié)目顯示

適配器網(wǎng)絡(luò)§5.4分布式編碼傳統(tǒng)的視頻編碼標(biāo)準(zhǔn)，采用的都是不對稱編碼方式，即編碼器承擔(dān)了運動估計、變換、量化、熵編碼及相應(yīng)解碼等大量高復(fù)雜計算，使得編碼復(fù)雜度是解碼的5～10倍以上，它適合于一次編碼多次解碼的情況；大數(shù)據(jù)量的圖像視頻類多媒體信號在無線網(wǎng)絡(luò)上的實時傳輸，要求：無線視頻編碼器低功耗、低復(fù)雜度；編碼器具有高壓縮效率；視頻信號傳輸具備強健壯性；此時需要編碼設(shè)備較簡單，解碼設(shè)備因擁有較多資源可以進行高復(fù)雜計算；一種全新的視頻編碼框架——分布式視頻編碼DVC實現(xiàn)系統(tǒng)；其理論基礎(chǔ)是信息論中的Slepian-Wolf（SF）和Wyner-Ziv（WZ）兩定理，多個相關(guān)信源獨立編碼聯(lián)合解碼同樣可以達到聯(lián)合編碼聯(lián)合解碼的編碼效率；§5.4分布式編碼Slepian-Wolf理論獨立編碼信源X,Y也可達到聯(lián)合熵下界獨立編碼相關(guān)信源X,Y可在解碼端通過聯(lián)合解碼進行重建滿足條件約束[1]Slepian-Wolf,Noiselesscodingofcorrelatedinformationsources,IEEEtrans.onInf.Theory,1973.[2]Wyner-Ziv,RecentresultsintheShannontheory,IEEEtransonInf.Theory,1974.§5.4分布式編碼分布式視頻編碼非常適合于便攜式、耗電低、運算能力和帶寬均受限的無線視頻發(fā)送終端，可為未來無線視頻信號編碼與傳輸提供具有極大競爭力的解決方案；在資源受限的分布式視頻應(yīng)用中，需要利用視覺特性，研究分布式多視點編碼理論，提高編碼效率；充分利用分布式信源之間的相關(guān)性，去除分布式信源的視間冗余，達到分布式視頻信息高效編碼?！?.4分布式編碼StandfordDVC編碼器以常規(guī)方法編碼信源Y(Keyframe)以Wyner-Ziv

編碼信源X,通過Slephian-WolfCoder傳送校驗位§5.4分布式編碼BerkeleyDVC編碼器PRISM(Power-efficientRobusthIgh-compressionSyndrome-basedMultimediacoding)：將高效的預(yù)測編碼模式和幀內(nèi)預(yù)測編碼模式有效的結(jié)合起來，相應(yīng)地需要：低復(fù)雜度邊信息編碼高復(fù)雜度邊信息解碼§5.4分布式編碼獨立、低復(fù)雜度編碼適合分布式監(jiān)控、無線傳感網(wǎng)絡(luò)等應(yīng)用上行：Wyner-Ziv編碼器編碼碼流傳送到級站下行：級站進行轉(zhuǎn)碼，用通用編碼器編碼，終端采用通用低復(fù)雜度解碼器解碼§5.5下一代視頻編碼標(biāo)準(zhǔn)MPEGHVC,2009年2月需求文檔w10361兩大應(yīng)用前景需要支持HD甚至UHD應(yīng)用的家庭影院、數(shù)字相機等移動終端應(yīng)用壓縮效率比現(xiàn)有技術(shù)有顯著提高圖像分辨率支持4Kx2K，甚至高達8Kx4K支持采樣格式

YCbCr4:2:0,YCbCr/RGB4:4:4，采樣精度最高達14bit典型幀率支持24~60fps，支持靈活幀率復(fù)雜度/性能較好的折中§5.5下一代視頻編碼標(biāo)準(zhǔn)VCEG,H.NGC,Geneva,27January-6February2009編碼碼率比H.264/AVC再降低50%編碼復(fù)雜度低于3倍的H.264/AVC復(fù)雜度增加50%時應(yīng)能提供25%的碼率降低較好的容錯性能支持8-bit4:2:0到12-bit4:4:4編碼分辨率支持8Kx4K，幀率23.976Hz甚至更高§5.5下一代視頻編碼標(biāo)準(zhǔn)可選擇的編碼工具超宏塊預(yù)測變塊尺寸預(yù)測高精度運動補償增強型幀內(nèi)預(yù)測自適應(yīng)插值濾波器，運動矢量預(yù)測….§5.5下一代視頻編碼標(biāo)準(zhǔn)§5.5下一代視頻編碼標(biāo)準(zhǔn)變塊尺寸預(yù)測§5.5下一代視頻編碼標(biāo)準(zhǔn)變塊尺寸預(yù)測TriangularSub-MacroblockPartitioningForMotionCompensatedPrediction,w10174,October14,2008.§5.5下一代視頻編碼標(biāo)準(zhǔn)1/8像素插值插