視頻編碼技術(shù)前沿及方向_ppt

1、1視頻編碼技術(shù)前沿與方向視頻編碼技術(shù)前沿與方向 北京大學(xué)數(shù)字媒體研究所http:/ + 預(yù)測 + 熵編碼v視頻編碼的極限數(shù)學(xué)極限 熵差別感知能力 Weber定律， 心理學(xué)模型t+1t時間冗余空間冗余感知冗余DCT5視頻編碼技術(shù)發(fā)展歷程視頻編碼技術(shù)發(fā)展歷程v編碼效率進(jìn)一步提高已很艱難色彩空間和變換編碼已接近最優(yōu)用計算復(fù)雜度換取預(yù)測增益的空間越來越小熵編碼提高增益的路也不寬1950差分預(yù)測編碼調(diào)制隔行編碼B幀P幀場景自適應(yīng)編碼塊運動估計DCT 宏塊混合編碼哈夫曼編碼變換編碼運動矢量預(yù)測視頻對象基于對象的可分級編碼容錯一般的B幀高級的去塊效率慮波基于位平面的可伸縮編碼高精度運動補償基于上下文的算術(shù)編

2、碼2014多視 編碼分布式編碼19991985專利可免費使用專利可免費使用6vISO/IEC MPEG MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC/H.264, MPEG HVCvITU-T VCEGH.261, H.262(MPEG-2), H.263, H.264, VCEG H.NGCv中國 AVSAVS-P2, AVS-S v下一代標(biāo)準(zhǔn)？方向、技術(shù)？ 年代 MPEG-1 1993 2001 1997 2005 MPEG-4 AVC/H.2641989 MPEG-2MPEG-42013AVS下一代標(biāo)準(zhǔn)20092017視頻編碼標(biāo)準(zhǔn)發(fā)展歷程視頻編碼標(biāo)準(zhǔn)發(fā)展歷程7問題

3、分析：客觀指標(biāo)與主觀問題分析：客觀指標(biāo)與主觀感知的差異？感知的差異？峰值信噪比=6.24峰值信噪比=5.98一般認(rèn)為：峰值信噪比與圖像質(zhì)量近似成正比關(guān)系。結(jié)論：1、峰值信噪比度量與人的視覺感知并不完全一致！ 2、需要尋求更加符合人類視覺感知的客觀度量方法以 及相應(yīng)的編碼理論和方法。8群組編碼稀疏編碼視覺注意運動感知視覺機理視頻編碼稀疏編碼JPEG (50倍)JPEG (14倍)基于視感知的壓縮(200倍)感知圖v對視覺感知機理的認(rèn)識逐漸深入，用于視頻編碼的潛力很大可能突破方向：借鑒視覺感知可能突破方向：借鑒視覺感知機理機理Guo03, ICCV9提綱提綱v視頻編碼技術(shù)現(xiàn)狀簡介v視頻編碼技術(shù)前沿

4、與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)10 視網(wǎng)膜側(cè)膝體 人類“眼腦”視覺信息系統(tǒng)處理基本流程 下顳葉皮質(zhì)區(qū) 信息論視覺信息論視頻編碼理論基礎(chǔ)視頻編碼 框架與方法 基于數(shù)字信號處理的框架與方法基于視覺模型的框架與方法 光學(xué)刺激 像素像素圖像塊圖像塊局部特征局部特征 部件部件/ /物體物體 視覺信息表示的基本粒子結(jié)構(gòu)基于視覺特性的視頻編碼基于視覺特性的視頻編碼11v視覺信息論 從像素到基元（熵）v質(zhì)量評價方法 與主觀感知一致v編碼方法 多維度感知編碼、分布式視覺編碼香農(nóng)信息熵視覺熵像素集基元詞典)(XH)(FH擴展基于視覺特性的視頻編碼基于視覺特性的

5、視頻編碼12v技術(shù)1：紋理分析合成編碼*Thomas Wiegand: New Techniques for Improved Video Coding基于視覺特性的視頻編碼基于視覺特性的視頻編碼13*Thomas Wiegand: New Techniques for Improved Video Codingv紋理分析合成編碼*實驗結(jié)果對比基于視覺特性的視頻編碼基于視覺特性的視頻編碼14v技術(shù)2：基于Inpainting技術(shù)的視頻編碼*碼率節(jié)省達(dá)18%*D. Liu; X. Sun; F. Wu; S. Li; Y. Zhang, Image Compression With Edge-B

6、ased Inpainting, IEEE-TCSVT, Vol. 17, No. 10, Oct. 2007 pp. 12731287.基于視覺特性的視頻編碼基于視覺特性的視頻編碼15v技術(shù)3：視覺感知機理與編碼“像素-基元/紋理-對象-場景” 層次模型S. Zhu, UCLA感知圖獲取結(jié)構(gòu)感知合成紋理原始圖像合成圖像紋理區(qū)域估計基于視覺特性的視頻編碼基于視覺特性的視頻編碼16基于視覺特性的視頻編碼基于視覺特性的視頻編碼v符合人眼特性的圖像/視頻質(zhì)量評價標(biāo)準(zhǔn)塊效應(yīng)、模糊效應(yīng)、振鈴效應(yīng)的模型表示 圖像/視頻庫主觀質(zhì)量評價視覺失真測度模型17提綱提綱v視頻編碼技術(shù)現(xiàn)狀簡介v視頻編碼技術(shù)前沿與方向

7、基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)18傳統(tǒng)可伸縮編碼傳統(tǒng)可伸縮編碼H22H00H12H00L22H00H12H00H22H00H12H00IBPBPBH20H10L20H10H20H10Spatial upsamplingH21H11L21H11H21H11H23H01H13H01L23H01H13H01H23H01H13H01MP1,2MP0Layer 0: QCIF, 7.5 Hz, 64 kbit/sLayer 1: QCIF, 15 Hz, 128 kbit/sLayer 2: CIF, 15 Hz, 256 kbit/sLayer 3: C

8、IF, 15 Hz, 512 kbit/sLayer 4: CIF, 30 Hz, 1024 kbit/sLayer 5: CIF, 30 Hz, 2048 kbit/sH22H00H12H00L22H00H12H00H22H00H12H00H22H00H12H00L22H00H12H00H22H00H12H00H22H00H12H00L22H00H12H00H22H00H12H00IBPBPBIBPBPBH20H10L20H10H20H10H20H10L20H10H20H10Spatial upsamplingH21H11L21H11H21H11H21H11L21H11H21H11H23H0

9、1H13H01L23H01H13H01H23H01H13H01H23H01H13H01L23H01H13H01H23H01H13H01H23H01H13H01L23H01H13H01H23H01H13H01MP1,2MP1,2MP0MP0Layer 0: QCIF, 7.5 Hz, 64 kbit/sLayer 1: QCIF, 15 Hz, 128 kbit/sLayer 2: CIF, 15 Hz, 256 kbit/sLayer 3: CIF, 15 Hz, 512 kbit/sLayer 4: CIF, 30 Hz, 1024 kbit/sLayer 5: CIF, 30 Hz, 20

10、48 kbit/s時域可分級空域可分級質(zhì)量可分級時域可分級質(zhì)量可分級19傳統(tǒng)可伸縮編碼傳統(tǒng)可伸縮編碼vH.264 SVC Hierarchical Picture編碼, 完全可兼容AVC的SVC編碼方案, 通過層次預(yù)測實現(xiàn)時域可分級編碼AB3B2B1AB3B3B3B2L3H1H2H3H2L3H1H1H1GOP boundariesAVC Main Profilecompatible base layerMCTF enhancementlayer20L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L1L1L1L1L1L1L1L1L1L1L1L1L0L0L0L0L0L0L0

11、L0L0L0L0L0Spatial Base Layer (Layer 0)Spatial Enhancement Layer (Layer 1)reconstructedsequencereconstructedand upsampledsequenceH1H1H1H1H1L1H1H1H1H1H1H1reconstructedsequencetemporalsubbandpicturesSpatial upsamplingBase Layer PredictionReconstructionL0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*

12、L0*L0*L0*L0*L0*L0*L0*L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0Spatial Base Layer (Layer 0)Spatial Enhancement Layer (Layer 1)reconstructedsequencereconstructedand upsampledsequenceH1H1H1H1H1L1H1H1H

13、1H1H1H1H1H1H1H1H1L1H1H1H1H1H1H1H1H1H1H1H1L1H1H1H1H1H1H1reconstructedsequencetemporalsubbandpicturesSpatial upsamplingBase Layer PredictionReconstruction傳統(tǒng)可伸縮編碼傳統(tǒng)可伸縮編碼vH.264 SVC SNR可分級：層間預(yù)測21多維度可伸縮視頻編碼多維度可伸縮視頻編碼v可伸縮編碼框架：融合時域、空域、質(zhì)量、注意、動態(tài)范圍等的多維度可伸縮編碼方法v注意編碼：基于注意模型的感興趣區(qū)域表達(dá)、編碼及碼流優(yōu)化截取方法空域可伸縮時域可伸縮質(zhì)量可伸縮注意可伸

14、縮動態(tài)范圍可伸縮22提綱提綱v視頻編碼技術(shù)現(xiàn)狀簡介v視頻編碼技術(shù)前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)23多視編碼多視編碼v多視采集系統(tǒng)線陣排列24多視編碼多視編碼v多視采集系統(tǒng)弧形排列25多視編碼多視編碼v采集系統(tǒng)面陣排列26多視編碼多視編碼v多視點預(yù)測編碼H.264 MVC視內(nèi)預(yù)測視間預(yù)測：消除視間的冗余27多視編碼多視編碼vH.264 MVC 編碼效率28立體視頻編碼立體視頻編碼v立體感的產(chǎn)生視差原理29立體視頻編碼立體視頻編碼v立體電視與自由視點電視30立體視頻編碼立體視頻編碼v立體顯示戴眼鏡觀看：互補色、時分立體電視不戴眼鏡即可觀看：

15、三維顯示器31立體視編碼立體視編碼v多視預(yù)測編碼v深度信息獲取立體攝像機直接獲?。撼杀靖唠p目立體匹配方法：匹配點不唯一問題，遮擋問題單目單圖示線索方法 ：可利用圖示信息較少，提取深度不準(zhǔn)確其他研究：單目多圖示線索方法 32立體視編碼立體視編碼紋理圖深度圖分塊模型v深度信息編碼基于模型的編碼，通過編碼模型參數(shù)來表示深度信息對相鄰幀間深度信息進(jìn)行差分預(yù)測、量化編碼編碼過程中的率失真優(yōu)化33立體電視示范系統(tǒng)立體電視示范系統(tǒng)多視點立體視頻采集裝置自動立體顯示器分時立體顯示器深度圖生成平臺多視點立體視頻編碼器直播點播服務(wù)器解碼繪制終端現(xiàn)有視頻節(jié)目顯示適配器網(wǎng)絡(luò)34立體視編碼立體視編碼v韓國立體電視廣播示

16、范系統(tǒng)2002 FIFA World Cup Korea/Japan (5 games)35提綱提綱v視頻編碼技術(shù)現(xiàn)狀簡介v視頻編碼技術(shù)前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)36分布式編碼原理分布式編碼原理vSlepian-Wolf理論獨立編碼信源X,Y也可達(dá)到聯(lián)合熵下界獨立編碼相關(guān)信源X,Y可在解碼端通過聯(lián)合解碼進(jìn)行重建滿足條件約束(,)(|)(|)RxRyH X YRxH X YRyH YX1 Slepian-Wolf, Noiseless coding of correlated information sources, IEEE tra

17、ns. on Inf. Theory, 1973.2 Wyner-Ziv, Recent results in the Shannon theory, IEEE trans on Inf. Theory, 1974.37分布式編碼系統(tǒng)分布式編碼系統(tǒng)vStandford DVC編碼器以常規(guī)方法編碼信源Y(Key frame)以Wyner-Ziv 編碼信源X, 通過Slephian-Wolf Coder傳送校驗位38分布式編碼系統(tǒng)分布式編碼系統(tǒng)vBerkeley DVC編碼器PRISM (Power-efficient Robust hIgh-compression Syndrome-based

18、Multimedia coding)：將高效的預(yù)測編碼模式和幀內(nèi)預(yù)測編碼模式有效的結(jié)合起來，相應(yīng)地需要：低復(fù)雜度邊信息編碼高復(fù)雜度邊信息解碼39分布式編碼應(yīng)用分布式編碼應(yīng)用v獨立、低復(fù)雜度編碼適合分布式監(jiān)控、無線傳感網(wǎng)絡(luò)等應(yīng)用上行：Wyner-Ziv編碼器編碼碼流傳送到級站下行：級站進(jìn)行轉(zhuǎn)碼，用通用編碼器編碼，終端采用通用低復(fù)雜度解碼器解碼40提綱提綱v視頻編碼技術(shù)現(xiàn)狀簡介v視頻編碼技術(shù)前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)41下一代視頻編碼標(biāo)準(zhǔn)下一代視頻編碼標(biāo)準(zhǔn)vMPEG HVC, 2009年2月需求文檔w10361兩大應(yīng)用前景需要支持HD甚

19、至UHD應(yīng)用的家庭影院、數(shù)字相機等移動終端應(yīng)用壓縮效率比現(xiàn)有技術(shù)有顯著提高圖像分辨率支持4Kx2K，甚至高達(dá)8Kx4K支持采樣格式 YCbCr4:2:0, YCbCr/RGB 4:4:4，采樣精度最高達(dá)14bit 典型幀率支持2460fps，支持靈活幀率復(fù)雜度/性能較好的折中42下一代視頻編碼標(biāo)準(zhǔn)下一代視頻編碼標(biāo)準(zhǔn)vVCEG, H.NGC, Geneva, 27 January - 6 February 2009 編碼碼率比H.264/AVC再降低50%編碼復(fù)雜度低于3倍的H.264/AVC復(fù)雜度增加50%時應(yīng)能提供25%的碼率降低較好的容錯性能支持8-bit 4:2:0到12-bit 4:4:4編碼分辨率支持8K x 4K，幀率23.976 Hz甚至更高43下一代視頻編碼