高效的視頻編碼及其應(yīng)用.ppt

1、高效的視頻編碼及其應(yīng)用,Video Image Processing Lab, Shanghai University,王永芳,提綱,視頻編碼技術(shù)簡(jiǎn)介 視頻編碼技術(shù)前沿與方向 H.264編碼 基于視覺(jué)特性的編碼 可伸縮編碼 3D視頻編碼 分布式編碼 下一代視頻編碼標(biāo)準(zhǔn)-H.265,為什么要編碼,無(wú)壓縮的視頻流(8bit YUV420)數(shù)據(jù)量驚人, 無(wú)法適用于現(xiàn)有的存儲(chǔ)媒介和通訊帶寬 例如: VCD (352x288x25FPS): 45分鐘的數(shù)據(jù)量約為10GB, 需要26.5:1的壓縮 DVD (720 x480 x30FPS): 2小時(shí)的數(shù)據(jù)量約為100GB, 通常需要15:1的壓縮 高清節(jié)

2、目廣播 (1920 x1080 x30FPS): 通訊帶寬24Mbps(未來(lái)希望兩路), 需要30:1(60:1)的壓縮 手機(jī)視頻聊天 (320 x240 x15FPS): 單項(xiàng)帶寬100:1的壓縮,ISO/IEC MPEG MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC/H.264, MPEG HVC ITU-T VCEG H.261, H.262(MPEG-2), H.263, H.264, SVC，MVC 中國(guó) AVS AVS-P2, AVS-S,視頻編碼標(biāo)準(zhǔn)發(fā)展歷程,數(shù)字視頻應(yīng)用,數(shù)字視頻應(yīng)用,傳統(tǒng)視頻編碼技術(shù)原理,傳統(tǒng)視頻編碼方法 從信號(hào)處理層面入手，以像素、塊

3、為表示基礎(chǔ) 基于香農(nóng)信息論，采用混合編碼框架：變換 + 預(yù)測(cè) + 熵編碼 視頻編碼的極限 數(shù)學(xué)極限 熵 差別感知能力 Weber定律， 心理學(xué)模型,t+1,t,視頻編碼技術(shù)發(fā)展歷程,編碼效率進(jìn)一步提高已很艱難 色彩空間和變換編碼已接近最優(yōu) 用計(jì)算復(fù)雜度換取預(yù)測(cè)增益的空間越來(lái)越小 熵編碼提高增益的路也不寬,傳統(tǒng)視頻編碼技術(shù)原理,概率統(tǒng)計(jì)特性的編碼 用概率大的其信息小,可用較小比特;概率小的其信息大，可用 較 多比特來(lái)達(dá)到平均比特率的降低 頻域統(tǒng)計(jì)壓縮編碼 圖像變換到頻域使用權(quán)其能量集中在低端,所以可對(duì)高頻成分用較少比特表示來(lái)達(dá)到壓縮碼率. 時(shí)/空統(tǒng)計(jì)的壓縮編碼 利用鄰域象素間的空間相關(guān)統(tǒng)計(jì)特性,

4、以幀內(nèi)DPCM預(yù)測(cè)來(lái)壓縮碼率;利用圖像前后幀間的時(shí)間相關(guān)統(tǒng)計(jì)特性,以幀間DPCM預(yù)測(cè)來(lái)壓縮碼率. 視覺(jué)特性的編碼 利用人眼對(duì)亮度,色度,灰度級(jí)的有限分辯率;利用人眼對(duì)空間頻率的有限分辯率;利用運(yùn)動(dòng)圖像輪廓與平坦區(qū)灰度變化的不同的敏感性,以非線性量化減少碼率,提綱,視頻編碼技術(shù)簡(jiǎn)介 視頻編碼技術(shù)前沿與方向 H.264編碼 基于視覺(jué)特性的編碼 可伸縮編碼 多視/立體視編碼 分布式編碼 下一代視頻編碼標(biāo)準(zhǔn)-H.265,H.264編碼特點(diǎn),4x4的宏塊 預(yù)測(cè)精度 前后的幀都可作為幀間預(yù)測(cè)時(shí)的參考幀 9種幀內(nèi)預(yù)測(cè)的方式 整數(shù)編碼 去塊濾波器 熵編碼,壓縮性能,Tempete CIF 30Hz,25,26

5、,27,28,29,30,31,32,33,34,35,36,37,38,0,500,1000,1500,2000,2500,3000,3500,MPEG-2,MPEG-4,H.264,H.263,編碼基本結(jié)構(gòu),H.264的編解碼過(guò)程,幀間預(yù)測(cè)：,幀內(nèi)預(yù)測(cè)：,H.264的編解碼過(guò)程,從預(yù)測(cè)值到網(wǎng)絡(luò)傳輸,+,編碼端的重建,H.264的編碼全過(guò)程如下圖所示：,+,解碼過(guò)程為編碼過(guò)程的反過(guò)程。,+,幀內(nèi)預(yù)測(cè)模式,Directional spatial prediction (9 types for luma, 1 chroma) e.g., Mode 3: diagonal down/right p

6、redictiona, f, k, p are predicted by (A + 2Q + I + 2) 2,Q A B C D E F G H I a b c d J e f g h K i j k l L m n o p,幀內(nèi)編碼模式,4x4 Intra Prediction Modes,16x16 Intra Prediction Modes,Page 22 by Fu Ying, SHU, China,已存在像素點(diǎn),待預(yù)測(cè)像素點(diǎn)I,待預(yù)測(cè)像素點(diǎn)II,幀內(nèi)預(yù)測(cè),Page 23 by Fu Ying, SHU, China,已存在像素點(diǎn),待預(yù)測(cè)像素點(diǎn)I,待預(yù)測(cè)像素點(diǎn)II,幀內(nèi)預(yù)測(cè),Pag

7、e 24 by Fu Ying, SHU, China,已存在像素點(diǎn),待預(yù)測(cè)像素點(diǎn)I,待預(yù)測(cè)像素點(diǎn)II,=round( +1/32E -5/32F +20/32G +20/32H -5/32I +1/32J) round的函數(shù)的作用將其限在0,255,幀內(nèi)預(yù)測(cè),Page 25 by Fu Ying, SHU, China,已存在像素點(diǎn),待預(yù)測(cè)像素點(diǎn)I,待預(yù)測(cè)像素點(diǎn)II,幀內(nèi)預(yù)測(cè),Page 26 by Fu Ying, SHU, China,已存在像素點(diǎn),待預(yù)測(cè)像素點(diǎn)I,待預(yù)測(cè)像素點(diǎn)II,=round( +1/32A -5/32C +20/32G +20/32M -5/32R +1/32T) r

8、ound的函數(shù)的作用將其限在0,255,幀內(nèi)預(yù)測(cè),Page 27 by Fu Ying, SHU, China,已存在像素點(diǎn),待預(yù)測(cè)像素點(diǎn)I,待預(yù)測(cè)像素點(diǎn)II,幀內(nèi)預(yù)測(cè),Page 28 by Fu Ying, SHU, China,已存在像素點(diǎn),待預(yù)測(cè)像素點(diǎn)I,待預(yù)測(cè)像素點(diǎn)II,對(duì),的預(yù)測(cè)：,幀內(nèi)預(yù)測(cè),Page 29 by Fu Ying, SHU, China,已存在像素點(diǎn),待預(yù)測(cè)像素點(diǎn)I,待預(yù)測(cè)像素點(diǎn)II,對(duì),的預(yù)測(cè)：,=round( +1/32t -5/32u +20/32h +20/32m -5/32v +1/32w) round的函數(shù)的作用將其限在0,255,幀內(nèi)預(yù)測(cè),Page 30

9、 by Fu Ying, SHU, China,已存在像素點(diǎn),待預(yù)測(cè)像素點(diǎn)I,待預(yù)測(cè)像素點(diǎn)II,幀內(nèi)預(yù)測(cè),Page 31 by Fu Ying, SHU, China,已存在像素點(diǎn),待預(yù)測(cè)像素點(diǎn)I,待預(yù)測(cè)像素點(diǎn)II,下面我們進(jìn)行1/4像素點(diǎn)的預(yù)測(cè)。讓我們首先將左圖加框塊放大一倍。,幀內(nèi)預(yù)測(cè),Page 32 by Fu Ying, SHU, China,已存在像素點(diǎn),待測(cè)像點(diǎn)III,待測(cè)像點(diǎn)IV,對(duì),的預(yù)測(cè)：,半像素點(diǎn)I,半像素點(diǎn)II,幀內(nèi)預(yù)測(cè),Page 33 by Fu Ying, SHU, China,已存在像素點(diǎn),待測(cè)像點(diǎn)III,待測(cè)像點(diǎn)IV,對(duì),的預(yù)測(cè)：,半像素點(diǎn)I,半像素點(diǎn)II,=ro

10、und( +1/2G +1/2h) round的函數(shù)的作用將其限在0,255,幀內(nèi)預(yù)測(cè),Page 34 by Fu Ying, SHU, China,已存在像素點(diǎn),待測(cè)像點(diǎn)III,待測(cè)像點(diǎn)IV,對(duì),的預(yù)測(cè)：,半像素點(diǎn)I,半像素點(diǎn)II,幀內(nèi)預(yù)測(cè),Page 35 by Fu Ying, SHU, China,已存在像素點(diǎn),待測(cè)像點(diǎn)III,待測(cè)像點(diǎn)IV,對(duì),的預(yù)測(cè)：,半像素點(diǎn)I,半像素點(diǎn)II,=round( +1/2b +1/2h) round的函數(shù)的作用將其限在0,255,幀內(nèi)預(yù)測(cè),Page 36 by Fu Ying, SHU, China,在色度信號(hào)中，還要進(jìn)行1/8像素點(diǎn)的預(yù)測(cè)。,已存在像素

11、點(diǎn),待測(cè)像點(diǎn)III,待測(cè)像點(diǎn)IV,半像素點(diǎn)I,半像素點(diǎn)II,1/8待測(cè)像點(diǎn)IV,幀內(nèi)預(yù)測(cè),Page 37 by Fu Ying, SHU, China,在色度信號(hào)中，還要進(jìn)行1/8像素點(diǎn)的預(yù)測(cè)。,dx,幀內(nèi)預(yù)測(cè),Page 38 by Fu Ying, SHU, China,在色度信號(hào)中，還要進(jìn)行1/8像素點(diǎn)的預(yù)測(cè)。,dx,幀內(nèi)預(yù)測(cè),運(yùn)動(dòng)補(bǔ)償,H.264 Motion compensation Accuracy,運(yùn)動(dòng)矢量的確定和殘差的傳輸，以1616亮度信息為例：,運(yùn)動(dòng)估計(jì),該1616亮度塊在另一幀中的允許運(yùn)動(dòng)的范圍,運(yùn)動(dòng)矢量的確定和殘差的傳輸，以1616亮度信息為例：,運(yùn)動(dòng)估計(jì),該1616亮度

12、塊在另一幀中最匹配的塊,運(yùn)動(dòng)矢量的確定和殘差的傳輸，以1616亮度信息為例：,運(yùn)動(dòng)估計(jì),將這個(gè)位移抽象出來(lái)，如圖中黑色箭頭所示，這就是我們常說(shuō)的“運(yùn)動(dòng)矢量”。參考幀虛線框的值和綠色框中相應(yīng)點(diǎn)的差值叫做殘差。 我們?cè)趥鬏斠曨l序列時(shí)，不但要傳輸運(yùn)動(dòng)矢量，也要傳輸相應(yīng)的殘差值。,運(yùn)動(dòng)估計(jì),多參考幀,Multiple Reference Frames,五種幀,SP幀：低速網(wǎng)傳高速視頻 SI幀：前后兩幀相關(guān)性很低（如：插廣告）,B幀的運(yùn)動(dòng)補(bǔ)償,B幀和P幀相比，其本質(zhì)的不同在于B幀的宏塊或塊在建立預(yù)測(cè)信號(hào)的時(shí)候可以把兩個(gè)不同的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)值加權(quán)運(yùn)算。 B幀的四種預(yù)測(cè)方法：list 0、list 1、雙向預(yù)

13、測(cè)、直接預(yù)測(cè)。雙向預(yù)測(cè)即list 0、list 1的加權(quán)預(yù)測(cè)。直接預(yù)測(cè)會(huì)根據(jù)傳輸?shù)恼Z(yǔ)法元素確定究竟是使用list 0 預(yù)測(cè)、list 1預(yù)測(cè)亦或雙向預(yù)測(cè)。,B-幀預(yù)測(cè)加權(quán),Playback order: I0 B1 B2 B3 P4 B5 B6 . Bitstream order: I0 P4 B1 B3 B2 P8 B5 .,SP-Slices（片）,Efficiently switching between two bitstreams Provides VCR-like functions,44 整數(shù)變換,H.264的整數(shù)變換與量化,與之前的編碼標(biāo)準(zhǔn)不同，H.264對(duì)圖像或預(yù)測(cè)殘差采用4

14、4的整數(shù)DCT技術(shù)，避免了以往標(biāo)準(zhǔn)中變換/反變換中出現(xiàn)的失配（mismatch）問(wèn)題。 整數(shù)離散余弦變換可以寫(xiě)作：,在H.264中，將式子的紅圈部分移到了量化的過(guò)程中。這樣，整數(shù)變換的過(guò)程只剩下了加法、減法和移位（乘以2），避免了以往標(biāo)準(zhǔn)中變換/反變換中出現(xiàn)的失配（mismatch）問(wèn)題。設(shè)W矩陣為下面去紅圈后的式子。,H.264的整數(shù)變換與量化,Deblocking Filter,環(huán)路去塊濾波,Without filter with H.264/AVC De-blocking,Highly compressed decoded inter picture Significantly redu

15、ces prediction residuals,Entropy Coding 熵編碼,兩種熵編碼,CAVLC,全稱： Context-Adaptive Variable Length Coding 優(yōu)點(diǎn)：編碼簡(jiǎn)單 缺點(diǎn)：壓縮率低,CABAC,全稱： Context-based Adaptive Binary Arithmetic Coding 優(yōu)點(diǎn)：壓縮率高 缺點(diǎn)：編碼復(fù)雜,H.264/AVC目標(biāo),Improved Coding Efficiency Average bit rate reduction of 50% given fixed fidelity compared to any

16、other standard Complexity vs. coding efficiency scalability Improved Network Friendliness Issues examined in H.263 and MPEG-4 are further improved Anticipate error-prone transport over mobile networks and the wired and wireless Internet Simple syntax specification Targeting simple and clean solution

17、s Avoiding any excessive quantity of optional features or profile configurations,H.264/AVC應(yīng)用,Entertainment Video (1-8+ Mbps, higher latency) Broadcast / Satellite / Cable / Cable Modem / DSL / Terrestrial ( DVB / ATSC / SCTE ), etc. Interactive or serial storage on optical and magnetic devices, e.g.

18、 DVD Conversational Services (generally 1Mbps, low latency) H.320 Conversational 3GPP Conversational H.324/M H.323 Conversational Internet/best effort IP/RTP 3GPP Conversational IP/RTP/SIP Streaming Services (generally lower bit rate, higher latency) 3GPP Streaming IP/RTP/RTSP Streaming IP/RTP/RTSP

19、(without TCP fallback)，VOD or multimedia streaming services over ISDN, DSL Ethernet, LAN, Wireless Networks, etc. Other Services 3GPP Multimedia Messaging Services New applications over existing and future networks,提綱,視頻編碼技術(shù)簡(jiǎn)介 視頻編碼技術(shù)前沿與方向 H.264編碼 基于視覺(jué)特性的編碼 可伸縮編碼 多視/立體視編碼 分布式編碼 下一代視頻編碼標(biāo)準(zhǔn)-H.265,問(wèn)題分析：客

20、觀指標(biāo)與主觀感知的差異？,峰值信噪比=6.24,峰值信噪比=5.98,一般認(rèn)為：峰值信噪比與圖像質(zhì)量近似成正比關(guān)系。,結(jié)論：1、峰值信噪比度量與人的視覺(jué)感知并不完全一致！ 2、需要尋求更加符合人類視覺(jué)感知的客觀度量方法以 及相應(yīng)的編碼理論和方法。,稀疏編碼,對(duì)視覺(jué)感知機(jī)理的認(rèn)識(shí)逐漸深入，用于視頻編碼的潛力很大,可能突破方向：借鑒視覺(jué)感知機(jī)理,Guo03, ICCV,基于視覺(jué)特性的視頻編碼,視覺(jué)信息論 從像素到基元（熵） 質(zhì)量評(píng)價(jià)方法 與主觀感知一致 編碼方法 多維度感知編碼、分布式視覺(jué)編碼,基于視覺(jué)特性的視頻編碼,技術(shù)1：紋理分析合成編碼*,*Thomas Wiegand: New Techn

21、iques for Improved Video Coding,基于視覺(jué)特性的視頻編碼,*Thomas Wiegand: New Techniques for Improved Video Coding,紋理分析合成編碼* 實(shí)驗(yàn)結(jié)果對(duì)比,基于視覺(jué)特性的視頻編碼,技術(shù)2：基于Inpainting技術(shù)的視頻編碼* 碼率節(jié)省達(dá)18%,*D. Liu; X. Sun; F. Wu; S. Li; Y. Zhang, Image Compression With Edge-Based Inpainting, IEEE-TCSVT, Vol. 17, No. 10, Oct. 2007 pp. 12731

22、287.,基于視覺(jué)特性的視頻編碼,技術(shù)3：視覺(jué)感知機(jī)理與編碼 “像素-基元/紋理-對(duì)象-場(chǎng)景” 層次模型 S. Zhu, UCLA,基于視覺(jué)特性的視頻編碼,基于視覺(jué)特性的視頻編碼,技術(shù)4：基于JND（Just Noticeable Distortion）,由于人眼的各種屏蔽效應(yīng)，人眼只能覺(jué)察超過(guò)某一閾值的噪聲。 JND模型常用來(lái)指導(dǎo)圖像或視頻的感知編碼和處理，如預(yù)處理、自適應(yīng)量化、碼流控制、運(yùn)動(dòng)估計(jì)。,基于視覺(jué)特性的視頻編碼,技術(shù)5：基于關(guān)注度（Visual Attention ）,人眼對(duì)若干顯著對(duì)象或區(qū)域很注意的生理感知過(guò)程。 影響視覺(jué)關(guān)注度通常有自上而下認(rèn)知性觸發(fā)因素（皮膚顏色和人臉）和自

23、下而上刺激性觸發(fā)因素（運(yùn)動(dòng)、紋理、對(duì)比度、目標(biāo)大小、目標(biāo)形狀和顏色） VA模型就是這兩個(gè)因素中所有特征信息的融合。視覺(jué)關(guān)注度模型主要是用來(lái)定位感興趣區(qū)，用于視頻編碼的碼流控制。,基于視覺(jué)特性的視頻編碼,符合人眼特性的圖像/視頻質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn) 塊效應(yīng)、模糊效應(yīng)、振鈴效應(yīng)的模型表示,圖像/視頻庫(kù),主觀質(zhì)量評(píng)價(jià) 視覺(jué)失真測(cè)度模型,提綱,視頻編碼技術(shù)簡(jiǎn)介 視頻編碼技術(shù)前沿與方向 H.264編碼 基于視覺(jué)特性的編碼 可伸縮編碼 多視/立體視編碼 分布式編碼 下一代視頻編碼標(biāo)準(zhǔn)-H.265,傳統(tǒng)可伸縮編碼,可伸縮視頻流：比特流可以分解，包括基本層和一系列增強(qiáng)層，根據(jù)用戶需求從比特流中提取 基本層和部分增強(qiáng)層

24、在客戶的解碼端正確解碼， 只是圖像質(zhì)量等有微小差別,傳統(tǒng)可伸縮編碼,時(shí)域可分級(jí),空域可分級(jí),質(zhì)量可分級(jí),時(shí)域可分級(jí),質(zhì)量可分級(jí),Temporal scalability,Spatial scalability,Quality scalability,QCIF,CIF,TV,傳統(tǒng)可伸縮編碼,傳統(tǒng)可伸縮編碼,H.264 SVC Hierarchical Picture編碼, 完全可兼容AVC的SVC編碼方案, 通過(guò)層次預(yù)測(cè)實(shí)現(xiàn)時(shí)域可分級(jí)編碼,傳統(tǒng)可伸縮編碼,H.264 SVC SNR可分級(jí)：層間預(yù)測(cè),多維度可伸縮視頻編碼,可伸縮編碼框架：融合時(shí)域、空域、質(zhì)量、注意、動(dòng)態(tài)范圍等的多維度可伸縮編碼方法

25、 注意編碼：基于注意模型的感興趣區(qū)域表達(dá)、編碼及碼流優(yōu)化截取方法,提綱,視頻編碼技術(shù)簡(jiǎn)介 視頻編碼技術(shù)前沿與方向 H.264編碼 基于視覺(jué)特性的編碼 可伸縮編碼 3D視頻編碼 分布式編碼 下一代視頻編碼標(biāo)準(zhǔn)-H.265,3D視頻編碼,立體感的產(chǎn)生 視差原理,3D視頻編碼,立體電視與自由視點(diǎn)電視,3D視頻編碼,3D顯示 戴眼鏡觀看：互補(bǔ)色、時(shí)分立體電視 不戴眼鏡即可觀看：三維顯示器,立體電視重現(xiàn)方法,對(duì)于立體電視系統(tǒng)而言，立體電視傳輸是連接立體視頻采集和顯示 的重要環(huán)節(jié)。,雙路信號(hào)獨(dú)立傳輸,主動(dòng)式立體信號(hào)傳輸,被動(dòng)式立體信號(hào)傳輸,“二維+深度信息”數(shù)據(jù)傳輸,雙路信號(hào)獨(dú)立傳輸,左右通道獨(dú)立編碼傳輸

26、 左右雙路視頻分別進(jìn)行獨(dú)立編碼傳輸，在接收端輸出雙路電視信號(hào)到擁有雙電視解碼器的顯示器上，再通過(guò)佩戴專業(yè)立體眼鏡等方式收看。 編碼過(guò)程中可以應(yīng)用運(yùn)動(dòng)補(bǔ)償技術(shù)（MCP）以提高壓縮比。,主動(dòng)式立體信號(hào)傳輸,主要針對(duì)采用快門式眼鏡的立體電視收看方式 需要在顯示屏幕上交替顯示左右眼圖像，通過(guò)提高畫(huà)面的快速刷新率（至少要達(dá)到120Hz）來(lái)實(shí)現(xiàn)3D效果。觀眾的兩只眼睛看到快速切換的不同畫(huà)面，并且在大腦中產(chǎn)生錯(cuò)覺(jué) 。,主動(dòng)式立體信號(hào)傳輸,要求立體信號(hào)作為左右眼視圖的交替幀進(jìn)行編碼。分以下幾種方式：,1080i/50Hz高清立體信號(hào)傳輸,場(chǎng)同步格式 采用了隔行掃描技術(shù)，將一副畫(huà)面分為兩個(gè)圖場(chǎng)。傳輸中，可以將左

27、眼圖像與右眼圖像分別置于奇圖場(chǎng)和偶圖場(chǎng)。 顯示端用場(chǎng)同步快門式立體眼鏡與之配合，將圖像垂直同步信號(hào)當(dāng)做快門切換同步信號(hào)。每只眼睛看到的是540p/25Hz的視頻。,720p/50Hz高清立體信號(hào)傳輸,幀畫(huà)面同步格式 顯示端將左右眼圖像交替顯示在屏幕上，使用幀同步快門式立體眼鏡與這類立體顯示模式搭配，這樣左右眼都會(huì)看到720p/25Hz的視頻。,被動(dòng)式立體信號(hào)傳輸,被動(dòng)式立體電視主要是指采用偏振光原理收看立體電視的方式。立體數(shù)據(jù)通過(guò)不同的方式組織起來(lái)顯示在具有相匹配的微偏振技術(shù)的顯示器上，觀看者佩戴偏振眼鏡觀看。,“左右”排列方式,”上下”排列方式,“隔行”排列方式,“棋盤(pán)”排列方式,“左右”排

28、列方式,“左右”格式偏振圖 屏幕的左半邊顯示左眼要看的視頻，右半邊顯示右眼要看到的視頻，再通過(guò)偏振眼鏡進(jìn)行觀看，從而顯示立體的效果。,“上下”排列方式,“上下”格式偏振圖 屏幕的上半邊顯示左眼要看的視頻，下半邊顯示右眼要看到的視頻，將垂直分辨率一分為二。再通過(guò)偏振眼鏡進(jìn)行觀看，從而顯示立體的效果。,“隔行”排列方式,“隔行”格式偏振圖 將左右兩路圖像信息在屏幕上隔行交叉排列，奇數(shù)行和偶數(shù)行分別顯示一只眼睛要看到的視頻，再通過(guò)偏振光眼鏡。,“棋盤(pán)”排列方式,“棋盤(pán)”格式偏振圖 分辨率損失由垂直方向和水平方向分?jǐn)?，但總的效果仍是將空間分辨率一分為二。,二維+深度信息數(shù)據(jù)傳輸,最早由荷蘭飛利浦公司提

29、出，對(duì)傳統(tǒng)二維視頻進(jìn)行傳輸?shù)耐瑫r(shí)配以相應(yīng)的深度圖。 深度圖是一張256色的灰度圖（視頻處理中一般使用YUV空間表示一幀圖像。Y圖像的亮度 U、V圖像的色度信息（色調(diào)、飽和度）三個(gè)量分別由8bit數(shù)據(jù)表示。）灰度圖U=V=128，每個(gè)像素的亮度值Y與二位圖像一一對(duì)應(yīng)。0-255代表了對(duì)應(yīng)點(diǎn)上二維像素和人眼相對(duì)距離。,二維+深度信息數(shù)據(jù)傳輸,采用這種方式，僅有二維視頻解碼器的觀眾可以正常地觀看二維視頻，實(shí)現(xiàn)了二維視頻的向后兼容。 如果擁有立體解碼器，會(huì)利用二維視頻和相應(yīng)的深度圖創(chuàng)建立體視頻的左右眼視圖，實(shí)現(xiàn)立體觀看的效果。 “二維+深度”信息方法的延伸是“二維+元數(shù)據(jù)”方式，即二維圖像加深度、遮擋

30、信息和透明度數(shù)據(jù)。,深度信息的提取,Zcam景深攝像機(jī) 攝像機(jī)在采集一路正常視頻信號(hào)的同時(shí)，攝像機(jī)還不斷發(fā)射10ns的光脈沖，發(fā)射到被拍攝后發(fā)生發(fā)射，攝像機(jī)再接收發(fā)射回來(lái)的光脈沖。收到的光脈沖能量與該光脈沖一去一回經(jīng)過(guò)的距離成反比，因此可以通過(guò)測(cè)量接收到的光脈沖能量來(lái)計(jì)算攝像機(jī)與物體距離。,多視編碼,多視采集系統(tǒng) 線陣排列,多視編碼,多視采集系統(tǒng) 弧形排列,多視編碼,采集系統(tǒng) 面陣排列,多視編碼,多視點(diǎn)預(yù)測(cè)編碼H.264 MVC 視內(nèi)預(yù)測(cè) 視間預(yù)測(cè)：消除視間的冗余,多視編碼,H.264 MVC 編碼效率,多視視頻編碼,基于深度的多視預(yù)測(cè)編碼 深度信息獲取 立體攝像機(jī)直接獲?。撼杀靖?雙目立體匹

31、配方法：匹配點(diǎn)不唯一問(wèn)題，遮擋問(wèn)題 單目單圖示線索方法 ：可利用圖示信息較少，提取深度不準(zhǔn)確 其他研究：?jiǎn)文慷鄨D示線索方法,立體顯示 戴眼鏡觀看：互補(bǔ)色、時(shí)分立體電視 不戴眼鏡即可觀看：三維顯示器,立體成像：顯示,2視點(diǎn)裸視3D顯示,分為采視差障壁(Barrier)技術(shù) 為利用安置在背光模塊及LCD面板間的視差障壁，將左眼及右眼可視的畫(huà)面分開(kāi)，使觀看者可得到3D影象 柱狀透鏡(Lenticular Lens)柱狀透鏡通常放置在LCD面板最上方，該技術(shù)的3D顯像原理是將給左眼及給右眼的可視畫(huà)面分開(kāi)，以便讓觀看者看得見(jiàn)3D影象。 2視點(diǎn)所看到3D影像的視角范圍較小,3D時(shí)代的到來(lái),進(jìn)入21世紀(jì)以來(lái)

32、，立體顯示技術(shù)獲得了長(zhǎng)足的發(fā)展，以阿凡達(dá)為 代表的一大批立體電影的出現(xiàn)，在全球掀起了3D立體風(fēng)暴。,3D顯示樣例,真三維顯示,體三維顯示可以讓你看到科幻電影中一般“懸浮”在半空中的三維透視圖像，能夠?qū)崿F(xiàn)動(dòng)態(tài)效果的3D技術(shù)，體三維顯示技術(shù)目前大體可分為掃描體顯示 (Swept-Volume Display)和固態(tài)體顯示 (Solid-Volume Display)兩種。,3D顯示樣例,全息顯示,全息技術(shù)：在底片上除記錄光波振幅外，還有相位信息-全部信息，利用全息圖對(duì)適當(dāng)照明光的衍射原理，把原三維影像提取出來(lái)。 全息技術(shù)是利用干涉和衍射原理，記錄并再現(xiàn)物體真實(shí)的三維圖像的記錄和再現(xiàn)的技術(shù)。 一般只

33、能生成靜態(tài)的三維光學(xué)場(chǎng)景，并且對(duì)觀察角度還有要求，所以就目前而言，它對(duì)于人機(jī)交互應(yīng)用而言還并不適合。,上海大學(xué)3D視頻系統(tǒng),工博會(huì)3D視頻系統(tǒng)展示：工博科技亮點(diǎn)，2009.11,展示主題段落：城市讓生活更美好、世博場(chǎng)館介紹、生態(tài)、未來(lái),自由視點(diǎn)視頻立體顯示技術(shù) 多通道3D動(dòng)畫(huà)技術(shù) 先進(jìn)的2D-3D轉(zhuǎn)換技術(shù) 獨(dú)特的視差調(diào)控技術(shù) 領(lǐng)導(dǎo)高度評(píng)價(jià)，確定在世博會(huì)上應(yīng)用,世博會(huì)中國(guó)館項(xiàng)目：49m層希望大地“仿真濕地”展項(xiàng),46”3D-LCD 仿真沼澤濕地,85”3D-PDP 仿真靜態(tài)水體,46”3D-LCD 仿真激流態(tài)水體,上海大學(xué)3D視頻系統(tǒng),世博會(huì)中國(guó)館項(xiàng)目：33m層低碳經(jīng)濟(jì)“森林碳匯”展項(xiàng),上海大學(xué)3D視頻系統(tǒng),系統(tǒng)配置：103” 3DTV x 4,多視角自動(dòng)立體顯示,立體影像范圍廣 分辨率降低、影片制作成本高、容易產(chǎn)生重迭影像等。,提綱,視頻編碼技術(shù)簡(jiǎn)介 視頻編碼技術(shù)前沿與方向 H.264編碼 基于視覺(jué)特性的編碼 可伸縮編碼 立體/多視視頻編碼 分布式編碼 下一代視頻編碼標(biāo)準(zhǔn)-H.265,分布式編碼原理,Slepian-Wolf理論 獨(dú)立編碼信源X,Y也可達(dá)到聯(lián)合熵下界 獨(dú)立編碼相關(guān)信源X,Y可在解碼端通過(guò)聯(lián)合解碼進(jìn)行重建 滿足條件約束,1 Slepian-Wolf, Noise