多視點視頻的編碼技術綜述

1、多視點視頻的編碼技術綜述摘要：闡述了多視點視頻(MVC )的幾種編碼技術，包括其發(fā)展過程和主要原 理并且比較這幾種方法的優(yōu)劣，以及提出了 MVC在未來的可能的發(fā)展方向和研 究思路。關鍵詞：綜述；多視點視頻編碼；算法；3d場景；時間相關性;視點間相關性； 視差估計；運動估計1引言：多視點視頻指的是由不同視點的多個攝像機從不同視角拍攝同一場景得到的一 組視頻信號，是一種有效的3D視頻表示方法，能夠更加生動地再現(xiàn)場景，提供 立體感和交互功能。多視點視頻可廣泛應用于任意視點視頻、二維電視、交融式 會議電視、遠程醫(yī)學診療、虛擬現(xiàn)實以及視頻監(jiān)視系統(tǒng)等多種正在興起的多媒體 業(yè)務。1與單視點視頻相比，多視點視

2、頻的數(shù)據(jù)量隨著攝像機的數(shù)目增加而線性增 加。巨大的數(shù)據(jù)量己成為制約其廣泛應用的瓶頸，為此，ITU-T和MPEG的聯(lián) 合視頻組(JVT, joint video team)提出了多視點視頻編碼(MVC, multiview videocoding)的概念。MVC主要致力于多視點視頻的高效壓縮編碼，是未來視頻 通信領域中的一項關鍵技術，也是國際視頻標準化組織，在研究的熱點問題。1 多視點視頻最為顯著的特點在于視間的相關性。在傳統(tǒng)的單視點視頻編碼中，通 常采用去除時間相關性和空間相關性的混合編碼方式，運動估計(Motion Estimation)/運動補償(Motion Compensation、幀

3、內預測、幀間PB預測、多參考 幀(Multi-reference frames)預測,DCT或DWT變換等是最為常用的編碼技術，這些技術也被眾多視頻編碼國際標準如H.26X11/ MPEG-X所采用。MVC除采用傳統(tǒng)的單視點視頻混合編碼技術之外，進一步采用視差估計(Disparity Estimation)/視差補償(Disparity Compersation)8、深度圖技術(Depth Image)等來提高多視點視 頻的壓縮效率。此外，多視點視頻分布式編碼、多視點視頻的碼率控制技術等也 被應用到多視點視頻編碼之中?？傊?，要想多視點視頻系統(tǒng)在實際生活中得到廣 泛的應用，僅通過提高網(wǎng)絡帶寬和擴

4、大存儲容量是遠遠不夠的，還必須提高系統(tǒng) 的整體編碼性能。6基于H.264架構的編碼框圖5*斐援量化場編巧編碼-二.一-1 r重建傾和國內外研究現(xiàn)狀2.1視頻編碼技術概況2,3,5原始視頻的數(shù)據(jù)量雖然巨大，但它們在時域、空域、以及統(tǒng)計上都存在大量 的信息亢余。從20世紀中期以來，由于數(shù)據(jù)壓縮技術的發(fā)展和完善，極大的推 動了視頻編碼技術的前進。一些經(jīng)典的視頻編碼技術隨之出現(xiàn)，主要技術分為以 下幾個方面： 預測編碼預測編碼就是利用像素的相關性計算預測值，并對實際值和預測值之間的差 異進行編碼。預測編碼按預測方法可以分為線性預測編碼和非線性預測編碼。17變換編碼變換編碼16就是將空域圖像信號變換到另一

5、個正交矢量空間中，然后對轉 換后的系數(shù)進行量化和編碼。在目前所有的變換算法中，以Ahmed等人6于1974 年提出的離散余弦變換(Discrete Cosine Transform, DCT)對視頻編碼算法最為重 要。隨著1977年Chen等人5以及1987年Hou等人2提出了針對DCT的一些 快速算法，DCT很快被各種視頻編碼標準所采用。熵編碼嫡編碼是利用信源的統(tǒng)計特性進行數(shù)據(jù)壓縮，它是一種無損壓縮編碼技術。 常用的嫡編碼有霍夫曼編碼、算術編碼和游程編碼。2.2多視點視頻編碼技術特點1320：預測結構;(2)運動跳過模式及其改進算法;(3)亮度和色度補償技術;(4)視差合成預測.多視點視頻編

6、碼的關鍵技術及主要研究內容3.1 MVC預測技術為了在多視點視頻系統(tǒng)中提高編碼效率以及隨機訪問性能，需要設計合理的 預測結構，并采用多種預測技術來減少編碼幀在時間和和空間上的相關性。7 3.2 DMVC的邊信息生成技術DMVC的關鍵技術就是如何準確估計邊信息。分布式視頻編碼中的邊信息用 于接收端的信道解碼和重建視頻，是對當前WZ幀的預測，才目當于傳統(tǒng)編碼中對 P幀或B幀的預測，只是預測是在解碼端進行的，因此DMV將編碼端的計算復 雜度移到了解碼端。預測精度越高，說明邊信息與WZ幀越接近，經(jīng)過信道解碼后誤碼率就越低，依據(jù)邊信息重建的視頻效果越好。10多視點分布式視頻編碼的邊信息，可以利用同一視點

7、視頻序列的時間邊信息 和不同視點視頻序列的視間邊信息共同生成，或將從不同視點視頻圖像進行融合 得到更加準確的邊信息。73.3深度圖像高效編碼深度圖像表示場景中對象的深度信息，其統(tǒng)計特性有別于傳統(tǒng)的2D圖像， 同時其在解碼端不是為了顯示，而是為了輔助合成任意視點，因此在設計編碼方 法時就要充分考慮到深度圖像的特性。在5,9,14,17,19,20中都提出了相應的保護圖像對象邊緣信息的編碼技術，主 要有一下幾種：基于小板(platelet)的深度圖像編碼方法基于形狀自適應小波變換的深度圖的編碼方法基于幾何學的塊劃分方法基于稀疏二值模式的深度圖像編碼方法3.4深度輔助的多視點視頻編碼在自由視點視頻編

8、碼中，深度圖像還可以輔助提高對應視點的編碼效率。深度 圖像不僅可以提供準確的視差信息從而可設計更精確的視間預測技術，還可以利 用其反映的場景中物體離攝像機的距離信息來設計更高效的編碼方式。13自由視點視頻包含多個視點，一種直接的編碼思路是采用視差估計方法來去 除視點間的相關性。然而這種思路在自由視點視頻編碼中存在以下問題:首先， 自由視點視頻系統(tǒng)中通常使用較為稀疏的攝像機陣列目鄰攝像機的基線距離比 較大，視點間的相關性較小，相鄰視點間還可能會產(chǎn)生遮擋等情況，嚴重影響了視差估計的效率;其次，由于同一時刻的才目鄰視點間物體的運動并不是線性運動， 采用類似運動估計的方法來進行視間估計并不準確。針對以

9、上問題，2006年， Emin Martinian首次提出了基于視點合成預測(VSP)的多視點視頻編碼方法14,7。 該方法在編碼當前視點圖像的時候，利用深度信息采用3D warping技術15合成 一個虛擬視圖用作當前編碼圖像的參考圖像。該虛擬視圖由于比視點間參考圖像 更接近于當前編碼圖像，增強了視間預測效率，從而提高了多視點視頻的編碼效 率。2007年，Sehoon Yea在此基礎上建立了基于VSP的率失真框架12，用于指 導多視點編碼。2010年，Kirai，將VSP技術用于視差矢量預測13，提高了視差 矢量的預測精度。4結束語多視點及深度視頻可廣泛應用于自由視點電視等多種新興的多媒體業(yè)

10、務，其 廣闊的應用前景對當前的編碼和傳輸技術提出了很大的挑戰(zhàn)。目前MVD編碼主 要是基于傳統(tǒng)的視頻編碼框架而設計的，如何在提高編碼效率的同時增強合成視 點的圖像質量是該領域研究的核心、問題。未來可以從以下方面開展研究:一是研 究更高效的編碼技術，深度圖像所表征的信息仍有待發(fā)掘和利用，深度視頻與紋 理視頻間仍存在大量的冗余信息;二是研究結合人眼視覺特性的編碼方式，以人 眼的感知特性來指導多視點及深度視頻的壓縮。綜上所述，為推動自由電視的研 究和應用，多視點及深度視頻編碼尚有很多值得深入研究的問題，需要大家共同 探索。參考文獻:.霍俊彥.多視點視頻編碼的研究現(xiàn)狀及其展望C.西安：西安電子科技大學，

11、 2010.5.王葉群.多視點視頻快速編碼研究D.寧波：寧波大學,2013.6.孟麗麗.多視點視頻編碼的研究D.北京：北京交通大學,2013.9.王鳳隨.多視點視頻編碼關鍵技術研究D.南京：南京大學，2013.11.朱威.多視點視頻編碼快速算法關鍵技術研究D.杭州：浙江大學,2010.7.劉峰.多視點視頻編碼框架及關鍵技術D.南京：南京郵電大學,2013.6.潘榕.多視點視頻編碼相關處理技術研究D.天津：天津電子信息工程學 院,2011.5.張磊.多視點視頻編碼中運動與視差估計的研究D.西安:西安電子科技大 學,2010.1.胡金輝.多視點與深度視頻編碼技術研究綜述C.武漢：武漢大學,2011.12.李潔.分布式多視點視頻編碼的邊信息生成方法研究D.南京：南京郵電大 學,2013.3. 丁聰.基于H.264多視點視頻編碼關鍵技術D.北京：北京郵電大學， 2013.1.高攀.基于多視點視頻編碼的差錯控制算法C.成都：西南交通大學， 2012.11.蔣毅剛.基于感知的視頻編碼方法綜述C.寧波：寧波大學,2013.2.何宛文.結合深度信息的多視點視頻編碼快速模式選擇算法D.上海：上海 大學，2014.8.吳笛.可分級的多視點立體視頻編碼及傳輸關鍵算法的研究D.武漢：武漢 大學,2013.10.