（通信與信息系統(tǒng)專業(yè)論文）h264中cavlc編碼器的vlsi結(jié)構(gòu)設(shè)計.pdf

摘要 迅猛發(fā)展的數(shù)字技術(shù)，將人類生活帶入了一個全新的數(shù)字化、信息化社會。 其中多媒體數(shù)碼產(chǎn)品的普及正是得益于視頻壓縮編碼技術(shù)的不斷進步，尤其是對 新一代視頻編碼標準h 2 6 4 標準方向的研究進展。同時，遵循摩爾定律的半導體 和信息技術(shù)的飛速發(fā)展，也為復雜的編碼算法的實時應(yīng)用奠定了硬件基礎(chǔ)。 作為h 2 6 4 標準中的關(guān)鍵技術(shù)，熵編碼在隨機過程的統(tǒng)計特性基礎(chǔ)上，根據(jù) 數(shù)據(jù)的統(tǒng)計信息進行編碼，減少了編碼冗余，從而進一步提高了壓縮效率。 本文主要研究應(yīng)用于h 2 6 4 基本檔次和擴展檔次中的c a v l c 熵編碼。相對于 c a b a c 熵編碼，c a v l c 算法簡單、實現(xiàn)復雜度低，主要應(yīng)用于對編解碼時間要 求苛刻、硬件有一定制約的情況下。但是采用軟件實現(xiàn)c a v l c 算法難以滿足高清 視頻編碼的實時性要求。為此，本文在對c a v l c 算法進行細致的研究和分析的基 礎(chǔ)上，提出了一個高效的c a v l c 編碼器硬件結(jié)構(gòu)。 本文首先簡要介紹了視頻編碼標準的發(fā)展歷史，并對幾種編碼標準進行了比 較，然后著重論述了h 2 6 4 視頻標準的編解碼框架以及關(guān)鍵技術(shù)，對h 2 6 4 中的 c a v l c 算法進行了詳細的研究和分析，然后從架構(gòu)的角度提出了一個高效的 c a v l c 編碼器硬件結(jié)構(gòu)，接著對c a v l c 編碼器中主要的功能模塊的硬件結(jié)構(gòu)設(shè) 計進行了詳細的介紹。最后，提出了c a v l c 編碼器的設(shè)計驗證方法，并對仿真和 綜合結(jié)果進行了分析，實驗結(jié)果表明本文提出的c a v l c 編碼器的硬件結(jié)構(gòu)可以滿 足1 0 8 0 p 高清( 1 9 2 0 x1 0 8 0 3 0 t ) 視頻實時編碼的要求。 關(guān)鍵詞：h 2 6 4 熵編碼c a v l cv l s i a b s t r a c t t h er a p i dd e v e l o p m e n to fd i g i t a lt e c h n o l o g yh a sb r o u g h th u m a ni n t oab r a n d - n e w d i 百t a la n di n f o r m a t i o ns o c i e t y t h ep o p u l a r i t yo fd i 西t a lm u l t i m e d i ap r o d u c t si s b e n e f i t e df r o mt h ep r o g r e s so fv i d e oc o m p r e s s i o nt e c h n o l o g y , e s p e c i a l l yt h en e w r e s e a r c hd e v e l o p m e n to ft h en e w e s tg e n e r a t i o nv i d e oc o d i n gs t a n d a r d h 2 6 4s t a n d a r d m e a n w h i l e ，a b i d i n gb ym o o r e sl a w , t h er a p i dd e v e l o p m e n to fs e m i c o n d u c t o r sa n d i n f o r m a t i o nt e c h n o l o g yl a i dt h eh a r d w a r eb a s i s f o rt h er e a l - t i m ea p p l i c a t i o n 謝也 c o m p l e xe n c o d i n ga l g o r i t h m s a st h e k e yt e c h n o l o g i e s i n h 2 6 4 ，e n t r o p yc o d i l l g b a s e do nt h es t a t i s t i c a l p r o p e r t i e so f s t o c h a s t i cp r o c e s s e s ，i sr e a l i z e db ys t a t i s t i ci n f o r m a t i o n , r e d u c i n gc o d i n g r e d u n d a n c y , f u r t h e ri m p r o v i n gt h ec o m p r e s s i o ne f f i c i e n c y t h i sp a p e rm a i n l yr e s e a r c h e so nc a v l ce n t r o p yc o d i n gi nh 2 6 4b a s e l i n ep r o f i l e a n de x t e n d e dp r o f i l e c o m p a r i n gw i t hc a b a c ，c a v l ca l g o r i t h mi ss i m p l et o u n d e r s t a n d , e a s yt oa c h i e v ei nt h ec a s eo f l o wc o m p l e x i t y , t i m e - c r i t i c a le n v i r o n m e n ta n d c e r t a i nh a r d w a r ec o n s t r a i n t s h o w e v e r , i ti sd i f f i c u l tt om e e tr e a l - t i m er e q u i r e m e n t so f h i g h - d e f i n i t i o nv i d e oe n c o d i n gi nc a v l c t h i sp a p e rp u t sf o r w a r dat h o r o u g hs t u d yi n c a v l ca l g o r i t h ma n dp r e s e n t sa ne f f i c i e n tc a v l ce n c o d e rb a s e do nh a r d w a r e a r c h i t e c t u r e t h i sp a p e r b r i e f l yd e s c r i b e st h eh i s t o r yd e v e l o p m e n to f v i d e oc o d i n gs t a n d a r da n d ac o m p a r i s o no fs e v e r a lc o d i n gs t a n d a r d s ，a n dt h e nf o c u s e so nt h ec e d e cf r a m e w o r ka n d k e yt e c h n o l o g i e so fh 2 6 4 t h e ni tm a k e sad e t a i l e ds t u d ya n da n a l y s i so fc a v l c a l g o r i t h m , a n dp r e s e n t sa ne f f i c i e n tc a v l ce n c o d e ri nh a r d w a r ea r c h i t e c t u r e ，f u r t h e ri t d e s c r i b e sm a i nm o d u l e so ft h ec a v l ce n c o d e ra r c h i t e c t u r ei nd e t a i l f i n a l l y , t h e i n t r o d u c t i o no ft h ec a v l ce n c o d e rd e s i g nv e r i f i c a t i o nm e t h o d si sg i v e n , a n d s i m u l a t i o na n ds y n t h e s i sp e r f o r m a n c es h o wt h a tt h ep r o p o s e dc a v l ce n c o d e r h a r d w a r ea r c h i t e c t u r ec a nm e e tt h eh d ( 19 2 0x10 8 0 3 0 0r e a l - t i m ev i d e oe n c o d i n g k e y w o r d ：h 2 6 4e n t r o p yc o d i n g c a v l cv l s i 第一章緒論 第一章緒論 1 1 引言 隨著計算機技術(shù)、通信技術(shù)和v l s i 技術(shù)的不斷發(fā)展，人們的生活和工作方式 發(fā)生了巨大變化。傳統(tǒng)的一維音頻信號已經(jīng)難以滿足人們?nèi)找嬖鲩L的需要，二維 的視頻等多媒體產(chǎn)品成為人們新的需求。多媒體信息提供給人們更多、更直觀的 信息以及更豐富的感官享受。視頻會議、實時監(jiān)控和可視通信等領(lǐng)域的視頻信號 承載的數(shù)據(jù)量大，給通信的帶寬和存儲帶來更大的挑戰(zhàn)，這就需要對視頻進行壓 縮編碼。 多年來，國內(nèi)外許多學者和研究機構(gòu)在視頻的壓縮編碼領(lǐng)域進行了大量的研 究，使得視頻壓縮編碼技術(shù)取得了長足的進步。隨著視頻編碼技術(shù)的進一步產(chǎn)業(yè) 化，國際標準化組織i s o m c 成立了運動圖像壓縮編碼組織m p e g ，m p e g 專家 組主要致力于運動圖像壓縮編碼標準的制定。經(jīng)過專家組不懈的努力，一些視頻 的壓縮編碼國際標準相繼問世。國際電信聯(lián)盟電信標準化部i t u t 的視頻編碼專 家組v c e g 先后制定了h 2 6 1 、h 2 6 2 、h 2 6 3 、h 2 6 4 視頻編碼標準，而由m p e g 專家組先后制定m p e g - l 、m p e g 2 、m p e g - 4 視頻編碼標準，其中h 2 6 2 m p e g 2 和h 2 6 4 m p e g - 4a v c 由i t u t 與m p e g 聯(lián)合制定。特別是由i t u t 的視頻編碼 專家組v c e g 和運動圖像專家組m p e g 聯(lián)合推出的新一代視頻編碼標準h 2 6 4 ， 將視頻編碼技術(shù)推向了一個新的高度。這些視頻壓縮編碼標準的推出極大的促進 了視頻壓縮編碼技術(shù)的發(fā)展和應(yīng)用。 另一方面，隨著半導體技術(shù)以及集成電路技術(shù)的快速發(fā)展，使得硬件平臺的 計算和處理速度不斷的提高。特別是f p g a 和d s p 的出現(xiàn)，使得復雜的視頻壓縮 算法能夠用于實時應(yīng)用，才使得高清電視、視頻會議以及視頻通話等多媒體應(yīng)用 得以實現(xiàn)，極大的豐富和方便了人們的工作和生活。 1 2 研究背景 眾所周知，人類通過視覺獲取的信息量約占總信息量的7 0 ，而且視頻信息 具有生動直觀性、可信性等優(yōu)點。目前，視頻編碼技術(shù)有著廣闊的應(yīng)用范圍，如 高清電視、視頻會議、可視電話、視頻監(jiān)控等業(yè)務(wù)。但是由于視頻信息的數(shù)據(jù)量 大，如果不經(jīng)過壓縮處理，很難進行傳輸和存儲，這就需要對視頻進行壓縮編碼。 2 h 2 6 4 中c a v l c 編碼器的v l s i 結(jié)構(gòu)設(shè)計 數(shù)據(jù)壓縮編碼技術(shù)的基石是是香農(nóng)( s h a n n o n ) 于1 9 4 8 年創(chuàng)立的經(jīng)典的信息 論，香農(nóng)認為信源中都含有一定的冗余性，這些冗余來自于信源本身的相關(guān)性， 也來自于信源符號概率分布的不均衡性，因此采用編碼的方式可以消除這種冗余。 香農(nóng)第一定律( 率失真定律) 確定了如何在編碼過程中不損失任何信息，即在無 損編碼條件下數(shù)據(jù)壓縮的理論極限是信息的熵，并指出了如何建立最優(yōu)的數(shù)據(jù)壓 縮編碼方法。由于視頻圖像數(shù)據(jù)具有極強的相關(guān)性，也就是說有大量的冗余信息。 視頻圖像幀與幀之間存在相關(guān)性，即存在時間冗余信息；一幅圖像內(nèi)部也存在著 較強的相關(guān)性，即存在空間冗余信息。這樣就為視頻壓縮編碼提供了可能性。視 頻壓縮編碼技術(shù)就是要將這些時間和空間的冗余信息去除，通過幀內(nèi)預測編碼和 變換編碼消除視頻圖像的空間冗余信息，通過幀間預測編碼消除視頻圖像的時間 冗余信息，再通過熵編碼進一步去除統(tǒng)計的編碼冗余信息。 為了在全世界范圍內(nèi)推進視頻編碼壓縮技術(shù)和多媒體通信技術(shù)的發(fā)展和應(yīng) 用，國際標準化組織i s o 和國際電信聯(lián)盟i t u 制定了一系列視頻壓縮國際標準。 由i t u 組織制定的標準主要是針對實時視頻通信的應(yīng)用，如視頻會議和可視電話 等，它們以h 2 6 x 命名( 如h 2 6 1 、h 2 6 2 、h 2 6 3 和h 2 6 4 ) ；而由i s o 的m p e g 組織制定的標準主要針對視頻信息的存儲( 如d v d ) ，廣播電視和視頻流的網(wǎng)絡(luò)傳 輸?shù)葢?yīng)用，它們以m p e g x 命名( m p e g - 1 、m p e g - 2 、m p e g - 4 等) 。2 0 0 3 年3 月，1 1 u t 和i s o 共同正式公布了h 2 6 4 視頻編碼標準，h 2 6 4 標準一方面吸收 了以前視頻編碼標準中的一些行之有效的算法，另一方面采納了視頻編碼、圖像 處理領(lǐng)域的最新研究成果，在提高壓縮編碼效率和增強網(wǎng)絡(luò)適應(yīng)能力等方面有了 質(zhì)的飛躍，因此被人們稱為新一代視頻編碼標準。與以往的視頻編碼標準相比， h 2 6 4 視頻編碼標準在同樣的重建圖像質(zhì)量下碼率可以降低5 0 左右。通常情況 下，與h 2 6 3 相比，在同樣的圖像質(zhì)量下，h 2 6 4 能將碼率降低一半左右；在同樣 的碼率的情況下，h 2 6 4 的信噪比明顯提高。正是由于h 2 6 4 標準在編碼效率、圖 像質(zhì)量、網(wǎng)絡(luò)適應(yīng)性等方面卓越的性能，使其在國際上成為研究的熱點。 目前，h 2 6 4 視頻壓縮編碼的實現(xiàn)方式有很多：由于d s p 平臺在處理視頻信 息的優(yōu)越性能，基于d s p 平臺的開發(fā)方式最多，如德州儀器1 r i 推出的d a v i n e i 系 列d s p 主要面向多媒體應(yīng)用；基于成熟專用芯片a s i c 也是不錯的選擇，如富士 通公司的m b 8 6 h 5 1 芯片；還有基于現(xiàn)有的p 核可以在f p g a 上進行開發(fā)。 1 3 本文研究內(nèi)容及意義 本文主要研究h 2 6 4 視頻編碼標準中的c a v l c 熵編碼。熵編碼作為h 2 6 4 標 準中的關(guān)鍵技術(shù)對提高整個編碼系統(tǒng)的效率至關(guān)重要。h 2 6 4 中的熵編碼主要由兩 第一章緒論 3 部分組成，即基于上下文的自適應(yīng)可變長編碼c a v l c ( c o n t e x t - a d a p t i v e v a r i a b l e 1 饑g t l lc o d i n g ) 和基于上下文的自適應(yīng)二進制算術(shù)編碼c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。在h 2 6 4 標準中的b a s e l i n e p r o m e 只支持c a v l c ，而在m a i np r o f i l e 中同時支持c a v l c 和c a b a c 。這兩種 編碼方法都是利用自適應(yīng)的上下文模型來提高編碼的效率。與c a v l c 相比， c a b a c 可以使碼率降低9 1 4 ，但是復雜度增加了2 5 3 0 。 本文首先從視頻為什么需要編碼，為什么可以編碼入手，引出視頻編碼標準 的發(fā)展歷史，簡要分析各個階段的視頻編碼標準的性能比較和關(guān)鍵技術(shù)。接著發(fā) 展并過渡到新一代視頻編碼標準h 2 6 4 ，闡述了h - 2 6 4 的關(guān)鍵技術(shù)和性能上的優(yōu)越 性。然后著重論述了h 2 6 4 視頻標準的編解碼框架，從h 2 6 4 的編碼流程上對編 碼的各個階段進行簡要的說明。接著著重論述了熵編碼算法，特別是對h 2 6 4 中 的c a v l c 算法進行了詳細的研究和分析，然后從架構(gòu)的角度提出了一個高效的 c a v l c 編碼器硬件結(jié)構(gòu)，接著對c a v l c 編碼器中主要的功能模塊的硬件結(jié)構(gòu)設(shè) 計進行了詳細的介紹。最后，介紹了c a v l c 編碼器的設(shè)計驗證方法，并對仿真、 驗證和綜合結(jié)果進行了分析。 本文具體章節(jié)安排如下： ， 第一章：緒論，首先介紹了視頻壓縮編碼的發(fā)展及應(yīng)用，接著介紹了h 2 6 4 視頻編碼技術(shù)的產(chǎn)生和研究背景，最后介紹了本文的研究內(nèi)容以及章節(jié)安排。 第二章：首先論述了視頻編碼的必要性和可行性，接著介紹了視頻編解碼的 發(fā)展歷程，比較了各個階段的視頻編碼標準的性能比較和關(guān)鍵技術(shù)，并對h 2 6 4 編解碼框架簡要分析，然后闡述了h 2 6 4 中的熵編碼基本原理，最后簡要分析并 比較了兩種熵編碼。 第三章：首先從理論上研究了c a v l c 編碼的流程，針對編碼的每個步驟進行 分析，得到優(yōu)化的編碼方案，從而給出了本文編碼器的實現(xiàn)方法，并使用本文的 c a v l c 編碼器中的重要信號進行說明具體的實現(xiàn)流程。 第四章：首先從系統(tǒng)架構(gòu)的角度提出了本文的c a v l c 編碼器硬件結(jié)構(gòu)，接著 對c a v l c 編碼器中編碼非零系數(shù)個數(shù)和拖尾系數(shù)個數(shù)模塊、宏塊上下文管理模 塊、編碼全部零個數(shù)模塊、編碼幅值模塊、編碼拖尾系數(shù)模塊以及編碼每個非零 系數(shù)前零游程模塊等主要的功能模塊的硬件結(jié)構(gòu)設(shè)計進行了詳細的介紹。然后介 紹了a s i c 和f p g a 的開發(fā)流程，然后對本文采用的設(shè)計驗證方法進行了介紹，最 后對驗證結(jié)果和綜合結(jié)果進行了分析。 第五章：結(jié)束語，總結(jié)和全文，并對未來的研究和改進工作進行了展望。 第二章h 2 6 4 視頻編碼的研究 5 第二章h 2 6 4 視頻編碼的研究 h 2 6 4 a v c t l j 標準是由國際電信聯(lián)盟i t u t 的視頻編碼專家組v c e g 和國際標 準化組織i s o 的運動圖像專家組m p e g 聯(lián)合提出的新一代視頻編碼標準。h 2 6 4 采用了一些新技術(shù)來提高編碼效率，如四分之一像素運動估計、幀內(nèi)預測、多參 考幀、去塊效應(yīng)濾波和熵編碼。與之前的視頻編碼標準相比，h 2 6 4 在同樣的重建 圖像質(zhì)量下碼率可以降低5 0 左右。 熵編碼作為h 2 6 4 標準中的關(guān)鍵技術(shù)，對提高整個編碼系統(tǒng)的效率至關(guān)重要。 h 2 6 4 中的熵編碼主要由兩部分組成，即基于上下文的自適應(yīng)可變長編碼c a v l c ( c o n t e x t - a d a p t i v ev a r i a b l e 1 e n g t hc o d i n g ) 和基于上下文的自適應(yīng)二進制算術(shù)編碼 c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。在h - 2 6 4 標準中的 b a s e l i n ep r o f i l e 只支持c a v l c ，而在m a i np r o f i l e 中同時支持c a v l c 和c a b a c 。 這兩種編碼方法都是利用自適應(yīng)的上下文模型來提高編碼的效率。與c a v l c 相 比，c a b a c 可以使碼率降低9 1 4 ，但是復雜度增加了2 5 3 0 。本文著重研究 在b a s e l i n ep r o f i l 中支持的c a v l c 算法。 本章首先簡要視頻編碼的必要性和可行性，接著介紹了視頻編碼標準的發(fā)展 歷程，對各個階段的編碼標準進行比較，詳細介紹了h 2 6 4 標準的編解碼框架和 關(guān)鍵技術(shù)，然后對h 2 6 4 標準中熵編碼的算法進行了簡要的分析。 2 1 視頻編碼的必要性和可行性 由于視頻承載了海量信息，包含大量數(shù)據(jù)，對通信傳輸帶寬和數(shù)據(jù)存儲都提 出了更高的要求。以常見的c i f 格式為例，每幅c i f 由2 8 8 行組成，每行包括3 5 2 個像素點；如果對每個像素點的r 、g 、b 分量都采用8b i t 數(shù)據(jù)進行表示，當幀速 率為2 5 f p s 時，每秒c i f 圖像占用的數(shù)據(jù)量為： 2 8 8 3 5 2 3x8x2 5 = 5 9 4 m b i t 對于符合p a l 制式的標準電視信號的y ，c r ，c b 分量所占比特數(shù)分別是 7 9 1 m b i t ，1 9 7 8 m b i t ，1 9 7 8 m b i t ，每秒p a l 制式的視頻數(shù)據(jù)量為： ( 7 9 1 + 1 9 7 8 + 1 9 7 8 ) 2 = 2 3 7 3 2m b i t 而高清晰電視h d t v 的數(shù)據(jù)量達到了1 2 g b p s 以上。與此同時，傳輸網(wǎng)絡(luò)的 帶寬和存儲媒質(zhì)容量都非常有限，例如：公共交換電信網(wǎng)p s t n 的帶寬是 3 3 6 - - 5 6 k b p s ，綜合業(yè)務(wù)數(shù)字網(wǎng)i s d n 的帶寬是( 2 b + d ) 1 4 4 k b p s ，非對稱數(shù)字用 6 h 2 6 4 中c a v l c 編碼器的v l s i 結(jié)構(gòu)設(shè)計 戶環(huán)路a d s l 的帶寬是1 1 5 m b p s ，全球移動通信系統(tǒng)g s m 帶寬為9 6 - - 1 4 4 k b p s ， 而存儲介質(zhì)中c d r o m 大小為7 5 0 m b ，d v d r o m 大小為4 7 g b 可以看出，如果在d v d r o m 上保存p a l 制式的視頻數(shù)據(jù)，只能保存不到半 分鐘的內(nèi)容。視頻數(shù)據(jù)這種海量性對存儲器、通信信道和計算機的處理速度增加 了極大的壓力。因此無論是存儲、傳輸還是處理，數(shù)字視頻必須經(jīng)過有效的壓縮 編碼才能具有實際應(yīng)用價值，而視頻數(shù)據(jù)由于具有多種相關(guān)性，只要采用相應(yīng)的 方法去除相關(guān)性造成的各種冗余就能對原始視頻信號進行有效的壓縮。一般而言， 數(shù)字視頻信號的冗余可歸為以下幾類： 1 空間冗余：數(shù)字圖像是視頻基本組成元素，通過對模擬視頻信號進行空間采樣 得到的，所以構(gòu)成數(shù)字圖像的相鄰像素間具有較大相關(guān)性，即這些像素之間的 像素值相差通常不會很大。各像素的值可以通過相鄰像素的數(shù)值預測出來，每 個獨立的像素所攜帶的信息很少，這種像素間的冗余就稱為空間冗余。 2 時間冗余：由于視頻信號本質(zhì)上是一系列連續(xù)的圖像，為了達到連續(xù)的視頻效 果，幀與幀之間的采樣間隔很小，對于2 5f p s 的視頻信號，間隔時間為0 0 4s 。 因此相鄰視頻圖像間也存在著很強的相關(guān)性。對于靜止不動的場景，相鄰兩幀 的內(nèi)容是完全相同的；對于場景中的運動目標，如果知道運動規(guī)律，這樣就可 以很容易地從前一幀視頻圖像推算出它在當前幀中的大致位置。 3 心理視覺冗余：在大多數(shù)情況下，人類視覺系統(tǒng)是視頻編碼系統(tǒng)的最終接受者。 而人類的視覺系統(tǒng)具有非線性和非均勻的特點，人類感知的圖像亮度不僅與該 點的反射光強有關(guān)，同時也受到相鄰的區(qū)域光強影響。另外人類視覺系統(tǒng)并非 對所有視覺信息都具有相同的敏感度。視頻中的部分信息在通常的感知過程中 與其他信息相比來說并不重要，所以就可以被視為心理視覺冗余，而且去除這 些信息不會明顯降低人類感受到的圖像的質(zhì)量。 4 編碼冗余：如果對圖像的所有信息都采用相同長度的符號表示，需要使用較多 比特才能完全表示圖像中的灰度和顏色信息。理想情況是按照像素信息的信息 熵大小為其分配相應(yīng)的比特數(shù)。而在實際情況中，很難得到像素的具體信息熵。 在圖像的采樣和量化時一般方法是對所有像素分配相同比特數(shù)，此時編碼采用 的碼不能使平均比特數(shù)達到或接近熵值，在這種情況下一定存在熵編碼冗余。 2 2 視頻編碼的發(fā)展與比較 1 9 4 8 年，o l i v e r 提出了第一個編碼理論一脈沖編碼調(diào)制：同年，s h a n n o n 提出 并建立了信息率失真函數(shù)概念，后來進一步確立了率失真理論，這些工作奠定了 第二章h 2 6 4 視頻編碼的研究 7 信息編碼的理論基礎(chǔ)。主要編碼方法包括變換編碼、預測編碼和統(tǒng)計編碼。這些 經(jīng)典方法被成為“第一代 視頻壓縮編碼方法。這些編碼方法在中等壓縮率的情 況下，提供了非常好的圖像質(zhì)量，但在低壓縮率情況下，無法令人滿意。這些技 術(shù)都沒有利用圖像的結(jié)構(gòu)特點，只能以像素或塊為編碼的對象，設(shè)計時也沒有考 慮人類視覺系統(tǒng)的特性、視頻圖像的具體特點，所以后來達到了頂峰。 為了克服“第一代刀視頻壓縮編碼方法的局限性，k u n t 等人提出了“第二代 視頻壓縮編碼方法，充分利用人的視覺心理、生理和圖像信源的各種特性，實現(xiàn) 從“波形 編碼到“模型一編碼的轉(zhuǎn)變，獲得了更高的壓縮比?！暗诙曨l壓 縮編碼方法結(jié)合計算機視覺、計算機圖形學、人工智能與模式識別等多學科研究 成果，為視頻編碼開拓了廣闊的前景。但是增加了分析的難度和實現(xiàn)的復雜性。 近些年來，出現(xiàn)了一類充分利用人類視覺特性的“多分辨率編碼 的方法， 如子帶編碼和基于小波變換的編碼方法。這類方法使用不同類型的一維或二維線 性數(shù)字濾波器對視頻圖像進行整體分解，然后根據(jù)人類視覺的特性對不同頻段的 數(shù)據(jù)進行粗細不同的量化處理，以達到更好的壓縮效果。這類方法原理上是“波 形 編碼，仍屬于線性處理，可歸入經(jīng)典編碼方法，但它們又利用了人類視覺系 統(tǒng)的特性，因此可以被看作是“第一代 編碼技術(shù)向“第二代編碼技術(shù)的過渡。 為了推進視頻編碼壓縮技術(shù)的發(fā)展和應(yīng)用，國際標準化組織i s o 和國際電信 聯(lián)盟i t u 制定了一系列視頻壓縮國際標準。m p e g 組織制定的各個標準都有不同 的目標和應(yīng)用，目前已提出m p e g 1 、m p e g 2 、m p e g - 4 等標準。， 1 m p e g - 1 標準：1 9 9 3 年8 月公布，用于傳輸1 5 m b p s 數(shù)據(jù)傳輸率的數(shù)字媒體 運動圖像及其伴音的編碼。該標準包括五部分：第一部分說明了如何根據(jù)第 二部分視頻內(nèi)容以及第三部分音頻內(nèi)容的規(guī)定，對音頻和視頻進行復合編碼。 第四部分說明了檢驗解碼器或編碼器的輸出比特流是否符合前三部分規(guī)定的 過程。第五部分用完整的c 語言實現(xiàn)了編碼和解碼器。 該標準從頒布的那- n 起取得了成功，如v c d 和m p 3 的大量使用，w m d o w s 9 5 以后的版本都帶有一個m p e g 1 軟件解碼器，可攜式m p e g 1 攝像機等等。 2 m p e g 2 標準：1 9 9 4 年，m p e g 組織推出m p e g - 2 壓縮標準，針對標準數(shù)字 電視和高清晰度電視在各種應(yīng)用下的壓縮方案和系統(tǒng)層的詳細規(guī)定，編碼碼率 從每秒3m b i t - - 一1 0 0m b i t 。m p e g - 2 不是m p e g 1 的簡單升級，m p e g 2 在系 統(tǒng)和傳送方面作了更加詳細的規(guī)定和進一步的完善。m p e g 2 圖像壓縮原理是 利用了圖像中的空間相關(guān)性和時間相關(guān)性，編碼時去除冗余信息，只保留少量 非相關(guān)信息進行傳輸，節(jié)省傳輸頻帶。而接收機利用這些非相關(guān)信息，按照一 定的解碼算法，可以在保證一定的圖像質(zhì)量的前提下恢復原始圖像。 8 h 2 6 4 中c a v l c 編碼器的v l s i 結(jié)構(gòu)設(shè)計 m p e g - 2 標準主要應(yīng)用在廣播電視領(lǐng)域中的視音頻資料的保存、電視節(jié)目的非 線性編輯系統(tǒng)及其網(wǎng)絡(luò)、衛(wèi)星傳輸、電視節(jié)目的播出等方面 3 m p e g - 4 標準：到1 9 9 9 年，m p e g - 4 標準出臺，它提供了低碼率、高質(zhì)量的 音視頻壓縮、編碼方案，推動了視頻多媒體應(yīng)用的進一步發(fā)展。m p e g - 4 的特 點是其更加注重多媒體系統(tǒng)的交互性和靈活性，是第一個具有交互性的動態(tài)圖 像標準。它采用基于對象的編碼理念，將一幅景物分成在時間和空間上相互聯(lián) 系的若干視頻音頻對象，分別編碼后，經(jīng)過復用傳輸，接收端對不同的對象分 別解碼，從而組合成所需要的視頻和音頻。這樣我們可以對不同對象采用不同 的編碼方法和表示方法，又有利于不同數(shù)據(jù)類型間的融合，并且可以方便的實 現(xiàn)對于各種對象的操作及編輯。 m p e g - 4 是針對數(shù)字電視、交互式繪圖應(yīng)用、交互式多媒體等整合及壓縮技術(shù) 的需求而制定的國際標準，它將眾多的多媒體應(yīng)用集成在一個完整的框架內(nèi)， 旨在為多媒體應(yīng)用提供標準的算法及工具，從而建立起一種能被多媒體的存 儲、傳輸、檢索等應(yīng)用領(lǐng)域普遍采用的統(tǒng)一數(shù)據(jù)格式。 作為新一代多媒體數(shù)據(jù)壓縮編碼的代表，m p e g - 4 第一次提出了基于內(nèi)容、基 于對象的壓縮編碼思想，因而代表了現(xiàn)代數(shù)據(jù)壓縮編碼技術(shù)的發(fā)展方向，被廣 泛應(yīng)用于因特網(wǎng)視音頻廣播、無線通信、電視電話、動畫、電子游戲等方面。 與此同時，國際電信聯(lián)盟( i t u t ) 的視頻編碼專家組( v c e g ) 也推出了h 2 6 1 、 h 2 6 3 、h 2 6 3 + 等一系列視頻壓縮編碼的國際標準，并且同m p e g 專家組一起推出 了h 2 6 4 壓縮編碼國際標準，下面簡要分析比較幾種主要的視頻編碼標準： 1 h 2 6 1 視頻編碼標準：作為最早的運動圖像壓縮國際標準，h 2 6 1 視頻編碼標 準是r r u t 為在綜合業(yè)務(wù)數(shù)字網(wǎng)( i s d 上應(yīng)用雙向聲像業(yè)務(wù)( 可視電話、視頻 會議) 而制定的，速率為6 4 k b s 的整數(shù)倍。它制定了視頻編碼的各個部分，包 括幀間預測、d c t 變換、量化、熵編碼以及速率控制等部分。h 2 6 1 只處理 c i f 和q c i f 兩種圖像格式，每幀圖像分成圖像層、宏塊組( g o b ) 層、宏塊層、 塊( b l o c k ) 層來處理。 、 2 h 2 6 3 視頻編碼標準：在h 2 6 1 基礎(chǔ)上發(fā)展起來的，是最早用于低碼率視頻 編碼的i t u t 標準，是i t u t 為低于6 4 k b s 的窄帶通信信道制定的視頻編碼 標準。與h 2 6 1 相比采用了半像素的運動補償，并增加了4 種有效的壓縮編碼 模式。隨后出現(xiàn)的第二版h 2 6 3 + 及h 2 6 3 + + 增加了許多選項，使其具有更廣泛 的適用性。h 2 6 3 的標準輸入圖像的格式可以是s q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c i f 彩色4 ：2 ：0 的亞取樣圖像。h 2 6 3 視頻編碼標準的關(guān)鍵技術(shù)包括 允許運動矢量指向圖像以外的區(qū)域。當某一運動矢量所指的參考宏塊位于圖像 第二章h 2 6 4 視頻編碼的研究 9 之外時，就用其邊緣的圖像像素值來代替；使用算術(shù)編碼來代替霍夫曼編碼， 在信噪比和重建圖像質(zhì)量相同的情況下可以降低碼率；允許一個宏塊中的4 個 8 8 亮度塊各自對應(yīng)一個運動矢量，從而提高了預測精度；兩個色度塊的運 動矢量取這4 個亮度塊運動矢量的平均值；補償時，使用重疊的塊運動補償， 8 x8 亮度塊的每個像素的補償值由3 個預測值加權(quán)平均得到，使用該模式可 以產(chǎn)生顯著的編碼增益。 h 2 6 3 + 標準是h 2 6 3 標準的版本2 ，它在保證原h(huán) 2 6 3 標準的核心句法和語義 不變的基礎(chǔ)上，增加了若干選項以提高壓縮效率或改善某些功能。它允許更大 范圍的圖像輸入格式，允許自定義圖像的尺寸，從而拓寬了標準使用的范圍。 h 2 6 3 + 采用先進的幀內(nèi)編碼模式和增強的p b 幀模式，改進了h 2 6 3 的不足， 增強了幀間預測的效果；采用去塊效應(yīng)濾波器提高了壓縮編碼效率。為適應(yīng)網(wǎng) 絡(luò)傳輸，h 2 6 3 + 增加了時間分級、空間分級和信噪比，這對噪聲信道和大量包 丟失的網(wǎng)絡(luò)中傳送視頻信息很有意義。 3 h 2 6 4 視頻編碼標準：制定h 2 6 3 標準后，i t u t 的視頻編碼專家組( v c e g ) 開始了兩個方面的研究：一個在h 2 6 3 基礎(chǔ)上增加選項，最終產(chǎn)生了h 2 6 3 + 與h 2 6 3 + h h 2 6 3 + + 在h 2 6 3 + 基礎(chǔ)上增加了三個選項) ；另一個是長期研究計劃， 制定一種支持低碼率的視頻通信的新標準，最終產(chǎn)生了h 2 6 l 標準草案，在壓 縮效率方面與先期的視頻壓縮標準相比，具有明顯的優(yōu)越性。隨后，i s o 與i t u 開始組建包括來自i s o 的m p e g 組織與i t u t 的v c e g 組織的聯(lián)合視頻組 ( j v t ) ，主要任務(wù)就是將h 2 6 l 草案發(fā)展為一個國際性標準。在i s o i e c 中該 標準命名為a v c ( a d v a n c e dv i d e oc o d i n g ) ，作為m p e g - 4 標準的第1 0 個選項； 在i t u t 中被正式命名為h 2 6 4 標準。 作為自m p e g - 2 視頻壓縮標準發(fā)布以后的最新視頻壓縮標準，h 2 6 4 在相同的 重建圖像質(zhì)量下，數(shù)據(jù)壓縮比是m p e g 2 的2 倍以上，是m p e g - 4 的1 5 - - 2 倍；對信道時延的適應(yīng)性較強，既可工作于低時延模式以滿足實時業(yè)務(wù)，又可 工作于無時延限制的場合；提高了網(wǎng)絡(luò)適應(yīng)性，采用“網(wǎng)絡(luò)友好 的結(jié)構(gòu)和語 法，加強了對誤碼和丟包的處理，提高解碼的差錯恢復能力；采用復雜度的可 分級設(shè)計，在圖像質(zhì)量和編碼處理之間可分級，以適應(yīng)不同等級的應(yīng)用。正 是由于這些優(yōu)點，h 2 6 4 視頻壓縮標準被普遍認為是最有影響力的行業(yè)標準。 為什么h 2 6 4 視頻壓縮標準有如此好的壓縮性能? 相對于之前的幾個視頻壓縮標 準，h 2 6 4 引入t i t 多先進的關(guān)鍵技術(shù)，大致如下： 1 4 x 4 整數(shù)變換：以前的編碼標準，如h 2 6 3 或m p e g - 4 ，都是采用8 8 的 d c t 變換。h 2 6 l 標準建議的整數(shù)變換接近于4 x 4 的d c t 變換，降低了算法 1 0 h 2 6 4 中c a v l c 編碼器的v l s i 結(jié)構(gòu)設(shè)計 的復雜度，也避免了反變換的失配問題，4 x 4 的塊也可以減小塊效應(yīng)。而h 2 6 4 的4 x 4 整數(shù)變換進一步降低了編碼算法的復雜度，相比h 2 6 l 中建議的整數(shù) 變換，由以前3 2 b 的輸入殘差數(shù)據(jù)降為現(xiàn)在的1 6 b 運算，而且整個變換沒有乘 法，只需加法和一些移位運算。新的變換對編碼的性能幾乎沒有影響，而且實 際編碼效果略好一些。 2 基于空域的幀內(nèi)預測技術(shù)：視頻編碼是通過去除圖像的時間與空間的相關(guān)性 來達到壓縮的目的?？臻g相關(guān)性通過有效的變換來去除，如h 2 6 4 的整數(shù)變換； 時間相關(guān)性則通過幀間預測來去除。這里所說的變換去除空間相關(guān)性，僅局限 在所變換的塊內(nèi)，如8 8 塊或者4 x 4 塊，并沒有塊與塊之間的處理。h - 2 6 4 在空域中利用當前塊的相鄰像素直接對每個系數(shù)做預測，提高了幀內(nèi)編碼的效 率。幀內(nèi)預測時編碼器根據(jù)當前塊相鄰的像素點計算預測值，再進行差分編碼。 幀內(nèi)編碼宏塊類型包括 n t r a1 6 x1 6 和i n t r a4 x 4 兩種。根據(jù)圖像平滑程 度決定選用類型，如平滑簡單的區(qū)域采用i n t r a1 6 1 6 類型，而圖像細節(jié)方 面需要準確預測時，采用i n t r a4 4 型。 3 運動估計：在幀間編碼過程中，編碼器可以根據(jù)編碼的需要對宏塊進行分割。 內(nèi)容平滑的宏塊不作分割，包含細節(jié)的宏塊將根據(jù)情況分成2 個8 1 6 的塊， 或者2 個1 6 8 的塊，或者4 個8 8 的塊，分割出的每個塊都有自己的參考 幀標號；8 8 的塊中如果還包含細節(jié)，可以被進一步分割成2 個4 8 的塊， 或者2 個8 4 的塊，或者4 個4 4 的塊，這時分割出的塊都使用相同的參考 幀，不過每個塊都有自己的運動矢量。也就是說，一個宏塊最多需要發(fā)送4 個 參考幀標號和1 6 個運動矢量。 h 2 6 4 的運動估計具有三個新特點：四分之一像素精度的運動估計：七種不同 大小的塊進行匹配；前向和后向多參考幀。幀間編碼時，一個宏塊( 1 6 1 6 ) 可以被分為1 6 8 、8 1 6 、8 8 三種塊，而8 8 的塊被稱為子宏塊，又可以 分為8 4 、4 x 8 、4 x 4 三種塊。與以往標準的p 幀、b 幀不同，h 2 6 4 采用 了前向與后向多個參考幀的預測。半像素精度的運動估計比整像素的運動估計 有效地提高了壓縮比，而四分之一像素精度的運動估計可帶來更好的壓縮效 果。多參考幀預測方面，假設(shè)為5 個參考幀預測，相對于一個參考幀，可降低 5 - - 1 0 的碼率。 4 熵編碼：h 2 6 4 提供兩種熵編碼方法，一種是u v l c 結(jié)合基于上下文的自適 應(yīng)可變長編碼c a v l c ( c o n t e x t - a d a p t i v ev a r i a b l e l e n g t hc o d i n g ) 的變長編碼， 另一種是基于上下文的自適應(yīng)二進制算術(shù)編碼c a b a c ( c o n t e x t - b a s e a a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。在h 2 “標準中的b a s e l i n ep r o f i l e 只支持 c a v l c ，而在m a i np r o f i l e 中同時支持c a v l c 和c a b a c 。這兩種編碼方法 都是利用自適應(yīng)的上下文模型，即根據(jù)相鄰塊的情況來編碼當前塊，這樣便提 第二章h 2 6 4 視頻編碼的研究 高了編碼的效率。 5 d c t 變換和量化：h 2 6 4 中采用了基于4 4 像素塊的整數(shù)d c t 變換。與浮點 運算相比，整數(shù)d c t 變換雖然會引起一些額外的誤差，但整數(shù)d c t 變換具有 運算量小、復雜度低等優(yōu)點。h 2 6 4 中采用標量量化技術(shù)，將每個像素編碼映 射為較小的數(shù)值。在不降低視覺效果的前提下，量化過程盡量減少圖像編碼長 度，減少視覺恢復中不必要的信息。量化步長q p 決定量化器的壓縮率及圖像 精度。如果q p 較大，則量化值的動態(tài)范圍較小，相應(yīng)的編碼長度較小，但反 量化時會損失較多的圖像細節(jié)信息；如果q p 較小，則量化值的動態(tài)范圍較大， 其相應(yīng)的編碼長度也較大，但圖像細節(jié)信息損失的較少。編碼器可以根據(jù)實際 動態(tài)范圍自動改變q p 值，在編碼長度和圖像精度之間折中，達到最佳效果。 6 去塊效應(yīng)濾波器：方塊效應(yīng)也稱為馬賽克效應(yīng)，是基于塊的壓縮編碼時由于 邊緣的數(shù)據(jù)在重建時比塊內(nèi)數(shù)據(jù)的精度低造成的。h 2 6 4 采用自適應(yīng)的環(huán)內(nèi)去 方塊濾波器對塊的邊界進行去塊濾波，濾除重建圖像中的方塊效應(yīng)。一個邊緣 兩邊的像素是否需要去塊濾波，是由兩邊的像素亮度差的絕對值決定的，判定 的門限值與量化系數(shù)有關(guān)。當絕對值較大時，表明存在方塊效應(yīng)，需要去塊濾 波，但是如果絕對值超出了當前量化系數(shù)所能引起的誤差，說明是圖像內(nèi)容變 化引起的，此時不需要去塊濾波。需要去塊濾波的邊緣部分，還要根據(jù)兩邊塊 一 的預測方式和運動矢量等信息決定去塊濾波的強度。 h 2 6 4 中經(jīng)過去塊濾波的圖像方塊效應(yīng)明顯減小，同時圖像中的細節(jié)部分基本 無變化，避免了去塊濾波引起的圖像模糊，圖像的主觀質(zhì)量明顯提高。采用去 塊濾波器后，在相同客觀質(zhì)量下編碼器輸出的比特率下降5 1 0 。 目前，h 2 6 1 與h 2 6 3 已被廣泛應(yīng)用，成熟的產(chǎn)品已經(jīng)很多。h 2 6 3 與h 2 6 1 相比，增加了若干選項，提供了更靈活的編碼方式，壓縮效率提高。h 2 6 4 視頻編 碼標準的推出，是視頻編碼標準的一次重要進步，它與現(xiàn)有的m p e g 2 、m p e g - 4 及h 2 6 3 相比，具有明顯的優(yōu)越性，特別是在編碼效率上的提高。盡管h 2 6 4 的 算法復雜度高，隨著集成電路技術(shù)的快速發(fā)展，h 2 6 4 的應(yīng)用已成為現(xiàn)實。 2 3h 2 6 4 視頻編碼標準概述 2 3 1h 2 6 4 視頻編解碼框架 h 2 6 4 編碼器的結(jié)構(gòu)框架如圖2 1 所示。當前幀f n 以宏塊為單位依次進入編碼 器。編碼器包括兩個通路：前向編碼通路和反向重建圖像通路。 1 2 h 2 6 4 中c a v l c 編碼器的v l s i 結(jié)構(gòu)設(shè)計 圖2 1h 2 6 4 編碼器結(jié)構(gòu)框圖 在前向編碼通路中，每個宏塊的編碼方式分為幀內(nèi)和幀間兩種編碼模式。當 采用幀內(nèi)編碼模式時，由當前幀f n 已重建的宏塊來預測宏塊，得到當前宏塊的預 測值；當采用幀間編碼模式時，是由當前幀f n 的參考幀f n - 1 來對當前宏塊進行 幀間預測( 運動估計) 得到當前宏塊的預測值。然后由預測宏塊和當前宏塊相減 得到殘差宏塊，再對宏塊的殘差數(shù)據(jù)進行d c t 變換和量化操作，得到殘差宏塊的 變換系數(shù)，殘差的變換系數(shù)以及預測信息再經(jīng)過熵編碼得到最終的碼流。 為了和解碼端保持一致，需要得到已編碼宏塊的重建宏塊，所以在編碼器中 建立個反向重建通路。在反向重建通路中，d c t 變換和量化后的殘差的變換系 數(shù)經(jīng)過反量化和反d c t 變換得到殘差數(shù)據(jù)的宏塊，殘差數(shù)據(jù)的宏塊與預測宏塊相 加得到未經(jīng)去塊濾波的重建宏塊，再經(jīng)過去塊效應(yīng)濾波器得到重建圖像。 h 2 6 4 的視頻序列通常的編碼過程如圖2 2 所示， 卜一 櫳猿亭列一 圖2 2 視頻序列編碼過程 第二章h 2 6 4 視頻編碼的研究 1 3 所以一個視頻序列的編碼過程大致如下： 1 把一個視頻序列先按照上圖的結(jié)構(gòu)劃分為一幀幀連續(xù)的圖像，再把每幀圖像劃 分為若干個片( s l i c e ) ，每個片劃分為宏塊，最終每個宏塊劃分為小塊，每個 小塊包含很多像素點，這樣編碼一個視頻序列就變?yōu)榫幋a一個個小塊的過程。 2 通過對塊的變換、量化和熵編碼，消除圖像中的空間冗余。 3 由于相鄰幀圖像存在很大的相似性( 即時間冗余) ，所以只需要將相鄰幀圖像間 的變化