h編解碼相關技術概述

1、H265(HEVC Heigh Efficiency Video Coding)介紹1 概要H.265(高效率視頻編碼HEVC)是現(xiàn)行“H.264/MPEG-4 AVC標準于2003年實現(xiàn)標準化以來時隔10年推出的新標準，將成為支撐未來十年的影像效勞和產品的視頻壓縮技術。其特點是，支持1080p以上的4K×2K和8K×4K分辨率，將視頻壓縮率提高至H.264的約2倍。也就是說，能以原來一半的編碼速度發(fā)送相同畫質的視頻。例如，按照20Mbit/秒發(fā)送的H.264格式視頻內容，在相同畫質的條件下用HEVC格式只需10Mbit/秒的速度。1.1 H.265開展背景 H.264雖然

2、是一個劃時代的數(shù)字視頻壓縮標準，但是隨著數(shù)字視頻產業(yè)鏈的高速開展，H.264的局限性逐步顯現(xiàn)，并且由于H.264標準核心壓縮算法的完全固化，并不能夠通過調整或擴充來更好地滿足當前高清數(shù)字視頻應用。視頻應用向以下幾個方面開展的趨勢愈加明顯：(1)高清晰度(Higher Definition)：數(shù)字視頻的應用格式從720P向1080P全面升級，在一些視頻應用領域甚至出現(xiàn)了4K*2K、8K*4K的數(shù)字視頻格式(2)高幀率(Higher frame rate)：數(shù)字視頻幀率從30fps向60fps、120fps甚至240fps的應用場景升級(3)高壓縮率(Higher Compression rate

3、)：傳輸帶寬和存儲空間一直是視頻應用中最為關鍵的資源，因此，在有限的空間和管道中獲得最正確的視頻體驗一直是用戶的不懈追求。由于數(shù)字視頻應用在開展中面臨上述趨勢，如果繼續(xù)采用H.264編碼就出現(xiàn)如下一些局限性：(1)宏塊個數(shù)的爆發(fā)式增長，會導致用于編碼宏塊的預測模式、運動矢量、參考幀索引和量化級等宏塊級參數(shù)信息所占用的碼字過多，用于編碼殘差局部的碼字明顯減少。即：單個宏塊所表示的圖像內容的信息大大減少，導致4*4或8*8塊變換后的低頻率相似程度也大大提高，會出現(xiàn)大量的冗余(2)分辨率的大幅增加，表示同一個運動的運動矢量的幅值將大大增加，H.264中采用一個運動矢量預測值，對運動矢量差編碼使用的是

4、哥倫布指數(shù)編碼，該編碼方式的特點是數(shù)值越小使用的比特數(shù)越少。因此，隨著運動矢量幅值的大幅增加，H.264中用來對運動矢量進行預測以及編碼的方法壓縮率將逐漸降低。(3)并行度比擬低H.264的一些關鍵算法，例如采用CAVLC和CABAC兩種基于上下文的熵編碼方法、deblock濾波等都要求串行編碼，并行度比擬低。針對GPU/DSP/FPGA/ASIC等這種并行化程序非常的CPU，H.264的這種串行化處理越來越成為制約運算性能的瓶頸?；谝陨弦曨l應用的開展趨勢和H.264的局限性，面向更高清晰度、更高幀率、更高壓縮率的高效視頻編碼標準(High Efficiency Video Coding)H

5、EVC(H.265協(xié)議標準應運而生。HEVC的核心目標：在H.264/AVC high profile的根底上，保證相同視頻質量的前提下，視頻流的碼率減少50%。在提高壓縮效率的同時，允許編碼端適當提高復雜度HEVC的編碼框架：沿用H.263的混合編碼框架，即用幀間和幀內預測編碼消除時間域和空間域的相關性，對殘差進行變換編碼以消除空間相關性，熵編碼消除統(tǒng)計上的冗余度。HEVC在混合編碼框架內，著力研究新的編碼工具或技術，提高視頻壓縮效率HEVC的技術創(chuàng)新：基于大尺寸四叉樹結構的分割技術，多角度幀內預測技術，運動估計融合技術，高精度運動補償技術，自適應環(huán)路濾波技術以及基于語義的熵編碼技術。通信和

6、廣電行業(yè)的人士對HEVC的高壓縮率寄予了厚望。1.2 開展歷程 早在2004年，ITU-T視頻編碼專家組VCEG開始研究新技術以便創(chuàng)立一個新的視頻壓縮標準。在2004年10月，H.264/ AVC小組對潛在的各種技術進行了調查。2005年1月VCEG的會議上，VCEG開始指定某些主題為“關鍵技術作進一步研究。2005年成立軟件代碼庫稱為Key Technical Areas KTA用來評估這些新的“關鍵技術。KTA的軟件是在聯(lián)合模型JM根底上由MPEG和VCEG的視頻組聯(lián)合開發(fā)的，工程名稱暫定為H.265和H.NGVCNext-generation Video Coding，此工程在

7、2021年最終演化為由VCEG和MPEG合資工程也叫做按照NGVC的初步要求，在維持視覺HEVCHigh efficiency video coding。質量相同的情況下，比特率較H.264/MPEG-4 AVC的高中檔high profile，計算復雜度維持在比特率較H.264/MPEG-4 AVC的高中檔的1/2至3倍之間。 “H.265 只是作為 “高性能視頻編碼HEVC一個昵稱。2021年7月，實驗結果說明比特率相較于H.264/AVC High Profile平均降低20%左右，這些結果促使MPEG與VCEG合作發(fā)起的新的標準化工作。2021年1月，VCEG和MPEG開始發(fā)起視頻壓縮

8、技術正式提案。相關技術由視頻編碼聯(lián)合組Joint Collaborative Team on Video Coding (JCT-VC)審議和評估，其合作小組第一次會議于2021年4月召開大會，一共有27個完整的提案。評價結果說明，一些提案在許多測試用例可以到達只用一半的比特率并維持H.264/AVC相同的視覺質量。在這次會議上，聯(lián)合工程名改稱為高效率的視頻編碼HEVC，并且JCT-VC小組把相關技術集成到一個的軟件代碼庫HM和標準文本草案標準，并進行進一步實驗，以評估各項功能。2021年2月10日，在美國圣何塞召開了第99屆MPEG會議。MPEG組織和ITU-T組織對JCT-VC的工作表示滿

9、意，準備于2021年1月，同時在ISO/IEC和ITU-T發(fā)布HEVC標準的最終版本。2021年1月26號，HEVC正式成為國際標準。標準時間點：2021年1月，ITU-T VCEG(Video Coding Experts Group)和ISO/IEC MPEG(Moving Picture Experts Group)聯(lián)合成立JCT-VCJoint Collaborative Team on Video Coding聯(lián)合組織，統(tǒng)一制定下一代編碼標準：HEVCHigh efficiency video coding。2021.2：委員會草案(標準草案完成稿)；HEVC委員會草案獲得通過。20

10、21.7：HEVC國際標準草案獲得通過2021.1：國際標準最終獲得通過1.3 應用領域        以前，伴隨每次視頻壓縮技術的進化，多種影像效勞和產品都會紛紛亮相圖1。1995年實現(xiàn)標準化的MPEG-2得到了DVD和數(shù)字電視等領域采用，大幅擴大了視頻壓縮技術的應用范圍。MPEG-4在1998年實現(xiàn)標準化后，立即應用到了移動和互聯(lián)網(wǎng)視頻效勞領域。伴隨視頻壓縮技術的升級，各種影像效勞和產品隨之登場。2021年以后，隨著HEVC的進步， 4K及8K電視及網(wǎng)絡全高清影像效勞也紛紛出現(xiàn)。箭頭指示的是各效勞和產品主要采用的壓縮技術

11、。圖1：視頻壓縮技術及對應的影像效勞和產品的歷史圖2：HEVC的應用例如       HEVC的應用示意圖如圖2所示。在播送電視、網(wǎng)絡視頻效勞、電影院及公共大屏幕Public Viewing等眾多領域，4K×2K和8K×4K視頻發(fā)送將變得更容易實現(xiàn)。個人電腦及智能 等信息終端自不用說，平板電視、攝像機及數(shù)碼相機等AV產品也會支持HEVC。 不僅是這些既有市場，HEVC還有可能在今后有望增長的新市場上大顯身手。例如，影像監(jiān)控系統(tǒng)就是其中之一。影像監(jiān)控系統(tǒng)最近幾年在快速從原來的模擬攝像頭組合VTR的方式，向經(jīng)

12、由IP網(wǎng)絡發(fā)送、存儲和瀏覽數(shù)碼攝像頭拍攝的視頻的方法過度。為提高平安性，需要增加攝像頭數(shù)量、提高影像的精細度，而與此同時，確保網(wǎng)絡頻帶和存儲容量增加。估計HEVC將作為解決這些課題的措施而得到采用。1.4 優(yōu)缺點優(yōu)點：1、高壓縮率1)在視頻質量相同的條件下，較H.264平均減少50%的碼流，可以節(jié)省下大量的網(wǎng)絡帶寬及存儲空間2)在同碼流條件下提供更加高質量的視頻2、支持8192x4320分辨率缺點：1、HEVC使用到的技術和算法較前兩代標準H.264和MPEG-2更為復雜，視頻流在壓縮過程中需要經(jīng)過更多的選擇和運算。2、HEVC不支持大多數(shù)硬件，通常需要效率更高，更多的處理器來輔助，這意味著，

13、如果有一個固件需要更新，而編解碼器卻跟不上升級速度的話，那么我們的電視機頂盒和藍光播放機是無法播放HEVC編碼內容的，需要等待解決方案出現(xiàn)后才能繼續(xù)使用。2 編解碼技術通過幀間預測編碼和幀內預測編碼消除時域空域的相關性；通過對預測殘差的變換編碼消除時間上的相關性；通過熵編碼消除比特分配造成的編碼冗余。但2.1 H.265編碼框架及編碼單元結構與H.263以來的視頻編碼標準一樣，HEVC的設計沿用了經(jīng)典的基于塊的混合視頻編碼框架?？蚣苤饕ǎ瑤瑑阮A測(intra prediction)、幀間預測(inter prediction)、轉換 (transform)、量化(quantization)

14、、去區(qū)塊濾波器(deblocking filter)、熵編碼(entropy coding)等模塊，但在HEVC編碼架構中，整體被分為了三個根本單位，分別是：編碼單位(coding unit,CU)、預測單位(predict unit,PU) 和轉換單位(transform unit,TU )。視頻編碼的根本流程為：將視頻序列的每一幀劃分為固定大小的宏塊，通常為16×16像素的亮度分量及2個8×8像素的色度分量(對于4?誜2?誜0格式視頻)，之后以宏塊為單位進行編碼。對視頻序列的第一幀及場景切換幀或者隨機讀取幀采用I幀編碼方式，I幀編碼只利用當前幀內的像素作空間預測，類似于

15、JPEG圖像編碼方式。其大致過程為，利用幀內先前已經(jīng)編碼塊中的像素對當前塊內的像素值作出預測(對應圖中的幀內預測模塊)，將預測值與原始視頻信號作差運算得到預測殘差，再對預測殘差進行變換、量化及熵編碼形成編碼碼流。對其余幀采用幀間編碼方式，包括前向預測P幀和雙向預測B幀，幀間編碼是對當前幀內的塊在先前已編碼幀中尋找最相似塊(運動估計)作為當前塊的預測值(運動補償)，之后如I幀的編碼過程對預測殘差進行編碼。編碼器中還內含一個解碼器，如圖1中青綠色局部所示。內嵌解碼器模擬解碼過程，以獲得解碼重構圖像，作為編碼下一幀或下一塊的預測參考。解碼步驟包括對變換量化后的系數(shù)進行反量化、反變換，得到預測殘差，之

16、后預測殘差與預測值相加，經(jīng)濾波去除塊效應后得到解碼重構圖像。幀內預測編碼圖幀間預測編碼圖HEVC以LCU塊為單位對輸入視頻幀進行處理，首先是預測，可進行幀內預測與幀間預測。幀內預測：預測塊由當前幀中已編碼并解碼重建的相鄰塊預測得到。幀間預測：預測塊通過基于一個或多個參考幀的運動估計和運動補償?shù)玫健Ｈ缓笸ㄟ^當前塊減去預測塊得到預測殘差。預測殘差進一步進行變換編碼和量化，從而得到量化后的殘差系數(shù)。然后對量化后的殘差系數(shù)、編碼模式以及相關的編碼參數(shù)等信息進行熵編碼，從而得到壓縮后的比特流。同時量化殘差還要進行反變換和反量化，然后將殘差和預測值相加起來重建圖像，再進行濾波，生成參考幀2.2 編碼單元結

17、構以往H.264會以16 x 16像素為單位或是16 x 8、8 x 8、8 x 4、4 x 4等配置，將畫面切割為數(shù)個大小相同的宏塊，并以這些宏塊做為編碼時的最小元素。H.265那么是將切割畫面的工作從使用者手動設定，轉交給編碼器來決定，讓編碼器可視情況以16 x 16、32 x 32、64 x 64等尺寸，將畫面切割為數(shù)個編碼樹單元，一般來說區(qū)塊尺寸越大，壓縮效率就會越好。左圖是傳統(tǒng)的H.264標準，每個宏塊大小都是固定的；右圖是H.265標準，編碼單元大小是根據(jù)區(qū)域信息量來決定的H.265沒有繼續(xù)采用之前的宏塊(Micro Block，MB)概念，而是使用編碼單元(Coding unit

18、，CU)作為根本的編碼結構。一個CU可以包含一個或多個不同尺寸的預測單元PU(Prediction unit)，一個PU包含假設干變換單元(Transfore unit，TU)。CU,PU,TU三種在編碼中起的作用不一樣，不過這種編碼方式還是基于混合編碼，但是采用了這三種unit之后，能夠更好的分割一張圖像，變成一個一個的block用來后續(xù)的預測和處理。采用這種結構設計的目的是在增加靈活性的同時，使壓縮預測更符合圖像特性。Ø CU(Coding Unit)CU是用作幀間和幀內編碼的根底單元，他的特點是方塊，LCU是64x64，可以使用遞歸分割四叉樹的方法來得到，大的CU適用于圖像中比

19、擬平滑局部，而小的局部那么適用于邊緣和紋理較豐富的區(qū)域。采用大尺寸CU主要是為了高清壓縮編碼的應用，畢竟如1080p甚至更大分辨力的視頻，其空間會有更大面積的一致性，因此采用更大的編碼單元能更有效地減少空間的冗余。如果仍采用光柵掃描順序，對CU的尋址會很不方便，因此，H.265定義了Z掃描順序這種掃描順序保證了對于不同分割都能按照相同的遍歷順序進行尋址有利于程序中遞歸實現(xiàn)Ø PU(Prediction Unit)PU是預測的根本單元，是編碼單元CU根底上進行劃分的，有SKIP，INTRA，INTER三種模式可以分割，每個CU中可以包含一個或多個PU。PU可以是方形也可以是矩形，這是為

20、了分塊能更好與圖像中真實物體存在的邊界匹配，但是其分割不是遞歸的，與CU的分割還是有區(qū)別的。PU的尺寸不能超過其所屬的CU，PU的劃分方式有兩類 a. 2Nx2N,NxN,Nx2N,2NxN如圖三a所示 b.64x64的CU支持AMP(不對稱分割,主要為了適用于CU中紋理偏差比擬大的情況，增加預測的精準度，不對稱的PU僅適用于幀間預測，如圖三b所示Ø TU(TransformUnit)TU是變換和量化的根本單元，它可以大于PU，但是卻不可以大于CU的大小。TU同樣采用四叉樹的分割結構，所支持的尺寸從4x4至32x32的大小。TU的形狀取決于PU的劃分模式，當PU為

21、正方形時，TU也是正方形的，當PU為非正方形時，TU也是非正方形的，一個CU可以包含一個或多個TU。下列圖可以形象的展示CU、PU及CU之間的關系。2.3 幀內預測利用圖像的空間相關性，用周圍重建像素值對當前編碼塊進行預測H.265更多的幀內預測方向，在H.264采用9個幀內預測方向的場合，H.265預測方向拓展到33個，另外加上一個DC和一個planar，一共35中預測模式，使得預測更加精細，增加更多提升更高效幀內壓縮的可能的參考像素塊。明顯的代價是在增加的方向中搜索需要更多編碼時間。Planar模式平面預測是一種新提出的預測方法，常用于內容平滑或紋理不清晰的單元。它為預測單元中的每一個像素

22、點也都要進行插值預測，如下圖。首先根據(jù)左側相鄰單元的右下角像素和上方相鄰單元的下邊界像素插值出當前預測單元下邊界的每個像素點，再根據(jù)上方相鄰單元的右下角像素和左側相鄰單元的右邊界像素插值出當前預測單元右邊界的每個像素點，然后利用上方相鄰單元的下邊界、左側相鄰單元的右邊界以及插值出的當前單元的下邊界和右邊界插值出其余的像素點。在平面預測中，首先右下角的像素Z由圖中重建像素L和T平均得到，然后利用重建像素L和T與Z進行線性插值計算出最下面一行和最右邊一列像素值，如圖中像素M和N，然后利用插值得到的像素進行雙線性插值計算其他預測像素值，如圖中像素P。 與亮度的幀內預測相比，色度的幀內預測過程要簡單的

23、多，只有率失真優(yōu)化的模式選擇過程，且與亮度的率失真優(yōu)化模式選擇過程相同。色度預測只有5種預測模式：planar、DC、horizontal、vertical、DM_CHROMA等。DM_CHROMA模式就是利用亮度分量所選擇的預測模式，因此如果前4種預測模式中存在亮度分量所選擇的預測模式，為了防止重復，就利用垂直向右對角線方向(34)預測替換該重復的預測模式。2.4 幀間預測幀間預測利用連續(xù)圖像之間的相關性，通過運動估計和運動補償?shù)木幋a方法去消除視頻信息的時間冗余。利用先前已編碼重建幀作為參考幀進行預測。1、幀間預測采用融合模式時，當前PU塊的運動信息(包括運動矢量、參考索引、預測模式)都可以

24、通過相鄰PU的運動信息推導得到。編碼時，當前PU塊只需要傳送融合標記(Merge Flag)以及融合索引(Merge Index)，無需傳送其運動信息。2、幀間預測還可以通過空域相鄰PU以及時域相鄰PU的運動矢量信息構造出一個預測運動矢量候選列表，PU遍歷運動矢量候選列表，在其中選擇最正確的預測運動矢量。2.4.1 廣義B幀預測技術在高效預測模式下，H.265仍然采用H.264中的等級B 預測方式，同時還增加了廣義 B (Generalized P and B picture ，GPB )預測方式取代低時延應用場景中的P預測方式。GPB 預測結構“是指對傳統(tǒng)P幀采取類似于B幀的雙向預測方式進行

25、預測。在這種預測方式下，前向和后向參考列表中的參考圖像都必須為當前圖像之前的圖像，且兩者為同一圖像。對P幀采取B幀的運動預測方式增加了運動估計的準確度，提高了編碼效率，同時也有利于編碼流程的統(tǒng)一。2.4.2 去塊濾波(Deblock filter)去塊濾波位于反變換之后，主要是去除視頻壓縮過程中產生的方塊效應。首先對垂直邊界進行水平濾波，先亮度塊后色度塊；再對水平邊界進行垂直濾波，先亮度塊后色度塊。HEVC對8x8塊的邊界進行濾波，與H.264/AVC中對4x4邊的邊界進行濾波相比，HEVC中去塊濾波算法的時間復雜度有所降低。2.4.3 采樣點自適應偏移(Sample Adaptive Off

26、set,SAO)把Frame劃分為假設干LCU, 然后對每個LCU中每個像素進行SAO操作.將根據(jù)其LCU像素特征選擇一種像素補償方式，以減少源圖像與重構圖像之間的失真。自適應樣點補償方式分為帶狀補償Band Offset，BO和邊緣補償Edge Offset，EO兩大類。Ø 帶狀補償帶狀補償將像素值強度等級劃分為假設干個條帶，每個條帶內的像素擁有相同的補償值。進行補償時根據(jù)重構像素點所處的條帶，選擇相應的帶狀補償值進行補償?，F(xiàn)有的HM模型將像素值強度從0到最大值劃分為32個等級。同時這32個等級條帶還分為兩類，第一類是位于中間的16個條帶，剩余的16個條帶是第二類。編碼時只將其中一

27、類具有較大補償值的條帶偏移信息寫入片頭；另一類條帶信息那么不傳送。這樣的方式編碼將具有較小偏移值的一類條帶忽略不計，從而節(jié)省了編碼比特數(shù)Ø 邊緣補償  邊緣補償主要用于對圖像的輪廓進行補償。它將當前像素點值與相鄰的2個像素值進行比照，用于比擬的2個相鄰像素可以在下列圖中所示的4種模板中選擇，從而得到該像素點的類型。解碼端根據(jù)碼流中標示的像素點的類型信息進行相應的補償校正。2.4.4 自適應環(huán)路濾波(Adaptive Loop Filter,ALF)ALF在編解碼環(huán)路內，位于Debtock和SAO之后，用于恢復重建圖像以到達重建圖像與原始圖像之間的均方差(MSE)最

28、小。ALF的系數(shù)是在幀級計算和傳輸?shù)?，可以整幀應用ALF，也可以對于基于塊或基于量化樹(quadtree )的局部區(qū)域進行ALF，如果是基于局部區(qū)域的ALF。還必須傳遞指示區(qū)域信息的附加信息。對于亮度分量，采用CU為單位的四叉樹ALF結構。濾波使用5*5,7*7和9*9三種大小的二維鉆石型模板。濾波器計算每個4*4塊的Laplacian系數(shù)值，并根據(jù)該值將所有4*4塊分成16類，分別對應16種濾波器。3種ALF濾波模板對于色度分量，濾波的選擇過程會簡單很多。原因如下：首先，色度分量的濾波只需要在圖像層級上進行。其次，濾波時色度分量統(tǒng)一使用5*5矩形濾波模板，不需要通過Laplacian系數(shù)來選

29、擇濾波器類型。2.5 并行設計當前芯片架構已經(jīng)從單核性能逐漸往多核并行方向開展，因此為了適應并行化程度非常高的芯片實現(xiàn)，H.265引入了很多并行運算的優(yōu)化思路。2.5.1 Tile用垂直和水平的邊界將圖像劃分為一些行和列，劃分出的矩形區(qū)域為一個Tile，每一個Tile包含整數(shù)個LCU(Largest Coding Unit)Tile之間可以互相獨立，以此實現(xiàn)并行處理。Tile劃分示意圖2.5.2 Entropy slice熵編碼以slice為單位，容易造成負載不均衡。Entropy SIice允許在一個slice內部再切分成多個Entropy SIices。每個Entropy SIice可以獨立的編碼和解碼，從而提高了編解碼器的并行處理能力。Entropy sIice與Slice的關系一個Entropy sIice不能跨越sIice邊界，也就是一個slice不可以含有多個Entropy sIice，但是一個Entropy sIice只能屬于一個slice2.5.3 WPP(Wavefront