HEVC關(guān)鍵技術(shù)

1、HEVC關(guān)鍵技術(shù)2.1 引言視頻編碼標(biāo)準(zhǔn)主要由兩大國際組織開發(fā)，即ITU-T(國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門)和ISO/IEC(國際標(biāo)準(zhǔn)化組織/國際電工委員會(huì))，ITU-T開發(fā)了H.2611和H.2632，ISO/IEC開發(fā)了MPEG-13和MPEG4 Visual4，兩大組織合作開發(fā)了H.262/MPEG-2 Video5以及H.264/MPEG-4 AVC6，這兩個(gè)合作開發(fā)的視頻標(biāo)準(zhǔn)得到了廣泛的應(yīng)用，尤其是H.264/MPEG-4 AVC，其應(yīng)用領(lǐng)域包括高清衛(wèi)星電視廣播、有線電視、視頻采集/編輯系統(tǒng)、便攜攝像機(jī)、視頻監(jiān)控、網(wǎng)絡(luò)和移動(dòng)互聯(lián)網(wǎng)視頻傳播、藍(lán)光光盤、以及視頻聊天、視頻會(huì)議和網(wǎng)真系統(tǒng)等實(shí)

2、時(shí)視頻應(yīng)用場(chǎng)景。H.264/MPEG-4 AVC基本覆蓋了所有數(shù)字視頻應(yīng)用領(lǐng)域并替代了其他一些視頻標(biāo)準(zhǔn)。然而，隨著服務(wù)多樣化的增加、高清視頻的流行、以及超高清格式(4k×2k或8k×4k)的出現(xiàn)，市場(chǎng)上需要比H.264/MPEG-4 AVC性能更優(yōu)的視頻編碼標(biāo)準(zhǔn)。另外，隨著移動(dòng)設(shè)備和平板電腦的興起，人們對(duì)視頻點(diǎn)播服務(wù)需求量不斷增大，對(duì)視頻質(zhì)量和分辨率要求也不斷提高，從而對(duì)現(xiàn)有網(wǎng)絡(luò)帶寬造成很大的威脅和挑戰(zhàn)。因此，針對(duì)這些應(yīng)用，市場(chǎng)需要比H.264/MPEG-4 AVC更高效的視頻編碼標(biāo)準(zhǔn)。在這樣的背景下，HEVC作為新一代的視頻編碼標(biāo)準(zhǔn)應(yīng)運(yùn)而生，HEVC(High Effic

3、iency Video Coding)是由ITU-T的VCEG(Video Coding Expert Group)和ISO/IEC的MPEG(Moving Picture Experts Group)聯(lián)合開發(fā)，合作開發(fā)組稱為JCT-VC(Joint Collaborative Team on Video Coding)7，JCT-VC從2010年4月開始第一次會(huì)議，從世界各大公司、高校和研究機(jī)構(gòu)征集新標(biāo)準(zhǔn)的提案，在2013年1月發(fā)布了HEVC的第一版，確定了HEVC的基本框架和內(nèi)容，之后HEVC仍會(huì)不斷擴(kuò)展其內(nèi)容和功能以適應(yīng)不同場(chǎng)景的應(yīng)用需求，如對(duì)多種顏色空間格式的支持，SCC(Screen

4、 Content Coding)，3D視頻編碼，可伸縮視頻編碼等。ISO/IEC將會(huì)把HEVC稱為MPEG-H Part2 (ISO/IEC 23008-2)，ITU-T可能會(huì)把HEVC稱為H.265。HEVC的設(shè)計(jì)目標(biāo)是在同等圖像質(zhì)量下，比H.264/AVC的比特率降低50%，其設(shè)計(jì)側(cè)重點(diǎn)主要有兩個(gè)方面，即針對(duì)高分辨率視頻和增加并行處理結(jié)構(gòu)的運(yùn)用。和以前的ITU-T和ISO/IEC開發(fā)的視頻標(biāo)準(zhǔn)一樣，HEVC采用了基于分塊結(jié)構(gòu)的編碼流程，圖2-1為HEVC編碼器結(jié)構(gòu)圖，其中包括塊分割、幀內(nèi)預(yù)測(cè)、幀間預(yù)測(cè)、運(yùn)動(dòng)估計(jì)/運(yùn)動(dòng)補(bǔ)償、正變換/反變換、量化/反量化、熵編碼、以及環(huán)路濾波等。圖2-1 HE

5、VC視頻編碼器2.2 基于四叉樹策略的編碼單元分割和傳統(tǒng)視頻編碼標(biāo)準(zhǔn)一樣，HEVC先將一幀數(shù)據(jù)分割為若干二維對(duì)稱結(jié)構(gòu)的編碼單元，再逐個(gè)進(jìn)行處理。HEVC定義了3種塊分割單元，分別是CU（Coding Unit），PU（Prediction Unit），和TU(Transform Unit)。CU是最基本的二維對(duì)稱結(jié)構(gòu)編碼單位，和H.264/AVC中的“宏塊”作用相似，唯一不同的地方是CU的大小沒有嚴(yán)格的限制，如CU大小可以是64×64、32×32、16×16、和8×8。除了以幀為單位的環(huán)路濾波外，其他編碼環(huán)節(jié)如幀內(nèi)/幀間預(yù)測(cè)、變換、量化、以及熵編碼都是以

6、CU為單位進(jìn)行的。最大的CU稱為LCU（Largest Coding Unit），最小的CU稱為SCU（Smallest Coding Unit），LCU和SCU的大小一般限制為2的整數(shù)次冪且大于等于8。一幀圖像可以認(rèn)為是由互相不重疊的LCU組合而成，由于CU是二維對(duì)稱結(jié)構(gòu)，對(duì)LCU的進(jìn)一步分割是以遞歸四叉樹方式進(jìn)行的。具體如圖2-2所示。 圖2-2 CU遞歸四叉樹分割結(jié)構(gòu)如果已知LCU的大小和遞歸分割的最大深度，就知道這個(gè)LCU中可能存在的CU大小。如LCU大小為64×64，最大分割深度為4，則CU大小可以為：64×64(LCU)，32×32，16×1

7、6，8×8。如果LCU大小為16×16，最大分割深度為2，則CU大小為：16×16，8×8。HEVC不限制編碼單元大小的設(shè)計(jì)，有利于提高對(duì)高分辨率視頻的編碼效率，如果一幀圖像某一區(qū)域數(shù)據(jù)分布比較均勻，使用較大的CU來編碼（H.264/AVC的宏塊大小為16×16），會(huì)減少編碼單元的數(shù)量，從而節(jié)省一些不必要的開銷。這些結(jié)論在文獻(xiàn)8-91011中進(jìn)行了詳細(xì)的論證，類似的方法在MPEG和VCEG的提案12-1314中也曾提出過。PU（Prediction Unit）是HEVC預(yù)測(cè)環(huán)節(jié)的基本編碼單元，所有和預(yù)測(cè)相關(guān)的操作都是以PU為單位的，如幀內(nèi)預(yù)測(cè)的

8、方向、幀間預(yù)測(cè)的運(yùn)動(dòng)矢量差和參考幀索引、運(yùn)動(dòng)矢量預(yù)測(cè)、以及運(yùn)動(dòng)補(bǔ)償都是基于PU進(jìn)行處理的。PU的大小受限于其所在的CU的大小，即在CU分割結(jié)束后，才開始考慮PU的處理。在HEVC中有3種預(yù)測(cè)類型：Skip，Intra，Inter。預(yù)測(cè)類型是影響PU分割的主要因素，具體如圖2-3所示。如果CU的大小是64×64，則Skip模式下，PU大小也是64×64；Intra模式下，PU大小可能是64×64或32×32；Inter模式下，PU大小可能是64×64，64×32，32×64，32×32，64×16，64&#

9、215;48，16×64以及48×64。圖2-3 三種預(yù)測(cè)模式下PU的分割除了CU和PU，HEVC還定義了TU（Transform Unit）作為變換和量化的基本單元，TU的大小可能會(huì)大于PU，但不會(huì)超過所在CU的大小，TU必須是二維對(duì)稱的。TU的大小取決于transform_unit_size_flag的值以及PU的分割方式，如果transform_unit_size_flag=0，則TU大小等于所在CU的大小，如果transform_unit_size_flag=1，則TU大小為N×N或N/2×N/2，并取決于PU的分割方式。具體如圖2-4所示:圖2

10、-4 TU的分割方式圖2-5 CU，PU，TU之間的關(guān)系圖2-5給出了CU，PU，TU之間的關(guān)系，當(dāng)TU size flag=1時(shí)，TU的大小取決于PU的分割類型（是否對(duì)稱），非對(duì)稱PU分割模式下，TU需要做更深的分割，這種設(shè)計(jì)的目的是為了避免TU跨越PU的邊界。CU、PU、TU三種單元相互獨(dú)立又互有聯(lián)系，這種設(shè)計(jì)使塊的分割更符合圖像的紋理特征，也使編碼、預(yù)測(cè)、變換等各個(gè)環(huán)節(jié)更加靈活，有利于各個(gè)單元更好的完成各自的功能。2.3 幀內(nèi)預(yù)測(cè)2.3.1 幀內(nèi)預(yù)測(cè)模式HEVC的幀內(nèi)預(yù)測(cè)和H.264/AVC類似，也是根據(jù)相鄰塊的數(shù)據(jù)按照各種方式進(jìn)行預(yù)測(cè)重建。當(dāng)編碼高清視頻時(shí)，HEVC會(huì)采用較大的編碼單元

11、，如果仍然使用H.264/AVC的預(yù)測(cè)模式，則不足以全面描述所有可能的預(yù)測(cè)匹配模型。因?yàn)?，為了使幀?nèi)預(yù)測(cè)更準(zhǔn)確，HEVC對(duì)亮度分量的預(yù)測(cè)模式多達(dá)35種（包括DC，Planar15-161718兩種非方向性預(yù)測(cè)，以及另外33種方向性預(yù)測(cè)），具體如圖2-6所示。色度分量的預(yù)測(cè)模式有5種，即水平、垂直、DC、DM(Derivation Mode)和LM(Linear Mode)，其中DM模式是根據(jù)亮度預(yù)測(cè)模式來決定色度預(yù)測(cè)模式。LM模式根據(jù)相鄰塊的亮度和色度線性模型關(guān)系來預(yù)測(cè)當(dāng)前塊的色度，詳見2.3.2節(jié)。 (a) 35種預(yù)測(cè)模式 (b) 33種方向預(yù)測(cè)角度圖2-6 幀內(nèi)預(yù)測(cè)模式2.3.2 Plan

12、ar預(yù)測(cè)模式Planar預(yù)測(cè)模式適用于圖像平滑內(nèi)容的預(yù)測(cè)重建，JCT-VC的提案15首先提出這種預(yù)測(cè)方案，具體如圖2-7所示，首先把待預(yù)測(cè)塊的右下角像素值寫入碼流，然后根據(jù)該值和相鄰塊重建像素來插值最右側(cè)列和最下面行，然后通過雙線性插值的方法得到其他像素的預(yù)測(cè)值。 圖2-7 Planar預(yù)測(cè)模式提案16對(duì)planar模式做了進(jìn)一步的改進(jìn)，首先最右下角的像素不再傳送給解碼端，而是通過相鄰塊重建像素插值得到。另外把雙線性插值改為分別作水平和垂直方向的線性插值，然后再求平均值，具體如圖2-8所示。圖2-8 改進(jìn)的planar預(yù)測(cè)模式2.3.2 LM預(yù)測(cè)LM(linear model)是HEVC新增的

13、色度預(yù)測(cè)模式19-202122，其基本思想是根據(jù)當(dāng)前塊的亮度重建信號(hào)來預(yù)測(cè)色度信號(hào)，具體計(jì)算方法如式（2-1）所示： (2-1)其中PredCx,y為當(dāng)前塊的色度預(yù)測(cè)信號(hào)，RecL'x,y為當(dāng)前塊的亮度重建信號(hào)。和是根據(jù)相鄰塊重建亮度和色度信號(hào)的關(guān)系推導(dǎo)出來的。如果視頻源是YUV4:2:0格式，則色度信號(hào)的采樣率是亮度信號(hào)的一半，在使用LM預(yù)測(cè)時(shí)，色度和亮度信號(hào)就存在1/2個(gè)像素的相位差。因此，需要先將亮度信號(hào)下采樣，使其和色度信號(hào)的大小和相位相匹配。在LM預(yù)測(cè)方式中，對(duì)重建亮度信號(hào)在垂直方向上下采樣，在水平方向上二次抽樣，即： (2-2)通過使用最小二乘法，可以擬合出下采樣后的重建亮

14、度信號(hào)和色度信號(hào)之間的關(guān)系，從而推導(dǎo)出式(2-1)的參數(shù)和。如式(2-3)和(2-4)所示： (2-3) (2-4)式(2-3)和(2-4)中RecC(i)和RecL'(i)分別表示和當(dāng)前塊相鄰行/列的重建色度信號(hào)和重建下采樣亮度信號(hào)。I為參與計(jì)算的相鄰塊采樣點(diǎn)總數(shù)，如圖2-9所示，只有當(dāng)前塊左側(cè)和上側(cè)標(biāo)為灰色的相鄰采樣點(diǎn)參與計(jì)算。圖2-9 LM模式下計(jì)算和所用采樣點(diǎn)文獻(xiàn)22中列舉了LM模式的實(shí)驗(yàn)數(shù)據(jù)，在Intra配置下，啟用LM模式可使Y,Cb,Cr的BD-rate數(shù)據(jù)分別提高0.8%，7.8%和5.9%。2.4 幀間預(yù)測(cè)由于HEVC在PU分割時(shí)可能使用4種非對(duì)稱的方式（2N

15、5;nU, 2N×nD, nL×2N, nR×2N），在幀間預(yù)測(cè)時(shí)，其運(yùn)動(dòng)矢量也允許以非對(duì)稱塊為單位，這種技術(shù)稱為AMP(Asymmetric Motion Partition)24-252627，這樣對(duì)于圖像中的非對(duì)稱形狀的區(qū)域，使用AMP能更靈活的進(jìn)行運(yùn)動(dòng)估計(jì)。圖2-10為64×64塊的非對(duì)稱運(yùn)動(dòng)矢量分割。圖2-10 64×64塊的AMP分割傳統(tǒng)視頻編碼器對(duì)運(yùn)動(dòng)矢量的編碼一般都采用預(yù)測(cè)編碼。如H.264/AVC中，會(huì)把相鄰塊的運(yùn)動(dòng)矢量的中值作為當(dāng)前塊的MV預(yù)測(cè)值，并將MV預(yù)測(cè)值和實(shí)際值的差編碼。這種空域運(yùn)動(dòng)矢量預(yù)測(cè)編碼方法也稱為MVP(Mo

16、tion Vector Prediction)。HEVC將這種方法進(jìn)一步拓展，提出了AMVP（Advanced motion vector prediction）技術(shù)24-28293031，HEVC中MV預(yù)測(cè)候選塊不局限于空域，也在時(shí)域范圍內(nèi)尋找，這些候選塊組成一個(gè)集合，而AMVP方案會(huì)在此集合中尋找最優(yōu)的MV匹配，然后只需要編碼最優(yōu)匹配塊的索引、參考幀下標(biāo)、以及MVD(Motion Vector Difference)，從而更有效的節(jié)省空間開銷。如果MVD=0，則HEVC就會(huì)啟用merge模式，使當(dāng)前塊和候選塊共用一個(gè)運(yùn)動(dòng)矢量。HEVC一般會(huì)同時(shí)使用AMVP和merge，以獲得最優(yōu)的MVP編

17、碼效率。2.5 頻域變換2.5.1 大尺度變換H.264/AVC只有4×4和8×8兩種變換模式，HEVC增加了16×16、32×32兩種更大尺度的變換23。對(duì)于高清視頻，使用更大尺度的頻域變換會(huì)得到更好的編碼效果，因?yàn)樵诟咔逡曨l中，宏塊所表示的內(nèi)容一般是某一物體的一部分或背景的一小部分，宏塊內(nèi)大多是都是紋理模式均勻，顏色變化較小的內(nèi)容。因此，使用較大尺度的變換將會(huì)使頻域能量更集中，從而減少量化誤差。二維DCT變換是通過計(jì)算水平和垂直方向的一維DCT實(shí)現(xiàn)的。其計(jì)算方式可表示為： (2-5)其中X為預(yù)測(cè)殘差，H為變換矩陣。圖2-11為HEVC的16×

18、;16的變換矩陣，為了簡(jiǎn)便，HEVC只指定了32×32尺度的變換矩陣，通過下采樣而得到其他尺度(16×16，8×8，4×4)的變換矩陣。圖 2-11 16×16變換矩陣2.5.2 可選的4×4 DST對(duì)于4×4大小的TU，HEVC提供了可選的基于DST變換模式32-33343536，其變換矩陣如圖2-12所示。圖2-12 4×4 DST變換矩陣對(duì)于離塊邊界越遠(yuǎn)殘差振幅越大的區(qū)域，DST具有更好的編碼適應(yīng)性。復(fù)雜度方面，4×4 DST和4×4 DCT相差不大，但DST可以節(jié)省大約1%的比特率。另外

19、，HEVC中DST變換只限于4×4亮度變換塊中使用。2.5.3 TSMHEVC為了提高屏幕視頻編碼的效率，也征集考察了一些其他編碼技術(shù)，其中TSM(Transform Skip Mode)37-3839404142就是被HEVC采納的相關(guān)技術(shù)之一。研究表明，由于屏幕視頻內(nèi)容的各向異性特征，使用傳統(tǒng)的Hybrid框架視頻編碼器并不能得到最優(yōu)的編碼效果。對(duì)屏幕圖像中的文本、圖形、色調(diào)單一的背景等區(qū)域，如果不做頻域變換，而直接對(duì)預(yù)測(cè)殘差編碼效果會(huì)更好。對(duì)于幀內(nèi)編碼，由于塊之間的相關(guān)性沒有幀間編碼高，其預(yù)測(cè)殘差值一般比較大，HEVC中尺度越大的CU越是如此。因此使用2D頻域變換有利于能量的集

20、中。然而，如果視頻源是屏幕圖像，其內(nèi)容多是重復(fù)性無損匹配數(shù)據(jù)，這樣幀內(nèi)預(yù)測(cè)殘差就會(huì)比較小或?yàn)榱?，這種情況下，如果仍然使用頻域變換，就會(huì)減少甚至降低編碼效率。對(duì)于這些TU，TSM模式下HEVC會(huì)考慮跳過變換環(huán)節(jié)，在后續(xù)的CABAC熵編碼階段，適當(dāng)?shù)男薷臍埐顢?shù)據(jù)的統(tǒng)計(jì)特性，可以得到更好的編碼結(jié)果。TSM定義了跳過變換的4種方式，詳見圖2-13。 TSM模式垂直方向水方向TS0啟用變換啟用變換TS1啟用變換跳過變換TS2跳過變換啟用變換TS3跳過變換跳過變換圖2-13 TSM模式運(yùn)動(dòng)補(bǔ)償殘差信號(hào)一般在垂直和水平兩個(gè)方向上表現(xiàn)出不同的特性，因此，在幀間編碼時(shí)，HEVC可根據(jù)具體情況選擇不同的TSM模式

21、跳過水平/垂直變換。從圖2-13可以看出，TSM模式也包含了同時(shí)啟用水平和垂直變換的選擇。實(shí)驗(yàn)結(jié)果表明，對(duì)于某些屏幕視頻，啟用TSM后，BD-rate性能最高可提升30%。這種方案的另一個(gè)優(yōu)點(diǎn)是對(duì)HEVC編碼器修改少，在不增加額外時(shí)間空間的開銷的前提下，有效提高了對(duì)屏幕視頻的編碼性能。2.6 環(huán)路濾波2.6.1 去方塊濾波由于頻域變換量化產(chǎn)生的誤差，以及運(yùn)動(dòng)補(bǔ)償造成的預(yù)測(cè)誤差，基于塊結(jié)構(gòu)的編碼在經(jīng)過預(yù)測(cè)/變換/量化步驟后會(huì)產(chǎn)生塊效應(yīng)，因此，混合視頻編碼器會(huì)采用相應(yīng)的措施消除塊效應(yīng)，一般做法是在塊的邊界進(jìn)行濾波處理，HEVC的去方塊濾波（Deblocking Filter）基本沿用了H.264/

22、AVC中的方法，如濾波方式，邊界強(qiáng)度的決策機(jī)制等，區(qū)別只在于HEVC采用了更靈活的塊分割方案，由于TU可能不在PU的范圍內(nèi)，HEVC的去方塊濾波需要在較小的塊內(nèi)進(jìn)行。2.6.2 采樣點(diǎn)自適應(yīng)補(bǔ)償采樣點(diǎn)自適應(yīng)補(bǔ)償(SAO, Sample Adaptive Offset)是HEVC中出現(xiàn)的新技術(shù)43-444546，該環(huán)節(jié)在去方塊濾波之后，其基本原理是根據(jù)重建圖像和原始圖像的差異，對(duì)重建圖像根據(jù)實(shí)際情況做自適應(yīng)的補(bǔ)償，以減少重建圖像和原始圖像的失真度，從而提高重建圖像質(zhì)量，大量實(shí)際數(shù)據(jù)顯示，SAO可以提高2%6%的編碼性能，編碼復(fù)雜度增加了2%左右。SAO是以LCU為單位進(jìn)行處理的，采樣點(diǎn)補(bǔ)償?shù)姆绞?/p>

23、分為帶狀補(bǔ)償（Band Offset，BO）和邊緣補(bǔ)償（Edge Offset，EO）兩種，帶狀補(bǔ)償根據(jù)像素值強(qiáng)度劃分為若干條帶，每個(gè)條帶內(nèi)部使用相同的補(bǔ)償值。邊緣補(bǔ)償主要用于對(duì)圖像中的像素邊緣進(jìn)行補(bǔ)償，通過將當(dāng)前像素點(diǎn)和相鄰兩個(gè)像素點(diǎn)比較，從而獲得該像素點(diǎn)的類型，并根據(jù)類型進(jìn)行對(duì)應(yīng)的補(bǔ)償校正。邊緣補(bǔ)償?shù)南噜徬袼攸c(diǎn)位置有4種情況，具體如圖2-14所示：圖2-14 EO像素分類模型在編碼端，首先以幀為單位進(jìn)行SAO的初始化，通過分析重建數(shù)據(jù)和原始數(shù)據(jù)之間的失真度，配置SAO狀態(tài)參數(shù)，并決定SAO類型。然后對(duì)每個(gè)LCU進(jìn)行SAO處理。這種先驗(yàn)信息收集整理的過程只在編碼端出現(xiàn)，在解碼端，每個(gè)LCU的

24、SAO處理都是獨(dú)立的，不需要訪問幀緩存數(shù)據(jù)就能解碼。2.7 并行化設(shè)計(jì)2.7.1 Tiles在混合編碼框架內(nèi)，一個(gè)Slice之內(nèi)的LCU之間編碼具有很強(qiáng)的相關(guān)性，如幀內(nèi)預(yù)測(cè)、MV預(yù)測(cè)、CABAC的概率等，都需要參考相鄰LCU的數(shù)據(jù)。為了使編解碼能并行進(jìn)行，從而更充分的利用多處理器的并行計(jì)算能力，以及達(dá)到最優(yōu)的負(fù)載平衡，HEVC使用了名為Tiles的新技術(shù)47-484950。首先把圖像分割成若干個(gè)由LCU組成的矩形區(qū)域，具體如圖2-15所示，每個(gè)矩形區(qū)域稱為Tile，Tile之間的編碼是相互獨(dú)立的。Tile的定義如下：(1) Tile必須是矩形形狀(2) Tile內(nèi)包含固定個(gè)數(shù)的LCU(3) T

25、ile的寬和高放在序列參數(shù)集或圖像參數(shù)集中(4) Tile之間編解碼無相關(guān)性，這點(diǎn)和Slice類似。(5) 使用Tiles并不改變碼流的光柵掃描傳送順序。(6) Tiles可以和Slice在幀內(nèi)共存(7) Tiles是編碼端的可選項(xiàng)圖2-15 3×3 Tiles分割和Slice比較，使用Tiles具有更好并行性。因?yàn)門iles是矩形分割，而Slice必須是以光柵掃描方式順序的LCU組成。另外，在一幀內(nèi)使用過多的Slice，就會(huì)增加Slice header的開銷。因此，使用Tiles能以更小的代價(jià)獲得更靈活的圖像分割，以及更好的并行性。2.7.2 WPP(Wavefront Paral

26、lel Processing)HEVC是以LCU為單位并按照光柵掃描的順序進(jìn)行編解碼，CABAC熵編碼的概率模型也隨著編碼過程更新。因此，HEVC的LCU之間具有很大的編碼相關(guān)性。具體如圖2-16所示。為了編碼當(dāng)前LCU（X），則必須先得到X的左、上、左上、右上LCU的相關(guān)信息，這樣才能進(jìn)行幀內(nèi)預(yù)測(cè)和MV預(yù)測(cè)。圖2-16 LCU光柵掃描編碼方式WPP51-525354的并行化處理是從不打斷LCU之間的相關(guān)性的角度進(jìn)行的，具體如圖2-17所示，每一個(gè)LCU行使用一個(gè)單獨(dú)的線程的進(jìn)行編解碼（圖2-17中共使用了4個(gè)線程），考慮到LCU之間的相關(guān)性，線程之間的編碼異步次序至少要錯(cuò)開兩個(gè)LCU，這樣就

27、可以使時(shí)域和空域預(yù)測(cè)得到足夠的相鄰LCU數(shù)據(jù)。 圖2-17 WPP方案由于CABAC的上下文概率模型是按光柵掃描的順序逐行更新的，按照這種方式，在第一行的線程沒有結(jié)束前，第二行的線程是無法啟動(dòng)的。在HEVC的早期版本中，曾經(jīng)嘗試在第二行重新初始化CABAC概率，但這樣做會(huì)造成編碼性能的降低，全I(xiàn)幀模式BD-rate降低0.7 %，隨機(jī)訪問模式降低5.9%，低延遲模式降低7.8% 。因此，提案53中提出，第二行延續(xù)使用第一行第2個(gè)LCU的概率，具體如圖2-18所示。圖2-18 WPP非首行CABAC概率設(shè)定從圖2-17可以看出WPP和Tiles這兩種并行化技術(shù)是兼容的，可以同時(shí)使用，實(shí)驗(yàn)結(jié)果也表

28、明這兩種技術(shù)可以在多處理器環(huán)境下，明顯減少編解碼時(shí)間。參考文獻(xiàn)1 Video Codec for Audiovisual Services at px64 kbit/s , ITU-T Rec. H.261,version 1: November. 1990, version 2: March. 1993.2 Video Coding for Low Bit Rate Communication, ITU-T Rec. H.263, November.1995 (and subsequent editions).3 Coding of Moving Pictures and Associate

29、d Audio for Digital Storage Media at up to About 1.5 Mbit/sPart 2: Video, ISO/IEC 11172-2 (MPEG-1), ISO/IEC JTC 1, 1993.4 Coding of Audio-Visual ObjectsPart 2: Visual, ISO/IEC 14496-2 (MPEG-4 Visual version 1), ISO/IEC JTC 1, April. 1999.5 Generic Coding of Moving Pictures and Associated Audio Infor

30、mation-Part 2: Video, ITU-T Rec. H.262 and ISO/IEC 13818-2 (MPEG 2 Video), ITU-T and ISO/IEC JTC 1, November. 1994.6 Advanced Video Coding for Generic Audio-Visual Services, ITU-T Rec.H.264 and ISO/IEC 14496-10 (AVC), ITU-T and ISO/IEC JTC 1, May 2003 (and subsequent editions).7 B. Bross, W.-J. Han,

31、 G. J. Sullivan, J.-R. Ohm, and T. Wiegand, High Efficiency Video Coding (HEVC) Text Specification Draft 9, JCT-VC-11th meeting, JCTVC-K1003, Shanghai, October. 2012.8 K. H. Lee, E. Alshina, J. H. Park, W. J. Han and J. H. Min, Technical considerations for Ad Hoc Group on New Challenges in Video Cod

32、ing Standardization, ISO/IEC MPEG 85th meeting, M15580, Hannover, Germany, 2008.9 E. Alshina , K. H. Lee, W. J. Han and J. H. Park, Technical considerations for Ad Hoc Group on New Challenges in Video Coding Standardization, ISO/IEC MPEG 86th meeting, M15899, Busan, Korea, 2008.10 S. Naito, A. Matsu

33、mura and A. Koike, Efficient coding scheme for super high definition video based on extending H.264 high profile, VCIP 2006, Januray. 2006.11 S. Ma and C.-C. Jay Kuo, High-definition video coding with super-macroblocks, VCIP 2007, Januray 2007.12 P. Chen, Y. Ye, and M. Karczewicz, “Video Coding Usin

34、g Extended Block Sizes,” ITU-T SG16/Q.6 Doc. VCEG-AJ23, San Diego, October. 2008.13 Tomonobu Yoshino, Sei Naito and Shigeyuki Sakazawa, Preliminary response for Draft Call for Evidence on High Performance Video Coding, M16082, February 200914 Shun-ichi Sekiguchi and Shuichi Yamagishi, On coding effi

35、ciency with extended block size for UHDTV, VCEG-C91, Januray 200915 K.Ugur, K.R.Andersson, A. Fuldseth, Description of video coding technology proposal by Tandberg, Nokia, Ericsson, JCT-VC-1st Meeting, JCTVC-A119, Dresden, April, 2010.16 Sandeep Kanumuri, TK Tan and Frank Bossen, Enhancements to Int

36、ra Coding, JCT-VC-4th Meeting, JCTVC-D235, Daegu, January , 2011.17 J. Lainem a, K. Ugur, and O. Bici, Planar intra coding for improved subjective video quality, JCT-VC-4th Meeting, JCTVC-D326, Daegu, January, 2011.18 Yongbing Lin,Lingzhi Liu,Changcai Lai,Jianhua Zheng, Simplified Planar Intra Predi

37、ction, JCT-VC-5th Meeting, JCTVC-E289, Geneva , March, 201119 J. Kim, S.W. Park, et al, New intra chroma prediction using inter-channel correlation, JCT-VC-2nd Meeting, JCTVC-B021, Geneva, July 2010 20 J.Chen, V.Seregin, Chroma intra prediction by reconstructed luma samples, JCT-VC-3rd Meeting, JCTV

38、C-C206, Guangzhou, October, 2010.21 J.Chen, V. Seregin, S. Lee, W. Han, J. Kim, B.M. Jeon, Chroma intra prediction by reconstructed luma samples, JCT-VC-4th Meeting, JCTVC-D350, Daegu, January, 2011.22 J.Chen,Vadim Seregin,Woo-Jin Han, Chroma intra prediction by reconstructed luma samples, JCT-VC-5t

39、h Meeting , JCTVC-E266, Geneva, March, 201123 Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, Overview of the High Efficiency Video Coding(HEVC) Standard, IEEE Transactions on Circuits and Systems for Video Technology, 2012:22(12): 1649166824 Ken McCann,Woo-Jin Han,Il-Koo Kim, Samsun

40、gs Response to the Call for Proposals on Video Compression Technology,JCT-VC-1st Meeting, JCTVC-A124, Dresden, April, 201025 E. Francois, L.Guillo, A. Ichigaya, H.Yu, TE12.2: Technicolor & INRIA report on AMP evaluation, JCT-VC-3rd Meeting, JCTVC-C030, Guangzhou, April 2010.26 A.Ichigaya, K. Igu

41、chi, TE12.2: Report on asymmetric motion prediction unit (AMP) on/off, JCT-VC-3rd Meeting, JCTVC-C149, Guangzhou, April 2010.27 Il-Koo Kim, P. Chen, L. Guo, CE2: Test results of asymmetric motion partition (AMP) with overlapped block motion compensation (OBMC), JCT-VC-5th Meeting, JCTVC-E316, Geneva

42、, March 2011.28 Kazuo Sugimoto, Akira Minezawa, Shun-ichi Sekiguchi, TE12.2 report on MV prediction AMVP/IMVP, JCT-VC-3rd Meeting, JCTVC-C119, Guangzhou, April 2010.29 Joonyoung Park, Seungwook Park, Byeongmoon Jeon, Wei-Jung Chien, Marta Karczewicz , Improvements on median motion vectors of AMVP ,J

43、CT-VC-4th Meeting, JCTVC-D095, Daegu, January 2010.30 Kazushi Sato, Consideration on AMVP, JCT-VC-4th Meeting, JCTVC-D303, Daegu, January 2010.31 Il-Koo Kim, Tammy Lee, Improved motion vector predictor selection in AMVP, JCT-VC-4th Meeting, JCTVC-D337, Daegu, January 2010.32 Ankur Saxena, Felix C. F

44、ernandes, Jointly optimal intra prediction and adaptive primary transform, JCT-VC-3rd Meeting. JCTVC-C108, Guangzhou, October, 2010.33 Xin Zhao, Li Zhang, Siwei Ma, Wen Gao, Simplified multiplierless 4x4 DST for intra prediction residue, JCT-VC-4th Meeting, JCTVC-D286, Daegu, January, 2011.34 A.Saxe

45、na,F.Fernandes, CE7: Mode-dependent DCT/DST without 4*4 full matrix multiplication for intra prediction, JCT-VC-5th Meeting , JCTVC-E125, Geneva, March, 2011.35 Youji Shibahara, Takahiro Nishi, Consideration of reference pixel availability for mode-dependent DCT/DST decision, JCT-VC-6th Meeting, JCT

46、VC-F225, Torino, July, 2011.36 A.Ichigaya, Y.Sugito, S.Sakaida, CE7.5: Performance analysis of adaptive DCT/DST selection, JCT-VC-6th Meeting, JCTVC-F229, Torino, July, 2011.37 M.Mrak, A.Gabriellini, N.Sprljan, D.Flynn, Transform skip mode, JCT-VC-6th Meeting, JCTVC-F077, Torino, July, 2011.38 M.Mra

47、k, A.Gabriellini, D.Flynn, Results for SCC with Transform Skip Mode, JCT-VC-6th Meeting, JCTVC-F770, Torino, July, 2011.39 Marta Mrak, Andrea Gabriellini, David Flynn, Transform skip mode, JCT-VC-7th Meeting, JCTVC-G575, Geneva, November, 2011.40 M.Naccari, A.Gabriellini, M.Mrak, Quantization for tr

48、ansform skipping, JCT-VC-8th Meeting, JCTVC- H0208, San Jose, January, 2012.41 C.Lan, J.Xu, G.J.Sullivan, F.Wu, Intra transform skipping, JCT-VC-9th Meeting, JCTVC-I0408, Geneva, April, 2012.42 L.Zhao, J.An, Y-W.Huang, S.Lei, D.Zhao, Simplification for intra transform skip mode, JCT-VC-10th Meeting, JCTVC-J0389, Stockholm, July, 2012.43 Chih-Ming Fu, Chi