第10章-3_H.264AVC課件

1、數(shù)字視頻技術數(shù)字視頻技術 H.264/AVCH.264/AVC目目4 4技技術術簡簡介介lA AV VS S介介紹紹lH H. .2 26 64 4/ /A AV VS S核心技術核心技術視頻編碼技術視頻編碼技術GVGVTMTM Codec Codecn高壓縮比、高圖像質量高壓縮比、高圖像質量300Kbps700Kbps300Kbps700Kbps碼率時，圖像質量達到碼率時，圖像質量達到或超過或超過1.5Mbps1.5Mbps的的VCDVCD節(jié)目節(jié)目1Mbps1.5Mbps1Mbps1.5Mbps碼率時，圖像質量達到或碼率時，圖像質量達到或超過超過4M6Mbps4M6Mbps的的DVDDVD節(jié)

2、目節(jié)目nCIFCIF大小，每秒大小，每秒2525幀幀(PAL(PAL制式）、制式）、3030幀幀(NTSC(NTSC制式）制式）, ,實時編碼。實時編碼。一、技術標準概述一、技術標準概述ITU國際電聯(lián)國際電聯(lián)ISO國際標準組織國際標準組織H.261H.263/+/+H.26LMPEG-1MPEG-2MPEG-4H.264MPEG-4 AVCH.262ISO/IEC ISO/IEC 推出的推出的MPEGMPEG系列壓縮標準系列壓縮標準 MPEG-1, MPEG-2, MPEG-4MPEG-1, MPEG-2, MPEG-4ITU-TITU-T推出的推出的H.26XH.26X系列壓縮標準系列壓縮標

3、準 H.261, H.262, H.263, H.263+, H.263+H.261, H.262, H.263, H.263+, H.263+ ISO-IEC/TC1/SC29 WG1:JPEG,JPEG2000 WG11: MPEG-1,MPEG-2,MPEG-4,MPEG-7,MPEG-21 ITU-T H.261,H.263,H26L ISO-ITU(video) JVT JVT是由是由ISO/IEC MPEG和和ITU-T VCEG成立的聯(lián)成立的聯(lián)合視頻工作組（合視頻工作組（Joint Video Team），致力于），致力于新一代數(shù)字視頻壓縮標新一代數(shù)字視頻壓縮標準的制定。準的制定

4、。 JVT標準標準 在在ISO/IEC中的正式名稱為：中的正式名稱為：MPEG-4 AVC標準標準 在在ITU-T中的名稱為：中的名稱為：H.264（早期被稱為（早期被稱為H.26L）4 4技技術術lA AV VS S介介紹紹v采用幀內(nèi)預測編碼采用幀內(nèi)預測編碼v多種形式的運動補償宏塊多種形式的運動補償宏塊v運動矢量的運動矢量的1/4像素精度搜索像素精度搜索v預測殘差為預測殘差為44像素的像素的DCT編碼編碼 v統(tǒng)一的變長編碼碼表統(tǒng)一的變長編碼碼表 v采用基于上下文的自適應算術編碼采用基于上下文的自適應算術編碼TestH.26L TML-82B+5/25R+AC+1/4v1MPEG-2 RM 5

5、SW ver. 1.2H.26L MPEG-2 YCBCRYCBCRYCBCR1024 kbps CIF 30 fpsMobile34.936.737.227.732.332.5 7.2 4.4 4.7Template35.537.139.031.134.836.7 4.4 2.3 2.3 A vg 5.8 3.4 3.529293030313132323333343435353636373732kbps32kbps64kbps64kbps128kbps128kbpsH.264H.264MPEG-4MPEG-4252527272929313133333535256kbps256kbps512k

6、bps512kbps1024kbps1024kbpsH.264H.264MPEG-4MPEG-4MPEG-4 Adv. Simple 1 Mb/s (left), vs. H.26L 512 kbps (right), Mobile, frame 40. Subjectively, the H.264 sequence seems to be slightly preferred, at half the bit rate. 中國科學院計算技術研究所中國科學院計算技術研究所 信息產(chǎn)業(yè)部電子第五研究所信息產(chǎn)業(yè)部電子第五研究所 清華大學、北京廣播學院等高校清華大學、北京廣播學院等高校 微軟亞洲研究

7、院、飛利浦東亞研究室微軟亞洲研究院、飛利浦東亞研究室 深圳市中興通訊股份有限公司深圳市中興通訊股份有限公司 北京時代互動傳媒技術有限公司北京時代互動傳媒技術有限公司二、標準的知識產(chǎn)權與收費二、標準的知識產(chǎn)權與收費 標準收費是把標準收費是把“雙刃劍雙刃劍” 收費收費: 維護把先進技術放進標準的積極性維護把先進技術放進標準的積極性 免費免費: 快速推廣和實施快速推廣和實施,通過產(chǎn)品盈利通過產(chǎn)品盈利 MPEG-1, H.263: 很少收費案例出現(xiàn)很少收費案例出現(xiàn) MPEG-2: MPEG LA根據(jù)解碼器收費根據(jù)解碼器收費(4$) MPEG-4: 不僅對編解碼器收費不僅對編解碼器收費,還對運營還對運營

8、商按時間收費商按時間收費?正在爭議之重正在爭議之重 JVT： 新策略，將開始討論收費新策略，將開始討論收費 以前，我國在信源編碼標準技術方面較為被動，以前，我國在信源編碼標準技術方面較為被動，一般直接接受國際一般直接接受國際MPEG標準標準 VCDMPEG-1 DVD/SDTV/HDTVMPEG-2 國內(nèi)對于信道編碼的研發(fā)比較重視，對于信源國內(nèi)對于信道編碼的研發(fā)比較重視，對于信源編碼技術多采用編碼技術多采用“拿來主義拿來主義” 國內(nèi)目前所有的數(shù)字媒體編碼標準都考慮采用國內(nèi)目前所有的數(shù)字媒體編碼標準都考慮采用MPEG-2或或MPEG-4標準，都躲不開專利問題標準，都躲不開專利問題 時代互動已成為

9、時代互動已成為AVS的正式會員單位，并積極的正式會員單位，并積極參與其各項工作參與其各項工作 時代互動作為發(fā)起單位之一，正在與其他股東時代互動作為發(fā)起單位之一，正在與其他股東單位一起爭取早日建立國家多媒體工程中心，單位一起爭取早日建立國家多媒體工程中心，力爭在國家音視頻編碼標準制定、標準應用、力爭在國家音視頻編碼標準制定、標準應用、市場推廣方面做出自己的貢獻市場推廣方面做出自己的貢獻H H. .2 26 64 4/ /H.264H.264編解碼器特點編解碼器特點 H.264 H.264并不明確地規(guī)定一個編解碼器如何實現(xiàn)，并不明確地規(guī)定一個編解碼器如何實現(xiàn)，而是規(guī)定了一個編碼的視頻比特流的句法，

10、和而是規(guī)定了一個編碼的視頻比特流的句法，和該比特流的解碼方法，各個廠商的編碼器和解該比特流的解碼方法，各個廠商的編碼器和解碼器在此框架下應能夠互通，在實現(xiàn)上具有較碼器在此框架下應能夠互通，在實現(xiàn)上具有較大靈活性，而且有利于相互競爭。大靈活性，而且有利于相互競爭。H H. .2 26 64 4/ /H.264H.264編碼器編碼器 編碼器采用的仍是變換和預測的混合編碼法。輸入的幀或場編碼器采用的仍是變換和預測的混合編碼法。輸入的幀或場FnFn以宏塊為以宏塊為單位被編碼器處理。首先，按幀內(nèi)或幀間預測編碼的方法進行處理。單位被編碼器處理。首先，按幀內(nèi)或幀間預測編碼的方法進行處理。如果采用幀內(nèi)預測編碼

11、，其預測值如果采用幀內(nèi)預測編碼，其預測值PREDPRED（圖中用（圖中用P P表示）是由當前片中表示）是由當前片中前面已編碼的參考圖像經(jīng)運動補償（前面已編碼的參考圖像經(jīng)運動補償（MCMC）后得出，其中參考圖像用）后得出，其中參考圖像用F Fn-n-1 1表示。為了提高預測精度，從而提高壓縮比，實際的參考圖像可在過表示。為了提高預測精度，從而提高壓縮比，實際的參考圖像可在過去或未來（指顯示次序上）已編碼解碼重建和濾波的幀中進行選擇。去或未來（指顯示次序上）已編碼解碼重建和濾波的幀中進行選擇。預測值預測值PREDPRED和當前塊相減后，產(chǎn)生一個殘差塊和當前塊相減后，產(chǎn)生一個殘差塊DnDn，經(jīng)塊變換

12、、量化后產(chǎn)，經(jīng)塊變換、量化后產(chǎn)生一組量化后的變換系數(shù)生一組量化后的變換系數(shù)X X，再經(jīng)熵編碼，與解碼所需的一些邊信息，再經(jīng)熵編碼，與解碼所需的一些邊信息（如預測模式量化參數(shù)、運動矢量等）一起組成一個壓縮后的碼流。（如預測模式量化參數(shù)、運動矢量等）一起組成一個壓縮后的碼流。正如上述，為了提供進一步預測用的參考圖像，編碼器必須有重建圖像正如上述，為了提供進一步預測用的參考圖像，編碼器必須有重建圖像的功能。因此必須使殘差圖像經(jīng)反量化、反變換后得到的的功能。因此必須使殘差圖像經(jīng)反量化、反變換后得到的DnDn與預測值與預測值P P相加，得到相加，得到uFnuFn（未經(jīng)濾波的幀）。為了去除編碼解碼環(huán)路中產(chǎn)

13、生的噪（未經(jīng)濾波的幀）。為了去除編碼解碼環(huán)路中產(chǎn)生的噪聲，為了提高參考幀的圖像質量，從而提高壓縮圖像性能，設置了一個聲，為了提高參考幀的圖像質量，從而提高壓縮圖像性能，設置了一個環(huán)路濾波器，濾波后的輸出環(huán)路濾波器，濾波后的輸出FnFn即重建圖像可用作參考圖像。即重建圖像可用作參考圖像。H H. .2 26 64 4/ /H.264H.264解碼器解碼器 由圖由圖1 1可知，由編碼器的可知，由編碼器的NALNAL輸出一個壓縮后的輸出一個壓縮后的H.264H.264壓縮比特流。由圖壓縮比特流。由圖2 2，經(jīng)熵解碼得到量化后的，經(jīng)熵解碼得到量化后的一組變換系數(shù)一組變換系數(shù)X X，再經(jīng)反量化、反變換，

14、得到殘差，再經(jīng)反量化、反變換，得到殘差DnDn。利用從該比特流中解碼出的頭信息，解碼器。利用從該比特流中解碼出的頭信息，解碼器就產(chǎn)生一個預測塊就產(chǎn)生一個預測塊PREDPRED，它和編碼器中的原始，它和編碼器中的原始PREDPRED是相同的。當該解碼器產(chǎn)生的是相同的。當該解碼器產(chǎn)生的PREDPRED與殘差與殘差DnDn相加相加后，就產(chǎn)生后，就產(chǎn)生uFuuFu，再經(jīng)濾波后，最后就得到濾波，再經(jīng)濾波后，最后就得到濾波后的后的FnFn，這個，這個FnFn就是最后的解碼輸出圖像。就是最后的解碼輸出圖像。H H. .2 26 64 4/ /圖1 H.264編碼器H H. .2 26 64 4/ /圖2 H

15、.264解碼器H H. .2 26 64 4/ /名詞解釋名詞解釋場和幀場和幀 視頻的一場或一幀可用來產(chǎn)生一個編碼圖像。在電視頻的一場或一幀可用來產(chǎn)生一個編碼圖像。在電視中，為減少大面積閃爍現(xiàn)象，把一幀分成兩個隔視中，為減少大面積閃爍現(xiàn)象，把一幀分成兩個隔行的場。行的場。H H. .2 26 64 4/ /名詞解釋名詞解釋宏塊、片宏塊、片: : 一個編碼圖像通常劃分成若干宏塊組成，一個一個編碼圖像通常劃分成若干宏塊組成，一個宏塊由一個宏塊由一個16161616亮度像素和附加的一個亮度像素和附加的一個8 88 Cb8 Cb和一個和一個8 88 Cr8 Cr彩色像素塊組成。每個圖象中，若干宏塊被排

16、列成彩色像素塊組成。每個圖象中，若干宏塊被排列成片的形式。片的形式。I I片只包含片只包含I I宏塊，宏塊，P P片可包含片可包含P P和和I I宏塊，而宏塊，而B B片可包含片可包含B B和和I I宏宏塊。塊。I I宏塊利用從當前片中已解碼的像素作為參考進行幀內(nèi)預測。宏塊利用從當前片中已解碼的像素作為參考進行幀內(nèi)預測。P P宏塊利用前面已編碼圖象作為參考圖象進行幀內(nèi)預測，宏塊利用前面已編碼圖象作為參考圖象進行幀內(nèi)預測，一個幀內(nèi)編碼的宏塊可進一步作宏塊的分割：即一個幀內(nèi)編碼的宏塊可進一步作宏塊的分割：即16161616、16168 8、8 81616或或8 88 8亮度像素塊（以及附帶的彩色像

17、素）；亮度像素塊（以及附帶的彩色像素）；如果選了如果選了8 88 8的子宏塊，則可再分成各種子宏塊的分割，其的子宏塊，則可再分成各種子宏塊的分割，其尺寸為尺寸為8 88 8、8 84 4、4 48 8或或4 44 4亮度像素塊（以及附帶的彩亮度像素塊（以及附帶的彩色像素）。色像素）。B B宏塊則利用雙向的參考圖象（當前和未來的已編碼圖象幀）宏塊則利用雙向的參考圖象（當前和未來的已編碼圖象幀）進行幀內(nèi)預測。進行幀內(nèi)預測。H H. .2 26 64 4/ /檔次和級檔次和級 H.264H.264規(guī)定了三種檔次，每個檔次支持一組特定的編碼功能，規(guī)定了三種檔次，每個檔次支持一組特定的編碼功能，并支持一

18、類特定的應用。并支持一類特定的應用。1 1）基本檔次：利用）基本檔次：利用I I片和片和P P片支持幀內(nèi)和幀間編碼，支持利片支持幀內(nèi)和幀間編碼，支持利用基于上下文的自適應的變長編碼進行的熵編碼（用基于上下文的自適應的變長編碼進行的熵編碼（CAVLCCAVLC）。）。主要主要用于可視電話、會議電視、無線通信等實時視頻通信用于可視電話、會議電視、無線通信等實時視頻通信；2 2）主要檔次：支持隔行視頻，采用）主要檔次：支持隔行視頻，采用B B片的幀間編碼和采用加片的幀間編碼和采用加權預測的幀內(nèi)編碼；支持利用基于上下文的自適應的算術編權預測的幀內(nèi)編碼；支持利用基于上下文的自適應的算術編碼（碼（CABA

19、CCABAC）。）。主要用于數(shù)字廣播電視與數(shù)字視頻存儲主要用于數(shù)字廣播電視與數(shù)字視頻存儲；3 3）擴展檔次：支持碼流之間有效的切換（）擴展檔次：支持碼流之間有效的切換（SPSP和和SISI片）、改片）、改進誤碼性能（數(shù)據(jù)分割），但不支持隔行視頻和進誤碼性能（數(shù)據(jù)分割），但不支持隔行視頻和CABACCABAC。主主要用于網(wǎng)絡的視頻流，如視頻點播要用于網(wǎng)絡的視頻流，如視頻點播圖圖3 3為為H.264H.264各個檔次具有的不同功能，可見擴展檔次包括了各個檔次具有的不同功能，可見擴展檔次包括了基本檔次的所有功能，而不能包括主要檔次的。每一檔次設基本檔次的所有功能，而不能包括主要檔次的。每一檔次設置不

20、同參數(shù)（如取樣速率、圖像尺寸、編碼比特率等），得置不同參數(shù)（如取樣速率、圖像尺寸、編碼比特率等），得到編解碼器性能不同的級。到編解碼器性能不同的級。H H. .2 26 64 4/ /圖3 H.264檔次H H. .2 26 64 4/ /編碼數(shù)據(jù)格式編碼數(shù)據(jù)格式 H.264H.264支持支持4:2:04:2:0的逐行或隔行視頻的編碼和解碼。的逐行或隔行視頻的編碼和解碼。H H. .2 26 64 4/ /參考圖像參考圖像 可從一組前面或后面已編碼圖像中選出一個或兩個可從一組前面或后面已編碼圖像中選出一個或兩個與當前最匹配的圖像作為幀間編碼間的參數(shù)圖像，與當前最匹配的圖像作為幀間編碼間的參數(shù)圖

21、像，H.264H.264中最多可從中最多可從1515個參考圖像中進行選擇，選出個參考圖像中進行選擇，選出最佳的匹配圖像。最佳的匹配圖像。對于對于P P片中幀間編碼宏塊可從表片中幀間編碼宏塊可從表“0 0”中選擇參數(shù)圖中選擇參數(shù)圖像；對于像；對于B B片中的幀間編碼宏塊和宏塊分割的預測，片中的幀間編碼宏塊和宏塊分割的預測，可從表可從表“0 0”和和“1 1”中選擇參考圖像。中選擇參考圖像。H H. .2 26 64 4/ / 片和片組片和片組 片片一個視頻圖像可編碼成一個或更多個片，每片包含一個視頻圖像可編碼成一個或更多個片，每片包含整數(shù)個宏塊（整數(shù)個宏塊（MBMB），即每片至少一個），即每片至

22、少一個MBMB，最多時每，最多時每片包含整個圖像的宏塊。片包含整個圖像的宏塊。設片的目的是為了限制誤碼的擴散和傳輸，使編碼設片的目的是為了限制誤碼的擴散和傳輸，使編碼片相互間是獨立的。某片的預測不能以其它片中的片相互間是獨立的。某片的預測不能以其它片中的宏塊為參考圖像，這樣某一片中的預測誤差才不會宏塊為參考圖像，這樣某一片中的預測誤差才不會傳播到其它片中去。傳播到其它片中去。 編碼片共有編碼片共有5 5種不同類型，種不同類型，I I片、片、P P片、片、B B片外，還片外，還有有SPSP片和片和SISI片。其中片。其中SPSP（切換（切換P P）是用于不同編碼）是用于不同編碼流之間的切換。流之

23、間的切換。H H. .2 26 64 4/ / 圖4 片的句法結構H H. .2 26 64 4/ / 片和片組片和片組 片組片組 片組是一個編碼圖象中若干片組是一個編碼圖象中若干MBMB的一個子集，它可包的一個子集，它可包含一個或若干個片。含一個或若干個片。在一個片組中，每片的在一個片組中，每片的MBMB按光柵掃描次序被編碼，按光柵掃描次序被編碼，如果每幅圖象僅取一個片組，則該圖象中所有的如果每幅圖象僅取一個片組，則該圖象中所有的MBMB均按光柵掃描次序被編碼。均按光柵掃描次序被編碼。還有一種片組，叫靈活宏塊次序（還有一種片組，叫靈活宏塊次序（FMOFMO），它可用靈），它可用靈活的方法，把

24、編碼活的方法，把編碼MBMB序列映射到解碼圖象中序列映射到解碼圖象中MBMB的分的分配用配用MBMB到片組之間的映射來確定，它表示每一個到片組之間的映射來確定，它表示每一個MBMB屬于哪個片組。表屬于哪個片組。表1 1 為為MBMB到片組的各種映射類型。到片組的各種映射類型。H H. .2 26 64 4/ / 表1 MB到片組的映射H H. .2 26 64 4/ / 圖5 交錯型片組 圖6 散亂型片組圖7 前景和背景型片組H H. .2 26 64 4/ / 圖8 片組幀幀內(nèi)內(nèi)在幀內(nèi)預測模式中，預測塊在幀內(nèi)預測模式中，預測塊P P是基于已編碼重建塊是基于已編碼重建塊和當前塊形成的。對亮度像

25、素而言，和當前塊形成的。對亮度像素而言，P P塊用于塊用于4 44 4子塊或者子塊或者16161616宏塊的相關操作。宏塊的相關操作。4 44 4亮度子塊有亮度子塊有9 9種可選預測模式，獨立預測每一個種可選預測模式，獨立預測每一個4 44 4亮度子塊，亮度子塊，適用于帶有大量細節(jié)的圖像編碼；適用于帶有大量細節(jié)的圖像編碼；16161616亮度塊有亮度塊有4 4種預測模式，預測整個種預測模式，預測整個16161616亮度塊，適用于平亮度塊，適用于平坦區(qū)域圖像編碼；色度塊也有坦區(qū)域圖像編碼；色度塊也有4 4種預測模式，類似種預測模式，類似于于16161616亮度塊預測模式。編碼器通常選擇使亮度塊預

26、測模式。編碼器通常選擇使P P塊塊和編碼塊之間差異最小的預測模式。和編碼塊之間差異最小的預測模式。幀幀內(nèi)內(nèi)4 44 4亮度預測模式亮度預測模式 如圖如圖6.146.14所示，所示，4 44 4亮度塊的上方和左方像素亮度塊的上方和左方像素A AM M為已編碼和重構像素，用作編解碼器中的預測參考為已編碼和重構像素，用作編解碼器中的預測參考像素。像素。a ap p為待預測像素，利用為待預測像素，利用A AM M值和值和9 9種模式種模式實現(xiàn)。其中模式實現(xiàn)。其中模式2(DC2(DC預測預測) )根據(jù)根據(jù)A AM M中已編碼像素中已編碼像素預測，而其余模式只有在所需預測像素全部提供才預測，而其余模式只有

27、在所需預測像素全部提供才能使用。圖能使用。圖6.156.15箭頭表明了每種模式預測方向。對箭頭表明了每種模式預測方向。對模式模式3 38 8，預測像素由，預測像素由A AM M加權平均而得。例如，加權平均而得。例如，模式模式4 4中，中，d=round(B/4+C/2+D/4)d=round(B/4+C/2+D/4)。幀幀內(nèi)內(nèi) 圖1幀幀內(nèi)內(nèi) a) b)圖2 a)利用像素A-M對方塊中a-p像素進行幀內(nèi)44預測b)幀內(nèi)44 預測的8個預測方向幀幀內(nèi)內(nèi) 圖3 44亮度塊預測模式幀幀內(nèi)內(nèi)塊塊的的最最佳佳模模式式是是：模模式式7 (vertical-right)幀幀內(nèi)內(nèi)圖圖4 4 幀幀內(nèi)內(nèi)161616

28、16亮度預測模式亮度預測模式 宏塊的全部宏塊的全部16161616亮度成分可以整體預測，有亮度成分可以整體預測，有4 4種種預測模式，如表預測模式，如表2 2和圖和圖5 5所示。所示。圖5 1616預測模式幀幀內(nèi)內(nèi)表2 1616預測模式幀幀內(nèi)內(nèi) 圖6 1616 宏塊圖7 幀內(nèi) 1616 預測塊舉例：圖6給出了一個左上方像素已編碼的亮度宏塊。圖7 給出了4種預測模式預測結果。其中模式 3最匹配原始宏塊。幀內(nèi)1616模式適用于圖像平坦區(qū)域預測。幀幀內(nèi)內(nèi)8 88 8色度塊預測模式色度塊預測模式 每個幀內(nèi)編碼宏塊的每個幀內(nèi)編碼宏塊的8 88 8色度成分由已編碼左上方色色度成分由已編碼左上方色度像素預測

29、而得，兩種色度成分常用同一種預測模式。度像素預測而得，兩種色度成分常用同一種預測模式。4 4種預測模式類似于幀內(nèi)種預測模式類似于幀內(nèi)16161616預測的預測的4 4種預測模式，種預測模式，只是模式編號不同。其中只是模式編號不同。其中DCDC（模式（模式0 0）、水平（模式）、水平（模式1 1）、垂直（模式）、垂直（模式2 2）、平面（模式）、平面（模式3 3）。）。幀幀內(nèi)內(nèi)的的最最優(yōu)優(yōu)預預測測模模式式均均是是預預測測模模式式2 2，那那么么，最最可可能能當當前前塊塊C C的的最最優(yōu)優(yōu)預預測測模模式式是是模模式式2 2圖8 幀內(nèi)預測模式編碼幀幀內(nèi)內(nèi)幀幀內(nèi)內(nèi)幀幀內(nèi)內(nèi)幀幀間間樹狀結構運動補償樹狀結

30、構運動補償 每個宏塊（每個宏塊（16161616像素）可以像素）可以4 4種方式分割：一個種方式分割：一個16161616，兩個，兩個16168 8，兩個，兩個8 81616，四個，四個8 88 8。其運。其運動補償也相應有四種。而動補償也相應有四種。而8 88 8分割還可以有四種方分割還可以有四種方式的分割：一個式的分割：一個8 88 8，兩個，兩個4 48 8或兩個或兩個8 84 4及及4 4個個4 44 4。這種分割下的運動補償則稱為樹狀結構運動。這種分割下的運動補償則稱為樹狀結構運動補償。補償。幀幀間間圖1 宏塊分割幀幀間間樹狀結構運動補償樹狀結構運動補償 每個分割或子宏塊都有一個獨立

31、的運動補償。每個每個分割或子宏塊都有一個獨立的運動補償。每個MVMV必須被編碼、傳輸，分割的選擇也需編碼到壓縮必須被編碼、傳輸，分割的選擇也需編碼到壓縮比特流中。對大的分割尺寸而言，比特流中。對大的分割尺寸而言，MVMV選擇和分割類選擇和分割類型只需少量的比特，但運動補償殘差在多細節(jié)區(qū)域型只需少量的比特，但運動補償殘差在多細節(jié)區(qū)域能量將非常高。小尺寸分割運動補償殘差能量低，能量將非常高。小尺寸分割運動補償殘差能量低，但需要較多的比特表征但需要較多的比特表征MVMV和分割選擇。分割尺寸的和分割選擇。分割尺寸的選擇影響了壓縮性能。整體而言，大的分割尺寸適選擇影響了壓縮性能。整體而言，大的分割尺寸適

32、合平坦區(qū)域，而小尺寸適合多細節(jié)區(qū)域。合平坦區(qū)域，而小尺寸適合多細節(jié)區(qū)域。幀幀間間宏塊的色度成分（宏塊的色度成分（CrCr和和CbCb）則為相應亮度的一半）則為相應亮度的一半（水平和垂直各一半）。色度塊采用和亮度塊同樣（水平和垂直各一半）。色度塊采用和亮度塊同樣的分割模式，只是尺寸減半（水平和垂直方向都減的分割模式，只是尺寸減半（水平和垂直方向都減半）。例如，半）。例如，8 81616的亮度塊相應色度塊尺寸為的亮度塊相應色度塊尺寸為4 48 8，8 84 4亮度塊相應色度塊尺寸為亮度塊相應色度塊尺寸為4 42 2等等。色等等。色度塊的度塊的MVMV也是通過相應亮度也是通過相應亮度MVMV水平和垂

33、直分量減半水平和垂直分量減半而得。而得。舉例舉例：如圖：一個殘差幀（沒有進行運動補償）。：如圖：一個殘差幀（沒有進行運動補償）。H.264H.264編碼器為幀的每個部分選擇了最佳分割尺寸，編碼器為幀的每個部分選擇了最佳分割尺寸，使傳輸信息量最小，并將選擇的分割加到殘差幀上。使傳輸信息量最小，并將選擇的分割加到殘差幀上。在幀變化小的區(qū)域（殘差顯示灰色），選擇在幀變化小的區(qū)域（殘差顯示灰色），選擇16161616分割；多運動區(qū)域（殘差顯示黑色或白色），選擇分割；多運動區(qū)域（殘差顯示黑色或白色），選擇更有效的小的尺寸。更有效的小的尺寸。幀幀間間圖2 殘差幀幀幀間間運動矢量運動矢量幀間編碼宏塊的每個分

34、割或者子宏塊都是從參考圖幀間編碼宏塊的每個分割或者子宏塊都是從參考圖像某一相同尺寸區(qū)域預測而得。兩者之間的差異像某一相同尺寸區(qū)域預測而得。兩者之間的差異（MVMV）對亮度成分采用）對亮度成分采用1/41/4像素精度，色度像素精度，色度1/81/8像素像素精度。亞像素位置的亮度和色度像素并不存在于參精度。亞像素位置的亮度和色度像素并不存在于參考圖像中，需利用鄰近已編碼點進行內(nèi)插而得。圖考圖像中，需利用鄰近已編碼點進行內(nèi)插而得。圖中，當前幀的中，當前幀的4 44 4塊通過鄰近參考圖像相應區(qū)域預塊通過鄰近參考圖像相應區(qū)域預測。如果測。如果MVMV的垂直和水平分量為整數(shù)，參考塊相應的垂直和水平分量為整

35、數(shù)，參考塊相應像素實際存在（灰色點）。如果其中一個或兩個為像素實際存在（灰色點）。如果其中一個或兩個為分數(shù)，預測像素（灰色點）通過參考幀中相應像素分數(shù)，預測像素（灰色點）通過參考幀中相應像素（白色點）內(nèi)插獲得。（白色點）內(nèi)插獲得。幀幀間間圖3 亮度半像素位置內(nèi)插幀幀間間內(nèi)插像素生成：內(nèi)插像素生成：生成參考圖像亮度成分半像素像素。半像素點（如生成參考圖像亮度成分半像素像素。半像素點（如b,h,mb,h,m）通過對相應整像素點進行）通過對相應整像素點進行6 6抽頭濾波得出，權重抽頭濾波得出，權重為（為（1/32 ,-5/32 ,5/8, 5/8, -5/32, 1/321/32 ,-5/32 ,5

36、/8, 5/8, -5/32, 1/32）。）。 （6.16.1）類似的，類似的，h h由由A A、C C、G G、M M、R R、T T濾波得出。一旦鄰近濾波得出。一旦鄰近（垂直或水平方向）半素點的所有像素都計算出，剩余（垂直或水平方向）半素點的所有像素都計算出，剩余的半像素點便可以通過對的半像素點便可以通過對6 6個垂直或水平方向的半像素個垂直或水平方向的半像素點濾波而得。例如，點濾波而得。例如，j j由由cc, dd, h,m,ee,ffcc, dd, h,m,ee,ff濾波得出。濾波得出。這里說明的是，這里說明的是，6 6抽頭濾器比較復雜，但可明顯改善運抽頭濾器比較復雜，但可明顯改善運

37、動補償性能。動補償性能。幀幀間間圖4 亮度1/4像素內(nèi)插半像素點計算出來以后，1/4像素點就可通過線性內(nèi)插得出，如圖4所示。1/4像素點（如a, c, i, k, d, f, n, q）由鄰近像素內(nèi)插而得，如 剩余1/4像素點（p, r）由一對對角半像素點線性內(nèi)插得出。如，e由b和h獲得。幀幀間間圖5 色度1/8像素內(nèi)插相應地，色度像素需要1/8精度的MV，也同樣通過整像素地線性內(nèi)插得出，如圖5所示。（6.3）幀幀間間MVMV預測預測 每個分割每個分割MVMV的編碼需要相當數(shù)目的比特，特別是使的編碼需要相當數(shù)目的比特，特別是使用小分割尺寸時。為減少傳輸比特數(shù)，可利用鄰近用小分割尺寸時。為減少傳

38、輸比特數(shù)，可利用鄰近分割的分割的MVMV較強的相關性，較強的相關性，MVMV可由鄰近已編碼分割的可由鄰近已編碼分割的MVMV預測而得。預測而得。幀幀間間B B片預測片預測 B B片中的幀間編碼宏塊的每個子塊都是由一個或兩片中的幀間編碼宏塊的每個子塊都是由一個或兩個參考圖像預測而得。該參考圖像在當前圖像的前個參考圖像預測而得。該參考圖像在當前圖像的前面或者后面。參考圖像存儲于編解碼器中，其選擇面或者后面。參考圖像存儲于編解碼器中，其選擇有多種方式。圖有多種方式。圖6 6顯示了三種方式：一個前向和一顯示了三種方式：一個前向和一個后向的；兩個前向；兩個后向個后向的；兩個前向；兩個后向。幀幀間間圖6

39、. 預測幀幀間間 參考圖像參考圖像B B片用到了兩個已編碼圖像列表：片用到了兩個已編碼圖像列表：list0list0和和list1list1，幀幀間間 參考圖像參考圖像B B片用到了兩個已編碼圖像列表：片用到了兩個已編碼圖像列表：list0list0和和list1list1，幀幀間間舉例舉例：一個：一個H.264H.264解碼器存儲了解碼器存儲了6 6幅短期參考圖像。幅短期參考圖像。其其POCPOC分別為：分別為：123123，125125，126126，128128，129129和和130130。當前圖像為當前圖像為127127。所有。所有6 6幅短期參考圖像在幅短期參考圖像在list0li

40、st0和和list1list1中都標為中都標為“作用參考作用參考”，如表所示。，如表所示。表1幀幀間間 預測模式選擇預測模式選擇 B B片的預測方式包括：宏塊分割方式、雙向選擇方片的預測方式包括：宏塊分割方式、雙向選擇方式、參考列表選擇方式等等。具體說，式、參考列表選擇方式等等。具體說，B B片中宏塊片中宏塊分割可由多種預測方式中的一種實現(xiàn)，如直接模式、分割可由多種預測方式中的一種實現(xiàn)，如直接模式、利用利用list0list0的運動補償模式、利用的運動補償模式、利用list1list1的運動補償?shù)倪\動補償模式或者利用模式或者利用list0list0和和list1list1的雙向運動補償模式。的

41、雙向運動補償模式。每個分割可選擇各自的不同的預測模式（如表每個分割可選擇各自的不同的預測模式（如表2 2所所示）。如果示）。如果8 88 8分割被使用，每個分割被使用，每個8 88 8分割所選則分割所選則的模式適用于分割中的所有亞分割。圖的模式適用于分割中的所有亞分割。圖7 7給出了例給出了例子，左邊的兩個子，左邊的兩個16168 8分割分別使用分割分別使用List0List0和雙向預和雙向預測模式，而右邊的測模式，而右邊的4 4個個8 88 8分割分別采用直接、分割分別采用直接、list0list0、list1list1和雙向預測四種模式。和雙向預測四種模式。幀幀間間表2 B片宏塊預測選則圖

42、7 B片中分割預測模式舉例幀幀間間 雙向預測雙向預測從從list0list0和和list1list1分別得出兩個運動補償參考區(qū)域分別得出兩個運動補償參考區(qū)域（需要兩個（需要兩個MVMV），而預測塊的像素?。A測塊的像素取list0list0和和list1list1相應像素的平均值。當不用加權預測時，用下列等式：相應像素的平均值。當不用加權預測時，用下列等式：幀幀間間舉例舉例： 一宏塊用一宏塊用B_Bi_16B_Bi_161616模式預測。圖和圖模式預測。圖和圖6.306.30分別給出分別給出了基于了基于list0list0和和list1list1參考圖像的運動補償參考區(qū)域。參考圖像的運動補

43、償參考區(qū)域。圖圖6.316.31給出了根據(jù)者兩個參考區(qū)域的雙向預測。給出了根據(jù)者兩個參考區(qū)域的雙向預測。圖8 參考區(qū)域(list0) 圖9 參考區(qū)域(list1) 圖10 雙向預測（無加權）圖6.31 雙向預測（無加權）幀幀間間直接預測直接預測 直接預測模式編碼的直接預測模式編碼的B B片宏塊或宏塊分割不傳送片宏塊或宏塊分割不傳送MVMV。幀幀間間加權預測加權預測 加權預測是一種用來修正加權預測是一種用來修正P P或或B B片中運動補償預測像素方法。片中運動補償預測像素方法。H.264H.264中有中有3 3種加權預測種加權預測類型：類型： P P片宏塊片宏塊“explicitexplicit

44、”加權預測；加權預測； B B片宏塊片宏塊“explicitexplicit”加權預測；加權預測； B B片宏塊片宏塊“implicitimplicit”加權預測；加權預測；每個預測像素每個預測像素pred0(i,j)pred0(i,j)和和pred1(i,j)pred1(i,j)在運動補償之前通過加在運動補償之前通過加權系數(shù)權系數(shù)00和和11修正。在修正。在“explicitexplicit”類型中，加權系數(shù)由編碼類型中，加權系數(shù)由編碼器決定并在片頭中傳輸。在器決定并在片頭中傳輸。在“implicitimplicit”類型中，系數(shù)類型中，系數(shù)00和和11由相應由相應list0list0和和l

45、ist1list1參考圖像的時間位置推出。大的系數(shù)用于時參考圖像的時間位置推出。大的系數(shù)用于時間上接近當前圖像的情況，小的則用于時間上遠離當前圖像的情間上接近當前圖像的情況，小的則用于時間上遠離當前圖像的情況。況。變變換換輸入44的圖像或殘差塊X對對X塊進行塊進行44整數(shù)離散余弦變換，得到W塊塊是色度塊或幀內(nèi)1616預測模式的亮度塊？是對W中的直流分量進行中的直流分量進行Hadamard變換，得到YD塊對W塊進行比例縮放及量化塊進行比例縮放及量化對YD塊進行比例縮放及量化否輸出圖圖1編碼器中變換編碼及量化過程編碼器中變換編碼及量化過程變變換換圖圖2 2 Scanning order of re

46、sidual blocks within a macroblock變變換換變變換換D DC CT T技技術術l H H. .2 26 64 4編編碼碼器器中中D DC CT T變變換換及及量量化化過過程程如如圖圖所所示示。其其中中，如如果果輸輸入入塊塊是是色色度度塊塊或或幀幀內(nèi)內(nèi)1 16 6 1 16 6預預測測模模式式的的亮亮度度塊塊，則則將將宏宏塊塊中中各各4 4 4 4塊塊的的整整數(shù)數(shù)余余弦弦變變換換的的直直流流分分量量組組合合起起來來再再進進行行H Ha ad da am ma ar rd d變變換換，進進一一步步壓壓縮縮碼碼率率變變換換據(jù)據(jù)的的失失配配，進進而而引引起起漂漂移移。H

47、H. .2 26 64 4較較其其它它圖圖像像編編碼碼使使用用了了更更多多的的預預測測過過程程，甚甚至至內(nèi)內(nèi)部部編編碼碼模模式式也也依依賴賴于于空空間間預預測測。因因此此，H H. .2 26 64 4對對預預測測漂漂移移是是十十分分敏敏感感的的。為為此此，H H. .2 26 64 4對對4 4 4 4D DC CT T 中中的的A A進進行行了了改改造造，采采用用整整數(shù)數(shù)D DC CT T技技術術，有有效效地地減減少少計計算算量量，同同時時不不損損失失圖圖像像準準確確度度變變換換據(jù)據(jù)的的失失配配，進進而而引引起起漂漂移移。H H. .2 26 64 4較較其其它它圖圖像像編編碼碼使使用用了了更更多多的的預預測測過過程程，甚甚至至內(nèi)內(nèi)部部編編碼碼模模式式也也依依賴賴于于空空間間預預測測。因因此此，H H. .2 26 64 4對對預預測測漂漂移移是是十十分分敏敏感感的的。為為此此，H H. .2