（信號與信息處理專業(yè)論文）h264視頻編碼的幀內(nèi)預(yù)測模式選擇算法研究.pdf

h.264 視頻編碼的幀內(nèi)預(yù)測模式選擇算法研究 6 圖清單 圖 2.1 h.264 編碼器. 19 圖 2.2 h.264 解碼器. 19 圖 2.3 視頻取樣格式. 21 圖 2.4 44 亮度預(yù)測模式圖. 22 圖 2.5 44 亮度塊預(yù)測模式. 23 圖 2.6 1616 亮度塊預(yù)測模式. 26 圖 2.7 幀間編碼的塊劃分. 30 圖 2.8 整數(shù)、分數(shù)像素點位置分布. 31 圖 2.9 色度分像素差值. 32 圖 2.11 編碼器中的變換編碼及量化過程 . 34 圖 2.12 一維變換蝶型圖. 35 圖 2.13 mb 的亮度塊和色度塊. 40 圖 2.14 邊界強度設(shè)定示意. 40 圖 2.15 需要濾波的水平邊界和垂直邊界 . 41 圖 4.1 claire 宏塊類型選擇示意圖 . 49 圖 4.2 foreman 宏塊類型選擇示意圖. 49 圖 4.3 mobile 宏塊類型選擇示意圖. 50 圖 4.4 一個宏塊圖像分布. 51 圖 4.5 幀內(nèi)宏塊類型預(yù)判算法流程圖. 53 圖 4.6 foreman 全搜索算法和預(yù)判算法的主觀質(zhì)量比較圖. 56 圖 4.7 foreman 比特率失真對比結(jié)果. 57 圖 4.8 mobile 比特率失真對比結(jié)果. 57 圖 4.9 claire 比特率失真對比結(jié)果 . 58 圖 5.1 9 種預(yù)測方向模式示意圖. 64 圖 5.2 改進的 pan 算法流程圖. 67 圖 5.3 foreman 三種算法的主觀質(zhì)量比較圖. 70 圖 5.4 foreman 比特率失真對比結(jié)果. 70 南京航空航天大學(xué)碩士學(xué)位論文 7 圖 5.5 mobile 比特率失真對比結(jié)果. 71 圖 5.6 claire 比特率失真對比結(jié)果 . 71 圖 5.7 foreman 全搜索算法、pan 算法、結(jié)合算法的主觀質(zhì)量比較圖 . 77 圖 5.8 foreman 比特率失真對比結(jié)果. 77 圖 5.9 mobile 比特率失真對比結(jié)果. 78 圖 5.10 claire 比特率失真對比結(jié)果 . 78 h.264 視頻編碼的幀內(nèi)預(yù)測模式選擇算法研究 8 表清單 表 2.1 h.264 中編解碼器的量化步長 . 36 表 4.1 qp=28 時本文預(yù)判算法與全搜索算法結(jié)果比較. 55 表 4.2 qp=32 時本文預(yù)判算法與全搜索算法結(jié)果比較. 55 表 4.3 qp=36 時本文預(yù)判算法與全搜索算法結(jié)果比較. 55 表 5.1 pan 算法候選模式數(shù)量. 62 表 5.2 qp=32 時 h.264 標準算法和 pan 算法的結(jié)果比較 . 62 表 5.3 本文的 intra_44 預(yù)測模式選擇. 64 表 5.4 本文的 intra_1616 預(yù)測模式選擇. 64 表 5.5 本文的色度 88 預(yù)測模式選擇. 65 表 5.6 改進的 pan 算法和 pan 算法數(shù)學(xué)運算量比較 . 65 表 5.7 改進的 pan 算法相對于 jm90 的結(jié)果比較 . 68 表 5.8 改進的 pan 算法相對于 pan 算法的結(jié)果比較 . 69 表 5.9 結(jié)合算法、jm 全搜索算法和 pan 算法復(fù)雜度比較 . 72 表 5.10 結(jié)合算法相對于 jm90 的結(jié)果比較. 75 表 5.11 結(jié)合算法相對于 pan 算法的結(jié)果比較 . 75 南京航空航天大學(xué)碩士學(xué)位論文 9 注釋表 vcl video coding layer (視頻編碼層) uvcl universal video coding layer (統(tǒng)一的視頻編碼層) nal network abstraction layer (網(wǎng)絡(luò)提取層) dct discrete cosine transform (離散余弦變換) mse mean square error (均方誤差) psnr peak signal-to-noise rate (峰值信噪比) cavlc context adaptive variable length coding (基于上下文自適應(yīng) 的可變長編碼) cabac context adaptive binary arithmetic coding (內(nèi)容自適應(yīng)二進 制算術(shù)編碼) rdo rate-distortion optimization (率失真優(yōu)化) sa(t)d sum of absolute transform difference (絕對變換差值和) dc direct current (直流) 承諾書 本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師指導(dǎo)下，獨 立進行研究工作所取得的成果。盡我所知，除文中已經(jīng)注明引用的 內(nèi)容外，本學(xué)位論文的研究成果不包含任何他人享有著作權(quán)的內(nèi) 容。對本論文所涉及的研究工作做出貢獻的其他個人和集體，均已 在文中以明確方式標明。 本人授權(quán)南京航空航天大學(xué)可以有權(quán)保留送交論文的復(fù)印件， 允許論文被查閱和借閱,可以將學(xué)位論文的全部或部分內(nèi)容編入有 關(guān)數(shù)據(jù)庫進行檢索，可以采用影印、縮印或其他復(fù)制手段保存論文。 作者簽名： 日 期： 南京航空航天大學(xué)碩士學(xué)位論文 1 摘 要 h.264 是國際電信聯(lián)盟 itu-t 的視頻編碼專家組 vceg 和國際標準化組 織 iso/iec 的活動圖像專家組 mpeg 聯(lián)合制定的視頻編碼新標準，其目的是 為了獲得更好的圖像壓縮效果和更好地適應(yīng)不同的網(wǎng)絡(luò)環(huán)境。但是 h.264 視頻 編碼的高壓縮率是建立在其算法的高復(fù)雜度基礎(chǔ)上的，h.264 視頻編碼的巨大 運算量成為其廣泛應(yīng)用的瓶頸。 為了降低 h.264 視頻編碼算法的計算復(fù)雜度、 減少運算量、 提高其實時性， 本文首先闡述了 h.264 視頻編碼的主要流程，著重對 h.264 視頻編碼的幀內(nèi)預(yù) 測算法做了研究，并在分析其計算復(fù)雜度的基礎(chǔ)上提出兩種快速幀內(nèi)預(yù)測模式 選擇算法：基于宏塊內(nèi)部相鄰像素差的幀內(nèi)宏塊類型預(yù)判算法和改進的基于邊 緣方向直方圖 pan 算法。本文完成的主要工作如下： 1、在大量實驗與深入研究的基礎(chǔ)上，分析了宏塊內(nèi)部相鄰像素差的特點 和宏塊預(yù)測類型的相關(guān)性，提出一種基于宏塊內(nèi)部相鄰像素差的幀內(nèi)宏塊類型 預(yù)判算法。在 h.264 測試模型 jm90 上實現(xiàn)該算法，其結(jié)果表明提出的預(yù)判算 法在編碼質(zhì)量和碼率性能基本不變的前提下，編碼時間平均節(jié)省約 23.47%。 2、對具體幀內(nèi)宏塊類型下的預(yù)測模式快速選擇算法進行研究，提出一種 改進的基于邊緣方向直方圖 pan 算法，并在 h.264 測試模型 jm90 上實現(xiàn)，其 結(jié)果表明該算法在編碼質(zhì)量基本不變、碼率稍有減小的情況下，編碼時間平均 節(jié)省約 62.32%。 ；把提出的幀內(nèi)宏塊類型預(yù)判算法與改進的 pan 算法相結(jié)合進 行實驗，其結(jié)果表明該結(jié)合算法在保證失真率和碼率性能基本不變的前提下， 編碼時間平均減少了 72.49%，大大提高了編碼效率，對 h.264 的實時應(yīng)用具 有很大的意義。 關(guān)鍵詞：關(guān)鍵詞：h.264 幀內(nèi)預(yù)測 模式選擇 宏塊預(yù)測類型 邊緣矢量 h.264 視頻編碼的幀內(nèi)預(yù)測模式選擇算法研究 2 abstract h.264 is the lastest standard for video compression issued jointly by video coding experts group of the international telecommunication standardisation sector and moving picture experts group of the international organisation for standardization and the internation electrotechnical commission. it aims to provide enhanced coding efficiency as well as ensuring its suitability for transmission over various kinds of networks. however, the high efficiency of h.264 is at the expanse of its complexity, because of its high operations, its hard to be used widely. in order to reduce the complexity of h.264 video coding algorithm, the main process of h.264 is introduced firstly, and then researches in this paper focus on intra-prediction algorithms for h.264. based on the analysis of the algorithm complexity, two fast intra-prediction mode decision algorithms for h.264 are present in this paper, in which maily complete the following work: 1. on the basis of large number of experiments and in-depth study, the correlation of the macroblock and the characteristics of the differences between the neighbouring pixcels of the macroblock is analyzed. then macroblock type pre- decision algorithm for intra-prediction is proposed and the algorithm is implemented on h.264 test model jm90. experimental results show that the pre-decision algorithm save about 23.47% of the encoding time with negligible loss of the quality. 2. an improved pan algorithm based on edge direction histogram is present. experimental results show that the improved pan algorithm save about 62.32% of the encoding time with acceptable loss of the quality. then we implement both improved pan algorithm and the pre-decision algorithm on h.264 test model jm90. experimental results show the combinative algorithm save about 72.49% of the encoding time when ensuring the capability of the rate distortion and the bits rate. key words: h.264, intra-prediction, mode decision, macroblock type, edge vector h.264 視頻編碼的幀內(nèi)預(yù)測模式選擇算法研究 10 第一章 緒論 視覺是人類獲取信息的重要途徑，外部世界的信息大部分是通過視覺感知 的。據(jù)統(tǒng)計，人類從外部獲得的信息約有 60-75%來自視覺系統(tǒng)，也就是圖像， 這里的圖像是廣義的，例如照片、繪圖等等。隨著計算機、數(shù)字通信、多媒體 和網(wǎng)絡(luò)技術(shù)的發(fā)展，信息在急劇膨脹。圖像與視頻作為最重要的載體之一，已 經(jīng)深入人們的日常生活。人們不再僅僅滿足于文字及聲音，還希望看到生動的 畫面。絕大多數(shù)的娛樂活動，如電影、電視、vcd、dvd、vod、電子游戲、 卡拉 ok 等，工作學(xué)習(xí)所需的如可視電話、電視會議、多媒體郵件與工業(yè)實時 監(jiān)控等，都需要處理圖像與視頻信號。 1.1 視頻壓縮標準的發(fā)展 隨著多媒體技術(shù)應(yīng)用的不斷增加，圖像和視頻編碼成為一個廣泛研究的課 題， 現(xiàn)在它的應(yīng)用涉及到各行各業(yè)。 不斷增長的商業(yè)需求也推動著標準的形成， 各種國際視頻標準相繼推出。目前從事視頻壓縮標準制定的國際組織主要有國 際電信聯(lián)盟 itu-t 的視頻編碼專家組 vceg(video coding expert group)和國 際標準化組織 iso/iec 的運動圖像專家組 mpeg(motion picture expert group)。兩個標準化組織基于不同的應(yīng)用需求，采用近似的壓縮編碼技術(shù)，分 別制定了 h.26x 和 mpeg-x 系列視頻壓縮標準。其中 itu-t 針對可視電話和 視頻會議等應(yīng)用分別制定了 h.261、h.262、h.263、h.263+、h.263+、 h.264/avc；iso/iec 相繼制定了 mpeg-1、mpeg-2、mpeg-4 等。以上國際 壓縮標準盡管應(yīng)用領(lǐng)域不同，但是均采用了預(yù)測編碼結(jié)合變換量化的混合編碼 模式。其中兩大視頻標準化組織于 1992 年聯(lián)合提出的 mpeg-2/h.262 是現(xiàn)有 最成功的國際視頻壓縮標準，目前又再次聯(lián)手提出了 h.264/avc 即 mpeg-4 第 10 部分。這些圖像標準是圖像編碼技術(shù)走向?qū)嵱玫闹匾徊剑彩菆D像編 碼技術(shù)的結(jié)晶。 1.1.1 h.26x 標準系列 南京航空航天大學(xué)碩士學(xué)位論文 11 (1)h.261 h.2611是最早出現(xiàn)的視頻編碼標準，是 itu-t 的前身 ccitt 針對可視電 話、會議電視和窄帶 isdn 等要求實時編解碼和低延時應(yīng)用提出的一個編碼標 準。它輸出的碼率是 p64kbit/s，其中 p 為 0 到 31 的整數(shù)。h.261 采用的算 法主要是幀間預(yù)測和二維 dct 變換的混合編碼，該標準同時支持幀間編碼和 幀內(nèi)編碼，當幀間預(yù)測效率較低時，則直接采用 dct 變換。 (2)h.263 h.2632是為低碼率視頻壓縮提供的新標準，目的是支持碼率小于 64kbit/s 的應(yīng)用。在 h.261 建議的基礎(chǔ)上，h.263 進行了重要改進，采用了半像素精度 的運動矢量搜索，增加了非限制運動矢量，提出了基于語法的算術(shù)編碼、先進 預(yù)測模式和 pb 幀編碼等多個高級選項，從而達到了進一步降低碼率和提高編 碼質(zhì)量的目的。 1.1.2 mpeg 標準系列 (1)mpeg-1 mpeg-134標準制定目標碼率是 1.2mbit/s，對于 cif(352288)格式圖像 可以達到實時播放，是為只讀 cd-rom 光盤的視頻存儲和播放所制定的。類 似于 h.261 標準，mpeg-1 也采用運動補償和二維 dct 變換，量化后的 dct 系數(shù)進行變長編碼，同時每個數(shù)據(jù)塊的直流分量 dc 進行差分編碼。 (2)mpeg-2 mpeg-256的視頻編碼部分就是 h.262，該標準主要是針對數(shù)字視頻廣播 dvb(digital video broadcast)、高清晰度電視 hdtv(high digital television)和 數(shù)字光盤 dvd(digital video discard)等 49mbit/s 運動圖像的編碼。mpeg-2 作為一個得到廣泛應(yīng)用的國際標準，成功之處在于提出了通用的壓縮編碼方 法，定義了不同的“檔次”(profile)和“等級”(level)，可滿足不同圖像分辨率 及相應(yīng)的存儲成本和處理速度的需要。與 h.261 視頻標準相比，mpeg-2/h.262 開始使用半像素精度的運動矢量搜索，引入了“幀”和“場”的編碼方法，支 持可分級性技術(shù)，包括空間分級性、時間可分級性和信噪比可分級性等。 (3)mpeg-4 mpeg-478標準既能夠支持低碼率的視頻應(yīng)用，也能夠支持廣播級的視頻 應(yīng)用。 與其他標準相比， mpeg-4 標準中引入了視聽對象 avo(audio-visual obj h.264 視頻編碼的幀內(nèi)預(yù)測模式選擇算法研究 12 ect)的概念，這種編碼模式能有效提高視頻通信的交互能力和編碼效率。 mpeg-4 還采用了諸如形狀編碼和自適應(yīng) dct 技術(shù)以支持任意形狀視頻對象 的編碼，以及基于內(nèi)容的可分級操作。其自然視頻編碼的基本框架和 h.263 標 準是接近的，但是由于“基于對象的編碼”尚有技術(shù)障礙，在技術(shù)專利保護問 題上遲遲難以找到有效的收費形式，因此該標準目前仍然沒有得到普遍應(yīng)用。 1.1.3 h.264 視頻壓縮的特點 h.264/avc9是國際電信聯(lián)盟 itu-t 的視頻編碼專家組 vceg 和國際標準 化組織 iso/iec 的運動圖像專家組 mpeg 聯(lián)合開發(fā)的一個新的數(shù)字視頻編碼 標準。 h.264 標準可分為三檔： (1)基本檔次(其簡單版本，應(yīng)用面廣)； (2)主要檔次(采用了多項提高圖像質(zhì)量和增加壓縮比的技術(shù)措施，可用于 sdtv、hdtv 和 dvd 等)； (3)擴展檔次(可用于各種網(wǎng)絡(luò)的視頻流傳輸)。 在同等圖像質(zhì)量的情況下，h.264 不僅比 h.263 和 mpeg-4 節(jié)約了 50 的碼率，而且對網(wǎng)絡(luò)傳輸具有更好的支持功能。它引入了面向 ip 包的編碼機 制，有利于網(wǎng)絡(luò)中的分組傳輸，支持網(wǎng)絡(luò)中視頻的流媒體傳輸。h.264 具有較 強的抗誤碼特性，可適應(yīng)丟包率高、干擾嚴重的無線信道中的視頻傳輸。h.264 支持不同網(wǎng)絡(luò)資源下的分級編碼傳輸，從而獲得平穩(wěn)的圖像質(zhì)量。 h.264 標 準 壓 縮 系 統(tǒng) 由 視 頻 編 碼 層 (vcl) 和 網(wǎng) 絡(luò) 提 取 層 (network abstraction layer，nal)兩部分組成。vcl 中包括 vcl 編碼器與 vcl 解碼器， 主要功能是視頻數(shù)據(jù)壓縮編碼和解碼，它包括運動補償、變換編碼、熵編碼等 壓縮單元。nal 則用于為 vcl 提供一個與網(wǎng)絡(luò)無關(guān)的統(tǒng)一接口，它負責對視 頻數(shù)據(jù)進行封裝打包后使其在網(wǎng)絡(luò)中傳送，它采用統(tǒng)一的數(shù)據(jù)格式，包括單個 字節(jié)的包頭信息、多個字節(jié)的視頻數(shù)據(jù)與組幀、邏輯信道信令、定時信息、序 列結(jié)束信號等。包頭中包含存儲標志和類型標志。存儲標志用于指示當前數(shù)據(jù) 不屬于被參考的幀。類型標志用于指示圖像數(shù)據(jù)的類型。vcl 可以傳輸按當 前的網(wǎng)絡(luò)情況調(diào)整的編碼參數(shù)。 h.264 和 h.261、h.263 一樣，也是采用 dct 變換編碼加 dpcm 的差分編 碼，即混合編碼結(jié)構(gòu)。同時，h.264 在混合編碼的框架下引入了新的編碼方式， 南京航空航天大學(xué)碩士學(xué)位論文 13 提高了編碼效率，更貼近實際應(yīng)用。 h.264 沒有繁瑣的選項，而是力求簡潔的“回歸基本” ，它具有比 h.263+ 更好的壓縮性能，又具有適應(yīng)多種信道的能力；它的應(yīng)用目標廣泛，可滿足各 種不同速率、不同場合的視頻應(yīng)用，具有較好的抗誤碼和抗丟包的處理能力； 它的基本系統(tǒng)無需使用版權(quán)，具有開放的性質(zhì)，能很好地適應(yīng) ip 和無線網(wǎng)絡(luò) 的使用，這對目前因特網(wǎng)傳輸多媒體信息、移動網(wǎng)中傳輸寬帶信息等都具有重 要意義。 盡管 h.264 編碼基本結(jié)構(gòu)與 h.261、h.263 是類似的，但它在很多環(huán)節(jié)做 了改進，現(xiàn)列舉如下： 1、多種更好的運動估計 高精度估計： 在 h.263 中采用了半像素估計， 在 h.264 中則進一步采用 1/4 像素甚至 1/8 像素的運動估計。即真正的運動矢量的位移可能是以 1/4 甚至 1/8 像素為基本單位的。顯然，運動矢量位移的精度越高，則幀間殘余誤差越小， 傳輸碼率越低，即壓縮比越高。在 h.264 中采用了 6 階 fir 濾波器的內(nèi)插獲 得 1/2 像素位置的值。當獲得 1/2 像素值后，1/4 像素值可通過線性內(nèi)插獲得， 對于 4:1:1 的視頻格式，亮度信號的 1/4 像素精度對應(yīng)于色度部分的 1/8 像素 的運動矢量，因此需要對色度信號進行 1/8 像素的內(nèi)插運算。 理論上，如果將運動補償?shù)木仍黾右槐?例如從整像素精度提高到 1/2 像素精度)，可有 0.5bit/sample 的編碼增益，但實際驗證發(fā)現(xiàn)在運動矢量精度 超過 1/8 像素后，系統(tǒng)基本上就沒有明顯增益了，因此，在 h.264 中，只采用 了 1/4 像素精度的運動矢量模式，而不是采用 1/8 像素的精度。 多宏塊劃分模式估計：在 h.264 的預(yù)測模式中，一個宏塊(mb)可劃分成 7 種不同模式的尺寸，這種多模式的靈活、細微的宏塊劃分，更切合圖像中的實 際運動物體的形狀，于是，在每個宏塊中可包含有 1、2、4、8 或 16 個運動矢 量。 在 h.264 中，可采用多個參考幀的運動估計，即在編碼器的緩存中存有多 個剛剛編碼好的參考幀，編碼器從其中選擇一個給出更好的編碼效果的作為參 考幀，并指出是哪個幀被用于預(yù)測，這樣就可獲得比只用前一參考幀更好的編 碼效果。 2、小尺寸 44 的整數(shù)變換 以往視頻編碼中常用單位為 88 塊。在 h.264 中卻采用小尺寸的 44 塊， h.264 視頻編碼的幀內(nèi)預(yù)測模式選擇算法研究 14 由于變換塊的尺寸變小了，運動物體的劃分就更為精確。這種情況下，圖像變 換過程中的計算量小了，而且在運動物體邊緣的銜接誤差也大為減少。 當圖像中有較大面積的平滑區(qū)域時，為了不產(chǎn)生因小尺寸變換帶來的塊間 灰度差異，h.264 可對幀內(nèi)宏塊亮度數(shù)據(jù)的 16 個 44 塊的 dct 系數(shù)進行第二 次 44 塊的變換，對色度數(shù)據(jù)的 4 個 44 塊的 dc 系數(shù)(每個小塊一個，共 4 個 dc 系數(shù))進行 22 塊的變換。 h.264 不僅使圖像變換塊尺寸變小，而且這個變換是整數(shù)操作，不是實數(shù) 運算，即編碼器和解碼器的變換和反變換的精度相同，沒有“反變換誤差” 。 3、更精確的幀內(nèi)預(yù)測 在 h.264 中，每個 44 塊中的每個像素都可用 17 個最接近先前已編碼的 像素的不同加權(quán)和來進行幀內(nèi)預(yù)測。 4、統(tǒng)一的 vlc h.264 中關(guān)于熵編碼有兩種方法。 統(tǒng)一的 vlc(即 uvlc：universal vlc)。uvlc 使用一個相同的碼表進行 編碼，而解碼器很容易識別碼字的前綴，uvlc 在發(fā)生比特錯誤時能快速獲得 幀同步。 內(nèi)容自適應(yīng)二進制算術(shù)編碼(cabac：context adaptive binary arithmetic coding)。其編碼性能比 uvlc 稍好，但復(fù)雜度較高。 5、性能優(yōu)勢 h.264 與 mpeg-4、h.263+編碼性能對比采用了以下 6 個測試速率： 32kbit/s、10f/s 和 qcif；64kbit/s、15f/s 和 qcif；128kbit/s、15f/s 和 cif； 256kbit/s、15f/s 和 qcif；512kbit/s、30f/s 和 cif；1024kbit/s、30f/s 和 cif。 測試結(jié)果標明，h.264 具有比 mpeg 和 h.263+更優(yōu)秀的 psnr 性能。h.264 的 psnr 比 mpeg-4 平均要高 2db，比 h.263+平均要高 3db。 1.2 視頻質(zhì)量評價 對壓縮后的視頻進行質(zhì)量評估是一個重要的問題。一般來說，視頻質(zhì)量評 價方法分為主觀評價和客觀評價兩種10。 南京航空航天大學(xué)碩士學(xué)位論文 15 1.2.1 主觀評價 主觀評價方法是由評價者直接對一段視頻進行觀察，從感覺上去度量其失 真度，給出質(zhì)量評價級別，對所有評價者給出的分數(shù)進行加權(quán)平均，所得結(jié)果 既為主觀評價結(jié)果。這種評價結(jié)果必然符合人的視覺感受。但人的主觀感受不 能用數(shù)學(xué)模型描述， 無法直接用于視屏壓縮編碼過程中質(zhì)量評價與控制； 另外， 主觀評價容易受到個體因素的影響，如年齡、性格、教育程度、背景以及評價 是的心情等。 1.2.2 客觀評價 客觀評價是用重建圖像與原始圖像的誤差來衡量， 常用的有均方誤差(mse) 和峰值信噪比(psnr)兩種。 均方誤差定義為： = = = 1 0 1 0 2 ),(),( 1 m i n j jifjif mn mse (1-1) 其中：m、n 表示圖像寬和高的像素點數(shù)；),(jif表示原始圖像的像素值， ),( jif表示重建圖像的像素值。 峰值信噪比定義為： mse psnr 2 10 255 log10= (1-2) 可見二者是一一對應(yīng)的，實際應(yīng)用中，psnr比mse更為常用。 本論文中使用式(1-2)的psnr作為客觀質(zhì)量的評價標準。 1.3 國內(nèi)外研究現(xiàn)狀 目前國內(nèi)外對h.264視頻編碼標準都有一定的研究。算法上，主要是對 h.264的關(guān)鍵技術(shù)如：幀內(nèi)模式選擇，幀間模式選擇，快速的高精度運動估計 算法等的研究。其中幀內(nèi)模式選擇技術(shù)研究現(xiàn)狀如下： 由于多種預(yù)測模式的存在，要求在編碼時對這些模式進行擇優(yōu)，擇優(yōu)的方 法很多，有必要對其進行研究。擇優(yōu)過程中，h.264/avc將基于t.wiegand19 提出的率失真優(yōu)化策略(rdo)作為重要可選模式，對于幀內(nèi)預(yù)測，快速方法有 h.264 視頻編碼的幀內(nèi)預(yù)測模式選擇算法研究 16 feng pan等在jvt會議中提出的基于邊緣方向直方圖的方法和bojun meng等 提出的基于分組象素點的方法等，他們在不同程度上優(yōu)化了原全搜索方法。 1.4 本文研究方向和章節(jié)安排 為了降低h.264編碼算法的計算復(fù)雜度，本論文對h.264視頻編碼算法進 行了較為深入的研究。著重對h.264幀內(nèi)預(yù)測算法做了研究，并提出一種基于 宏塊內(nèi)部相鄰像素差的幀內(nèi)宏塊類型預(yù)判算法和改進的pan算法。論文寫作結(jié) 構(gòu)安排如下： 1、第一章，簡要回顧了視頻編碼發(fā)展的歷史和背景，根據(jù)目前國內(nèi)外研 究狀況提出了本課題研究的意義和本文研究的內(nèi)容。 2、第二章，概述了最新視頻編碼標準h.264，介紹了其采用的新技術(shù)： 幀內(nèi)預(yù)測、幀間預(yù)測、變換與量化、熵編碼和去方塊濾波。 3、第三章，詳細介紹幀內(nèi)預(yù)測的編碼方法和目前測試模型中廣泛使用的 全搜索幀內(nèi)預(yù)測模式選擇算法流程，分析了算法的計算復(fù)雜度。然后介紹了幾 種現(xiàn)有的典型幀內(nèi)預(yù)測快速算法，并闡述其優(yōu)缺點。這些先驗知識對于后面的 研究至關(guān)重要。 4、第四章，在大量實驗與深入研究的基礎(chǔ)上，分析了宏塊內(nèi)部相鄰像素 差的特點和宏塊預(yù)測類型的相關(guān)性，提出一種基于宏塊內(nèi)部相鄰像素差的快速 幀內(nèi)宏塊類型預(yù)判算法。在h.264測試模型jm90上實現(xiàn)并給出實驗結(jié)果。 5、第五章，對基于邊緣方向直方圖的pan算法進行改進，提出一種改進 算法，在h.264測試模型jm90上實現(xiàn)并給出實驗結(jié)果；并把改進的pan算法 和第四章中提出的快速幀內(nèi)宏塊類型預(yù)判算法相結(jié)合進行實驗，結(jié)果表明，該 算法在保證失真率和碼率性能基本不變的前提下，平均減少了72.49%的編碼 時間，大大提高了編碼效率，對h.264的實時應(yīng)用具有很大的意義。 6、第六章是對全文的總結(jié)及展望，指出本文所做的研究工作并展望以后 將繼續(xù)研究的內(nèi)容。 南京航空航天大學(xué)碩士學(xué)位論文 17 1.5 本課題研究的意義 h.264是最新的視頻標準，與h.263，mpeg-4視頻標準相比，h.264編碼 器能在保持相同質(zhì)量的情況下，大約節(jié)省50的碼率。但壓縮效率的提高是 以算法計算復(fù)雜度的增加為代價的，這使得h.264很難應(yīng)用于實時性要求較強 的場合。為了降低h.264編碼器的復(fù)雜度，最近國內(nèi)外主要從幀間模式選擇、 幀內(nèi)模式選擇、運動估計等方面開展研究。對幀內(nèi)模式選擇算法的研究和改進 大都集中在減少候選預(yù)測模式個數(shù)的方法上13,27,29，在預(yù)測前先判斷宏塊預(yù)測 類型的方法較少。本論文以降低h.264編碼器算法復(fù)雜度為出發(fā)點，深入研究 了幀內(nèi)預(yù)測算法，提出了一種基于宏塊內(nèi)部相鄰像素差的幀內(nèi)宏塊類型預(yù)判算 法和一種改進的pan算法，大大降低了h.264編碼器的復(fù)雜度，減少了編碼的 運算量，對h.264的實時應(yīng)用具有很大的意義。 h.264 視頻編碼的幀內(nèi)預(yù)測模式選擇算法研究 18 第二章 h.264 視頻編碼標準 隨著社會的信息化，人們對圖像業(yè)務(wù)的需求越來越大，同時對視頻圖像的 質(zhì)量也提出更高的要求。寬帶通信網(wǎng)的急速發(fā)展，尤其是移動通信網(wǎng)絡(luò)的日新 月異，大大的促進了視頻通信的大面積應(yīng)用。3g發(fā)展的主要目的就是讓移動 網(wǎng)不僅能支持語音業(yè)務(wù)，更主要的用途是承載視頻業(yè)務(wù)。同時隨著電子技術(shù)的 飛躍發(fā)展，媒體處理器的計算能力也正以成倍的速度增長，為終端設(shè)備支持高 質(zhì)量的視頻提供了可能。在這種情況下，發(fā)展一種高編碼性能和高抗誤碼性能 的視頻編碼技術(shù)己成為趨勢。 h.264是繼h.263和mpeg-4的下一代視頻編碼標準，在體系上也是 mpeg-4的 第 十 部 分 。 早 在1997年 ，itu-t的 視 頻 編 碼 專 家 組 (vceg ,videocoding experts group)就己經(jīng)開始了h.264前身的研究工作，后 來iso/iec的活動圖像專家組(mpeg)看到h.264的良好發(fā)展也加入進來，與 vceg一起成立了聯(lián)合視頻組(jvt, joint videoteam)，共同致力于h.264標準 也即mpeg-4的第10部分“高級視頻編碼算法”的開發(fā)工作。h.26414優(yōu)越 性能源于它對編碼系統(tǒng)主要摸塊的技術(shù)改進，本章主要介紹它的主要模塊。 2.1 h.264 編碼器及結(jié)構(gòu) 2.1.1 h.264編解碼器的特點 h.264并沒有明確地規(guī)定一個編解碼器如何實現(xiàn)，而是規(guī)定了一個已編碼 的視頻比特流的句法和該比特流的解碼方法，各個廠商的編碼器和解碼器在此 框架下應(yīng)能夠互通，在實現(xiàn)上有較大的靈活性，而且有利于相互競爭。h.26415 編碼器和解碼器的功能組成分別如圖2.1和圖2.2所示。 南京航空航天大學(xué)碩士學(xué)位論文 19 濾波 運動估計 運動補 償 重排序 幀內(nèi)預(yù)測 幀內(nèi)模式 選擇 熵編碼 n f 1n f n f 1 q 1 t tq p n uf n d + + + _ n d x nal 幀內(nèi)預(yù)測 幀間預(yù)測 圖 2.1 h.264 編碼器 濾波 幀內(nèi) 預(yù)測 運動 補償 1n f n f erint raint p n uf n d 1 t 1 q x 重排序熵解碼 nal + + 圖 2.2 h.264 解碼器 圖2.1和圖2.2中，t代表整數(shù)變換，q代表量化， 1 t代表整數(shù)反變換， 1 q代表反量化，p代表預(yù)測值。從圖2.1和圖2.2中可見，h.264和基于以前 標準(如h.261、h.263、mpeg-1、mpeg-4 )中的編解碼器功能塊的組成并沒 有太大的區(qū)別， 主要的不同在于各功能塊的細節(jié)。 由于視頻的內(nèi)容時刻在變化， 有時空間細節(jié)很多，有時大面積的平坦，這時內(nèi)容的多變性就必須采用相應(yīng)的 自適應(yīng)的技術(shù)措施；由于信道在環(huán)境惡劣下也是多變的，例如互聯(lián)網(wǎng)，有時暢 通，有時不暢，有時阻塞；又如無線網(wǎng)絡(luò)，有時發(fā)生嚴重衰落，有時衰耗很小， 這就要求采取相應(yīng)的自適應(yīng)方法來對抗這種信道畸變帶來的不良影響。這兩方 面的多變帶來了自適應(yīng)技術(shù)的復(fù)雜性。h.264視頻編碼就是利用實現(xiàn)的復(fù)雜性 獲得壓縮性能的明顯改善。由于大規(guī)模集成電路技術(shù)和工藝的迅猛進步，今天 已完全具備了實現(xiàn)的可能性。 h.264 視頻編碼的幀內(nèi)預(yù)測模式選擇算法研究 20 2.1.2 h.264 編碼器 編碼器采用的仍是變換和預(yù)測的混合編碼方法。 在圖2.1中，輸入的幀 n f 以宏塊為單位被編碼器處理。首先，按幀內(nèi)或幀 間預(yù)測編碼的方法進行處理。 如果采用幀間預(yù)測編碼，其預(yù)測值pred(圖中用p表示)是由當前幀中己 編碼的參考圖像經(jīng)運動補償(mc)后得到的，其中參考圖像用式 1n f表示。為 了提高預(yù)測精度，從而提高壓縮比，實際的參考圖像可以在過去或未來(指顯 示次序上)己編碼解碼重建的幀中進行選擇，幀間預(yù)測時的參考幀不經(jīng)過濾波。 預(yù)測值pred和當前塊相減后，產(chǎn)生一個殘差塊 n d，經(jīng)塊變換、量化后 產(chǎn)生一組量化后的變換系數(shù)x，再經(jīng)熵編碼，與解碼所需的邊信息(如預(yù)測模 式量化參數(shù)、運動矢量等)一起組成壓縮后的碼流，經(jīng)nal(網(wǎng)絡(luò)適應(yīng)層)供傳 輸和存儲用。 正如上述，為了提供進一步預(yù)測用的參考圖像，編碼器必須有重建圖像的 功能。因此必須使殘差圖像經(jīng)反量化、反變換后得到的 n d與參考值p相加， 得到 n uf式(未經(jīng)濾波的幀)。為了去除編碼解碼環(huán)路中產(chǎn)生的噪聲，提高參考 幀的圖像質(zhì)量，從而提高壓縮圖像性能，設(shè)置了一個環(huán)路濾波器，濾波后的輸 出 n f即為重建圖像，可用作參考圖像。 2.1.3 h.264 解碼器 由圖2.1可知，由編碼器的nal輸出一個壓縮后的h.264壓縮比特流。 在圖2.2中，經(jīng)熵解碼得到量化后的一組變換系數(shù)x，再經(jīng)反量化、反變換， 得到殘差 n d。利用從該比特流解碼出的頭信息，解碼器就產(chǎn)生一個預(yù)測塊 pred，它和編碼器中的原始pred是相同的。當該解碼器產(chǎn)生的pred與殘 差 n d相加后，就產(chǎn)生 n uf，再經(jīng)濾波后，最后就得到重建的 n f，這個 n f就是 最后的解碼輸出圖像。 2.2 視頻格式和宏塊編碼類型 1、視頻格式 h.264采用 rb ccy對圖像進行描述，即一個亮度分量y和兩個色差分量 南京航空航天大學(xué)碩士學(xué)位論文 21 b c和 r c，h.264支持取樣格式為4: 2: 0的連續(xù)或隔行視頻的編碼和解碼，見 圖2.3。 取樣y 取樣cr 取樣cb 圖 2.3 視頻取樣格式 2、宏塊編碼類型 如前所述，編碼器首先將一幅完整圖像分為多個宏塊(mb)，然后對這些 小塊分別進行預(yù)測、量化、編碼等處理。這樣做的目的是為了加快處理速度， 提高編碼效率。因此，對圖像的壓縮實際上是在宏塊級(mb)進行的。 宏塊編碼類型(mb_type)字段用來傳送本宏塊的編碼類型，幀內(nèi)預(yù)測編碼 (intra)有兩類：分別是以44小塊(block)為單位的9種幀內(nèi)預(yù)測模式以及以整 個宏塊(1616)為單位的4種幀內(nèi)預(yù)測模式。一共是13種幀內(nèi)預(yù)測模式。 幀間預(yù)測編碼(inter)有三類：第一種是跳過(skip)，表示本宏塊與上一幀 相應(yīng)宏塊完全相同，沒有附