可伸縮視頻編碼技術(shù)研究

1、26可伸縮視頻編碼中時(shí)間維分級(jí)編碼技術(shù)的研究學(xué)號(hào)：091307100 姓名： 研究生 指導(dǎo)教師： 博士 第一章 緒 論1.1 研究背景及意義 伴隨著因特網(wǎng)和多媒體通信技術(shù)的飛速發(fā)展，單純的的文本和圖像信息已經(jīng)不能滿足人們的需要，取而代之的是將數(shù)據(jù)、文字、聲音、音樂(lè)、動(dòng)畫(huà)、視頻、圖像等融合于一體，并通過(guò)計(jì)算機(jī)進(jìn)行數(shù)字化處理、傳輸與顯示多種媒體信息技術(shù)來(lái)實(shí)現(xiàn)。由于網(wǎng)絡(luò)服務(wù)器中的視頻媒體信息越來(lái)越豐富，因此促進(jìn)了視頻流傳輸技術(shù)的應(yīng)用。同時(shí)伴隨著移動(dòng)通信和無(wú)線網(wǎng)絡(luò)的迅猛發(fā)展，如3G 、WIMAX、LTE（長(zhǎng)期演進(jìn)，即3.9G無(wú)線通信標(biāo)準(zhǔn)）、4G等新的技術(shù)應(yīng)用之后，無(wú)線網(wǎng)絡(luò)為視頻應(yīng)用和信息的交互提供了新

2、的場(chǎng)景和可能。通過(guò)這些應(yīng)用，人們可以使用移動(dòng)設(shè)備直接瀏覽最新視頻，查詢和檢索資料，撥打可視電話，甚至進(jìn)行遠(yuǎn)程的視頻會(huì)議等等?？傊?，隨著多媒體通信技術(shù)的發(fā)展，視頻應(yīng)用的領(lǐng)域越來(lái)越廣泛。然而，Internet是一個(gè)異構(gòu)性網(wǎng)絡(luò),對(duì)于視頻服務(wù)而言,它體現(xiàn)在網(wǎng)絡(luò)中通信網(wǎng)絡(luò)的異構(gòu)性和接收方的異構(gòu)性。由于各子網(wǎng)的網(wǎng)絡(luò)資源(如處理能力、傳輸帶寬、存儲(chǔ)能力等)分布不均勻,以及服務(wù)器的傳輸吞吐量、延時(shí)、丟包率等各不相同,從而造成了通訊子網(wǎng)的異構(gòu)性。而接收方的異構(gòu)性則體現(xiàn)在用戶不同的使用偏好,以及接收和播放設(shè)備的不同的分辨率和處理器的能力上。網(wǎng)絡(luò)終端的異構(gòu)性造成了視頻形式的多樣性。因此用戶可能通過(guò)高速的以太網(wǎng)(Et

3、hernet)，WIMAX、LTE等服務(wù)的接入，也可能通過(guò)中等速度的調(diào)制解調(diào)器獲取視頻（如個(gè)域網(wǎng)，WIFI），還有一些用戶通過(guò)低速的無(wú)線網(wǎng)絡(luò)(如3G，EDGE,GPRS)進(jìn)行視頻傳輸。這些眾多因素導(dǎo)致用戶通過(guò)不同的網(wǎng)絡(luò)所能得到的帶寬不盡相同，甚至同一個(gè)用戶所能得到的帶寬也因時(shí)而變（它可能會(huì)受到多徑衰落和快衰落等影響）。因此恒定速率的視頻流難以在帶寬波動(dòng)比較大的網(wǎng)絡(luò)環(huán)境下進(jìn)行高效傳輸，網(wǎng)絡(luò)終端視頻的重構(gòu)質(zhì)量也就受到了一些影響。網(wǎng)絡(luò)的異構(gòu)性、信道帶寬的波動(dòng)和信道的誤碼等因素的存在，使得原來(lái)面向存儲(chǔ)的壓縮算法已經(jīng)很難滿足實(shí)時(shí)傳輸?shù)囊?。因此可伸縮視頻編碼方案成為了人們關(guān)注的焦點(diǎn)，并且占有越來(lái)越重要地

4、位。其核心問(wèn)題之一就是如何讓視頻編碼器提供既有高壓縮率,又有良好的容錯(cuò)性和可伸縮性的視頻碼流,以適應(yīng)不同的網(wǎng)絡(luò)環(huán)境和用戶終端的需求，如圖1-1所示。目前,解決這一問(wèn)題的較好方法就是可伸縮視頻編碼(Scalable Video Coding,SVC)。 視頻 圖1_2 網(wǎng)絡(luò)的異構(gòu)性及終端的異構(gòu)性信道異構(gòu)性 終端異構(gòu)性圖1-1 視頻傳輸?shù)漠悩?gòu)性可伸縮視頻編碼（Scalable Video Coding, SVC）技術(shù)就是首先把視頻信號(hào)編碼成分層的形式，即一個(gè)基本層和多個(gè)增強(qiáng)層。當(dāng)帶寬不足時(shí)，只對(duì)基本層的碼流進(jìn)行傳輸和解碼，因此這時(shí)解碼的視頻質(zhì)量不高；當(dāng)傳輸帶寬變大和信噪比提高時(shí)，就可以對(duì)增強(qiáng)層的碼

5、流來(lái)進(jìn)行傳輸和解碼，以此來(lái)提高視頻的解碼質(zhì)量。顯然，可伸縮視頻編碼主要體現(xiàn)在碼率的控制上。而視頻數(shù)據(jù)的分層編碼和選擇性傳輸是實(shí)現(xiàn)可伸縮的主要手段。 所謂分層編碼，就是在時(shí)間、空間、質(zhì)量或者頻率上進(jìn)行分層，即一個(gè)基本層和多個(gè)增強(qiáng)層。其中基本層的數(shù)據(jù)可以解碼恢復(fù)出視頻的基本內(nèi)容。盡管此時(shí)的視頻圖像可能幀率較低、分辨率較低、質(zhì)量較低，但是這卻是一種很實(shí)用的和有效的方案，因?yàn)楫?dāng)信道帶寬受限或信道環(huán)境復(fù)雜時(shí)，低幀率傳輸可以保證解碼端能夠接收到可以觀看的視頻圖像。當(dāng)信道帶寬足夠或信道SNR(信噪比)較大時(shí),我們可以一次傳輸多個(gè)增強(qiáng)層數(shù)據(jù)流，以此來(lái)提高幀率、分辨率、視頻質(zhì)量。對(duì)于增強(qiáng)層，我們知道，它是由多層

6、編碼組成的，我們可以通過(guò)改變其層的多少，來(lái)改善傳輸?shù)囊曨l的質(zhì)量。對(duì)于原來(lái)的視頻編碼標(biāo)準(zhǔn)，一次編碼后視頻碼流就固定了，無(wú)法適應(yīng)終端的異構(gòu)性；而可伸縮視頻編碼則有效的解決了編碼標(biāo)準(zhǔn)輸出碼流的不靈活性，一次編碼，可以適應(yīng)多種不同信道和終端,如圖1-2。其碼流具有良好的適應(yīng)性、魯棒性及容錯(cuò)性,并可以根據(jù)不同的網(wǎng)絡(luò)和用戶的需求在任意點(diǎn)截?cái)唷?視頻流 不同幀率 不同尺寸 一次 可伸縮視頻編碼 不同質(zhì)量圖1-2 可伸縮視頻編碼示意圖1.2國(guó)內(nèi)外的研究現(xiàn)狀 可伸縮視頻編碼由于可以解決視頻應(yīng)用中面向傳輸?shù)倪@一難題，引起了國(guó)內(nèi)外眾多學(xué)者的研究與探討。 現(xiàn)有的可伸縮視頻編碼方案一般認(rèn)為有以下兩種：第一種是在可伸縮視

7、頻編碼標(biāo)準(zhǔn)的基礎(chǔ)上，實(shí)現(xiàn)分級(jí)碼流的可伸縮。如圖1-3所示的時(shí)間維可伸縮性視頻編碼方案；另外一種是基于三維小波變換的可伸縮視頻編碼方案，如圖 1-4所示。 輸出碼流基本層編碼 運(yùn)動(dòng)補(bǔ)償 幀內(nèi)預(yù)測(cè)C 復(fù) 用 器時(shí)間維的上采樣時(shí)間維抽取c基本層編碼 運(yùn)動(dòng)補(bǔ)償 幀內(nèi)預(yù)測(cè)圖1-3 時(shí)間維可伸縮編碼方案輸出碼流輸入視頻三維小波分解分解子帶數(shù)據(jù)編碼可伸縮視 頻 碼 流運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)信息編碼 圖 1-4 基于三維小波變換的可伸縮視頻編碼1.3 論文章節(jié)安排本文共分為五章，具體安排如下：第1章 為全文的總述，大致介紹了可伸縮視頻編碼的研究背景及其意義以及對(duì)國(guó)內(nèi)外的研究現(xiàn)狀分析。第2章 主要講述了時(shí)間維可伸縮編碼方

8、案以及兩種主流的編碼技術(shù)，即運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波和等級(jí)B幀預(yù)測(cè)。然后對(duì)這兩種技術(shù)進(jìn)行了詳細(xì)的說(shuō)明，并給出了編碼技術(shù)的框圖。第3章 主要講述了MCTF(運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波)的算法設(shè)計(jì)以及程序的實(shí)現(xiàn)，最后通過(guò)C語(yǔ)言編寫(xiě)實(shí)現(xiàn)了Haar小波的五級(jí)提升。在本章節(jié)中，重點(diǎn)講述了如何實(shí)現(xiàn)視頻的低頻和高頻的分離，從而可以實(shí)現(xiàn)單獨(dú)地對(duì)低頻和改頻進(jìn)行處理。第4章 為軟件的仿真，通過(guò)改變丟棄的層數(shù)進(jìn)行對(duì)比和分析視頻幀，最后證明了Haar小波技術(shù)確實(shí)可以實(shí)現(xiàn)時(shí)間維的可伸縮性。 第五章對(duì)全文進(jìn)行了總結(jié)，并對(duì)進(jìn)一步的工作進(jìn)行了展望。第2章 時(shí)間維可伸縮視頻序列是由一系列連續(xù)的的圖像組成的，并且?guī)试礁撸疵棵氚膱D像幀數(shù)越多，

9、視頻流給人的感覺(jué)就越流暢，視覺(jué)效果也就越好。例如，每秒30幀，每秒15幀以及每秒7.5幀的視頻對(duì)比,如圖2-1所示。時(shí)間維可伸縮是指視頻碼流在時(shí)間維度可以分為一個(gè)基本層和多個(gè)增強(qiáng)層，不同的時(shí)間維層次對(duì)應(yīng)不同的視頻幀速率，獲取的時(shí)間維層次越多，則解碼得到的視頻幀速率越高，同時(shí)付出的代價(jià)也越大。但是，通過(guò)時(shí)間維的可伸縮方式，可以滿足不同終端對(duì)視頻幀速率的要求，并且，對(duì)于不同的用戶，對(duì)視頻序列的幀率也會(huì)有不同的要求。時(shí)域可伸縮性就是為了滿足對(duì)視頻序列顯示幀率的不同需求而提供的一種擴(kuò)展方式。 每秒30幀 每秒15幀 每秒7.5幀圖2-1 不同幀率的視頻對(duì)比目前實(shí)現(xiàn)時(shí)間維可伸縮的技術(shù)主要有運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V

10、波(Motion Compensating Temporal Filter,MCTF)技術(shù)和等級(jí)B幀預(yù)測(cè)技術(shù)。2.1 MCTF基于運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波(Motion Compensated Temporal Filtering ,MCTF)的可伸縮視頻編碼方案因?yàn)槟苡行У南曨l序列的幀間相關(guān)性，并且提供靈活的時(shí)域可伸縮性，因此成為了當(dāng)前的主流的時(shí)間維可伸縮技術(shù)的研究重點(diǎn)。MCTF 其關(guān)鍵思想在于將一組圖像中連續(xù)的各幀看成一個(gè)三維信號(hào)，除了空間上的 x 軸和 y 軸之外，增加了一個(gè)時(shí)間 t 軸。通過(guò)時(shí)間軸上的濾波去除視頻序列時(shí)間軸上的相關(guān)性，即消除了各視頻幀之間的冗余性，提高了壓縮效率。MCTF

11、的思想首先由 Ohm 提出,并由 Choi 和 Woods 等人逐步進(jìn)行了改進(jìn)。運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波是指在時(shí)間維度對(duì)視頻序列進(jìn)行基于小波的提升，在提升的過(guò)程中，考慮到視頻序列運(yùn)動(dòng)的連續(xù)性和相關(guān)性，因此加入運(yùn)動(dòng)估計(jì)過(guò)程，以提高視頻的壓縮效率。通過(guò)小波提升過(guò)程最終生成一個(gè)低頻子帶（基本層）和多個(gè)高頻子帶（增強(qiáng)層）的過(guò)程。低頻子帶代表了當(dāng)前視頻序列的低頻部分，高頻子帶則代表了當(dāng)前視頻序列的高頻部分，即不同視頻幀之間的差值。低頻子帶作為時(shí)間維的基本層，而高頻子帶則對(duì)應(yīng)于各個(gè)層次的增強(qiáng)層。MCTF 對(duì)若干連續(xù)的視頻幀組成的圖像組( Group of Pictures , GOP) 進(jìn)行時(shí)域分解形成時(shí)域小波樹(shù)

12、,這種在運(yùn)動(dòng)方向上進(jìn)行的時(shí)域?yàn)V波是一個(gè)開(kāi)環(huán)過(guò)程,濾波后的時(shí)域相關(guān)信號(hào)再進(jìn)行空域變換和嵌入式編碼，最后形成滿足網(wǎng)絡(luò)特性的具有可伸縮性的碼流。在當(dāng)前的可伸縮視頻編碼研究中,MCTF 都是基于小波提升方法來(lái)實(shí)現(xiàn)的。MCTF的實(shí)現(xiàn)方法由基于 Haar 小波的提升算法發(fā)展為基于 5/3 小波和 9/7 小波的提升算法。采用 Haar 小波時(shí)預(yù)測(cè)操作就是傳統(tǒng)意義上的單向預(yù)測(cè)，而采用5/3 小波時(shí)預(yù)測(cè)操作就是傳統(tǒng)意義上的雙向操作。當(dāng)圖像內(nèi)容比較連貫一致時(shí)，采用拍數(shù)更長(zhǎng)的 5/3小波就能夠更好地利用圖像間的相關(guān)性，能夠獲得更大的編碼性能，而當(dāng)圖像中的場(chǎng)景發(fā)生變化時(shí)，采用單向的 Haar 小波就更為有利。此處以

13、基于Haar小波的提升過(guò)程為例對(duì)MCTF過(guò)程進(jìn)行介紹。圖2-2以一個(gè)包含8幀圖像的圖像組(GOP)為例，進(jìn)行三級(jí)小波提升，最后生成的8個(gè)小波子帶，即LLL0、LLH0、LH0、LH1、H0、H1、H2、H3，其中LLL0子帶是低頻子帶，對(duì)應(yīng)于基本層，而LLH0、LH0、LH1、H0、H1、H2、H3為高頻子帶，對(duì)應(yīng)于增強(qiáng)層，其中LLH0對(duì)應(yīng)于第一增強(qiáng)層，LH0、LH1對(duì)應(yīng)于第二增強(qiáng)層，H0、H1、H2、H3對(duì)應(yīng)于第三增強(qiáng)層。這樣分組的好處是簡(jiǎn)單明了，易于實(shí)現(xiàn)，計(jì)算效率高。壞處是幀之間的相關(guān)性不強(qiáng)，重構(gòu)信號(hào)的時(shí)候連續(xù)性會(huì)降低，出現(xiàn)塊效應(yīng)和邊緣效應(yīng)的概率變大。幀0幀1幀2幀3幀4幀5幀6幀7H 0

14、L 0H 1L 1H 2L 2H 3L 3LH0 0000000LL0 0000000LH 1LL1LLH0LLL0圖2-2 基于三級(jí)哈爾小波的提升過(guò)程2.2 等級(jí)B幀預(yù)測(cè)等級(jí)B幀預(yù)測(cè)結(jié)構(gòu)是指SVC中典型金字塔式可分級(jí)B幀預(yù)測(cè)結(jié)構(gòu)。盡管這種結(jié)構(gòu)在SVC里面有非常好的特性，并且這種結(jié)構(gòu)已經(jīng)兼容到 H.264/SVC相應(yīng)的JSVM軟件模型中，遺憾的是在JSVM中只是對(duì)傳統(tǒng)的編碼結(jié)構(gòu)IPPP/IBP/IBBP 進(jìn)行了一定的碼率控制，卻沒(méi)有對(duì)等級(jí)B幀這種預(yù)測(cè)結(jié)構(gòu)進(jìn)行很好的碼率控制。在JSVM中，等級(jí)B幀的量化參數(shù)只是根據(jù)前面幀的量化參數(shù)進(jìn)行簡(jiǎn)單加減，卻不能根據(jù)不同時(shí)間層上的視頻幀的不同特性計(jì)算其目標(biāo)比

15、特?cái)?shù)和量化參數(shù)來(lái)達(dá)到精準(zhǔn)的碼率控制。如圖2-3，SVC 中典型金字塔式的等級(jí)B幀預(yù)測(cè)結(jié)構(gòu)。等級(jí)B幀預(yù)測(cè)技術(shù)通過(guò)限制運(yùn)動(dòng)補(bǔ)償過(guò)程中參考幀的選取來(lái)實(shí)現(xiàn)視頻序列在時(shí)間維的分級(jí)特性。在等級(jí)B幀技術(shù)中，進(jìn)行運(yùn)動(dòng)補(bǔ)償過(guò)程只能選取時(shí)間維層次的小于或等于當(dāng)前幀的視頻幀作為參考幀，這樣可以使預(yù)測(cè)幀對(duì)參考幀有依賴(lài)性，而參考幀對(duì)預(yù)測(cè)幀沒(méi)有依賴(lài)關(guān)系，因此可以重建出相應(yīng)幀率的視頻，實(shí)現(xiàn)時(shí)間維的可分級(jí)特性。圖2_3 金字塔式等級(jí)B幀預(yù)測(cè)圖 典型的等級(jí)B幀預(yù)測(cè)過(guò)程如圖2-4所示，圖中三種預(yù)測(cè)結(jié)構(gòu)因?yàn)轭A(yù)測(cè)順序的不同，因而具有不同的時(shí)延和編碼效率：圖（A）和圖（C）用將來(lái)的視頻幀做為參考幀，因而視頻解碼時(shí)具有一定的時(shí)延，但是預(yù)

16、測(cè)幀和參考幀之間的相關(guān)性較好，因而編碼效率較高；而圖（B）中，沒(méi)有用到將來(lái)的視頻幀做為參考幀，因而沒(méi)有時(shí)延，但是預(yù)測(cè)幀和參考幀之間的相關(guān)性相對(duì)較小，因而編碼效率相對(duì)較低。在圖2-4(A)中，第0、8、16幀屬于T0層，第4、12幀屬于T1層，第2、6、10、14幀屬于T2層，第1、3、5、7、9、11、13、15幀屬于T3層。此時(shí)較高層次的T3層解碼依賴(lài)于較低層次的T2、T1、T0層，而較低層次的T0層解碼則無(wú)需依賴(lài)高層次的T1、T2、T3層，通過(guò)這種預(yù)測(cè)關(guān)系的分級(jí)來(lái)實(shí)現(xiàn)時(shí)間維視頻幀的分級(jí)特性。圖中均以圖像組GOP為編碼單元，實(shí)現(xiàn)時(shí)間可伸縮性編碼的分級(jí)預(yù)測(cè)。每個(gè)圖下面的數(shù)據(jù)顯示了編解碼順序，T

17、k則代表了時(shí)間等級(jí)，其中k對(duì)應(yīng)著時(shí)間標(biāo)識(shí)符。 如果某一幀圖像前的所有被編碼圖像在顯示順序上都先于這幀圖像，那么我們就稱(chēng)這幀圖像就叫關(guān)鍵幀。如圖（A）中，第0、8和16幀就是關(guān)鍵幀。某一個(gè)關(guān)鍵幀圖像和位于其前面的最近一個(gè)關(guān)鍵幀之間的所有圖像，合起來(lái)組成一個(gè)圖像組(GOP)。視頻序列給每幀視頻圖像都分配一個(gè)時(shí)間等級(jí)，然后按照預(yù)先制定的規(guī)則，逐步丟棄對(duì)視頻譯碼幾乎沒(méi)有影響的時(shí)間等級(jí)幀。通過(guò)丟棄不同數(shù)目的時(shí)間等級(jí)的幀，可以實(shí)現(xiàn)不同等級(jí)的時(shí)間維可伸縮。若某視頻碼流支持時(shí)間上的可伸縮性，則該碼流必能分割為時(shí)間上不同層次的子碼流。假設(shè)不同數(shù)據(jù)的時(shí)間等級(jí)由時(shí)間層標(biāo)識(shí)符T表示，最基本的時(shí)間等級(jí)T=0，而其他時(shí)間

18、層的時(shí)間等級(jí)則依次遞增。當(dāng)解碼端需要某個(gè)時(shí)間層k（k為自然數(shù)）的數(shù)據(jù)時(shí)，那些時(shí)間層標(biāo)識(shí)符Tk的所有數(shù)據(jù)將被丟棄。這樣，通過(guò)時(shí)間層標(biāo)識(shí)符的應(yīng)用，就可以實(shí)現(xiàn)時(shí)間可伸縮性。圖2-4 等級(jí)B幀預(yù)測(cè)體系對(duì)于聯(lián)合編碼模式，時(shí)間可伸縮性編碼通過(guò)限制運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的參考幀的選取來(lái)實(shí)現(xiàn)，即只能選取小于或等于當(dāng)前視頻幀作為參考幀。SVC的等級(jí)B幀與傳統(tǒng)幀不太一樣，傳統(tǒng)幀為后向預(yù)測(cè)，而它為雙向預(yù)測(cè)幀，并且，等級(jí)B幀可以作為后續(xù)的B幀的參考幀。為了保證高時(shí)間層幀的丟棄不會(huì)影響低時(shí)間層幀的解碼，因此SVC只允許選取大于或等于它的時(shí)間層的數(shù)據(jù)作參考幀。編碼的順序也是按照時(shí)間層標(biāo)識(shí)符從低到高的順序編碼，這樣就保證了當(dāng)時(shí)間層較

19、高的數(shù)據(jù)被丟棄后，時(shí)間層較低的數(shù)據(jù)仍然得以保留，不會(huì)出現(xiàn)參考幀被丟棄的現(xiàn)象，從而保證了時(shí)間層較低的數(shù)據(jù)的解碼的正確性。第三章 MCTF算法的設(shè)計(jì)及實(shí)現(xiàn)3.1 MCTF算法設(shè)計(jì) 運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波包括三個(gè)基本的過(guò)程，即相位分解、預(yù)測(cè)、更新。它的框架結(jié)構(gòu)如圖3-1所示：Hk-2K+1幀視頻S視頻S預(yù)測(cè)更新Lk預(yù)測(cè)更新2 K幀圖3-1 MCTF的結(jié)構(gòu)框架MCTF的功能可以分為三步：第一步為時(shí)間維的分解，即把視頻流分成幀格式，先將輸入信號(hào) Sk 在時(shí)間域上分解為奇采樣值n和偶采樣值n；第二步為預(yù)測(cè)編碼，偶采樣值n經(jīng)過(guò)預(yù)測(cè)模塊后，作為奇采樣值n的預(yù)測(cè)值，得到的預(yù)測(cè)殘差是高通信號(hào)n；最后一步為更新預(yù)測(cè)值，將

20、預(yù)測(cè)殘差n經(jīng)過(guò)更新模塊作用后加到偶數(shù)采樣值n上，得到低通信號(hào)。由于預(yù)測(cè)和更新是可逆的，所以S k可以由n和完全重構(gòu),即恢復(fù)出了原來(lái)的視頻流。 令n 表示從第i幀到第j幀做運(yùn)動(dòng)估計(jì)得到的運(yùn)動(dòng)矢量，則對(duì)于第i幀的位置n，第j幀對(duì)應(yīng)的匹配位置為n+n。當(dāng)ij時(shí)，n為后向運(yùn)動(dòng)矢量。 因此基于Haar小波的提升公式為： (3-1) (3-2) 其中，Sn為原始視頻，為高通視頻，為低通視頻。 Haar小波的主要重構(gòu)公式為： (3-3） (3-4)根據(jù)公式(3-1)和(3-2)，即可獲取視頻幀中的低頻部分和高頻部分，低頻對(duì)應(yīng)于視頻中的基本層，高頻則相對(duì)于視頻中的增強(qiáng)層。基本層是在視頻可伸縮處理中必須保留的關(guān)

21、鍵幀，通過(guò)改變高頻幀的多少可以改變視頻的清晰度，保留的高頻幀越多，還原出來(lái)的視頻和原始視頻越相似，清晰度越高，否則，還原出來(lái)的視頻流越模糊。視頻公式(3-3)和(3-4)為視頻的重組，通過(guò)此公式可以對(duì)得到的低頻和高頻幀進(jìn)行重組，得到奇數(shù)幀和偶數(shù)幀，進(jìn)而可以還原出原始視頻序列。3.2 程序設(shè)計(jì)流程由MCTF的算法設(shè)計(jì)的討論以及分析，可以設(shè)計(jì)圖3-2程序流程： 開(kāi) 始打開(kāi)文件失敗打開(kāi)文件讀取GOP中一幅幀 處理一幅 GOP獲取低頻幀 和 高 頻 幀 解 碼 失 敗寫(xiě)入文件 結(jié) 束圖3-2 MCTF的程序設(shè)計(jì)流程3.3 核心代碼簡(jiǎn)介 下面是對(duì)設(shè)計(jì)程序中的一些核心代碼的簡(jiǎn)要分析，在本章節(jié)中主要是如何實(shí)

22、現(xiàn)低頻和高頻幀的分離。 首先，初始化文件指針為NULL，防止在操作中出現(xiàn)一些隨機(jī)錯(cuò)誤。FILE *p_in = NULL ;FILE *p_out = NULL;FILE *text = NULL;然后進(jìn)行文件以二進(jìn)制寫(xiě)入測(cè)試，如果寫(xiě)入失敗，輸出文件不存在，然后程序正常退出。 if (p_in=fopen(crew.yuv,rb)=NULL) printf( Input file %s does not existn,crew.yuv); exit(1); if (p_out=fopen(crew_left.yuv,wb)=NULL) printf( cant creat file %s,cr

23、ew_left.yuv); exit(1);主函數(shù)： int main(void) for(i=0;iGOPNUM;i+) prosessOneGOP()； printf(完成第 %d 個(gè)GOP的處理,所使用的時(shí)間:%lf seconds.nn,i+1, cost); total_cost += cost; printf(總共耗時(shí)：%.4f secondsn,total_cost); printf(程序運(yùn)行結(jié)束！n); return 0;獲取視頻中的低頻和高頻幀：void getLH(int src,double*sy,double*su,double*sv,double*py,double*

24、pu,double*pv) unsigned char bitvecUVLENGTH/2WIDTH/2;for (y=0; yLENGTH; y+) for (x=0; xWIDTH; x+) bitvecYyx=0; for(a=0;aMAXSIZE/(BLOCKTYPE*BLOCKTYPE);a+) /獲得高頻子帶 pic_xref=pic_x+MVXsrc-1a; pic_yref=pic_y+MVYsrc-1a; for(j=0;jBLOCKTYPE;j+) for(i=0;iBLOCKTYPE;i+) *(sy+(pic_y+j)*WIDTH+pic_x+i)=(*(sy+(pic_

25、y+j)*WIDTH+pic_x+i)-*(py+(pic_yref+j)*WIDTH+pic_xref+i)/2; pic_xuvref=pic_uvx+(MVXsrc-1a)/2; pic_yuvref=pic_uvy+(MVYsrc-1a)/2; for(j=0;j(BLOCKTYPE/2);j+) for(i=0;i(BLOCKTYPE/2);i+) *(su+(pic_uvy+j)*WIDTH/2+pic_uvx+i)=(*(su+(pic_uvy+j)*WIDTH/2+pic_uvx+i)-*(pu+(pic_yuvref+j)*WIDTH/2+pic_xuvref+i)/2; *

26、(sv+(pic_uvy+j)*WIDTH/2+pic_uvx+i)=(*(sv+(pic_uvy+j)*WIDTH/2+pic_uvx+i)-*(pv+(pic_yuvref+j)*WIDTH/2+pic_xuvref+i)/2;/參考中心更新 pic_x+=BLOCKTYPE; if(a+1)*BLOCKTYPE)%WIDTH=0)pic_x=0; pic_y+=BLOCKTYPE;pic_uvx+=BLOCKTYPE/2;if(a+1)*BLOCKTYPE)%WIDTH=0)pic_uvx=0; pic_uvy+=BLOCKTYPE/2; pic_x=0; pic_y=0; pic_xr

27、ef=0; pic_yref=0; pic_xuvref=0; pic_yuvref=0; pic_uvx=0; pic_uvy=0;for (y=0; y(LENGTH/2); y+) for (x=0; x(WIDTH/2); x+) bitvecUVyx=0; /獲得低頻子帶 for(a=0;aMAXSIZE/(BLOCKTYPE*BLOCKTYPE);a+) pic_xref=pic_x+MVXsrc-1a; pic_yref=pic_y+MVYsrc-1a; for(j=0;jBLOCKTYPE;j+) for(i=0;iBLOCKTYPE;i+) /bitvecYpic_yref+

28、jpic_xref+i用來(lái)作為標(biāo)志位if(bitvecYpic_yref+jpic_xref+i=0) *(py+(pic_yref+j)*WIDTH+pic_xref+i)=*(py+(pic_yref+j)*WIDTH+pic_xref+i)+*(sy+(pic_y+j)*WIDTH+pic_x+i); bitvecYpic_yref+jpic_xref+i=1; pic_xuvref=pic_uvx+(MVXsrc-1a)/2; pic_yuvref=pic_uvy+(MVYsrc-1a)/2; for(j=0;j(BLOCKTYPE/2);j+) for(i=0;i(BLOCKTYPE

29、/2);i+) if(bitvecUVpic_yuvref+jpic_xuvref+i=0) *(pu+(pic_yuvref+j)*WIDTH/2+pic_xuvref+i)=*(pu+(pic_yuvref+j)*WIDTH/2+pic_xuvref+i)+*(su+(pic_uvy+j)*WIDTH/2+pic_uvx+i); *(pv+(pic_yuvref+j)*WIDTH/2+pic_xuvref+i)=*(pv+(pic_yuvref+j)*WIDTH/2+pic_xuvref+i)+*(sv+(pic_uvy+j)*WIDTH/2+pic_uvx+i); bitvecUVpic

30、_yuvref+jpic_xuvref+i=1; /參考中心更新 pic_x+=BLOCKTYPE; if(a+1)*BLOCKTYPE)%WIDTH=0)pic_x=0; pic_y+=BLOCKTYPE;pic_uvx+=BLOCKTYPE/2;if(a+1)*BLOCKTYPE)%WIDTH=0)pic_uvx=0; pic_uvy+=BLOCKTYPE/2; 低頻和高頻幀的獲取是本章節(jié)主要內(nèi)容，也是運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波的關(guān)鍵技術(shù)之一。通過(guò)C語(yǔ)言編程，實(shí)現(xiàn)了視頻流低頻和高頻幀分離。 第四章 仿真結(jié)果及分析由第三章實(shí)現(xiàn)低頻和高頻幀的分離以及第二章中哈爾小波的提升過(guò)程圖2-2，我們得知，在五級(jí)哈

31、爾小波的提升時(shí)，第一次提升可以分離出8個(gè)低頻和8個(gè)高頻，第二次提升從8個(gè)低頻幀中再次分離出4個(gè)低頻和4個(gè)高頻幀，第三次提升可以從4個(gè)低頻幀中再次分離出2個(gè)低頻和2個(gè)高頻幀，以此類(lèi)推，最終我們可以得到15個(gè)高頻和1個(gè)低頻幀，這個(gè)低頻幀就是我們說(shuō)的關(guān)鍵幀。通過(guò)改變丟棄的層數(shù)，我們可以實(shí)現(xiàn)視頻的時(shí)間維可伸縮，由于第一次提升之后有8幀高頻，第二次提升之后有12（8+4=12）幀高頻，第三次提升之后有14(8+4+2=14)幀高頻，第四次提升之后有15幀高頻,下面將分別丟棄8幀，12幀，14幀，15幀高頻幀進(jìn)行分析和對(duì)比驗(yàn)證。4.1軟件仿真 下面將對(duì)crew.yuv和flower.yuv分別進(jìn)行五級(jí)哈爾

32、小波提升。首先根據(jù)第三章程序?qū)υ家曨lcrew.yuv、flower.yuv進(jìn)行處理，依次選擇丟棄8個(gè)、12個(gè)、14個(gè)、15個(gè)高頻子帶，然后對(duì)應(yīng)丟棄不同的高頻子帶即可重構(gòu)出不同的crew_lift.yuv、flower_lift.yuv。最后通過(guò)原始視頻與重構(gòu)的視頻進(jìn)行清晰度對(duì)比。4.1.1 crew.yuv的仿真(1)原始視頻和丟棄8個(gè)高頻子帶后重建的視頻對(duì)比，如圖4-1 原 始 圖 像 丟棄8個(gè)高頻子帶之后重構(gòu)的圖像 圖4-1 丟棄8個(gè)高頻子帶前后前后視頻圖像對(duì)比（2) 原始視頻和丟棄12個(gè)高頻子帶后重建的視頻對(duì)比，如圖4-2： 原 始 圖 像 丟棄12個(gè)高頻子帶之后重構(gòu)的圖像 圖4-2

33、丟棄12個(gè)高頻子帶前后前后視頻圖像對(duì)比（3) 原始視頻和丟棄14個(gè)高頻子帶后重建的視頻對(duì)比，如圖4-3： 原 始 圖 像 丟棄14個(gè)高頻子帶之后重構(gòu)的圖像 圖4_3 丟棄14個(gè)高頻子帶前后前后視頻圖像對(duì)比（4) 原始視頻和丟棄15個(gè)高頻子帶后重建的視頻對(duì)比，如圖4-4： 原始圖像 丟棄15個(gè)高頻子帶之后重構(gòu)的圖像 圖4-4 丟棄15個(gè)高頻子帶前后前后視頻圖像對(duì)比 4.1.2 flower.yuv的仿真（1）原始視頻和丟棄8個(gè)高頻子帶后重建的視頻對(duì)比，如圖4-5： 原 始 圖 像 丟棄8個(gè)高頻子帶之后重構(gòu)的圖像 圖4-5丟棄8個(gè)高頻子帶前后前后視頻圖像對(duì)比（2）原始視頻和丟棄12個(gè)高頻子帶后重建

34、的視頻對(duì)比，如圖4-6： 原 始 圖 像 丟棄12個(gè)高頻子帶之后重構(gòu)的圖像 圖4-6 丟棄12個(gè)高頻子帶前后前后視頻圖像對(duì)比（3）原始視頻和丟棄14個(gè)高頻子帶后重建的視頻對(duì)比，如圖4-7： 原 始 圖 像 丟棄14個(gè)高頻子帶之后重構(gòu)的圖像 圖4-7 丟棄14個(gè)高頻子帶前后前后視頻圖像對(duì)比（8) 原始視頻和丟棄15個(gè)高頻子帶后重建的視頻對(duì)比，如圖4-8： 原 始 圖 像 丟棄15個(gè)高頻子帶之后重構(gòu)的圖像 圖4-8 丟棄15個(gè)高頻子帶前后前后視頻圖像對(duì)比4.2 結(jié)論在本章中，以crew.yuv和flower.yuv為例，通過(guò)丟棄8幀、12幀、14幀、15幀高頻子帶前后視頻清晰度的對(duì)比，由以上圖片對(duì)

35、比，可知，對(duì)于同一個(gè)視頻流，丟棄的幀數(shù)越多時(shí)，其清晰度越差。通過(guò)學(xué)習(xí)與研究五級(jí)哈爾小波提升技術(shù)，實(shí)現(xiàn)了視頻在時(shí)間維的分層編碼。第五章 總結(jié)與展望5.1 全文總結(jié)隨著計(jì)算機(jī)通信和多媒體技術(shù)的飛速發(fā)展，視頻聊天、視頻點(diǎn)播、視頻會(huì)議以及實(shí)時(shí)視頻監(jiān)控等視頻應(yīng)用的迅速增長(zhǎng)，可伸縮視頻由于具有可分級(jí)特性，并且對(duì)信道的異構(gòu)性具有很強(qiáng)的適應(yīng)性，因此受到了廣泛的關(guān)注。本論文的研究與學(xué)習(xí)了時(shí)間維可伸縮的兩種技術(shù)，即MCTF和等級(jí)B幀，重點(diǎn)探究了MCTF技術(shù)的實(shí)現(xiàn)流程，隨后通過(guò)C語(yǔ)言編程實(shí)現(xiàn)了五級(jí)哈爾小波提升，最后，通過(guò)軟件仿真對(duì)比，驗(yàn)證了該方案的可實(shí)施性。5.2展望 科技是向前飛速發(fā)展的，可伸縮編碼方案也不會(huì)停留在原地不動(dòng)。伴隨著越來(lái)越高速的處理器的出現(xiàn)，嵌入式技術(shù)的普及，人們對(duì)視頻分辨率的越來(lái)越高的要求，以及無(wú)線網(wǎng)絡(luò)技術(shù)的發(fā)（3G,LTE,4G,以及三星的5G技術(shù)），可伸縮編碼方案也會(huì)隨之發(fā)生巨大的改變。然而，由于技術(shù)水平和時(shí)間的限制，未能進(jìn)行更深入的研究。如何充分利用視頻幀之間的相關(guān)性，在消除幀之間的冗余度和對(duì)視頻分辨率的要求的前提下，實(shí)現(xiàn)真正的智能化視頻可伸縮是進(jìn)一步研究的重點(diǎn)。 目前視頻可伸縮編碼技術(shù)的并不太成熟，但是隨著越來(lái)越多的人的參與和集思廣益的研究，我相信不遠(yuǎn)的未來(lái)，真正的智能化的視頻可伸縮技術(shù)一定會(huì)更加成熟，智能視頻服務(wù)也將真正的融入我