（計算機軟件與理論專業(yè)論文）基于提升小波變換的視頻壓縮技術的研究與實現.pdf

東北大學碩士學位論文 摘要 基于提升小波變換的視頻壓縮技術的研究與實現 摘要 隨著網絡的日益普及和多媒體技術的不斷發(fā)展，數字多媒體應用技術得到很大的發(fā) 展，但仍跟不上多媒體文件體積增大的速度，經過數字化后的視頻和音頻信息體積具有 數據海量性，這給信息的存儲和傳輸帶來了很多的困難。正因為如此，對多媒體文件壓 縮處理的研究一直是一個熱門的研究課題，此方面的研究成果和新技術也不斷推出。 本文也是從此角度出發(fā)，借鑒第一代小波視頻編碼成功的經驗，提出了基于提升小 波變換的視頻壓縮技術的完整模型。采用整型雙正交小波作為提升小波基，使整個變換 具有過程簡單、復雜度低、內存少和易逆變換等優(yōu)勢，從而減少了在變換、量化過程中 圖像能量損失，并實現軟件編碼。然后研究塊間匹配的運動估計的算法，總結現有算法 的優(yōu)缺點，結合整像素和半像素兩種估計方式，提出了新的逐級搜索方式算法，該算法 可以滿足不同用戶的需求；其中自適應的閾值搜索終止規(guī)則，解決搜索過程中局部最優(yōu) 的矛盾；并對邊緣的宏塊估計提出新的解決辦法。經測試該算法在塊匹配的搜索時間和 解碼后的圖像質量方面都有很大的改善。最后，在v i s u a lc + + 6 0 上仿真和實現關鍵算 法，使基于提升小波變換的視頻壓縮技術能應用于實際中。 關鍵詞：提升小波變換；運動估計；視頻編碼；多分辨率分析；整型雙正交小波 i i 東北大學碩士學位論文a b s t r a c t s t u d y i n ga n di m p l e m e n t a t i o no fv i d e oc o m p r e s s i o nb a s e do n l i f t e dv l ，a v e l e tt r a n s f o r m a b s t r a c t w i t ht h ed e v e l o p m e n to ft h en e t w o r ka n dm u l t i m e d i at e c h n o l o g y ，d i g i t a lm u l t i m e d i a t e c h n o l o g ya l s oh a sm a d eal a r g ep r o g r e s s b u ti t c a n tc a t c hu pw i t ht h es p e e dt h a tt h e v o l u m eo f t h em u l t i m e d i af i l ei n c r e a s e s t h ev o l u m eo f v i d e oa n da u d i oi n f o r m a t i o nh a sm a s s d a t aw h e ni ti sd i g i t i z e d i th a sb r o u g h tm u c hd i f f i c u l t yt os t o r ea n dt r a n s m i ti n f o r m a t i o n j u s t b e c a u s eo ft h i s i ti sah o ts u b j e c tt h a td e a l sw i t ht h ec o m p r e s s i o no ft h em u l t i m e d i af i l ef o r r e s e a r c ha l lt h et i m e t h er e s e a r c hr e s u l t sa n dn e w t e c h n o l o g yi nt h i sa s p e c ta r ea l s oc o m i n g i n a l l t h e t i m e p r o f i t t i n gf r o mt h es u c c e s s f u le x p e r i e n c e so fv i d e oc o d i n gb a s e do nt h ef i r s t - g e n e m t i o n w a v e l e tt r a n s f o r m ，a d o p t st oi n t e g e rb i o r t h o g o n a lw a v e l e ta st h el i f t e dw a v e l e tb a s e ，w h i c h m a k e se n t i r et r a n s f o r mt oh a v em a n ys u p e r i o r i t i e s ，s u c ha st h es i m p l ep r o c e s s ，t h el o w c o m p l e x i t y , t h ef e wm e m o r ya n de a s yi n v e r s et r a n s f o r m ，r e d u c e se n e r g yl o s si nt r a n s f o r ma n d q u a n t i f i c a t i o np r o c e s s ，a n dt h e nr e a l i z e st h es o f t w a r ec o d i n g t h e nt h i sp a p e rr e s e a r c h e st h e b l o c km a t c hm o v e m e n te s t i m a t ea l g o r i t h m s ，s u m m a r i z e st h e i rm e r i t sa n dd e f e c t s ，a n d c o m b i n e s 、v i mt h et w oe s t i m a t e sm e t h o d so ft h ee n t i r ep i x e la n dh a l fp i x e l p u t sf o r w o r da n e wp r o g r e s s i v es e a r c hm o d ea l g o r i t h m , t h ea l g o r i t h mc a ns a t i s f yt h ed e m a n do fd i f f e r e n t n s e r s ；i nw h i c ht h ea u t o - a d a p t e dt h r e s h o l ds e a r c ht e r m i n a t i o nr u l e sc a l ls o l v et h ec o n t r a d i c t i o n o ft h el o c a lo p t i m u mi nt h es e a r c hp r o c e s s ，a n dp r o p o s e san e ws o l u t i o nf o re d g em a c r o b l o c k se s t i m a t e a c c o r d i n gt ot h et e s tr e s u l t s ，t h en e wa l g o r i t h mm a k e sb o t ht h es e a r c ht i m e o fb l o c km a t c ha n dt h eq u a l i t yo fd e c o d e dp i c t u r ei m p r o v e dg r e a t l y f i n a l l yt h i sp a p e r s i m u l a t e sa n dr e a l i z e sk e ya l g o r i t h m so nt h ev i s u a lc + + 6 0 a n dt h e s ea l g o r i t h m se n a b l et h e v i d e oc o m p r e s s i o nt e c h n o l o g yb a s e do nt h el i f t e dw a v e l e tt r a n s f o r mt oa p p l i c a t i o n s k e y w o r d s ：l i f t e dw a v e l e tt r a n s f o r m ；m o t i o ne s t i m a t e ；v i d e oc o d i n g ； m u l t i r e s o l u t i o na n a l y s i s ；i n t e g e rb i o r t h o g o n a lw a v e l e t i i i 獨創(chuàng)性聲明 本人聲明所呈交的學位論文是在導師的指導下完成的。論文中取得的 研究成果除加以標注和致謝的地方外，不包含其他人已經發(fā)表或撰寫過的 研究成果，也不包括本人為獲得其他學位而使用過的材料。與我一同工作 的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示誠摯 的謝意。 學位敝作者簽名：雅糲 簽字日期：礦一夕i2 一 學位論文版權使用授權書 本學位論文作者和指導教師完全了解東北大學有關保留、使用學位論 文的規(guī)定：即學校有權保留并向國家有關部門或機構送交論文的復印件和 磁盤，允許論文被查閱和借閱。本人同意東北大學可以將學位論文的全部 或部分內容編入有關數據庫進行檢索、交流。 ( 如作者和導師同意網上交流，請在下方簽名：否則視為不同意) 學位論文作者簽名：彰乏孑 導師簽名：破 簽字日期：7 c 肛簽字日期：夕 東北大學碩士學位論文第一章緒論 第一章緒論弟一早珀下匕 1 1 數字視頻壓縮技術概述 信息時代的重要特征是信息的數字化，而信息的數字化則帶來了“信息爆炸”。由 于計算機，數字通信系統(tǒng)和電信網絡的出現和發(fā)展，使得信息的數字化表示、存儲、處 理和傳輸更加簡便易行。如今，信息的獲取和處理已經成為人們生活和工作必不可少的 方式和手段了，而多媒體信息以其豐富的內容和友好的環(huán)境更加受到青睞，比如：v c d 、 d v d 、電視會議、視頻點播、可視電話、高清晰度數字電視( h d t v ) 以及新興的多媒 體短信( m m s ) 等等。在多媒體信息中，圖像和視頻所占的比重是最大的。但是它們 的數據量太大，要求的存儲空間和傳輸的帶寬都很大，對于實際中的應用是非常不利的。 比如：c i f 格式的視頻，彩色4 ：4 ：4 格式采樣，每幀數據量：3 5 2 x 2 8 8 x 3 = 3 0 4 1 2 8 ( k b ) ， 每秒數據量：3 0 4 1 2 8 x 3 0 = 9 1 2 ( m b s ) ，一片c d r o m 可存幀數：6 5 0 0 3 0 4 = 2 1 3 7 2 6 ( 幀片) ，一片c d - r o m 可存的節(jié)目時間：( 6 5 0 9 1 2 ) 6 0 = 1 1 8 8 ( 分鐘片) 。由這個例 子可以看出，數字化信息的數據量是非常龐大的。這樣大的數據量給存儲器的存儲容量， 通信線路的信道傳輸以及計算機的運行速度都增加了極大的壓力。如果單純地使用擴大 存儲器容量，增加通信干線的傳輸率的辦法是不現實的。而數據壓縮技術則是一個有效 的方法，通過數字壓縮手段把信息數據量降低下來，以壓縮后的形式進行存儲和傳輸， 既緊縮節(jié)約了存儲空間，又提高了通信干線的傳輸效率，同時也使計算機能實時處理音 頻、視頻信息，并且保證播放高質量的視頻、音頻成為可能。因此，數據壓縮的任務就 是保持信號在一個可以接受的狀況的前提下把需要的比特數減少到最少程度，即用盡可 能少的比特數來表示信源信號并能將其還原，以減少存儲和傳輸的成本川。 由于原始的數字化視頻數據中有極強的相關性，存在著大量的冗余信息，比如空間 冗余，時間冗余，視覺冗余等等。數據壓縮就是將龐大數據中的冗余信息去掉，保持相 互獨立的信息分量。以靜止圖像畫面為例，數字化圖像的灰度信號和色差信號在空域雖 然屬于一個隨機場分布，但是它可以看成為一個平穩(wěn)的馬爾可夫場。圖像的像素點在空 域中的灰度值和色差信號值，除了邊界輪廓之外，都是緩慢變化，比如一幅頭肩圖像， 背景，人臉，頭發(fā)等處的灰度，顏色都是平緩改變。相鄰像素的灰度和色差值比較接近， 具有強的相關性，直接用采樣數據表示灰度和色差，信息有較多的冗余【2 1 。因此，如何 排除冗余信息，再進行編碼，使得表示每個像素的平均比特數下降，就是圖像壓縮和視 東北大學碩士學位論文 第一章緒論 頻壓縮所要解決的問題。 1 9 4 8 年提出電視信號數字化后，人們就開始了對圖像壓縮編碼的研究工作，至今已 經將近有六十年的歷史，在這期間，人們開發(fā)出了各種不同的數據壓縮算法，主要分為 統(tǒng)計編碼，預測編碼，變換編碼等等【3 l ，在開始的二十年間，人們只是對幀內的線性預 測編碼和亞抽樣內插復原法進行研究，對視覺特性也做了可貴的工作。7 0 年代開始進行 幀間預測編碼的研究；8 0 年代初開始對運動估計進行研究。變換編碼是1 9 6 8 年由 a n d r e w s 等人提出采用二維傅立葉變換，此后相繼出現了用其它變換方法的變換編碼， 如離散余弦變換和離散小波變換。隨著壓縮技術的不斷進步，形成了一系列的視頻壓縮 標準，比如：h 2 6 1 ，h 2 6 3 ，m p e g 1 ，m p e g 2 ，m p e g - 4 n t ”，以及最近出臺的h 2 6 4 。 這些標準的主要目的就是要達到比較商的壓縮效率，同時保證一定的圖像保真度，以滿 足不同的應用需求。這些標準采用的都是混合編碼技術，即將統(tǒng)計編碼，預測編碼，變 換編碼都融合到編碼框架之中。這些標準的制訂推動了數據壓縮算法的發(fā)展，也為工業(yè) 界形成了規(guī)范，使得人們能夠充分的享受高科技所帶來的樂趣。 目前，主要的數據壓縮技術都是為了減少像素級別的冗余信息，屬于第代編碼技 術，是以信息論和數字信號處理技術為理論基礎，旨在去除圖像數據中的線性相關性的 編碼技術。隨著人們對信息的處理和管理需求的多樣化發(fā)展，人們對信息處理的要求越 來越多，也越來越高。從電報，電話，廣播的單一信息傳輸方式，到電視，電影的被動 形式的多媒體方式，再到互聯(lián)網的主動形式的多媒體傳輸形式，人們仍然不能滿足現在 的信息技術水平。數字電影制作，多媒體信息查詢，數字媒體的管理，視頻點播，多媒 體信息的無線傳輸，電腦游戲等等，要求對多媒體信息進行更有效的描述，管理和綜合 處理，并且還要實現多媒體信息的交互式應用。這些需求促使了第二代編碼技術的出現 和發(fā)展。第二代編碼技術并不局限于信息論的框架，它充分的利用了人的視覺生理，心 理和圖像信源的各種特征，以獲得更高的壓縮比【6 】【”。第二代編碼技術主要有：基于分 形的編碼，基于模型的編碼，基于區(qū)域分割的編碼，基于神經網絡的編碼等等。 第二代編碼技術就是要解決減少數據中語義級別的冗余信息的問題，以達到更高的 壓縮效率，并且能夠實現便捷的多媒體交互式應用?；谝曨l對象的編碼方法就屬于第 二代編碼技術。要實現以上基于內容的多媒體應用，最重要的就是將多媒體信息有效的 劃分為不同的對象，最終的目標應該是語義水平的對象。對于視頻或圖像來說，就要將 它們進行有效的分割，再對分割出來的對象分別進行編碼，壓縮，存儲?？梢?，視頻對 象的編碼是實現多媒體信息基于內容應用中的重要一環(huán)。因為只有采用有效的編碼、壓 2 東北大學碩士學位論文第一章緒論 縮方法，才能實現高的壓縮性能，實現對多媒體內容的訪問和控制。 1 2 數字視頻壓縮的標準 近年來，一系列國際視頻壓縮編碼標準的制定極大地促進了視頻壓縮編碼技術和多 媒體通信技術的發(fā)展。視頻壓縮編碼標準的制定工作主要是由國際標準化組織 ( i n t e m a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ，簡稱i s o ) 和國際電信聯(lián)盟( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ，簡稱i t u ) 完成的。由i t u 組織制定的標準主要是針對實時 視頻通訊的應用，如視頻會議和可視電話等，它們以h 2 6 x 命名( 如h ，2 6 1 ，h 2 6 2 ， h 2 6 3 和h 2 6 4 ) ；而由i s o 和i e c ( i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ，國際電工 委員會) 的共同委員會中的m p e g 組織( m o v i n gp i c t u r ee x p o r tg r o u p ) 制定的標準主 要是針對視頻數據的存儲( 如：d v d ) 、廣播電視和視頻流的網絡傳輸等應用，它們以 m p e g - x 命名( 如m p e g 1 ，m p e g 2 ，m p e g - 4 ，m p e g 7 等) i s 。 1 2 1h 2 6 x 系列 ( 1 ) 視聽會議壓縮編碼標準h 2 6 1 h 。2 6 1 是第一個廣泛投入應用的數字視頻編碼標準，又稱為p x 6 4 ，其中p 為1 3 0 的可變參數，p 取值較小時，只能傳清晰度不太高的圖像，適合于面對面的電視電話； p 取值較大時( 如：p 6 ) ，則可以傳輸清晰度較好的會議電視圖像，最初是針對在i s d n 上實現電信會議應用特別是面對面的可視電話和視頻會議而設計的，h 2 6 1 奠定了混合 編碼框架的雛形，其視頻壓縮算法的核心是運動估值預測和d c t 編碼，許多技術( 包 括視頻數據格式、運動估算與補償、d c t 交換、量化和嫡編碼) 都被后來的m p e g - 1 ， m p e g 2 所借鑒和采用。它屬于恒定碼流可變質量編碼而非恒定質量可變碼流編碼。 ( 2 ) 低比特率視聽會議壓縮編碼標準h 2 6 3 h 2 6 3 是為低碼流通信而設計的，但實際上這個標準可用于很寬的碼流范圍，而非 只用于低碼率范圍，它在許多應用中可以被用來取代h 2 6 1 。h 2 6 3 的編碼算法與h 2 6 1 一樣，但做了一些改善，以提高性能和糾錯能力。h 2 6 3 標準在低碼率下能夠提供比h 2 6 1 更好的圖像效果，例如在比特率低于3 0k b s 的應用中，同樣的視頻質量前提下，h 2 6 3 的輸出碼率僅為h 2 6 1 的一半甚至更少。 兩者的區(qū)別包括： h 2 6 3 的運動補償使用半像素精度，而h 2 6 1 則用全像素精度和循環(huán)濾波； 數據流層次結構的某些部分在h 2 6 3 中是可選的，使得編解碼可以配置成更低 3 ， 東北大學碩士學位論文第一章緒論 的數據率或更好的糾錯能力； h 2 6 3 包含4 個可協(xié)商的選項以改善性能； h 2 6 3 采用無限制的運動向量以及基于語法的算術編碼； 采用事先預測和與m p e g 中的p b 幀一樣的幀預測方法； h 2 6 3 支持5 種分辨率，即除了支持h 2 6 1 中所支持的q c i f 和c i f 外，還支持 s q c i f ，4 c i f 和1 6 c i f 。 ( 3 ) h 2 6 3 + + 斗 h 2 6 3 + 是h 2 6 3 的改進版，它在保證原h(huán) 2 6 3 標準的核心句法和語義不變的基礎上， 增加了若干選項以提高壓縮效率或某方面的功能，它提供了1 2 個新的可協(xié)商模式和其 他特征，進一步提高了壓縮編碼性能。另一重要的改進是可擴展性，它允許多顯示率、 多速率及多分辨率，增強了視頻信息在易誤碼、易丟包異構網絡環(huán)境下的傳輸。新增選 項可歸納為新的圖像種類和新的編碼模式兩類。 h 2 6 3 + + 是在h 2 63 + 的基礎上又增加了3 個選項，主要是為了增強碼流在惡劣信道 上的抗誤碼性能。同時也是為了增強編碼效率，這3 個選項分別為：增強型的參考幀選 擇，數據分片的模式，在h 2 6 3 + 的碼流中增加了補充信息，保證增強型的反向兼容。 ( 4 ) 新一代視聽會議壓縮編碼標準h 2 6 4 h 2 6 4 同樣采用d p c m 加變換編碼的混合編碼模式，但它采用“回歸基本”簡潔設 計，不用眾多的選項，獲得比h 2 6 3 + + 好得多的壓縮性能；應用目標范圍較寬，以滿足 不同速率、不同分辨率以及不同傳輸( 存儲) 場合的需求。 技術特點包括： 幀間編碼，可變塊大小的運動補償預測技術； 幀內編碼，多方向的空間預測技術； 環(huán)內濾波器，去除塊效應； 通4 x 4 的整數正交變換及相應的量化策略； 改進的運動向量預測編碼； 更加高效的嫡編碼器； 基于率失真的編碼優(yōu)化技術。 這些措施使得h 2 6 4 算法具有很高的編碼效率，在相同的重建圖像質量下，能夠比 h 2 6 3 節(jié)約5 0 左右的碼率。h 2 6 4 的碼流結構網絡適應性強，增加了差錯恢復能力， 能夠很好地適應i p 和無線網絡的應用。但從總體上說，h 2 6 4 性能的改進是以增加復雜 4 東北大學碩士學位論文第一章緒論 性為代價而獲得的，其編碼的計算復雜度大約相當于h 2 6 3 的3 倍，解碼復雜度大約相 當于h 2 6 3 的2 倍。 1 2 2m p e g - x 系列 ( 1 ) 面向數字存儲的運動圖像及其伴音的編碼標準m p e g - 1 m p e g 1 標準1 9 9 0 年1 2 月提出標準草案，1 9 9 3 年8 月公布，是適用于傳輸1 5 m b p s 數據傳輸率的數字存儲媒體運動圖像及其伴音的編碼標準。m p e g 1 標準可以處理各種 類型的活動圖像，其基本算法對于壓縮水平方向3 6 0 個像素、豎直方向2 8 8 個像素的空 間分辨力，每秒2 4 至3 0 幅畫面的運動圖像有很好的效果。與j p e g 不同，它沒有定義 產生合法數據流所需的詳細算法，而是在編碼器設計中提供了大量的靈活性，另外定義 已編碼位流和解碼器的一系列參數都包含在位流本身當中，這些特點允許算法可以用于 不同大小和寬高比的圖像，也可以用在工作速率范圍很大的信道和設備上。 m p e g - i 標準完成的基本任務就是：質量適當的圖像( 包括伴音) 數據必須成為計 蕈 算機數據的一種，和已有的數據( 如文字、繪圖等數據) 在計算機內兼容，并且這些數 據必須在現有的計算機網絡和廣播電視等通信網絡中兼容傳輸。 ( 2 ) 廣播系統(tǒng)壓縮編碼標準m p e g - 2 m p e g - 2 標準1 9 9 4 年1 1 月公布，其全稱為“運動圖像及其伴音的編碼”，主要針 對高清晰度電視( h d t v ) 所需要的視頻及伴音信號。制定m p e g 2 的初衷是得到一個 季 針對廣播電視質量( c c m 6 0 1 格式) 的視頻信號的壓縮編碼標準，但實際上最后得到的 是一個通用的標準，它能在很寬范圍內對不同分辨率和不同輸出比特率的圖像信號有效 地進行編碼。 m p e g - 2 核心部分與m p e g 1 基本相同，是在m p e g 1 基礎上的進一步擴展和改進， 克服并解決了m p e g - 1 不能滿足日益增長的多媒體技術、數字電視技術對分辨率和傳輸 率等方面的技術要求的缺陷。最高圖像分辨率：1 9 2 0 x 1 1 5 2 ：普通p a l 制式分辨：7 2 0 x 5 7 6 ； 最高數據流量：8 0 m b p s ；一般數據流量：6 5 0 0 k b p s ( 7 2 0 x 5 7 6 ) 。它是主要針對數字視頻 廣播、高清晰度電視和數字視盤等制定的編碼標準，可以支持固定比特率傳送、可變比 特率傳送、隨機訪問、信道跨越、分級編碼、比特流編輯等功能。從本質上講，m p e g 2 可視為一組m p e g - 1 的最高級編碼標準，它保留了m p e g - 1 所提供的所有功能，并設計 成與m p e g - 1 兼容，但又增加了基于幀場的運動補償、空間可伸縮編碼、時間可伸縮 編碼、質量可伸縮編碼以及容錯編碼等新的編碼技術。m p e g 2 有不可分級和可分級兩 5 東北大學碩士學位論文 第一章緒論 種編碼方式。它還定義了5 個框架和4 個級別，框架是標準中定義的語法子集，級別是 一個特定框架中參數取值的集合?？蚣芎图墑e限定以后，解碼器的設計和校驗，就可以 針對限定的框架在限定的級別中進行，同時也為不同的應用領域之間的數據交換提供了 方便和可行性，其中的主框架應用最廣，也是最為重要的一個。 ( 3 ) 基于對象的低碼率視頻壓縮編碼標準m p e g - 4 m p e g 4 是m p e g 組織制定的一種i s o i e c 標準，m p e g 組織于1 9 9 9 年1 月正式 公布了m p e g - 4v 1 ，0 版，1 9 9 9 年1 2 月又公布了m p e g 4v 2 0 版本。m p e g 組織的初 衷是制定一個針對視頻會議、視頻電話的超低比特率( 6 4 k b i t s 以下) 編碼的需求，并 打算采用第二代壓縮編碼算法，以支持甚低碼率( v e r yl o wb i tr a t e ) 的應用，但在制 定過程中，m p e g 組織深深感到人們對多媒體信息特別是對視頻信息的需求由播放型轉 向到基于內容的訪問、檢索和操作，所以修改了計劃，制定了現在的m p e g - 4 。m p e g - 4 主要應用于數字電視，交互式圖像應用，交互式多媒體( 網絡根據內容來分布和存儲) 和基于計算機網絡的可視化場景應用等的有效多視角編碼，加上多伴音聲道編碼及有效 的視聽同步。 m p e g - 4 的最高圖像分辨率：7 2 0 x 5 7 6 ；最高數據流量：5 - 1 0 m b p s ；普通p a l 制式 分辨率：3 5 2 x 2 8 8 ；數據流量：8 8 0 k b p s 。 1 2 3 a v s 標準 a v s 是我國具備自主知識產權的第二代信源編碼標準。顧名思義，信源”是信息的 “源頭”，信源編碼技術解決的重點問題是數字音視頻海量數據( 即初始數據、信源) 的 編碼壓縮問題，故也稱數字音視頻編解碼技術。顯而易見，它是其后數字信息傳輸、存 儲、播放等環(huán)節(jié)的前提，因此是數字音視頻產業(yè)的共性基礎標準，它在性能上與最新的 國際標準相同或更高，兼容國際標準基本功能，所包含的技術專利不受控于境外企業(yè)與 組織。 a v s 視頻當中具有特征性的核心技術包括：8 8 整數變換、量化、幀內預測、1 4 精度像素插值、特殊的幀間預測運動補償、二維嫡編碼、去塊效應環(huán)內濾波等。 a v s 是一套適應面十分廣闊的技術標準。與m p e g - 2 等現有壓縮標準相比，在相同 的視覺質量下，碼率至少可以降低5 0 ，碼率范圍覆蓋幾十k b p s 的低帶寬通信到數十 m b p s 的高清晰度電視廣播，可以支持低延遲模式的視頻會議應用，也支持高壓縮效率 的視頻存儲應用等，明顯超越了現有的所有視頻編碼標準。 6 東北大學項士學位論文第一章緒論 據預測，數字音視頻產業(yè)將在2 0 0 8 年超過通信產業(yè)，在2 0 1 0 年成為國民經濟第一 大產業(yè)。a v s 作為數字音視頻產業(yè)“牽一發(fā)動全身”的基礎性標準，為我國構建“技術 一 專利一 標準一 芯片與軟件一 整機與系統(tǒng)制造一 數字媒體運營與文化產業(yè)”的產 業(yè)鏈條提供了難得機遇。 1 3 工作研究的內容 小波分析，無論是作為數學理論的連續(xù)小波變換，還是作為技術工作和方法的離散 小波變換，仍有很多理論需要進一步研究。特別是隨著適于硬件實現的提升小波的出現， 為小波理論的發(fā)展提供了更大的動力。圖像壓縮編碼技術目前己經成為高技術領域的匯 流點之一。正是基于此，本文作者針對小波理論，方法和提升小波的內容進行了研究， 并對視頻編碼中運動估計算法進行了探討和改進。 本文主要有以下幾個方面的工作： ( 1 ) 由于雙正交小波的線性特性，其廣泛應用于圖象處理領域。小波濾波器的構造 是很關鍵的技術。因此，選則合適的濾波器對整個變換有很大的影響。綜合考慮不同小 波函數的具體特性，本文提出利用雙正交對稱9 7 小波實現提升變換。 ( 2 ) 為了減少系數變換、量化時的能量損失，得到較好的恢復，提出了基于整數提 升變換。因為該方法算法簡單，易于實現，且對逆變換更容易得到等優(yōu)點，其結果與其 它小波變換方法獲得的系數相似。 ( 3 ) 運動估計在整個視頻壓縮系統(tǒng)中的時間復雜度最大，占了整個編碼系統(tǒng)時間的 5 0 以上，所以對運動估計的搜索速度至關重要，本文根據整數像素和半像素結合的方 式，采用逐級搜索的方法，并對邊緣的宏塊估計提出解決辦法，提高圖像幀的壓縮質量， 并利用自適應的閾值作終止規(guī)則解決局部最優(yōu)的矛盾。 ( 4 ) 研究了現有視頻編碼協(xié)議，并在標準協(xié)議基礎上開發(fā)了視頻編碼器，且編碼后 的碼流能適應于當前主要媒體播放器解碼，并通過系統(tǒng)的測試，驗證了本文提出的方法 具有很好的壓縮效果和實際應用能力。 1 4 本文的結構 本論文共分為五章，各章節(jié)的具體內容安排如下： 第一章：緒論，講述了當前課題研究的背景及主流視頻壓縮系列標準。 第二章：理論知識，分析了小波的基本理論、提升小波變換的原理和變換中的知識 點。 7 東北大學碩士學位論文第一章緒論 第三章：算法的設計，分析當前運動估計算法的優(yōu)缺點并提出新改進的算法。 第四章：算法的實現與分析，應用本文知識，利用軟件仿真實現了視頻文件壓縮和 對算法性能驗證及性能分析。 第五章：總結與展望，在總結全文工作的基礎上，提出了下一步工作的方向和基本 思路。 8 東北大學碩士學位論文第二章理論知識 第二章理論知識 2 1 第一代小波變換的理論 2 1 1 小波變換理論的發(fā)展 傅立葉變換是信號處理領域中最完美、應用最廣泛、效果最好的一種分析手段。但 傅立葉變換只是一種純頻域的分析方法，它在頻域的定位性是完全準確的( 即頻域分辨 率最高) ，而在時域無任何定位性( 或分辨能力) ，也即傅立葉變換所反映的是整個信 號全部時間下的整體頻域特征，而不能提供任何局部時間段上的頻率信息。實際中，對 于一些常見的非平穩(wěn)信號它們的頻域特性都隨時間而變化，因此也可稱它們?yōu)闀r變信 號。對這一類時變信號進行分析，通常需要提取某一時間段( 或瞬間) 的頻域信息或某 一頻率段所對應的時間信息。為了研究信號在局部時間范圍的頻率特征，1 9 4 6 年g a b o r 提出了著名的g a b o r 變換，之后又進一步發(fā)展為短時傅立葉變換( s h o r tt i m ef o u r i e r t r a n s f o r m ，簡記為s t f t ，又稱為加窗傅立葉變換) 。雖然s n 叮已在許多領域獲得了 廣泛的應用，但由于s t f t 的本身特點決定了其窗函數的大小和形狀與時間和頻率無關 而保持固定不變，這對于分析時變信號來說是不利的。高頻信號一般持續(xù)時間很短，而 低頻信號持續(xù)時間較長，因此，我們希望對于高頻信號采用小時間窗，對于低頻信號采 用大時間窗進行分析，這種變時窗的要求同s n 叮的固定時窗的特性是相矛盾的，這表 明s n 叮在處理這一類問題時已不在實用了 4 1 。 小波分析( w a v e l e t sa n a l y s i s ) 是近年迅速發(fā)展起來的新興學科，具有深刻的理論 意義和廣泛的應用范圍。小波分析是一種信號的時間一尺度( 時間一頻率) 分析方法， 它具有多分辨分析的特點，而且在時頻兩域都具有表征信號局部特征的能力，是一種窗 口大小固定不變但其形狀可以改變的時頻局部化分析方法。即在低頻部分具有較高的頻 率分辨率和較低的時間分辨率，在高頻部分具有較高的時間分辨率和較低的頻率分辨 率，很適合于探測正常信號中夾帶的瞬變反常信號并分析其成份，所以被譽為分析信號 的顯微鏡。由于小波具有多分辯分析的能力，可以對信號和圖像在不同尺度上進行分解， 在小波域進行去噪、壓縮處理后，作反變換得到去噪和壓縮后的信號和圖像。小波分析 用于非平穩(wěn)信號和圖像的處理優(yōu)于傳統(tǒng)的傅立葉變換已被許多應用領域的事實所證實。 因此，自小波分析誕生到現在不過l o 年的時間，就在諸如信號信息處理、圖像處理、 語音分割與合成、故障診斷等取得了很佳的應用效果。 9 東北大學碩士學位論文塹三皇堡堡壘堅 小波變換的思想來源于伸縮與平移方法。小波分析方法的提出，最早應屬1 9 1 0 年 h a a r 提出的規(guī)范正交基，這是最早的小波基，但當時并沒有出現“小波”這個詞，小波 概念的真正出現應算于1 9 8 4 年。法國地球物理學家j m o r l e t 在分析地震數據時提出將 地震波按一個確定函數的伸縮、平移系展開。隨后，他與a g r o s s m a n 共同研究，發(fā)展 了連續(xù)小波變換的幾何體系。1 9 8 5 年，法國的大數學家m e y e r 首先提出了光滑的小波 正交基，對小波理論做出了貢獻。1 9 8 6 年，m e y e r 及其學生l e m a r i e 提出了多尺度分析 的思想。1 9 8 7 年m a l l a t 將計算機視覺領域內的多尺度分析思想引入到小波分析中，提 出了多分辯率分析的概念，統(tǒng)一了在此之前的所有正交小波基的構造，并提出了相應的 分解與重構快速算法。1 9 8 8 年，年輕的女數學家d a u b e c h i e s 提出了具有緊支集的光滑 正交小波基- - d a u b e c h i e s 基，為小波的應用研究增添了催化劑，同年，d a u b e c h i e s 在美 國主辦的小波專題討論會上進行了十次演講，引起了廣大數學家、物理學家甚至某些企 業(yè)家的重視，由此將小波的理論和實際應用推向了一個高潮。 小波分析的概念在8 0 年代由m o f l e t 首先提出，此后發(fā)展迅速，現己廣泛應用于許 多學科領域，特別在圖像數據壓縮、圖像處理應用等諸多方面中顯示出它獨特的魅力。 小波分析是一種時頻局部化分析方法，能以有效信號表征方式處理圖像中的非平穩(wěn)信 息，為多分辨率和子帶分解技術提供了一個統(tǒng)一的理論框架【5 1 。因此，小波理論迅速成 為國際學術界的研究熱點。 自m o r l e t 于1 9 8 1 年在分析地質數據中首先提出小波分析( w a v e l e ta n a l y s i s ) 這一 概念，并研究了g a b o r 變換，對f o u r i e r 變換與加窗f o u r i e r 變換的異同、特點以及函數 的構造做了創(chuàng)造性的研究后，開創(chuàng)了以他的名字命名的m o r l e t 小波后，許多科學家們又 在基于其研究領域上發(fā)展了小波分析。特別有：1 9 8 5 年，法國大數學家m e y e r 首次提 出光滑的小波正交基，又于1 9 8 6 年提出多尺度分析思想；1 9 8 8 年，女數學家d a u b e e h i e s 提出了具有緊支集正交小波基- - d a u b e c h i e s 基，為小波應用研究增添了催化劑。信號分 析專家m a l l a t 提出了多分辨分析的概念，給出了構造正交小波基的一般方法，在1 9 8 9 年以多分辨分析為基礎提出了著名的快速小波算法- - m a l l a t 塔式算法( f w t ) ，宣告小 波從理論研究走向寬廣的應用研究。也是m a l l a t 將小波變換引入圖像處理領域，隨后人 們研究了不少用小波變換實現圖像數據壓縮的方法。 2 1 2 連續(xù)小波變換 小波是由一個函數( x ) 經伸縮和平移得到的一組函數： 1 0 東北大學碩士學位論文第二章理論知識 v a , b = a l - 1 2 , ( 等) 口1 6 見刪 ( 2 1 ) 其中妒( 工) 就稱為基本小波或母小波，它滿足相容條件： = 鈄鋤 旺2 ， 其中( 回是妒( 工) 的傅立葉變換。式( 2 i ) 中，a 表示小波函數的尺度伸縮因子，b 表 示小波函數的位移因子。由基本小波函數( x ) 和a 、b 的改變可以得到一組小波基底函 數，信號，在這一組基底函數上的分解就d q 4 , 波變換： w z ( a , b ) = = 肼。膽( 孚小工) d x ( 2 3 ) 如果滿足相容性條件，則小波變換是可逆的，其小波反變換為： 廠( 功2 擊e e 町( 島6 妒“工) d a d b ( 2 4 ) 在連續(xù)小波變換中，參數a 的伸縮和參數b 的平移為連續(xù)取值，它主要應用于理論 分析方面。小波變換體現了一種以不同尺度觀察信號，以不同分辨率分析信號的思想。 小波基函數在頻域上表現為一個帶通濾波器，而小波變換則表現為信號被一組帶通濾波 器濾波。特別地，這組帶通濾波器的中心頻率和帶寬分別隨著a ，b 的變化而變化。所 以小波變換是把信號分解到一系列非等寬頻帶上，正是由于這種頻帶的變化使小波變換 可以適應信號的不規(guī)則性而局部地表征它們，即在不同尺度或分辨率上表示和分析它 們。當式( 2 3 ) 中a 值較小時，頻率成分主要是在高頻區(qū)域，頻響寬度寬，同時時間 位移步進很小，意味著對信號細節(jié)的觀察；反之，若a 增大，n 4 , 波膨脹，低頻成分占 主導，頻響寬度窄，時間位移步進大，意味著對信號的大范圍觀察。這就是小波特有的 “變焦”特性，這種特性使得小波很好地實現了時間( 空間) 域和頻率域的局部化，可 以隨著頻率變化實現多分辨率分析。 2 1 3 離散小波變換 在式( 2 1 ) 中，( a ，b ) 皆為連續(xù)變量且在八功的連續(xù)小波變換描述中具有冗余性。 因此沒有必要針對所有可能的( 口，b ) 值去計算，( 口，6 ) ，而針對有限( a ，b ) 值的計 算就有實際上的必要。 當( 口，b ) 為離散值時，若令f l = 口：，b = k b o a ：其中_ ，k z ，a o ，b o 0 一，則對應離 東北大學碩士學位論文 第二章理論知識 散小波函數為【1 3 】： ，t ( x ) = 2 y ( 啄x 一七) ( 2 5 ) 離散小波變換為： c 拈( 力= = a i j 2p ( 一k b o ) f ( x ) d x ( 2 6 ) 如果信號f ( x ) 也是離散的，記為f ( n ) ，則有： c ， = ( ”瓦廁 ( 2 7 ) 離散小波變換也是一種時頻分析，它從集中在某個區(qū)間的基本函數開始，以規(guī)定的 步長向左或右移動基本波形，并用標度因子a 。來加以擴張或壓縮以構造其函數系。離散 小波變換能為信號分析與合成提供足夠的信息，此外還可降低計算機的資源消耗和計算 量。 在離散小波變換中，濾波器將在不同的尺度條件下截斷信號的某些頻率成分：信號 通過不同的高通濾波器得到一系列的信號高頻成分，通過不同的低通濾波器得到一系列 的低頻成分，這樣便能分析信號的不同頻率成分。 這種離散化的基本思想體現了小波變換作為“數字顯微鏡”的主要功能，選擇適當 的放大倍數，在一定特定的位置研究一個函數或信號過程，再平移到另一個位置繼續(xù)研 究。 2 1 4 多分辨率分析 當式( 2 5 ) 中的取值為2 ，6 0 取值為l 時，我們就可以得到二進制小波，用二進 小波變換所得的小波系數仍含有大量的冗余性，這是因為二進小波族的每個小波之間可 能是線性相關的。如果能找到r ( r ) 空間的一個正交小波基，用它來進行變換，則所得 到的小波系數就不會有冗余了，這就存在一個選取小波基的問題。八十年代，m a l l a t 提 出了多分辨率分析的概念，將那之前的所有正交小波基的構造統(tǒng)一起來，并給出了信號 分解為不同頻率通道及重構的算法。 任何小波把r ( r ) 都分解成子空間礦，_ ，z 的某種直和。這個意義上，每個子空問 形是函數集合吼。( x ) = 2 叫2 烈2 x - k ) ，e z 的線性張成在r ( r ) 中的閉包。因此，相應 的子空間 = + 一2 + 一l ，j z ( 2 8 ) 1 2 東北大學碩士學位論文第二章理論知識 形成r ( 回中的一個嵌套序列，他們的并在空間l 2 ( r ) 中是稠密的，它們的交是零空間 0 ，即具有下述性質： ( 1 ) 單調性：一l “，j z ； ( 2 ) 逼進性：0 t = 工2 似) ，亓t = o ； j e zi t z ( 3 ) 伸縮性：( 曲巧廠( 2 x ) 巧“，_ ，z ； ( 4 ) 平移不變性：f ( x ) v o f ( x 一七) v o ，j z ； ( 5 ) r i e s z 基存在性：存在妒 ) v o 使移o 一女) i k z ) 構成v o 的r i s e z 基。 其中( 1 ) 描述的是子空間的序列是嵌套的：( 2 ) 描述的是r ( r ) 中的每個函數廠( 功能 夠用它在_ 中的投影p f ( x ) 非常接近希望的逼進。但另一方面，如( 2 ) 中保證的， 通過減少j ，投影p ，廠( x ) 能夠具有任意小的能量。 一個函數r ( r ) ，如果它成生的子空間v o = 軌 ，k z 意義上滿足( 1 ) 、( 2 ) 、 ( 3 ) 的閉子空間的一個嵌套序列，并且移 一七) ，k z ) 是v o 的一組標準正交基，那 個e j 是三2 ( r ) 的一個多分辨率分析( m r a ) 生成m r a 的巧稱為一個尺度函數。由于 k ，w o k ，而且k 是用妨。o ) = 2 妒( 2 x t ) ，_ ，z ) 生成的，所以v o 和甄中的任 何函數都可以由切。( z ) = 2 “2 伊( 2 x - k ) ，z j 線性組合，特別的： 妒( 功= 以動( 2 z 一功 ( 2 9 ) 烈x ) = 島2 烈2 x 一”) ( 2 1 0 ) 系數吃為( 妒( x ) ，動( 2 石一功) ，系數島為(