基于H.264壓縮格式的數(shù)字視頻傳輸技術研究畢業(yè)論文

1、河南科技學院 2009 屆本科畢業(yè)論文（設計） 論文（設計）題目：基于h.264壓縮格式的數(shù)字視頻傳輸技術研究 學生姓名： 田利樂 所在院系： 信息工程學院 所學專業(yè)： 計算機科學與技術 導師姓名： 白林峰 完成時間： 2009-05-25 畢業(yè)論文（設計）任務書題目名稱： 基于單片機的三車道交通信號系統(tǒng)的設計學生姓名田利樂所學專業(yè)計算機科學與技術班級053班指導教師姓名白林峰所學專業(yè)計算機職稱高級實驗師完成期限2009年2月5日至2009 年5月 15日一、論文（設計）主要內(nèi)容及主要技術指標主要內(nèi)容： 論文主要研究了基于h.264壓縮格式的數(shù)字視頻傳輸技術。包括三大部分： 1、h.264視頻

2、壓縮標準及其編解碼的分析；2、基于h.264的視頻傳輸抗誤碼技術的研究：（1） 數(shù)字視頻傳輸技術 ； （2） 基于h.264的抗誤碼技術的研究； （3） 應用設計及結果分析；3、h.264視頻流傳輸模型設計。二、 畢業(yè)論文（設計）的基本要求(1)畢業(yè)設計報告或論文一份；(2)不少于2000漢字的與本專業(yè)有關的翻譯資料一份； (3)開題報告和中期檢查表一份。三、畢業(yè)論文（設計）進度安排2009年2月16日起收集與課題相關的文獻資料2009年3月6日前交論文開題報告2009年3月9日起做畢業(yè)設計2009年4月20日進行畢業(yè)設計中期檢查2009年5月5日開始寫畢業(yè)論文2009年5月22日提交畢業(yè)論文

3、河南科技學院本科生畢業(yè)論文（設計）開題報告題目名稱： 基于h.264壓縮格式的數(shù)字視頻傳輸技術研究學生姓名田利樂專業(yè)計算機科學與技術學號20051014316指導教師姓名白林峰所學專業(yè)計算機職稱高級實驗師完成期限2009年2月 5日至2009年5月22日一、選題的目的意義 近年來，隨著數(shù)字通信技術和各種網(wǎng)絡技術的迅猛發(fā)展以及寬帶internet在全球的迅速普及，尤其是第三代移動網(wǎng)絡和未來的帶寬無線網(wǎng)絡的使用，使得多媒體通信越來越成為人們研究的熱點。因此，各種視頻技術的研究和應用一直吸引著國內(nèi)外廣大科技人員的關注。由于信道噪聲的影，視頻信息在傳輸過程中會發(fā)生改變或丟失，這種傳輸誤碼會一導致視頻重

4、建質量嚴重下降。因此視頻傳輸中的抗誤碼技術的研究是一個十分重要的課題。二、國內(nèi)外研究現(xiàn)狀avs是我國具備自主知識產(chǎn)權的第二代信源編碼標準。avs視頻當中采用了一系列技術來達到高效率的視頻編碼，包括幀內(nèi)預測、幀間預測、變換、量化和嫡編碼等。由于包含了目前最新的視頻壓縮技術，從壓縮效率比較:avs與h.264/avc相當，是mpeg-2的兩倍以上。avs適用的范圍有數(shù)字地面電視廣播(dttb)、有線電視(catv)、交互存儲媒體、直播為衛(wèi)星電視、分組網(wǎng)絡的多媒體業(yè)務(mspn)，實時通信業(yè)務(視頻會議、可視電話等)等等。視頻壓縮編碼的國際標準主要有mpeg系列標準和h系列標準。目前，mpeg系列標

5、準主要包括:mpeg-1、mpeg-2、mpeg-4、mpeg-7等。它主要應用于視頻存儲(dvd)、廣播電視、因特網(wǎng)或無線網(wǎng)上的流媒體等。h系列標準是由itu-t的視頻編碼專家組制定的視頻壓縮標準，包括h.261、h.263以及h.264/avc。它主要應用于實時視頻通信領域。三、主要研究內(nèi)容1、研究h.264標準及其編解碼的方法；2、研究視頻傳輸技術；3、研究h.264的抗誤碼技術。四、畢業(yè)論文（設計）的研究方法或技術路線分析h.264標準及其編解碼的方法找出更好的數(shù)字視頻傳輸方法。分析現(xiàn)有數(shù)字視頻傳輸技術，找出適合h.264標準的技術。并研究h.264的抗誤碼技術。五、 主要參考文獻與資

6、料1 沈蘭蓀，卓力，田棟，汪孔橋.視頻編碼與低速率傳輸m.電子工業(yè)出版社，2001:17-502 黃賢武等.數(shù)字圖像處理與壓縮編碼技術m.電子科技大學出版社，2000:449-4563 畢厚杰. 新一代視頻壓縮編碼標準一h.264/avm.北京:人民郵電出版社，20054 鐘玉琢等.基于對象的多媒體數(shù)據(jù)壓縮編碼國際標準m.科學出版社，2000:14-365 沈蘭蓀等. 視頻編碼與低速率傳輸m.電子工業(yè)出版社，2001.6 艾達,常義林,羅忠等.基于對象的h.264視頻編碼抗分組丟失方法j.西安電子科技大學學報, 2006, 33(4):524-528.7 齊誼娜，徐海龍，王曉月.h.264與m

7、peg一4壓縮編碼標準的分析與比較j，計算機測量與控制，2006(14):1720-17228 魏聰穎等.基于實時流媒體傳輸系統(tǒng)的h.264組包算法研究.計算機科學，2007(34):41-449 王健，畢厚杰.h.264視頻編碼傳輸?shù)膓os特性分析j.中國多媒體視訊，2005(l):61-6510 陸曉鵬，王鷹，王壽武.h.261視頻數(shù)據(jù)流的rtp封裝j.微電子學與計算機，2005(22):166-169六、 指導教師審批意見簽名： 年 月 日摘 要本文基于h.264標準分析了視頻壓縮、視頻傳輸、抗誤碼等技術。由于h.264標準主要面對ip和無線環(huán)境的，抗誤碼性能也就成了關鍵問題，所以本文對

8、基于h.264標準的視頻傳輸抗誤碼技術進行了分析。本文首先對視頻圖像編碼發(fā)展史、視頻圖像壓縮編碼技術及視頻編碼國際標準作了簡單介紹，并給出了圖像/視頻編碼領域的基本概念、發(fā)展歷史和當前狀況，著重介紹了視頻編碼國際標準h.264的發(fā)展情況，及其目前相關研究動態(tài)。并且進一步闡明了本文選題的理論依據(jù)，并為隨后展開深入的分析提供了線索與思路。最后分析了基于h.264的視頻傳輸抗誤碼技術，提出了在h.264中引入了基于算術編碼的具有連續(xù)檢錯和自動重傳能力的綜合抗誤碼方案，以獲得較好的壓縮效果和抗信道誤碼能力。關鍵詞 h.264標準,整數(shù)變換,視頻傳輸,抗誤碼技術digital video transmi

9、ssion technology based on h.264compression formatabstractbased on h.264 standards，this article analyses video compression, video transmission, error resilient techniques. h.264 standards mainly due to the face of ip and wireless environment, error resilient techniques will become key issues, so this

10、 article based h.264 standards error resilient video transmission technology is analyzed. first，this article made a brief introduction to history of the development of video coding, video coding video compression video coding technology, international standards.and gives the image / video coding fie

11、ld of the basic concepts, history and current status of development, focused on international standards for video coding the development of h.264, and its current research developments. and further sets out theoretical basis for this article topics, and then to conduct in-depth analysis of the clues

12、 and ideas. finally, an analysis of h.264-based error resilient video transmission technology, put forward in the introduction of h.264 based arithmetic coding for error detection with arq capacity and integrated error resilient program to obtain better compression effects and the ability of error r

13、esilient techniques.keywords h.264 standards ,integer transform ,video communication , error resilient techniques目 錄1緒 論11.1 技術研究背景11.1.1國內(nèi)的研究現(xiàn)狀11.1.2國外研究21.2論文研究目的與意義22 h.264視頻壓縮標準32.1 h.264編碼新特性42.1.1 幀內(nèi)編碼預測42.1.2 幀間編碼預測42.1.3 整數(shù)變換和量化52.1.4 熵編碼62.1.5 h.264的分層設計62.2 h.264的視頻編碼、解碼72.2.1 h.264的視頻編碼器7

14、2.2.2 h.264的視頻解碼器83 基于h264的視頻傳輸抗誤碼技術的研究83.1 數(shù)字視頻傳輸技術83.1.1 tcpip協(xié)議83.1.2 ip組播技術93.1.3 多媒體通信模型103.2基于h.264的抗誤碼技術的研究103.2.1 傳輸誤碼的分類及抗誤碼的基本方法103.2.2 基于上下文的二進制算術編碼(cabac)123.2.3 基于ac的具有ced的arq方案133.3 應用設計及結果分析144 h.264視頻流傳輸模型設計174.1視頻傳輸?shù)囊话隳Ｐ?74.2 rtp/rtcp協(xié)議分析174.2.1實時傳輸協(xié)議rtp174.2.2 實時傳輸控制協(xié)議rtcp184.2.3 r

15、tp工作機制184.3 h.264視頻流實時傳輸方案19總 結21致 謝22參考文獻23目 錄1緒 論11.1 技術研究背景11.1.1國內(nèi)的研究現(xiàn)狀11.1.2國外研究21.2論文研究目的與意義22 h.264視頻壓縮標準32.1 h.264編碼新特性42.1.1 幀內(nèi)編碼預測42.1.2 幀間編碼預測42.1.3 整數(shù)變換和量化52.1.4 熵編碼62.1.5 h.264的分層設計62.2 h.264的視頻編碼、解碼72.2.1 h.264的視頻編碼器72.2.2 h.264的視頻解碼器83 基于h264的視頻傳輸抗誤碼技術的研究83.1 數(shù)字視頻傳輸技術83.1.1 tcpip協(xié)議83.

16、1.2 ip組播技術93.1.3 多媒體通信模型103.2基于h.264的抗誤碼技術的研究103.2.1 傳輸誤碼的分類及抗誤碼的基本方法103.2.2 基于上下文的二進制算術編碼(cabac)123.2.3 基于ac的具有ced的arq方案133.3 應用設計及結果分析144 h.264視頻流傳輸模型設計174.1視頻傳輸?shù)囊话隳Ｐ?74.2 rtp/rtcp協(xié)議分析174.2.1實時傳輸協(xié)議rtp174.2.2 實時傳輸控制協(xié)議rtcp184.2.3 rtp工作機制184.3 h.264視頻流實時傳輸方案19總 結21致 謝22參考文獻231緒 論隨著全球跨入數(shù)字化、網(wǎng)絡化、全球一體化的信

17、息時代，人們之間的信息交流越來越頻繁，方式越來越多樣。從原始的紙筆書信，到傳統(tǒng)的語音通信，再到新興的數(shù)字通信，無不體現(xiàn)著人們對通信方式多樣化的追求。視覺是人類獲取信息的最重要的方式，這使得通信的可視化需求越來越高。視頻通信剛起步之時，僅僅是少數(shù)人能夠享受的奢侈品，設備昂貴、成本高，產(chǎn)品再好，人們也只能望而卻步。而計算機技術、多媒體技術的迅猛發(fā)展以及互聯(lián)網(wǎng)的日趨普及，讓這個尷尬的問題迎刃而解。1.1 技術研究背景近年來，隨著數(shù)字通信技術和各種網(wǎng)絡技術的迅猛發(fā)展以及帶寬internet在全球的迅速普及，尤其是第三代移動網(wǎng)絡和未來的帶寬無線網(wǎng)絡的使用，使得多媒體通信越來越成為人們研究的熱點。因此，各

18、種視頻技術的研究和應用一直吸引著國內(nèi)外廣大科技人員的關注。同時，作為多媒體通信系統(tǒng)中的一個關鍵技術-視頻壓縮編碼技術，它可廣泛應用于視頻存儲、會議系統(tǒng)、視頻點播、監(jiān)控系統(tǒng)、遠程教學、iptv等方面。視頻信息經(jīng)過數(shù)字化后，其數(shù)據(jù)量是十分巨大的，它給信息的存儲和傳輸帶來很大困難。因此，如何有效對視頻數(shù)據(jù)進行壓縮編碼并使其標準化是多媒體通信中的一個關鍵問題。從1984年ccitt公布第一個視頻壓縮編碼國際標準以來，國際標準化組織(iso)和國際電信聯(lián)盟(itu-t)相繼推出了一系列圖像、視頻壓縮編碼國際標準，如:jpeg、h.26l、h.263、mpeg-l、mpeg-2、mpeg-4等等，分別針對

19、不同的應用場合(靜止圖像或活動視頻、廣播電視或桌面視頻)。雖然這些視頻編碼技術可以較好的滿足各自應用領域的需求，大大推進了視頻通信和數(shù)字電視廣播的發(fā)展，但是隨著多媒體、無線通信技術的發(fā)展，這些視頻編碼技術又面臨著新的挑戰(zhàn)，如:要求碼率更低、容錯性更高。于是，2003年3月，iso和itu-t再次聯(lián)手，推出了新一代視頻壓縮標準-h.264/avc，其主要目標就是提高編碼效率和網(wǎng)絡適應性。在相同的圖像質量下，與h.263或mpeg-4相比，其編碼比特率可以節(jié)省一倍左右。h.264/avc標準不僅吸取了以往視頻編碼標準中的經(jīng)驗，而且在此基礎上研究開發(fā)和采用了許多先進的技術，對于今后的網(wǎng)絡視頻傳輸(無

20、線網(wǎng)絡和internet網(wǎng)絡)，數(shù)字電視等領域帶來深遠的影響。同時，h.264/avc標準可以支持各種視頻應用，如:低延遲模式的視頻會議、高清晰度電視(hdtv)、高處理延遲的視頻存儲等。可以這樣說，h.264/avc標準在許多方面已經(jīng)超越了現(xiàn)有的所有視頻編碼標準，在工業(yè)界得到廣泛應用已經(jīng)成為大勢所趨。1.1.1國內(nèi)的研究現(xiàn)狀avs是我國具備自主知識產(chǎn)權的第二代信源編碼標準全稱是數(shù)字音視頻編解碼技術標準工作組，該工作組是由國家信息產(chǎn)業(yè)部科學技術司于2002年6月批準成立。該工作組的任務是面向我國的信息產(chǎn)業(yè)需求，聯(lián)合國內(nèi)外企業(yè)和科研機構，制(修)定數(shù)字音視頻的壓縮、解壓縮、處理和表示等共性技術標

21、準，為數(shù)字音視頻設備與系統(tǒng)提供高效經(jīng)濟的編解碼技術，服務于高分辨率數(shù)字廣播、高密度激光數(shù)字存儲媒體、無線帶寬多媒體通訊、互聯(lián)網(wǎng)帶寬流媒體等重大信息產(chǎn)業(yè)應用。avs視頻當中采用了一系列技術來達到高效率的視頻編碼，包括幀內(nèi)預測、幀間預測、變換、量化和嫡編碼等。幀間預測使用基于塊的運動矢量來消除圖像間的冗余;幀內(nèi)預測使用空間預測模式來消除圖像內(nèi)的冗余。再通過對預測殘差進行變換和量化消除圖像內(nèi)的視覺冗余。最后，運動矢量、預測模式、量化參數(shù)和變換系數(shù)用嫡編碼進行壓縮。由于包含了目前最新的視頻壓縮技術，從壓縮效率比較:avs與h.264/avc相當，是mpeg-2的兩倍以上。由于avs是我國自主開發(fā)的音視

22、頻編碼標準，收費低廉，且它注意了與國際標準的共存，所以得到了廣大設備廠商、運營商的青睞，增加了產(chǎn)品的競爭力。avs適用的范圍有數(shù)字地面電視廣播(dttb)、有線電視(catv)、交互存儲媒體、直播為衛(wèi)星電視、分組網(wǎng)絡的多媒體業(yè)務(mspn)，實時通信業(yè)務(視頻會議、可視電話等)等等。1.1.2國外研究視頻壓縮編碼的國際標準主要有mpeg系列標準和h系列標準。mpeg是在1988年由國際標準化組織iso和國際電工委員會iec聯(lián)合成立的專家組，負責開發(fā)電視圖像數(shù)據(jù)和聲音數(shù)據(jù)的編碼、解碼和它們的同步等標準。目前，mpeg系列標準主要包括:mpeg-1、mpeg-2、mpeg-4、mpeg-7等。它主

23、要應用于視頻存儲(dvd)、廣播電視、因特網(wǎng)或無線網(wǎng)上的流媒體等。h系列標準是由itu-t的視頻編碼專家組制定的視頻壓縮標準，包括h.261、h.263以及h.264/avc。它主要應用于實時視頻通信領域。目前，mpeg系列和h系列的后續(xù)標準制定工作仍在進行當中。1.2論文研究目的與意義由于信道噪聲的影，視頻信息在傳輸過程中會發(fā)生改變或丟失，這種傳輸誤碼會一導致視頻重建質量嚴重下降。因此視頻通信中的抗誤碼技術的研究是一個十分重要的課題。h.264標準采取了一些抵御傳輸差錯的措施，視頻流中的時間同步可以通過采用幀內(nèi)圖像刷新來完成，空間同步由條結構編碼(slice structured codin

24、g)來支持。同時為了便于誤碼以后的再同步，在一幅圖像的視頻數(shù)據(jù)中還提供了一定的重同步點。另外，幀內(nèi)宏塊刷新和多參考宏塊允許編碼器在決定宏塊模式的時候不僅可以考慮編碼效率，還可以考慮傳輸信道的特性。然而，由于h.264的高效率編碼，使得視頻碼流對信道誤碼率非常敏感，即使單個原發(fā)性錯誤，也可能會造成重構視頻質量的急劇下降。并且h.264標準中采用普通的可變長碼(uvlc)和基于上下文的二進制算術編碼(cabac)的方法來編解碼。在視頻傳輸中一旦遇到桑聲干擾、出現(xiàn)傳輸誤碼，就會造成誤碼擴散，將嚴重影響重建視頻的質量。因此從宏塊嫡編碼模式出發(fā)，幀內(nèi)編碼宏塊的抗誤碼性能需要較大的增強。本文在h.264編

25、碼算法基礎上，采用視頻抗誤碼方法，來保證恢復圖像的質量。根據(jù)h.264編解碼的特點，在h.264測試版中引入了一種基于算術編碼(ac)能連續(xù)檢錯(ced)的自動重傳請求(arq)方案，使得當h.264碼流在有噪信道中傳輸時，加入新的檢錯機制后能連續(xù)檢錯并能發(fā)出重傳請求，這大大提高了h.264在視頻傳輸時的抗誤碼能力，并在增加冗余量和提高檢錯性能之間取得較好的折衷，獲得較好的壓縮效果和抗信道誤碼能力。2 h.264視頻壓縮標準h.264視頻壓縮標準，是由itu-tvceg和is0/iec mpeg成立的聯(lián)合視頻專家組共同開發(fā)的新一代的視頻壓縮標準。h.264的編解碼框架與以前提出的標準，如h.2

26、61，h.263及mpeg-1/2/4并無顯著變化，也是基于混合編碼的方案。但它采用“回歸基本”的簡潔設計，不用眾多的選項，獲得比h.263更好的壓縮性能;加強了對各種信道的適應能力，采用“網(wǎng)絡友好”的結構和語法，有利于對誤碼和丟包的處理;應用目標范圍較寬，可以滿足不同速率、不同解析度以及不同傳輸(存儲)場合的需求。技術上，它集中了以往標準的優(yōu)點，并吸收了標準制定中積累的經(jīng)驗。與h.263 v2(h.263+)或mpeg-4簡單類相比，h.264在使用與上述編碼方法類似的最佳編碼器時，在大多數(shù)碼率下最多可節(jié)省50%的碼率。h.264在所有碼率下都能持續(xù)提供較高的視頻質量。h.264能工作在低延

27、時模式以適應時實通信的應用(如視頻會議)，同時又能很好地工作在沒有延時限制的應用，如視頻存儲和以服務器為基礎的視頻流式應用。h.264提供包傳輸網(wǎng)中處理包丟失所需的工具，以及在易誤碼的無線網(wǎng)中處理比特誤碼的工具。在系統(tǒng)層面上，h.264提出了一個新的概念，在視頻編碼層(video codinglayer,vcl)和網(wǎng)絡提取層(network abstraction layer,nal)之間進行概念性分割，前者是視頻內(nèi)容的核心壓縮內(nèi)容之表述，后者是通過特定類型網(wǎng)絡進行遞送的表述，這樣的結構便于信息的封裝和對信息進行更好的優(yōu)先級控制。nal引入了面向ip包的編碼機制，有利于網(wǎng)絡中的分組傳輸，支持網(wǎng)

28、絡中視頻的流媒體傳輸。h.264具有較強的抗誤碼特性，可適應丟包率高、干擾嚴重的無線信道中的視頻傳輸。h.264支持不同網(wǎng)絡資源下的分級編碼傳輸，從而獲得平穩(wěn)的圖像質量。h.264能適應于不同網(wǎng)絡中的視頻傳輸，網(wǎng)絡親和性好。h.264定義了3個檔次:基本檔次、主檔次、擴展檔次?；緳n次主要包含低復雜度、低延時的技術特征，利用i片和p片支持幀內(nèi)和幀間編碼，不支持加權預測方式。它選擇用cavlc而不是以cabac對變換量化后的殘差數(shù)據(jù)進行嫡編碼。它最多支持將一幀分成8個片組，這樣在網(wǎng)絡上傳輸時，對每個片組分別打包可使一個包丟失時不會引起整個幀的丟失。主要用于可視電話、會議電視、無線通信等實時視頻通

29、信。主要檔次主要針對更高編碼效率的應用，不支持多個片組、任意片序、數(shù)據(jù)分割、冗余圖像這.些可用于對付網(wǎng)絡丟包的措施。支持基于上下文的自適應的算術編碼(cabac)。主要用于數(shù)字廣播電視和數(shù)字視頻存儲。擴展檔次主要針對流媒體的應用，除了不能支持上下文自適應二進制算術編碼外，其支持的范圍最為廣泛，包括對數(shù)據(jù)分割，si/sp的支持，以及所有的容錯技術。因此，對網(wǎng)絡視頻電話以及視頻會議這類對實時交互性要求高的應用而言，使用基本檔次是最好、最自然的選擇。對于實時性要求相對寬松的網(wǎng)絡流媒體而言，選擇擴展檔次較為合適，既提供抗丟包措施，又可利用b類型預測幀獲得更高壓縮效率。而對于dvd、高清晰度數(shù)字電視等不

30、通過包交換網(wǎng)絡傳輸?shù)母叽a率應用，利用主檔次支持的上下文自適應二進制算術編碼技術可獲得最高的壓縮效率。2.1 h.264編碼新特性2.1.1 幀內(nèi)編碼預測 在以往標準中，預測編碼主要用于幀間。h.264在幀內(nèi)編碼方面，提出了幀內(nèi)預測技術，與變換編碼一起用于減少空間冗余。對于亮度塊，提供了intra4x4和intra16x16兩種幀內(nèi)編碼模式，前者對每個4x4亮度塊分別進行預測，適于表現(xiàn)圖像細節(jié)部分;后者對整個16xl6亮度塊進行預測，適合平滑圖像區(qū).2.1.2 幀間編碼預測幀間預測是h.264相對于以前編碼標準壓縮效率提高最大的一個模塊，對許多現(xiàn)有技術進行了改進。p幀利用前面己編碼的幀作為參考圖

31、像，b幀利用雙向的參考圖像進行預測。對于實時視頻傳輸系統(tǒng)，由于編碼速度的要求，一般只選擇i幀和p幀，不采用b幀，所以僅分析p幀的幀間預測工具和方法。第一種方法是樹狀結構運動補償。每個p宏塊按照一定的方式劃分，用于運動補償預測。圖2.1說明了亮度塊的劃分情況。這種分區(qū)下的運動補償，稱為樹狀結構運動補償。每個分區(qū)或子塊都有獨立的運動補償。宏塊的色度成分為相應亮度的一半，采用和亮度塊相同的分區(qū)方式，只是尺寸減半。如圖2.1所示。16x1616x1616x1616x1616x16type8x88x88x88x88x8 type type圖2.1 宏塊及子宏塊的劃分第二種方法是亞像素運動矢量。h264標

32、準中采用亮度1/4像素精度，色度1/8像素精度的運動矢量，這一技術進一步提高了運動估計的精確度。亞像素位置的亮度和色度像素在參考圖像中并不存在，需要利用鄰近整像素點進行內(nèi)插獲得。第三種方法是h264支持多圖像運動補償預測，也就是說，運動補償可以參考多個已編碼圖像，如圖2.2所示。=4=2=1圖2.2 h.264的多參考幀當前幀多參考幀運動補償預測，需要編碼器和解碼器在多圖像緩存中存儲像。解碼器根據(jù)碼流中的控制信息與編碼器同步(復制編碼器的多圖像緩存)。除非多圖像緩存的大小設置1，否則就必須要傳送參考圖像在緩存中的索引號。每一個運動補償?shù)?6x16、16x8、8xl6亮度塊的參考索引參數(shù)都要發(fā)送

33、。小于8x8的所有小區(qū)域使用該8x8塊的參考索引。2.1.3 整數(shù)變換和量化與以往標準類似，h.264對預測殘差進行變換編碼。但h.264沒有采用傳統(tǒng)的離散余弦變換(dct)，而是采用與離散余弦變換特性相似的整數(shù)變換，通常被稱為整數(shù)dct變換。傳統(tǒng)dct進行的是實數(shù)運算，解碼時會不可避免的出現(xiàn)偏差，即圖像漂移現(xiàn)象。h.264采用整數(shù)dct變換，通過整數(shù)的加減和移位操作就能完成，所以反變換沒有偏差，不會出現(xiàn)數(shù)據(jù)失配的問題。此外，h.264的變換編碼基于4x4塊，而不是以往常用的8x8塊。因為用于變換塊的尺寸縮小，運動物體的劃分更精確。這樣不但變換計算量比較小，而且在運動物體邊緣處的銜接誤差也大為

34、減小。h.264中對變換系數(shù)的量化依據(jù)量化參數(shù)來進行，量化步長qstep共有52個值。量化參數(shù)qp是量化步長的序號，qp值每增加1，代表量化步長增加12%。色度編碼一般使用與亮度編碼同樣的量化步長，為避免在較高量化步長時出現(xiàn)顏色量化人工效應，最后的草案規(guī)定，亮度qp的最大值是51，色度qp的最大值是39。2.1.4 熵編碼視頻編碼處理的最后一步就是嫡編碼，在h.264中采用了兩種不同的嫡編碼方法:基于上下文的自適應可變長編碼cavlc和基于上下文的自適應二進制算術編碼cabac。cavlc根據(jù)已編碼語法元素的情況動態(tài)調整編碼中使用的碼表，并充分利用殘差經(jīng)過整數(shù)變換、量化后數(shù)據(jù)的特性進行壓縮，取

35、得了極高的壓縮比。如果使用cabac，嫡編碼的效率將會有更大的提高。一方面，算術編碼的應用允許給每一個字母符號指定非整數(shù)比特位，這樣非常適合大于0.5的符號概率。另一方面，自適應編碼的應用可以為非固定的符號統(tǒng)計提供適應性。與cavlc相比，cabac可以減少5%一10%的碼率，對于隔行掃描視頻，增益效果更加明顯。但cabac復雜度比較高，因此在h.264的基本應用中，通常采用cavlc編碼。2.1.5 h.264的分層設計h.264在系統(tǒng)層面上與以往標準有很大不同，它提出了一個新的概念，即提出兩個概念性的編碼層:視頻編碼層(vcl，vidoocodinglayer)和網(wǎng)絡提取層(nal，net

36、wo眾abstraetionlayer)。如圖3所示。塊宏塊片面vcl層圖 2.3 h.264的層次結構nal層傳輸層nalu片h.320mp4ffh.323/ipmpeg-2etc為了獲得更高視頻編碼效率、更好的圖像質量以及更強的網(wǎng)絡適應性，h.264標準在設計上將速個編/解碼系統(tǒng)分為視頻編碼層（vcl）和網(wǎng)絡提取層（nal）兩層，vcl中包括vcl編碼器與vcl解碼器，主要功能是視頻據(jù)壓縮編碼和解碼，它包括運動補償、變換編碼、熵編碼等壓縮單元。nal則用于為vcl提供一個與網(wǎng)絡無關的統(tǒng)一接口，它負責對視頻數(shù)據(jù)進行封裝打包后使其在網(wǎng)絡中傳送，它采用統(tǒng)一的數(shù)據(jù)格式，包括單個字節(jié)的包頭信息、多個

37、字節(jié)的視頻數(shù)據(jù)與組幀、邏輯信道信令、定時信息、序列結束信號等。包頭中包含存儲標志和類型標志。存儲標志用于指示當前數(shù)據(jù)不屬于被參考的幀。類型標志用于指示圖像數(shù)據(jù)的類型。vcl可以傳輸按當前的網(wǎng)絡情況調整的編碼參數(shù)。2.2 h.264的視頻編碼、解碼2.2.1 h.264的視頻編碼器h.264的視頻編碼器的結構框圖如圖2.4所示，主要由編碼器前向支路和編碼器重構支路組成。fn當前f|n-1參考f|n重構memc幀內(nèi)預測選擇幀內(nèi)預測tqdn濾波幀內(nèi)xq-1t-1dn圖2.4 h2.64編碼器幀間p重排序熵編碼nal第一部分為編碼器前向支路。輸入的視頻序列包括大量的圖像序列，而每一幅圖像又被分成16x

38、l6像素的宏塊。編碼時這些像素被組合成宏塊片，片被作為獨立的編碼單元，他們在解碼的時候不需要參考幀內(nèi)其它的片。通過一個有效的時序安排，編碼器可進行高效的平行處理。簡要的編碼過程:輸入當前需編碼幀fn，該幀是由一組宏塊(16xl6的原始圖像)表示，每個宏可用幀內(nèi)或幀問模式來編碼?；谥貥嫀玫筋A測幀p,在幀內(nèi)模時，p由幀n中已經(jīng)編碼部分再解碼重構所得(圖中的ufn，注意到p是由未濾波的值組成);在幀間模式時，p由幾個參考幀用運動補償預測的方式得到。參考幀可以是己編碼重構的前幾幀或后幾幀(時間順序)。當前宏塊減去預測塊得到殘差塊dn，然后將其進行變換量化得到一組變換系數(shù)x。這些系數(shù)被重排列和嫡編碼

39、。嫡編碼系數(shù)和其他一些信息(宏塊預測模式，量化步長，運動補償，運動向量等)組成了壓縮比特流。它將被送到網(wǎng)絡提取層用來傳輸或存儲。第二部分為編碼器重構支路。量化后的宏塊系數(shù)x被解碼用來重構幀，以便進一步編碼下面的宏塊。系數(shù)x經(jīng)過反量化，反變換得到殘差宏塊dn、，由于量化過程帶來了損失，dn與dn，并不相同。預測宏塊p加到dn上得到重構宏塊ufn(原始宏塊的失真塊)。使用濾波器可以減少塊失真的影響并由一系列宏塊已。來產(chǎn)生重構參考幀。2.2.2 h.264的視頻解碼器h.264解碼器結構框圖，如圖2.5所示。f|n-1參考f|n重構mcq-1t-1xnal濾波幀內(nèi)預測幀內(nèi)p幀間圖2.5 h2.64解

40、碼器重排序熵編碼h.264解碼器從nal中獲得一個壓縮比特流。數(shù)據(jù)元素經(jīng)過嫡解碼和重排序來獲得一組量化系數(shù)x。在經(jīng)過反量化和逆變換來獲得dn。(這與編碼器中的dn相同)。根據(jù)從比特流中解碼獲得的頭信息，解碼器產(chǎn)生一個預測宏塊p，與編碼器中的p相同。p和dn相加得到ufn、然后再解碼得到宏塊fn可見，編碼器的重構路徑的作用是保證編碼器和解碼器使用同樣的參考幀來產(chǎn)生預測p。如果小是這樣，預測p在編碼器和解碼器中就會不同，這將在編解碼器之間引入誤差和漂移。3 基于h264的視頻傳輸抗誤碼技術的研究3.1 數(shù)字視頻傳輸技術3.1.1 tcpip協(xié)議在實際中，一般用到的網(wǎng)絡傳輸協(xié)議是tcp/ip協(xié)議，t

41、cp/ip分層模型有四層，由下至上分別是網(wǎng)絡接口層、網(wǎng)絡協(xié)議層(ip層)、傳輸層以及應用層。在這四層協(xié)議中，傳輸層建立在ip層之上，有兩種協(xié)議，分別是tcp協(xié)議和udp協(xié)議。tcp與udp的主要差別為：(1)tcp協(xié)議是面向連接的。使用tcp協(xié)議交換數(shù)據(jù)前必須先建立通信主機之間的連接關系。在此連接之上傳送tcp分組數(shù)據(jù)并維護此連接，用戶數(shù)據(jù)傳送完畢后要撤除連接。udp協(xié)議是面向無連接的，每個udp分組都是獨立的數(shù)據(jù)單元；(2)在tcp傳輸中，高層數(shù)據(jù)可以以字節(jié)流的形式傳送給tcp，字節(jié)流被tcp緩沖，直到累積到一定的長度時啟動一次發(fā)送操作。而在udp協(xié)議中，udp傳遞給udp的是對應于udp數(shù)

42、據(jù)的數(shù)據(jù)塊，(3)tcp協(xié)議提供可靠傳輸服務，包括報文序列、流控制、差錯檢驗、優(yōu)先級等，而udp則不提供以上控制，是不可靠的服務。在遠程視頻監(jiān)控系統(tǒng)中，控制數(shù)據(jù)對可靠性要求非常高，故需要應用tcp協(xié)議，當檢測到數(shù)據(jù)報丟失或錯誤時，就會要求發(fā)送端重新發(fā)送，通過數(shù)據(jù)重傳來恢復丟失的組塊并提供有序的數(shù)據(jù)幀。但tcp協(xié)議具有的錯誤重傳機制、擁塞控制機制、報文頭比較大、以及啟動需要建立連接等原因，不可避免的引起了傳輸延時和占用網(wǎng)絡的帶寬，一旦數(shù)據(jù)丟幀就會帶來比較嚴重的延遲，無法保證實時性，很難適應音視頻通信，特別是連續(xù)的媒體流(如視頻流)通信的要求，使得利用tcp協(xié)議進行視頻或音頻通信幾乎沒有可能。ud

43、p是一種無連接的數(shù)據(jù)報投遞服務，雖然沒有tcp那么可靠，并且不能保證實時視音頻傳輸業(yè)務的服務質量(qos)，但由于udp的傳輸延時低于tcp，所以往往用來在遠程視頻監(jiān)控系統(tǒng)中傳輸視頻圖像數(shù)據(jù)。3.1.2 ip組播技術前面提到過，對于遠程視頻監(jiān)控系統(tǒng)，視頻數(shù)據(jù)的傳輸一般選用udp網(wǎng)絡通訊協(xié)議，而采用udp的ip傳送方式有單播傳送、廣播傳送、組播傳送三種方式。比較這三種方式，單播傳送是一對一的傳送，即每次傳送的數(shù)據(jù)只能被一臺主機接收。廣播傳送是一對多的傳送，即廣播的數(shù)據(jù)將同時傳送到局域網(wǎng)內(nèi)的所有主機。假如需要向n臺主機發(fā)送相同的數(shù)據(jù)，如果采用單播傳送的方式，則需要n次的點對點傳送，這種傳送方式的效

44、率很低；而如果采用廣播方式，數(shù)據(jù)會發(fā)送到局域網(wǎng)內(nèi)的所有主機，這使得大量的主機收到與自己無關的數(shù)據(jù)，會造成主機資源和網(wǎng)絡資源的浪費，這對本來數(shù)據(jù)量就很大的視頻數(shù)據(jù)的傳輸來說尤其是很不合適的。ip組播雖然和廣播一樣也是一對多的傳送方式，但接收端往往不是一個局域網(wǎng)內(nèi)的所有主機，而是那些對收發(fā)數(shù)據(jù)報感興趣的主機，傳輸端通過一次傳輸就可以將信息同時傳送到一組接收者，因此，采用ip組播技術可以有地減輕網(wǎng)絡負擔，避免網(wǎng)絡資源的浪費。此外，由ip組播技術一臺主機可以同時加入一個或多個組播組的特點，可以實現(xiàn)監(jiān)控中心同時對多個現(xiàn)場的監(jiān)控。由此可見，利用ip組播技術可以很方便地實現(xiàn)“多點對多點”的傳送功能，并且還可

45、以實現(xiàn)廣域網(wǎng)的通信，這比較符合視頻監(jiān)控系統(tǒng)多點、多機監(jiān)控、跨局域范圍的遠程監(jiān)控的要求。3.1.3 多媒體通信模型第一種類型為cs結構?？蛻魴C/服務器(clinet/server、簡稱c/s)體系結構是一種分布式的處理模式。服務器通常采用高性能的pc機、工作站或小型機，并采用如oracle、sybase、informix或sql server等大型數(shù)據(jù)庫系統(tǒng)?？蛻舳诵枰惭b專門的客戶端軟件?？蛻魴C和服務器之間通過網(wǎng)絡協(xié)議進行通訊。首先，客戶機向服務器發(fā)出數(shù)據(jù)請求，服務器將數(shù)據(jù)傳送給客戶機進行處理，客戶機處理后將結構返回給服務器。c/s結構通常建立在專用的網(wǎng)絡上，其突出的優(yōu)點是能夠充分發(fā)揮客戶端p

46、c機的處理能力，客戶端響應速度比較快。由于c/s結構一般面向固定的用戶群，因而對信息安全的控制能力比較強，適宜高度機密的信息系統(tǒng)。第二種類型為b/s結構。瀏覽器服務器(browser/server、簡稱b/s)體系結構是隨著intemet技術的發(fā)展，對c/s機構的一種變化和改進。它利用不斷成熟的www瀏覽器技術，結合瀏覽器的多種script語言和activex技術，用通用瀏覽器實現(xiàn)了原來需要復雜的軟件才能實現(xiàn)的強大功能。bs架構于廣域網(wǎng)之上，不需要專門的網(wǎng)絡和硬件環(huán)境，用戶界面完全通過www瀏覽器實現(xiàn)，一部分事物邏輯在前端實現(xiàn)，但是主要的事務邏輯在服務器上實現(xiàn)，bs機構能夠在很大程度上節(jié)約開發(fā)

47、成本，是一種全新的軟件系統(tǒng)構造技術。3.2基于h.264的抗誤碼技術的研究3.2.1 傳輸誤碼的分類及抗誤碼的基本方法任何一個視頻通信系統(tǒng)都固有存在的問題是視頻信息在傳輸過程中山于信道噪聲使得信息改變或丟失，這種信息的改變或丟失會導致視頻重建質量嚴重下降。由于目前絕大多數(shù)視頻編碼標準都采用了運動預測補償技術以及可變長編碼技術，因此，誤碼不僅影響該誤碼數(shù)據(jù)的恢復，還會影響與之相關的其他數(shù)據(jù)的恢復，造成誤碼擴散。傳輸誤碼大體上司一分為兩類:一類是隨機誤碼，這主要是由于信道的物理缺陷而致，比如比特位跳轉(bitinversion)、比特位插入(bitinsertion)、比特位刪除(bitdelet

48、ion)等。因編碼方法不同或者信息內(nèi)容不同，這種隨機誤碼造成的影響也不同，某些隨機誤碼可以忽略不計，某些可能非常嚴重。當采用定長編碼方法時，一個隨機比特位的錯誤只影響一個碼字，所造成的信息失真一般是可以接受的:而當采用可變長編碼(vlc，如哈夫曼編碼、算術編碼)時，它會導致編長碼解碼器同步丟失，同時產(chǎn)生兩種明顯的誤碼:(1)誤碼直接使某碼字映射為一非法碼字，這種情況解碼器可以立即檢測到該誤碼。(2)誤碼使某碼字映射為另一個合法碼字，或者映射為某合法的碼字序列，那么解碼器就很難立即檢測出誤碼的存在，但由于誤碼擴散的緣故，解碼器可以在隨后的某個位置發(fā)現(xiàn)誤碼;一個隨機比特位的錯誤會使比特流失去同步，

49、使得該錯誤發(fā)生位置到下一個同步碼之間的所有碼字都變?yōu)闊o效碼字，甚至因為解碼得到的信息無法和空間位置對應起來使得同步碼以后的碼字都變?yōu)闊o用信息，因此在可變長編碼中，這種誤碼對視頻重建質量的影響很大。另一類是突發(fā)錯誤，比如包交換網(wǎng)絡中的包丟失、存儲媒體的物理損傷等。突發(fā)錯誤會導致視頻質量嚴重下降，甚至無法解碼，但這類錯誤一般可以根據(jù)傳輸協(xié)議檢測到。目前視頻壓縮編碼大多都采用可變長編碼，因此這兩種誤碼都會導致重建視頻質量嚴重下降。視頻通信中的抗誤碼技術長期以來一直沿著兩條路發(fā)展:(l)把數(shù)據(jù)通信中的誤碼控制和恢復技術擴展到視頻通信中，這些技術的目標是無損恢復。例如:前向錯誤校正(fec)、錯誤控制編

50、碼(ecc)、自動重傳請求(arq)等;(2)旨在恢復近似于原始信息、或根據(jù)人類生理特性的誤碼掩蓋技術。比如對一于視頻圖像，人眼可以容忍一定程度的失真，或者是某些失真人眼根本無法覺察到，而不需要像數(shù)據(jù)通信那樣要求絕對的無損恢復。目前主要有三種提高視頻傳輸抗誤碼能力的處理方法:第一種是從編碼端出發(fā)考慮，往編碼輸出碼流中加一些額外的冗余信息，使得碼流不需要解碼器做更多的處理就能夠極大的降低傳輸差錯的影響，如前向錯誤校正(fec)、錯誤控制編碼(ecc)等。然而信道誤碼情況是時變的，目前還沒有一個精確的數(shù)學模型來描述信道的變化。因此如果根據(jù)信道最差的情況來加入冗余信息進行保護，則在大多數(shù)信道較好的時

51、間內(nèi)浪費了信道資源;如果根據(jù)信道最好的情況加入冗余信息，則信道變差時會帶來誤碼倍增效應。此外，還有分層編碼、多描述編碼等都是從編碼器端考慮盡量使編碼后的碼流受誤碼影響最小。第二種是從解碼端考慮，對于己經(jīng)發(fā)生的錯誤，利用已接收的信息來估計發(fā)生錯誤的信息，加以處理使其盡量不被人眼覺察出來，而不需要從編碼器得到額外的信息，即誤碼掩蓋技術。它利用人眼視覺的特性，用視頻序列的空間、時間相關性來掩蓋誤碼帶來的不良影響，這一技術可分別在空域、時域、頻域內(nèi)進行。第三種是編解碼兩端交互進行數(shù)據(jù)恢復，編碼器根據(jù)解碼端反饋回來的信息自適應地調整編碼參數(shù)和編碼模式等，最典型的是自動重傳請求(arq)策略。這種方法要依

52、賴于反饋信道。由于第二種是在解碼端，利用已接收的信息來估計發(fā)生錯誤的信息的，如果傳輸環(huán)境非常糟糕時，錯誤的信息將會不斷的疊加，將導致解碼失敗。因此本文結和h.264編解碼的特點，將第一種和第三種方法聯(lián)合考慮，將一種基于算術編碼(ac)能連續(xù)檢錯(ced)的自動重傳請求(arq)方案引入到現(xiàn)行的h.264測試版中。3.2.2 基于上下文的二進制算術編碼(cabac)h.264中被用來編解碼的參數(shù)如表3.1所示。h.264中片層(slice)結構以上的語法元素用定長碼或變長碼編碼，片層或片層以下的語法元素根據(jù)嫡編碼模式來選擇是用普通的可變長編碼(uvlc)還是用基于上下文的二進制算術編碼(caba

53、c)來編解碼。 表3.1 h.264中的編解碼參數(shù)參數(shù)描述序列層，圖像層及片層語法元素宏塊類型mb_type編碼塊模式量化參數(shù)參考幀索引運動向量殘差數(shù)據(jù)-每個編碼宏塊的預測方式指示宏塊中含有編碼系數(shù)的塊從前一個qp值傳輸幀間預測時確認參考幀從預測向量中得到的mvd每個4x4，2x2塊的系數(shù)數(shù)據(jù)h.264中uvlc提供了一個簡單和健壯的方法來編碼模式信息和dct系數(shù)，但在高比特率時它的性能并不好，因此當?shù)站幋a模式被選為“1”時，h.264中將采用一種稱作基于上下文的自適應二進制算術編碼(cabac)的算術編碼模式來編解碼。它在如下三個條件下具有很好的壓縮性能，即:根據(jù)每個元素上下文來獲得概率模型

54、；根據(jù)當時統(tǒng)計來調整概率估計；使用算術編碼。cabac具有3個獨特的優(yōu)勢。上下文模型提供了編碼符號的條件概率的估計；算術編碼允許給每個符號分配非整數(shù)比特；自適應算術編碼墑編碼器適合無固定符號統(tǒng)計，對于每個塊來說，我們將原始圖像和低質量預測而得的圖像之間的差進行編碼。編碼一個數(shù)據(jù)元素包括以下幾個步驟。第一個步驟是二進制化。cabac使用二進制算術編碼，這意味著用來編碼的元素僅僅是二進制元素(l，o)。一個非二進制元素(例:傳輸系數(shù)或運動向量)要先二進制化或者在算術編碼之前轉化為二進制碼。由于mb_type的范圍限制在(0一9)，因此可用另一種方法二進制化。二進制化的過程類似于將一個數(shù)據(jù)元素轉化為

55、變長碼，但不同之處在于它在傳輸之前還要經(jīng)過算術編碼。第二個步驟是選擇上下文模型。上下文模型就是二進制符號中一個或多個二進制位的概率模型。這個模型將根據(jù)最近編碼的數(shù)據(jù)符號的統(tǒng)計表來選擇。上下文模型存儲了每個二進制位“l(fā)”或“0”的概率值。標準為每種語法元素定義了上下文模型和二進制化方式，對于不同的語法元素共有267平中上下文模型，0到266。根據(jù)不同的片(slice)類型，一些模型具有不同的用法。例如，在i片中不允許有跳宏塊，因此根據(jù)當前塊是否是幀內(nèi)編碼模式來用上下文模型0-2編碼mb_skip或mb-type。每個編碼片開始時，根據(jù)量化參數(shù)來初始上下文模型的(因為這對于不同數(shù)據(jù)符號將有很大的影響)。第三個步驟是算術編碼。算術編碼的思想最早在1948年shannon的文章中出現(xiàn)，當時shannon將符號依概率排序，用累積概率的二進制表示作為對符號的編碼。60年代elias發(fā)現(xiàn)，不需要排序，只要編碼端和解碼端使用相同的符號順序就可以了。但是當時人們對算術編