計算機畢業(yè)論文基于3G網絡的嵌入式高速公路H.264視頻監(jiān)控服務器的設計與實現(xiàn)05597

1、分類號： 密級： 碩 士 研 究 生 學 位 論 文基于3g網絡的嵌入式高速公路h.264視頻監(jiān)控服務器的設計與實現(xiàn) 專 業(yè)： 計算機應用技術 研究方向： 計算機檢測與控制 研 究 生： xxx 指導教師： xxx 教授論文起止日期：2009年4月至2010年4月分類號： 密級： embedded 3g network based on h.264 video surveillance server highway design and implementationmajor：computer applied technologydirection of study：computer test

2、 and control graduate student： supervisor： prof.mai chengguoschool of computer scienceyangtze universityapril,2009 to april,20摘 要 隨著國民經濟的迅速發(fā)展，交通量的日益增多，在我國高速公路的某些區(qū)段必然會出現(xiàn)常發(fā)性和偶發(fā)性的交通擁擠。高速公路臨近系統(tǒng)簡介高速公路視頻監(jiān)控系統(tǒng)一般分為收費監(jiān)控和道路監(jiān)控兩部分。收費監(jiān)控系統(tǒng)主要是對收費站的車道、收費廣場、收費亭的收費情況，對收費車道通過的車輛類型、收費員的操作過程以及收費過程中的突發(fā)事件和特殊事件進行觀察和記錄，實施有效的

3、監(jiān)督。道路監(jiān)控系統(tǒng)主要是對高速公路干線、互通立交、隧道等高速公路重點路段進行監(jiān)視，掌握高速公路交通狀況，及時發(fā)現(xiàn)交通阻塞路段、違章車輛，及時給予引導，保證高速公路的安全通暢。目前高速公路中對視頻信號的監(jiān)控和管理自下而上可分為以下幾層：（1）收費站：各收費站需要對本地的視頻信號進行監(jiān)控。各收費站所轄的攝像機信號全部引入本地視頻監(jiān)控系統(tǒng)，收費站對本地所有圖像進行監(jiān)控管理。（2）監(jiān)控分中心：一條高速公路通常設置幾個路段監(jiān)控分中心，分別對某一路段進行監(jiān)控和管理。各收費站圖像根據(jù)路段監(jiān)控分中心要求選擇幾路上傳，路段監(jiān)控分中心對路段中各收費站上傳的圖像進行統(tǒng)一監(jiān)控和管理。（3）監(jiān)控中心：（有些不設此級）多

4、條高速公路的統(tǒng)一管理通常根據(jù)地域劃分為若干個片區(qū)來進行。一個片區(qū)對某一區(qū)域內相臨或相連的幾條高速公路進行統(tǒng)一的監(jiān)控和管理。這幾條高速公路的監(jiān)控分中心根據(jù)片區(qū)監(jiān)控中心的要求上傳圖像，片區(qū)監(jiān)控中心對各路段監(jiān)控分中心上傳的圖像進行統(tǒng)一監(jiān)控和管理。（4）省監(jiān)控中心：各省高速公路管理局需要對省內所有的高速公路進行統(tǒng)一監(jiān)控、管理和調度。各片區(qū)監(jiān)控中心將自己所轄區(qū)域內的視頻信號選擇上傳到省中心，由省中心統(tǒng)一監(jiān)控和管理。省中心、監(jiān)控中心、監(jiān)控分中心之間采用聯(lián)網分級控制。控制信號采用逐級轉發(fā)的形式轉發(fā)到需要控制的設備。作為高速公路智能交通系統(tǒng)應用的一個主要方面，交通監(jiān)控智能化是發(fā)展的大趨勢。同時，隨著ip智能監(jiān)

5、控技術的迅速發(fā)展，計算機和圖像處理技術的革新，先進成熟的ip智能監(jiān)控系統(tǒng)將成為公交系統(tǒng)監(jiān)控的主流。特別是近年來基于3g無線通信技術的迅速發(fā)展，無線遠程視頻監(jiān)控系統(tǒng)以其移動裝備監(jiān)控網絡化、數(shù)字化以及移動性等特點，集合數(shù)字采集、影像壓縮、存儲、數(shù)據(jù)處理、報警信號的采集、無線數(shù)據(jù)遠程網絡傳輸?shù)裙δ埽瑢⑶岸说哪M信號處理成高清晰的實時數(shù)字圖像通過3g無線發(fā)布到網絡管理中心，實現(xiàn)異地遠程移動視頻監(jiān)控。荊州市作為湖北省重要的交通樞紐城市，荊襄、荊岳等一批高速公路先后建成通車，對這些高速公路更好的管理便提上了日程。作為一名交通系統(tǒng)的職工，本人有幸參與到了該項目課題的研究。通過參閱大量課題相關資料、借鑒目前成

6、熟的技術和算法，于是，便有了本論文的出現(xiàn)。本課題所設計的視頻監(jiān)控服務器由前端視頻采集模塊、dm6446為核心的嵌入式dsp、3g無線模塊組成。前端視頻采集模塊采集的實時圖像信息經過數(shù)模轉換，將信號傳入dm6446dsp處理芯片，dsp將前端采集的實時信號經過植入的h.264算法進行視頻的壓縮并封包，最后將已經封包的壓縮編碼通過3g網絡將經過處理的圖像發(fā)送至客戶端。在設計階段，首先介紹了國內外相關技術的現(xiàn)狀，并介紹了視頻壓縮關鍵技術，然后進行了h.264算法選擇及討論，在目前三大開源h.264編解碼算法進行了適當改進，以期達到誤碼率小，圖像清晰的目的；第二步，進行了芯片選型與開發(fā)平臺選擇，并對硬

7、件平臺做了適當?shù)膬却婀芾砀倪M，以期達到快速運算的目的；第三步，進行了基于dsp平臺的h.264編碼算法的討論；第四步，介紹了適應3g的封包技術，并介紹了適應3g平臺的封包算法；第五步，將改進的編碼算法與數(shù)據(jù)封包算法移植到芯片中；第六步，進行了嵌入式視頻監(jiān)控系統(tǒng)的軟件設計。采用基于h.264壓縮編碼技術和3g技術實現(xiàn)網絡視頻監(jiān)控系統(tǒng)，在穩(wěn)定性、功能、成本與擴展性等方面都有著突出的優(yōu)勢，具有重要的學術意義與實用意義。關鍵詞：dm6446，h.264，3abstractwith the rapid development of the national economy, the increasing

8、 traffic in china is bound to certain sections of highway often fat and sporadic congestion. application of intelligent transportation system as a highway as a main aspect of intelligent traffic control is the trend of development. meanwhile, with the ip technology, the rapid development of intellig

9、ent control, computer and image processing technology, innovation, advanced and mature ip intelligent monitoring system will become the mainstream public transport system monitoring. especially in recent years based on 3g wireless communications technology is developing rapidly, wireless remote vide

10、o monitoring system for its mobile network equipment monitoring, digital, and mobility characteristics, a collection of digital capture, video compression, storage, data processing, alarm signal acquisition, long-range wireless data network transmission and other functions, the front-end analog sign

11、al processing into a high-resolution real-time digital image released by 3g wireless network management center to realize the remote remote mobile video surveillance.jingzhou city, hubei province as an important transport hub, jingxiang, jing-yu has a number of highway opened to traffic, better mana

12、gement of these highways will be put on the agenda. as a transport system workers, i had the honor to participate in research projects in the project. see a lot of relevant information by topic, reference the current mature technology and algorithms, so, there was the emergence of this thesis.this s

13、ubject is designed video surveillance server by the dm6446 embedded image server as the core, 3g wireless module.embedded image server, real-time acquisition images compressed using h.264 encoding algorithm, and the 3g network will be processed by the image sent to the client.in the design phase, th

14、e first choice for the h.264 algorithm and discussion in the current three major open source h.264 codec algorithm was improved in order to achieve the error rate is small, the image clear purpose; the second step, carried out chip selection and development platform selected, the system uses a high-

15、speed dual-core ti dm6446 soc chip, and will migrate to chip h.264 algorithm, 3g transmission module using the popular 3g wireless network cards to achieve; he third step was embedded video surveillance system software design.coding based on h.264 compression technology and 3g technology network vid

16、eo monitoring system, stability, function, cost and scalability so all have outstanding advantages, an important academic significance and practical significance.key words：dm6446，h.264，3g目 錄第1章 緒論41.1 研究背景及意義41.2 國內外研究現(xiàn)狀51.3 本課題研究的內容與技術特色點91.4 論文的組織結構91.5 本章小結10第2章 h.264算法及其在3g中的應用112.1 h.264算法概述112

17、.2 h.264編碼技術在3g中的應用302.3 本章小結34第3章 基于3g的h.264的封包方法353.1 傳統(tǒng)流媒體系統(tǒng)簡介353.2 流媒體傳輸協(xié)議363.3 h.264的rtp封裝393.4 本章小結44第4章 嵌入式視頻監(jiān)控服務器的硬件設計454.1 嵌入式監(jiān)控服務器系統(tǒng)結構454.2 系統(tǒng)硬件設計46第5章 軟件平臺介紹及改進算法505.1 軟件平臺介紹505.2 davinci的內存管理及改進算法545.3 本章小結59第6章 系統(tǒng)軟件設計606.1 嵌入式操作系統(tǒng)的設計606.2 h.264算法的api函數(shù)實現(xiàn)646.3 視頻圖像傳輸模塊的實現(xiàn)666.4 本章小結67第7章

18、總結與展望68致 謝70參考文獻71個人簡介77第1章 緒論1.1 研究背景及意義從上世紀九十年代開始，中國進入了公路建設快速發(fā)展的時期，尤其是1998年中國實施積極的財政政策以來，中國公路建設投資數(shù)量之大、開工項目之多舉世矚目。從1990年到2003年的14年間，中國公路建設累計投資近2萬億元，其中僅2003年就達3715億元，創(chuàng)歷史新高。2004年1至9月，中國公路建設完成投資比去年同期又增長了266。到2003年底，中國公路通車總里程達181萬公里，居世界第三位，其中44是最近14年內修通的。截止到2004年已突破3萬公里，高速公路總里程位居世界第二。 “十五”全國共新增公路里程25萬公

19、里，其中高速公路2.47萬公里，超過了2000年以前高速公路建設的總和。交通部有關負責人說，針對公路交通事業(yè)的長遠發(fā)展需要，交通部提出了8.1萬公里國家重點公路建設規(guī)劃，計劃到2020年完成，并與目前的國道主干線共同構成國家骨架公路網。屆時，中國高速公路將達到7萬公里【51】。高速公路是一個國家現(xiàn)代化水平的重要標志之一，它與一般公路相比，具有線型好、設計標準高、交通流量大、行車速度快等特點，如不采用先進的管理措施，在交通量大、氣候惡劣的情況下，極易發(fā)生交通事故和交通阻塞。為此，在一些車流量非常大的高速公路上部署全程的監(jiān)控系統(tǒng)就是必不可少了。高速公路監(jiān)控系統(tǒng)也從無到有、從小到大、從模仿國外到完全

20、自行設計并制定適合我國的相關標準，也取得了相當大的成績，但是，與國外相比我國高速公路監(jiān)控技術水平處于初級階段。近幾年，隨著嵌入式計算機技術、自動化控制技術和3g通信技術的發(fā)展，高速公路監(jiān)控系統(tǒng)的技術結構也隨之發(fā)生變化，本課題正是在這樣的背景下提出的。高速公路監(jiān)控系統(tǒng)它主要分為收費站監(jiān)控、隧道特大橋梁監(jiān)控和路面監(jiān)控三大組成部分。對于收費站監(jiān)控，仍采用原有的基于有線的監(jiān)控方案，而對于隧道特大橋梁監(jiān)控和路面監(jiān)控，由于監(jiān)控點分布在較廣闊的范圍內，并且與監(jiān)控中心的距離較遠，利用傳統(tǒng)的有線連接方式，線路鋪設成本高昂，而且施工周期長，或者因為物理因素難以架設線纜，如遇到河流山脈等障礙時，本監(jiān)控方案可很好地解

21、決上述問題。采用本方案無需鋪設網絡電纜，可迅速方便地在各種需要的地方布署數(shù)字攝像設備，建立新的視頻監(jiān)控系統(tǒng)或對現(xiàn)有的視頻監(jiān)控系統(tǒng)進行擴展，具有很強的靈活性和可擴充性。利用3g通信技術，可以將多個被監(jiān)測點與中央控制中心連接起來，且搭建迅速，可以在最短的時間內迅速建立起無線鏈路。 在我國，隨著3g移動通信系統(tǒng)走向實用，高至2mhz的帶寬將為無線視頻監(jiān)控提供更加強有力的支持，此時視頻的質量將會有極大的改善。作為目前最新的視頻編碼技術h.264，在視頻監(jiān)控方面有著非常大的前景。h.264標準1采用了高精度、多模式預測技術用來提高壓縮比以降低碼流。h.264標準針對網絡傳輸?shù)男枰O計了視頻編碼層vcl和

22、網絡提取層nal結構，網絡抽象層是提供“網絡友好”的界面，從而使視頻編碼層能夠在各種系統(tǒng)中得到有效的應用。h.264標準針對網絡傳輸?shù)男枰O計了差錯消除的工具便于壓縮視頻在誤碼、丟包多發(fā)環(huán)境中傳輸2,3，從而保證了視頻傳輸?shù)挠行浴１菊n題主要采用了在現(xiàn)有h.264算法的基礎上做了適當改進的算法，將其應用于ti dm6446芯片，通過3g無線網卡實現(xiàn)了實時h.264視頻通過3g網絡的傳輸。1.2 國內外研究現(xiàn)狀1.2.1視頻監(jiān)控系統(tǒng)的發(fā)展 視頻監(jiān)控系統(tǒng)的發(fā)展大致可劃分為三個階段【52】： 20世紀90年代初及以前，主要是以模擬設備為主的閉路電視系統(tǒng)，稱為第一代視頻監(jiān)控系統(tǒng)。其采用模擬視頻線將來自

23、攝像機的視頻連接到監(jiān)視器上，視頻矩陣主機進行切換和控制。模擬視頻監(jiān)控系統(tǒng)由于模擬視頻信號的傳輸對距離十分敏感，通常只適合于小范圍的區(qū)域監(jiān)控，而且無法進行聯(lián)網，只能采取點對點的方式，使得布線工程量極大，局限性十分明顯【53】。 20世紀90年代中期，利用計算機的高速數(shù)據(jù)處理能力進行視頻的采集和處理，較大地提高了圖像質量，增強了視頻監(jiān)控的功能。這種基于多媒體計算機的系統(tǒng)稱為第二代視頻監(jiān)控系統(tǒng)，即模擬/數(shù)字混合型視頻監(jiān)控系統(tǒng)。模擬/數(shù)字混合型視頻監(jiān)控系統(tǒng)在實際工程中有著廣泛應用，但由于系統(tǒng)中信息流的形態(tài)仍為模擬視頻信號，系統(tǒng)的網絡結構主要是一種單功能、單向、集總方式的信息采集網絡，要求介質專用，因此

24、系統(tǒng)的擴展能力較差。 20世紀90年代末至今，網絡帶寬、計算機處理能力和存儲容量迅速提高，視頻信息處理技術快速發(fā)展，視頻監(jiān)控進入了全數(shù)字化的網絡時代，稱為第三代視頻監(jiān)控系統(tǒng)。同時，嵌入式技術在硬件和軟件方面都出現(xiàn)了多次飛躍，能夠滿足更加復雜和靈活的應用需求。利用嵌入式技術、視頻壓縮編碼技術和網絡傳輸控制技術為核心實現(xiàn)網絡視頻監(jiān)控，在穩(wěn)定性、實時性、處理速度、功能、價格、擴展性等方面都有著突出的優(yōu)勢。 目前在國內外市場上，主要推出的是數(shù)字控制的模擬視頻監(jiān)控和數(shù)字視頻監(jiān)控兩類產品。前者技術發(fā)展己經非常成熟且性能穩(wěn)定，而后者正迅速崛起，但仍需進一步完善和發(fā)展。視頻監(jiān)控系統(tǒng)正處在數(shù)控模擬系統(tǒng)與數(shù)字系統(tǒng)

25、混合應用并逐漸向全數(shù)字系統(tǒng)過渡的階段【54】。1.2.2圖像壓縮編碼技術的研究現(xiàn)狀 國外對圖像壓縮編碼技術的研究比較成熟，itu-t（國際電信聯(lián)盟遠程通信標準化組）下屬的視頻編碼專家組vceg（video coding experts group)主要制定了h.26x系列標準，包括h.2614、h.2635、h.263+、h.263+等。而iso/iec下屬的活動圖像專家組mpeg(motion pictureexpertsgroup)則主要制定了mpeg-x標準，如mpeg-1/2/4等。 mpeg-16制定于1992年，是mpeg第一階段的成果。它規(guī)定視頻信息與伴音信息經壓縮之后的數(shù)據(jù)速率

26、上限為1.5mbit/s，從而可以在cd-rom、可寫光盤等介質上進行存儲，也可以在局域網、isdn上進行視頻與伴音信息的傳輸。該標準采用了幀內編碼和幀間編碼相互結合的編碼方法，支持i,p,b,dc四種幀類型，其編碼速率最高可達4-5mbits/s，但隨著速率的提高，其解碼后的圖像質量有所降低。mpeg-1技術最成功的應用為vcd，也被用于數(shù)字電話網絡上的視頻傳輸。 mpeg-27制定于1994年，是在mpeg-1的基礎上進一步發(fā)展成的音視頻編碼標準，主要目標是針對廣播級的高質量音視頻以及更高的傳輸率。mpeg-2能夠很好的處理隔行掃描的數(shù)字視頻源，支持多輸入視頻序列的采樣格式，并支持幾種可選

27、擇的運動預測模式。其所能提供的傳輸率在3-10mb/s之間，在ntsc制式下的分辨率可達720*480。mpeg-2技術就是實現(xiàn)dvd的標準技術，還可用于為廣播、有線電視網、電纜網絡以及衛(wèi)星直播提供廣播級的數(shù)字視頻。 為了適應多媒體通信的快速發(fā)展，iso于1994年開始制定mpeg-4標準8，mpeg-4標準主要由mpeg-4系統(tǒng)、mpeg-4音頻和mpeg-4視頻等基本部分和擴充的部分組成。mpeg-4視頻編碼的主要目標在于提供一種通用的編碼標準，以適應不同的傳輸帶寬、不同的圖像尺寸和分辨率、不同的圖像質量等，進而為用戶提供不同的服務。與傳統(tǒng)的基于像素的視頻壓縮標準不同，mpeg-4采用基于

28、對象的視頻編碼方法，它不僅可以實現(xiàn)對視頻圖像數(shù)據(jù)的高效壓縮，還可以提供基于內容的交互功能。此外，為了使壓縮后的碼流具有對于信道傳輸?shù)聂敯粜裕琺peg-4還提供了用于誤碼檢測和誤碼恢復的一系列工具，這樣采用mpeg-4標準壓縮后的視頻數(shù)據(jù)可以用于帶寬受限、易發(fā)生誤碼的網絡環(huán)境中。 h.261是itu-t提出的作為h.320終端使用的視頻編解碼建議，制定于1992年，常稱為px64k標準，其中p是取值為1到30的可變參數(shù)。p=1或2時支持四分之一中間格式(qcif)的幀率較低的視頻電話傳輸；p=6時支持通用中間格式(cif)的幀率較高的電視會議數(shù)據(jù)傳輸；px64k視頻壓縮算法也是一種混合編碼方案，

29、即基于dct的變換編碼和帶有運動預測差分脈沖編碼調制(dpcm)的預測編碼方法的混合。h.261主要應用于isdn網上的視頻會議系統(tǒng)，借助于電信行業(yè)提供的px64k帶寬的通信線路，實現(xiàn)異地多方參加的電視會議。目前國際、國內幾乎所有的(電信、政府、企業(yè)等)電視會議系統(tǒng)采用的壓縮技術均源自h.261標準。 h.263是itu-t提出的作為h.324終端使用的視頻編解碼建議，制定于1996年。它是基于運動補償?shù)膁pcm的混合編碼，在運動搜索的基礎上進行運動補償，然后運用dct變換和z“z字形掃描游程編碼，從而得到輸出碼流。h.263在h.261建議的基礎上，將運動矢量的搜索增加了半像素點搜索，同時又

30、增加了無限制運動矢量、基于語法的算術編碼、高級預測技術和pb幀編碼等四個高級選項，從而，達到了進一步降低碼速率和提高編碼質量的目的。h.263標準能夠滿足現(xiàn)有信道所需要的壓縮性能，并對信道誤碼提供一定的魯棒性，從而成為新的低碼率視頻編碼的主流標準。h.263已廣泛應用于可視電話、視頻郵件、銀行、企業(yè)及智能化住宅的遠程視頻監(jiān)控等領域。h.264是由itu-t vceg和iso/iec mpeg聯(lián)合組成的jvt開發(fā)的最新一代視頻壓縮標準，其基本草案在2002年10月形成，最后的批準工作于2003年3月完成。h.264標準中有多個閃光之處，如統(tǒng)一的vlc符號編碼、高精度且多模式的位移估計、基于4x4

31、塊的整數(shù)變換、分層的編碼語法等。這些措施使得h.264算法具有很高的編碼效率，在相同的重建圖像質量下，能夠比h.263節(jié)約50%左右的碼率。同時，h.264的碼流結構網絡適應性強，增加了差錯恢復能力，能夠很好地適應ip和無線網絡的應用。隨著h.264面目的逐漸清晰，許多系統(tǒng)廠商和芯片供應商正在加速開發(fā)能夠與當前系統(tǒng)和體系結構相兼容的低成本h.264產品。 h.264視頻壓縮編碼算法是本課題研究的重點，本文隨后將對其進行詳細的分析。國內對圖像壓縮編碼技術的研究發(fā)展迅速，avs3(由數(shù)字音視頻編解碼技術標準工作組開發(fā))是中國自主制定的音視頻編碼技術標準。avs工作組成立于2002年6月，當年8月開

32、始了第一次的工作會議。經過7次avs正式工作會議和3次視頻組附加會議，經歷一年半的時間，審議了182個提案，先后采納了41項提案，2003年12月19日avs視頻部分終于定稿。avs視頻當中具有特征性的核心技術包括:8x8整數(shù)變換、量化、幀內預測、1/4精度像素插值、特殊的幀間預測運動補償、二維墑編碼、去塊效應濾波等。avs的主要特點3是應用目標明確，技術有針對性。因此在高分辨率應用中，其壓縮效率比現(xiàn)在在數(shù)字電視、光存儲媒體中常用的mpeg-2視頻提高一個層次。在壓縮效率相當?shù)那疤嵯拢州^mpeg-4 mainprofile的實現(xiàn)復雜度大為降低。目前，avs視頻壓縮編碼技術可實現(xiàn)標準清晰度(c

33、cir601或相當清晰度)、低清晰度(cif,sif)等不同格式視頻的壓縮。1.3 本課題研究的內容與技術特色點 本課題主要的內容為:根據(jù)目前圖像壓縮編碼技術的發(fā)展現(xiàn)狀，深入了解h.264視頻編解碼標準，采用了高效的視頻壓縮算法。熟練運用基于soc的dsp的嵌入式系統(tǒng)設計方法，設計以ti dm6446處理器為核心的系統(tǒng)，并結合相關外圍設備，實現(xiàn)具有視頻采集、壓縮編碼與3g網絡服務器功能的嵌入式視頻監(jiān)控服務器。主要包括: 1、根據(jù)當前監(jiān)控系統(tǒng)的發(fā)展狀況與課題的目標要求，并充分考慮本課題所選用的核心芯片與視頻編解碼算法的特點，進行視頻監(jiān)控系統(tǒng)的整體規(guī)劃。2、以ti dm6446處理器為核心，結合所

34、需的外設接口與功能模塊，完成其定制與連接。 3、了解h.264標準，盡可能地查閱中英文資料，針對硬件平臺和網絡視頻監(jiān)控的特性，采用高效且易于實現(xiàn)的圖像壓縮編解碼算法。除系統(tǒng)規(guī)劃、硬件設計等大量工作外，本文擁有較為突出的技術特色點: 1、采用dm6446架構的soc來構建嵌入式圖像服務器的核心部分從而實現(xiàn)協(xié)同工作與并行處理，較大程度地提高了系統(tǒng)的工作效率。 2、采用了適合于3g信道傳輸?shù)膆.264編碼算法，提高了網絡帶寬的使用率。1.4 論文的組織結構 本文的組織結構為:第一章介紹視頻監(jiān)控系統(tǒng)的發(fā)展、圖像壓縮編碼技術以及3g標準的國內外研究現(xiàn)狀，概述本文的內容與特色點。第二章描述h.264的算法

35、及提出h.264編碼技術在3g中的應用。第三章介紹了基于3g的h.264的封包方法。第四章進行核心芯片的選型與硬件設計。第五章軟件平臺介紹及針對本系統(tǒng)所作的改進算法的介紹。第六章進行了基于dm6446芯片的h.264編碼器的設計。第七章進行了h.264算法的dsp實現(xiàn)。第八章系統(tǒng)軟件設計。第九章總結全文所做的工作，指出系統(tǒng)的優(yōu)勢與不足，對進一步的改進與優(yōu)化進行展望。1.5 本章小結本章闡述了課題的研究背景和意義，介紹了國際上現(xiàn)有的一些視頻編碼標準及其特點，視頻壓縮編碼原理，三大3g標準比較及3g上的應用與發(fā)展趨勢。最后提出了論文的主要研究內容及結構安排。 第2章 h.264算法及其在3g中的應

36、用2.1 h.264算法概述h.264是由itu-tvceg和iso/iecmpeg聯(lián)合組成的jvt開發(fā)的最新一代視頻壓縮標準，被命名為avc(advancedvideocoding)，也稱為itu-t h.264建議和mpeg-4第10部分標準，于2003年3月正式被itu-t討論通過并在國際上頒布。h.264不僅具有優(yōu)異的壓縮性能，而且具有良好的網絡親和性。h.264/av在設計上將整個編碼系統(tǒng)分成視頻編碼層vcl(videocodinglayer)和網絡提取層nal(networkabstractionlayer)兩個具有不同概念的層次。視頻編碼層vcl主要負責對數(shù)字視頻進行高效編解碼，

37、提供具有高質量、高壓縮比、健壯性、可分級等特性的視頻編碼碼流，是整個h.264視頻編碼標準的核心部分。網絡提取層nal主要負責將視頻編碼層vcl產生的視頻編碼數(shù)據(jù)正確地映射到不同的傳輸網絡中去。當vcl產生的編碼視頻比特流將在某種特定網絡中傳輸時，nal針對這種網絡及其傳輸協(xié)議的特性，對vcl的編碼碼流進行適合該網絡及其傳輸協(xié)議的封裝。這樣h.264就可以在面向不同的傳輸網絡時，靈活的提供不同的封裝方式，增強了網絡的適應性。 對于系統(tǒng)中處理與傳輸?shù)膱D像數(shù)據(jù)，可將其從宏觀到微觀分為視頻序列、圖像幀、片(slice)、宏塊(macroblock)、子塊(sub-block)五個層次。視頻序列由若干

38、個圖像幀組成，h.264可將圖像幀劃分為獨立解碼的片，有利于抑制錯誤的蔓延，提高了解碼的容錯能力。片必須進一步劃分為16x16像素的宏塊，每個片所包含的宏塊個數(shù)是不定的。宏塊還可根據(jù)需要劃分為更小的子塊。 為提高壓縮效率，去除圖像序列的時間冗余度，同時滿足多媒體等應用所必須的隨機存取要求，h.264把圖像幀分成i幀、p幀和b幀。i幀為幀內編碼幀，編碼時采用幀內預測編碼和變換編碼。p幀為預測編碼幀，采用前向運動補償和預測殘差的變換編碼，由前面已解碼的參考幀進行預測。b幀為雙向預測編碼幀，采用雙向運動補償預測和預測殘差變換編碼。此外，新標準的高級版本中提出了sp和si幀的概念，用來實現(xiàn)在幾個編碼碼

39、流中任意切換。 h.264的核心算法包括幀內預測、高級運動估計與補償、4x4整數(shù)變換與量化、熵編碼、環(huán)路濾波等。其中熵編碼有兩種方案:一種是基于exp-golomb碼的一致變長編碼(uvlc)和基于上下文的變長編碼(cavlc)相結合的變長編碼(vlc)，編碼主要采用查表的方式，其中uvlc的表是固定的，而cavlc在編碼過程中會跟據(jù)周圍宏塊以及在之前編碼的數(shù)據(jù)信息，選擇不同的表，具有上下文自適應功能。另一種是基于上下文的自適應算術二進制編碼(cabac)，為基于概率模型的統(tǒng)計估算。2.1.1 h264編碼器結構h264標準與以往的h.26l、h.263等標準一樣，都是采用dct變換編碼加dp

40、cm的差分編碼方式。即混合編碼結構。其核心思想是利用幀間預測編碼消除圖像序列中的時域冗余，利用變換編碼消除頻域冗余。圖2-1為h.264編碼器的結構框圖11。圖2-1 h.264編碼器結構框圖figure2-1 h.264 encoder block diagram在h.264中，也是把當前編碼圖像劃分為多個宏塊，再對每個宏塊進行幀間運動估計或使用幀內預測技術，所得到的殘差圖像經過變換、量化、熵編碼等處理后得到最終碼流。盡管h.264編碼基本結構與h.261、h.263是類似的，但它在很多環(huán)節(jié)做了改進，主要體現(xiàn)【12】在：(1)高精度估計。在h.264中，采用的是1/4像素精度的運動矢量模式。

41、(2)多宏塊劃分模式估計。一個宏塊(mb)可劃分成7種不同模式的尺寸。(3)多參數(shù)幀估計。最高允許5個參考幀。(4)小尺寸44的整數(shù)變換。不僅減少了圖像變換過程中的計算量，還減少了運動物體邊緣的銜接誤差。(5)更精確的幀內預測。每個44塊中的每個像素都可用17個最接近先前已編碼的像素的不同加權和來進行幀內預測。(6)豐富的熵編碼方式。主要包括基于內容的自適應二進制算術編碼(cabac)和基于上下文的自適應變長編碼(cavlc)。2.1.2 h.264的檔次和級h.264像以前所有其他視頻標準那樣，提供了不同的檔次(profiles)和級(levels)。不同的profile提供了不同的算法要求

42、和限制，而對一個指定的profile，又分為不同的level。level的選擇一般都是根據(jù)計算機的運算能力和內存容量決定的。不同的level支持不同的分辨率和數(shù)據(jù)碼率。 h.264支持3種檔次,其檔次關系如圖2-2【11】所示。每個檔次支持一組特定的編碼功能，并支持一類特定的應用。圖2-2 h.264的檔次關系圖figure2-2 h.264 grade diagram1、 基本檔次(baseline profile)主要用于可視電話、會議電視、無線通信等實時視頻通信。其解碼器支持以下特性：(1)i片和p片類型；(2)去塊濾波；(3)l/4像素精度運動估計；(4)cavlc熵編碼模式；(5)4

43、：2：o的色度塊采樣率；(6)支持冗余片(redundant slice)；(7)支持任意片順序(arbitrary slice order)編碼；(8)支持zig-zag掃描方式：(9)支持逐行掃描(progressive)；(10)支持靈活塊順序(flexible macroblock order)編碼方案；(11)不支持宏塊幀場自適應編碼。2、主要檔次(main profile)主要用于數(shù)字廣：播電視與數(shù)字視頻存儲。其解碼器支持以下特性：(1)支持b片；(2)cabac嫡編碼：(3)自適應雙向預測；(4)支持場編碼；(5)支持幀場自適應編碼；(6)支持逐行掃描(progressive)和

44、隔行掃描(interlaced)；(7)不支持片組與任意片次序編碼；(8)不支持冗余片。3、擴展檔次(extended profile)主要應用于流媒體中，如視頻點播。其解碼器支持的特性如下：(1)b片類型；(2)sp和s1類型；(3)數(shù)據(jù)分層片；(4)自適應雙向編碼(weighted prediction)；(5)baseline中支持的所有特性；(6)支持場編碼：(7)支持幀場自適應編碼；(8)不支持隔行掃描和cabac。最新的h.264/avc還增加了一個高端檔次(high profile)，它主要是在mainprofile的基礎上新增了8x8幀內預測、自定義量化(custom quan

45、t)及無損視頻編碼(lossless video coding)等。2.1.3 h.264的核心技術 1、h.264的分層設計h.264在概念上可以分為兩層：視頻編碼層(vcl，video coding layer)和網絡提取層(nal，network abstraction layer)，如圖2-3【1】所示。其中vcl負責高效的視頻內容表示，nal負責以網絡所要求的恰當?shù)姆绞綄?shù)據(jù)進行打包和傳送。這樣，高編碼效率和網絡友好性的任務分別由vcl和nal來完成。圖2-3 h.264分層結構figure2-3 h.264 hierarchical structurevcl數(shù)據(jù)即編碼處理的輸出，它

46、表示被壓縮編碼后的視頻數(shù)據(jù)序列。在vcl數(shù)據(jù)傳輸或存儲之前，這些編碼的vcl數(shù)據(jù)，先被映射或封裝進nal單元中。nal包括自己的頭部信息、段結構信息和實際載荷信息。每個nal單元包括一個原始字節(jié)序列負荷(rbsp)、一組對應于視頻編碼數(shù)據(jù)的nal頭信息。nal單元序列的機構見圖2-4【11】圖2-4 nal單元序列figure2-4 nal unit sequence2、 高精度的運動估計在h.263中采用了半像素估計，在h.264中則進一步采用1/4像素甚至l/8像素的運動估計。即真正的運動矢量的位移可能是以l/4甚至1/8像素為基本單位的。顯然，運動矢量位移的精度越高，則幀間剩余誤差越小，

47、傳輸碼率越低，即壓縮比越高12。在h264中采用了6階fir濾波器的內插獲得1/2像素位置的值。當1/2像素值獲得后，l/4像素值可通過線性內插獲得，對于4：l：1的視頻格式，亮度信號的l/4像素精度對應于色度部分的1/8像素的運動矢量，因此需要對色度信號進行1/8像素的內插運算。理論上，如果將運動補償?shù)木仍黾右槐?例如從整像素精度提高到1/2像素精度)，可有o.5bit/sample的編碼增益，但實際驗證發(fā)現(xiàn)在運動矢量精度超過1/8像素后，系統(tǒng)基本上就沒有明顯增益了，因此，在h.264中，只采用了1/4像素精度的運動矢量模式，而不是采用1/8像素的精度。3、 靈活的運動補償 每個宏塊(16

48、x16像素)可以4種方式分割：一個16x1 6，兩個16x8，兩個8x16，四個8x8。其運動補償也相應有四種。而8x8模式的每個子宏塊還可以四種方式分割：一個8x8，兩個4x8或兩個8x4及4個4x4。詳見圖2-513所示。這些分割和子宏塊大大提高了各宏塊之間的關聯(lián)性。這種分割下的運動補償則稱為樹狀結構運動補償11。圖2-5 h.264中的宏塊及子宏塊劃分figure2-5 h.264 in the macro block and sub-macroblock partition每個分割或子宏塊都有一個獨立的運動補償。每個mv必須被編碼、傳輸，分割的選擇也需編碼到壓縮比特流中。對大的分割尺寸

49、而言，mv選擇和分割類型只需少量的比特，但運動補償殘差在多細節(jié)區(qū)域能量將非常高。小尺寸分割運動補償殘差能量低，但需要較多的比特表征mv和分割選擇。分割尺寸的選擇影響了壓縮性能。整體而言，大的分割尺寸適合平坦區(qū)域，而小尺寸適合多細節(jié)區(qū)域。宏塊的色度成分(cr和cb)則為相應亮度的一半(水平和垂直各一半)。色度塊采用和亮度塊同樣的分割模式，只是尺寸減半(水平和垂直方向都減半)。4、 幀內預測在視頻編碼中，通常的方法是把整幅圖像分為若干宏塊，然后對每一個宏塊進行編碼。在編碼時采用intra或inter兩種模式。在intra模式中通常直接對宏塊進行dct變換，對變換系數(shù)進行熵編碼。這樣做在一定程度上消

50、除了幀內的空間冗余度，但是由于dct只是利用了宏塊內部像素之間的相關性，而沒有考慮相鄰宏塊問的相關性。h.264引入了intra預測的方法，利用相鄰宏塊的相關性對待編碼的宏塊進行預測，對預測殘差進行變換編碼，以消除空間冗余。以前的標準是在變換域中進行預測，而h.264是直接在空間域中進行預測【14】。在h.264中，幀內亮度塊預測分為l6xl6的預測和4x4的預測。其中亮度4x4塊有9種預測模式，如圖2-6【15】所示。圖2-6 4x4亮度塊的9種預測模式figure2-6 4x4 luminance of 9 prediction model4x4亮度塊的預測模式描述詳見表2-1【11】。表

51、2-1 4x4亮度塊預測模式描述table2-1 4x4 luminance prediction models described16xl6的亮度塊，有4種預測模式，如圖2-7【15】所示。圖2-7 16x16亮度塊的4種預測模式figure2-7 16x16 luminance block of four kinds of prediction mode表2-2 16x16塊的預測模式描述table2-2 16x16 block prediction model description16x16亮度塊的預測模式描述詳見表2-2【11】。色度塊的預測是固定的8x8的，其預測與16xl6類似，

52、也有4種預測模式，只是模式編號不同。其中dc(模式o)，水平(模式1)，垂直(模式2)，平面(模式3)。5、 整數(shù)dct變換及量化h.264標準中使用44的整數(shù)dct變換作為殘差宏塊的基本變換，這種變換的對象是經過運動補償預測或者幀內預測后的包含殘差數(shù)據(jù)的44塊。這類變換是基于dct變換，但又不同于dct。h.264中采用的變換是整數(shù)操作而不是實數(shù)運算，便于使用簡單的定點運算方式。變換的單位是44塊，而不是以往常用的88塊。由于用于變換塊的尺寸縮小，運動物體的劃分更精確，這樣，不但變換計算量比較小，而且在運動物體邊緣處的銜接誤差也大為減小。圖2-8 dct變換中宏塊的變換塊及掃描順序figur

53、e2-8 dct transform block to the blocks in the macro and scanning order如圖2-816所示，h.264中使用了三種變換方法17：(1)宏塊中的每個44亮度塊以及44色度塊的dct變換，變換矩陣h1如公式(2-1)。(2)對宏塊中的44亮度直流系數(shù)的hadamard變換，其變換矩陣h2如公式(2-2)。(3)對宏塊中22色度直流系數(shù)的hadamard變換。其變換矩陣h3如公式(2-3)。 (2-1) (2-2) (2-3)在對塊進行了dct變換以后，由于圖像的信息主要集中在低頻部分，高頻分量很小。這時候，就需要對這些變換后的系數(shù)

54、進行量化。量化主要就是將每個圖像樣點編碼映射成較小的數(shù)值。h.264的量化器原理如下： (2-4)其中，yij是待量化的系數(shù)，zij是輸出的量化系數(shù)，qstep是量化步長，round（）是取整函數(shù)。qstep的取值與量化參數(shù)（qp）有關，qp的范圍是0-51，它與量化步長的對應關系如表2-3所示，qp值每增加1，qstep變化幅度增加12.5%，qp每增加6，qstep加倍。表2-3 qstep與qp的對應關系table2-3 qstep and correspondence between qph.264的量化過程中，還要處理dct變換中未處理完的計算，可表述為： (2-5)其中pf代表dc

55、t變換中的縮放矩陣，再轉化： (2-6)其中： (2-7) (2-8)那么，只要建立一個qp和pf的對應關系，就可以對系數(shù)進行量化，計算出mf值，h.264中的mf值如表2-4所示。量化的時候，可通過qp值算出qbits，再根據(jù)op，取出對應的mf值，就可以對矩陣進行量化了。表2-4 h.264中的mf值table2-4 h.264 in the mf value6、 熵編碼多媒體數(shù)據(jù)壓縮的方法可分為有損壓縮和無損壓縮。利用信源的統(tǒng)計特性進行碼率壓縮的編碼就稱為熵編碼，也叫統(tǒng)計編碼。熵編碼是無損壓縮編碼方法，它生成的碼流可以經解碼無失真地恢復出原數(shù)據(jù)。除了指數(shù)型golomb碼和基于上下文的變長

56、編碼(cavlc)相結合的熵編碼技術之外，h.264還提供了一種基于上下文的二進制自適應算術編碼(cabac：contextbased adaptive binary arithmetic coding)技術。cabac【11,18】充分發(fā)揮了算術編碼壓縮效率高的特點，其思想是用o到1的區(qū)間上的一個數(shù)來表示一個字符輸入流，它的本質是為整個輸入流分配一個碼字，而不是給輸入流中的每個字符分別指定碼字。cabac是用區(qū)間遞進的方法來為輸入流尋找這個碼字的，它從于第一個符號確定的初始區(qū)間(o到1)開始，逐個字符地讀入輸入流，在每一個新的字符出現(xiàn)后遞歸地劃分當前區(qū)間，劃分的根據(jù)是各個字符的概率，將當前區(qū)間按照各個字符的概率劃分成若干子區(qū)間，將當前字符對應的子2區(qū)間取出，作為處理下一個字符時的當前區(qū)間。到處理完最后一個字符后，得到了最終區(qū)間，在最終區(qū)間中任意挑選一個數(shù)作為輸出。cavlc的基本思想【11】就是對出現(xiàn)頻率大的符