（信號與信息處理專業(yè)論文）具有以太網(wǎng)接口的mpeg4編解碼器的設(shè)計(jì)與實(shí)現(xiàn).pdf

獨(dú)獨(dú) 創(chuàng)創(chuàng) 性性 聲聲 明明 本人聲明所本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工 作及取得的研究成果。 據(jù)我所知， 除了文中特別加以標(biāo)注和致謝的地作及取得的研究成果。 據(jù)我所知， 除了文中特別加以標(biāo)注和致謝的地 方外， 論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果， 也不包含方外， 論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果， 也不包含 為獲得電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。為獲得電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。 與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明 確的說明并表示謝意。確的說明并表示謝意。 簽名：簽名： 陳陳 周周 國國 日期：日期： 2006 年年 5 月月 22 日日 關(guān)于論文使用授權(quán)的說明關(guān)于論文使用授權(quán)的說明 本學(xué)位論文作者完全了解電子科技大學(xué)有關(guān)保留、 使用學(xué)位論文本學(xué)位論文作者完全了解電子科技大學(xué)有關(guān)保留、 使用學(xué)位論文 的規(guī)定，有權(quán)保留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件的規(guī)定，有權(quán)保留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁和磁 盤， 允許論文被查閱和借閱。 本人授權(quán)電子科技大學(xué)可以將學(xué)位論文盤， 允許論文被查閱和借閱。 本人授權(quán)電子科技大學(xué)可以將學(xué)位論文 的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索， 可以采用影印、 縮印或的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索， 可以采用影印、 縮印或 掃描等復(fù)制手段保存、匯編學(xué)位論文。掃描等復(fù)制手段保存、匯編學(xué)位論文。 （保密的學(xué)位論文在解密后應(yīng)遵守此規(guī)定）（保密的學(xué)位論文在解密后應(yīng)遵守此規(guī)定） 簽名：簽名： 陳陳 周周 國國 導(dǎo)師簽名：導(dǎo)師簽名： 周周 正正 歐歐 日期：日期： 2006 年年 5 月月 22 日日 摘要 i 摘要 本論文討論了一種基于以太網(wǎng)的多媒體通信終端機(jī)的設(shè)計(jì)方案，并給出了一 個(gè)采用嵌入式 x86+內(nèi)核的嵌入式處理器加專用視頻編解碼芯片組成的終端機(jī)實(shí) 例， 為多媒體通信終端機(jī)提供了一種硬件平臺的參考。 在 linux 環(huán)境下對該系統(tǒng)進(jìn) 行了相應(yīng)的軟件編程，實(shí)現(xiàn)系統(tǒng)各參數(shù)的控制以及相應(yīng)的網(wǎng)絡(luò)功能。 以太網(wǎng)技術(shù)和音視頻壓縮技術(shù)在最近十年的迅速發(fā)展，使得在局域網(wǎng)內(nèi)的多 媒體通信得以實(shí)現(xiàn)。近年視頻多媒體技術(shù)得到了業(yè)界的普遍關(guān)注，被認(rèn)為是最有 前景的領(lǐng)域。目前基于以太網(wǎng)的 h.323 多媒體通信系統(tǒng)已成為了研究和開發(fā)的熱 點(diǎn)。 多媒體視頻終端是 h.323 多媒體通信終端的組件之一。為保證系統(tǒng)的穩(wěn)定性 和可擴(kuò)展性并加快開發(fā)速度，采用模塊化設(shè)計(jì)的方法。從硬件設(shè)計(jì)的角度，系統(tǒng) 硬件應(yīng)盡可能采用集成度高的方案；從軟件設(shè)計(jì)的角度，應(yīng)該采用基于操作系統(tǒng) 的模塊化軟件開發(fā)方法。 經(jīng)過論證和比較，權(quán)衡了開發(fā)難度和系統(tǒng)性能，在多媒體視頻會議終端設(shè)計(jì) 中采用了基于 x86 內(nèi)核片上系統(tǒng)芯片 stpc 的主控制器模塊，基于 vw2010 芯片 的 mpeg-4 音視頻編解碼器模塊，基于 rtl8139 芯片的 10m/100m 以太網(wǎng)適配器 模塊的硬件架構(gòu)， 主控制模塊運(yùn)行 linux 操作系統(tǒng)， 作為多媒體終端的軟件運(yùn)行環(huán) 境及軟件開發(fā)環(huán)境。 本人的工作主要包括： 1.參與終端機(jī)系統(tǒng)方案的設(shè)計(jì)。 2.完成對 rtl8139 芯片功能的驗(yàn)證，完成原理圖，pcb 圖，實(shí)現(xiàn)網(wǎng)絡(luò)功能的 集成。 3.調(diào)試終端機(jī)系統(tǒng)硬件及程序。 4.編寫網(wǎng)絡(luò)傳輸程序、osd 菜單程序、紅外線控制程序、云臺控制協(xié)議。 關(guān)鍵字：多媒體通信終端，mpeg-4，以太網(wǎng)，linux，osd 菜單 abstract ii abstract this dissertation discussed a solution of terminal in multimedia communication based on ethernet.and give a reference of constructing a platform of hardware,which consist of embeded cpu based on x86 core and chips of coding video. in linux os,we programmed to realize some functions,to control and change parameters of terminal on live. in lan,multimedia communication can be realized with largle development of ethernet and video data compression in recent years.multimedia have being designed widely,which is a hotspot in the field.to ensure the stability and expansibility of terminal,we adopt method of design based on module.hardware of terminal should be largely integrated;software of terminal should be designed on module based on os,also. with argumentation and comparing the difficulty of developing in different ways,in multimedia communication the terminal make up with mpeg-4 encoder and decoder based on vw2010 chip,main controller based on x86 core and pc compatible stpc soc chip， ethernet adapter based on rtl8139.and this hardware platform can run linux operation system. the following works are done by auther. 1.participate in designing the project of multimedia terminal. 2.individually designed ethernet adapter based on rtl8139 chip,finished schematic,pcb,debugging,and make it integrated in the terminal to work. 3.debug the hardware of the multimedia terminal to make it work. 4.programme procedure of translating data on net,osd menu displaying and communication on serial ports.finished debugging and realized these function. keywords:multimedia terminal, mpeg-4, ethernet, linux, osd menu displaying 目錄 iii 目錄 第一章 引言 . 1 1.1 視頻數(shù)據(jù)壓縮的意義 . 1 1.2 數(shù)據(jù)壓縮標(biāo)準(zhǔn)的演進(jìn) . 1 1.3 h.323 標(biāo)準(zhǔn)概述 . 3 1.4 以太網(wǎng)技術(shù)的發(fā)展 . 4 1.5 課題概述 . 4 第二章 相關(guān)理論簡述 . 6 2.1 視頻編碼機(jī)制 . 6 2.2 視頻壓縮國際標(biāo)準(zhǔn) . 7 2.2.1 jpeg 標(biāo)準(zhǔn)和 h.26x 系列標(biāo)準(zhǔn) . 7 2.2.2 mpeg 系列標(biāo)準(zhǔn) . 8 2.3 mpeg-4 的主要技術(shù) . 10 2.4 以太網(wǎng)技術(shù) . 13 2.4.1 什么是以太網(wǎng)？ . 13 2.4.2 以太網(wǎng)的組成 . 14 2.5 h.323 協(xié)議族 . 15 第三章 系統(tǒng)方案設(shè)計(jì)及實(shí)現(xiàn) . 19 3.1 系統(tǒng)原理、功能模塊及相關(guān)指標(biāo) . 19 3.1.1 系統(tǒng)概述 . 19 3.1.2 多媒體通信終端的主要關(guān)鍵技術(shù) . 20 3.1.3 多媒體通信終端的類型 . 21 3.1.4 本多媒體終端的性能要求 . 22 3.2 基于 vw2010 芯片的視頻編碼解碼模塊的設(shè)計(jì)與實(shí)現(xiàn) . 23 3.2.1vw2010 芯片的介紹 . 23 3.2.2 編解碼模塊的原理及實(shí)現(xiàn) . 25 3.2.3 總結(jié) . 30 3.3 系統(tǒng)網(wǎng)絡(luò)模塊的設(shè)計(jì)與實(shí)現(xiàn) . 31 3.4 基于 stpc 芯片的系統(tǒng)主機(jī)模塊的設(shè)計(jì)與實(shí)現(xiàn) . 34 目錄 iv 3.4.1 處理器 stpc 簡介 . 35 3.4.2 電路設(shè)計(jì)要點(diǎn) . 36 3.4.3 pci 接口的設(shè)計(jì) . 41 3.5 系統(tǒng)調(diào)試 . 43 第四章 系統(tǒng)軟件設(shè)計(jì)及實(shí)現(xiàn) . 53 4.1 軟件設(shè)計(jì)概述 . 53 4.1.1 linux 簡介 . 53 4.1.2 gcc . 55 4.1.3 vi . 56 4.1.4 make . 57 4.2 網(wǎng)絡(luò)傳輸程序設(shè)計(jì)實(shí)現(xiàn) . 58 4.2.1 網(wǎng)絡(luò)協(xié)議簡述 . 58 4.2.2 網(wǎng)絡(luò)傳輸函數(shù)的編寫 . 59 4.2.3 傳輸函數(shù)的測試 . 65 4.3 osd 菜單顯示實(shí)現(xiàn) . 67 4.4 紅外線、云臺控制模塊實(shí)現(xiàn) . 70 第五章 總結(jié) . 74 致謝 . 75 參考文獻(xiàn) . 76 個(gè)人簡介 . 78 第一章 引言 1 第一章引言 1.1 視頻數(shù)據(jù)壓縮的意義1 隨著現(xiàn)代通信技術(shù)和業(yè)務(wù)的發(fā)展，人們對通信的需求已經(jīng)由最初的單一語音 需求轉(zhuǎn)變?yōu)閷σ曨l和音頻的通信需求，以傳送語音、數(shù)據(jù)、視頻為一體的視頻通 信業(yè)務(wù)成為通信領(lǐng)域發(fā)展的熱點(diǎn)，以點(diǎn)到點(diǎn)或多點(diǎn)視音頻通信為主要形式的視頻 會議、遠(yuǎn)程醫(yī)療、遠(yuǎn)程教育等多媒體通信服務(wù)得到越來越多的使用。 在多媒體系統(tǒng)中，要處理一幅全彩色的 640480 視頻圖像。要占用 1mb 的 存儲空間，按電視信號每秒 30 幅圖像計(jì)算，播放 1 秒需要 30mb，播放 1 小時(shí)就 需要 108gb 容量。一張 600mb 的光盤，只能存儲 20 秒的視頻圖像。這樣看來， 存儲容量遠(yuǎn)遠(yuǎn)不能滿足要求，高的傳輸速度也是通信系統(tǒng)所不能承受的。因此， 解決這一突出矛盾成為多媒體實(shí)用化的關(guān)鍵。其中，最重要的就是數(shù)據(jù)壓縮技術(shù)。 把龐大的圖像數(shù)據(jù)壓縮到可以接受和能夠處理及傳輸?shù)牡夭?，是非常必要的?圖像信息數(shù)據(jù)壓縮是如何進(jìn)行的呢？從信息論觀點(diǎn)來看，圖像作為一個(gè)信源， 描述信源的數(shù)據(jù)是信息量(信源熵)和信息冗余量之和。信息冗余量有許多種：如空 間冗余，時(shí)間冗余，結(jié)構(gòu)冗余，知識冗余，視覺冗余等，數(shù)據(jù)壓縮實(shí)質(zhì)上是減少 這些冗余量?？梢娙哂嗔繙p少可以減少數(shù)據(jù)量而不減少信源的信息量。從數(shù)學(xué)上 講，圖像可以看作一個(gè)多維函數(shù)，壓縮描述這個(gè)函數(shù)的數(shù)據(jù)量實(shí)質(zhì)是減少其相關(guān) 性。另外在一些情況下允許圖像有一定的失真，而并不妨礙圖像的實(shí)際應(yīng)用。 數(shù)據(jù)壓縮就是利用這些冗余在傳輸和存儲的時(shí)候，去除冗余信息達(dá)到對數(shù)據(jù)壓縮 的目的。 由此可見，在“信息爆炸”時(shí)代對數(shù)據(jù)的壓縮是至關(guān)重要的。數(shù)據(jù)壓縮不僅 使技術(shù)得以實(shí)用，更給社會經(jīng)濟(jì)帶來了積極的作用。可以說有了數(shù)據(jù)壓縮技術(shù)， 多媒體通信以及各種多媒體業(yè)務(wù)才能得以實(shí)現(xiàn)。 1.2 數(shù)據(jù)壓縮標(biāo)準(zhǔn)的演進(jìn)146 自 1985 年以來，國際標(biāo)準(zhǔn)化組織（iso）和國際電信聯(lián)盟（itu）標(biāo)準(zhǔn)化部門 就發(fā)布了全球統(tǒng)一的圖像和視頻編碼算法的建議。在 1989 年，iso 推出了最初的 圖像編碼標(biāo)準(zhǔn) jpeg（聯(lián)合圖像專家組） ，后來被 itut 作為靜態(tài)圖像壓縮的標(biāo)準(zhǔn) 第一章 引言 2 所采用。在 1991 年 11 月，iso 發(fā)布了視頻編碼標(biāo)準(zhǔn)草案 mpeg-1，以 1.52mbps 的速率實(shí)現(xiàn)在 cd-rom 上的視音頻數(shù)據(jù)存儲。 1990 年， ccitt 提出了其第一部視 頻編碼標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)在 1993 年由 itu-t h.261 發(fā)表，用 p64kbps 低速率實(shí)現(xiàn)在 isdn 網(wǎng)上通信。itu-t h.262,即于 1994 年發(fā)布的 mpeg-2，是適于 49mbps 傳輸 速率 hdtv 的編碼算法標(biāo)準(zhǔn)。1996 年標(biāo)準(zhǔn)化組織開發(fā)的第一版新視頻編碼標(biāo)準(zhǔn) itu-t h.263,適用于 pstn 網(wǎng)上 64kbps 以下的低速率通信。 1998 年 iso 的 mpeg （活 動(dòng)圖像專家組）提出了新的應(yīng)用于移動(dòng)視聽業(yè)務(wù)的編碼標(biāo)準(zhǔn) mpeg-4，該算法首次 采用了基于對象的分層結(jié)構(gòu)，而以前算法則是采用基于像塊的幀結(jié)構(gòu)。 mpeg-4 的編碼理念是： mpeg-4 標(biāo)準(zhǔn)同以前標(biāo)準(zhǔn)的最顯著的差別在于它是采 用基于對象的編碼理念，即在編碼時(shí)將一幅景物分成若干在時(shí)間和空間上相互聯(lián) 系的視頻音頻對象，分別編碼后，再經(jīng)過復(fù)用傳輸?shù)浇邮斩?，然后再對不同的?象分別解碼，從而組合成所需要的視頻和音頻。這樣既方便我們對不同的對象采 用不同的編碼方法和表示方法，又有利于不同數(shù)據(jù)類型間的融合，并且這樣也可 以方便的實(shí)現(xiàn)對于各種對象的操作及編輯。例如，我們可以將一個(gè)卡通人物放在 真實(shí)的場景中，或者將真人置于一個(gè)虛擬的演播室里，還可以在互聯(lián)網(wǎng)上方便的 實(shí)現(xiàn)交互，根據(jù)自己的需要有選擇的組合各種視頻音頻以及圖形文本對象。 mpeg-4 系統(tǒng)的一般框架是： 對自然或合成的視聽內(nèi)容的表示； 對視聽內(nèi)容數(shù)據(jù)流 的管理，如多點(diǎn)、同步、緩沖管理等；對靈活性的支持和對系統(tǒng)不同部分的配置。 其應(yīng)用的主要領(lǐng)域有：因特網(wǎng)視音頻廣播、靜止圖像壓縮、電子游戲、計(jì)算機(jī)圖 形、動(dòng)畫與仿真、遠(yuǎn)程教育、遠(yuǎn)程醫(yī)療、視頻會議等。 在 2000 年 12 月， iso 標(biāo)準(zhǔn)化部門出版了最新的用于靜態(tài)動(dòng)態(tài)圖像壓縮的標(biāo)準(zhǔn) 化版本 jpeg2000。jpeg2000 與傳統(tǒng) jpeg 最大的不同在于它放棄了 jpeg 所采用 的以離散余弦變換(discrete cosine transform)為主的區(qū)塊編碼方式，而改采以小波 轉(zhuǎn)換(wavelet transform)為主的多解析編碼方式。 在 2003 年 3 月，jvt（joint video team，視頻聯(lián)合工作組）發(fā)布了新的視頻 壓縮編碼標(biāo)準(zhǔn)稱為h.264標(biāo)準(zhǔn)， 該標(biāo)準(zhǔn)也被iso接納， 稱為 avc （ advanced video coding ）標(biāo)準(zhǔn)，是 mpeg-4 的第 10 部分。h.264 不僅比 h.263 和 mpeg-4 節(jié)約了 50的碼率，在小于 1m 帶寬的條件下，h.264 標(biāo)準(zhǔn)可以達(dá)到 dvd 的成像質(zhì)量， 而且對網(wǎng)絡(luò)傳輸具有更好的支持功能。它引入了面向 ip 包的編碼機(jī)制，有利于網(wǎng) 絡(luò)中的分組傳輸，支持網(wǎng)絡(luò)中視頻的流媒體傳輸。h.264 具有較強(qiáng)的抗誤碼特性， 可適應(yīng)丟包率高、干擾嚴(yán)重的無線信道中的視頻傳輸。h.264 支持不同網(wǎng)絡(luò)資源下 的分級編碼傳輸，從而獲得平穩(wěn)的圖像質(zhì)量。h.264 能適應(yīng)于不同網(wǎng)絡(luò)中的視頻傳 第一章 引言 3 輸，網(wǎng)絡(luò)親和性好。 可見在視頻領(lǐng)域的研究一直不斷，也是最活躍的，新的數(shù)據(jù)壓縮算法層出不 窮。多媒體通信是人類最自然的通信方式，給人類的交流提供更好的平臺。隨著 視頻壓縮技術(shù)的不斷進(jìn)步，必將提供更好的多媒體通信。 1.3 h.323 標(biāo)準(zhǔn)概述4 h.323 是一套在分組網(wǎng)上提供實(shí)時(shí)音頻、視頻和數(shù)據(jù)通信的標(biāo)準(zhǔn)，是 itu-t 制 訂的在各種網(wǎng)絡(luò)上提供多媒體通信的系列協(xié)議 h.32x 的一部分。 h.323 協(xié)議被普遍 認(rèn)為是目前在分組網(wǎng)上支持語音、圖像和數(shù)據(jù)業(yè)務(wù)最成熟的協(xié)議。采用 h.323 協(xié) 議，各個(gè)不同廠商的多媒體產(chǎn)品和應(yīng)用可以進(jìn)行互相操作，用戶不必考慮兼容性 問題。該協(xié)議為商業(yè)和個(gè)人用戶基于 lan 和 wan 的多媒體產(chǎn)品協(xié)同開發(fā)奠定了 基礎(chǔ)。 為了能在不保證 qos 的分組交換網(wǎng)絡(luò)上展開多媒體通信，由 itu 的第 15 研 究組 sg-15 于 1996 年通過 h.323 建議的第一版，并在 1998 年提出了 h.323 的第 二版。h.323 制定了無 qos（服務(wù)質(zhì)量）保證的分組網(wǎng)絡(luò) pbn（packet based networks）上的多媒體通信系統(tǒng)標(biāo)準(zhǔn)，這些分組網(wǎng)絡(luò)主宰了當(dāng)今的桌面網(wǎng)絡(luò)系統(tǒng)， 包括基于 tcp/ip、ipx 分組交換的以太網(wǎng)、快速以太網(wǎng)、令牌網(wǎng)、fddi 技術(shù)。因 此，h.323 標(biāo)準(zhǔn)為 lan、wan、intarnet、因特網(wǎng)上的多媒體通信應(yīng)用提供了技術(shù) 基礎(chǔ)和保障。 h.323 是 itu 多媒體通信系列標(biāo)準(zhǔn) h.32x 的一部份， 該系列標(biāo)準(zhǔn)使得在現(xiàn)有通 信網(wǎng)絡(luò)上進(jìn)行視頻會議成為可能，其中，h.320 是在 n-isdn 上進(jìn)行多媒體通信的 標(biāo)準(zhǔn)；h.321 是在 b-isdn 上進(jìn)行多媒體通信的標(biāo)準(zhǔn)；h.322 是在有服務(wù)質(zhì)量保證 的 lan 上進(jìn)行多媒體通信的標(biāo)準(zhǔn)；h.324 是在 gstn 和無線網(wǎng)絡(luò)上進(jìn)行多媒體通 信的標(biāo)準(zhǔn)。h.323 為現(xiàn)有的分組網(wǎng)絡(luò) pbn（如 ip 網(wǎng)絡(luò)）提供多媒體通信標(biāo)準(zhǔn)。若 和其它的 ip 技術(shù)如 ietf 的資源預(yù)留協(xié)議 rsvp 相結(jié)合，就可以實(shí)現(xiàn) ip 網(wǎng)絡(luò)的多 媒體通信。 基于 ip 的 lan 正變得越來越強(qiáng)大， 如 ip over sdh/sonet、 ip over atm 技術(shù)正在快速發(fā)展以及 lan 寬帶正在不斷的提高。由于能提供設(shè)備與設(shè)備、應(yīng)用 與應(yīng)用、供應(yīng)商與供應(yīng)商之間的互操作能力，因此，h.323 能夠保證所有 h.323 兼 容設(shè)備的互操作性。更高速率的處理器、日益增強(qiáng)的圖形器件和強(qiáng)大的多媒體加 速芯片使得 pc 成為一個(gè)越來越強(qiáng)大的多媒體平臺。 h.323 可提供 pbn 與別的網(wǎng)絡(luò) 之間進(jìn)行多媒體通信的互連互通標(biāo)準(zhǔn)。許多計(jì)算機(jī)、網(wǎng)絡(luò)通信公司，如 intel、 第一章 引言 4 microsoft 和 netscape 都支持 h.323 標(biāo)準(zhǔn)。h.323 標(biāo)準(zhǔn)包括在無 qos 保證的分組網(wǎng) 絡(luò)中進(jìn)行多媒體通信所需的技術(shù)要求。這些分組網(wǎng)絡(luò)包括 lan、wan、intarnet/ 因特網(wǎng)以及使用 ppp 等分組協(xié)議通過 gstn 或 isdn 的撥號連接或點(diǎn)對點(diǎn)連接。 1.4 以太網(wǎng)技術(shù)的發(fā)展3 以太網(wǎng)技術(shù)作為一種局域網(wǎng)基本介質(zhì)（媒體）接入技術(shù)，由于其高度靈活性 和實(shí)現(xiàn)的簡單性，近年來得到了迅猛的發(fā)展。早期的以太網(wǎng)是在 20 世紀(jì) 70 年代 首先由 xerox 公司發(fā)明的，傳輸速率僅有 2.94mbit/s。接著，作為一種基帶局域網(wǎng) （lan）又規(guī)范了采用載波偵聽多路訪問/碰撞檢測（csma/cd，carrier sense multiple access/collision detection）傳輸規(guī)范，并且其信號以 10mbit/s 速率在同軸 電纜上運(yùn)行。到 1980 年基于原來以太網(wǎng)技術(shù)產(chǎn)生了 ieee 802.3 規(guī)范標(biāo)準(zhǔn)。并且由 數(shù)字設(shè)備公司、英特爾和 xerox 公司聯(lián)合開發(fā)了與 ieee 802.3 標(biāo)準(zhǔn)兼容的以太網(wǎng) 2.0 方案，可以使用同軸電纜、雙絞線對等各種線纜。 以太網(wǎng)技術(shù)的引入以及個(gè)人計(jì)算機(jī)和工作站的巨大利用率推動(dòng)著局域網(wǎng)的增 長。新一代多媒體、群件（groupware） 、影像傳輸和數(shù)據(jù)庫產(chǎn)品信息量猛增又使 速率為 10mbit/s 的以太網(wǎng)面臨嚴(yán)重的挑戰(zhàn)，從而迫使以太網(wǎng)向更高的速率發(fā)展。 為了提高以太網(wǎng)的工作速率組成了快速以太網(wǎng)聯(lián)盟（feca，fast ethernet compatibility alliance） 。電氣和電子工程師學(xué)會（ieee）相關(guān)組織起草了 802.3u 100base-t 標(biāo)準(zhǔn)規(guī)范。從而將以太網(wǎng)速率提升到 100mbit/s。1998 年光纖信道和 ieee802.3 協(xié)議棧相結(jié)合形成吉比特以太網(wǎng)協(xié)議草案，將以太網(wǎng)速率提高到 1000base-t，并成為 ieee802.3ab/ieee802.3z 標(biāo)準(zhǔn)。在 2000 年 1 月又?jǐn)M定了 10 吉比特以太網(wǎng)。今天，以太網(wǎng)技術(shù)不但在網(wǎng)絡(luò)中得到普遍推廣，而且在因特網(wǎng) （internet）上幾乎所有來往信息均來自相連接的以太網(wǎng)。 以太網(wǎng)技術(shù)的發(fā)展，為在局域網(wǎng)內(nèi)實(shí)現(xiàn)視頻數(shù)據(jù)的傳輸提供了保證。滿足視 頻數(shù)據(jù)量大，碼率高的特性。為多媒體通信技術(shù)的普及提供了條件。 1.5 課題概述 本論文設(shè)計(jì)了具有以太網(wǎng)接口的 mpeg-4 編解碼器。通過以太網(wǎng)接口可以傳 輸 mpeg-4 標(biāo)準(zhǔn)的視頻流及音頻流，實(shí)現(xiàn)視音頻數(shù)據(jù)的網(wǎng)絡(luò)傳輸。該系統(tǒng)的硬件 由mpeg-4編解碼模塊、 以太網(wǎng)模塊和嵌入式主機(jī)組成。 嵌入式主機(jī)預(yù)裝redhat7.3 第一章 引言 5 操作系統(tǒng)，管理整個(gè)編解碼器的硬件資源，在其上運(yùn)行對應(yīng)的軟件，可實(shí)現(xiàn)視頻 數(shù)據(jù)的實(shí)時(shí)傳輸，并可更改系統(tǒng)工作參數(shù)。 該項(xiàng)目與校外公司合作，完成視頻數(shù)據(jù)的編碼解碼、網(wǎng)絡(luò)傳輸功能。從攝像 頭和麥克風(fēng)（或是其他視音頻輸出設(shè)備）的視音頻數(shù)據(jù)編碼經(jīng)過傳輸?shù)浇獯a端解 碼，在解碼端將視頻圖像恢復(fù)，并顯示在電視、音響上。嵌入式主機(jī)提供對編碼 解碼模塊、紅外線控制、攝像頭、云臺等的控制接口以及提供系統(tǒng)軟件的運(yùn)行平 臺。系統(tǒng)工作參數(shù)可以實(shí)時(shí)更改，通過 osd 菜單方式進(jìn)行調(diào)整，方便直觀。 該系統(tǒng)現(xiàn)已做成終端機(jī)形式交付給客戶，可廣泛應(yīng)用在視頻點(diǎn)播系統(tǒng)、監(jiān)控 系統(tǒng)及視頻會議等多媒體通信中。 第二章 相關(guān)理論簡述 6 第二章相關(guān)理論簡述 2.1 視頻編碼機(jī)制5 視頻信號通常包含著一定的冗余，可以在數(shù)字壓縮過程中去除。這些冗余可 能是統(tǒng)計(jì)的，與視頻序列電平的近似程度有關(guān)；也可能是空間上的冗余，由同一 幀亮度和色度值的近似程度引起；甚至也可能是時(shí)間上的，這些冗余是連續(xù)視頻 幀間的近似性帶來的。視頻壓縮就是從視頻內(nèi)容中去除這些冗余的過程，從而減 少數(shù)字表示的含量。 圖像和視頻編碼技術(shù)經(jīng)歷了一場變革。從第一代典型的基于像素編碼器，到 第二代基于分割、基于分形和基于模型的編碼器，到近年出現(xiàn)的第三代基于內(nèi)容 的編碼器。下圖為視頻編解碼基本過程。 圖 2.1 視頻編解碼基本過程結(jié)構(gòu)圖 每個(gè)輸入幀在完成壓縮處理之前要經(jīng)過一些步驟。首先，抑制或改進(jìn)輸入幀 的一些不理想特征，編碼器效率得到顯著提高。例如，在編碼前輸入幀經(jīng)過噪聲 過濾，使運(yùn)動(dòng)估計(jì)過程得到更高的精度，從而產(chǎn)生顯著的改進(jìn)效果。類似地，如 果解碼器端的重構(gòu)圖像再經(jīng)過一些圖像后處理增強(qiáng)技術(shù)，如邊緣增強(qiáng)處理、噪聲 過濾、基于像塊壓縮機(jī)制的抑制塊效應(yīng)，那么解碼后的圖像質(zhì)量能得到顯著的提 高。第二步，視頻幀經(jīng)過數(shù)學(xué)變換，將像素轉(zhuǎn)換成不同的空間區(qū)域。離散余弦變 換（dct） 、小波變換的目標(biāo)，是去除視頻序列中的統(tǒng)計(jì)冗余，這種變換是視頻壓 縮系統(tǒng)的核心。第三步是量化，將每個(gè)變換過的像素用有限的輸出信號集表示。 因此，變換過的像素可能值范圍縮小，但也引入了不能恢復(fù)的質(zhì)量損失。在解碼 預(yù)處理變換量化編碼緩存器 后處理逆變換逆量化解碼緩存器 控制 信 道 第二章 相關(guān)理論簡述 7 器端，逆量化過程將信號映射為相應(yīng)的重構(gòu)值。接下來的一步，編碼過程再將碼 字分配給量化和變換的視頻數(shù)據(jù)。通常，無損編碼技術(shù)，如 huffman 編碼和算術(shù) 編碼，是利用每個(gè)信號發(fā)生概率的不同來編碼。由于視頻信號的時(shí)域活動(dòng)性，并 且視頻壓縮采用了變長編碼，視頻編碼器產(chǎn)生的比特率變化很大，為了調(diào)整編碼 器在實(shí)時(shí)傳輸中的輸出比特率，在編碼器和接收端的網(wǎng)絡(luò)間實(shí)用了平滑緩存器來 控制流量。為了避免緩存器的溢出和流量不足，才用了反饋控制機(jī)制，根據(jù)緩存 器的占用率來調(diào)節(jié)編碼過程。 2.2 視頻壓縮國際標(biāo)準(zhǔn)1246 目前視頻流傳輸中最為重要的編解碼標(biāo)準(zhǔn)有國際電聯(lián)的 jpeg、 h.261、 h.263、 以及最近制定的 mpeg 和 h.264 系列標(biāo)準(zhǔn)，此外在互聯(lián)網(wǎng)上被廣泛應(yīng)用的還有 real-networks 的 real video、 微軟公司的 wmt 以及 apple 公司的 quick time 等。 在此只對 iso 和 ccitt 分別制定的 jpeg、h.261、h.263、h.264 和 mpeg 系列 進(jìn)行介紹。 2.2.1 jpeg 標(biāo)準(zhǔn)和 h.26x 系列標(biāo)準(zhǔn) jpeg 標(biāo)準(zhǔn) jpeg（the joint photographic experts group）是靜態(tài)圖像壓縮標(biāo)準(zhǔn),它由國際 圖像編碼聯(lián)合專家組于 1990 年最后確定的。該標(biāo)準(zhǔn)的基本編碼方式是將圖像分成 88 的子塊,分別作 dct 變換，改變了信源的概率分布特征；并通過調(diào)整量化精 度，來控制圖像重建質(zhì)量和編碼壓縮率；為了獲得視覺效果更好的圖像，利用特 殊的量化表對各 dct 系數(shù)采取不同的量化步長；在熵編碼前將各系數(shù)變?yōu)榻y(tǒng)一的 兩字節(jié)符號格式；最后利用霍夫曼碼表對 dct 系數(shù)進(jìn)行差值編碼，對 ac 系數(shù)進(jìn) 行游程編碼。此標(biāo)準(zhǔn)的優(yōu)點(diǎn)是可以精確到幀的編輯、設(shè)備比較成熟,但是存在壓縮 效率不高的缺點(diǎn)。 2h.261 標(biāo)準(zhǔn) h.261 標(biāo)準(zhǔn)是 ccitt 第 15 研究組于 1984 年到 1989 年制定的針對可視電話和 電視會議的視頻壓縮標(biāo)準(zhǔn),其建議的傳輸速率為 p64kb/s（p=130） ，因此又被稱 為 p64 標(biāo)準(zhǔn)。h.261 標(biāo)準(zhǔn)以 dct 和具有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測為基礎(chǔ),然后對預(yù)測 誤差作 dct、量化和霍夫曼編碼。h.261 在實(shí)時(shí)編碼時(shí)比 mpeg 所占用的 cpu 運(yùn) 算量少得多,此算法為了優(yōu)化帶寬占用量,引進(jìn)了在圖像質(zhì)量與運(yùn)動(dòng)幅度之間的平 第二章 相關(guān)理論簡述 8 衡折中機(jī)制,因此這種方法是屬于恒定碼流可變質(zhì)量編碼而非恒定質(zhì)量可變碼流編 碼。 3h.263 標(biāo)準(zhǔn) h.263 是為低碼率通信而設(shè)計(jì)的。但實(shí)際上這個(gè)標(biāo)準(zhǔn)可用于很寬的碼率范圍, 而非只用于低碼率范圍,它在許多應(yīng)用中可以被用來取代 h.261。 h.263 的編碼算法 與 h.261 一樣,但做了一些改善,以提高性能和糾錯(cuò)能力。h.263 標(biāo)準(zhǔn)在低碼率下能 夠提供比h.261更好的圖像效果,例如在比特率低于30kb/s的應(yīng)用中,同樣的視頻質(zhì) 量前提下,h.263 的輸出碼率僅為 h.261 的一半甚至更少。h.263 支持 5 種分辨率, 即除了支持 h.261 中所支持的 qcif 和 cif 外,還支持 sqcif、4cif 和 16cif。 4h.264 標(biāo)準(zhǔn) h.264 同樣采用 dpcm 加變換編碼的混合編碼模式。但它采用“回歸基本” 的簡潔設(shè)計(jì),不用眾多的選項(xiàng),獲得比 h.263 好得多的壓縮性能； 應(yīng)用目標(biāo)范圍較寬, 以滿足不同速率、不同分辨率以及不同傳輸(存儲)場合的需求；它的基本系統(tǒng)是開 放的,使用無需版權(quán)。技術(shù)特點(diǎn)包括:幀間編碼,可變塊大小的運(yùn)動(dòng)補(bǔ)償預(yù)測技術(shù)； 幀內(nèi)編碼,多方向的空間預(yù)測技術(shù)；環(huán)內(nèi)濾波器,去除塊效應(yīng)；44 的整數(shù)正 交變換及相應(yīng)的量化策略；改進(jìn)的運(yùn)動(dòng)向量預(yù)測編碼；更加高效的熵編碼器； 基于率失真的編碼優(yōu)化技術(shù)。這些措施使得 h.264 算法具有很高的編碼效率,在 相同的重建圖像質(zhì)量下,能夠比 h.263 節(jié)約 50%左右的碼率。h.264 的碼流結(jié)構(gòu)網(wǎng) 絡(luò)適應(yīng)性強(qiáng),增加了差錯(cuò)恢復(fù)能力,能夠很好地適應(yīng) ip 和無線網(wǎng)絡(luò)的應(yīng)用。 但從總體 上說,h.264 性能的改進(jìn)是以增加復(fù)雜性為代價(jià)而獲得的,其編碼的計(jì)算復(fù)雜度大約 相當(dāng)于 h.263 的 3 倍,解碼復(fù)雜度大約相當(dāng)于 h.263 的 2 倍。 2.2.2 mpeg 系列標(biāo)準(zhǔn) mpeg 是運(yùn)動(dòng)圖像專家組（moving picture experts group）的縮寫，于 1988 年成立，是為數(shù)字視/音頻制定壓縮標(biāo)準(zhǔn)的專家組。mpeg 組織最初得到的授權(quán)是 制定用于“運(yùn)動(dòng)圖像”編碼的各種標(biāo)準(zhǔn)，隨后擴(kuò)充為“及其伴隨的音頻”及其組 合編碼。后來針對不同的應(yīng)用需求，解除了“用于數(shù)字存儲媒體”的限制，成為 現(xiàn)在制定“運(yùn)動(dòng)圖像和音頻編碼”標(biāo)準(zhǔn)的組織。mpeg 組織制定的各個(gè)標(biāo)準(zhǔn)都有 不同的目標(biāo)和應(yīng)用， 目前已提出 mpeg-1、 mpeg-2、 mpeg-4、 mpeg-7 和 mpeg-21 標(biāo)準(zhǔn)。 1mpeg-1 標(biāo)準(zhǔn) 第二章 相關(guān)理論簡述 9 mpeg-1主要是針對1.5mb/s以下數(shù)據(jù)傳輸率的數(shù)字存儲媒質(zhì)運(yùn)動(dòng)圖像及其伴 音編碼的國際標(biāo)準(zhǔn)。采用 cif 視頻格式,具有隨機(jī)存取、快速正向/逆向搜索、逆向 重播、視聽同步、容錯(cuò)性、編碼/解碼延遲等功能。mpeg-1 視頻編碼部分的基本 算法與 h.261/h.263 相似,但又引入了幀內(nèi)幀(i)、預(yù)測幀(p)、雙向預(yù)測幀(b)和直流 幀(d)等概念,進(jìn)一步提高了編碼效率,旨在達(dá)到vhs質(zhì)量,對于動(dòng)作不激烈的視頻信 號能獲得較好的圖像質(zhì)量,但如果圖像對象動(dòng)作激烈時(shí),圖像有可能產(chǎn)生馬賽克現(xiàn) 象。 2mpeg-2 標(biāo)準(zhǔn) mpeg-2 核心部分與 mpeg-1 基本相同，是在 mpeg-1 基礎(chǔ)上的進(jìn)一步擴(kuò)展 和改進(jìn)，克服并解決了 mpeg-1 不能滿足日益增長的多媒體技術(shù)、數(shù)字電視技術(shù) 對分辨率和傳輸率等方面的技術(shù)要求的缺陷。最高圖像分辨率：19201152；普通 pal 制式分辨率：720576；最高數(shù)據(jù)流量：80mb/s；一般數(shù)據(jù)流量： 6500kb/s(720576)。它是主要針對數(shù)字視頻廣播、高清晰度電視和數(shù)字視盤等制 定的編碼標(biāo)準(zhǔn),可以支持固定比特率傳送、可變比特率傳送、隨機(jī)訪問、信道跨越、 分級編碼、比特流編輯等功能。mpeg-2 有不可分級和可分級兩種編碼方式。它還 定義了 5 個(gè)框架和 4 個(gè)級別，框架是標(biāo)準(zhǔn)中定義的語法子集,級別是一個(gè)特定框架 中參數(shù)取值的集合?？蚣芎图墑e限定以后，解碼器的設(shè)計(jì)和校驗(yàn)，就可以針對限 定的框架在限定的級別中進(jìn)行，同時(shí)也為不同的應(yīng)用領(lǐng)域之間的數(shù)據(jù)交換提供了 方便和可行性，其中的主框架應(yīng)用最廣,也是最為重要的一個(gè)。 3mpeg-4 標(biāo)準(zhǔn) 運(yùn)動(dòng)圖像專家組 （mpeg） 于 1999 年 2 月正式公布了 mpeg-4 （iso/iec14496） 標(biāo)準(zhǔn)第一版本。同年年底 mpeg-4 第二版也確定，且于 2000 年年初正式成為國際 標(biāo)準(zhǔn)。關(guān)于此標(biāo)準(zhǔn)的具體描述及主要技術(shù)將在下一節(jié)介紹。 4mpeg-7 標(biāo)準(zhǔn) mpeg-7 標(biāo)準(zhǔn)被稱為“多媒體內(nèi)容描述接口” ，為各類多媒體信息提供一種標(biāo) 準(zhǔn)化的描述，這種描述將與內(nèi)容本身無關(guān)，允許快速和有效地查詢用戶感興趣的 資料。它將擴(kuò)展現(xiàn)有的內(nèi)容識別專用解決方案的有限能力，換而言之，mpeg-7 規(guī)定一個(gè)用于描述各種不同內(nèi)型多媒體信息描述符的標(biāo)準(zhǔn)集合。 5mpeg-21 標(biāo)準(zhǔn) mpeg-21 標(biāo)準(zhǔn)的目的是： （1）將不同的協(xié)議、標(biāo)準(zhǔn)、技術(shù)等有機(jī)地結(jié)合在一 起； （2）制定新的標(biāo)準(zhǔn)； （3）將這些不同的標(biāo)準(zhǔn)集成在一起。mpeg-21 標(biāo)準(zhǔn)其實(shí) 是一些關(guān)鍵技術(shù)的集成，通過這種集成環(huán)境就對全球數(shù)字媒體資源進(jìn)行透明和增 第二章 相關(guān)理論簡述 10 強(qiáng)管理，實(shí)現(xiàn)內(nèi)容的描述、創(chuàng)建、發(fā)布、使用、識別、收費(fèi)管理、產(chǎn)權(quán)保護(hù)、用 戶隱私權(quán)保護(hù)、終端和網(wǎng)絡(luò)資源抽取、事件報(bào)告等功能。 2.3 mpeg-4 的主要技術(shù)142022 mpeg-4 與 mpeg-1 和 mpeg-2 有很大的不同。mpeg-4 不只是具體壓縮算 法， 它是針對數(shù)字電視、 交互式繪圖應(yīng)用 （影音合成內(nèi)容） 、 交互式多媒體 （www、 資料獲得與分散） 等整合及壓縮技術(shù)的需求而制定的國際標(biāo)準(zhǔn)。 mpeg-4 標(biāo)準(zhǔn)將眾 多的多媒體應(yīng)用集成于一個(gè)完整的框架內(nèi)，旨在為多媒體通信及應(yīng)用環(huán)境提供標(biāo) 準(zhǔn)算法及工具，從而建立起一種能被多媒體傳輸、存儲、檢索等應(yīng)用領(lǐng)域普遍采 用的統(tǒng)一數(shù)據(jù)格式。 mpeg-4 提供更強(qiáng)的交互能力。 場景中的每個(gè)對象獨(dú)立編碼， 用戶可以選擇性 地與其中某(幾)個(gè)對象交互，具有良好的重用性。重新組合音視對象 avo(audio visual object)構(gòu)造新場景,可以集成各種對象,無縫地集成自然信息與合成信息,實(shí) 時(shí)信息與存儲信息,avo 可以是單/雙/多聲道音頻信息、 單/雙/多鏡頭 2d/3d 視頻信 息?？梢酝该鞯卦L問信息,通過各種網(wǎng)絡(luò)傳輸?shù)男畔⒆罱K映射為本地信息,整個(gè)過程 給用戶的感覺就如同訪問本地信息。而且允許基于內(nèi)容(比特率、分辨率、幀率、 防錯(cuò)保護(hù)和解碼優(yōu)先級)的可伸縮性和服務(wù)質(zhì)量(qos)參數(shù),更加靈活,可擴(kuò)展,充分 考慮未來技術(shù)的發(fā)展及應(yīng)用需求,將解碼器可編程能力分為：不可編程的標(biāo)準(zhǔn)工具 集合(flex-0)；由標(biāo)準(zhǔn)化工具及其接口靈活配置的算法(flex-1)；多種工具構(gòu)成可能 算法的標(biāo)準(zhǔn)化可擴(kuò)展機(jī)制(flex-2)。 mpeg-4 系統(tǒng)由以下幾部分構(gòu)成 1多媒體傳送整體框架(dmif) dmif(the delivery multimedia intergeration framework)主要解決交互網(wǎng)絡(luò)中、 廣 播環(huán)境下以及磁盤應(yīng)用中多媒體應(yīng)用的操作問題。通過傳輸多路合成比特信息來 建立客戶端和服務(wù)器端的握手和傳輸。通過 dmif，mpeg-4 可以建立起具有特殊 品質(zhì)服務(wù)(qos)的信道和面向每個(gè)基本流的帶寬。dmif 允許每個(gè)點(diǎn)保持自己的網(wǎng) 絡(luò)視域,所以減少信息的堆積。mpeg-4 碼流中包含了許多 avo,這些 avo 都有自 己的緩沖器。 2數(shù)據(jù)平面 mpeg 中的數(shù)據(jù)平面可以分為傳輸關(guān)系和媒體關(guān)系兩部分。為了使基本流和 avo 在同一場景中出現(xiàn),mpeg-4 引用了對象描述(od)和流圖桌面(smt)的概念。 第二章 相關(guān)理論簡述 11 od 傳輸與特殊 avo 相關(guān)的基本流的信息流圖。桌面把每一個(gè)流與一個(gè) cat(channel assosiation tag)相連,cat 可實(shí)現(xiàn)該流的順利傳輸。 3緩沖區(qū)管理和實(shí)時(shí)識別 mpeg-4 定義了一個(gè)系統(tǒng)解碼模式(sdm),該解碼模式描述了一種理想的處理 比特流句法語義的解碼裝置,它要求特殊的緩沖區(qū)和實(shí)時(shí)模式。通過有效地管理,可 以更好地利用有限的緩沖區(qū)空間。例如,如果接收端有足夠的空間存儲,該模式 (sdm)允許傳送端提前傳送非實(shí)時(shí)數(shù)據(jù)；當(dāng)需要時(shí),提前傳送的數(shù)據(jù)被訪問,從而使 用來處理實(shí)時(shí)數(shù)據(jù)的信道具有更大的容量。為了實(shí)現(xiàn)實(shí)時(shí)操作,mpeg-4 假定了一 種實(shí)時(shí)模