多媒體技術與系統(tǒng)

1、9.1 多媒體關鍵技術9.1.1 多媒體技術的定義、特點和規(guī)范1多媒體技術的定義第9章 多媒體技術與系統(tǒng)1什么是媒體媒體media是信息的表示、存儲、傳播所需的載體。它包括的內(nèi)容廣泛多樣，從傳輸信號的通訊介質到傳播音訊的新聞界，都可以稱為媒體。 媒體本身具有層次性和多樣性，人們對媒體的分類普通是在人的覺得這個層次上，即根據(jù)人對外界信息的感知途徑，把這個層次媒體分為3大類。 視覺媒體占80%，比如圖像、動畫、視頻等。 聽覺媒體占10%，比如聲音信息。 觸覺或其它媒體占10%，像觸摸屏類的設備都是屬于該類媒體。 2多媒體不是媒體的簡單組合3多媒體技術的開展是以計算機技術為根底多媒體技術有如下定義：

2、多媒體技術是指把文本、圖形、圖像、聲音、視頻等多種媒體信息，經(jīng)過計算機進展綜合處置，使這些信息建立邏輯銜接，并以多種方式表現(xiàn)出來的一體化技術。 2多媒體技術的特點多媒體技術的出現(xiàn)為現(xiàn)代社會的信息傳播和交流提供了新的功能，帶來了新的革命，與傳統(tǒng)的電腦技術相比，它主要有如下特點。1多樣性2交互性3集成性 3多媒體技術規(guī)范1聲音編碼規(guī)范隨著通訊技術和計算機技術的開展以及人們對聲音傳輸質量要求的提高，原CCITT和ISO先后提出了一系列的有關音頻編碼的建議和規(guī)范，主要包括G721、G722、G728、G729以及MPEG音頻規(guī)范。 2視頻編碼規(guī)范國際規(guī)范認證ISO、國際電工委員會IEC和國際電信聯(lián)盟I

3、TU等國際組織制定了以下有關視頻圖像緊縮編碼的國際規(guī)范，即結合圖片專家組JPEG規(guī)范、H261規(guī)范、MPEG規(guī)范等。 9.1.2 視頻緊縮技術與芯片1視頻圖像緊縮技術概述數(shù)據(jù)緊縮普通分為有損緊縮和無損緊縮兩種。 無損緊縮是指把緊縮后的數(shù)據(jù)進展解壓復原后，復原的數(shù)據(jù)與原來的數(shù)據(jù)完全一樣。 有損緊縮是指把緊縮后的數(shù)據(jù)解壓復原后，復原的數(shù)據(jù)與原來的數(shù)據(jù)有所差別，但這種差別不影響人們對原來信息的了解。 2無損數(shù)據(jù)緊縮技術簡介無損緊縮技術普通用在要求重構信號與原始信號完全一致的場所。在多媒體數(shù)據(jù)緊縮的過程中，去掉時間和空間冗余的數(shù)據(jù)普通都要經(jīng)過無損緊縮技術再次緊縮。目前用得最多也最成熟的無損緊縮編碼技術

4、包括：Huffman編碼、算術編碼、RLE編碼和詞典編碼。3MPEG-1、MPEG-2視頻緊縮技術1JPEG緊縮技術JPEG是對靜態(tài)圖像進展緊縮的規(guī)范，它有兩種緊縮算法：一種是采用離散余弦變換DCT的有損緊縮算法，另一種是采用以預測技術為根底的無損緊縮算法。 圖9.2 是JPEG緊縮編碼流程圖。 圖9.2 基于DCT緊縮流程圖 DCT變換 量化 熵編碼圖93是量化后AC系數(shù)重新進展Z字形編排表示圖。 圖9.3 AC系數(shù)Z字形編排表示圖 對直流系數(shù)進展DPCM編碼和對交流系數(shù)進展Z字形編排和游程編碼后，還運用Huffman編碼進展進一步的緊縮，整個熵編碼的流程圖見圖9.4。 圖9.4 熵編碼流程

5、圖 2運動補償算法MPEG把視頻圖像分成三類。 內(nèi)圖像IIntra采用JPEG規(guī)范進展靜態(tài)緊縮。 測圖像P(Predicted) 用最近的前一個I圖像或P圖像進展預測得到，并可作為下一預測B或P的參照圖像。 雙向預測圖像B(Bidirectionally Interpolated)，B圖像既可以用前面的I或P圖像預測，也可以用后面的I或P圖像預測，還可運用最近的前后兩個I或P圖像從兩個方面預測。 運動補償算法主要是經(jīng)過消除P圖像和B圖像在時間上的冗余以提高緊縮效率。預測圖像P，采用運動補償技術處置，主要是經(jīng)過在參照圖像I或P的根底上補償預測圖像P與參照圖像I或P的變化來確定P。由于延續(xù)圖像之間

6、的變化較小，所以對這種變化差值編碼，要比直接對該幀直接編碼的數(shù)據(jù)量要小得多。圖9.5所示的預測圖像P緊縮編碼算法表示圖。 圖9.5 P緊縮編碼流程圖 4MPEG-4視頻緊縮技術與MPEG-1、MPEG-2基于幀緊縮方法不同，MPEG-4是基于對象的緊縮規(guī)范，因此，它要求定義基于對象的場景描畫方法。為分析和描畫視頻序列及其對象，MPEG-4編碼采用了4層數(shù)據(jù)構造來表示。如圖96所示。 圖9.6 MPEG4視頻的層次構造 5視頻編碼解碼芯片1VRP芯片VRPVideo RISC Processor是美國C-Cube消費的進展實時視頻緊縮運用的公用芯片。它的主要組成部分包括：一個32bit的60MH

7、z的RISC信號處置器其DSP的處置速度可達240M操作數(shù)/秒，指令和數(shù)據(jù)高速緩存、運動估計器、可變長編碼器、DMA控制器以及主機和視頻接口。VRP的內(nèi)部構造如圖97所示，它的指令集除了普通的通用途置指令外還具有專門用于視頻緊縮的數(shù)字信號處置指令。 圖9.7 VRP內(nèi)部功能構造圖 2ADV601芯片ADV601是一種本錢低、性能高的視頻數(shù)字信號處置芯片。它利用了小波編碼技術，其主要特點是：具有準確的緊縮比特率控制；能實時對包括PAL和NTSC在內(nèi)的視頻信號進展緊縮和解壓，緊縮時視頻信號的奇偶場是單獨進展的。 圖98所示為其內(nèi)部構造圖。 圖9.8 ADV601內(nèi)部構造框圖 9.1.3 音頻緊縮技

8、術與MP3播放器1音頻緊縮技術概述音頻緊縮技術從實際上講有3種方法：一是基于語音識別與合成技術的編碼方法，這種方法要求能對語音進展準確的識別，然后像文字類型一樣，用符號表示識別的結果。這樣對語音的處置就變成了對相應符號的處置。這種方法雖然有很大的緊縮比，但在技術上還有很大的差距，目前只是作為一種研討方向，二是基于語音參數(shù)分析與合成的編碼方法。該方法經(jīng)過分析語音波形來得到構成語音的參數(shù)，這些參數(shù)包括基音周期、共振峰、語音譜、聲強等。由此，對聲音波形的編碼就轉化為對這些參數(shù)的編碼，單純對參數(shù)進展編碼大大減少了編碼的數(shù)據(jù)量。參數(shù)編碼普通采用線性預測編碼LPC方法，由于該方法計算復雜且計算量大，很難滿

9、足實時性要求，因此，在目前的聲音緊縮方法中，較少運用這一方法。三是基于波形預測方法，波形預測編碼算法簡單，易于實現(xiàn)且較好地堅持了原聲的特點，所以被選為規(guī)范語音緊縮方法。如圖99所示，波形預測編碼包括3種類型的緊縮編碼方式，其中前兩種是較常用的編碼方式。 圖9.9 波形預測編碼分類圖 2全頻帶編碼調(diào)制全頻帶編碼調(diào)制主要包括脈沖編碼調(diào)制PCM、差分脈沖編碼調(diào)制DPCM及自順應差分脈沖編碼調(diào)制ADPCM3種方式。1脈沖編碼調(diào)制PCMPCM是一種比較簡單、運用廣泛的調(diào)制方式。它的編碼原理很簡單，如圖9.10所示，經(jīng)過對模擬聲音信號直接進展采樣，量化，便可得到相應的PCM樣本數(shù)據(jù)。 圖9.10 PCM編

10、碼框圖 2差分脈沖編碼調(diào)制DPCMDPCM是利用樣本與樣本之間存在的信息冗余度來進展編碼的數(shù)據(jù)緊縮方法。 3自順應差分脈沖編碼調(diào)制ADPCMADPCM是綜合了自順應脈沖編碼和差分脈沖編碼調(diào)制思想的一種調(diào)制方式。 3子帶編碼子帶編碼SBC是一種功能很強并且非常有效的聲音編碼方法。這種方法首先把輸入的聲音信號從時域變換到頻域，然后運用一組帶通濾波器BPF把信號的頻域分成假設干個延續(xù)的頻段即子帶；再對每個子帶中的音頻信號采用單獨的編碼方案去編碼。在對不同子帶進展編碼時，充分利用人的聽覺特性“心思學模型來確切定子帶的量化階的大小及分配給子帶樣本的位數(shù)。 MUSICAM編碼過程如圖9.11所示。子帶濾波

11、器組先將輸入音頻信號分成32個子帶。同時，輸入音頻信號經(jīng)過心思學模型計算每個子帶的信號能量與噪聲閾值電平的比值比例因子。然后，“量化與編碼部分根據(jù)比例因子確定子帶信號的量化位數(shù)，再進展量化編碼。最后，將音頻緊縮數(shù)據(jù)及比例因子等輔助信息，按幀構造組合在一同，構成音頻比特流。 圖9.11 MusicAM編碼構造圖 4MP3播放器MP3的全稱是MPEG Layer3，即以MPEG層3的規(guī)范緊縮的一種音頻文件格式。前面我們已引見了MPEG音頻規(guī)范分3個層次，3個層次都是以SBC為根底，但是編碼器的復雜程度逐層遞增，相應的數(shù)據(jù)緊縮率也逐層添加。 圖9.12所示為MPEG第三層編碼器的構造圖。 圖9.12

12、 MPEG Layer3編碼構造圖 采用閃存的MP3播放機的根本構成如圖9.14所示，其任務流程如下。 輸入文件 播放MP3文件 圖9.13 WinAmp界面 9.1.4 MMX多媒體擴展指令1概述其技術重點為：1單指令流、多數(shù)據(jù)流SIMD技術；2新增57條新指令；38個64位字長的MMX存放器；44種新的數(shù)據(jù)類型；5飽和運算方式。 2MMX技術要點1MMX存放器和新的數(shù)據(jù)類型2飽和運算方式3指令系統(tǒng)3MMX指令運用舉例采用MMX指令的實踐處置過程見圖9.15。圖9.15中PMADDWD指令從一個16位緊縮數(shù)據(jù)類型開場，結果是32位緊縮數(shù)據(jù)類型。它將一切相應元素相乘產(chǎn)生4個32位結果，并把左邊

13、的乘積加在一同作為一個結果，同時也把右邊2個乘積加在一同作為另一個結果。PADD指令完成兩對32位數(shù)據(jù)的對應相加。 圖9.15 運用MMX技術指令處置流程圖 9.2 多媒體運用系統(tǒng) 交互式遠程教學 遠程醫(yī)療 交互式視頻效力 多媒領會議系統(tǒng) 9.2.1 視頻點播VOD系統(tǒng)1VOD概述根據(jù)VOD的表現(xiàn)方式可分為真視頻點播True VOD和準視頻點播Near VOD。 2VOD的構造與原理圖9.16所示為VOD系統(tǒng)構造框圖。 圖9.16 VOD系統(tǒng)構造圖 3VOD的實現(xiàn)方法網(wǎng)絡傳輸普通分兩個步驟：首先是建立以光纖為物理根底的寬帶骨干網(wǎng)，提供高速傳送多種類型信息的才干；然后經(jīng)過用戶接入網(wǎng)將圖像、語音等

14、多種業(yè)務數(shù)據(jù)傳送給用戶。如圖9.17所示。用戶接入寬帶效力主要有以下幾種方式。 圖9.17 VOD網(wǎng)絡傳輸構造圖 1ADSL方式非對稱數(shù)字用戶線ADSL是利用現(xiàn)有的傳輸音頻信號的雙絞線作為用戶接入網(wǎng)傳輸數(shù)字信號。 2利用CATV同軸電纜接入方法該方法是用現(xiàn)有的有線電視CATV網(wǎng)作為用戶為接入網(wǎng)。 3LAN和ATM方式采用局域網(wǎng)LAN與寬帶骨干網(wǎng)互連，這是VOD實驗網(wǎng)運用的最主要的方式。 4VOD的關鍵技術1視頻效力器技術2機頂盒技術9.2.2 視頻會議系統(tǒng)1多媒體視頻會議協(xié)議體系1H.3202H.3233H.3242視頻會議系統(tǒng)的體系構造由于視頻會義系統(tǒng)可以基于不同類型網(wǎng)絡，與之相應也有不同的

15、協(xié)議，不同協(xié)議之間的轉換經(jīng)過H323網(wǎng)關來完成。圖9.18是視頻會義系統(tǒng)的整體構造圖。從圖中可以看出，對應不同的傳輸網(wǎng)絡運用不同的協(xié)議。其中網(wǎng)關與多點控制單元MCU是整個系統(tǒng)的兩個中心部件。 圖9.18 視頻會議系統(tǒng)構造圖 MCU由多點控制器MC和多點處置器MP構成。其中MC的功能主要有兩點：一是與一切用戶終端進展協(xié)商以確定公共會議通訊等級，由于不同的用戶終端的通訊傳輸才干能夠不一樣；二是可以控制會議的資源，比如，根據(jù)需求確定用戶終端的切換。 MCU的切換方式有3種：一是自動切換，主要經(jīng)過比較各個終端音頻信號的強弱進展選擇切換，比如：選擇聲音強度最強的終端，MCU把視頻通道切換到該終端，經(jīng)過視頻通道就可以把該終端的視頻圖像發(fā)送給其他與會者。二是手動控制方式，由用戶終端懇求發(fā)言，會議主持人確認后選擇切換到相應的用