多媒體通信技術(shù)期末考點(diǎn)

第1章緒論1、根據(jù)國際電聯(lián)體23、多媒體技術(shù)所涉及的媒體特指表示媒體，而且主要是指數(shù)字表示媒體。因此，也可以說多媒體就是多樣化的數(shù)字表示媒體。和多媒體概念相對應(yīng)的是單媒體，以往的信息技術(shù)基本上是以單媒體的方式進(jìn)的匹配。4、多媒體通信的迅速發(fā)展主要得力于下列五項(xiàng)技術(shù)的發(fā)展：（如數(shù)據(jù)）好的物質(zhì)基礎(chǔ)。廣域網(wǎng)WANMANLANBISDN字接口（FDDI）和異步轉(zhuǎn)移模式（ATM）的開發(fā)應(yīng)用已取得不少成功經(jīng)驗(yàn)。了物理支撐環(huán)境。語音識別與處理，文字語音合成，聲音數(shù)據(jù)壓縮，圖像識別與處理，文字，數(shù)據(jù)、聲音和圖這些都為多媒體通信的興起和發(fā)展奠定了良好的理論和實(shí)踐基礎(chǔ)。5、多媒體通信的特征：集成性、交互性、同步性6ITU-T（國際電信聯(lián)盟電信標(biāo)準(zhǔn)部ISO（化組織）IEC（國際電子技術(shù)委員會）三個機(jī)構(gòu)。7、多媒體通信的關(guān)鍵技術(shù)：多媒體信息處理技術(shù)、多媒體通信的網(wǎng)絡(luò)技術(shù)、多媒體通信的終端技術(shù)、移動多媒體通信的信息傳輸技術(shù)、多媒體數(shù)據(jù)庫技術(shù)第2章多媒體信息處理的必要性和可行性1（1）數(shù)據(jù)量龐大（2）碼率可變、突發(fā)性強(qiáng)（3）復(fù)合性信息多，同步性、實(shí)時性要求高2、信息壓縮的可行性空間冗余空間冗余是在圖像數(shù)據(jù)中經(jīng)常存在的一種冗余。在任何一幅圖像中，均有許多灰度或顏色都相同的鄰近像素組成的局部區(qū)域，它們形成了一個性質(zhì)相同的集合塊，即它們之間具有空間（或空域）上的強(qiáng)相關(guān)性，在圖像中就表現(xiàn)為空間冗余。時間冗余時間冗余是活動圖像和語音數(shù)據(jù)中經(jīng)常包含的冗余?；顒訄D像中的兩幅相鄰的圖像有較大的相關(guān)性，這反映為時間冗余。同理，在語音中，由于人在說話時其發(fā)出的音頻是一個連續(xù)和漸變的過程，而不是一個完全的時間上獨(dú)立的過程,因而存在著時間冗余。信息熵冗余（編碼冗余）NN結(jié)構(gòu)冗余知識冗余人們通過認(rèn)識世界而得到某些圖像所具有的先驗(yàn)知識和背景知識，由此帶來的冗余稱為知識冗余。視覺冗余在多媒體技術(shù)的應(yīng)用領(lǐng)域中，人的眼睛是圖像信息的接收端。而人類的視覺系統(tǒng)并不能對圖像畫面的任息敏感，對顏色的分辨率較弱等。其他冗余性所帶來的冗余等?？臻g冗余和時間冗余是將圖像信號看作為隨機(jī)信號時所反映出的統(tǒng)計(jì)特征，因此有時把這兩種冗余稱為統(tǒng)計(jì)冗余。它們也是多媒體圖像數(shù)據(jù)處理中兩種最主要的數(shù)據(jù)冗余。3、數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)壓縮比據(jù)壓縮的程度越高。在實(shí)際應(yīng)用中，壓縮比可以定義為比特流中每個樣點(diǎn)所需要的比特數(shù)。重現(xiàn)質(zhì)量重現(xiàn)質(zhì)量是指比較重現(xiàn)時的圖像、聲音信號與原始圖像、聲音之間有多少失真，這與壓縮的類型有關(guān)。壓縮方法可以分為無損壓縮和有損壓縮。無損壓縮是指壓縮和解壓縮過程中沒有損失原始圖像或聲音的信息，所以對無損系統(tǒng)不必?fù)?dān)心重現(xiàn)質(zhì)量。有損壓縮雖然可獲得較大的壓縮比，但壓縮比過高，還原后的圖像、聲音質(zhì)量就可能降低。壓縮和解壓縮的速度CD-ROM比解壓縮要大。在靜止圖像中，壓縮速度沒有解壓縮速度要求嚴(yán)格。15/s2530/s第3章音頻信息處理技術(shù)1、掩蔽效應(yīng)受四種要素的影響：時間、頻率、聲壓級、聲音品質(zhì)2這一處理過程中涉及到模擬音頻信號的采樣、量化和編碼。3、音頻信息編碼技術(shù)可分為三類：(DMADPCM碼(SBC)和矢量量化編碼（VQ）等等。號的數(shù)學(xué)模型對語音信號特征參數(shù)（主要是指表征聲門振動的激勵參數(shù)和表征聲道特性的聲道參數(shù)）進(jìn)行提取及編碼，力圖使重建的語音信號盡可能保持原信號的語意，而重建的語音信號波形同原信號的波形kb/s（如衛(wèi)星通信等性預(yù)測編碼LPC。(3)混合編碼。這種方法克服了原有波形編碼與參數(shù)編碼的弱點(diǎn)，并且結(jié)合了波形編碼的高質(zhì)量和參數(shù)編碼的低數(shù)據(jù)率，取得了比較好的效果?；旌暇幋a是指同時使用兩種或兩種以上的編碼方法進(jìn)行編碼的以優(yōu)勢互補(bǔ)，克服各自的不足，從而達(dá)到高效數(shù)據(jù)壓縮的目的。無論是在音頻信號的數(shù)據(jù)壓縮中，還是后面章節(jié)將要描述的圖像信號的數(shù)據(jù)壓縮中，混合編碼均被廣泛采用。4增量調(diào)制一般增量調(diào)制就是所謂的“斜率過載”。01的，這種現(xiàn)象就叫做增量調(diào)制的“散粒噪聲”。自適應(yīng)增量調(diào)制（ADM）為減少斜率過載，希望增加階距；為減少散粒噪聲，又希望減少階距。5、自適應(yīng)差分脈沖編碼調(diào)制6、子帶編碼7、變換域編碼分配碼字然后編碼，收方解碼后再用相應(yīng)的反變換轉(zhuǎn)換成時域信號。8、矢量量化VQ（Vector式分組，把這些分組數(shù)據(jù)看成一個矢量，對它進(jìn)行量化。9、線性預(yù)測編碼取語音的特征參數(shù)，然后對特征參數(shù)進(jìn)行編碼傳輸。第4章圖像信息處理技術(shù)1、圖像信號按其內(nèi)容變化與時間的關(guān)系來分，主要包括靜態(tài)圖像和動態(tài)圖像兩種。圖像分類還可以按其他方式進(jìn)行：如按其亮度等級的不同可分為二值圖像和灰度圖像；按其色調(diào)的不同可分為黑白圖像和彩色圖像；按其所占空間的維數(shù)不同可分為平面的二維圖像和立體的三維圖像等等。（1YUV、YIQYCCbrAYUVYUVYUVYUVYUVYUV視機(jī)的兼容問題。YUV表示法的另一個優(yōu)點(diǎn)是，可以利用人眼的視覺特性來降低數(shù)字彩色圖像的數(shù)據(jù)量。人眼對彩色圖像（即大面積著色原理PAL4.43MHz1.3MHz（22090頒布的一系列圖像壓縮國際標(biāo)準(zhǔn)中均采用分量編碼方案。2、圖像信號數(shù)字化與音頻數(shù)字化一樣主要包括兩方面的內(nèi)容：取樣和量化。3、對均勻量化來講，量化分層越多，量化誤差越小，但編碼時占用比特數(shù)就越多。4、數(shù)字圖像壓縮方法一般可分為：可逆編碼（eersbleCongnormatonPresevngCong不可逆編碼（Non-ReversibleCoding在一定的誤差，但視覺效果一般是可接受的，它可提供較高的壓縮比。按照壓縮方法的原理，數(shù)字圖像壓縮方法可分為：預(yù)測編碼（PredctieCodng。預(yù)測編碼是一種針對統(tǒng)計(jì)冗余進(jìn)行壓縮的方法，它主要是減少DPCMADPCM變換編碼TransformCoding像光強(qiáng)矩陣（時域信號）變換到系數(shù)空間（頻域）離散傅氏變換DCT（離散余弦變換、DST（離散正弦變換Karhunen-Loeve量化和矢量量化編碼VectorQuantization是一個很關(guān)鍵的步驟，量化器設(shè)計(jì)的好壞對于量化誤差的大小有直接的影響。矢量量化是相對于標(biāo)量量化而提出的，如果我們一次量化多個點(diǎn)，則稱為矢量量化。信息熵編碼（EntropyCodng。根據(jù)信息熵原理，用短的碼字表示出現(xiàn)概率大的信息，用長的碼字表示出現(xiàn)概率小的信息。常見的方法有哈夫曼編碼、游程編碼以及算術(shù)編碼。子帶編碼Sb-bandCodng結(jié)構(gòu)編碼（trctreCodng，也稱為第二代編碼（econdGeneratonCodng求出圖像中的邊界、輪廓、紋理等結(jié)構(gòu)特征參數(shù)，然后保存這些參數(shù)信息。解碼時根據(jù)結(jié)構(gòu)和參數(shù)信息進(jìn)行合成，從而恢復(fù)出原圖像?；谥R的編碼Knowledge-BasedCodng識形成一個規(guī)則庫，據(jù)此將人臉的變化等特征用一些參數(shù)進(jìn)行描述，從而用參數(shù)加上模型就可以實(shí)現(xiàn)人臉的圖像編碼與解碼。圖像壓縮算法的總體框圖如圖4.3-1所示。5、圖像壓縮算法的總體框圖P68 圖4.46這是熵編碼的理論基礎(chǔ)。7、哈夫曼（Huffman）編碼方法編碼步驟(1)（對概率相同的灰度級可以任意顛倒排列位置。（2）(1)步方法重排（個數(shù)已減少一個。如此重復(fù)進(jìn)行，直到只有兩個概率為止。（3）“1”“0”0.60“0”0.40“1”碼（0.60“1”0.40“0”碼4.50.40“1”來的。碼字的最后一位碼元一個賦予“0”碼元，另一個賦予“1”0.600.370.23，則所得碼字分別為“00”和“01”。前例哈夫曼編碼的編碼效率計(jì)算P728、DPCM像降質(zhì)現(xiàn)象。理想的運(yùn)動補(bǔ)償預(yù)測編碼應(yīng)由以下四個步驟組成：圖像劃分：將圖像劃分為靜止部分和運(yùn)動部分。運(yùn)動檢測與估值：即檢測運(yùn)動的類型（平移、旋轉(zhuǎn)或縮放等計(jì)，找出運(yùn)動矢量。動補(bǔ)償預(yù)測。9、變換編碼不直接對原圖像信號壓縮編碼，而首先將圖像信號映射到另一個域中，產(chǎn)生一組變換系數(shù)，然后對這些系數(shù)進(jìn)行量化、編碼、傳輸。10、二值圖像壓縮標(biāo)準(zhǔn)圖像壓縮標(biāo)準(zhǔn)化工作主要由國際標(biāo)準(zhǔn)化組織ISOIEC）和國際電信聯(lián)盟ITU-T）行。ITU-TG3G4G3MR（ModifiedREAD）G4G3MMR（ModifiedMR）算法。目前，這兩種二值圖像壓縮標(biāo)準(zhǔn)廣泛地應(yīng)用于傳真通信和文檔存MMRG4JBIG，其主要原因是要改進(jìn)二值中間色調(diào)圖G3/G411、靜止圖像壓縮標(biāo)準(zhǔn)JPEGJPEG（JointPhotographicExpertsGroup）成立于1986年，該標(biāo)準(zhǔn)于1992年正式通過。JPEG標(biāo)準(zhǔn)的目標(biāo)和適應(yīng)性為：有多種操作模式可供設(shè)計(jì)和使用時選擇：·LosslessEncodingMode原數(shù)字圖像相比不會產(chǎn)生任何失真?！CT（DCT-basedSequentialEncodingDCT從上到下的順序?qū)υ瓐D像數(shù)據(jù)進(jìn)行壓縮編碼。圖像還原時，也是按照上述順序進(jìn)行。DCTDCT-basedProgressiveEncodingDCT的大致面貌，然后逐步細(xì)化直到全部還原出來為止。DCTDCT-basedHierarchicalEncodingDCT無損壓縮編碼JPEG（DPCM）單、易于實(shí)現(xiàn)，重建的圖像質(zhì)量好基于DCTDCT8×8DCTDCT化，并分別對量化以后的系數(shù)進(jìn)行差分編碼和游程長度編碼，最后再進(jìn)行熵編碼。12、基于DCT的累進(jìn)編碼模式DCT13、JPEG的實(shí)現(xiàn)JPEGJPEG（1）（2）（3）充系統(tǒng)。14、目前世界上模擬彩色電視有PAL、NTSC、SECAM三種不同制式15、MB是作運(yùn)動估計(jì)的基本單元，B是作DCT的基本單元。16、MPEG-1標(biāo)準(zhǔn)由系統(tǒng)部分、視頻部分和音頻部分組成。171）（IntrapicturesI預(yù)測畫面PredictedPicturesP參數(shù)之用。插補(bǔ)畫面BidirectionalPredictedPicturesB本身不作為參考畫面使用，所以不必傳送，但需要傳送運(yùn)動補(bǔ)償信息。48×828×88×8DCT51基礎(chǔ)是為這些同步關(guān)系建立一個獨(dú)立于實(shí)現(xiàn)環(huán)境的抽象的描述模型。QoS等各種不確定因素帶來的負(fù)面影響，實(shí)現(xiàn)多媒體同步規(guī)范描述的多媒體時態(tài)說明。2、同步的類型：上層同步、中層同步、底層同步3條件變化。由于各個相關(guān)媒體流可能來自不同的信源，每個信源所處的地理位置可能不同，每個媒體流選擇的信道大節(jié)省信宿端緩存。此外還可以將這兩種方法配合使用。抖動定義為最大時延與最小時延的差，也即時延的變化。網(wǎng)絡(luò)抖動是指數(shù)據(jù)包從發(fā)送方到接收方網(wǎng)絡(luò)I／O設(shè)備的傳輸過程中所經(jīng)歷的時延變化，這是由中間節(jié)點(diǎn)的緩存引入的。端系統(tǒng)抖動是指端系統(tǒng)中引起的時延變化，這些變化主要是由于系統(tǒng)負(fù)荷的改變以及媒體單元在各個協(xié)議層的打包拆包。抖動通常是在信宿端通過采用彈性緩沖區(qū)來補(bǔ)償?shù)摹?NTP延的改變或媒體單元丟失率的增高。處理丟失單元的同步機(jī)制是重復(fù)播映前一個媒體單元的內(nèi)容。4、目前較為流行的多媒體同步模型有三種：參考點(diǎn)同步模型、時間軸同步模型、層次同步模型。參考點(diǎn)同步模型的缺點(diǎn)是將連續(xù)媒體離散化，從而破壞了連續(xù)媒體之間的相互依賴關(guān)系，破壞了連續(xù)媒體的整體特性。同步模型。邏輯數(shù)據(jù)單元（LDU）同步容限第6章多媒體通信網(wǎng)絡(luò)技術(shù)1、多媒體通信對通信網(wǎng)的要求吞吐要求實(shí)時性和可靠性要求時空約束分布處理要求2（PSTN（PSPDN字?jǐn)?shù)據(jù)網(wǎng)DDN、窄帶和寬帶綜合業(yè)務(wù)數(shù)字網(wǎng)NISDNISDN）（LANWANFDDIDQDB）網(wǎng)絡(luò)，如有線電視網(wǎng)（CATV、混合光纖同軸網(wǎng)（HFC公共交換電話網(wǎng)（PSTN）窄帶綜合業(yè)務(wù)數(shù)字網(wǎng)（N-ISDN）計(jì)算機(jī)局域網(wǎng)（LAN）有線電視(CATV)網(wǎng)3、多媒體通信的實(shí)時通信協(xié)議InternetInternetInternet不是用于實(shí)時通信的，由于TCP/IP使實(shí)時通信的質(zhì)量嚴(yán)重下降。另外，TCP協(xié)議負(fù)責(zé)數(shù)據(jù)的流量控制，保證傳輸?shù)恼_性，具有數(shù)據(jù)重發(fā)功能，這一點(diǎn)也不適合于實(shí)時通信。InternetUDP/IPUDPIP輸?shù)目煽啃詻]有保障。為了解決這個問題，IETF提出了多種實(shí)時通信協(xié)議，這里主要介紹應(yīng)用比較廣泛的實(shí)時傳輸協(xié)議（RTP、實(shí)時流協(xié)議RTSP）和資源預(yù)留協(xié)議RSVP。4RTPRTCPRTCPRTPRTCP包的數(shù)量等統(tǒng)計(jì)資料。5、多媒體通信對通信網(wǎng)絡(luò)提出了哪些要求？6RTPRTSP、RSVP71(RealtimeStreaming（ProgressiveStreaming）傳輸。2、流媒體播放方式1.單播2.組播3.點(diǎn)播與廣播3、流媒體系統(tǒng)的基本構(gòu)成戶管理涉及用戶的登記、授權(quán)、計(jì)費(fèi)和認(rèn)證。視頻服務(wù)器管理媒體內(nèi)容的播放?？蛻舳瞬シ畔到y(tǒng)主要PC第9章多媒體通信的應(yīng)用1、根據(jù)ITU-T的定義，