多媒體技術(shù)輔導(dǎo)

多媒體技術(shù)感覺媒體

直接作用于人的感官、使人能直接產(chǎn)生感覺的一類媒體。

聲音、文字、圖形和圖像，物體的質(zhì)地、形狀、溫度表示媒體

為了加工感覺媒體而構(gòu)造出來的一種媒體。

各種編碼：語音編碼、圖像編碼等顯示媒體

感覺媒體與通信電信號(hào)進(jìn)行轉(zhuǎn)換的一類媒體

可分為：輸入表現(xiàn)媒體，輸出表現(xiàn)媒體存儲(chǔ)媒體

用于存放表示媒體的一類媒體如：硬盤、光盤等傳輸媒體

用來將表示媒體從一處傳送到另一處的物理傳輸介質(zhì)，如各種通信電纜。多媒體概念以數(shù)字化為基礎(chǔ)，能夠?qū)Χ喾N媒體信息進(jìn)行采集、編碼、存儲(chǔ)、傳輸、處理和表現(xiàn)，綜合處理多種媒體信息并使之建立起有機(jī)的邏輯聯(lián)系，集成為一個(gè)系統(tǒng)并能具有良好交互性的技術(shù)。

簡言之,多媒體技術(shù)就是計(jì)算機(jī)綜合處理聲、文、圖信息,具有多樣性、集成性和交互性多媒體的關(guān)鍵特性多樣性—適應(yīng)了信息載體的多樣性

交互性—易于人和計(jì)算機(jī)的交互集成性—實(shí)現(xiàn)了信息處理的集成性多媒體計(jì)算機(jī)的關(guān)鍵技術(shù)

視頻音頻信號(hào)獲取技術(shù)；多媒體數(shù)據(jù)壓縮編碼和解碼技術(shù)；視頻音頻數(shù)據(jù)的實(shí)時(shí)處理和特技；視頻音頻數(shù)據(jù)的輸出技術(shù)。

要把一臺(tái)普通的計(jì)算機(jī)變成多媒體計(jì)算機(jī)需要解決哪些關(guān)鍵技術(shù)？

答：視頻音頻信號(hào)的獲取技術(shù)；多媒體數(shù)據(jù)壓縮編碼和解碼技術(shù)；視頻音頻數(shù)據(jù)的實(shí)時(shí)處理和特技；視頻音頻數(shù)據(jù)的輸出技術(shù)。

多媒體計(jì)算機(jī)的關(guān)鍵技術(shù)及其主要應(yīng)用領(lǐng)域。

答：多媒體計(jì)算機(jī)的關(guān)鍵技術(shù)是：①視頻音頻信號(hào)獲取技術(shù)；②多媒體數(shù)據(jù)壓縮編碼和解碼技術(shù)；③視頻音頻數(shù)據(jù)的實(shí)時(shí)處理和特技；④視頻音頻數(shù)據(jù)的輸出技術(shù)。多媒體計(jì)算機(jī)的主要應(yīng)用領(lǐng)域：①多媒體數(shù)據(jù)庫和基于內(nèi)容的檢索；②多媒體通信；③多媒體創(chuàng)作工具。音頻處理技術(shù)什么是模擬音頻和數(shù)字音頻？它們的特點(diǎn)是什么？

聲音是機(jī)械振動(dòng)。振動(dòng)越強(qiáng)，聲音越大，話筒把機(jī)械振動(dòng)轉(zhuǎn)換成電信號(hào)，模擬音頻技術(shù)中以模擬電壓的幅度表示聲音強(qiáng)弱。在計(jì)算機(jī)內(nèi)，所有的信息均是以數(shù)字表示的。各種命令是不同的數(shù)字，各種幅度的物理量也是不同的數(shù)字。當(dāng)然，語音信號(hào)也是由一系列數(shù)字來表示，稱之為數(shù)字音頻。數(shù)字音頻的特點(diǎn)是保真度好，動(dòng)態(tài)范圍大。模擬聲音在時(shí)間上是連續(xù)的。數(shù)字聲音在時(shí)間上是斷續(xù)的。

什么是音頻信息的數(shù)字化？計(jì)算機(jī)內(nèi)的音頻必須是數(shù)字形式的，因此必須把模擬音頻信號(hào)轉(zhuǎn)換成用有限個(gè)數(shù)字表示的離散序列，即實(shí)現(xiàn)音頻數(shù)字化。在這一處理技術(shù)中，涉及到音頻的采樣、量化和編碼。聲音數(shù)字化的兩個(gè)步驟是什么：聲音數(shù)字化的兩個(gè)步驟是：采樣和量化。采樣就是每間隔一段時(shí)間就讀一次聲音信號(hào)的幅度，量化就是把采樣得到的聲音信號(hào)幅度轉(zhuǎn)換為數(shù)字值。時(shí)間上的離散叫采樣，幅度上的離散稱為量化。

什么是采樣和量化？音頻實(shí)際上是一個(gè)連續(xù)的信號(hào)，或稱連續(xù)時(shí)間函數(shù)x(t)。用計(jì)算機(jī)處理這些信號(hào)時(shí)，必須先對(duì)連續(xù)信號(hào)采樣，即按一定的時(shí)間間隔(T)取值,得到x(nT)(n為整數(shù))。T稱采樣周期，1/T稱為采樣頻率。稱x(nT)為離散信號(hào)。離散信號(hào)x(nT)是從連續(xù)信號(hào)x(t)上取出的一部分值，在滿足采樣定理的條件下，可以用x(nT)通過數(shù)字---模擬轉(zhuǎn)換恢復(fù)出x(t)。為了把采樣序列x(nT)存入計(jì)算機(jī)，必須將樣值量化成一個(gè)有限個(gè)幅度值的集合x(nT)。通常情況下用二進(jìn)制數(shù)字表示量化后的樣值。常用的音頻采樣頻率有哪些？常用的音頻采樣頻率有：8kHz、11.025kHz、16kHz、22.05kHz、37.8kHz、44.1kHz、48kHz等。如果采用更高的采樣頻率，還可以做出DVD的音質(zhì)。音頻編碼的目的是什么？從哪些方面來考慮音頻信號(hào)的冗余度？音頻編碼的目的在于壓縮數(shù)據(jù)。在多媒體音頻數(shù)據(jù)的存儲(chǔ)和傳輸中，數(shù)據(jù)壓縮是必須的。通常數(shù)據(jù)壓縮造成音頻質(zhì)量的下降、計(jì)算量的增加。因此，人們?cè)趯?shí)施數(shù)據(jù)壓縮時(shí)，要在音頻質(zhì)量、數(shù)據(jù)量、計(jì)算復(fù)雜度三方面進(jìn)行綜合考慮。從信息保持的角度講，只有當(dāng)信源本身有冗余時(shí)，才能對(duì)其進(jìn)行壓縮。根據(jù)統(tǒng)計(jì)分析結(jié)果，語音信號(hào)中存在多種冗余，其最主要部分可以分別從時(shí)域和頻域來考慮。另外，由于語音主要是給人聽的，所以也要考慮人的聽覺感知機(jī)理。因此，可以從以下三個(gè)方面來考慮音頻信號(hào)的冗余度：時(shí)域信息的冗余度頻域信息的冗余度人的聽覺感知機(jī)理。時(shí)域信息和頻域信息的冗余度體現(xiàn)在哪些方面？如何從人的聽覺感知機(jī)理方面對(duì)音頻信息進(jìn)行壓縮？時(shí)域信息冗余度體現(xiàn)在以下幾個(gè)方面：幅度的非均勻分布樣本間的相關(guān)周期之間的相關(guān)基音之間的相關(guān)靜音系數(shù)長時(shí)自相關(guān)函數(shù)頻域信息冗余度體現(xiàn)在以下幾個(gè)方面：非均勻的長時(shí)功率譜密度語音特有的短時(shí)功率譜密度人的聽覺感知機(jī)理方面人的聽覺具有掩蔽效應(yīng)人耳對(duì)不同頻段的聲音的敏感程度不同人耳對(duì)語音信號(hào)的相位變化不敏感。音頻編碼是如何分類的？音頻編碼的分類如下：（1）基于音頻數(shù)據(jù)的統(tǒng)計(jì)特性進(jìn)行編碼，其典型技術(shù)是波形編碼。其目標(biāo)是使重建語音波形保持原波形的形狀。PCM（脈沖編碼調(diào)制）是最簡單最基本的編碼方法。它直接賦予抽樣點(diǎn)一個(gè)代碼，沒有進(jìn)行壓縮，因而所需的存儲(chǔ)空間較大。為了減少存儲(chǔ)空間，人們尋求壓縮編碼技術(shù)。利用音頻抽樣的幅度分布規(guī)律和相鄰樣值具有相關(guān)性的特點(diǎn)，提出了差值量化（DPCM）、自適應(yīng)量化（APCM）和自適應(yīng)預(yù)測(cè)編碼（ADPCM）等算法，實(shí)現(xiàn)了數(shù)據(jù)的壓縮。波形編碼適應(yīng)性強(qiáng)，音頻質(zhì)量好，但壓縮比不大，因而數(shù)據(jù)率較高。（2）基于音頻的聲學(xué)參數(shù)，進(jìn)行參數(shù)編碼，可進(jìn)一步降低數(shù)據(jù)率。其目標(biāo)是使重建音頻保持原音頻的特性。常用的音頻參數(shù)有共振峰、線性預(yù)測(cè)系數(shù)、濾波器組等。這種編碼技術(shù)的優(yōu)點(diǎn)是數(shù)據(jù)率低，但還原信號(hào)的質(zhì)量較差，自然度低。將上述兩種編碼算法很好地結(jié)合起來，采用混合編碼的方法。這樣就能在較低的碼率上得到較高的音質(zhì)。如碼本激勵(lì)線性預(yù)測(cè)編碼（CELP）、多脈沖激勵(lì)線性預(yù)測(cè)編碼（MPLPC）等。（3）基于人的聽覺特性進(jìn)行編碼：從人的聽覺系統(tǒng)出發(fā)，利用掩蔽效應(yīng)，設(shè)計(jì)心理聲學(xué)模型，從而實(shí)現(xiàn)更高效率的數(shù)字音頻的壓縮。其中以MPEG標(biāo)準(zhǔn)中的高頻編碼和DolbyAC-3最有影響。量化可以分為幾類？量化有好幾種方法，但可以歸納為兩類：一類稱為均勻量化，另一類稱為非均勻量化。采用的量化方法不同，量化后的數(shù)據(jù)量也不同。因此，可以說量化也是一種壓縮。什么是均勻量化？什么是非均勻量化？它們的特點(diǎn)是什么？采用相等的量化間隔對(duì)采樣得到的信號(hào)做量化就是均勻量化。均勻量化就是采用相同的"等分尺"來度量采樣得到的幅度，也稱為線性量化。用這種方法量化輸入信號(hào)時(shí)，無論對(duì)大的輸入信號(hào)還是對(duì)小的輸入信號(hào)一律都采用相同的量化間隔。為了適應(yīng)幅度大的輸入信號(hào)，同時(shí)又要滿足精度高的要求，就需要增加樣本的位數(shù)。但是，對(duì)語音信號(hào)來說，大信號(hào)出現(xiàn)的機(jī)會(huì)并不多，增加的樣本位數(shù)就沒有充分利用。為了克服這個(gè)不足，就出現(xiàn)了非均勻量化的方法，這種方法也稱為非線性量化。非均勻量化的基本思想是，對(duì)輸入信號(hào)進(jìn)行量化時(shí)，大的輸入信號(hào)采用大的量化間隔，小的輸入信號(hào)采用小的量化間隔，這樣就可以在滿足精度要求的情況下使用較少的位數(shù)來表示。聲音數(shù)據(jù)還原時(shí)，采用相同的規(guī)則。什么是自適應(yīng)量化PCM？改變量化階距有哪兩種方法？

自適應(yīng)量化PCM(adaptivepulsecodemodulation,APCM)是一種根據(jù)輸入信號(hào)幅度大小來改變量化階距大小的一種波形編碼技術(shù)。這種自適應(yīng)可以是瞬時(shí)自適應(yīng)，即量化階距的大小每隔幾個(gè)樣本就改變，也可以是音節(jié)自適應(yīng)，即量化階距的大小在較長時(shí)間周期里發(fā)生變化。改變量化階距的大小有兩種方法：一種稱為前向自適應(yīng)（forwardadaptation），另一種稱為后向自適應(yīng)（backwardadaptation）。前向自適應(yīng)是根據(jù)未量化的樣本值的均方根值來估算輸入信號(hào)的電平，以此來確定量化階距的大小，并對(duì)其電平進(jìn)行編碼作為邊信息傳送到接收端。后向自適應(yīng)是從量化器剛輸出的過去樣本中來提取量化階距信息。由于后向自適應(yīng)能在發(fā)和收兩端自動(dòng)生成量化階距，所以它不需要傳送邊信息。什么是調(diào)頻音樂合成？什么是波表合成？調(diào)頻音樂合成是使高頻振蕩波的頻率按調(diào)制信號(hào)規(guī)律變化的一種調(diào)制方式。采用不同調(diào)制波頻率和調(diào)制指數(shù)，就可以方便的合成具有不同頻譜分布的波形，再現(xiàn)某些樂器的音色。我們可以采用這種方法得到具有獨(dú)特效果的"電子模擬聲"，創(chuàng)造出豐富多彩的聲音，是真實(shí)樂器所不具備的音色，這也是FM音樂合成方法特有的魅力之一。波表的英文名稱為"WAVETABLE"，從字面翻譯就是"波形表格"的意思。其實(shí)它是將各種真實(shí)樂器所能發(fā)出的所有聲音（包括各個(gè)音域、聲調(diào)）錄制下來，存貯為一個(gè)波表文件。播放時(shí)，根據(jù)MIDI文件紀(jì)錄的樂曲信息向波表發(fā)出指令，從"表格"中逐一找出對(duì)應(yīng)的聲音信息，經(jīng)過合成、加工后回放出來。什么是MIDI？什么情況下使用MIDI？MIDI是樂器數(shù)字接口的縮寫，它始建于1982年，MIDI泛指數(shù)字樂器接口國際標(biāo)準(zhǔn)。標(biāo)準(zhǔn)的多媒體PC平臺(tái)能夠通過內(nèi)部合成器或連到計(jì)算機(jī)端口的外部合成器播放MIDI文件。MIDI標(biāo)準(zhǔn)規(guī)定了不同廠家的電子樂器與計(jì)算機(jī)連接的電纜和硬件。它還指定了從一個(gè)裝置傳送數(shù)據(jù)到另一個(gè)裝置的通信協(xié)議。這樣，任何電子樂器，只要有處理MIDI信息的處理器和適當(dāng)?shù)挠布涌诙寄茏兂蒑IDI裝置。MIDI間靠這個(gè)接口傳遞消息(massage)，消息是樂譜(Score)的數(shù)字描述。樂譜由音符序列、定時(shí)和合成音色(Patches)的樂器定義所組成。當(dāng)一組MIDI消息通過音樂合成芯片演奏時(shí)，合成器解釋這些符號(hào)，并產(chǎn)生音樂。以下幾種情況下，使用MIDI譜曲比使用波形音頻更合適，如：需要播放長時(shí)間高質(zhì)量音樂。比如你想在硬盤上存儲(chǔ)的音樂大于1分鐘，而硬盤又沒有足夠的存儲(chǔ)容量。需要以音樂作為背景音響效果。同時(shí)從CD-ROM中裝載其他數(shù)據(jù)，如圖像、文字的顯示。需要以音樂作背景音響效果。同時(shí)播放波形音頻或?qū)崿F(xiàn)文--語轉(zhuǎn)換，以實(shí)現(xiàn)音樂和語音同時(shí)輸出。什么是AC-3?美國杜比公司（Dolby）制定的環(huán)境立體聲音頻壓縮編碼標(biāo)準(zhǔn)，它在制定了AC-1和AC-2后又制定了AC-3。AC-3采用了頻譜分析技術(shù)，非線性子帶帶寬分配、動(dòng)態(tài)時(shí)域／譜域帶寬分配、心理聲學(xué)模型和多聲道耦合技術(shù)，具有很高的數(shù)據(jù)壓縮率和很低的失真度。杜比AC-3有完全獨(dú)立的６個(gè)聲道，全頻帶的左、右、中、左環(huán)繞、右環(huán)繞和一個(gè)低于120HZ的超低音，因此，又稱為5.1聲道。多媒體數(shù)據(jù)壓縮文本

文本是計(jì)算機(jī)文字處理程序的基礎(chǔ)，包括ASCII、中文。圖形一般指用計(jì)算機(jī)繪制的畫面。也稱矢量圖。圖像

圖像是指由輸入設(shè)備捕捉的實(shí)際場(chǎng)景畫面，或以數(shù)字化形式存儲(chǔ)的任意畫面。靜止的圖像是一個(gè)矩陣，由一些排成行列的點(diǎn)組成，這些點(diǎn)稱之為像素點(diǎn)（pixel），這種圖像稱為位圖（bitmap）。視頻

由連續(xù)的畫面組成。這些畫面以一定的速率連續(xù)地投射在屏幕上，使觀察者具有圖像連續(xù)運(yùn)動(dòng)的感覺音頻

波形聲音，包含了所有的聲音形式，它可以把任何聲音都進(jìn)行采樣量化。

語音，人的說話聲雖是一種特殊的媒體，但也是一種波形。

音樂，符號(hào)化了的聲音，樂譜可轉(zhuǎn)變?yōu)榉?hào)媒體形式。

動(dòng)畫實(shí)質(zhì)是一幅幅靜態(tài)圖像的連續(xù)播放。動(dòng)畫的連續(xù)播放既指時(shí)間上的連續(xù)，也指圖像內(nèi)容上的連續(xù)，即播放的相鄰兩幅圖像之間內(nèi)容相差不大壓縮的必要性：音頻、視頻的數(shù)據(jù)量很大，如果不進(jìn)行處理，計(jì)算機(jī)系統(tǒng)幾乎無法對(duì)它進(jìn)行存取和交換。壓縮的可行性：信息論認(rèn)為：若信源編碼的熵大于信源的實(shí)際熵，該信源中一定存在冗余度。數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)壓縮比，壓縮性能常常用壓縮比定義（輸入數(shù)據(jù)和輸出數(shù)據(jù)比）

圖象質(zhì)量，無損壓縮（圖象質(zhì)量不變）；有損壓縮，失真情況很難量化，只能對(duì)測(cè)試的圖象進(jìn)行估計(jì)。壓縮和解壓的速度，壓縮和解壓可能不同時(shí)用，壓縮、解壓速度分別估計(jì)。數(shù)據(jù)冗余的類型空間冗余

時(shí)間冗余

信息熵冗余

視覺冗余

聽覺冗余

其它冗余

結(jié)構(gòu)冗余

知識(shí)冗余根據(jù)解碼后數(shù)據(jù)與原始數(shù)據(jù)是否完全一致可以分為兩大類：

一類是熵編碼、冗余壓縮法，也稱無損壓縮法、無失真壓縮法；多用于文本、數(shù)據(jù)的壓縮，非線性編輯系統(tǒng)為了保證視頻質(zhì)量，有些高檔系統(tǒng)采用的是無失真壓縮方法。

二是熵壓縮法，也稱有損壓縮法、有失真壓縮法。圖像、聲音、動(dòng)態(tài)視頻根據(jù)編碼原理

預(yù)測(cè)編碼，變換編碼，統(tǒng)計(jì)編碼，分析－合成編碼，混合編碼等

預(yù)測(cè)編碼：預(yù)測(cè)編碼是指利用前面的一個(gè)或多個(gè)信號(hào)對(duì)下一個(gè)信號(hào)進(jìn)行預(yù)測(cè)，然后對(duì)實(shí)際值和預(yù)測(cè)值的差進(jìn)行編碼。DPCM與ADPCM是兩種典型的預(yù)測(cè)編碼。

線性預(yù)測(cè)、非線性預(yù)測(cè)

理論基礎(chǔ)：現(xiàn)代統(tǒng)計(jì)學(xué)和控制論

目標(biāo)：減少數(shù)據(jù)在時(shí)間和空間上的相關(guān)性如何理解"數(shù)據(jù)壓縮"的概念？

數(shù)據(jù)壓縮就是以最少的數(shù)碼表示信源所發(fā)的信號(hào)，減少容納給定消息集合或數(shù)據(jù)采樣集合的信號(hào)空間。理解這一概念的關(guān)鍵是要理解"信源"和"信號(hào)空間"以及"最少"的含義。"信源"可以是數(shù)據(jù)、靜止圖象、語音、電視或其他需要存儲(chǔ)和傳輸?shù)男盘?hào)；"信號(hào)空間"是指信號(hào)集合所占的空域、時(shí)域和頻域空間?？沼颉r(shí)域和頻域空間是指：（1）物理空間：如存儲(chǔ)器、磁盤、磁帶、光盤等數(shù)據(jù)存儲(chǔ)介質(zhì)。（2）時(shí)間區(qū)間：如傳輸給定信源所需的時(shí)間。（3）電磁頻譜區(qū)域：如傳輸給定信源所需的帶寬。"最少"是指在保證信源的一定質(zhì)量或者說是有效的前提下的最少。何為"有損壓縮"和"無損壓縮"？

有損壓縮是指經(jīng)過壓縮后經(jīng)解碼再還原的信號(hào)與原信號(hào)不能嚴(yán)格一致，無損壓縮是指壓縮后經(jīng)解碼還原的信號(hào)與原信號(hào)嚴(yán)格一致。存儲(chǔ)1分鐘的分辨率為512×512的NTSC制彩色視頻圖像，其數(shù)據(jù)存儲(chǔ)量有多大？一幅512×512的彩色圖像，每像素用8bit表示，則其大小為：512×512×8×3=629145bit≈6.3Mbit=768kB每秒鐘傳送30幀，其每秒的數(shù)據(jù)量為：6.3Mbit×30幀/s=188Mbit/s=23.5MB/s一分鐘的數(shù)據(jù)量為：23.5MB/s×60=1410MB

信息熵的概念。

信源X發(fā)出的xj(j=1,2,……n),共n個(gè)隨機(jī)事件的自信息統(tǒng)計(jì)平均（求數(shù)學(xué)期望），它的含義是信源X發(fā)出任意一個(gè)隨機(jī)變量的平均信息量。

圖像處理技術(shù)亮度

亮度是人眼對(duì)光強(qiáng)度的感受。

目標(biāo)的亮度和周圍的背景有關(guān)，對(duì)比度

視覺上也有等亮曲線，反映了視覺在亮度上與波長的關(guān)系。在同一亮度感覺下，不同波長的光具有不同的光強(qiáng)。視覺也有掩蔽現(xiàn)象，在很亮的高光周圍時(shí)難以看清的

彩色

三種心理屬性：色調(diào)、亮度和飽和度

色調(diào)就是通常意義下的彩色，它隨波長的變化而變化，反映顏色的基本特性。飽和度是代表為了產(chǎn)生所感知到的彩色在白光中必須混入的純單色光的相對(duì)數(shù)量，或者說是顏色的深淺程度。對(duì)同一色調(diào)的彩色光，飽和度越深顏色越鮮艷。

亮度是光作用于人眼所引起的明亮程度的感覺，與光強(qiáng)有關(guān)。色調(diào)和飽和度統(tǒng)稱為色度。人眼一般感到紅光最暗，藍(lán)光次之，而黃綠光最亮。研究表明，人眼對(duì)亮度信息敏感，而對(duì)顏色的敏感程度相對(duì)較弱。幾個(gè)重要的技術(shù)參數(shù)

分辨率：屏幕分辨率、圖像分辨率、像素分辨率

圖像顏色數(shù)：真彩色概念、圖象與象素深度

位圖圖像的數(shù)據(jù)量：設(shè)圖像的垂直方向分辨率為h像素，水平方向分辨率為w像素，顏色深度為c位，則該圖像所需數(shù)據(jù)空間大小B為：B=(h*w*c)/8(字節(jié))

真彩色

指在組成一幅彩色圖象的每個(gè)象素值中，有R、G、B三個(gè)基色分量，每個(gè)基色分量直接決定顯示設(shè)備的基色強(qiáng)度，這樣產(chǎn)生的彩色稱為真彩色。例如用RGB5∶5∶5表示的彩色圖象，R、G、B各用5位，用R、G、B分量大小的值直接確定三個(gè)基色的強(qiáng)度，這樣得到的彩色是真實(shí)的原圖彩色。偽彩色：

指每個(gè)象素的顏色不是由每個(gè)基色分量的數(shù)值直接決定，而是把象素值當(dāng)作彩色查找表CLUT(colorlook-uptable)的表項(xiàng)入口地址，去查找一個(gè)顯示圖象時(shí)使用的R、G、B強(qiáng)度值，用查找出的R、G、B強(qiáng)度值產(chǎn)生的彩色稱為偽彩色。圖像的處理：

圖像數(shù)據(jù)的壓縮：在存儲(chǔ)和傳輸前進(jìn)行，要考慮算法、實(shí)時(shí)性---硬件完成

圖像的優(yōu)化：圖像增強(qiáng)、噪聲過濾、畸變校正、亮度調(diào)整、色度調(diào)整等

圖像的編輯：裁剪、旋轉(zhuǎn)、縮放、綜合疊加等

圖像格式轉(zhuǎn)化：圖形：圖形以一組指令的形式存在。指令可描述：線、圓、弧、矩形的大小和形狀及曲面、光照、材質(zhì)等。圖形的顯示過程：解釋指令，以顯示中的計(jì)算時(shí)間換存儲(chǔ)空間

色度抽樣

在數(shù)字圖像處理領(lǐng)域中，色度抽樣是指在表示圖像時(shí)使用較亮度信息低的分辨率來表示色彩（色度）信息。當(dāng)對(duì)模擬分量視頻或者YUV信號(hào)進(jìn)行數(shù)字抽樣時(shí)，一般會(huì)用到色度抽樣。

由于人眼對(duì)色度的敏感度不及對(duì)亮度的敏感度，圖像的色度分量不需要有和亮度分量相同的清晰度，所以許多視頻系統(tǒng)在色差通道上進(jìn)行較低（相對(duì)亮度通道）清晰度（例如，抽樣頻率）的抽樣。這樣在不明顯降低畫面質(zhì)量的同時(shí)降低了視頻信號(hào)的總帶寬。因抽樣而丟失的色度值用內(nèi)插值，或者前一色度值來替代。

視頻系統(tǒng)的抽樣率通常用一個(gè)三分比值表示。第一個(gè)值是亮度（Y）分量樣本的數(shù)量，后兩個(gè)值是兩個(gè)色彩（“色度”）分量樣本的數(shù)量：U/Cb分量在前，V/Cr分量在后。在比較圖像質(zhì)量時(shí)，這三個(gè)值之間的比值才是重要的，所以4：4：4可以簡化為1：1：1；但是習(xí)慣上亮度樣本的數(shù)量值總為4，其他兩個(gè)值依此類推。

有時(shí)抽樣率為四分比值，如4：2：2：4。這時(shí)第四個(gè)值是調(diào)制通道的抽樣頻率比值。事實(shí)上，因?yàn)樵谡{(diào)制應(yīng)用中非常需要高質(zhì)量圖像，所以這個(gè)值在任何情況下都為4。4:4:4

三個(gè)通道的抽樣率相同，因此在生成的圖像里，每個(gè)象素的三個(gè)分量信息完整（每個(gè)分量通常8比特或10比特），經(jīng)過8比特量化之后，未經(jīng)壓縮的每個(gè)象素3個(gè)字節(jié)。

4:2:2

每個(gè)色差通道的抽樣率是亮度通道的一半，所以水平方向的色度抽樣率只是4:4:4的一半。對(duì)非壓縮的8比特量化的視頻來說，每個(gè)由兩個(gè)水平方向相鄰的像素組成的宏像素需要占用4字節(jié)內(nèi)存。

4:1:1

4:1:1的色度抽樣，是在水平方向上對(duì)色度進(jìn)行4:1抽樣。對(duì)于低端用戶和消費(fèi)類產(chǎn)品這仍然是可以接受的。對(duì)非壓縮的8比特量化的視頻來說，每個(gè)由4個(gè)水平方向相鄰的像素組成的宏像素需要占用6字節(jié)內(nèi)存。4:2:0

4:2:0并不意味著只有Y,Cb而沒有Cr分量。它指的是對(duì)每行掃描線來說，只有一種色度分量以2:1的抽樣率存儲(chǔ)。相鄰的掃描行存儲(chǔ)不同的色度分量，也就是說，如果一行是4:2:0的話，下一行就是4:0:2，再下一行是4:2:0...以此類推。對(duì)每個(gè)色度分量來說，水平方向和豎直方向的抽樣率都是2:1，所以可以說色度的抽樣率是4:1。圖像處理技術(shù)

什么是圖像文件格式？有那幾類?：

數(shù)字化的圖形、圖像及視頻信息，都以文件的形式存儲(chǔ)到計(jì)算機(jī)的存儲(chǔ)器中，大多數(shù)是工廠和企業(yè)的標(biāo)準(zhǔn)。通常將其分成兩類：一類是靜止圖像文件格式，另一類是動(dòng)態(tài)視頻文件格式。常見的六種靜止圖像文件格式：GIF（GraphicsInterchangeFormat）、TIFF（TagImageFileFormat）、TGA（TargeImageFormat）、BMP（Bitmap）、PCX和MMP。位圖圖像的優(yōu)缺點(diǎn)：

位圖圖像的主要優(yōu)點(diǎn)是清晰、美觀、逼真，能畫出比較復(fù)雜的圖像，并支持鼠標(biāo)。顯示位圖圖像要比顯示矢量圖形快，位圖可裝入內(nèi)存直接顯示。位圖圖像的主要缺點(diǎn)是存儲(chǔ)容量大，因?yàn)槲粓D必須把屏幕上顯示的每一個(gè)像素的信息存儲(chǔ)起來。一般同樣的一幅畫，位圖的容量往往要比矢量圖多一至二倍，甚至好幾倍。分辨率對(duì)位圖圖像的影響也是比較大的，分辨率的高低將直接影響位圖圖像的質(zhì)量。位圖與矢量圖的區(qū)別

：由于圖像存儲(chǔ)方法的截然不同，不同方法表示的圖像其應(yīng)用領(lǐng)域也不盡相同。位圖適用于具有復(fù)雜的顏色、灰度或形狀變化的圖像，如照片、繪畫和數(shù)字化的視頻圖像。計(jì)算機(jī)顯示就采用位圖格式，因而位圖圖像的計(jì)算機(jī)處理是有硬件基礎(chǔ)的。與位圖格式相比較，矢量格式適用于線型圖，如計(jì)算機(jī)輔助設(shè)計(jì)(CAD)的圖形和圖像，只有簡單的形狀、灰度和顏色。由于點(diǎn)陣和矢量兩種不同的存儲(chǔ)方法，其所用的文件格式也不同，如BMP、PCX、GIF、PIC、TGA等文件格式是用來存儲(chǔ)位圖圖像的，而如AutoCAD的DWC、DXF以及GDS使用的GRA文件都是存儲(chǔ)矢量圖像的。TIFF格式的優(yōu)缺點(diǎn)：

TIFF格式是由Microsoft，HewlettPackard與Aldus組成委員會(huì)制定的。目的就是提供一個(gè)與平臺(tái)無關(guān)，與應(yīng)用程序無關(guān)，與圖像本身無關(guān)的圖像文件格式。它的最大優(yōu)點(diǎn)是兼容性非常好，幾乎可運(yùn)用在任何方面，用它保存圖像可以保證順利地與任何人進(jìn)行交流。該格式文件的擴(kuò)展名是tiff或tif。缺點(diǎn)是數(shù)據(jù)量大圖像的數(shù)字化過程：

數(shù)字化是指將許多復(fù)雜多變的信息轉(zhuǎn)變?yōu)榭梢远攘康臄?shù)字，再以數(shù)字建立起適當(dāng)?shù)臄?shù)字化模型，把它們轉(zhuǎn)變?yōu)橐幌盗卸M(jìn)制代碼，引入計(jì)算機(jī)內(nèi)部，進(jìn)行統(tǒng)一處理。數(shù)字化將任何連續(xù)變化的輸入分離為獨(dú)立的單元，在計(jì)算機(jī)中用數(shù)字“0”和“1”表示。數(shù)字轉(zhuǎn)換設(shè)備獲取圖像的過程實(shí)質(zhì)上是信號(hào)掃描和數(shù)字化的過程，它的處理步驟大體分為采樣、量化、編碼三個(gè)步驟圖像的顯示分辨率、圖像分辨率、像素分辨率：

顯示分辨率：在某種顯示方式下,顯示器屏幕上的最大顯示區(qū)域，即水平與垂直方向的像素個(gè)數(shù)。圖像分辨率：數(shù)字化圖像的大小，即該圖像的水平與垂直方向的像素個(gè)數(shù)。像素分辨率：指像素的寬和高的比例,一般為1:1。相同大小的顯示屏上，顯示分辨率越高，像素越高，像素密度越大，顯示的圖像越精細(xì)，但同一字號(hào)的字在屏幕上卻顯得越小。最大顯示分辨率由顯示器和顯卡（顯示緩存）決定；當(dāng)前顯示分辨率由當(dāng)前設(shè)置的參數(shù)決定。圖像分辨率決定圖像的顯示質(zhì)量。圖像分辨率和顯示分辨率決定了顯示圖像的大小。什么是顏色深度：是指記錄每個(gè)像素所使用的二進(jìn)制位數(shù)。對(duì)于彩色圖像，顏色深度決定了圖像可以使用的最大顏色數(shù)目。對(duì)于灰度圖像，顏色深度決定了該圖像可以使用的亮度級(jí)別數(shù)目。顏色深度越大，顯示的圖像越豐富，畫面越好，但數(shù)據(jù)量也隨之增長。圖像的顏色類型：

圖像的顏色需要使用三維空間來表示，但表示法不唯一，每個(gè)像素點(diǎn)的圖像深度的分配與圖像所使用的顏色空間有關(guān)。真彩色：圖像中的每個(gè)像素值都分成R、G、B三個(gè)基色分量，每個(gè)基色分量直接決定其基色的強(qiáng)度。偽彩色：圖像的每個(gè)像素值實(shí)際上是一個(gè)索引值或代碼值。該代碼值作為顏色查找表CLUT中某一項(xiàng)的入口地址。根據(jù)該地址可以查找出包含實(shí)際R、G、B的強(qiáng)度值。這種用查找映射的方法產(chǎn)生的色彩稱為偽彩色。直接色：是通過每個(gè)像素點(diǎn)的R、G、B分量分別作為單獨(dú)的索引值進(jìn)行變換，經(jīng)相應(yīng)的顏色變換表找出各自的強(qiáng)度，用變換后的R、G、B強(qiáng)度值產(chǎn)生的色彩?；叶葓D：灰度圖(Grayscaleimage)按照灰度等級(jí)的數(shù)目來劃分。只有黑白色的圖像稱為單色圖像（monochromeimage），圖中每個(gè)像素值用1位存儲(chǔ)。如果每個(gè)像素的像素值用一個(gè)字節(jié)表示，灰度等級(jí)數(shù)為256，每個(gè)像素可以是0～255之間的任何一個(gè)值。色調(diào)：引起視覺的色光，可能是由數(shù)種波長的光波混合而成，但正常人眼均能感受出它最接近紅、橙、黃、綠、藍(lán)、紫等純光譜色中的那一種，這種屬性稱為色調(diào)。色調(diào)有一個(gè)自然的順序：紅、橙、黃、綠、青、藍(lán)、紫。在這個(gè)次序中，當(dāng)人們混合相鄰顏色時(shí)，可以獲得在這兩種顏色之間連續(xù)變化的色調(diào)。顏色的飽和度：指的是顏色偏離灰色、接近純光譜色的程度。黑、白、灰色的飽和度最低（0%），而純光譜色的飽和度最高（100%）。純光譜色與白光混合，可以產(chǎn)生各種混合色光，其中純光譜色所占的百分比，就是該色光的飽和度。視頻處理技術(shù)

電視的三大制式：NTSC（NationalTelevisionSystemCommittee（525/60）：1953，美國

PAL(PhaseAlternationLine)（625/50）：1962，西德SECAM（625/50）：法國光柵掃描原理

視頻攝像機(jī)將圖像轉(zhuǎn)換為電信號(hào)，電信號(hào)是一維的，但圖像是二維的，將二維圖像轉(zhuǎn)成為一維電信號(hào)是由光柵掃描的方法實(shí)現(xiàn)的。

快速的掃描線從頂部開始，一行一行地向下掃描，直至顯示器的最底部，然后再返回頂部的起點(diǎn)，重新開始掃描。這個(gè)過程產(chǎn)生的一個(gè)有序的圖像信號(hào)集合，就組成了電視顯示中的一幅圖像，在此稱為幀。

連續(xù)不斷的圖像序列就形成了動(dòng)態(tài)視頻圖像。常見的電視制式：

目前世界上常用的電視制式有中國、歐洲使用的PAL制，美國、日本使用的NTSC制及法國等國所使用的SECAM制。

○

NTSC(NationalTelevisionStandardCommitte)是美國國家電視系統(tǒng)委員會(huì)在1953年制定的一種兼容的彩色電視制式，在美國、日本和其他國家廣為使用。定義了彩色電視機(jī)對(duì)所接受的電視信號(hào)的解碼方式、色彩的處理方式、屏幕的掃描頻率。NTSC制規(guī)定水平掃描線有525條，以每秒30幀速率傳送。NTSC采用隔行掃描方式，每一幀畫面由兩次掃描完成，每一次掃描畫出一個(gè)場(chǎng)需要1/60秒,兩個(gè)場(chǎng)構(gòu)成一幀。

PAL(PhaseAlternateLock)是聯(lián)邦德國1962年制定的一種兼容電視制式。PAL意指“相位逐行交變”，我國和大部分西歐國家都使用這種制式。PAL制規(guī)定水平掃描625行、每秒25幀、隔行掃描、每場(chǎng)需要1/50秒。

SECAM(SEquentialColorAndMemory)稱為順序傳送彩色與存儲(chǔ)，是用于法國、俄羅斯及幾個(gè)東歐國家的彩色電視制式。基本技術(shù)及廣播方式與NTSC和PAL有很大的區(qū)別。水平掃描625行、每秒25幀。YUV模型：

在PAL彩色電視制式中采用YUV模型來表示彩色圖像。其是Y表示亮度，U，V用來表示色差，是構(gòu)成彩色的兩個(gè)分量。YUV表示法的重要性是它的亮度信號(hào)(Y)和色度信號(hào)(U、V)是相互獨(dú)立的，也就是Y信號(hào)分量構(gòu)成的黑白灰度圖與用U、V信號(hào)構(gòu)成的另外兩幅單色圖是相互獨(dú)立的。由于Y、U、V是獨(dú)立的，所以可以對(duì)這些單色圖分別進(jìn)行編碼。采用YUV模型的優(yōu)點(diǎn)之一是亮度信號(hào)和色差信號(hào)是分離的，使彩色電視系統(tǒng)與黑白電視機(jī)亮度信號(hào)兼容。

幾種常用的視頻處理技術(shù)：視頻剪輯——根據(jù)需要剪除不需要的視頻片段，連接多段視頻信息；視頻疊加——根據(jù)需要把多個(gè)視頻影像疊加在一起；視頻和聲音同步——在單純的視頻信息上添加聲音，并精確定位；添加特殊效果——使用濾鏡加工視頻影像，使影像具有各種特殊效果。電視信號(hào)數(shù)字化的兩種基本方法：

（a）先從復(fù)合彩色電視圖像中分離出彩色分量，然后數(shù)字化。對(duì)彩色全電視信號(hào)，通常是首先把模擬的全彩色電視信號(hào)分離成YCbCr，YUV，RGB彩色空間中的分量信號(hào)，然后用三個(gè)A/D（模/數(shù)AnalogDigital）轉(zhuǎn)換器分別對(duì)它們數(shù)字化。（b）首先用一個(gè)高速A/D轉(zhuǎn)換器對(duì)彩色全電視信號(hào)進(jìn)行數(shù)字化，然后在數(shù)字域中進(jìn)行分離，以獲得所希望的YCbCr，YUV或RGB分量數(shù)據(jù)。、多媒體數(shù)據(jù)存儲(chǔ)

光存儲(chǔ)技術(shù)原理光存儲(chǔ)的類型：只讀型光存儲(chǔ)系統(tǒng)，只讀型光盤包括LV和CD-ROM等;

一次寫型光存儲(chǔ)系統(tǒng),一次寫（WORM）光存儲(chǔ)系統(tǒng)可一次寫入，任意多次讀出;可重寫型光存儲(chǔ)系統(tǒng),可重寫光盤（E-R/W，Rewritable或Erasable）像硬盤一樣可任意讀寫數(shù)據(jù)。

DVD盤片的物理結(jié)構(gòu)

分類：單面單層、單面雙層、雙面單層、雙面雙層；

容量：4.7GB—

17GB；

最小凹坑長度僅為0.4μm，道間距為0.74μm，采用波長為635～650nm的紅外激光器讀取數(shù)據(jù)；DVD盤的厚度為1.2mm。對(duì)于單面盤而言，只有下層基底包含數(shù)據(jù)，上層基底沒有數(shù)據(jù)；而雙面盤的上下兩層基底上均有數(shù)據(jù)。

DVD-5：

采用單層單面，所以標(biāo)準(zhǔn)的資料記錄量為4.7GB。

DVD-9：單面雙層，也就是將資料層增加到兩層，但是中間夾入一個(gè)半透明反射層，如此一來讀取第二層資料的時(shí)候，不需要將DVD盤片翻面，直接切換激光讀取頭的聚焦位置就可以了

DVD-10：

采用單層雙面，也就是DVD片的正反面都可以存儲(chǔ)資料，一般標(biāo)準(zhǔn)的資料記錄量為9.4GB，為DVD-5的兩倍。

DVD-18：雙面雙層。藍(lán)光DVD

：藍(lán)光標(biāo)準(zhǔn)可以使單層碟片的存儲(chǔ)容量達(dá)到25GB，雙層碟片的存儲(chǔ)容量則達(dá)到50GB以上。

多媒體網(wǎng)絡(luò)技術(shù)

多媒體網(wǎng)絡(luò)特性：

業(yè)務(wù)等級(jí)保證，也就是我們常說的QOS（QualityOfService）服務(wù)質(zhì)量保證。高帶寬，也就是網(wǎng)絡(luò)的寬帶化?？煽啃员ＷC。時(shí)性，這是多媒體通信網(wǎng)與傳統(tǒng)數(shù)據(jù)網(wǎng)的本質(zhì)區(qū)別多媒體會(huì)議系統(tǒng)

通過計(jì)算機(jī)遠(yuǎn)程參加會(huì)議或交流，以可視化的、實(shí)時(shí)的、交互的形式實(shí)現(xiàn)了在不同地理位置上人們的多媒體資源共享和信息的相互交流，體現(xiàn)了超越空間的多點(diǎn)通信、群體的“面對(duì)面”的協(xié)同工作特點(diǎn)。

視頻會(huì)議系統(tǒng)主要由視頻會(huì)議終端、多點(diǎn)控制器、信道（網(wǎng)絡(luò)）及控制管理軟件等組成。RSVP(ResourceReserveProtocol)：Internet上的資源預(yù)訂協(xié)議

○

用來為因特網(wǎng)中的一次會(huì)話預(yù)留資源，在一定程度上為流媒體的傳輸提供QoS服務(wù)質(zhì)量保證。

○

RSVP支持兩種服務(wù)類型：受控載荷服務(wù)(Best-Effort)，保證服務(wù)

(帶寬、延遲)。流媒體

：

流媒體指在Internet/Intranet中使用流式傳輸技術(shù)的連續(xù)時(shí)基媒體。流媒體簡單來說就是應(yīng)用流技術(shù)在網(wǎng)絡(luò)上傳輸?shù)亩嗝襟w文件，而流技術(shù)就是把連續(xù)的影象和聲音信息經(jīng)過壓縮處理后放上網(wǎng)站服務(wù)器。用戶一邊下載一邊觀看、收聽，而不需要等整個(gè)壓縮文件下載到自己機(jī)器后才可以觀看的網(wǎng)絡(luò)傳輸技術(shù)。實(shí)現(xiàn)流式傳輸?shù)膬煞N方法：順序流式傳輸，用戶可在下載文件的同時(shí)觀看在線媒體，不能在傳輸期間根據(jù)用戶連接的速度作調(diào)整，不適合長片段