多媒體信息處理的必要性和可行性

1、多媒體信息處理的必要性和可行性第1頁，共26頁，2022年，5月20日，13點46分，星期二2.1 多媒體信息的特點 多媒體信息主要有三個特征： （1）數(shù)據(jù)量龐大：和文本信息相比，語音、圖像的信息量就顯得十分龐大。例如，用生動的語音表達(dá)和文本文字相同的一段內(nèi)容，語音所需要的數(shù)據(jù)量要比文本大10倍以上。若要用圖像來大體表示同樣的意思，則圖像所需要的數(shù)據(jù)量又不知道要大多少倍了。 第2頁，共26頁，2022年，5月20日，13點46分，星期二 （2） 碼率可變、突發(fā)性強(qiáng)：代表多媒體信息的數(shù)據(jù)流其碼率是隨著不同的信息內(nèi)容、所處的不同時間而不斷變化的。人們講話時的停頓、所傳場景圖像中物體的運動等都會形成

2、碼流速率的波動，而且這種波動往往呈現(xiàn)出極強(qiáng)的突發(fā)性。再加上采用了種種信息壓縮編碼的方法，就更加劇了這種變化。 （3） 復(fù)合性信息多，同步性、實時性要求高：多媒體通信系統(tǒng)中傳輸?shù)耐莾煞N或兩種以上媒體的復(fù)合信息，各類信息之間存在著很強(qiáng)的關(guān)聯(lián)，因此，對信息傳輸?shù)耐叫约皩崟r性的要求相當(dāng)高。 第3頁，共26頁，2022年，5月20日，13點46分，星期二2.2 信息壓縮的必要性 1. 圖像或視頻信號 以彩色電視信號為例，設(shè)代表光強(qiáng)、色彩和色飽和度的YIQ空間中各分量的帶寬分別為4MHz、1.3MHz和0.5MHz。由采樣定理，僅當(dāng)采樣頻率2倍的原始信號的頻率時，才能保證采樣后的信號可被保真地恢復(fù)為

3、原始信號。 設(shè)各樣點均被數(shù)字化為8bit，從而1s的數(shù)據(jù)量為 （41.30.5） 2 8 bit = 92.8 Mbit 因而一張640MB的CDROM能夠存放的原始電視數(shù)據(jù)(每字節(jié)附有2位校驗位)為：640892.8(1+0.25)=44 s 即 一張普通光盤只能存放44 s的原始數(shù)據(jù)。 第4頁，共26頁，2022年，5月20日，13點46分，星期二 2. 語音信號 人在正常說話時的音頻一般在200Hz3.4kHz，即人類語音的帶寬為3.4 kHz。同樣依據(jù)采樣定理，并設(shè)數(shù)字化精度為8bit，則每秒的數(shù)據(jù)量為 3.4 kHz28=54.4 kbit 在上述采樣條件下講一分鐘話的數(shù)據(jù)量約為40

4、0kbit。 表2.2-1列出了支持語音、圖像、視頻等多媒體信號高質(zhì)量存儲和傳輸所必需的未壓縮速率以及信號特性。 第5頁，共26頁，2022年，5月20日，13點46分，星期二表2.2-1 各種信號的特性和未壓縮速率 第6頁，共26頁，2022年，5月20日，13點46分，星期二 未進(jìn)行編碼和壓縮：窄帶語音信號需要128kb/s的速率，即兩倍于普通電話的速率。寬帶話音需要256kb/s的速率，雙聲道立體聲CD音頻需要1.41 Mb/s的速率。 在保持原始信號質(zhì)量的前提下壓縮：窄帶語音4kb/s(301的壓縮比)，寬帶話音16kb/s(151的壓縮比)，CD音頻64kb/s(221的壓縮比)。

5、對于多媒體處理系統(tǒng)的語音、圖像、視頻、文本、數(shù)據(jù)的結(jié)合，信號進(jìn)行存儲和傳輸之前，必須進(jìn)行處理，而最關(guān)鍵的處理方法是壓縮。多媒體信息壓縮技術(shù)的對象主要是視頻、音頻和文本信息這三大類。如對多數(shù)圖像實現(xiàn)大于1001的壓縮比，而質(zhì)量沒有重大損失。第7頁，共26頁，2022年，5月20日，13點46分，星期二2.3 信息壓縮的可行性 數(shù)據(jù)中通常包含很大的冗余，數(shù)據(jù)的大小與所攜帶的信息量的關(guān)系由下式給出： I=D-r (2.3-1) 其中I,D,r分別為信息量、數(shù)據(jù)量與冗余量。以存儲一本200萬字的中文百科全書為例，每個漢字以2字節(jié)計算，該書的數(shù)據(jù)量為4MB。若使用Huffman算法，就可簡單地將大約2M

6、B左右的冗余數(shù)據(jù)尋找出來并壓縮掉，這樣就可以節(jié)省出2MB的存儲空間。 第8頁，共26頁，2022年，5月20日，13點46分，星期二 1 空間冗余 在任何一幅圖像中，均有許多灰度或顏色都相同或相近的鄰近像素組成的局部區(qū)域，它們形成了一個性質(zhì)相同的集合塊， 即它們之間具有空間上的強(qiáng)相關(guān)性，表現(xiàn)為空間冗余。 對空間冗余的壓縮方法就是把這種集合塊當(dāng)作一個整體，用極少的數(shù)據(jù)量來表示它，從而節(jié)省了存儲空間。這種壓縮方法叫空間壓縮或幀內(nèi)壓縮，它的基本點就在于減少鄰近像素之間的空間相關(guān)性。第9頁，共26頁，2022年，5月20日，13點46分，星期二圖2.3-1 空間冗余 第10頁，共26頁，2022年，5

7、月20日，13點46分，星期二 2 時間冗余 時間冗余是活動圖像和語音數(shù)據(jù)中經(jīng)常包含的冗余?；顒訄D像中的兩幅相鄰的圖像有較大的相關(guān)性，這反映為時間冗余。同理，在語音中，由于人在說話時其發(fā)出的音頻是一個連續(xù)和漸變的過程，而不是一個完全的時間上獨立的過程, 因而存在著時間冗余。 利用這種時間冗余，可實現(xiàn)數(shù)據(jù)壓縮。這種壓縮對運動圖像往往能得到很高的壓縮比，這也稱為時間壓縮或幀間壓縮。 第11頁，共26頁，2022年，5月20日，13點46分，星期二圖2.3-2 時間冗余 第12頁，共26頁，2022年，5月20日，13點46分，星期二第13頁，共26頁，2022年，5月20日，13點46分，星期二

8、3 信息熵冗余（編碼冗余） 所謂熵就是平均信息量。（2.3-2） 圖2.3-3 結(jié)構(gòu)冗余示意圖（草席） 4. 結(jié)構(gòu)冗余 第14頁，共26頁，2022年，5月20日，13點46分，星期二 5 知識冗余 人們通過認(rèn)識世界而得到某些圖像所具有的先驗知識和背景知識，由此帶來的冗余稱為知識冗余。如人臉的圖像有固定的結(jié)構(gòu)，嘴的上方有鼻子，鼻子的上方有眼睛，鼻子位于正臉圖像的中線上等等。這類規(guī)律的結(jié)構(gòu)可由先驗知識和背景知識得到， 因此這類信息對一般人來說是冗余信息。第15頁，共26頁，2022年，5月20日，13點46分，星期二 6 視覺聽覺冗余 以視覺為例，人類的視覺系統(tǒng)并不能對圖像畫面的任何變化都能感覺

9、到，視覺系統(tǒng)對于圖像場的注意是非均勻和非線性的，即注意主要部分質(zhì)量，同時取畫面的整體效果，不拘泥每一個細(xì)節(jié)。 例如，人的視覺對于圖像邊緣的急劇變化不敏感，對圖像的亮度信息敏感，對顏色的分辨率較弱等。因此，如果圖像經(jīng)壓縮或量化發(fā)生的變化(或稱引入了噪聲)不能被視覺所感覺，則認(rèn)為圖像質(zhì)量是完好的或是夠好的，即圖像壓縮并恢復(fù)后仍有滿意的主觀圖像質(zhì)量。 第16頁，共26頁，2022年，5月20日，13點46分，星期二 7 其他冗余 多媒體數(shù)據(jù)除了具有上面所說的各種冗余外， 還存在一些其他的冗余類型。 例如， 圖像的空間非定常特性所帶來的冗余，頻譜冗余等。 空間冗余和時間冗余是將圖像信號看作為隨機(jī)信號時

10、所反映出的統(tǒng)計特征， 因此有時把這兩種冗余稱為統(tǒng)計冗余。 它們也是多媒體圖像數(shù)據(jù)處理中兩種最主要的數(shù)據(jù)冗余。 第17頁，共26頁，2022年，5月20日，13點46分，星期二2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo) 1 壓縮比（編碼效率） 壓縮性能常常用壓縮比來定義，也就是壓縮過程中輸入數(shù)據(jù)量和輸出數(shù)據(jù)量之比。壓縮比越大，說明數(shù)據(jù)壓縮的程度越高。在實際應(yīng)用中，壓縮比可以定義為比特流中每個樣點所需要的比特數(shù)。 由于同一壓縮編碼算法對不同信號的編碼效率往往不同。為了公平地衡量壓縮編碼算法的效率，常常需要定義一些所謂的“標(biāo)準(zhǔn)圖像（或語音）”。通過測量不同編碼算法在同一組“標(biāo)準(zhǔn)圖像”上的性能來評價各壓縮算法的編

11、碼效率。第18頁，共26頁，2022年，5月20日，13點46分，星期二 (a)頭發(fā)部分高頻數(shù)據(jù)含量豐富，背景含低頻數(shù)據(jù)，肩部亮度過渡平滑；(b)低頻區(qū)域含量適中，但物體邊緣豐富，頭巾、褲子及桌布上有極細(xì)膩的條紋；(c)高頻數(shù)據(jù)極為豐富，特別是臉部毛發(fā)部分，主要用于評價圖像編碼算法對高頻區(qū)域數(shù)據(jù)的處理性能。 （a）Lena圖像 （b）Barbara圖像 （c）Mandrill圖像 國際上流行的三幅標(biāo)準(zhǔn)圖像 第19頁，共26頁，2022年，5月20日，13點46分，星期二 2 重現(xiàn)質(zhì)量 重現(xiàn)質(zhì)量是指比較重現(xiàn)時的圖像、聲音信號與原始圖像、聲音之間有多少失真，這與壓縮的類型有關(guān)。壓縮方法可以分為無損

12、壓縮和有損壓縮。無損壓縮是指壓縮和解壓縮過程中沒有損失原始圖像或聲音的信息，所以對無損系統(tǒng)不必?fù)?dān)心重現(xiàn)質(zhì)量。 有損壓縮雖然可獲得較大的壓縮比，但壓縮比過高， 還原后的圖像、聲音質(zhì)量就可能降低。圖像和聲音質(zhì)量的評估常采用客觀評估和主觀評估兩種方法。以圖像信息壓縮為例。 圖像的主觀評價采用5分制， 其分值在15分情況下的主觀評價如表2.4-1所示。 第20頁，共26頁，2022年，5月20日，13點46分，星期二表2.4-1 圖像主觀評價性能表 主觀評價分 質(zhì)量尺度 妨礙觀看尺度 5 非常好 絲毫看不出圖像質(zhì)量變壞 4 好 能看出圖像質(zhì)量變化，但不妨礙觀看 3 一般 清楚地看出圖像質(zhì)量變壞，對觀看

13、稍有妨礙 2 差 對觀看有妨礙 1 非常差 非常嚴(yán)重地妨礙觀看第21頁，共26頁，2022年，5月20日，13點46分，星期二 而客觀尺度通常有以下幾種： 均方誤差： 峰值信噪比： 信噪比： 第22頁，共26頁，2022年，5月20日，13點46分，星期二 雖然圖像、語音的信噪比值在一定程度上反映了人類觀察者對編碼質(zhì)量的感覺，但它并不等同于編碼圖像、語音的主觀質(zhì)量。 某些編碼圖像、語音，盡管其信噪比值不高，但由于其編碼誤差的分布恰使人眼、耳不易察覺圖像、語音中的誤差失真，而使圖像、語音在人視覺、聽覺看來質(zhì)量很高。 而有些編碼，盡管其信噪比值很高，但由于其編碼誤差以人眼、耳很敏感的方式表現(xiàn)出來，

14、其主觀質(zhì)量并不高，這一現(xiàn)象的著名實例是分塊圖像編碼中常見的塊效應(yīng)。第23頁，共26頁，2022年，5月20日，13點46分，星期二 3 壓縮和解壓縮的速度 壓縮與解壓縮的速度是兩項單獨的性能度量。有些應(yīng)用中，壓縮與解壓縮都需要實時進(jìn)行，這稱為對稱壓縮，如電視會議的圖像傳輸；在有些應(yīng)用中，壓縮可以用非實時壓縮，而只要解壓縮是實時的，這種壓縮稱為非對稱壓縮，如多媒體CD-ROM的節(jié)目制作。從目前開發(fā)的壓縮技術(shù)看，一般壓縮的計算量比解壓縮要大。在靜止圖像中，壓縮速度沒有解壓縮速度要求嚴(yán)格。 第24頁，共26頁，2022年，5月20日，13點46分，星期二 但對于動態(tài)視頻的壓縮與解壓縮，速度問題是至關(guān)重要的。動態(tài)視頻為保證幀間動作變化的連貫要求，必須有較高的幀速。大多數(shù)情況動態(tài)視頻至少為15幀/s，而全動態(tài)視頻則要求有25幀/s或30幀/s。因此，壓縮和解壓縮速度的快慢直接影響實時圖像通信的完成。 此外，還要考慮軟件和硬件的開銷。有些數(shù)據(jù)的壓縮和解壓縮可以在標(biāo)準(zhǔn)的PC硬件上用軟件實現(xiàn)，有些則因為算法太復(fù)雜或者質(zhì)量