多媒體技術(shù)綜述

多媒體技術(shù)綜述北京市多媒體與智能軟件技術(shù)重點實驗室

第一頁，共三十三頁，編輯于2023年，星期日

多媒體數(shù)據(jù)壓縮的必要性音視頻壓縮標(biāo)準(zhǔn)的發(fā)展圖像/視頻編碼技術(shù)的現(xiàn)狀及發(fā)展趨勢第二頁，共三十三頁，編輯于2023年，星期日多媒體數(shù)據(jù)壓縮的必要性多媒體數(shù)據(jù)的顯著特點：數(shù)據(jù)量非常大一張彩色相片的數(shù)據(jù)量可達(dá)10MB；一路高清晰度電視信號（HDTV），不壓縮需1Gbps，利用MPEG-2壓縮后，尚需20Mbps解決辦法：數(shù)據(jù)壓縮壓縮后再進(jìn)行存儲和傳輸，到需要時再解壓、還原。

第三頁，共三十三頁，編輯于2023年，星期日多媒體數(shù)據(jù)壓縮的必要性多媒體數(shù)據(jù)壓縮的可能性：

多媒體數(shù)據(jù)存在高度的相關(guān)性（冗余度，相似性）

在位圖格式的圖像存儲方式中，像素與像素之間在行方向和列方向都具有很大的相關(guān)性。第四頁，共三十三頁，編輯于2023年，星期日多媒體數(shù)據(jù)壓縮的必要性多媒體數(shù)據(jù)的冗余類型

多媒體數(shù)據(jù)表示中存在著大量的冗余，利用多媒體數(shù)據(jù)的冗余性來減少數(shù)據(jù)量。常見圖像、視頻、音頻數(shù)據(jù)中存在的冗余類型如下：1.空間冗余2.時間冗余3.視覺冗余6.紋理的統(tǒng)計冗余5.結(jié)構(gòu)冗余4.知識冗余第五頁，共三十三頁，編輯于2023年，星期日1.空間冗余一幅圖像表面上各采樣點的顏色之間往往存在著空間連貫性，基于離散像素采樣來表示物體表面顏色的像素存儲方式可利用空間連貫性，達(dá)到減少數(shù)據(jù)量的目的。例如，在靜態(tài)圖像中有一塊表面顏色均勻的區(qū)域，在此區(qū)域中所有點的光強(qiáng)和色彩以及飽和度都是相同的，因此數(shù)據(jù)有很大的空間冗余。多媒體數(shù)據(jù)壓縮的必要性第六頁，共三十三頁，編輯于2023年，星期日圖——Bitmap——顏色相同的塊——幀內(nèi)壓縮多媒體數(shù)據(jù)壓縮的必要性第七頁，共三十三頁，編輯于2023年，星期日2.時間冗余

運(yùn)動圖像一般為位于一時間軸區(qū)間的一組連續(xù)畫面，其中的相鄰幀往往包含相同的背景和移動物體，只不過移動物體所在的空間位置略有不同，所以后一幀的數(shù)據(jù)與前一幀的數(shù)據(jù)有許多共同的地方，這種共同性是由于相鄰幀記錄了相鄰時刻的同一場景畫面，所以稱為時間冗余。 同理，語音數(shù)據(jù)中也存在著時間冗余。多媒體數(shù)據(jù)壓縮的必要性第八頁，共三十三頁，編輯于2023年，星期日多媒體數(shù)據(jù)壓縮的必要性第九頁，共三十三頁，編輯于2023年，星期日3.視覺冗余

人類的視覺系統(tǒng)由于受生理特性的限制，對于圖像場的注意是非均勻的、非線性的，通常假定視覺系統(tǒng)是均勻的，線性地對敏感區(qū)域和非敏感區(qū)域同等對待從而產(chǎn)生了更多的數(shù)據(jù)。

多媒體數(shù)據(jù)壓縮的必要性第十頁，共三十三頁，編輯于2023年，星期日視覺系統(tǒng)對圖像的亮度和色彩的敏感性相差很大。RGB轉(zhuǎn)換為Yuv，對亮度Y的敏感性高于色彩u，v的敏感性。隨著亮度的增加，視覺系統(tǒng)對亮度誤差的敏感度降低，因此，在高亮度區(qū)，灰度的量化可以更加粗糙些。多媒體數(shù)據(jù)壓縮的必要性第十一頁，共三十三頁，編輯于2023年，星期日視覺系統(tǒng)將圖像的邊緣和非邊緣區(qū)分對待這是將圖像分成邊緣和非邊緣編碼的主要依據(jù)。人類的視覺系統(tǒng)總是將視網(wǎng)膜上的圖像分解為若干個頻率通道后再進(jìn)一步處理，在編碼時將圖像分解為符合視覺內(nèi)在的特性的頻率通道，則可以獲得較大的壓縮比。小波編碼在一定程度上利用了這一特點。多媒體數(shù)據(jù)壓縮的必要性第十二頁，共三十三頁，編輯于2023年，星期日4.知識冗余

有些圖像的理解和某些基礎(chǔ)知識有相當(dāng)大的相關(guān)性，人臉的圖像有固定結(jié)構(gòu)這類規(guī)律性的結(jié)構(gòu)可由先驗知識和背景知識得到，稱此類冗余為知識冗余。對于某些圖像中的物體構(gòu)造其基本模型，創(chuàng)建對應(yīng)的各種特征的圖像，這樣圖像的存儲只存儲某些特征參數(shù)。多媒體數(shù)據(jù)壓縮的必要性第十三頁，共三十三頁，編輯于2023年，星期日5.結(jié)構(gòu)冗余

有些圖像的紋理區(qū)域，圖像的像素值存在明顯的分布模式，如方格狀的地板圖案等，稱之為結(jié)構(gòu)冗余。已知結(jié)構(gòu)模式，通過某一過程生成圖像。6.紋理的統(tǒng)計冗余

有些圖像的紋理盡管不服從明顯的分布模式，但在統(tǒng)計意義下符合某一分布規(guī)律，利用這種性質(zhì)可以減少圖像的數(shù)據(jù)量。多媒體數(shù)據(jù)壓縮的必要性第十四頁，共三十三頁，編輯于2023年，星期日多媒體數(shù)據(jù)壓縮的必要性

音視頻壓縮標(biāo)準(zhǔn)的發(fā)展圖像/視頻編碼技術(shù)的現(xiàn)狀及發(fā)展趨勢第十五頁，共三十三頁，編輯于2023年，星期日龐大的數(shù)字音視頻產(chǎn)業(yè)音視頻產(chǎn)業(yè)是電子信息產(chǎn)業(yè)的三大組成部分之一（通信、計算機(jī)、音視頻）音視頻產(chǎn)業(yè)產(chǎn)值約占大陸信息產(chǎn)業(yè)總產(chǎn)值的三分之一數(shù)字化是音視頻產(chǎn)業(yè)的發(fā)展方向，也是上個世紀(jì)前十年產(chǎn)業(yè)增長的最重要的因素音視頻壓縮標(biāo)準(zhǔn)的發(fā)展第十六頁，共三十三頁，編輯于2023年，星期日

龐大的數(shù)字視頻產(chǎn)業(yè)

自從1948年信息論之父C.E.Shannon在論文中第一次給出信息熵的數(shù)學(xué)表達(dá)式，數(shù)據(jù)壓縮技術(shù)已經(jīng)發(fā)展了60年頭。以音視頻編解碼核心技術(shù)為基礎(chǔ)的行業(yè)標(biāo)準(zhǔn)，一直以來都是該領(lǐng)域的“兵家必爭之地”

音視頻編解碼技術(shù)發(fā)展的理想方向--全球統(tǒng)一標(biāo)準(zhǔn)，(使信息管理系統(tǒng)具有普遍的互操作性并確保未來的兼容性)

音視頻領(lǐng)域存在多種標(biāo)準(zhǔn)有其歷史原因，不同的標(biāo)準(zhǔn)代表了不同的利益。音視頻壓縮標(biāo)準(zhǔn)的發(fā)展第十七頁，共三十三頁，編輯于2023年，星期日音視頻壓縮標(biāo)準(zhǔn)的發(fā)展多種互不兼容標(biāo)準(zhǔn)共存的現(xiàn)象應(yīng)用領(lǐng)域重疊，造成標(biāo)準(zhǔn)競爭激烈第十八頁，共三十三頁，編輯于2023年，星期日編碼分類信道編碼：面向傳輸衛(wèi)星、有線、地面

互聯(lián)網(wǎng)、移動網(wǎng)、光盤、便攜存儲信源編碼：面向內(nèi)容文字編碼：ASCII，GB18030，所有信息系統(tǒng)需要音視頻編碼：所有音視頻系統(tǒng)需要標(biāo)清數(shù)字視頻原始數(shù)據(jù)超過200Mbps，高清超過1Gbps

音視頻壓縮標(biāo)準(zhǔn)的發(fā)展第十九頁，共三十三頁，編輯于2023年，星期日音視頻壓縮標(biāo)準(zhǔn)的發(fā)展ISO/IEC推出的MPEG系列壓縮標(biāo)準(zhǔn)：MPEG-1,2,4ITU-T推出的H.26X系列壓縮標(biāo)準(zhǔn)H.261,2,3,3+,3++,4第二十頁，共三十三頁，編輯于2023年，星期日

1993年，MPEG-1由ISO/IEC的MPEG（活動圖像編碼專家組）發(fā)布，標(biāo)準(zhǔn)編號ISO/IEC11172，視頻壓縮是其中的第二部分，即ISO/IEC11172-2,目標(biāo)是在大約1.2Mbps(音頻＋視頻共1.5Mbps)時提供接近家用錄像機(jī)質(zhì)量的視頻，在VCD產(chǎn)業(yè)獲得廣泛的應(yīng)用。MPEG-1達(dá)不到廣播電視質(zhì)量的要求。1995年，MPEG-2發(fā)布,標(biāo)準(zhǔn)編號ISO/IEC13818，視頻壓縮是其中的第二部分，由于該標(biāo)準(zhǔn)是由ITU-T的VCEG（視頻編碼專家組）和ISO/IEC的MPEG（活動圖像編碼專家組）聯(lián)合組建的聯(lián)合視頻組（JVT：JointVideoTeam）共同開發(fā)，因此有兩個標(biāo)準(zhǔn)號：ISO/IEC13818-2,H.262,MPEG-2的目標(biāo)是在大約4-8Mbps時提供標(biāo)準(zhǔn)清晰度電視質(zhì)量的視頻。在大約10-15Mbps時提供高清晰度電視質(zhì)量的視頻。在DVD、數(shù)字電視產(chǎn)業(yè)獲得廣泛的應(yīng)用。音視頻壓縮標(biāo)準(zhǔn)的發(fā)展第二十一頁，共三十三頁，編輯于2023年，星期日

2000年，在支持單向播放的同時，為了滿足交互應(yīng)用，MPEG-4V1版本發(fā)布，標(biāo)準(zhǔn)編號ISO/IEC14496，視頻壓縮是其中的第二部分，即ISO/IEC14496-2,其目標(biāo)是在大約1.5-8Mbps時提供可交互的家用錄像機(jī)質(zhì)量的和標(biāo)準(zhǔn)清晰度電視質(zhì)量的視頻，在流媒體播放領(lǐng)域廣泛應(yīng)用。2001年，MPEG-4V2版本發(fā)布，它在MPEG-4V1的基礎(chǔ)上增加了部分壓縮工具。2003年，為了進(jìn)一步提高壓縮效率ISO/IEC和ITU兩個標(biāo)準(zhǔn)組織聯(lián)合發(fā)布了新的標(biāo)準(zhǔn)，在兩個標(biāo)準(zhǔn)化組織的標(biāo)準(zhǔn)號分別為14496-10(MPEG-4,Part10,也稱MPEGAVC)和H.264。其目標(biāo)是在768Kbps、2-4Mbps、6-10Mbps時分別提供可交互的家用錄像機(jī)質(zhì)量、標(biāo)準(zhǔn)清晰度電視質(zhì)量和高清晰度電視質(zhì)量的視頻，是目前為止壓縮效率最高的編碼標(biāo)準(zhǔn)，標(biāo)準(zhǔn)已經(jīng)被DVB標(biāo)準(zhǔn)組織采用，而國內(nèi)業(yè)界通常所說的MPEG-4是MPEG-4的V2版本。音視頻壓縮標(biāo)準(zhǔn)的發(fā)展第二十二頁，共三十三頁，編輯于2023年，星期日

AVS：數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組2002年經(jīng)信息產(chǎn)業(yè)部科技司批準(zhǔn)成立，同時也是MPEG-China(ISO/IECJTC1SC29/WG11中國代表團(tuán)）

工作范圍：

面向大陸的信息產(chǎn)業(yè)需求，聯(lián)合大陸企業(yè)和科研機(jī)構(gòu)，制（修）訂數(shù)字音視頻的壓縮、解壓縮、處理和表示等共性技術(shù)標(biāo)準(zhǔn)，為數(shù)字音視頻設(shè)備與系統(tǒng)提供高效經(jīng)濟(jì)的編解碼技術(shù)，服務(wù)于高分辨率數(shù)字廣播、高密度激光數(shù)字存儲媒、無線寬帶多媒體通訊、互聯(lián)網(wǎng)寬帶流媒體等重大信息產(chǎn)業(yè)應(yīng)用。從產(chǎn)業(yè)化角度看：H.264,MPEG-4除了對終端用戶收取高額的許可費(fèi)（2.5美元/臺）

還要向運(yùn)營商收取許可費(fèi)，MPEG-4對編碼解碼時間收費(fèi)，H.264對節(jié)目提供商收取參加費(fèi)，最高封頂每年350萬元，嚴(yán)重影響產(chǎn)業(yè)的正常發(fā)展，AVS標(biāo)準(zhǔn)只象征性地向終端設(shè)備制造商收取1元人民幣/臺的專利費(fèi)，無疑對產(chǎn)業(yè)的良性發(fā)展起到最大的推進(jìn)作用.己經(jīng)稱為國家標(biāo)準(zhǔn)，但缺乏一個完整、成熟的產(chǎn)業(yè)鏈，這個問題正在解決之中。音視頻壓縮標(biāo)準(zhǔn)的發(fā)展第二十三頁，共三十三頁，編輯于2023年，星期日數(shù)字音視頻標(biāo)準(zhǔn)正在更新?lián)Q代

一般認(rèn)為，壓縮效率提高一倍，技術(shù)標(biāo)準(zhǔn)就會面臨更新?lián)Q代。MPEG-2是1994年完成的，新的技術(shù)組合壓縮效率已經(jīng)以超過MPEG-2的2倍以上，所以該換代了。

MPEG-4AVC/H.264AVS但是，成熟的行業(yè)不愿意換得太早例如有線電視行業(yè)所以，機(jī)會在新的行業(yè)，例如高清電視、地面?zhèn)鬏敗PTV、3G、數(shù)字影院等等音視頻壓縮標(biāo)準(zhǔn)的發(fā)展第二十四頁，共三十三頁，編輯于2023年，星期日音視頻壓縮標(biāo)準(zhǔn)的發(fā)展視頻編碼效率的進(jìn)步第二十五頁，共三十三頁，編輯于2023年，星期日多媒體數(shù)據(jù)壓縮的必要性音視頻壓縮標(biāo)準(zhǔn)的發(fā)展

圖像/視頻編碼技術(shù)的發(fā)展現(xiàn)狀及趨勢第二十六頁，共三十三頁，編輯于2023年，星期日

圖像/視頻的預(yù)測編碼

對于預(yù)測編碼技術(shù)，壓縮編碼后傳輸?shù)牟⒉皇窍袼乇旧淼娜臃?，而是該取樣的預(yù)測值和實際值之差。同一幅圖像的鄰近像素之間有著相關(guān)性，或者說這些像素值相似。而且同幀圖像中鄰近行之間對應(yīng)位置的像素之間也有較強(qiáng)的相關(guān)性。編碼端：X－A=q解碼端：q＋A=X

圖1像素間相關(guān)性解釋圖2幀間相關(guān)性解釋圖像/視頻編碼技術(shù)的發(fā)展現(xiàn)狀及趨勢第二十七頁，共三十三頁，編輯于2023年，星期日

圖像/視頻編碼技術(shù)的發(fā)展現(xiàn)狀及趨勢圖像/視頻的變換編碼

變換域編碼是目前最廣泛采用的圖像壓縮編碼方法，乎所有的圖像/視頻壓縮標(biāo)準(zhǔn)均以變換編碼為重要工具。通常視頻信號中包含大量的低頻成分，即圖像的平坦部分，也有少量的高頻成分，即圖像的細(xì)節(jié)。變換圖像編碼技術(shù)是根據(jù)圖像包含的幾乎都是低頻特征為前提，即大部分能量都集中在變換的低頻部分，在編碼中對高頻系數(shù)的進(jìn)行粗糙量化。第二十八頁，共三十三頁，編輯于2023年，星期日基于模型編碼技術(shù)例如：talkingheadmodel:編碼器對一個包含肩－頭場景分析，然后對頭部建立3D模型，解碼端有自己的3D模型，編碼端只需要發(fā)送驅(qū)動模型的參數(shù)和場景間的差異，與上述方法相比，編碼效率高，但運(yùn)算復(fù)雜性較高。圖像/視頻編碼技術(shù)的發(fā)展現(xiàn)狀及趨勢第二十九頁，共三十三頁，編輯于2023年，星期日混合編碼技術(shù)混合編碼框架的技術(shù)主要包括：運(yùn)動補(bǔ)償、預(yù)測編碼、變換編碼以及熵編碼等。近年來混合編碼的研究主要集中于如何在技術(shù)細(xì)節(jié)方面進(jìn)行進(jìn)一步完善，使編碼效率得到進(jìn)一步的提高。其典型代表為2003年由聯(lián)合專家組JVT制定的新一代視頻編碼標(biāo)準(zhǔn)H.264/AVC。圖像/視頻編碼技術(shù)的發(fā)展現(xiàn)狀及趨勢第三十頁，共三十三頁，編輯于2023年，星期日可伸縮編碼技術(shù)

可伸縮技術(shù)將視頻編解碼技術(shù)從傳統(tǒng)的壓縮技術(shù)轉(zhuǎn)變?yōu)榱烁嗫紤]網(wǎng)絡(luò)適應(yīng)性和靈活性的編解碼框架。2005年2月，JVT將可伸縮性編碼（ScalableVideoCoding,SVC)作為H.264標(biāo)準(zhǔn)的擴(kuò)展，并起草了H.264標(biāo)準(zhǔn)的可伸縮性擴(kuò)展第一草案?？缮炜s視頻編碼具有時域、空域和質(zhì)量等多方面的靈活性。SVC不僅適合網(wǎng)絡(luò)傳輸，而且應(yīng)用到視頻監(jiān)控領(lǐng)域中還能滿足監(jiān)控視頻資料的存儲、檢索、分析等方面的種種特殊需求。在SVC的需求文檔中已將視頻監(jiān)控列為可伸縮視頻編碼技術(shù)的主要應(yīng)用領(lǐng)域之一?？缮炜s技術(shù)的方法大致上可以劃分為兩種：基于小波變換的可伸縮技術(shù)和基于傳統(tǒng)的混合編碼結(jié)構(gòu)的可伸縮技術(shù)。圖像/視頻編碼技術(shù)的發(fā)展現(xiàn)狀及趨勢第三十一頁，共三十三頁，編輯于2023年，星期日視頻自適應(yīng)技術(shù)未來多媒體網(wǎng)絡(luò)的發(fā)展，是計算、通信與網(wǎng)絡(luò)的結(jié)合，固定服務(wù)與移動服務(wù)的結(jié)合，多樣化服務(wù)與個性化服務(wù)的結(jié)合。通用媒體訪問(universalmediaaccess)被認(rèn)為是多媒體應(yīng)用需滿足的一項本質(zhì)性的要求，它指用戶可以使用多種終端設(shè)備，通過各種網(wǎng)絡(luò)形式，無縫連接地訪問所需要的媒體信息。但是，當(dāng)前媒體應(yīng)用環(huán)境中存在的網(wǎng)絡(luò)的異構(gòu)性、終端設(shè)備的多樣性、多媒體應(yīng)用的復(fù)雜性給實現(xiàn)通用媒體訪問帶來了很大挑戰(zhàn)。目前，已經(jīng)建立了多個視頻編碼國際標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)