多媒體基本概念課件(PPT 49頁)

1、第 1 章 多媒體基本概念1.1 多媒體概述1.2 多媒體元素1.3 多媒體信息的數(shù)據(jù)壓縮1.4 多媒體系統(tǒng)1.5 多媒體技術(shù)1.6 思考與練習第1頁，共49頁。重點與難點了解：媒體、多媒體、數(shù)據(jù)壓縮等概念媒體分類、多媒體關(guān)鍵特性、多媒體關(guān)鍵技術(shù)多媒體數(shù)據(jù)壓縮的必要性和可行性數(shù)據(jù)壓縮技術(shù)的性能指標、數(shù)據(jù)壓縮標準多媒體系統(tǒng)掌握：多媒體數(shù)字化文件數(shù)據(jù)量的計算方法數(shù)據(jù)壓縮方法、Huffman編碼多媒體關(guān)鍵技術(shù)第2頁，共49頁。1.1 多媒體概述第3頁，共49頁。1.1.1 媒體與多媒體 媒體：是指傳播信息的載體。目前的主要媒體有報紙、雜志、廣播、電視、互聯(lián)網(wǎng)、IPTV、電子雜志等。 計算機領(lǐng)域媒體的

2、兩重含義一是指存儲信息的實體（媒質(zhì)），如磁帶、磁盤等二是指傳遞信息的載體（媒介），如聲、文、圖、像等。多媒體計算機技術(shù)中的媒體指的是第二種。 多媒體多媒體的英文單詞是Multimedia，它由media和multi兩部分組成。一般理解為多種媒體的綜合。實際上多媒體是計算機和視頻技術(shù)的結(jié)合，包括聲、文、圖、像、視頻、動畫等多種媒體的綜合集成應用。 多媒體經(jīng)常作為多媒體技術(shù)的同義詞。第4頁，共49頁。多媒體概念多媒體是超媒體（Hypermedia）系統(tǒng)中的一個子集，而超媒體系統(tǒng)是使用超鏈接構(gòu)成的全球信息系統(tǒng)，全球信息系統(tǒng)是因特網(wǎng)上使用 TCP/IP 協(xié)議和 UDP/IP 協(xié)議的應用系統(tǒng)。關(guān)于“多媒

3、體”概念的標準定義還沒有統(tǒng)一，一般理解為“多種媒體的綜合”，而多媒體技術(shù)也就是“進行多種媒體綜合的技術(shù)”了。這個定義道出了多媒體的實質(zhì)，但還太籠統(tǒng)。 廣義，指的是能傳播文字、聲音、圖形、圖象、動畫和電視等多種類型信息的手段、方式或載體。包括電影、電視、VCD、電腦、網(wǎng)絡(luò)等。 狹義，專指融合兩種以上“傳播手段、方式或載體”的、人機交互式信息交流和傳播的媒體，或者說是指在計算機控制下把文字、聲音、圖形、影象、動畫和電視等多種類型的信息，混合在一起交流傳播的手段、方式或載體。如多媒體電腦、因特網(wǎng)等。 參閱程棟實用網(wǎng)絡(luò)新聞學新華出版社，2002年版第5頁，共49頁。1.1.2 媒體分類 按承載信息的方

4、式來劃分,國際電信聯(lián)盟遠程通信標準化組織ITU-T（原國際電報電話咨詢委員會CCITT）的定義，把媒體分為5大類：感覺媒體存放處理加工輸入輸出顯示媒體存儲媒體表示媒體顯示媒體感覺媒體(Perception Medium)表示媒體(Representation Medium) 顯示媒體(Presentation Medium)存儲媒體(Storage Medium)傳輸媒體(Transmission Medium)第6頁，共49頁。按計算機處理數(shù)據(jù)的形式來劃分：文本：采用文字編輯軟件生成文本，或圖像處理軟件形成圖形方式的文字或符合。聲音：通常采用WAV或MID格式等數(shù)字化音頻文件圖形：采用算法語

5、音或某些應用軟件生成的矢量圖像，具有體積小、線條圓滑變化的特點圖像：采用像素點描述的自然影像。動畫：有矢量動畫和幀動畫之分。視頻：動態(tài)的圖像。1.1.2 媒體分類第7頁，共49頁。從人機交互的角度來劃分：視覺、聽覺、觸覺、嗅覺和味覺 人類感知信息的途徑有65%來源于視覺；20%來源于聽覺，10%來源于觸覺，嗅覺、味覺等約占5%。1.1.2 媒體分類第8頁，共49頁。1.1.3 多媒體的關(guān)鍵特性多樣性：信息載體的多樣性是相對于計算機而言的，即指信息媒體的多樣性。多媒體就是要把計算機處理的信息多樣化，從而改變計算機信息處理的單一模式，使人們能交互地處理多種信息。 集成性：能夠?qū)π畔⑦M行多通道統(tǒng)一獲

6、取、存儲、組織與合成。 交互性：交互性是多媒體應用有別于傳統(tǒng)信息交流媒體的主要特點之一。實時性：當用戶給出操作命令時，相應的多媒體信息都能夠得到實時控制。 非線性、信息使用的方便性、控制性等。 第9頁，共49頁。1.2 多媒體元素多媒體元素是指多媒體應用中可顯示給用戶的媒體組成，目前主要包含文本、圖形、圖像、聲音、動畫和視頻等。均采用數(shù)字形式存儲，形成相應的文件，稱為多媒體數(shù)據(jù)文件。第10頁，共49頁。1.2.1 文本文本文件:非格式化文本文件（純文本文件），如“.txt” 格式化文本文件，如“.doc”。 計算機中的文字：用編碼的方式在計算機內(nèi)存儲和交換計算機獲取文字的方法： 鍵盤、手寫、語

7、音、OCR采用文字編輯軟件生成文本，或者采用圖像處理軟件形成圖形方式的文字及符號。多媒體多媒體Multimedia如何從事多媒體教學第11頁，共49頁。1.2.2 圖形圖形一般指由計算機繪制的畫面，如直線、矩形、圓、任意曲線和圖表等。圖形的格式是一組描述點、線、面等幾何圖形的大小、形狀及其位置、維數(shù)的指令集合。在圖形文件中只記錄生成圖的算法和圖上的某些特征點，因此又稱為矢量圖，文件格式有WMF、DXF。 第12頁，共49頁。1.2.3 圖像圖像是指由輸入設(shè)備捕捉的實際場景畫面，或以數(shù)字化形式存儲的任意畫面.靜止的圖像是一個矩陣，陣列中的各項數(shù)字用來描述構(gòu)成圖像的各個點（稱為像素點pixel)的

8、強度與顏色等信息。這種圖像也稱為位圖。圖像文件在計算機中的存儲格式有多種，如BMP、 JPG 、PSD、GIF等，一般數(shù)據(jù)量都較大。第13頁，共49頁。顏色深度與顯示的顏色數(shù)目每一個像素在計算機中用若干二進制位來表示稱為該圖像的顏色深度（顯示深度）。例如，一個像素若用8位二進制數(shù)表示，則可以表示256種黑白灰度或256種彩色。如果一個像素用24位二進制表示，則可以表現(xiàn)1677萬種顏色，一般稱為真彩色。顏色深度顏色總數(shù)圖像名稱12黑白圖像416索引16色圖像8256索引256色圖像1665536HI-Color圖像2416672216True Color 圖像第14頁，共49頁。處理圖像時要考慮

9、三個因素圖像分辨率：數(shù)字化圖像的大小，即該圖像的水平與垂直方向的像素個數(shù)。圖像深度：(也稱圖像灰度、顏色深度）表示數(shù)字位圖圖像中每個像素用于表示顏色的二進制數(shù)字位數(shù)。圖像文件大小=像素總數(shù)*圖像深度/8（B）計算一副640*480的256色圖像大??？分辨率圖像深度圖像文件大小第15頁，共49頁。相同分辨率不同顏色深度的四幅圖像文件寬度：271高度：300顏色：2大?。?.9KB寬度：271高度：300顏色：4大小：19.8KB寬度：271高度：300顏色：256大?。?9.4KB寬度：271高度：300顏色：真彩色大小：238.2KB注意觀察圖像的效果、圖像文件的大小第16頁，共49頁。圖像與

10、圖形比較圖像用于表現(xiàn)比較細膩，層次色彩豐富，含有大量細節(jié)的圖如照片、油畫等。圖形主要用于建筑、線型圖畫、美術(shù)字制作等。第17頁，共49頁。1.2.4 聲音聲音是一種物體震動產(chǎn)生的波，頻率在20Hz-20KHz的波稱為音頻波，頻率小于20Hz的波稱為次聲波，頻率大于20KHz的波稱為超聲波。我們說話時產(chǎn)生的聲音波的頻率范圍約為300-3000Hz；音樂波的頻率范圍可達10-20KHz。常用的聲音文件WAV、MID、MP3 第18頁，共49頁。影響聲音文件質(zhì)量的指標聲音的頻率范圍為20-20KHz，根據(jù)采樣定理，其采樣頻率不應低于40KHz，在多媒體技術(shù)中常用的采樣頻率為44.1KHz。量化精度現(xiàn)

11、在常采用16為，質(zhì)量更高的也有用24位。為了取得立體聲音響效果，有時需要進行“多聲道”錄音，最起碼有左右兩個聲道，較好則采用5.1或7.1聲道的環(huán)繞立體聲。采用頻率越高，量化精度越高，聲道數(shù)越多，則聲音質(zhì)量就越好，而數(shù)字化后的數(shù)據(jù)量就越大。第19頁，共49頁。1.2.5 動畫動畫是利用人視覺暫留特性，快速連續(xù)播放一系列相關(guān)的連續(xù)畫面，典型的動畫是卡通片。動畫和視頻影像不同的是動畫是人工創(chuàng)造出來的連續(xù)圖形所組合成的動態(tài)影像。動畫需要每秒20個以上的畫面。畫面的產(chǎn)生可以逐幅繪制，也可以實時計算。計算機設(shè)計動畫方法有兩種：幀動畫、造型動畫。常用的動畫文件GIF、FLI/FLC、SWF多畫面幀動畫單畫

12、面矢量動畫FRAME 01 FRAME 02 FRAME 03 FRAME 04 FRAME 05 FRAME 06 FRAME 07第20頁，共49頁。1.2.6 視頻視頻圖像和動畫一樣，也是利用人的視覺暫留特性（暫留1/24秒），將足夠多的畫面（幀）連續(xù)播放，區(qū)別是處理的是活動影像，即顯示場景的再現(xiàn)。電影：24幀/秒電視：（PAL）25幀/秒、（NTSC）30幀/秒 計算機中主要的視頻文件格式：WMV、AVI、MPG、ASF第21頁，共49頁。1.3 多媒體信息的數(shù)據(jù)壓縮多媒體計算機技術(shù)處理的聲、文、圖、像、視頻、動畫等數(shù)字化文件數(shù)據(jù)量非常驚人，造成計算機的存儲和網(wǎng)絡(luò)的傳輸負擔，使多媒體數(shù)

13、據(jù)進行壓縮成為了必需，從而也使得多媒體數(shù)據(jù)壓縮技術(shù)成為多媒體技術(shù)迅速發(fā)展的關(guān)鍵技術(shù)之一。第22頁，共49頁。1.3.1.1媒體信息的數(shù)據(jù)量 聲音文件的數(shù)據(jù)量=(采樣頻率量化位數(shù)聲道數(shù)聲音持續(xù)時間)8電話話音(8k813600) / 8 = 28125 (KB) 27.47 (MB) CD音樂 (44.1k1623600) / 8 = 635040 (KB) 620 (MB) 5.1聲道 （44.1k165.13600）/8 = 1581398 (KB) 1544 (MB) 1.5 (GB)第23頁，共49頁。1.3.1.1媒體信息的數(shù)據(jù)量靜態(tài)圖像文件的數(shù)據(jù)量=(垂直方向分辨率水平方向分辨率顏色

14、深度)8真彩色位圖圖像，分辨率為640480(64048024) 8 = 900 (KB) 相機(如Nikon D200)拍攝的照片圖像，分辨率為38822592，顏色深度為24位：(3882259224) 8 29479 (KB) 28.8 (MB) 第24頁，共49頁。1.3.1.1媒體信息的數(shù)據(jù)量動態(tài)視頻文件的數(shù)據(jù)量 =（分辨率顏色深度） 幀頻 播放時間 8彩電PAL制式，幀頻為25，每幀畫面為625行，寬高比為4:3，每秒數(shù)據(jù)量：(6254/3)62524)25 8 38147 (KB) 37.25 (MB)需要的傳輸帶寬為312.5 Mbps；每小時的數(shù)據(jù)量約為131GB；在650M

15、B的光盤中只能存放不到18秒的視頻。高清晰度電視（HDTV），分辨率為19201080，幀頻為30，每秒數(shù)據(jù)量為：(1920108024)30 8 = 182250 (KB) 177.98 (MB)需要的傳輸帶寬為1423.8 Mbps；每小時的數(shù)據(jù)量約為626GB。 第25頁，共49頁。1.3.1.2 冗余的基本概念多媒體信息的數(shù)據(jù)量 = 信息量 冗余數(shù)據(jù)量多媒體信息中存在著大量的冗余，使得多媒體數(shù)據(jù)壓縮技術(shù)成為可行。多媒體信息的數(shù)據(jù)冗余主要體現(xiàn)在兩個方面相同或相似信息的重復 無法傳遞或播出的信號，這部分信號的數(shù)據(jù)可以被壓縮剔除 第26頁，共49頁。1.3.1.3 數(shù)據(jù)冗余的種類-空間冗余空

16、間冗余 ：圖像本身的數(shù)據(jù)冗余，在任何一幅圖像中，均有許多灰度或顏色都相同的鄰近像素組成的局部區(qū)域，它們形成了一個性質(zhì)相同的集合塊，即它們之間具有空間上的強相關(guān)性，在圖像中就表現(xiàn)為空間冗余?？臻g冗余的壓縮方法：把這種局部區(qū)域集合塊當作一個整體，用極少的數(shù)據(jù)量來表示，從而節(jié)省存儲空間。第27頁，共49頁。數(shù)據(jù)冗余的種類-時間冗余序列圖像和語音數(shù)據(jù)中都包含時間冗余。第28頁，共49頁。數(shù)據(jù)冗余的種類-結(jié)構(gòu)冗余指圖像各部分結(jié)構(gòu)上的類似性所產(chǎn)生的冗余，例如物體表面圖像上的紋理結(jié)構(gòu)。第29頁，共49頁。數(shù)據(jù)冗余的種類-知識冗余指某些圖像的結(jié)構(gòu)可由這些圖像的先驗知識和背景知識獲得。例：人臉的圖像有固定的結(jié)構(gòu)

17、：嘴的上方有鼻子，鼻子的上方有眼睛，鼻子位于正臉圖像的中線上等。這類規(guī)律的結(jié)構(gòu)可由先驗知識和背景知識得到，因此這類信息對一般人來說是冗余信息。第30頁，共49頁。數(shù)據(jù)冗余的種類-視覺聽覺冗余視覺聽覺冗余是指人的視覺、聽覺分辨率低于實際圖像、音頻的分辨率所產(chǎn)生的冗余。例，人的視覺對于圖像邊緣的急劇變化不敏感，對圖像的亮度信息敏感，對顏色的分辨率較弱等。第31頁，共49頁。數(shù)據(jù)冗余的種類-編碼冗余編碼冗余又稱信息熵冗余，它是指一塊數(shù)據(jù)所攜帶的信息量少于數(shù)據(jù)本身所產(chǎn)生的冗余。例如，利用等長碼表示信息比不等長碼表示信息存在冗余第32頁，共49頁。1.3.2 數(shù)據(jù)壓縮技術(shù)基礎(chǔ) 多媒體信息的數(shù)據(jù)壓縮涉及的

18、技術(shù)較多，主要包括多媒體信息的數(shù)字化技術(shù)、數(shù)據(jù)壓縮技術(shù)。熵的概念熵（Entropy）是1865年出現(xiàn)于熱力學中的一個重要概念。1948年香農(nóng)（Claude Shannon）在其首創(chuàng)的信息論中借用了“熵”這一名詞。信息論中的“熵”又稱為信息熵，用來表示一條信息中真正需要編碼的信息量，即該信息數(shù)據(jù)壓縮的理論極限。第33頁，共49頁。所謂信息量，是指從概率相同的N個事件中選出一個事件所需要的信息量度，也就是在N個事件中分辨出一個特定事件的過程中，需要問“是”或“否”的最少次數(shù)。例如，我錯過了看世界杯，賽后我問一個知道比賽結(jié)果的觀眾“哪支球隊是冠軍”？ 他不愿意直接告訴我， 而要讓我猜，并且我每猜一次

19、，他要收一元錢才肯告訴我是否猜對了，那么我需要付給他多少錢才能知道誰是冠軍呢? 我可以把球隊編上號，從 1 到 32， 然后提問要。如何從132中猜中某一數(shù)字呢？可先問“是否大于16”，無論回答“是”或“否”都會將范圍減少一半。如此繼續(xù)，只要問5次，就能從32個數(shù)中選中某一個數(shù)。第34頁，共49頁。信源S的熵定義為：H(s) = pi log2 (1/ pi) pi是符號Si在S中出現(xiàn)的概率；log2 (1/ pi)表示包含在Si中的信息量，也就是編碼Si所需要的位數(shù)。例如一幅灰度圖像采用256級灰度，如果一個像素點取值每一個灰度級的概率均為pi = 1256，則每一個灰度級的編碼需要8個二進

20、制位，即每一個像素點就需要8位編碼表示。 第35頁，共49頁。熵計算實例有一幅100個像素組成的灰度圖像，共5級，用符號A、B、C、D和E表示，100個像素中各級灰度的像素數(shù)如下：灰度級灰度A灰度B灰度C灰度D灰度E像素個數(shù) 502510105如果用3個二進制位表示5個等級的灰度值，也就是每個像素用3位表示，編碼這幅圖像總共需要300位；按照香農(nóng)理論，這幅圖像的熵為：H(s) = (50/100) log2 (100/50) + (25/100) log2 (100/25) + (10/100) log2 (100/10) + (10/100) log2 (100/10) + (5/100)

21、log2 (100/5) 1.88 (bit)這就是說每個符號用1.88位表示，100個像素需用188位。 第36頁，共49頁。統(tǒng)計編碼原理熵的作用：在統(tǒng)計編碼中，使用熵值可以衡量是否為最佳編碼。熵值是平均碼長的下限。第37頁，共49頁。統(tǒng)計編碼：Huffman編碼（哈夫曼編碼）Huffman編碼屬于碼字長度可變編碼，是Huffman在1952年提出的一種編碼方法。生成Huffman編碼算法基于一種稱為Huffman樹的技術(shù)。編碼步驟：將信源符號按概率遞減順序排列；把兩個最小的概率加起來，作為新符號的概率；重復1和2步，直到概率和達到1為止；在每次合并消息時，將被合并的消息賦以1和0或0和1。

22、尋找從每個信源符號到概率為1處得路徑，記錄下路徑上的1和0。對每個符號寫出“1”、“0”序列。（從碼數(shù)的根到終結(jié)點）。第38頁，共49頁。練習：假設(shè)信源符號為a,b,c,d,e,f,g,h,i，這些符號的概率分別為0.22,0.22,0.14,0.07,0.07,0.07,0.07,0.07,0.07,構(gòu)造出哈夫曼樹和哈夫曼編碼。110第39頁，共49頁。3.數(shù)據(jù)壓縮技術(shù)的性能指標數(shù)據(jù)壓縮一般是由兩個過程組成：一是編碼過程，即將原始數(shù)據(jù)進行編碼壓縮，以便存儲和傳輸；二是解碼過程，即將編碼數(shù)據(jù)還原為可以使用的數(shù)據(jù)。衡量數(shù)據(jù)壓縮技術(shù)性能好壞的技術(shù)指標有：壓縮比要大，即數(shù)據(jù)壓縮前后信息容量之比要大算法要簡單，即容易實現(xiàn)壓縮及解壓縮速度要快，即盡可能達到實時性失真