數(shù)字圖像處理數(shù)字圖像與視頻處理技術(shù).

1、2022-5-26教學(xué)建議教學(xué)建議6 6 8 82022-5-26教學(xué)提示教學(xué)提示 圖像與視頻是兩種最常見的可視媒體。圖像、視頻的獲取、處理與數(shù)字化技術(shù)是多媒體信息處理的重要內(nèi)容。本章以數(shù)字圖像處理為基礎(chǔ)，首先介紹數(shù)字圖像處理技術(shù)，然后，介紹視頻處理技術(shù)及應(yīng)用。 教學(xué)目標(biāo)教學(xué)目標(biāo) 通過本章的學(xué)習(xí)，要求掌握多媒體技術(shù)中有關(guān)圖像、視頻數(shù)字化的基本概念、方法、技術(shù)與應(yīng)用等知識。 3 2022-5-26 Multimedia Technology & Application 1 基本概念基本概念2 數(shù)字圖像數(shù)據(jù)的獲取與表示數(shù)字圖像數(shù)據(jù)的獲取與表示3 圖像的基本屬性圖像的基本屬性4 圖像處理軟件

2、圖像處理軟件Photoshop 應(yīng)用舉例應(yīng)用舉例5 視頻的基本知識視頻的基本知識 4 2022-5-26 Multimedia Technology & Application 6 6 視頻的數(shù)字化視頻的數(shù)字化7 7 數(shù)字視頻標(biāo)準(zhǔn)數(shù)字視頻標(biāo)準(zhǔn)8 8 視頻信息的壓縮編碼視頻信息的壓縮編碼9 Windows 9 Windows 中的視頻播放軟件中的視頻播放軟件10 10 數(shù)字視頻的應(yīng)用數(shù)字視頻的應(yīng)用 5 2022-5-26 Multimedia Technology & Application 數(shù)字圖像的分類數(shù)字圖像的分類n按其生成方法按其生成方法，可以分為兩大類，可以分為兩大類：

3、 a、是從現(xiàn)實世界中通過數(shù)字化設(shè)備獲取的圖像，它們稱為取樣圖像(sampled image)、點陣圖像(dot matrix image)、位圖圖像(bit map image)，以下簡稱圖像(image)； b、是計算機合成的圖像，它們稱為矢量圖形(vector graphics)，或簡稱圖形(graphics)。n按照取樣點表示方式的不同按照取樣點表示方式的不同，數(shù)字?jǐn)?shù)字圖像還可以分為：圖像還可以分為： a、兩值圖像 b、灰度圖像 c、彩色圖像 6 2022-5-26 Multimedia Technology & Application 圖像的獲取圖像的獲取n圖像的獲取圖像的獲取

4、：是指從現(xiàn)實世界中獲得數(shù)字圖像的過程 。圖像掃描儀可用于對印刷品、照片或照相底片等進行掃描輸入，用數(shù)碼相機或數(shù)碼攝像機可對選定的景物進行拍攝。n圖像獲取的過程圖像獲取的過程: 實質(zhì)上是模擬信號的數(shù)字化過程。 7 2022-5-26 Multimedia Technology & Application n數(shù)字圖像的最基本單位：數(shù)字圖像的最基本單位：像素（Picture element,簡寫為pel）。像素對應(yīng)于圖像數(shù)字化過程中的一個取樣點。n圖像的編碼圖像的編碼：將一幅數(shù)字圖像中的數(shù)據(jù)按一定的方式進行組織。為了減少數(shù)字圖像的存儲空間往往要進行壓縮編碼，支持圖像壓縮編碼有許多國際標(biāo)準(zhǔn)和文

5、件存儲格式。如BMP、GIF、TIFF、JPEG、JPEG2000等。 8 2022-5-26 Multimedia Technology & Application n視頻：視頻：它是由連續(xù)的隨著時間變化的一組圖像(或稱幀)組成。視頻是影像視頻的簡稱。n由于人類“視覺暫留”的生理現(xiàn)象，當(dāng)1秒鐘內(nèi)連續(xù)播放多幅相互關(guān)聯(lián)的靜止圖像時就會產(chǎn)生運動的感覺，即運動視頻。 即：圖像可以看作視頻的特例。 9 2022-5-26 Multimedia Technology & Application n圖像數(shù)據(jù)的獲取圖像數(shù)據(jù)的獲取是圖像數(shù)字化的基礎(chǔ)。n獲取的過程獲取的過程實質(zhì)上是模擬信號的數(shù)字

6、化過程.n處理步驟處理步驟大體分為三步： (1) 采樣。 (2) 分色。 (3) 量化。 10 2022-5-26 Multimedia Technology & Application 從數(shù)字圖像的獲取過程可以知道，一幅取樣圖像由M(行)，N(列)個取樣點組成，每個取樣點是組成取樣圖像的基本單位，稱為像素.n黑白圖像的像素只有1個亮度值.n彩色圖像的像素是矢量，它由多個彩色分量組成，一般有3個分量(R-紅，G-綠，B-藍). 11 2022-5-26 Multimedia Technology & Application 取樣圖像在計算機中的表示方法是:單色圖像用一個矩陣來表

7、示；彩色圖像用一組矩陣來表示.1.矩陣的行數(shù)稱為圖像的垂直分辨率2.矩陣的列數(shù)稱為圖像的水平分辨率3.矩陣中的元素是像素顏色分量的亮度值，使用整數(shù)表示，一般是8位至12位。12 2022-5-26 Multimedia Technology & Application 藍色分量綠色分量紅色分量圖3.2 彩色圖像的表示13 2022-5-26 Multimedia Technology & Application 分辨率有兩種：顯示分辨率和圖像分辨率。 它是指顯示屏上能夠顯示出的像素數(shù)目。例如，顯示分辨率為840480表示顯示屏分成480行，每行顯示840個像素，整個顯示屏就含有

8、307200個顯像點。屏幕能夠顯示的像素越多，說明顯示設(shè)備的分辨率越高，顯示的圖像質(zhì)量也就越高。14 2022-5-26 Multimedia Technology & Application 它是指組成一幅圖像的像素密度的度量方法。對同樣大小的一幅圖，如果組成該圖的圖像像素數(shù)目越多，則說明圖像的分辨率越高，看起來就越逼真。相反，圖像顯得越粗糙。注意：圖像分辨率與顯示分辨率是兩個不同的概念。 圖像分辨率是確定組成一幅圖像的像素數(shù)目， 顯示分辨率是確定顯示圖像的區(qū)域大小。 15 2022-5-26 Multimedia Technology & Application 即像素的所

9、有顏色分量的二進制位數(shù)之和，它決定了不同顏色（亮度）的最大數(shù)目。或者是確定灰度圖像的每個像素可能有的灰度級數(shù)。 例如，一幅彩色圖像的每個像素用R，G，B三個分量表示，若每個分量用8位，那末一個像素共用24位表示，就說像素的深度為24，每個像素可以是224=18 777 218種顏色中的一種。在這個意義上，往往把像素深度說成是圖像深度。表示一個像素的位數(shù)越多，它能表達的顏色數(shù)目就越多，而它的深度就越深。16 2022-5-26 Multimedia Technology & Application 顏色空間的類型，指彩色圖像所使用的顏色描述方法，也叫顏色模型。 顯示彩色圖像的電視機和計算

10、機顯示器色彩顯示原理主要基于圖像的顏色模型。如圖3.3所示。組合這三種光波以產(chǎn)生特定顏色稱為相加混色，稱為RGB相加模型。相加混色是計算機應(yīng)用中定義顏色的基本方法。 17 2022-5-26 Multimedia Technology & Application 1. 真彩色真彩色(true color)：真彩色是指在組成一幅彩色圖像的每個像素值中，有R,G,B三個基色分量，每個基色分量直接決定顯示設(shè)備的基色強度，這樣產(chǎn)生的彩色稱為真彩色。 2. 直接色直接色( (direct color)direct color)：通過相應(yīng)的彩色變換表找出基色強度，用變換后得到的R,G,B強度值產(chǎn)生

11、的彩色稱為直接色。 18 2022-5-26 Multimedia Technology & Application 3.3.偽彩色偽彩色(pseudo color) ：偽彩色圖像的含義是，每個像素的顏色不是由每個基色分量的數(shù)值直接決定，而是把像素值當(dāng)作彩色查找表(color look-up table,CLUT)的表項入口地址,去查找一個顯示圖像時使用的R,G,B強度值，用查找出的R,G,B強度值產(chǎn)生的彩色稱為偽彩色。19 2022-5-26 Multimedia Technology & Application BMPBMP(BitMap-file)格式,BMP圖像是微軟公

12、司在Windows操作系統(tǒng)下使用的一種標(biāo)準(zhǔn)圖像文件格式。 TIFFTIFF (Tagged Image File Format)格式，被大量使用于掃描儀和桌面出版，有許多圖像圖形應(yīng)用軟件支持這種文件格式。 GIFGIF (Graphics Interchange Format)格式，GIF是目前因特網(wǎng)上廣泛使用的一種圖像文件格式。 JPEGJPEG（the Joint Photographic Experts Group）格式是最流行的壓縮圖像文件格式，采用靜止圖像數(shù)據(jù)壓縮編碼的國際標(biāo)準(zhǔn)壓縮，大量用于因特網(wǎng)和數(shù)碼相機等。 20 2022-5-26 Multimedia Technology &

13、amp; Application PhotoShop軟件軟件：美國Adobe公司開發(fā)的真彩色和灰度圖像編輯處理軟件。它被認(rèn)為是目前世界上最優(yōu)秀的圖像編輯軟件。PhotoShop功能與作用功能與作用：1、它提供多種圖像涂抹、修飾、編輯、創(chuàng)建、合成、分色與打印的方法，并有許多增強圖像的特殊手段，可廣泛地應(yīng)用于美工設(shè)計，廣告及桌面印刷，計算機圖像處理，旅游風(fēng)光展示，動畫設(shè)計，影視特技等領(lǐng)域，是計算機數(shù)字圖像處理的有力工具。 21 2022-5-26 Multimedia Technology & Application 2、 PhotoShop運行在 Windows圖形操作環(huán)境中，可支持TI

14、F、TGA、PCX、GIF、BMP、PSD、JPEG等各種流行的圖像文件格式。3、 PhotoShop能方便地與如文字處理，圖形應(yīng)用，桌面印刷等軟件或程序交換圖像數(shù)據(jù)。 4、PhotoShop支持的圖像類型除常見的黑白、灰度、索引16色、索引256色和RGB真彩色圖像外，還支持CMYK、HSB以及HSV模式的彩色圖像。 22 2022-5-26 Multimedia Technology & Application 屬性欄屬性欄工具欄工具欄圖象窗口圖象窗口工作區(qū)工作區(qū)菜單欄菜單欄浮動面板浮動面板23 2022-5-26 Multimedia Technology & Appli

15、cation 圖層圖層是一組可以用于繪制圖像和存放圖像的透明層。可以將圖層想象為一組透明的膠片，在每一層上都可以繪圖，它們疊加到一起后，從上看下去，看到的就是合成的圖像效果。濾鏡濾鏡是Photoshop中最有特色的地方，也是最令人激動的地方。利用Photoshop提供的各種濾鏡，可以制作出各種令人眼花綴亂的圖像效果。24 2022-5-26 Multimedia Technology & Application PhotoshopPhotoshop中的濾鏡可以分為兩種中的濾鏡可以分為兩種：1 1、PhotoshopPhotoshop自己內(nèi)部帶的濾鏡，這些濾鏡在安裝自己內(nèi)部帶的濾鏡，這些

16、濾鏡在安裝了了PhotoshopPhotoshop之后，可以在濾鏡菜單下看到。之后，可以在濾鏡菜單下看到。PhotoshopPhotoshop提供了近百種內(nèi)置的濾鏡，每一種都提供了近百種內(nèi)置的濾鏡，每一種都可以產(chǎn)生神奇的效果；可以產(chǎn)生神奇的效果；2 2、三方開發(fā)的外掛濾鏡，這種濾鏡在安裝了、三方開發(fā)的外掛濾鏡，這種濾鏡在安裝了PhotoshopPhotoshop后，還需要另外安裝這些濾鏡后才可后，還需要另外安裝這些濾鏡后才可以使用。以使用。 25 2022-5-26 Multimedia Technology & Application 例1制作暈映效果 暈映（Vignettes）效果

17、是指圖像具有柔軟漸變的邊緣效果。如圖3.8所示。26 2022-5-26 Multimedia Technology & Application 操作步驟如下：操作步驟如下：1）使用Photoshop打開一幅圖像；2）在工具欄中選擇橢圓套索工具；3）用橢圓套索工具在圖像中選取所需的部分，圖3.9（a）； 4）執(zhí)行Select菜單下的Feather命令，設(shè)置Feather值為40 pixels；5）執(zhí)行Select菜單下的Inverse命令或按Ctrl+Shift+I組合鍵來反轉(zhuǎn)選擇區(qū)域，圖3.9（b）；6）設(shè)置背景色，如白色。7）按Del鍵用背景色填充選擇區(qū)域，暈映效果即形成。 圖3.

18、9（a）圖3.9（b）27 2022-5-26 Multimedia Technology & Application 在圖3.10中，利用Photoshop可將第二幅圖中的小狗添加到第一幅圖中，由于是在水邊，所以在制作時要考慮給第二只小狗制作水中倒影。圖像合成并制作倒影效果后的圖像如圖3.10中的第3幅圖所示。 例2制作倒影效果。 28 2022-5-26 Multimedia Technology & Application 在Photoshop圖像制作過程中，可對一幅已有的圖像加上下雨的特效，給人一種雨中攝影的效果。如圖3.11中所示。 例3制作雨中攝影效果。29 202

19、2-5-26 Multimedia Technology & Application 30 2022-5-26 Multimedia Technology & Application n視頻技術(shù)源于影視業(yè), 80年代初,由于個人計算機的迅速發(fā)展和普及, 許多計算機公司便致力于研究將聲音、圖形、圖像、視頻作為新的信息媒體輸入輸出計算機。n計算機基本技術(shù)的進展,有效地帶動了數(shù)字視頻壓縮算法和視頻處理器結(jié)構(gòu)的改進, 能做到全屏幕、全運動的視頻圖像、高清晰度的靜態(tài)圖像,視頻特技三維實時的全電視信號以及高速真彩色圖形。31 2022-5-26 Multimedia Technology

20、& Application n視頻信號：連續(xù)的隨著時間變化的一組圖象連續(xù)的隨著時間變化的一組圖象 （24，25，30幀/秒），又叫運動圖象或活動圖象運動圖象或活動圖象n常見視頻信號： 電影，電視，動畫電影，電視，動畫n視頻信號的特點：w 高分辨率（576行）w 色彩逼真（真彩色）w 人類接受的信息70%來自視覺,其中活動圖象 是信息量最豐富、最直觀、生動、具體的一種承載信息的媒體。w 視頻信息的處理是多媒體技術(shù)的核心。32 2022-5-26 Multimedia Technology & Application n模擬視頻模擬視頻w 目前，絕大多數(shù)視頻的記錄、存儲和傳輸仍然是

21、模擬方式。w 科學(xué)技術(shù)發(fā)展使人類已能對自然界中大多數(shù)物體進行模擬。w 真實的圖形和聲音是基于光亮度和聲壓值圖形和聲音是基于光亮度和聲壓值的。他們是空間和時間的連續(xù)函數(shù),將圖像和聲音轉(zhuǎn)換成電信號是通過合適傳感器的使用來完成的。電視攝像機便是一種將自然界中真實圖像轉(zhuǎn)換為電信號的傳感器。 33 2022-5-26 Multimedia Technology & Application n視頻信號視頻信號w 模擬視頻信號是涉及一維時間變量的電信號， f(t),它可通過對Sc(x1,x2,t)在時間坐標(biāo)t和垂直分量X2上采樣得到的。w 視頻攝像機將攝像機前面的圖像轉(zhuǎn)換成電信號。電信號是一維的。圖

22、像是兩維的,并在一個圖像的不同位置有許多值。為了轉(zhuǎn)換這個兩維的圖像成為一維的電信號,圖像被以一種步進次序的方式來掃描這種方式稱為光柵掃描(Raster Scan）。34 2022-5-26 Multimedia Technology & Application 圖3.12 光柵掃描 35 2022-5-26 Multimedia Technology & Application （-逐行掃描是在每一個t時間內(nèi)對一個完整的圖象進行掃描，它被稱之為一幀。計算機行業(yè)對高分辨率采用逐行掃描的t為1/70秒。-電視行業(yè)使用2:1隔行掃描。其間依次對稱為奇數(shù)場和偶數(shù)場的奇數(shù)行和偶數(shù)行進行掃

23、描。這樣做目的是：在一個固定帶寬下可降低閃爍。36 2022-5-26 Multimedia Technology & Application n長寬比 4:3 or 16:9 ( aspect ratio ) 即圖像水平掃描線的長度與圖像豎直方向所有掃描線所復(fù)蓋距離的比。n垂直分辨率（vertical resolution ） 同一幀面掃描線的數(shù)量。掃描線越多,垂直分辨率就越高。廣播電視系統(tǒng)利用了每個幀面525(北美)或625(歐洲)線的垂直分辨率。n水平分辨率（ horizontal resolution） 當(dāng)攝像機掃描點在線上橫向移動時,傳感器輸出的電子信號連續(xù)地變化以反映傳感器

24、所見圖像部分的光亮程度。它依賴于掃描感光點的大小。37 2022-5-26 Multimedia Technology & Application 同步(Synchronization) 假如視頻信號被用于調(diào)節(jié)陰極射線管電子束的亮度時,它能以和傳感器卻好一樣的方式被掃描。將重新產(chǎn)生原始圖像(顯示掃描的原始圖像),這在家用電視機和視頻監(jiān)視器中能精確地進行。因此,電子信號被送到監(jiān)視器必須包含某些附加的信息,以確保監(jiān)視器掃描與傳感器的掃描同步。這個信息被稱為同步信息。38 2022-5-26 Multimedia Technology & Application 39 2022-5-

25、26 Multimedia Technology & Application 總線數(shù) 有效線數(shù) 縱向分辨率 縱橫比 水平分辨率 總象素 625 576 288 4/3 768 440 kb 525 484 242 4/3 645 310 kb 1050 960 675 16/9 600 720000 1250 1000 700 16/9 700 870000 1125 1080 540 16/9 600 575000PALi NTSCiHDTV(A)HDTV(E)HDTV(J)a.水平分辨率指能再現(xiàn)黑白相間的垂直線條的數(shù)目b.隔行掃描把一幀畫面分成兩場,主要目的是為了節(jié)省頻帶， 降低行

26、頻c.垂直分辨率（總線數(shù)）指一幀中的掃描線總數(shù)，有效線數(shù) 指可見的掃描線數(shù)目，縱向分辨率指每一場中可見的掃描 線數(shù)目40 2022-5-26 Multimedia Technology & Application w YUV空間 (PAL)亮度分量 Y=0.3*R+0.59*G+0.11*B色度分量 U=(B-Y)*0.493色度分量 V=(R-Y)*0.877w YIQ空間 (NTSC)亮度分量 Y=0.3*R+0.59*G+0.11*B色度分量 I=0.6*R-0.28*G-0.32*B色度分量 Q=0.21*R-0.52*G+0.31*B (優(yōu)點：與黑白電視兼容；有利于壓縮信號帶

27、寬)41 2022-5-26 Multimedia Technology & Application n視頻信號的時間特性用視頻幀率（Video frame rate）來刻畫。n幀率越高,圖像的運動就越流暢,大于每秒15幀便可產(chǎn)生連續(xù)的運動圖象42 2022-5-26 Multimedia Technology & Application w continuity of motion ( =15f/s)w non flicker ( =50c/s)(PAL制式: 25 frames/s, interlaced NTSC制式: 30 frames/s, interlaced )5

28、75625全屏光點總數(shù):575*(4/3)*575=440 kb (P)484*(4/3)*484=310 kb (N)信號最高頻率:440 k * 25/2 = 5.5MHz(P)310 k * 30/2 = 4.65MHz(N)行頻: 626x25=15.625kHz(P) ; 525x30=15.75kHz(N)43 2022-5-26 Multimedia Technology & Application 頻道總帶寬(MHz) 視頻信號帶寬(MHz) 掃描速率(Hz) 8.0 5.5 1.8 1.8 50i NA 50i 6.0 4.2 1.0 0.6 59.94i NA 59

29、.94i 9.0 10.0 5.0 5.0 59.94p 59.94p 59.94i 12.0 14.0 7.0 7.0 50p 100p 50i 30.0 20.0 7.0 3.0 60i 60i NAPALi NTSCiHDTV(A)HDTV(E)HDTV(J)Y R-Y B-Y 攝象機攝象機 HDTV 常規(guī)常規(guī)44 2022-5-26 Multimedia Technology & Application w 為便于電視信號遠距傳輸，把三個分量信號以及同步信號復(fù)合成一個信號，然后才進行傳輸CVBS = Y+a*U*Sin(Wsc*t) + b*V*Cos(Wsc*t) (Wsc

30、為副載波頻率)w 伴音信號與視頻信號也復(fù)合在一起傳輸亮度亮度色度6MHz(NTSC)-1.0 0.0 1.0 2.0 3.0 4.0圖象載波聲音載波色度副載波音頻45 2022-5-26 Multimedia Technology & Application w 復(fù)合視頻信號 (VHS, 用戶級)w 為保證視頻信號質(zhì)量，近距離時可用分量視頻信號傳輸 ( R,G,B 或 Y,U,V ) (Betacam，廣播級或?qū)I(yè)級)w 介于復(fù)合視頻信號與分量視頻信號之間的S-video (Y/C video)信號，由亮度和復(fù)合的色度信號組成。彩色空間轉(zhuǎn)換( RGB = YUV )顯示信號編碼信號復(fù)合

31、RGBYUVCVBSV SyncH Sync復(fù)合彩電信號46 2022-5-26 Multimedia Technology & Application n錄象帶（模擬）n照相膠片/數(shù)字相機（模擬、數(shù)字）nLD 光盤（模擬+數(shù)字）nVCD光盤（數(shù)字）nDVD光盤（數(shù)字）nMP3、MP4 （數(shù)字）n移動硬盤（數(shù)字）47 2022-5-26 Multimedia Technology & Application 目前世界上現(xiàn)行的彩色電視制式有三種： 它們都是兼容制制式。 這里說的“兼容”有兩層意思：一是指黑白電視機能接收彩色電視廣播，顯示的是黑白圖像，另一層意思是彩色電視機能接收黑

32、白電視廣播，顯示的也是黑白圖像，這叫逆兼容性。48 2022-5-26 Multimedia Technology & Application w 易于操作處理w 質(zhì)量更好w 信息復(fù)制不會失真w 有利于傳輸w 有利于存儲w 可以與其它媒體組合使用w 可以生成標(biāo)題信息（bits about bits）49 2022-5-26 Multimedia Technology & Application 主要可分為兩種方式：通過數(shù)字化設(shè)備如數(shù)碼攝象機、數(shù)碼照相機、數(shù)字光盤等獲得；通過模擬視頻設(shè)備如攝像機、錄像機(VCR)等輸出的模擬信號再由（采集）將其轉(zhuǎn)換成存入計算機，以便計算機進行編輯

33、、播放等各種操作。 50 2022-5-26 Multimedia Technology & Application n將分量視頻信號數(shù)字化n例如，以亮度（Y）和色差（U，V）表示彩色畫面的三個分量：w 對Y、U、V三個分量分別進行采樣w 對Y、U、V三個分量分別進行量化（色差分量的采樣頻率和量化精度,與亮度分量的處理 有所不同） 51 2022-5-26 Multimedia Technology & Application 52 2022-5-26 Multimedia Technology & Application videograbbervideobuffer

34、overlayconversionTV coderVGAgraphicsVGAVRAMMMCPUDSPCodecdiscPCI busvideoRGB monitorTV set53 2022-5-26 Multimedia Technology & Application n視頻圖象數(shù)字化通常有兩種方法。w 一種是復(fù)合編碼，它直接對復(fù)合視頻信號進行采樣、編碼和傳輸；w 另一種是分量編碼，它先從復(fù)合彩色視頻信號中分離出彩色分量，然后數(shù)字化?，F(xiàn)在接觸到的大多數(shù)數(shù)字視頻信號源都是復(fù)合的彩色全視頻信號 如錄象帶、激光視盤、攝象機等。對這類信號的數(shù)字化，如錄象帶、激光視盤、攝象機等。對這類信號

35、的數(shù)字化，通常是先分離成或分量信號，然后用三個通常是先分離成或分量信號，然后用三個轉(zhuǎn)換器分別對它們數(shù)字化。轉(zhuǎn)換器分別對它們數(shù)字化。54 2022-5-26 Multimedia Technology & Application 圖3.17 對復(fù)合視頻信號的分離（或分量信號） 分別濾波 轉(zhuǎn)換器對它們轉(zhuǎn)換數(shù)字化 加以編碼。55 2022-5-26 Multimedia Technology & Application 簡圖前置慮波采樣量化PCM編碼模擬視頻信號 Y,U,V(13.5MHz)(6.75MHz)(8 bits)數(shù)字視頻信息720 pel (可見部分)12 pel 132

36、 pel水平掃描線(64us)每行象素的數(shù)目: 13.5MHz*64us = 864 pel, 有效象素 = 720 (Y) 6.75MHz*64us = 432 pel, 有效象素 = 360 (U,V) 56 2022-5-26 Multimedia Technology & Application 57 2022-5-26 Multimedia Technology & Application * 視頻序列(SEQUENCE), 可隨機存取，有特定語義 * 畫面組(GOP)，可隨機存取，編輯處理單位 * 畫面(Picture), 主編碼單位 * 片(Slice), 傳輸中

37、的重同步單位 * 宏塊(Macro), 運動補償單位 * 塊(Block), DCT單位58 2022-5-26 Multimedia Technology & Application n視頻復(fù)合流由視頻流、音頻流及應(yīng)用數(shù)據(jù)流組成，每個基本流分成許多“分組”(PACKET)n視頻復(fù)合流由若干PACK組成n每個PACK中包含若干個分組n每個分組的長度可變n每個分組中均含有解碼時間戳和表現(xiàn)時間戳，用于解決同步和實時問題。59 2022-5-26 Multimedia Technology & Application 國際無線電咨詢委員會(International Radio Co

38、nsultative Committee)就制定了彩色電視圖像數(shù)字化標(biāo)準(zhǔn)，稱為，。 該標(biāo)準(zhǔn)規(guī)定了彩色電視圖像轉(zhuǎn)換成數(shù)字圖像時使用的采樣頻率,RGB和YCbCr(或者寫成YCBCR)兩個彩色空間之間的轉(zhuǎn)換關(guān)系等 . 1. . 彩色空間之間的轉(zhuǎn)換彩色空間之間的轉(zhuǎn)換 2. 采樣頻率采樣頻率 3. 有效顯示分辨率有效顯示分辨率 60 2022-5-26 Multimedia Technology & Application n一個成功的標(biāo)準(zhǔn)必須滿足商業(yè)的要求并且不限制革新和競爭,最好的辦法是只限定必要的性能指標(biāo),以此來確定基本功能以及重要的數(shù)據(jù)交換方法和接口等。n標(biāo)準(zhǔn)化就是國際化。n標(biāo)準(zhǔn)化工作

39、的過程：研究，實驗，測試；競爭，篩選，優(yōu)化。標(biāo)準(zhǔn)是長期研究開發(fā)的成果，是工業(yè)界和科技界合作的成果。61 2022-5-26 Multimedia Technology & Application (1) 國際標(biāo)準(zhǔn) 由國際標(biāo)準(zhǔn)化組織(ISO)、國際電工委員會(IEC) 和國際電信聯(lián)盟(ITU)制定。 (2) 國家標(biāo)準(zhǔn) 由各國國家標(biāo)準(zhǔn)委員會制定. 如中國的GB,美國的 ANSI,德國的DIN和日本的JIS等。 (3) 公共規(guī)范(Public Specifications)或地區(qū)標(biāo)準(zhǔn) 由多家公司或一 些地區(qū)性的聯(lián)合組織(Consortium)共同開發(fā)。如早 期的網(wǎng)絡(luò)協(xié)議TCP/IP標(biāo)準(zhǔn)等。

40、(4) 企業(yè)(實用)標(biāo)準(zhǔn)(De-Facto Standard) 它由一家公司開發(fā),并被 市場接受,如MS Win 95 軟件標(biāo)準(zhǔn)。62 2022-5-26 Multimedia Technology & Application (1) ISO/IEC的聯(lián)合技術(shù)委員會JTC1的分委會(SC) SC17, SC31 Data Capture and Identification System SC18 Document Processing 文件處理與相關(guān)通信; SC21 SC11, SC23 Information Interchange Media（磁盤，光盤） SC6，SC25，SC

41、256 Networking & Interconnects SC24，SC29: Multimedia and Representation 標(biāo)準(zhǔn)制定過程 工作組草案(WD)=委員會草案(CD)=國際標(biāo)準(zhǔn)草案(DIS)=國際標(biāo)準(zhǔn)(IS)63 2022-5-26 Multimedia Technology & Application (2) ISO/ TC36 電影攝影術(shù); TC42 攝影術(shù); TC43 聲學(xué); TC159 人類工效學(xué)。(3) ITU-R/ SG10 聲學(xué); SG11 電視。64 2022-5-26 Multimedia Technology & App

42、lication (4) ITU-T/ SG1 視聽/多媒體服務(wù); SG8 視聽遠距服務(wù)。(5) DAVIC 數(shù)字音頻視頻委員會。(6) DVB 已于1995年底完成數(shù)字電視廣播規(guī)范。65 2022-5-26 Multimedia Technology & Application (1)消費者子系統(tǒng)接口消費者子系統(tǒng)接口 包括消費者子系統(tǒng)與網(wǎng)絡(luò)之間以及終端與其它用戶裝置之間的雙向接口,可以考慮以DAVIC參考模型作為基礎(chǔ)。 (2)用戶接口用戶接口 包括對用戶提供服務(wù)的雙向接口,可以通過手動操作或與網(wǎng)絡(luò)通信來進行。 (3)安全、存取控制、拷貝管理安全、存取控制、拷貝管理 (4)多媒體節(jié)目多

43、媒體節(jié)目 要有利于現(xiàn)有的和開發(fā)中的各種格式的用戶裝置的競爭, 而不加任何不合理的限制。66 2022-5-26 Multimedia Technology & Application 每行象素的數(shù)目: 13.5MHz*64us = 864 pel, 有效象素 = 720 (Y) 6.75MHz*64us = 432 pel, 有效象素 = 360 (U,V) (13.5MHz)(6.75MHz)67 2022-5-26 Multimedia Technology & Application ( (色差信號格式為色差信號格式為4:2:2)4:2:2) 名稱 分辨率 量化精度 數(shù)碼

44、率 應(yīng)用CCIR601 720 x576x25(l) 8 124Mb/s 普通電視 360 x576x25(c) 4+4CIF 360 x288x25(l) 8 23Mb/S 視頻會議 180 x144x25(c) 2+2 QCIF 180 x144x25(l) 8 5.8Mb/S 電視電話 90 x72x25(c) 2+2HDTV 1280 x720 x60 8+8+8 885Mb/s HDTV(ITU-R 601)68 2022-5-26 Multimedia Technology & Application 數(shù)字音頻、視頻信息量大信息量大數(shù)據(jù)壓縮的可能性（原始的視頻圖像信息存在很

45、大的冗余度等）有許多方法用于圖像壓縮,但它們可基本分為兩種類型:無損壓縮有損壓縮。在于移走冗余信息,減少表示一個圖像所需的存貯量。69 2022-5-26 Multimedia Technology & Application n信息是對事件和物體的抽象描述n數(shù)據(jù)是在確定 了描述方法后對事件和物體的具體描述記錄（表示）n對同一信息,若使用的描述方法不同,則形 成記錄的數(shù)據(jù)量可能完全不同n數(shù)據(jù)壓縮的目的,就是用盡可能少的數(shù)據(jù)來表達信息,從而節(jié)省傳輸和存儲的開銷。 70 2022-5-26 Multimedia Technology & Application n 畫面內(nèi)部信息有很

46、強的相關(guān)性n 相鄰畫面有高度的相容性n 運動可以估測（Motion Estimation）n 人眼的視覺特性71 2022-5-26 Multimedia Technology & Application 信源模型編碼技術(shù)1. 單個像素顏色PCM編碼2. 像素塊顏色ADPCM，變換編碼3. 像素塊顏色和運動帶運動補償?shù)腄PCM/DCT混合 編碼、小波編碼72 2022-5-26 Multimedia Technology & Application 4. 運動的結(jié)構(gòu)分形編碼、輪廓/紋理編碼5. 圖像中每個物體的形狀、運動和顏色分析/綜合編碼6. 圖像中己知物體的形狀、運動和顏色

47、知識基編碼7. 圖像中的行為單元語義學(xué)編碼73 2022-5-26 Multimedia Technology & Application n 重建圖像的質(zhì)量n 編碼/解碼延時n 錯誤修復(fù)能力n 碼率n 算法復(fù)雜程度74 2022-5-26 Multimedia Technology & Application 1.1.JPEG(theJointPhotographicExpertsGroupJPEG(theJointPhotographicExpertsGroup) ) 2.2.電視電話電視電話/ /會議電視會議電視P P84K84K位位/ /秒秒( (CCITTH.28)C

48、CITTH.28) 標(biāo)準(zhǔn)標(biāo)準(zhǔn) 3.3.運動圖像專家組運動圖像專家組MPEG-1MPEG-1標(biāo)準(zhǔn)標(biāo)準(zhǔn) 4 4運動圖像專家組運動圖像專家組MPEG-2MPEG-2及其他標(biāo)準(zhǔn)及其他標(biāo)準(zhǔn) 5.5.常用的還有常用的還有MPEG-4MPEG-4、 MPEG-7MPEG-7和和H.261H.261 75 2022-5-26 Multimedia Technology & Application n是ISO/IEC/JTC1/SC29下面的一個工作組WG11,成立于1988年。大約有100多家單位300名專家參加,分10個組進行工作。n1993年8月和1994年11月公布的標(biāo)準(zhǔn)PEG-1和MPEG-2

49、,在影視和多媒體計算機領(lǐng)域中得到了廣泛應(yīng)用, MPEG-4將于1998年公布。76 2022-5-26 Multimedia Technology & Application 77 2022-5-26 Multimedia Technology & Application n MPEG-1標(biāo)準(zhǔn) 1993年8月公布。用于傳輸1.5Mbps數(shù)據(jù)傳輸率的數(shù)字存儲媒體運動圖像及其伴音的編碼。n MPEG-2標(biāo)準(zhǔn) 1994年11月公布。主要針對高清晰度電視(HDTV)所需要的視頻及伴音信號，典型傳輸速率為10Mbps，與MPEG-1兼容，適用于 1.5Mbps60Mbps甚至更高的編碼范

50、圍。 78 2022-5-26 Multimedia Technology & Application nMPEG-4標(biāo)準(zhǔn) 專家組成立于1993年。該標(biāo)準(zhǔn)的目標(biāo)為：支持多種多媒體應(yīng)用(主要側(cè)重于對多媒體信息內(nèi)容的訪問)，可根據(jù)應(yīng)用的不同要求現(xiàn)場配置解碼器。該標(biāo)準(zhǔn)將于1998年11月公布。 nMPEG-7標(biāo)準(zhǔn)是“多媒體內(nèi)容描述接口” (Multimedia Content Description Interface)。該標(biāo)準(zhǔn)將確定各種類型的多媒體信息標(biāo)準(zhǔn)的描述方法。該標(biāo)準(zhǔn)計劃于2000年11月公布。79 2022-5-26 Multimedia Technology & Appl

51、ication nMPEG支持JPEG和H.261等優(yōu)秀標(biāo)準(zhǔn),在參加競爭的14個方案的基礎(chǔ)上,通過反復(fù)協(xié)調(diào)而得到統(tǒng)一,從而成為先進、合理、質(zhì)量高、成本低的優(yōu)秀標(biāo)準(zhǔn),為世界所公認(rèn)。nMPEG促進了大規(guī)模集成電路專用芯片的發(fā)展,為多媒體技術(shù)、產(chǎn)品的繁榮立下了功勞。80 2022-5-26 Multimedia Technology & Application n以MPEG-1作為視音頻 壓縮標(biāo)準(zhǔn)的VCD在我國已經(jīng)形成了龐大的市場n以MPEG-2作為視音頻壓縮標(biāo)準(zhǔn)的數(shù)字衛(wèi)星電視接收機IRD已經(jīng)在歐美形成了很大市場， 1993年下半年,美國高級電視聯(lián)盟(ATV Grand Alliance)和

52、歐洲數(shù)字視頻廣播計劃(Digital Video Broadcast Project)先后決定將MPEG -2用于自己的高分辨率電視(HDTV)廣播中;81 2022-5-26 Multimedia Technology & Application nVCD首先在中國開發(fā)和廣泛應(yīng)用。n中科院聲學(xué)所在MPEG-1解碼設(shè)備的設(shè)計與產(chǎn)業(yè)化方面做出了突出的貢獻。中科院計算所國家智能計算機研究開發(fā)中心完成的MPEG-2解碼設(shè)備已經(jīng)成功應(yīng)用到DVD和數(shù)字衛(wèi)星電視 接收機等產(chǎn)品中。n四川鼎天公司設(shè)計的具有實時MPEG-1和MPEG-2解碼功能的多媒體計算機于早就已經(jīng)研制成功,并在當(dāng)年美國秋季計算機展

53、覽會上公開發(fā)布。82 2022-5-26 Multimedia Technology & Application nVCD首先在中國開發(fā)和廣泛應(yīng)用。n中科院聲學(xué)所在MPEG-1解碼設(shè)備的設(shè)計與產(chǎn)業(yè)化方面做出了突出的貢獻。n中科院計算所國家智能計算機研究開發(fā)中心完成的MPEG-2解碼設(shè)備已經(jīng)成功應(yīng)用到DVD和數(shù)字衛(wèi)星電視 接收機等產(chǎn)品中。n四川鼎天公司設(shè)計的具有實時MPEG-1和MPEG-2解碼功能的多媒體計算機于早就已經(jīng)研制成功,并在當(dāng)年美國秋季計算機展覽會上公開發(fā)布。83 2022-5-26 Multimedia Technology & Application n信息基礎(chǔ)設(shè)

54、施的不斷完善,要求多媒體技術(shù)在節(jié)目供應(yīng)、服務(wù)供應(yīng)、網(wǎng)絡(luò)供應(yīng)和用戶等各個環(huán)節(jié)上起作用。因此,多媒體標(biāo)準(zhǔn)必須考慮上述4個環(huán)節(jié)。n1996年12月,在ISO/IEC/JTC1的年會上,信息基礎(chǔ)設(shè)施專題工作組(SWG-GII)提出的全球信息基礎(chǔ)設(shè)施標(biāo)準(zhǔn)化首次報告中,初步認(rèn)定了100項標(biāo)準(zhǔn)專題項目,其中的機頂盒接口、人機接口要求和圖形存取等許多標(biāo)準(zhǔn)是以相應(yīng)的多媒體標(biāo)準(zhǔn)為基礎(chǔ)的。84 2022-5-26 Multimedia Technology & Application Microsoft Windows Media Player（以下稱 Media Player）是Windows操作系統(tǒng)自帶

55、的一種。： 可以用來播放 CD、DVD 和 VCD，能從 CD 復(fù)制曲目，創(chuàng)建自己的音頻和數(shù)據(jù)CD，收聽電臺廣播，搜索和組織數(shù)字媒體文件及向便攜設(shè)備（如 Pocket PC 和便攜式數(shù)字音頻播放機）復(fù)制文件。 85 2022-5-26 Multimedia Technology & Application ：單擊“開始”|“程序”|“附件”|“娛樂”|“Windows Media Player”即可運行該軟件，軟件運行后，屏幕出現(xiàn)圖3.25的運行界面。86 2022-5-26 Multimedia Technology & Application 快速訪問面板快速訪問面板隱藏任

56、務(wù)欄按鈕隱藏任務(wù)欄按鈕播放控件區(qū)域播放控件區(qū)域正在播放區(qū)域正在播放區(qū)域播放信息區(qū)域播放信息區(qū)域87 2022-5-26 Multimedia Technology & Application 文件類型（格式）文件類型（格式）文件擴展名文件擴展名音樂音樂 CD CD 播放（播放（CD CD 音頻）音頻）.cda .cda 音頻交換文件格式音頻交換文件格式 ( (AIFF)AIFF).aif.aif、.aifc .aifc 和和 . .aiffaiffWindows MediaWindows Media音音/ /視頻文件視頻文件.asf.asf、.asx.asx、.wax.wax、.wm.

57、wm、.wma.wma、.wmd.wmd、.wmp.wmp、.wmv.wmv、.wmx.wmx、. .wpl wpl 和和 . .wvxwvxWindows Windows 音頻和視頻文件音頻和視頻文件.avi .avi 和和 . .wavwavWindows Media PlayerWindows Media Player外觀外觀.wmz.wmz運動圖像專家組運動圖像專家組 ( (MPEG)MPEG).mpeg.mpeg、.mpg.mpg、.m1v.m1v、.mp2.mp2、.mpa.mpa、.mpe.mpe、.mp2v.mp2v* * 和和 . .mpv2mpv2音樂器材數(shù)字接口音樂器材數(shù)

58、字接口 ( (MIDI)MIDI).mid.mid、.midi .midi 和和 . .rmirmiAU (UNIX)AU (UNIX).au .au 和和 . .sndsndMP3MP3.mp3 .mp3 和和 . .m3um3uDVD DVD 視頻視頻.vob.vobMacromedia FlashMacromedia Flash.swf.swf88 2022-5-26 Multimedia Technology & Application 操作步驟如下操作步驟如下：（1）在“播放”菜單上指向“DVD、VCD 或 CD 音頻”，然后單擊包含 DVD 的驅(qū)動器。 （2）在播放列表窗格中單擊適當(dāng)?shù)?DVD 標(biāo)題或章節(jié)名。 選擇要播放的視頻文件。 89 2022-5-26 Multimedia Technology & Application 操作步驟如下：（1）運行Media Player；（2）將 VCD 插入 CD-ROM 驅(qū)動器中，VCD 就會自動開始播放。若 Windows Media Player播放機正在播放其他內(nèi)容，可以使用“播放”菜單播放 VCD。 若要在Media Player中播放視頻文件，操作步驟為：（1）運行Media Player；（2）單