多媒體視覺技術(shù)

多媒體視覺技術(shù)第一頁，共四十四頁，編輯于2023年，星期五3.1基礎(chǔ)知識3.1.1人的視覺特性3.1.2視頻基礎(chǔ)第二頁，共四十四頁，編輯于2023年，星期五3.1.1人的視覺特性1.對色彩的感知可見光是由各種不同波長的彩色光組合而成的白光，通過三棱鏡可以看到白光被分解為紅、橙、黃、綠、藍(lán)、靛、紫七種顏色，稱為光譜。如下圖所示。第三頁，共四十四頁，編輯于2023年，星期五3.1.1人的視覺特性2.對亮度的感知所謂光亮度，就是人對光的心理感受程度。它與光波長和眼的感受能力也有關(guān)系。3.對形狀和景深的感知由視覺所感知的物體，不單是由視網(wǎng)膜上形成的圖像的外形決定，還取決于人的經(jīng)驗(yàn)、習(xí)慣和看問題的角度。對景深的感知，人的視覺系統(tǒng)有三種途徑：（1）單眼視覺深度線索。（2）雙眼視覺深度線索。（3）雙眼差異或立體鏡視覺深度線索。第四頁，共四十四頁，編輯于2023年，星期五3.1.1人的視覺特性4.視覺惰性人眼的視覺是有惰性的，這種惰性現(xiàn)象也稱為視覺的暫留。當(dāng)一幅圖像在眼睛中成像后，信號完全消失需要一個相當(dāng)長的時間。5.視覺掩蔽效應(yīng)

所謂視覺掩蔽效應(yīng)是在視野中的同一位置呈現(xiàn)一個視覺模式，用以干擾觀看原刺激所必需的某些處理過程。一般分為時間域上的、空間域上的和色彩三方面的效果。1）時間域上的視覺掩蔽效應(yīng)2）空間域上的視覺掩蔽效應(yīng)3）色彩上的視覺掩蔽效應(yīng)第五頁，共四十四頁，編輯于2023年，星期五3.1.2視頻基礎(chǔ)1.色彩的基本概念1）色彩的性質(zhì)

顏色是人的視覺系統(tǒng)對可見光的感知結(jié)果。2）色彩三要素（1）色調(diào)。（2）亮度。（3）飽和度。第六頁，共四十四頁，編輯于2023年，星期五3.1.2視頻基礎(chǔ)3）色彩的互補(bǔ)可用公式表示這個互補(bǔ)關(guān)系：∵紅光＋綠光＋藍(lán)光＝白光且紅光＋綠光＝黃色光紅光＋藍(lán)光＝品色光綠光＋藍(lán)光＝青色光∴紅光＋青色光＝白光綠光＋品色光＝白光藍(lán)光＋黃色光＝白光配色公式：任意一種顏色F＝R（紅色百分比）＋G（綠色百分比）＋B（藍(lán)色百分比）第七頁，共四十四頁，編輯于2023年，星期五3.1.2視頻基礎(chǔ)2.彩色空間表示及其線性變換1）彩色空間模型彩色空間是用一種數(shù)學(xué)方法表示顏色，通常用三維模型表示，其顏色要取決于所使用的坐標(biāo)。彩色空間有設(shè)備相關(guān)和設(shè)備無關(guān)之分。幾種典型的色彩空間：（1）彩色顯示器使用的RGB彩色空間。（2）打印機(jī)使用的CMY彩色空間。（3）彩色電視使用的YUV和YIQ彩色空間。（4）其他彩色空間（HSI彩色空間、CIE彩色空間）。第八頁，共四十四頁，編輯于2023年，星期五3.1.2視頻基礎(chǔ)2）各彩色空間模型之間的線性變化不管多媒體計(jì)算機(jī)系統(tǒng)中采用什么形式的彩色空間，最后的輸出一定要轉(zhuǎn)換成RGB彩色空間，才能在顯示器上輸出。（1）YUV<->RGB的轉(zhuǎn)換。（2）YIQ<->RGB的轉(zhuǎn)換。（3）HIS<->RGB的轉(zhuǎn)換。第九頁，共四十四頁，編輯于2023年，星期五3.2圖形和圖像的計(jì)算機(jī)處理技術(shù)3.2.1圖形和圖像3.2.2圖形圖像處理的基礎(chǔ)3.2.3圖形圖像的獲取3.2.4圖形圖像處理的一般技術(shù)簡介3.2.5圖形圖像的輸出第十頁，共四十四頁，編輯于2023年，星期五3.2.1圖形和圖像1.概念（1）圖形也稱矢量圖形，通常由圖形應(yīng)用程序創(chuàng)建，內(nèi)部表示為直線、曲線或圓弧等圖元對象的集合。（2）圖像也稱點(diǎn)位圖，它來源于現(xiàn)實(shí)或虛擬世界，是用攝像機(jī)或掃描儀等輸入設(shè)備捕捉實(shí)際場景畫面產(chǎn)生的數(shù)字圖像，其最小的可尋址的圖像元素為像素。第十一頁，共四十四頁，編輯于2023年，星期五3.2.1圖形和圖像2.矢量圖和位圖的比較及轉(zhuǎn)換

1）矢量圖和位圖的比較

矢量圖位圖容量與圖的復(fù)雜程度有關(guān)，一般較小與圖的尺寸和顏色有關(guān)，一般較大文件內(nèi)容圖形指令圖像點(diǎn)陣數(shù)據(jù)顯示速度圖越復(fù)雜，需執(zhí)行的指令越多，顯示越慢與圖的容量有關(guān)應(yīng)用特點(diǎn)易于編輯，適于“繪制”和“創(chuàng)建”，但表現(xiàn)力受限適于“獲取”和“復(fù)制”，表現(xiàn)力豐富，但編輯起來較復(fù)雜第十二頁，共四十四頁，編輯于2023年，星期五3.2.1圖形和圖像

2）矢量圖和位圖的轉(zhuǎn)化（1）硬轉(zhuǎn)化——文件在輸入/輸出設(shè)備之間的轉(zhuǎn)化。（2）軟轉(zhuǎn)化——文件格式之間的轉(zhuǎn)化。3.圖像文件的特性

1）分辨率圖像分辨率是確定組成一幅圖像的像素?cái)?shù)目。第十三頁，共四十四頁，編輯于2023年，星期五3.2.1圖形和圖像2）色彩深度色彩深度（像素深度），也稱圖像深度，是指存儲每個像素所用的位數(shù)。3）圖像文件的大小圖像文件大小是指計(jì)算機(jī)存儲設(shè)備上存儲圖像所有點(diǎn)（像素）的字節(jié)數(shù)，有如下公式：文件容量＝圖像分辨率（水平分辨率×垂 直分辨率）×色彩深度/8第十四頁，共四十四頁，編輯于2023年，星期五3.2.1圖形和圖像4）真彩色、偽彩色和直接色

真彩色——指在組成一幅彩色圖像的每個像素值中，有R、G、B三原色分量，每個原色分量直接決定顯示設(shè)備的原色強(qiáng)度，這樣產(chǎn)生的彩色稱為真彩色。

偽彩色——指把像素值當(dāng)作預(yù)先做好的彩色查找表（CLUT）的表項(xiàng)入口地址（索引值），去查找一個顯示圖像時使用的R、G、B三個分量的強(qiáng)度值，用查找出的R、G、B強(qiáng)度值產(chǎn)生的顏色稱為偽彩色。

直接色——跟偽彩色原理類似，只不過將R、G、B三個分量分別獨(dú)立索引，再將找到的強(qiáng)度值進(jìn)行合成處理后輸出。第十五頁，共四十四頁，編輯于2023年，星期五3.2.1圖形和圖像一般的圖像文件結(jié)構(gòu)主要包含有文件頭、文件體和文件尾三部分。5.圖像質(zhì)量評價1）客觀評價2）主觀評價表

國際上通用的五級質(zhì)量尺度和妨礙尺度質(zhì)量分?jǐn)?shù)妨礙尺度質(zhì)量尺度5絲毫看不出圖像質(zhì)量變壞很好4可看出圖像質(zhì)量變化但不妨礙觀看好3明顯地看出圖像質(zhì)量變壞一般2圖像質(zhì)量對觀看有妨礙差1圖像質(zhì)量對觀看有嚴(yán)重妨礙很差4.圖像文件的結(jié)構(gòu)第十六頁，共四十四頁，編輯于2023年，星期五3.2.1圖形和圖像6.圖形圖像文件格式1）圖像文件格式（1）BMP文件。

BMP（Bitmap-File，位圖文件）格式是Windows采用的圖像文件存儲格式，在Windows環(huán)境下運(yùn)行的所有圖像處理軟件都支持這種格式。（2）GIF文件。

GIF（GraphicsInterchangeFormat）是CompuServe公司開發(fā)的圖像文件存儲格式，GIF文件格式采用壓縮存儲（LZW壓縮算法）而縮短獲取圖像信息的時間。第十七頁，共四十四頁，編輯于2023年，星期五3.2.1圖形和圖像（3）JPEG文件。由JPEG專家組制定的第一個壓縮靜態(tài)數(shù)字圖像的國際標(biāo)準(zhǔn)，圖像的保真度在較寬的壓縮范圍里的評價是“好”、“很好”到“與原始圖像幾乎不能區(qū)分”。（4）PCX文件。

PCX文件的色彩深度可選為1bit、4bit、8bit，它不支持真彩色。PCX文件采用RLE行程編碼。（5）TIFF文件。

TIFF圖像格式最大的優(yōu)點(diǎn)是可移植性好。TIFF定義了四類不同的格式：TIFF—B；TIFF—G；TIFF—P；TIFF—R。第十八頁，共四十四頁，編輯于2023年，星期五3.2.1圖形和圖像（6）PSD、PDD文件。

PSD、PDD是Photoshop圖像處理軟件專用的圖像文件格式。（7）TGA文件。

TGA格式能很好地在Macintosh計(jì)算機(jī)上再現(xiàn)圖像的色彩。（8）PNG文件。

PNG（PortableNetworkGraphicFormat，流式網(wǎng)絡(luò)圖形格式）是20世紀(jì)90年代中期開始開發(fā)的圖像文件存儲格式。PNG使用從LZ77派生的無損數(shù)據(jù)壓縮算法。

第十九頁，共四十四頁，編輯于2023年，星期五3.2.1圖形和圖像2）圖形文件格式（1）EPS文件。（2）CDR文件。（3）DXF文件。（4）WMF文件。（5）SVG（ScalableVectorGraphics，可升級矢量圖像）。第二十頁，共四十四頁，編輯于2023年，星期五3.2.2圖形圖像處理的基礎(chǔ)1.圖像處理的基本內(nèi)容1）圖像增強(qiáng)

圖像增強(qiáng)技術(shù)是一類具有相似效果的多種技術(shù)的集合，它試圖變換圖像的視覺效果，或把圖像轉(zhuǎn)換成某種適合于人或計(jì)算機(jī)分析的圖像形式。2）圖像恢復(fù)

圖像恢復(fù)就是研究從所獲得的變質(zhì)圖像中恢復(fù)出真實(shí)圖像。圖像恢復(fù)的關(guān)鍵是建立圖像變質(zhì)模型，然后按照其退化的逆過程恢復(fù)圖像。第二十一頁，共四十四頁，編輯于2023年，星期五3.2.2圖形圖像處理的基礎(chǔ)3）圖像識別圖像識別也稱模式識別，就是對圖像進(jìn)行特征抽取，然后根據(jù)圖形的幾何及紋理特征利用模式匹配等識別理論對圖像進(jìn)行分類和結(jié)構(gòu)分析。4）圖像編碼圖像編碼即圖像壓縮，亦即在圖像質(zhì)量允許的條件下壓縮圖像。第二十二頁，共四十四頁，編輯于2023年，星期五3.2.2圖形圖像處理的基礎(chǔ)2.圖像的數(shù)字化所謂數(shù)字化圖像是將模擬圖像轉(zhuǎn)化成由一系列離散數(shù)據(jù)（二進(jìn)制數(shù)）所表示的圖像。其過程如下圖所示。第二十三頁，共四十四頁，編輯于2023年，星期五3.2.3圖形圖像的獲取1.捕獲圖像數(shù)字圖像的捕獲過程是基于現(xiàn)實(shí)圖像或其他數(shù)字圖像的。捕獲現(xiàn)實(shí)圖像是指，從真實(shí)的三維場景中捕獲二維圖像。捕獲的圖像要采樣、數(shù)字化后才能讓計(jì)算機(jī)作進(jìn)一步的處理。代表一個圖像的二維空間矩陣是由像素組成的，像素是最小的圖像分辨率單位，每個像素有一個數(shù)值對應(yīng)。捕獲后的數(shù)字化圖像一般都很大，通常需要進(jìn)行壓縮編碼才能存儲和傳輸。第二十四頁，共四十四頁，編輯于2023年，星期五3.2.3圖形圖像的獲取2.創(chuàng)建圖形創(chuàng)建圖形首先要依靠圖形輸入設(shè)備。此外，圖形的創(chuàng)建還需要一些圖形軟件協(xié)助完成。如常見的交互式圖形系統(tǒng)。該系統(tǒng)包括三個模塊：應(yīng)用模板、應(yīng)用程序和圖形系統(tǒng)與一個硬件組件組成的集合體。3.存儲圖形圖像

存儲圖像文件的時候，可以直接保存像素矩陣。但一般是存儲像素值的索引值。至于存儲圖形文件，存儲的數(shù)據(jù)不是像素值，而是描述圖形的公式、指令、程序等?；胤牛@示或打印等）時再進(jìn)行圖形畫面的裝載和重構(gòu)。第二十五頁，共四十四頁，編輯于2023年，星期五3.2.4圖形圖像處理的一般技術(shù)簡介1.圖像的分析1）圖像特性2）圖像分割3）圖像識別2.圖像的重構(gòu)圖像的重構(gòu)是圖像的獲取的逆過程。即是將投影得到的數(shù)據(jù)重構(gòu)原始三維場景。第二十六頁，共四十四頁，編輯于2023年，星期五3.2.5圖形圖像的輸出介紹一種比較有趣的輸出技術(shù)——抖動技術(shù)。抖動技術(shù)也稱半色調(diào)技術(shù)，是指在可用顏色或灰度數(shù)低于所需的顏色數(shù)或灰度數(shù)的時候（如用單色顯示器顯示彩色圖像），利用人眼睛的空間集成化的功能，利用半色調(diào)技術(shù)或集束點(diǎn)的有序抖動來滿足顏色數(shù)或色度數(shù)的技術(shù)。第二十七頁，共四十四頁，編輯于2023年，星期五3.2.5圖形圖像的輸出如下面所示的這幾幅圖，如果沒有用抖動技術(shù)，直接將24位真彩圖用黑白單色圖表示，則黑點(diǎn)多時較暗，白點(diǎn)多時較亮。第二十八頁，共四十四頁，編輯于2023年，星期五3.2.5圖形圖像的輸出若是一幅灰度圖，那怎樣用二值（黑白）顏色更好地表示呢？圖案法是指灰度可以用一定比例的黑白點(diǎn)（方格）組成的區(qū)域表示，從而達(dá)到整體圖像的灰度感。黑白點(diǎn)的位置選擇稱為圖案化。N×N黑白方格表示一個像素時，這個像素可以有N2+1個級別的灰度值，如下圖所示的2×2方格有5個灰度值。抖動技術(shù)使黑白點(diǎn)的分布比較均勻與合理。

第二十九頁，共四十四頁，編輯于2023年，星期五3.3視頻處理技術(shù)3.3.1視頻技術(shù)基本概念3.3.2傳統(tǒng)的電視和高清晰度電視（HDTV）3.3.3數(shù)字電視簡介3.3.4動畫簡介3.3.5常見的數(shù)字視頻格式第三十頁，共四十四頁，編輯于2023年，星期五3.3.1視頻技術(shù)基本概念1.視頻信號的可視表示視頻是由一幅幅單獨(dú)的畫面（幀）序列組成的，這些畫面以一定的速率（幀率）連續(xù)地投射在屏幕上，使觀眾具有圖像連續(xù)運(yùn)動的感覺。所謂可視化表示，是指電視圖像精確地表達(dá)出場景的空間和時間的內(nèi)容，在觀眾面前呈現(xiàn)一幅盡可能接近真實(shí)的場景表示。其有以下幾種指標(biāo)：

1）縱橫比、觀察距離和視覺角度第三十一頁，共四十四頁，編輯于2023年，星期五3.3.1視頻技術(shù)基本概念

2）亮度、深度感知

3）運(yùn)動的連續(xù)性

4）閃爍現(xiàn)象2.視頻信號的數(shù)字化視頻信號必須從模擬量轉(zhuǎn)化為數(shù)字量以后才能夠被計(jì)算機(jī)處理或存儲或傳輸。這個過程的結(jié)果得到數(shù)字化的視頻信號。整個數(shù)字化過程包括采樣、量化和編碼三大部分。通常有兩種數(shù)字編碼類型：分量編碼和復(fù)合編碼。后來出現(xiàn)了一種分量編碼和復(fù)合編碼的折衷方案：分離電視信號S-Video編碼。第三十二頁，共四十四頁，編輯于2023年，星期五3.3.1視頻技術(shù)基本概念3.視頻信號的格式視頻信號的編碼基礎(chǔ)是色彩空間表示。計(jì)算機(jī)所處理的視頻格式取決于視頻輸入設(shè)備和輸出設(shè)備。4.視頻的計(jì)算機(jī)處理技術(shù)（1）視頻信號的捕獲主要借助于視頻采集卡，將模擬視頻信號轉(zhuǎn)換成數(shù)字視頻信號，并對轉(zhuǎn)換后的視頻信號進(jìn)行壓縮處理并保存在內(nèi)存或硬盤中。第三十三頁，共四十四頁，編輯于2023年，星期五3.3.1視頻技術(shù)基本概念（2）在多媒體計(jì)算機(jī)系統(tǒng)中，可借助普通的視頻編輯軟件對數(shù)字化了的視頻信號進(jìn)行處理。（3）視頻回放技術(shù)，主要有三類：全屏幕實(shí)時播放、全屏幕全數(shù)字化播放和局部屏幕數(shù)字化播放。影響回放質(zhì)量的因素主要有數(shù)據(jù)速率、壓縮比和關(guān)鍵幀的選取。第三十四頁，共四十四頁，編輯于2023年，星期五3.3.2傳統(tǒng)的電視和高清晰度電視（HDTV）1.傳統(tǒng)的電視（1）NTSC（全國電視系統(tǒng)委員會制式）（2）PAL（逐行倒相制式）（3）SECAM（順序與存儲彩色電視系統(tǒng)）2.HDTVHDTV就是高清晰度電視，HDTV具有以下幾個特點(diǎn)：（1）分辨率：縱橫像素?cái)?shù)是傳統(tǒng)的2倍。（2）縱橫比：W/H=16/9=1.777。（3）觀看距離：比傳統(tǒng)距離近才能看到細(xì)節(jié)。第三十五頁，共四十四頁，編輯于2023年，星期五3.3.2傳統(tǒng)的電視和高清晰度電視（HDTV）（4）采用國際標(biāo)準(zhǔn)的壓縮編碼算法MPEG-II。（5）采用打包數(shù)據(jù)結(jié)構(gòu)，圖像和聲音分成不同分量，數(shù)據(jù)包的大小隨意，傳輸次序隨機(jī)。（6）采用雙層傳輸技術(shù)，保證HDTV的可靠性和抗干擾性。將信息分開，重要數(shù)據(jù)在最高優(yōu)先級載波上傳輸。第三十六頁，共四十四頁，編輯于2023年，星期五3.3.3數(shù)字電視簡介所謂數(shù)字電視，是將傳統(tǒng)的模擬電視信號經(jīng)過抽樣、量化和編碼，轉(zhuǎn)換成用二進(jìn)制數(shù)代表的數(shù)字式信號，然后進(jìn)行各種功能的處理、傳輸、存儲和記錄，也可以用電子計(jì)算機(jī)進(jìn)行處理、監(jiān)測和控制。1.數(shù)字電視簡史

日本是世界上最早推出數(shù)字電視和進(jìn)行數(shù)字電視廣播的國家。第三十七頁，共四十四頁，編輯于2023年，星期五3.3.3數(shù)字電視簡介2.數(shù)字電視與模擬電視的比較模擬電視數(shù)字電視成本低成本高清晰度差清晰度高不穩(wěn)定、易失真穩(wěn)定、無失真采用被動接收方式互動性強(qiáng)計(jì)算機(jī)無法處理便于計(jì)算機(jī)處理功能少功能強(qiáng)大數(shù)據(jù)量不多數(shù)據(jù)量大第三十八頁，共四十四頁，編輯于2023年，星期五3.3.4動畫簡介

動畫是通過以15～20幀每秒的速度順序地播放靜止圖像幀以產(chǎn)生運(yùn)動的錯覺。1.動畫基礎(chǔ)

1）動畫的生成過程（1）輸入。（2）合成。（3）處理。（4）變色。第三十九頁，共四十四頁，編輯于2023年，星期五3.3.4動畫簡介

2）動畫的種類（1）塊動畫（2）實(shí)時動畫（3）幀動畫2.動畫的控制

控制動畫是獨(dú)立于描述它的語言的。主要有以下幾種技術(shù)：1）顯控制2）過程控制3）基于約束的控制4）跟蹤實(shí)際動作的控制5）運(yùn)動學(xué)和動力學(xué)的控制第四十頁，共四十四頁，編