多媒體技術(shù)教程

1、第二章 多媒體信息的表示【學(xué)習(xí)目的】1.掌握：位圖、矢量圖的定義。2.了解：音頻信號(hào)的數(shù)字化處置，矢量圖與位圖、圖像與圖形的比較。3.了解：超文本與超媒體?！緦W(xué)習(xí)要點(diǎn)】多媒體信息文字、音頻、視覺(jué)媒體、動(dòng)畫(huà)在計(jì)算機(jī)中是如何表示的。2.1文字文字是人與計(jì)算機(jī)之間進(jìn)展信息交換的主要媒體。文本文件在現(xiàn)實(shí)世界中，文字是人們進(jìn)展通訊的主要方式，文字包括西文和漢字。2.1.1西文 在計(jì)算機(jī)中西文采用ASCII碼表示。是由美國(guó)國(guó)家規(guī)范局(ANSI)制定的ASCII碼American Standard Code for Information Interchange 例如：字符A的ASCII碼值為065； 字符

2、B的ASCII碼值為066； 字符C的ASCII碼值為067；2.1.2漢字1.漢字的輸入編碼1數(shù)字編碼 數(shù)字編碼輸入的優(yōu)點(diǎn)是無(wú)重碼，缺陷難以記憶。2拼音碼以漢語(yǔ)拼音為根底的輸入法，漢字輸入法重碼率很高，同音字的選擇影響了輸入速度的提高。3字型編碼五筆2.漢字內(nèi)碼 漢字內(nèi)碼用于漢字信息的存儲(chǔ)、交換、檢索等操作的機(jī)內(nèi)代碼，普通采用兩個(gè)字節(jié)表示。3.漢字字模碼字模碼是用點(diǎn)陣表示的漢字字形代碼，它是漢字的輸出方式2.2 音 頻音頻 分類(lèi)1.波形聲音包含了一切的聲音方式，它可以把任何聲音都進(jìn)展采樣量化，并恰當(dāng)?shù)鼗謴?fù)出來(lái)。 2.2音 頻音頻 分類(lèi)2.語(yǔ)音人的說(shuō)話聲雖是一種特殊的媒體，但也是一種波形，所以

3、和波形聲音的文件格式一樣。3.音樂(lè)符號(hào)化了的聲音，樂(lè)譜可轉(zhuǎn)變?yōu)榉?hào)媒體方式。2.2.1 數(shù) 字 音 頻音頻數(shù)字聲音波形質(zhì)量的主要技術(shù)參數(shù)采樣頻率等于波形被等分的份數(shù)，份數(shù)越多，質(zhì)量越好11.025KHZ、 22.05KHZ、44.1KHZ采樣精度每次采樣信息量 8位、16位通道數(shù)聲音產(chǎn)生的波形數(shù)單聲道、立體聲道、5.1聲道數(shù)據(jù)量計(jì)算：(采樣頻率采樣精度通道數(shù) 時(shí)間 )/8 字節(jié)2.1.1 常見(jiàn)的媒體元素動(dòng)畫(huà)動(dòng)畫(huà)的概念 運(yùn)動(dòng)的圖畫(huà)，本質(zhì)是一幅幅靜態(tài)圖像的延續(xù)播放。動(dòng)畫(huà)的延續(xù)播放既指時(shí)間上的延續(xù)，也指圖像內(nèi)容上的延續(xù)，即播放的相鄰兩幅圖像之間內(nèi)容相差不大 。計(jì)算機(jī)設(shè)計(jì)動(dòng)畫(huà)方法 外型動(dòng)畫(huà) 幀動(dòng)畫(huà) 2

4、.1.1 常見(jiàn)的媒體元素動(dòng)畫(huà)幀動(dòng)畫(huà) 2.1.1 常見(jiàn)的媒體元素動(dòng)畫(huà)幀動(dòng)畫(huà) 2.1.2 媒體的種類(lèi) 視覺(jué)視 覺(jué)靜止圖像圖形文字符號(hào)言語(yǔ)文字籠統(tǒng)化籠統(tǒng)化 動(dòng)態(tài)圖像圖形動(dòng)態(tài)影像視頻真實(shí)感三維動(dòng)畫(huà)二維動(dòng)畫(huà)三維動(dòng)畫(huà)其它表示為視覺(jué)的媒體2.1.2 媒體與多媒體聽(tīng)覺(jué)觸覺(jué)其他覺(jué)得籠統(tǒng)化聽(tīng)覺(jué)聲音聲響自然界語(yǔ)音人類(lèi)言語(yǔ)音樂(lè)其它嗅覺(jué)、味覺(jué)等觸覺(jué)振動(dòng)運(yùn)動(dòng)傳感/發(fā)生器2.1.3 媒體的性質(zhì)和特點(diǎn) 各種媒體具有不同特點(diǎn)和性質(zhì) 媒體是有格式的 不同媒體表達(dá)信息的特點(diǎn)和程度各不一樣 媒體之間可以相互轉(zhuǎn)換 媒體之間的關(guān)系也具有豐富的信息 媒體具有空間性質(zhì) 表現(xiàn)空間 媒體按相互的空間關(guān)系進(jìn)展組織視覺(jué)空間、聽(tīng)覺(jué)空間和觸覺(jué)空間這3者

5、既相互獨(dú)立又需求相互結(jié)合 2.1.3 媒體的性質(zhì)和特點(diǎn) 媒體的時(shí)間性質(zhì) 表現(xiàn)需求時(shí)間媒體在時(shí)間坐標(biāo)軸上的相互關(guān)系 媒體的語(yǔ)義 媒體的語(yǔ)義是有層次的籠統(tǒng)的程度不同，語(yǔ)義的重點(diǎn)也就不同 媒體結(jié)合的影響 媒體結(jié)合是多層次的 媒體結(jié)合有利于信息接受和了解隱喻 交互的概念模型，也稱心智模型 2.2 聽(tīng)覺(jué)媒體技術(shù) 2.2.1 聲音心思學(xué) 1.聲音的量綱 聲音的振動(dòng)是一種正弦波，聲音的變化必需確定三件事：頻率變化的速度、幅度產(chǎn)生的壓力、相位何時(shí)開(kāi)場(chǎng)。 另外一方面，人們可以覺(jué)得到聲音的強(qiáng)弱，可以覺(jué)得到歌唱家音調(diào)的高低。 因此，聲音的量綱分為聲音的物理量綱和心思量綱。2.2.1 聲音心思學(xué) 物理量綱可以用準(zhǔn)確的

6、值來(lái)描畫(huà)，但對(duì)某一詳細(xì)聲音得來(lái)的心思印象卻不容易闡明白，由于心思印象要由被測(cè)者的閱歷而定。 聲音的心思屬性和物理屬性不可等同，首先，這些關(guān)系不是線性的；其次這些關(guān)系不是孤立的；第三這些關(guān)系不是不變的。2.2.1 聲音心思學(xué) 兩者之間確有關(guān)系：例如聲音的響度取決于強(qiáng)度和頻率兩個(gè)要素，假設(shè)頻率不變，強(qiáng)聲顯得比弱聲要響些。但假設(shè)強(qiáng)度不變，過(guò)高頻率的聲音和過(guò)低頻率的聲音似乎比中頻的聲音聽(tīng)起來(lái)都要弱一些。由此可見(jiàn)，響度依賴于頻率，緣由是人耳能反響的頻率范圍是有上限和下限的。 2.2.1 聲音的量綱 心思變量首要的物理變量次要的物理變量響度聲強(qiáng)聲波頻率音調(diào)聲波頻率聲強(qiáng)音色聲波復(fù)合音量頻率和強(qiáng)度密度頻率和強(qiáng)

7、度調(diào)和流暢或粗糙諧波構(gòu)造音樂(lè)技巧噪聲強(qiáng)度頻率組合，各種時(shí)間參量騷擾聲強(qiáng)度頻率組合，無(wú)意義2.2.1 聲音心思學(xué) 2.聽(tīng)覺(jué)特性等響曲線 由于響度與頻率和強(qiáng)度有關(guān)，所以在不同頻率上的強(qiáng)度是不同的。先設(shè)一個(gè)音為規(guī)范音，給予固定的頻率、強(qiáng)度和繼續(xù)時(shí)間，例如1000Hz、40分貝、繼續(xù)0.5秒；再給一個(gè)音也繼續(xù)0.5秒，但頻率不同，經(jīng)過(guò)調(diào)整使其響度聽(tīng)起來(lái)一樣，得到的這樣一組曲線稱之為等響曲線。等響曲線描畫(huà)的是響度與頻率和強(qiáng)度的關(guān)系。從聲音心思學(xué)思索，對(duì)同一響度的聲音在頻率上和強(qiáng)度上可以有很大的差別，這對(duì)聲音表現(xiàn)有重要意義。 2.2.1 聲音心思學(xué)掩蔽masking 聲音的響度不僅取決于本身的強(qiáng)度和頻率，

8、而且也依賴于同時(shí)出現(xiàn)的其它聲音。各種聲音可以相互掩蔽，也就是說(shuō)一種聲音的出現(xiàn)能夠使得另一種聲音難于聽(tīng)清。由于聲音的掩蔽效果，可以欺騙人的聽(tīng)覺(jué)。例如，本來(lái)是多種頻率的聲音的復(fù)合，但聽(tīng)眾以為是另一種聲音。所以，聲音的掩蔽特性經(jīng)常用于聲音的緊縮。2.2.1 聲音心思學(xué)臨界頻帶 在頻率的某一臨界區(qū)里，各種聲音是相互作用的，合成聲音的響度由這些頻率共同決議。假設(shè)超出臨界區(qū)，聲音的響度不再相互作用，聲音的響度隨頻率的改動(dòng)而改動(dòng)。這個(gè)臨界區(qū)就是臨界頻帶，其寬度視其中心頻率而定。對(duì)于臨界頻帶確實(shí)定，使得對(duì)聲音響度的處置可以有的放矢。2.2.1 聲音心思學(xué)相位 從聲音的波形來(lái)看，聲音的起點(diǎn)和方向也要反映聲音的特

9、性，這就是聲音的相位。當(dāng)兩個(gè)聲音一樣相位完全相反時(shí)，它們將相互抵消；當(dāng)兩個(gè)聲音一樣而且相位也一樣時(shí)，聲音就會(huì)得到加強(qiáng)。 相位確實(shí)定對(duì)于多聲道聲音系統(tǒng)的設(shè)計(jì)非常重要，其可以運(yùn)用在回聲的消除、會(huì)議系統(tǒng)的聲音設(shè)計(jì)上。 2.2.1 聲音心思學(xué)自然聲音的時(shí)變景象 聲音的音調(diào)分成三個(gè)區(qū)域：起始區(qū)、穩(wěn)定形狀區(qū)、延遲區(qū)。 研討闡明，音調(diào)的頻譜分量隨時(shí)間改動(dòng)。在穩(wěn)定形狀區(qū)，頻譜堅(jiān)持固定。在起始區(qū)，振幅頻譜隨時(shí)間變化。因此自然聲音的起始部分是非常難識(shí)別的。例如剛聽(tīng)了一小節(jié)音調(diào)后要識(shí)別樂(lè)器，專(zhuān)家也會(huì)覺(jué)得較難。時(shí)變景象用于數(shù)字系統(tǒng)中，闡明聲音中的某些錯(cuò)誤是不太容易發(fā)現(xiàn)的，但假設(shè)出現(xiàn)停頓就很容易引起人的留意。 2.2.

10、1 聲音心思學(xué)聽(tīng)覺(jué)空間 人耳可聽(tīng)到來(lái)自各個(gè)方向的聲音，并用不同的要素來(lái)斷定聲源的位置。聲源的位置不論對(duì)于增進(jìn)人們的感受還是增進(jìn)對(duì)聲音的了解，都是非常重要的。經(jīng)過(guò)聲音的準(zhǔn)確再現(xiàn)，就可以構(gòu)造出聽(tīng)覺(jué)空間。 方位的線索是各種聲音到達(dá)兩耳的準(zhǔn)確時(shí)間和強(qiáng)度。2.2.1 聲音心思學(xué)聽(tīng)覺(jué)的頻譜特性 聲音是時(shí)間函數(shù)，經(jīng)過(guò)傅里葉變換可做出其頻譜圖。人耳對(duì)頻譜成分的波峰和波谷是非常敏感的。在言語(yǔ)中，元音很少有頻譜變速變化的區(qū)域?；l改動(dòng)，人耳是很敏感的。例如：快進(jìn)的錄像，音調(diào)會(huì)發(fā)生變化。 音色非常復(fù)雜，目前尚在研討中。音色的處置將使我們能識(shí)別音源，音色也代表和聲音有關(guān)的客觀質(zhì)量。 2.2.1 聲音心思學(xué)聲音的心思模

11、擬 經(jīng)過(guò)人工真實(shí)的方法，可以對(duì)視覺(jué)空間的景物進(jìn)展再造或虛擬，同樣也可以對(duì)聽(tīng)覺(jué)空間的聲音進(jìn)展心思的模擬，這就是所謂的可聽(tīng)化audiolization。用聲音可以表達(dá)出一些聲音的效果。 2.2.2 音頻的數(shù)字化和符號(hào)化 從人與計(jì)算機(jī)交互的角度看，音頻信號(hào)的處置包括下述3點(diǎn)：人與計(jì)算機(jī)通訊，也就是計(jì)算機(jī)接納音頻信號(hào)。包括音頻獲取、語(yǔ)音的識(shí)別和了解。計(jì)算機(jī)與人通訊，也就是計(jì)算機(jī)輸出音頻。包括音樂(lè)合成、語(yǔ)音合成、聲音的定位以及音頻視頻的同步。人-計(jì)算機(jī)-人通訊。人經(jīng)過(guò)網(wǎng)絡(luò)與異地的人進(jìn)展語(yǔ)音通訊，相關(guān)的音頻處置有語(yǔ)音采集、音頻的編碼和解碼、音頻的存儲(chǔ)、音頻的傳輸、基于內(nèi)容的檢索等。2.2.2 音頻的數(shù)字化

12、和符號(hào)化 1音頻的數(shù)字化與再現(xiàn) 在計(jì)算機(jī)中，一切的信息都以數(shù)字來(lái)表示。聲音信號(hào)也是由一系列的數(shù)字來(lái)表示的，稱為數(shù)字音頻。數(shù)字音頻的特點(diǎn)就是保真度好，動(dòng)態(tài)范圍大。 數(shù)字聲音是一個(gè)數(shù)據(jù)序列。它是由外界聲音經(jīng)過(guò)采樣、量化和編碼后得到的。 2.2.2 音頻的數(shù)字化和符號(hào)化 對(duì)聲音進(jìn)展采樣用奈奎斯特采樣定理來(lái)決議采樣的頻率。根據(jù)該定理，只需采樣頻率高于信號(hào)中最高頻率的兩倍，就可以從采樣中完全恢復(fù)原始信號(hào)的波形。由于人耳所能聽(tīng)到的頻率范圍為20Hz到20KHz，所以實(shí)踐的采樣過(guò)程中，為了到達(dá)好的效果，就采用44.1KHz作為高質(zhì)量聲音的采樣頻率。假設(shè)達(dá)不到這么高的頻率，聲音恢復(fù)的效果就會(huì)差一些，例如聲音的

13、質(zhì)量等。普通來(lái)說(shuō)，聲音恢復(fù)和采樣頻率、信道帶寬都有關(guān)。 聲音的采樣以及量化圖2.2.2 音頻的數(shù)字化和符號(hào)化2.2.2 音頻的數(shù)字化和符號(hào)化 與數(shù)字音頻相關(guān)的重要特性：采樣頻率 采樣頻率與聲音的質(zhì)量關(guān)系最為嚴(yán)密。采樣頻率越高，聲音質(zhì)量越接近原始聲音，所需的存儲(chǔ)量便越多。規(guī)范的采樣頻率有三個(gè)：44.1KHz，22.05kHz，和11.025kHz。采樣位數(shù) 存放一個(gè)采樣點(diǎn)所需的比特?cái)?shù)。普通的采樣位數(shù)為8位或16位，即把聲音采集為256等份或65536等分。2.2.2 音頻的數(shù)字化和符號(hào)化聲道數(shù) 有單聲道、雙聲道和多聲道。如多種言語(yǔ)音頻混存時(shí)，需求多聲道數(shù)據(jù)量 (采樣頻率每點(diǎn)采樣位數(shù)聲道數(shù))數(shù)據(jù)量

14、 8(字節(jié)/秒)2.2.2 音頻的數(shù)字化和符號(hào)化 2聲音的符號(hào)化 波形聲音可以把音樂(lè)、語(yǔ)音都進(jìn)展數(shù)據(jù)化并且表示出來(lái)，但是并沒(méi)有把它看成音樂(lè)和語(yǔ)音。 對(duì)于聲音的符號(hào)化也可以稱為籠統(tǒng)化表示包括兩種類(lèi)型：一種是音樂(lè)，一種是語(yǔ)音。2.2.2 音頻的數(shù)字化和符號(hào)化1音樂(lè)的符號(hào)化MIDI MIDI(Music Instrument Digital Interface)是指樂(lè)器數(shù)字接口的國(guó)際規(guī)范。 MIDI音訊，是指樂(lè)譜的數(shù)字描畫(huà)。 任何電子樂(lè)器，只需有處置MIDI音訊的微處置器和適宜的硬件接口，就構(gòu)成了一個(gè)MIDI設(shè)備。當(dāng)一組MIDI音訊經(jīng)過(guò)音樂(lè)合成芯片處置時(shí)，合成器能解釋這些符號(hào)并且產(chǎn)生音樂(lè)。 MIDI

15、的關(guān)鍵是作為媒體可以記錄這些音樂(lè)的符號(hào)，相應(yīng)的設(shè)備可以產(chǎn)生和解釋這些符號(hào)。它給出了一種得到音樂(lè)聲音的方法。2.2.2 音頻的數(shù)字化和符號(hào)化 MIDI的特點(diǎn)：與波形聲音相比，MIDI不是聲音數(shù)據(jù)而是指令，所以數(shù)據(jù)量要少得多。30分鐘的音樂(lè)， 用MIDI文件記錄只需200KB，用16位CD質(zhì)量的未緊縮WAV文件記錄需317MB MIDI可以與其他波形聲音配合運(yùn)用，構(gòu)成伴樂(lè)的效果。而兩個(gè)波形聲音普通是不能同時(shí)運(yùn)用的對(duì)MIDI的編輯也很靈敏，用戶可以自在地改動(dòng)音調(diào)、音色等屬性，直到本人想要的效果 MIDI在音質(zhì)上還不能與真正的樂(lè)器完全類(lèi)似。無(wú)法模擬自然界中其它非樂(lè)曲類(lèi)聲音2.2.2 音頻的數(shù)字化和符號(hào)

16、化2語(yǔ)音的符號(hào)化 語(yǔ)音與文字是對(duì)應(yīng)的。波形聲音可以記錄表示語(yǔ)音，它是不是語(yǔ)音取決于聽(tīng)者對(duì)聲音的了解。對(duì)語(yǔ)音的符號(hào)化實(shí)踐上就是對(duì)語(yǔ)音的識(shí)別，將語(yǔ)音轉(zhuǎn)變?yōu)樽址?，反之也可以將文字合成語(yǔ)音。 語(yǔ)音指構(gòu)成人類(lèi)語(yǔ)音信號(hào)的各種聲音。在采集和存儲(chǔ)上可以與波形聲音一樣，但由于語(yǔ)音是由一連串的音素組成?！耙痪湓捴邪S多音節(jié)以及上下文過(guò)渡過(guò)程的銜接體等特殊的信息，并且語(yǔ)音本身與言語(yǔ)有關(guān)，所以要把它作為一個(gè)獨(dú)立的媒體來(lái)對(duì)待。2.2.3 音頻媒體的三維化處置 1三維虛擬聲空間 所謂三維虛擬聲空間Three Dimensional Virtual Acoustic，3DVA，是指用一定的聲音設(shè)備人為地產(chǎn)生出來(lái)的具有空間

17、位置信息的聲音空間。 三維聽(tīng)覺(jué)的運(yùn)用明顯地依賴于用戶對(duì)聽(tīng)覺(jué)空間中各種信息源的定位才干。普通說(shuō)來(lái)，三維虛擬聲空間要到達(dá)以下的一些目的： 在可聽(tīng)的范圍內(nèi)重現(xiàn)頻率分辨度和動(dòng)態(tài)范圍； 在三維空間中準(zhǔn)確地呈現(xiàn)聲音的位置信息； 能表達(dá)多個(gè)靜止和挪動(dòng)的聲源； 能和頭部的動(dòng)作具有一定的關(guān)聯(lián)； 可以支持一定程度的交互。2.2.3 音頻媒體的三維化處置 23DVA的根本實(shí)際 人類(lèi)感知聲源位置的最根本的實(shí)際是雙工實(shí)際，該實(shí)際基于兩種要素：兩耳間聲音的到達(dá)時(shí)間差I(lǐng)TDInteraural Time Differences和兩耳間聲音的強(qiáng)度差I(lǐng)IDInteraural Intensity Differences。 時(shí)間

18、差是由于間隔的緣由呵斥的，當(dāng)聲音從正面?zhèn)鱽?lái)時(shí)，間隔相等，所以沒(méi)有時(shí)間差；但假設(shè)偏右3o，那么到達(dá)右耳的時(shí)間就要比左耳約早30ms，而正是這30ms，使得我們區(qū)分出了聲源的位置。 強(qiáng)度差是由于信號(hào)衰減呵斥的，信號(hào)的衰減是由于間隔產(chǎn)生的，在很多情況下是由于人的頭部遮擋，使聲音衰減，產(chǎn)生了強(qiáng)度的差別，使得接近聲源一側(cè)的耳朵聽(tīng)到的聲音強(qiáng)度要大于另一耳。2.2.3 音頻媒體的三維化處置 3DVA實(shí)際較籠統(tǒng)地闡明：人耳對(duì)聲音定位的特性，經(jīng)過(guò)大腦的綜協(xié)作用后，對(duì)有差別的聲音信號(hào)進(jìn)展了相對(duì)于空間位置的定位。 人耳對(duì)聲源方位的斷定起決議作用的是耳廓。當(dāng)聲波從聲源傳到聽(tīng)者的耳部時(shí)，聲波會(huì)在耳廓發(fā)生不斷的反射和折射

19、，然后由內(nèi)耳道傳到耳鼓，使人產(chǎn)生音感。這種反射、折射是依賴于頻率的，經(jīng)過(guò)不同頻率的變化，使得人耳可以區(qū)分聲源的方位。另外，當(dāng)聲音從聲源傳到人的內(nèi)耳并構(gòu)成聽(tīng)覺(jué)時(shí)，聲音信號(hào)曾經(jīng)攜帶了兩個(gè)很重要的信息，從而構(gòu)成了空間真實(shí)感和環(huán)境真實(shí)感。聲源的本身信號(hào)特征、聲源的空間三維位置、聲源所處的環(huán)境這三個(gè)要素描畫(huà)了聲源的全部信息。 2.2.3 音頻媒體的三維化處置 3HRTF方法 實(shí)現(xiàn)空間真實(shí)感的關(guān)鍵是建立起耳廓模型，這種方法被稱為“雙耳相關(guān)函數(shù)法，也即HRTFHead-Related Transfer Function，與頭部有關(guān)的轉(zhuǎn)移函數(shù)。 從實(shí)際上利用HRTF產(chǎn)生真實(shí)空間聲音的算法如以下圖所示。 2.2

20、.3 音頻媒體的三維化處置 2.3 視覺(jué)媒體技術(shù) 2.3.1 視覺(jué)心思學(xué) 1視覺(jué)的心思特征 視覺(jué)是人類(lèi)最重要的感知才干，經(jīng)過(guò)視覺(jué)可以感知到外部世界的外形、大小、顏色、明暗、機(jī)理和運(yùn)動(dòng)等多方面的信息。 同聲音心思學(xué)類(lèi)似，與視覺(jué)相對(duì)應(yīng)的光學(xué)物理性質(zhì)和心思知覺(jué)也是截然不同的。雖然光的物理特性與心思知覺(jué)有關(guān)，但它們的關(guān)系并不是線性的。對(duì)光的顏色和亮度的覺(jué)得不僅和它的頻率和強(qiáng)度有關(guān)，而且還和它出現(xiàn)的背景有關(guān)，和同時(shí)出現(xiàn)的周?chē)庥嘘P(guān)。2.3.1 視覺(jué)心思學(xué)視覺(jué)心思變量主要的物理變量亮度光強(qiáng)顏色彩色波長(zhǎng)濃度彩色的濃度光譜成分對(duì)比光強(qiáng)、波長(zhǎng)、周?chē)?.3.1 視覺(jué)心思學(xué) 2. 視覺(jué)特性 亮度 亮度是人眼對(duì)光強(qiáng)

21、度的感受。 一個(gè)物體的亮度不僅跟目的的物理強(qiáng)度有關(guān)，而且與周?chē)谋尘坝嘘P(guān)。假定整個(gè)照明增大了，目的和環(huán)境的光強(qiáng)就按照比例增大了，兩者之間的物理對(duì)比就維持不變。但當(dāng)照明加強(qiáng)時(shí)，目的的亮度能夠會(huì)亮一些，也能夠堅(jiān)持不變，甚至看起來(lái)亮度減少一些。這些都取決于中心和周?chē)g的相對(duì)強(qiáng)度，也就是對(duì)比度。 對(duì)圖像的處置最重要的是亮度的差別。2.3.1 視覺(jué)心思學(xué) 與聲音類(lèi)似，視覺(jué)上也有等亮曲線，反映了視覺(jué)在亮度上與波長(zhǎng)的關(guān)系。在同一亮度覺(jué)得下，不同波長(zhǎng)的光具有不同的光強(qiáng)。 視覺(jué)也有掩蔽景象，在很亮的高光周?chē)鷷r(shí)難以看清的，道理和聲音是類(lèi)似的。2.3.1 視覺(jué)心思學(xué)視覺(jué)的時(shí)間特性 建立視覺(jué)圖像需求時(shí)間，而一旦建立

22、起來(lái)之后，即使把圖像對(duì)象拿走，這種反響也要維持一段時(shí)間。這是由于把光轉(zhuǎn)變?yōu)樯窠?jīng)電需求時(shí)間。正由于視網(wǎng)膜圖像時(shí)逐漸衰退的，所以視覺(jué)暫留可以存在非常之幾秒。2.3.1 視覺(jué)心思學(xué)彩色 表示顏色需求思索三種心思屬性：顏色、亮度和飽和度。顏色就是通常意義下的彩色，它隨波長(zhǎng)的變化而變化，反映顏色的根本特性。亮度是光作用于人眼所引起的亮堂程度的覺(jué)得，與光強(qiáng)有關(guān)。飽和度是代表為了產(chǎn)生所感知到的彩色在白光中必需混入的純單色光的相對(duì)數(shù)量，或者說(shuō)是顏色的深淺程度。對(duì)同一顏色的彩色光，飽和度越深顏色越艷麗。顏色和飽和度統(tǒng)稱為色度。 2.3.1 視覺(jué)心思學(xué) 顏色是由三種原色光混合而成的?？梢?jiàn)光的波長(zhǎng)從380納米到78

23、0納米。不同波長(zhǎng)呈現(xiàn)出不同顏色，可見(jiàn)光波長(zhǎng)從長(zhǎng)到短依次為紅橙黃綠青藍(lán)紫。 只需單一波長(zhǎng)成分的光稱為單色光，含有兩種以上波長(zhǎng)成分的光稱為復(fù)合光，一切可見(jiàn)光按照一定比例混合就是白色光。 在輻射功率一樣的條件下，不同波長(zhǎng)的光不僅給人不同的顏色覺(jué)得，而且也給人不同的亮度覺(jué)得。人眼普通感到紅光最暗，藍(lán)光次之，而黃綠光最亮。研討闡明，人眼對(duì)亮度信息敏感，而對(duì)顏色的敏感程度相對(duì)較弱。2.3.1 視覺(jué)心思學(xué) 在白色背景下，普通運(yùn)用紅黃藍(lán)作為原色來(lái)混合其它顏色，這就是減基色合成彩色系統(tǒng)。 在黑色背景下，普通運(yùn)用紅綠藍(lán)作為基色來(lái)混合其它顏色，這就是加基色合成彩色系統(tǒng)。 普通繪畫(huà)時(shí)采用前者，電視中采用后者。2.3.

24、1 視覺(jué)心思學(xué)凝視點(diǎn)和視野范圍 人在察看視覺(jué)類(lèi)媒體時(shí)，凝視點(diǎn)喜歡集中在什么地方？研討闡明，視覺(jué)凝視點(diǎn)主要集中在圖像中黑白交界的部分，尤其是拐角處。假設(shè)是閉合圖形，凝視點(diǎn)往往向內(nèi)側(cè)挪動(dòng)。凝視點(diǎn)容易集中在時(shí)隱時(shí)現(xiàn)運(yùn)動(dòng)變化的部分或者圖像中特別不規(guī)那么的地方。 人眼的視野開(kāi)闊，左右視角約為180度，上下約為60度。但視力好的部位僅限于2到3度，用于察看視覺(jué)媒體的細(xì)節(jié)。而在周邊，那么主要識(shí)別特征。但是需求留意，只需大的視野才有能夠制造出臨場(chǎng)感。2.3.2 模擬視頻原理光柵掃描原理 視頻攝像機(jī)將圖像轉(zhuǎn)換為電信號(hào)，電信號(hào)是一維的，但圖像是二維的，將二維圖像轉(zhuǎn)成為一維電信號(hào)是由光柵掃描的方法實(shí)現(xiàn)的?？焖俚膾呙?/p>

25、線從頂部開(kāi)場(chǎng)，一行一行地向下掃描，直至顯示器的最底部，然后再前往頂部的起點(diǎn)，重新開(kāi)場(chǎng)掃描。這個(gè)過(guò)程產(chǎn)生的一個(gè)有序的圖像信號(hào)集合，就組成了電視顯示中的一幅圖像，在此稱為幀。延續(xù)不斷的圖像序列就構(gòu)成了動(dòng)態(tài)視頻圖像。 2.3.2 模擬視頻原理 分辨率表現(xiàn)的是電視系統(tǒng)中重現(xiàn)場(chǎng)景細(xì)節(jié)的才干。程度掃描線所能分辨出的點(diǎn)數(shù)稱為程度分辨率。普通來(lái)說(shuō)，點(diǎn)數(shù)越小，線越細(xì)，分辨率就越高。一個(gè)系統(tǒng)的程度分辨率為400線，指在對(duì)應(yīng)于圖像高度的程度間隔內(nèi)能交替顯示200條白線和200條黑線。相應(yīng)地，一幀中垂直掃描的行數(shù)稱為垂直分辨率。垂直分辨率和每幀中的掃描線有關(guān)，掃描線越多，分辨率就越高。廣播電視系統(tǒng)垂直的行數(shù)普通是52

26、5線北美和日本和625線歐洲和中國(guó)。2.3.2 模擬視頻原理 每一秒鐘所掃描的幀數(shù)稱為幀頻，普通為25幀PAL或者30幀NTSC。由于是隔行掃描，所以垂直頻率分別是每秒50幀和60幀。因此，人眼就不容易看到閃爍。 寬高比是掃描的一個(gè)重要的參數(shù)。掃描行的長(zhǎng)度與在圖像垂直方向上的一切掃描行所跨過(guò)的間隔之比，就成為寬高比。目前電視中的寬高比為4：3，新型電視的寬高比為16：9，有些電影系統(tǒng)的寬高比為2：1 。2.3.2 模擬視頻原理彩色視頻 加基系統(tǒng)是彩色視頻系統(tǒng)的根底。彩色電視采用紅綠藍(lán)RGB作為三基色進(jìn)展配色，產(chǎn)生出R、G、B三個(gè)輸出信號(hào)，RGB信號(hào)可以分別傳輸，但是要配上相應(yīng)的同步信號(hào)。在RG

27、B系統(tǒng)中需求三根視頻電纜互連，但是三個(gè)信號(hào)在同步關(guān)系方面相當(dāng)復(fù)雜，所以大部分彩色電視不處置RGB，而是將RGB信號(hào)組合起來(lái)在一條電纜中傳輸，這就是復(fù)合信號(hào)。2.3.2 模擬視頻原理 現(xiàn)有的幾種不同的復(fù)合信號(hào)有NTSC、PAL和SECAM。根據(jù)亮度/色度原理，任何彩色信號(hào)都可以分為亮度和色度。色度只需運(yùn)用色差就可以表示顏色信號(hào)，而不用運(yùn)用RGB三個(gè)完好的信號(hào)。將亮度和色度交錯(cuò)陳列分別放到電纜上，就組成了復(fù)合信號(hào)。 電視系統(tǒng)的三種制式采用的信號(hào)方式也不完全一樣。NTSC的亮度信號(hào)稱為Y，色度信號(hào)為I和Q，即YIQ方式。PAL制式和SECAM制式的亮度和色度與之相對(duì)應(yīng)為YUV，它們的差別在于編碼方式

28、的不同。YUV、YIQ可以與RGB互換。RGB、YUV和YIQ等都被稱為彩色空間。2.3.2 模擬視頻原理視頻設(shè)備 按照用途不同，視頻設(shè)備可以分為廣播、專(zhuān)業(yè)和消費(fèi)三個(gè)級(jí)別。廣播級(jí)普通是大型的電視臺(tái)和網(wǎng)絡(luò)站運(yùn)用，它的性能最好，用于大系統(tǒng)運(yùn)用，價(jià)錢(qián)昂貴；專(zhuān)業(yè)級(jí)普通用于教育界和工業(yè)界的小廣播站，有較好的性能。而消費(fèi)級(jí)是家用設(shè)備，普通操作簡(jiǎn)單、性能可靠，普通價(jià)錢(qián)是第一位的。 詳細(xì)的視頻設(shè)備有如彩色攝影機(jī)、視頻記錄設(shè)備和視頻監(jiān)視設(shè)備。 2.3.3 視覺(jué)媒體數(shù)字化 1位圖圖像與數(shù)字視頻 對(duì)計(jì)算機(jī)來(lái)說(shuō)，無(wú)論是文字或圖形，還是圖像或視頻，在計(jì)算機(jī)上進(jìn)展處置首先要數(shù)字化。與音頻信號(hào)類(lèi)似，對(duì)所要處置的一幅畫(huà)面，經(jīng)

29、過(guò)對(duì)每一個(gè)象素進(jìn)展采樣，并且按照顏色或者灰度進(jìn)展量化，就可以得到圖像的數(shù)字化結(jié)果。數(shù)字化的結(jié)果放在顯示緩存區(qū)中，與顯示器上的點(diǎn)一一對(duì)應(yīng)，這就是位圖圖像。對(duì)視頻按照時(shí)間進(jìn)展數(shù)字化所得到的圖像序列，就構(gòu)成了數(shù)字視頻序列。它同樣與頻率和量化的比特?cái)?shù)有關(guān)。頻率必需足夠高，以跟上模擬信號(hào)流；量化的比特?cái)?shù)越多，量化的值就越多，所能表示的顏色或灰度級(jí)數(shù)就越多。2.3.3 視覺(jué)媒體數(shù)字化 在一幅圖像的X軸上是一行的點(diǎn)數(shù)，在Y軸上是行數(shù)。X、Y的交叉點(diǎn)就是一個(gè)象素，每一個(gè)象素可以有假設(shè)干比特來(lái)表示。按照規(guī)范間隔在時(shí)間軸上采樣的圖像組組成視頻序列。所以可以說(shuō)，圖像是離散的視頻，而視頻是延續(xù)的圖像。當(dāng)進(jìn)展再現(xiàn)時(shí)，被

30、表示稱數(shù)字方式的數(shù)據(jù)按格式和時(shí)間送上顯示器，就又恢復(fù)了原先的形狀。其它的視覺(jué)媒體如文字、圖形等，在顯示原理上都是以此為根底的，它們都是經(jīng)過(guò)預(yù)先的編碼表示出顯示的方式，在再現(xiàn)時(shí)，在顯示器上畫(huà)出所要的圖形或者文字。2.3.3 視頻媒體數(shù)字化2.3.3 視頻媒體數(shù)字化文件格式說(shuō) 明GIFGraphics Interchange Format的縮寫(xiě)，是由Compu-Serve公司于1987年為制定彩色圖像傳輸協(xié)議而開(kāi)發(fā)的一種圖像文件格式TIFFTag Image File Format縮寫(xiě)，是由Alaus和Microsoft公司為掃描儀和桌上出版系統(tǒng)研發(fā)的一種圖像文件格式，它的文件格式全部基于標(biāo)志域T

31、GATarge Image Format的縮寫(xiě)，是Truevision公司為T(mén)arge和Vista圖像獲取板設(shè)計(jì)的軟件TIPS所運(yùn)用的文件格式BMPBitmap是一種與設(shè)備無(wú)關(guān)的圖像文件格式，是Windows軟件引薦運(yùn)用的一種格式PCX是由Zsoft公司研制開(kāi)發(fā)的，普通與PC-Paint Brush圖像軟件一同運(yùn)用MPG根據(jù)國(guó)際規(guī)范MPEG編碼的一種動(dòng)態(tài)圖像文件格式AVSIntel和IBM公司共同研制的DVI系統(tǒng)的一種動(dòng)態(tài)圖像文件格式，AVS文件只能在DVI系統(tǒng)硬件下才可以讀寫(xiě)AVIIntel和IBM公司共同研制的DVI系統(tǒng)的一種動(dòng)態(tài)圖像文件格式2.3.3 視覺(jué)媒體數(shù)字化 2圖形 圖形(Gra

32、phics)：一種籠統(tǒng)化的圖像，是對(duì)圖像根據(jù)某個(gè)規(guī)范進(jìn)展分析而產(chǎn)生的結(jié)果。它不直接描畫(huà)數(shù)據(jù)的每一點(diǎn)，而是描畫(huà)產(chǎn)生這些點(diǎn)的過(guò)程及方法。因此被稱之為矢量圖形，普通直接稱為圖形。2.3.3 視覺(jué)媒體數(shù)字化 矢量圖形是以一組指令的方式存在的，這些指令描畫(huà)一幅圖中所包含的直線、圓、弧線、矩形的大小和外形，也可以用更為復(fù)雜的方式表示圖像中曲面、光照、材質(zhì)等效果。在計(jì)算機(jī)上顯示一幅圖像時(shí)，首先要解釋這些指令，然后將它們轉(zhuǎn)變成屏幕上顯示的外形和顏色。 圖形的矢量化使得有能夠?qū)D中的各個(gè)部分分別進(jìn)展控制。計(jì)算機(jī)可以對(duì)其中任何對(duì)象分別進(jìn)展恣意的變換：放大、減少、旋轉(zhuǎn)、變形、扭曲、移位、疊加等，并仍堅(jiān)持圖形特性。圖

33、形變換的靈敏性，使其在處置上獲得了更大的自在度。 2.3.3 視覺(jué)媒體數(shù)字化 3符號(hào)與文字 符號(hào)媒體：是某種籠統(tǒng)的結(jié)果。各種描畫(huà)量、言語(yǔ)、數(shù)據(jù)、標(biāo)識(shí)符、數(shù)值、字符等都是符號(hào)媒體。 由于符號(hào)具有明顯的構(gòu)造性，大腦可以識(shí)別這種構(gòu)造，進(jìn)而可識(shí)別出由這一組符號(hào)所代表的信息。這種構(gòu)造可以組成文本，即字符串；也可以組成數(shù)據(jù)組，如數(shù)據(jù)庫(kù)中的一個(gè)元組，均可表達(dá)特定的信息 。2.3.3 視覺(jué)媒體數(shù)字化 符號(hào)媒體特點(diǎn)：符號(hào)媒體要知識(shí)的輔助才干運(yùn)用，知識(shí)的輔助隨著層次的升高而不斷加強(qiáng)作用 “I CAN SPEAK ENGLISH 如學(xué)英文時(shí)，開(kāi)場(chǎng)只認(rèn)識(shí)字母； 學(xué)過(guò)英文單詞后，認(rèn)識(shí)到一個(gè)個(gè)單詞； 學(xué)習(xí)文法后，發(fā)現(xiàn)是一

34、個(gè)句子符號(hào)媒體表達(dá)精度高符號(hào)媒體存儲(chǔ)量小2.3.3 視覺(jué)媒體數(shù)字化 文本媒體是用得最多的符號(hào)媒體方式。主要特點(diǎn)如下：文本是流構(gòu)造方式：由具有上下文關(guān)系的字符串組成,它與字符的構(gòu)造款式有關(guān)，與方式無(wú)關(guān)對(duì)文本的控制不影響媒體信息本來(lái)的表達(dá)文本顯示的改動(dòng)只是屬性的改動(dòng)，并不影響文本本身的含義對(duì)文本的處置應(yīng)服從文本內(nèi)部的構(gòu)造，如斷詞，接尾，分段，章節(jié)安排2.3.4 視覺(jué)媒體的三維立體顯示 1立體顯示原理 三維顯示實(shí)踐上具有兩個(gè)含義，一個(gè)是指物體的三維圖像在平面上的顯示，特別是三維圖形的顯示，這是圖形學(xué)的重點(diǎn)。另一個(gè)含義是指所顯示的圖像確確實(shí)實(shí)是立體的，是“浮在空間中的，和我們所看的立體電影一樣。這是我

35、們討論的重點(diǎn)。 視差parallax是投影到人眼視網(wǎng)膜上圖像上兩點(diǎn)間的程度間隔，正是這個(gè)間隔產(chǎn)生了視覺(jué)上的立體感。凝視遠(yuǎn)處的物體時(shí)的視差與凝視近處物體時(shí)的視差是不同的，因此所謂的立體感正是這個(gè)不同間隔作用的結(jié)果。 2.3.4 視覺(jué)媒體的三維立體顯示 視差2.3.4 視覺(jué)媒體的三維立體顯示 2視差 決議立體視覺(jué)的是視差。視差的種類(lèi)大致分為四種：零視差、正視差、負(fù)視差和發(fā)散視差。它們產(chǎn)生的立體覺(jué)得是不同的。零視差：當(dāng)顯示的左右眼圖像之間沒(méi)有縫隙時(shí)，視差為零，就稱為零視差。 正視差：一旦計(jì)算機(jī)顯示的立體圖像對(duì)的視差大于0，我們就可以看到深度。正視差差值大于0且小于等于人眼之間的間隔。 負(fù)視差：當(dāng)兩眼

36、的目光交叉時(shí)，就會(huì)產(chǎn)生負(fù)視差。這時(shí)，所察看的對(duì)象將會(huì)浮如今兩眼與顯示器之間的空間中。 發(fā)散視差 ：視差的值比兩眼之間的間隔還要大。 2.3.4 視覺(jué)媒體的三維立體顯示 3立體圖像的產(chǎn)生1旋轉(zhuǎn)法 一個(gè)很簡(jiǎn)單的方法是將一幅圖像進(jìn)展旋轉(zhuǎn)以制造出視差效果。旋轉(zhuǎn)的順序是： 將整個(gè)圖像從左至右旋轉(zhuǎn)4，以產(chǎn)生左眼圖像 將整個(gè)圖像從右至左旋轉(zhuǎn)4，以產(chǎn)生右眼圖像 執(zhí)行透視投影 顯示圖像 運(yùn)用旋轉(zhuǎn)的方法產(chǎn)生出的立體圖像對(duì)一些人來(lái)說(shuō)并不適宜，會(huì)引起不溫馨感，顯示立體圖像時(shí)普通不采用這種方法。 2.3.4 視覺(jué)媒體的三維立體顯示 2投影變換法 投影變換法是模擬人眼察看物體時(shí)產(chǎn)生的視差，經(jīng)過(guò)運(yùn)算后投影到顯示器上。在這種

37、方法中，場(chǎng)景中的物體對(duì)象在建模之后，經(jīng)過(guò)投影變換生成線框圖，然后對(duì)該物體進(jìn)展成像處置，生成左右眼的圖像。 規(guī)范的投影變換基于單視點(diǎn)的投影。在坐標(biāo)系中，以視點(diǎn)為投影中心，將三維物體的點(diǎn)投影于顯示器的投影平面上，便在該平面上產(chǎn)生三維物體的像。把投影中心的單點(diǎn)變換為雙點(diǎn)，很容易構(gòu)造出雙眼的投影視圖出來(lái)。 2.3.4 視覺(jué)媒體的三維立體顯示 4立體圖像的顯示 立體圖像的顯示方法有兩種。一種方法是讓一只眼睛看一個(gè)顯示器，每個(gè)顯示器只顯示對(duì)應(yīng)眼睛的圖像，這樣頭腦中就產(chǎn)生了立體圖像。這種方法的實(shí)現(xiàn)是把顯示器減少，放入到頭盔中，這就是所謂的頭盔顯示器。另一種方法是在顯示器上快速地顯示兩眼不同的圖像，而察看者帶

38、上立體眼鏡進(jìn)展察看。由于眼鏡中的液晶片與顯示的圖像同步地進(jìn)展開(kāi)關(guān)切換，使得在每一時(shí)辰只需一只眼睛可以看到對(duì)應(yīng)的圖像，只需速度足夠快，由眼睛的暫留景象和大腦的作用，覺(jué)得到的就是立體的圖像。 2.4 觸覺(jué)媒體技術(shù) 2.4.1 觸覺(jué)媒體概述 皮膚可以覺(jué)得環(huán)境的溫度、濕度，也可覺(jué)得壓力，身體可以覺(jué)得振動(dòng)、運(yùn)動(dòng)、旋轉(zhuǎn)等，這些都是觸覺(jué)在起作用，都可以作為傳送信息的媒體?，F(xiàn)實(shí)上，觸覺(jué)媒體就是環(huán)境媒體，它描畫(huà)了該環(huán)境中的一切特征和參數(shù)。2.4.1 觸覺(jué)媒體概述 人體在信息交流過(guò)程中起的作用最大的是人的頭部、手部和整體軀干。與外界環(huán)境的觸覺(jué)交互主要包括位置跟蹤、力量反響等方面。 對(duì)手部信息的處置包括手部的位置、

39、手指的動(dòng)作類(lèi)型、手部的覺(jué)得、手部的力量反響等。這些都要有特殊的設(shè)備和技術(shù)完成系統(tǒng)對(duì)手部信息的數(shù)字化和跟蹤，并將它們與系統(tǒng)的控制和運(yùn)用結(jié)合起來(lái)。這些設(shè)備和技術(shù)包括數(shù)據(jù)手套、壓力傳感手套、手部位置超聲波跟蹤器、力量反響接口等。對(duì)軀干的位置跟蹤和反響與手部和頭部很類(lèi)似，但它要反映人體的體勢(shì)言語(yǔ)和外界對(duì)人體的力量反響，如振動(dòng)、傾覆、旋轉(zhuǎn)等。這些設(shè)備包括數(shù)據(jù)服裝、三維數(shù)據(jù)座艙、模擬器等。 2.4.2 簡(jiǎn)單指點(diǎn)設(shè)備與技術(shù) 1指點(diǎn)的義務(wù)指點(diǎn)的義務(wù)包括： 選擇 定位 定向 途徑 數(shù)量 操作2.4.2 簡(jiǎn)單指點(diǎn)設(shè)備與技術(shù) 2指點(diǎn)設(shè)備 指點(diǎn)設(shè)備分成直接指點(diǎn)設(shè)備和間接指點(diǎn)設(shè)備兩類(lèi)。前者直接運(yùn)用特殊的指點(diǎn)設(shè)備或用手指

40、點(diǎn)屏幕，后者那么經(jīng)過(guò)指點(diǎn)設(shè)備的間接動(dòng)作對(duì)屏幕上的對(duì)象進(jìn)展指點(diǎn)。 直接指點(diǎn)設(shè)備包括：光筆、觸摸屏及輸入筆等。 間接指點(diǎn)設(shè)備包括：鼠標(biāo)、跟蹤球、控制桿和圖形板。這些設(shè)備不接觸顯示屏幕，所以運(yùn)用時(shí)不會(huì)遮擋視野，也不易疲勞。 2.4.2 簡(jiǎn)單指點(diǎn)設(shè)備與技術(shù) 這些指點(diǎn)設(shè)備的輸入都是在顯示平面上的二維坐標(biāo)空間中進(jìn)展的，包括坐標(biāo)改動(dòng)的速度。除非經(jīng)過(guò)特殊的變換，很難把它們向三維空間轉(zhuǎn)換。如今又出現(xiàn)了一些新型的指點(diǎn)設(shè)備，例如腳用鼠標(biāo)器、視野跟蹤器、凝視檢測(cè)控制器等。 2.4.3 位置跟蹤 為了與系統(tǒng)交互，系統(tǒng)必需了解參與者的身體動(dòng)作，包括頭、眼、手、肢體等部位的位置與運(yùn)動(dòng)方向。系統(tǒng)將這些位置與運(yùn)動(dòng)的數(shù)據(jù)轉(zhuǎn)變?yōu)樘囟ǖ姆绞?，?duì)相應(yīng)的動(dòng)作進(jìn)展表示。 1手指動(dòng)作丈量和數(shù)字化 對(duì)手部的跟蹤采用一種稱為數(shù)據(jù)手套的工具。對(duì)手指的丈