多媒體技術(shù)課件

第一章緒論1.1多媒體的基本概念1.1.1媒體與多媒體媒體的概念媒體（media，medium）：承載信息之載體；CCITT對媒體的分類：感覺、表示、顯示、存儲、傳輸1.1.1媒體與多媒體表示媒體：聲：語音、聲響、音樂等圖：圖像、圖形等

像：動畫、視頻等

文：文字、符號、數(shù)值等其他：動作媒體、觸覺媒體等1.1.1媒體與多媒體媒體分類視覺二維動畫抽象化抽象化視覺（靜止）圖像圖形文字符號語言文字（動態(tài)）圖像圖形動態(tài)影像視頻真實感三維動畫三維動畫其它表示為視覺的媒體1.1.1媒體與多媒體媒體分類聽覺觸覺其他感覺抽象化聽覺聲音聲響（自然界）語音（人類語言）音樂其它（嗅覺、味覺等）觸覺振動運動傳感/發(fā)生器1.1.1媒體與多媒體多媒體的概念內(nèi)涵表示媒體的多樣化一個技術(shù)領(lǐng)域一個技術(shù)時代定義以數(shù)字化為基礎(chǔ)，能夠?qū)Χ喾N媒體信息進行采集、編碼、存儲、傳輸、處理和表現(xiàn)，綜合處理多種媒體信息并使之建立起有機的邏輯聯(lián)系，集成為一個系統(tǒng)并能具有良好交互性的技術(shù)。

1.1.2多媒體的特性多樣性—適應(yīng)了信息載體的多樣性信息載體的多樣性是相對于計算機而言的，指的就是信息媒體的多樣化，有人稱之為信息多維化。65%20%10%2%3%視覺味覺嗅覺觸覺聽覺1.1.2多媒體的特性交互性—易于人和計算機的交互交互可以增加對信息的注意力和理解力，延長信息保留的時間。當(dāng)交互性引入時，“活動”本身作為一種媒體便介入到了數(shù)據(jù)轉(zhuǎn)變?yōu)樾畔?、信息轉(zhuǎn)變?yōu)橹R的過程之中。當(dāng)我們完全地進入到一個與信息環(huán)境一體化的虛擬信息空間自由遨游時，這才是交互式應(yīng)用的高級階段，這就是虛擬現(xiàn)實（VirtualReality）。

1.1.2多媒體的特性集成性：實現(xiàn)了信息處理的集成性多媒體信息媒體的集成處理這些媒體的設(shè)備與設(shè)施的集成1+1〉21.2多媒體技術(shù)的產(chǎn)生與發(fā)展1.2.1多媒體是

技術(shù)與應(yīng)用發(fā)展的必然多媒體熱潮的興起多媒體熱潮的興起DVI，HyperCard……九十年代一批產(chǎn)品出現(xiàn)MPEG(VCD)，MPC，VOD連續(xù)召開多媒體國際學(xué)術(shù)研討會MM’93，MM’94，MM’95“叫好不叫座”94年開始進入低潮期概念教育階段存在問題：未形成產(chǎn)業(yè)群

多媒體的第二次高潮一批設(shè)備普及CD-ROM，SB……一批產(chǎn)品出現(xiàn)VCD，VR，會議系統(tǒng)一批產(chǎn)業(yè)出現(xiàn)美國舊金山附近的“MultimediaGorge”向新加坡、臺灣等地輻射產(chǎn)業(yè)化前景極好用途范圍極為廣泛

一個新的技術(shù)時代的到來！1.2.1多媒體是

技術(shù)與應(yīng)用發(fā)展的必然1.2.1多媒體是技術(shù)與應(yīng)用發(fā)展的必然多媒體技術(shù)的產(chǎn)生計算機計算機大眾傳播大眾傳播通信文字文字············網(wǎng)絡(luò)客戶客戶客戶服務(wù)器通信計算機大眾傳播通信多媒體信息系統(tǒng)1.2.2多媒體

改善了人類信息的交流人的思維模式：形象、聯(lián)想、多樣、模糊、并行計算機的工作方式：精確、清楚、串行、……人機交互形式人—人（通過計算機）；人—計算機；計算機—人；計算機—計算機多媒體：改“人到計算機”為“計算機到人”1.3多媒體技術(shù)研究的主要內(nèi)容1.3.1什么是多媒體技術(shù)三大信息技術(shù)的聯(lián)合：計算機、通信、TV綜合各個方面：通信、廣播、印刷、出版、計算、……多媒體技術(shù)以網(wǎng)絡(luò)為支持，為人類生活提供各種服務(wù)創(chuàng)造一種新型的人與人交往的新環(huán)境。1.3.2多媒體技術(shù)

研究的主要內(nèi)容多媒體技術(shù)的基礎(chǔ)多媒體軟硬件平臺技術(shù)多媒體操作系統(tǒng)技術(shù)多媒體信息管理技術(shù)多媒體通信與分布應(yīng)用技術(shù)1.4小結(jié)2.1媒體的種類和特點2.1.1常見的媒體元素文本文本是計算機文字處理程序的基礎(chǔ)文本數(shù)據(jù)可以在文本編輯軟件里制作文本文件分類非格式化文本格式化文本文件文件帶有各種文本排版信息等格式信息的文本文件段落格式、字體格式、文章的編號、分欄、邊框文字的變化：格式（sty1e）、字的定位（align）、字體（font）、字的大小（size）2.1.1常見的媒體元素圖形圖形的概念一般指用計算機繪制的畫面，如直線、圓、圓弧、矩形、任意曲線和圖表等。圖形的格式是一組描述點、線、面等幾何圖形的大小、形狀及其位置、維數(shù)的指令集合，在圖形文件中只記錄生成圖的算法和圖上的某些特征點，也稱矢量圖。line（x1,y1,x2,y2,color）

circle（x,y,r,color）2.1.1常見的媒體元素圖形圖形的特征圖形是對圖象進行抽象的結(jié)果（人工或自動）；圖形的矢量化使得有可能對圖中的各個部分分別進行控制（放大、縮小、旋轉(zhuǎn)、變形、扭曲、移位等）圖形的產(chǎn)生需要計算時間2.1.1常見的媒體元素圖像圖像的概念圖像是指由輸入設(shè)備捕捉的實際場景畫面，或以數(shù)字化形式存儲的任意畫面。靜止的圖像是一個矩陣，由一些排成行列的點組成，這些點稱之為像素點（pixel），這種圖像稱為位圖（bitmap）。2.1.1常見的媒體元素圖像

圖像的主要技術(shù)參數(shù)分辨率屏幕分辨率計算機顯示器屏幕顯示圖像的最大顯示區(qū)

圖像分辨率

數(shù)字化圖像的大小像素分辨率像素的寬高比，一般為1∶1

2.1.1常見的媒體元素圖像

圖像的主要技術(shù)參數(shù)圖像灰度每個圖像的最大顏色數(shù)2位：黑白2色；4位：16色；8位：256色；24位：真彩色圖像文件大小（高×寬×灰度位數(shù)）/8字節(jié)

2.1.1常見的媒體元素圖像圖形與圖象的關(guān)系圖形是矢量概念，圖元；圖象是位圖概念，象素；圖形顯示圖元順序；圖象顯示象素順序；圖形變換無失真；圖象變換有失真；圖形以圖元為單位修改屬性、編輯；圖象只能對象素或圖塊處理；圖形是對圖象的抽象，但在屏幕上兩者無異2.1.1常見的媒體元素視頻視頻的概念

視頻源于電視技術(shù)，它由連續(xù)的畫面組成。這些畫面以一定的速率連續(xù)地投射在屏幕上，使觀察者具有圖像連續(xù)運動的感覺。2.1.1常見的媒體元素視頻

視頻的制式PAL制（625/50）每秒25幀，水平掃描線為625條，水平分辨率240~400個像素，隔行掃描。62年誕生于德國，應(yīng)用于中國、新加坡、歐洲地區(qū)等（Pal-B、D、G、H、I、N、NC）。NTSC制（525/60）每秒30幀，水平掃描線為525條，水平分辨率240~400個像素，隔行掃描。53年誕生于美國，應(yīng)用于美國、日本、臺灣等（NTSC-M、NC、Japan等）。2.1.1常見的媒體元素視頻

視頻的制式SECAM制（625/50）每秒25幀，水平掃描線為525條、水平分辨率625。由法國人提出，應(yīng)用于俄羅斯、法國、非洲地區(qū)等。視頻的數(shù)字化指在一段時間內(nèi)以一定的速度對視頻信號進行捕獲并加以采樣后形成數(shù)字化數(shù)據(jù)的處理過程。2.1.1常見的媒體元素音頻

分類波形聲音包含了所有的聲音形式，它可以把任何聲音都進行采樣量化，并恰當(dāng)?shù)鼗謴?fù)出來。2.1.1常見的媒體元素音頻

分類語音人的說話聲雖是一種特殊的媒體，但也是一種波形，所以和波形聲音的文件格式相同。音樂符號化了的聲音，樂譜可轉(zhuǎn)變?yōu)榉柮襟w形式。2.1.1常見的媒體元素動畫動畫的概念

運動的圖畫，實質(zhì)是一幅幅靜態(tài)圖像的連續(xù)播放。動畫的連續(xù)播放既指時間上的連續(xù)，也指圖像內(nèi)容上的連續(xù)，即播放的相鄰兩幅圖像之間內(nèi)容相差不大。計算機設(shè)計動畫方法造型動畫幀動畫

2.1.1常見的媒體元素動畫幀動畫

2.1.1常見的媒體元素動畫幀動畫2.1.2媒體的種類視覺三維動畫視覺（靜止）圖像圖形文字符號語言文字抽象化抽象化（動態(tài)）圖像圖形動態(tài)影像視頻真實感三維動畫二維動畫其它表示為視覺的媒體2.1.2媒體與多媒體聽覺觸覺其他感覺抽象化聽覺聲音聲響（自然界）語音（人類語言）音樂其它（嗅覺、味覺等）觸覺振動運動傳感/發(fā)生器2.1.3媒體的性質(zhì)和特點各種媒體具有不同特點和性質(zhì)媒體是有格式的不同媒體表達信息的特點和程度各不相同媒體之間可以相互轉(zhuǎn)換媒體之間的關(guān)系也具有豐富的信息媒體具有空間性質(zhì)表現(xiàn)空間媒體按相互的空間關(guān)系進行組織視覺空間、聽覺空間和觸覺空間這3者既相互獨立又需要相互結(jié)合2.1.3媒體的性質(zhì)和特點媒體的時間性質(zhì)表現(xiàn)需要時間媒體在時間坐標(biāo)軸上的相互關(guān)系媒體的語義媒體的語義是有層次的抽象的程度不同，語義的重點也就不同媒體結(jié)合的影響媒體結(jié)合是多層次的媒體結(jié)合有利于信息接受和理解隱喻交互的概念模型，也稱心智模型2.2聽覺媒體技術(shù)

2.2.1聽覺心理學(xué)略2.2.2音頻的數(shù)字化和符號化從人與計算機交互的角度看，音頻信號的處理包括下述3點：人與計算機通信，也就是計算機接收音頻信號。包括音頻獲取、語音的識別和理解。計算機與人通信，也就是計算機輸出音頻。包括音樂合成、語音合成、聲音的定位以及音頻視頻的同步。人-計算機-人通信。人通過網(wǎng)絡(luò)與異地的人進行語音通信，相關(guān)的音頻處理有語音采集、音頻的編碼和解碼、音頻的存儲、音頻的傳輸、基于內(nèi)容的檢索等。2.2.2音頻的數(shù)字化和符號化1．音頻的數(shù)字化與再現(xiàn)

在計算機中，所有的信息都以數(shù)字來表示。聲音信號也是由一系列的數(shù)字來表示的，稱為數(shù)字音頻。數(shù)字音頻的特點就是保真度好，動態(tài)范圍大。數(shù)字聲音是一個數(shù)據(jù)序列。它是由外界聲音經(jīng)過采樣、量化和編碼后得到的。2.2.2音頻的數(shù)字化和符號化

對聲音進行采樣用奈奎斯特采樣定理來決定采樣的頻率。根據(jù)該定理，只要采樣頻率高于信號中最高頻率的兩倍，就可以從采樣中完全恢復(fù)原始信號的波形。因為人耳所能聽到的頻率范圍為20Hz到20KHz，所以實際的采樣過程中，為了達到好的效果，就采用44.1KHz作為高質(zhì)量聲音的采樣頻率。如果達不到這么高的頻率，聲音恢復(fù)的效果就會差一些，例如電話聲音的質(zhì)量等。一般來說，聲音恢復(fù)和采樣頻率、信道帶寬都有關(guān)。

聲音的采樣以及量化圖2.2.2音頻的數(shù)字化和符號化2.2.2音頻的數(shù)字化和符號化2．聲音的符號化

波形聲音可以把音樂、語音都進行數(shù)據(jù)化并且表示出來，但是并沒有把它看成音樂和語音。對于聲音的符號化（也可以稱為抽象化）表示包括兩種類型：一種是音樂，一種是語音。2.2.2音頻的數(shù)字化和符號化（1）音樂的符號化－MIDIMIDI(MusicInstrumentDigitalInterface)是指樂器數(shù)字接口的國際標(biāo)準(zhǔn)。MIDI消息，是指樂譜的數(shù)字描述。任何電子樂器，只要有處理MIDI消息的微處理器和合適的硬件接口，就構(gòu)成了一個MIDI設(shè)備。當(dāng)一組MIDI消息通過音樂合成芯片處理時，合成器能解釋這些符號并且產(chǎn)生音樂。MIDI的關(guān)鍵是作為媒體能夠記錄這些音樂的符號，相應(yīng)的設(shè)備能夠產(chǎn)生和解釋這些符號。它給出了一種得到音樂聲音的方法。2.2.2音頻的數(shù)字化和符號化

MIDI的特點：與波形聲音相比，MIDI不是聲音數(shù)據(jù)而是指令，所以數(shù)據(jù)量要少得多。30分鐘的音樂，用MIDI文件記錄只需200KB，用16位CD品質(zhì)的未壓縮WAV文件記錄需317MBMIDI可以與其他波形聲音配合使用，形成伴樂的效果。而兩個波形聲音一般是不能同時使用的對MIDI的編輯也很靈活，用戶可以自由地改變音調(diào)、音色等屬性，直到自己想要的效果MIDI在音質(zhì)上還不能與真正的樂器完全相似。無法模擬自然界中其它非樂曲類聲音2.2.2音頻的數(shù)字化和符號化（2）語音的符號化語音與文字是對應(yīng)的。波形聲音可以記錄表示語音，它是不是語音取決于聽者對聲音的理解。對語音的符號化實際上就是對語音的識別，將語音轉(zhuǎn)變?yōu)樽址?，反之也可以將文字合成語音。語音指構(gòu)成人類語音信號的各種聲音。在采集和存儲上可以與波形聲音一樣，但由于語音是由一連串的音素組成?！耙痪湓挕敝邪S多音節(jié)以及上下文過渡過程的連接體等特殊的信息，并且語音本身與語言有關(guān)，所以要把它作為一個獨立的媒體來看待。2.3視覺媒體技術(shù)

2.3.1視覺心理學(xué)

略2.3.2模擬視頻原理光柵掃描原理視頻攝像機將圖像轉(zhuǎn)換為電信號，電信號是一維的，但圖像是二維的，將二維圖像轉(zhuǎn)成為一維電信號是由光柵掃描的方法實現(xiàn)的。快速的掃描線從頂部開始，一行一行地向下掃描，直至顯示器的最底部，然后再返回頂部的起點，重新開始掃描。這個過程產(chǎn)生的一個有序的圖像信號集合，就組成了電視顯示中的一幅圖像，在此稱為幀。連續(xù)不斷的圖像序列就形成了動態(tài)視頻圖像。2.3.2模擬視頻原理分辨率表現(xiàn)的是電視系統(tǒng)中重現(xiàn)場景細節(jié)的能力。水平掃描線所能分辨出的點數(shù)稱為水平分辨率。一般來說，點數(shù)越小，線越細，分辨率就越高。一個系統(tǒng)的水平分辨率為400線，指在對應(yīng)于圖像高度的水平距離內(nèi)能交替顯示200條白線和200條黑線。相應(yīng)地，一幀中垂直掃描的行數(shù)稱為垂直分辨率。垂直分辨率和每幀中的掃描線有關(guān)，掃描線越多，分辨率就越高。廣播電視系統(tǒng)垂直的行數(shù)一般是525線（北美和日本）和625線（歐洲和中國）。2.3.2模擬視頻原理每一秒鐘所掃描的幀數(shù)稱為幀頻，一般為25幀（PAL）或者30幀（NTSC）。由于是隔行掃描，所以垂直頻率分別是每秒50幀和60幀。因此，人眼就不容易看到閃爍。寬高比是掃描的一個重要的參數(shù)。掃描行的長度與在圖像垂直方向上的所有掃描行所跨過的距離之比，就成為寬高比。目前電視中的寬高比為4：3，新型電視的寬高比為16：9，有些電影系統(tǒng)的寬高比為2：1。2.3.2模擬視頻原理彩色視頻加基系統(tǒng)是彩色視頻系統(tǒng)的基礎(chǔ)。彩色電視采用紅綠藍（RGB）作為三基色進行配色，產(chǎn)生出R、G、B三個輸出信號，RGB信號可以分別傳輸，但是要配上相應(yīng)的同步信號。在RGB系統(tǒng)中需要三根視頻電纜互連，但是三個信號在同步關(guān)系方面相當(dāng)復(fù)雜，所以大部分彩色電視不處理RGB，而是將RGB信號組合起來在一條電纜中傳輸，這就是復(fù)合信號。2.3.2模擬視頻原理

現(xiàn)有的幾種不同的復(fù)合信號有NTSC、PAL和SECAM。根據(jù)亮度/色度原理，任何彩色信號都可以分為亮度和色度。色度只要使用色差就可以表示顏色信號，而不必使用RGB三個完整的信號。將亮度和色度交錯排列分別放到電纜上，就組成了復(fù)合信號。電視系統(tǒng)的三種制式采用的信號形式也不完全一樣。NTSC的亮度信號稱為Y，色度信號為I和Q，即YIQ方式。PAL制式和SECAM制式的亮度和色度與之相對應(yīng)為YUV，它們的差別在于編碼方式的不同。YUV、YIQ可以與RGB互換。RGB、YUV和YIQ等都被稱為彩色空間。2.3.2模擬視頻原理視頻設(shè)備按照用途不同，視頻設(shè)備可以分為廣播、專業(yè)和消費三個級別。廣播級一般是大型的電視臺和網(wǎng)絡(luò)站使用，它的性能最好，用于大系統(tǒng)應(yīng)用，價格昂貴；專業(yè)級一般用于教育界和工業(yè)界的小廣播站，有較好的性能。而消費級是家用設(shè)備，一般操作簡單、性能可靠，一般價格是第一位的。具體的視頻設(shè)備有如彩色攝影機、視頻記錄設(shè)備和視頻監(jiān)視設(shè)備。2.3.3視覺媒體數(shù)字化

1．位圖圖像與數(shù)字視頻

對計算機來說，無論是文字或圖形，還是圖像或視頻，在計算機上進行處理首先要數(shù)字化。與音頻信號相似，對所要處理的一幅畫面，通過對每一個象素進行采樣，并且按照顏色或者灰度進行量化，就可以得到圖像的數(shù)字化結(jié)果。數(shù)字化的結(jié)果放在顯示緩存區(qū)中，與顯示器上的點一一對應(yīng)，這就是位圖圖像。對視頻按照時間進行數(shù)字化所得到的圖像序列，就構(gòu)成了數(shù)字視頻序列。它同樣與頻率和量化的比特數(shù)有關(guān)。頻率必須足夠高，以跟上模擬信號流；量化的比特數(shù)越多，量化的值就越多，所能表示的顏色或灰度級數(shù)就越多。2.3.3視覺媒體數(shù)字化

在一幅圖像的X軸上是一行的點數(shù)，在Y軸上是行數(shù)。X、Y的交叉點就是一個象素，每一個象素可以有若干比特來表示。按照標(biāo)準(zhǔn)間隔在時間軸上采樣的圖像組組成視頻序列。所以可以說，圖像是離散的視頻，而視頻是連續(xù)的圖像。當(dāng)進行再現(xiàn)時，被表示稱數(shù)字形式的數(shù)據(jù)按格式和時間送上顯示器，就又恢復(fù)了原先的形態(tài)。其它的視覺媒體如文字、圖形等，在顯示原理上都是以此為基礎(chǔ)的，它們都是通過預(yù)先的編碼表示出顯示的形式，在再現(xiàn)時，在顯示器上畫出所要的圖形或者文字。2.3.3視頻媒體數(shù)字化2.3.3視頻媒體數(shù)字化文件格式說明GIFGraphicsInterchangeFormat的縮寫，是由Compu-Serve公司于1987年為制定彩色圖像傳輸協(xié)議而開發(fā)的一種圖像文件格式TIFFTagImageFileFormat縮寫，是由Alaus和Microsoft公司為掃描儀和桌上出版系統(tǒng)研發(fā)的一種圖像文件格式，它的文件格式全部基于標(biāo)志域TGATargeImageFormat的縮寫，是Truevision公司為Targe和Vista圖像獲取板設(shè)計的軟件TIPS所使用的文件格式BMP（Bitmap）是一種與設(shè)備無關(guān)的圖像文件格式，是Windows軟件推薦使用的一種格式PCX是由Zsoft公司研制開發(fā)的，一般與PC-PaintBrush圖像軟件一起使用MPG根據(jù)國際標(biāo)準(zhǔn)MPEG編碼的一種動態(tài)圖像文件格式AVSIntel和IBM公司共同研制的DVI系統(tǒng)的一種動態(tài)圖像文件格式，AVS文件只能在DVI系統(tǒng)硬件下才能夠讀寫AVIIntel和IBM公司共同研制的DVI系統(tǒng)的一種動態(tài)圖像文件格式2.3.3視覺媒體數(shù)字化

2．圖形圖形(Graphics)：一種抽象化的圖像，是對圖像依據(jù)某個標(biāo)準(zhǔn)進行分析而產(chǎn)生的結(jié)果。它不直接描述數(shù)據(jù)的每一點，而是描述產(chǎn)生這些點的過程及方法。因此被稱之為矢量圖形，一般直接稱為圖形。2.3.3視覺媒體數(shù)字化

矢量圖形是以一組指令的形式存在的，這些指令描述一幅圖中所包含的直線、圓、弧線、矩形的大小和形狀，也可以用更為復(fù)雜的形式表示圖像中曲面、光照、材質(zhì)等效果。在計算機上顯示一幅圖像時，首先要解釋這些指令，然后將它們轉(zhuǎn)變成屏幕上顯示的形狀和顏色。圖形的矢量化使得有可能對圖中的各個部分分別進行控制。計算機可以對其中任何對象分別進行任意的變換：放大、縮小、旋轉(zhuǎn)、變形、扭曲、移位、疊加等，并仍保持圖形特性。圖形變換的靈活性，使其在處理上獲得了更大的自由度。2.3.3視覺媒體數(shù)字化

3．符號與文字

符號媒體：是某種抽象的結(jié)果。各種描述量、語言、數(shù)據(jù)、標(biāo)識符、數(shù)值、字符等都是符號媒體。由于符號具有明顯的結(jié)構(gòu)性，大腦可以識別這種結(jié)構(gòu)，進而可識別出由這一組符號所代表的信息。這種結(jié)構(gòu)可以組成文本，即字符串；也可以組成數(shù)據(jù)組，如數(shù)據(jù)庫中的一個元組，均可表達特定的信息。2.3.3視覺媒體數(shù)字化

符號媒體特點：符號媒體要知識的輔助才能使用，知識的輔助隨著層次的升高而不斷增強作用“ICANSPEAKENGLISH”

如學(xué)英文時，開始只認識字母；學(xué)過英文單詞后，認識到一個個單詞；學(xué)習(xí)文法后，發(fā)現(xiàn)是一個句子符號媒體表達精度高符號媒體存儲量小2.3.3視覺媒體數(shù)字化

文本媒體是用得最多的符號媒體形式。主要特點如下：文本是流結(jié)構(gòu)形式：由具有上下文關(guān)系的字符串組成,它與字符的結(jié)構(gòu)樣式有關(guān)，與形式無關(guān)對文本的控制不影響媒體信息本來的表達文本顯示的改變只是屬性的改變，并不影響文本本身的含義對文本的處理應(yīng)遵從文本內(nèi)部的結(jié)構(gòu)，如斷詞，接尾，分段，章節(jié)安排2.4觸覺媒體技術(shù)

2.4.1觸覺媒體概述皮膚可以感覺環(huán)境的溫度、濕度，也可感覺壓力，身體可以感覺振動、運動、旋轉(zhuǎn)等，這些都是觸覺在起作用，都可以作為傳遞信息的媒體。事實上，觸覺媒體就是環(huán)境媒體，它描述了該環(huán)境中的一切特征和參數(shù)。2.4.1觸覺媒體概述人體在信息交流過程中起的作用最大的是人的頭部、手部和整體軀干。與外界環(huán)境的觸覺交互主要包括位置跟蹤、力量反饋等方面。對手部信息的處理包括手部的位置、手指的動作類型、手部的感覺、手部的力量反饋等。這些都要有特殊的設(shè)備和技術(shù)完成系統(tǒng)對手部信息的數(shù)字化和跟蹤，并將它們與系統(tǒng)的控制和應(yīng)用結(jié)合起來。這些設(shè)備和技術(shù)包括數(shù)據(jù)手套、壓力傳感手套、手部位置超聲波跟蹤器、力量反饋接口等。對軀干的位置跟蹤和反饋與手部和頭部很類似，但它要反映人體的體勢語言和外界對人體的力量反饋，如振動、傾覆、旋轉(zhuǎn)等。這些設(shè)備包括數(shù)據(jù)服裝、三維數(shù)據(jù)座艙、模擬器等。2.4.2簡單指點設(shè)備與技術(shù)1．指點的任務(wù)指點的任務(wù)包括：選擇定位定向路徑數(shù)量操作2.4.2簡單指點設(shè)備與技術(shù)2．指點設(shè)備指點設(shè)備分成直接指點設(shè)備和間接指點設(shè)備兩類。前者直接使用特殊的指點設(shè)備或用手指點屏幕，后者則通過指點設(shè)備的間接動作對屏幕上的對象進行指點。直接指點設(shè)備包括：光筆、觸摸屏及輸入筆等。間接指點設(shè)備包括：鼠標(biāo)、跟蹤球、控制桿和圖形板。這些設(shè)備不接觸顯示屏幕，所以使用時不會遮擋視線，也不易疲勞。2.4.2簡單指點設(shè)備與技術(shù)這些指點設(shè)備的輸入都是在顯示平面上的二維坐標(biāo)空間中進行的，包括坐標(biāo)改變的速度。除非經(jīng)過特殊的變換，很難把它們向三維空間轉(zhuǎn)換。現(xiàn)在又出現(xiàn)了一些新型的指點設(shè)備，例如腳用鼠標(biāo)器、視線跟蹤器、凝視檢測控制器等。2.5小結(jié)

3.1數(shù)據(jù)壓縮的

基本原理和方法3.1數(shù)據(jù)壓縮的基本原理和方法

壓縮的必要性音頻、視頻的數(shù)據(jù)量很大，如果不進行處理，計算機系統(tǒng)幾乎無法對它進行存取和交換。例如，一幅具有中等分辨率（640×480）的真彩色圖像（24b/像素），它的數(shù)據(jù)量約為7.37Mb/幀，一個100MB（Byte）的硬盤只能存放約100幀圖像。若要達到每秒25幀的全動態(tài)顯示要求，每秒所需的數(shù)據(jù)量為184Mb，而且要求系統(tǒng)的數(shù)據(jù)傳輸率必須達到184Mb/s。對于聲音也是如此，若采用16b樣值的PCM編碼，采樣速率選為44.1kHZ，則雙聲道立體聲聲音每秒將有176KB的數(shù)據(jù)量。3.1數(shù)據(jù)壓縮的基本原理和方法視頻、圖像、聲音有很大的壓縮潛力

信息論認為：若信源編碼的熵大于信源的實際熵，該信源中一定存在冗余度。原始信源的數(shù)據(jù)存在著很多冗余度：空間冗余、時間冗余、視覺冗余、聽覺冗余等。3.1.1數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)節(jié)省圖象或視頻的存儲容量，增加訪問速度，使數(shù)字視頻能在PC機上實現(xiàn)，需要進行視頻和圖象的壓縮。有三個關(guān)鍵參數(shù)評價一個壓縮系統(tǒng)壓縮比圖象質(zhì)量壓縮和解壓的速度另外也必須考慮每個壓縮算法所需的硬件和軟件。3.1.2數(shù)據(jù)冗余的類型與壓縮方法分類1.數(shù)據(jù)冗余的類型

一幅圖象中同一種顏色不止一個象素點，若相鄰的象素點的值相同，象素點間（水平、垂直）有冗余。（空間冗余）當(dāng)圖象的一部分包含占主要地位的垂直的源對象時，相鄰線間存在冗余。（空間冗余）若圖象穩(wěn)定或只有輕微的改變，運動序列幀間存在冗余。（時間冗余）3.1.2數(shù)據(jù)冗余的類型與壓縮方法分類空間冗余：在同一幅圖像中，規(guī)則物體和規(guī)則背景的表面物理特性具有相關(guān)性，這些相關(guān)性的光成像結(jié)果在數(shù)字化圖像中就表現(xiàn)為數(shù)據(jù)冗余。時間冗余：時間冗余反映在圖像序列中就是相鄰幀圖像之間有較大的相關(guān)性，一幀圖像中的某物體或場景可以由其它幀圖像中的物體或場景重構(gòu)出來。音頻的前后樣值之間也同樣有時間冗余。3.1.2數(shù)據(jù)冗余的類型與壓縮方法分類信息熵冗余：信源編碼時，當(dāng)分配給第i個碼元類的比特數(shù)b（yi）=-logpi，才能使編碼后單位數(shù)據(jù)量等于其信源熵，即達到其壓縮極限。但實際中各碼元類的先驗概率很難預(yù)知，比特分配不能達到最佳。實際單位數(shù)據(jù)量d>H（S），即存在信息冗余熵。視覺冗余：人眼對于圖像場的注意是非均勻的，人眼并不能察覺圖像場的所有變化。事實上人類視覺的一般分辨能力為26灰度等級，而一般圖像的量化采用的是28灰度等級，即存在著視覺冗余。3.1.2數(shù)據(jù)冗余的類型與壓縮方法分類聽覺冗余：人耳對不同頻率的聲音的敏感性是不同的，并不能察覺所有頻率的變化，對某些頻率不必特別關(guān)注，因此存在聽覺冗余。其它冗余：包括結(jié)構(gòu)冗余、知識冗余等。3.1.2數(shù)據(jù)冗余的類型與壓縮方法分類2.數(shù)據(jù)壓縮技術(shù)分類根據(jù)解碼后數(shù)據(jù)與原始數(shù)據(jù)是否完全一致可以分為兩大類：一類是熵編碼、冗余壓縮法，也稱無損壓縮法、無失真壓縮法；二是熵壓縮法，也稱有損壓縮法、有失真壓縮法。從“熵”損失角度分為無損壓縮和有損壓縮兩種：無失真壓縮，又稱熵編碼。由于不會失真，多用于文本、數(shù)據(jù)的壓縮，但也有例外，非線性編輯系統(tǒng)為了保證視頻質(zhì)量，有些高檔系統(tǒng)采用的是無失真壓縮方法。有失真壓縮，又稱熵壓縮法。大多數(shù)圖像、聲音、動態(tài)視頻等數(shù)據(jù)的壓縮是采用有失真壓縮。3.1.3常用數(shù)據(jù)壓縮方法的基本原理1.統(tǒng)計編碼

方法是：識別一個給定的流中出現(xiàn)頻率最高的比特或字節(jié)模式，并用比原始比特更少的比特數(shù)來對其編碼。即就是，頻率越低的模式，其編碼的位數(shù)越多，頻率越高的模式編碼位數(shù)越少。若碼流中所有模式出現(xiàn)的概率相等，則平均信息量最大，信源就沒有冗余。3.1.3常用數(shù)據(jù)壓縮方法的基本原理

(1)行程編碼(RunLengthCoding)

是最簡單、最古老的壓縮技術(shù)之一，主要技術(shù)是檢測重復(fù)的比特或字符序列，并用它們的出現(xiàn)次數(shù)取而代之。該方法有兩大模式：一是消零(消空白)，二是行(游)程(runlength)編碼。

消零(或消空白)法

將數(shù)字中連續(xù)的“0”或文本中連續(xù)的空白用一個標(biāo)識符(或特殊字符)后跟數(shù)字N(連續(xù)“0”的個數(shù))來代替。

如數(shù)字序列：742300000000000000000055編碼為：7423Z18553.1.3常用數(shù)據(jù)壓縮方法的基本原理行程編碼法

任何重復(fù)的字符序列可被一個短格式取代。該算法適合于任何重復(fù)的字符。一組n個連續(xù)的字符c將被c和一個特殊的字符取代。當(dāng)然，若給定字符僅重復(fù)兩次就不要用此方法。任何重復(fù)4次或4次以上的字符由“該字符＋記號(M)＋重復(fù)次數(shù)”代替。例如數(shù)字序列：Name:..........CR

編碼為：Name:

.M10CR3.1.3常用數(shù)據(jù)壓縮方法的基本原理

(2)LZW編碼

LZW算法在壓縮文本和程序數(shù)據(jù)的壓縮技術(shù)中唱主角。它的壓縮率高，壓縮處理所化費的時間比其它方式要少。

LZW編碼時，首先將原始的數(shù)據(jù)分成多個條紋，每個條紋都單獨進行壓縮。

LZW算法基于一個轉(zhuǎn)換表或字串表，它將輸入字符映象到編碼中，使用可變長代碼，最大代碼長度為12位。3.1.3常用數(shù)據(jù)壓縮方法的基本原理LZW算法中的字串表對于每個條紋都不同，并且不必保留給解壓縮程序，因為解壓縮過程中能自動建立完全相同的字串表。實際上，它是通過查找冗余字符串并將此字符串用較短的符號標(biāo)記替代的壓縮技術(shù)。3.1.3常用數(shù)據(jù)壓縮方法的基本原理(3)哈夫曼編碼 1952年Huffman提出了對統(tǒng)計獨立信源能達到最小平均碼長的編碼方法，也即最佳碼。最佳性可從理論上證明。這種碼具有即時性和唯一可譯性。 該編碼是常見的一種統(tǒng)計編碼。對給定的數(shù)據(jù)流，計算其每個字節(jié)的出現(xiàn)頻率。根據(jù)頻率表，運用哈夫曼算法可確定分配各字符的最小位數(shù)，然后給出一個最優(yōu)的編碼。代碼字存人代碼表中。3.1.3常用數(shù)據(jù)壓縮方法的基本原理

Huffman編碼的優(yōu)缺點

優(yōu)點：當(dāng)信源符號概率是2的負冪次方時，Huffman編碼法編碼效率達到100%。一般情況下，它的編碼效率要比其它編碼方法的效率高，是最佳變長碼。

缺點：Huffman碼依賴于信源的統(tǒng)計特性，必須先統(tǒng)計得到信源的概率特性才能編碼，這就限制了實際的應(yīng)用。通?？稍诮?jīng)驗基礎(chǔ)上預(yù)先提供Huffman碼表，此時性能有所下降。3.1.3常用數(shù)據(jù)壓縮方法的基本原理(4)算術(shù)編碼

算術(shù)編碼把一個信源集合表示為實數(shù)線上的0到1之間的一個區(qū)間。這個集合中的每個元素都要用來縮短這個區(qū)間。信源集合的元素越多，所得到的區(qū)間就越小，當(dāng)區(qū)間變小時，就需要一些更多的數(shù)位來表示這個區(qū)間，這就是區(qū)間作為代碼的原理。算術(shù)編碼首先假設(shè)一個信源的概率模型，然后用這些概率來縮小表示信源集的區(qū)間。3.1.3常用數(shù)據(jù)壓縮方法的基本原理新子區(qū)間的起始位置＝前子區(qū)間的起始位置＋當(dāng)前符號的區(qū)間左端×前子區(qū)間長度新子區(qū)間的長度＝前子區(qū)間的長度×當(dāng)前符號的概率（等價于范圍長度）最后得到的子區(qū)間的長度決定了表示該區(qū)域內(nèi)的某一個數(shù)所需的位數(shù)。3.1.3常用數(shù)據(jù)壓縮方法的基本原理2.預(yù)測編碼(PredictionCoding)

預(yù)測編碼是指利用前面的一個或多個信號對下一個信號進行預(yù)測，然后對實際值和預(yù)測值的差進行編碼。DPCM與ADPCM是兩種典型的預(yù)測編碼。3.1.3常用數(shù)據(jù)壓縮方法的基本原理(1)差分脈碼調(diào)制(DPCM)PCM(PulseCodeModulation)，原始的模擬信號經(jīng)過時間采樣，然后對每一樣值進行量化，作為數(shù)字信號傳輸。

DPCM不對每一樣值都進行量化，而是預(yù)測下一樣值，并量化實際值和預(yù)測值之間的差。

DPCM是基本的編碼方法之一，在大量的壓縮算法中被采用，比如JPEG的DC分量就是采用DPCM編碼的。3.1.3常用數(shù)據(jù)壓縮方法的基本原理舉例說明DPCM編碼原理：

設(shè)DPCM系統(tǒng)預(yù)測器的預(yù)測值為前一個樣值，假設(shè)輸入信號已經(jīng)量化，差值不再進行量化。若系統(tǒng)的輸入為{0121123344…}，則預(yù)測值為{0012112334…}，差值為{011–1011010…}，差值的范圍比輸入樣值的范圍有所減小，可以用較少的位數(shù)進行編碼。3.1.3常用數(shù)據(jù)壓縮方法的基本原理(2)自適應(yīng)差分脈碼調(diào)制(ADPCM)

為了進一步改善量化性能或壓縮數(shù)據(jù)率，可采用自適應(yīng)量化或自適應(yīng)預(yù)測的方法。只要采用了其中的任一種自適應(yīng)方法，均稱為ADPCM。自適應(yīng)預(yù)測

預(yù)測參數(shù)的最佳化依賴于信源的統(tǒng)計特性，要得到最佳的預(yù)測參數(shù)是一件繁瑣的工作。而采用固定的預(yù)測參數(shù)往往又得不到好的性能。為了既能使性能較佳，又不致于有太大的工作量，可以將上述兩種方法折衷考慮，采用自適應(yīng)預(yù)測。3.1.3常用數(shù)據(jù)壓縮方法的基本原理

具體方法是：預(yù)測參數(shù)仍采用固定的；但此時有多組預(yù)測參數(shù)可供選擇。這些預(yù)測參數(shù)根據(jù)常見的信源特征求得。編碼時具體采用哪組預(yù)測參數(shù)根據(jù)信源的特征來自適應(yīng)的確定。為了自適應(yīng)的選擇最佳參數(shù)，通常將信源數(shù)據(jù)分區(qū)間編碼，編碼時自動地選擇一組預(yù)測參數(shù)，使該區(qū)間實際值與預(yù)測值的均方誤差最小。隨著編碼區(qū)間的不同，預(yù)測參數(shù)自適應(yīng)的變化，以達到準(zhǔn)最佳預(yù)測。3.1.3常用數(shù)據(jù)壓縮方法的基本原理

例如，Microsoft

的ADPCM采用二預(yù)測參數(shù)，提供7組預(yù)測系數(shù)，如右表所示。編碼時，根據(jù)選定的準(zhǔn)則(如最小均方誤差準(zhǔn)則)，每個編碼區(qū)間自動地選取一組最佳的參數(shù)。系數(shù)集系數(shù)1系數(shù)2025601512-256200319264424005460-2086392-232

自適應(yīng)量化

根據(jù)信號分布不均勻的特點，系統(tǒng)具有隨輸入信號的變化而改變量化區(qū)間大小,以保持輸入給量化器的信號基本均勻的能力，這種能力稱為自適應(yīng)量化。3.1.3常用數(shù)據(jù)壓縮方法的基本原理3.1.3常用數(shù)據(jù)壓縮方法的基本原理3.變換編碼(TransformationCoding)在變換編碼時，初始數(shù)據(jù)要從初始空間或時間域進行數(shù)學(xué)變換，變換為一個更適于壓縮的抽象域。該過程是可逆的；即使用反變換可恢復(fù)原始數(shù)據(jù)。如將時域信號變換到頻域，因為聲音、圖像大部分信號都是低頻信號，在頻域中信號的能量較集中，再進行采樣、編碼就可以壓縮數(shù)據(jù)。3.1.3常用數(shù)據(jù)壓縮方法的基本原理變換本身是可逆的，因而其也是一種無損技術(shù)。然而，為了取得更滿意的結(jié)果，某些重要系數(shù)的編碼位數(shù)比其他的要多，某些系數(shù)干脆就被忽略了。這樣，該過程就成為有損的了。

數(shù)學(xué)家們已經(jīng)構(gòu)造了多種數(shù)學(xué)變換。除了傅里葉變換外，還有余弦、Hadamard、Haar、KarhunenLoeve變換。最實用最常用的數(shù)學(xué)變換是離散余弦變換(DCT)。3.1.3常用數(shù)據(jù)壓縮方法的基本原理典型的變換編碼系統(tǒng)框圖：信源序列變換變換域采樣量化編碼存儲或傳輸譯碼填零反變換再現(xiàn)序列變換編碼系統(tǒng)壓縮數(shù)據(jù)的三個步驟3.1.3常用數(shù)據(jù)壓縮方法的基本原理

(1)最佳變換（K－L變換）數(shù)據(jù)壓縮主要是去除信源的相關(guān)性。若考慮到信號存在于無限區(qū)間上，而變換區(qū)域又是有限的，那么表征相關(guān)性的統(tǒng)計特性就是協(xié)方差矩陣。當(dāng)協(xié)方差矩陣中除對角線上元素之外的各元素都為零時，就等效于相關(guān)性為零。所以，為了有效地進行數(shù)據(jù)壓縮，常常希望變換后的協(xié)方差矩陣為一對角矩陣，同時也希望主對角線上各元素隨ｉ，ｊ的增加很快衰減。因此，變換編碼的關(guān)鍵在于：在已知Ｘ的條件下，根據(jù)它的協(xié)方差矩陣去尋找一種正交變換Ｔ，使變換后的協(xié)方差矩陣滿足或接近為一對角矩陣。3.1.3常用數(shù)據(jù)壓縮方法的基本原理當(dāng)經(jīng)過正交變換后的協(xié)方差矩陣為一對角矩陣，且具有最小均方誤差時，該變換稱最佳變換，也稱Karhunen-Loeve變換?？梢宰C明，以矢量信號的協(xié)方差矩陣的歸一化正交特征向量所構(gòu)成的正交矩陣，對該矢量信號所作的正交變換能使變換后的協(xié)方差矩陣達到對角矩陣。3.1.3常用數(shù)據(jù)壓縮方法的基本原理

(2)離散余弦變換（DCT變換）如果變換后的協(xié)方差矩陣接近對角矩陣，該類變換稱準(zhǔn)最佳變換，典型的有DCT、DFT、WHT、HrT等。其中，最常用的變換是離散余弦變換DCT。

DCT是從DFT引出的。DFT可以得到近似于最佳變換的性能，但DFT的運算次數(shù)太多，且需要復(fù)數(shù)運算。DCT從DFT中取實部，并可用快速余弦變換算法，因此大大加快了運算。同時其壓縮性能十分逼近最佳變換的壓縮性能。所以，DCT在圖像壓縮中得到了廣泛的應(yīng)用。3.1.3常用數(shù)據(jù)壓縮方法的基本原理

4.分析合成編碼通過對原始數(shù)據(jù)的分析，將其分解為一系列更適合于表示的基元或者從中提取出更有本質(zhì)意義的參數(shù)，編碼僅對這些基本單元或者特征參數(shù)進行，而解碼時則借助于一定的規(guī)則或者模型，按照一定的算法將這些基元或者參數(shù)再綜合成原始數(shù)據(jù)的一個逼近。3.1.3常用數(shù)據(jù)壓縮方法的基本原理矢量量化量化編碼按照一次量化的碼元個數(shù)，可分為標(biāo)量量化和矢量量化兩種。對數(shù)字化后的數(shù)據(jù)或PCM數(shù)據(jù)（樣本值）一個一個地進行量化，稱為標(biāo)量量化。而將這些數(shù)據(jù)分組，每組K維矢量，再以矢量為單元逐個進行量化，稱其為矢量量化。矢量量化是標(biāo)量量化的多維擴展。3.1.3常用數(shù)據(jù)壓縮方法的基本原理標(biāo)量量化中可在隨機變量X出現(xiàn)概率比較高的間隔內(nèi)，選擇較小的判決間隔，而在其他區(qū)域內(nèi)選擇較大的間隔，這樣可以以較小的量化均方誤差進行量化。矢量量化基于語義編碼，其基本思想是采用非線性量化器，即對空間頻率及能量分布較大的系數(shù)分配較多比特數(shù)；反之分配較少的比特數(shù)，從而達到壓縮的目的。3.1.3常用數(shù)據(jù)壓縮方法的基本原理小波變換編碼小波變換是一個線性變換，能夠?qū)⒁粋€信號分解成對空間和時間、頻率的獨立貢獻，同時又不失原信號所包含的信息。經(jīng)過小波變換后的圖像能量很集中，便于對不同的分量作不同的處理，達到較高的壓縮比。3.1.3常用數(shù)據(jù)壓縮方法的基本原理分形編碼分形編碼是一種模型編碼，它利用模型的方法，對需要傳輸?shù)膱D像進行參數(shù)估測。分形的方法是把一幅數(shù)字圖像，通過一些圖像處理技術(shù)，如顏色分割、邊緣檢測、頻譜分析、紋理變化分析等等，將原始圖像分成一些子圖像。子圖像可以是簡單的物體，也可以是一些復(fù)雜的景物。然后在分形集中查找這樣的子圖像。分形集實際上并不是存儲所有可能的子圖像，而是存儲許多迭代函數(shù)，通過迭代函數(shù)的反復(fù)迭代，恢復(fù)出原來的子圖像。表示這樣的迭代函數(shù)一般只需幾個數(shù)據(jù)即可，這就達到了很高的壓縮比。3.1.3常用數(shù)據(jù)壓縮方法的基本原理子帶編碼

利用帶通濾波器組把信號頻帶分割成若干子頻帶，然后分別處理。通過等效于單邊帶調(diào)幅的調(diào)制過程，將各子帶搬移到零頻率附近以得到低通表示后，再以奈奎斯特速率對各子帶輸出取樣，并對取樣值進行通常的數(shù)字編碼?；謴?fù)時，將各子帶信號解碼并重新調(diào)制回其原始位置，再將所有子帶輸出相加就可得到接近于原始信號的恢復(fù)波形。它的復(fù)雜度與變換編碼差不多，但客觀質(zhì)量高、主觀效果好。

3.2音頻的壓縮3.2音頻的壓縮音頻頻率范圍

低頻聲音(Infra-sound)：0Hz－20Hz人類聽覺頻率范圍的聲音：20Hz－20kHz

高頻(Ultrasound)：20kHz－1GHz超聲波(Hypersound)：1GHz－10THz不同音頻的帶寬

電話語音：

200Hz－3.4kHz調(diào)幅廣播：50Hz－7kHz

調(diào)頻廣播：20Hz－15kHz

寬帶音響:20Hz－20kHz3.2.1音頻壓縮編碼的基本方法無失真壓縮音頻壓縮方法有失真壓縮Huffman編碼行程編碼波形編碼參數(shù)編碼混合編碼全頻帶編碼PCMDPCMADPCM子帶編碼自適應(yīng)變換編碼ATC

心理學(xué)模型矢量量化線性預(yù)測LPC矢量和激勵線性預(yù)測VSELP多脈沖線性預(yù)測MP-LPC碼本激勵線性預(yù)測CELP3.2.2電話質(zhì)量的語音壓縮標(biāo)準(zhǔn)ITU—TS建議的語音壓縮的標(biāo)準(zhǔn)

G.711：采用PCM編碼，采樣速率為8kHz，量化位數(shù)為8bit，對應(yīng)的比特流速率為64kbit/s。

G.721：ITU建議的G.721將64Kbps的比特流轉(zhuǎn)換為32Kbps的流，它是基于ADPCM技術(shù)。每個數(shù)值差分用4位編碼，其采樣率為8kHz。3.2.2電話質(zhì)量的語音壓縮標(biāo)準(zhǔn)

G.723：G.723是一種以24Kbps運行的基于ADPCM的有損耗壓縮標(biāo)準(zhǔn)。其音質(zhì)不如非壓縮的G.711PCM標(biāo)準(zhǔn)以及基于SB—ADPCM的G.722標(biāo)準(zhǔn)。G.723.1和G.723.2用于H.324標(biāo)準(zhǔn)。

G.728：它的比特率為16Kbps，帶寬限于3.4kHz。其音質(zhì)比G.711或G.722差得多。它基于一種稱為低延遲代碼激勵線性預(yù)測(LD—CELP)的向量量化技術(shù)。3.2.2電話質(zhì)量的語音壓縮標(biāo)準(zhǔn)

CELP是一種常用的語音壓縮技術(shù)。它用于美國聯(lián)邦標(biāo)準(zhǔn)1016，可將語音壓縮至4.8Kbps。美國聯(lián)邦標(biāo)準(zhǔn)1015使用CELP的一個簡本，稱為線性預(yù)測編碼(LPC)。LPC一10E標(biāo)準(zhǔn)可以運行于2.4Kbps。采用了一種向量量化方法。聲音聽起來有點象機器在說話，但4.8Kbps與電話差不多。3.2.3調(diào)幅廣播質(zhì)量的音頻壓縮標(biāo)準(zhǔn)

調(diào)幅廣播質(zhì)量：50Hz－7kHz，稱“7kHz音頻信號”。

G.722：G.722基于子帶ADPCM技術(shù)(SB—ADPCM)，它是將現(xiàn)有的帶寬分成兩個獨立的子帶信道分別采用差分脈碼調(diào)制算法。G.722壓縮信號的帶寬范圍為50Hz到7kHz，而G.711僅限于3.4kHz。其比特率為48、56、64Kbps，在標(biāo)準(zhǔn)模式下，采樣速率是16KHz，幅度深度為14比特。3.2.4高保真立體聲音頻壓縮標(biāo)準(zhǔn)

高質(zhì)量的聲音信號頻率范圍：50Hz－20kHz目前國際上比較成熟的高質(zhì)量聲音壓縮標(biāo)準(zhǔn)為MPEG音頻。MPEG－l的音頻信號在ISO11172－3文檔中的描述。MPEG音頻不是單個一種壓縮算法，而是3種音頻編碼和壓縮方案的一個系列。MPEG聲音編碼分為：層－l、層－2、層－3。隨著層數(shù)的增加算法的復(fù)雜度也增大。3.2.4高保真立體聲音頻壓縮標(biāo)準(zhǔn)

所有3層都分級兼容。最復(fù)雜的譯碼器(即在層－3工作的譯碼器)也可對層－2或?qū)樱璴的碼流進行譯碼。所有3層都運用同一原理：變換編碼和子帶編碼。頻譜被分為32個子帶。應(yīng)用快速博里葉變換來表示高頻域中的信號。應(yīng)用心理聲學(xué)模式來變換信號以估計剛能引起注意的噪音級。 層l、2和3主要在最后一個階段--即量化階段的方式上有所區(qū)別，但不是唯一的差別。3.3圖像和視頻的壓縮3.3.1圖像和視頻壓縮編碼的基本方法圖像和視頻壓縮方法無失真壓縮有失真壓縮Huffman編碼行程編碼算術(shù)編碼LZW編碼預(yù)測編碼運動補償變換編碼DCT變換小波變換子帶編碼模型編碼分形編碼基于重要性濾波子采樣矢量量化混合編碼JPEGMPEGH.2613.3.1圖像和視頻壓縮編碼的基本方法

原始的彩色圖像，一般由紅、綠、藍三種基色的圖像組成（R、G、B）。然而人的視覺系統(tǒng)對彩色色度的感覺和亮度的敏感性是不同的，因此產(chǎn)生了不同的彩色空間表示。

H、S、I彩色空間：H為色調(diào)、S為飽和度、I表示光的強度或亮度。

Y、I、Q方式和Y、U、V方式：這兩種表示方式的一個共同點是用其中一個分量Y表示象素的亮度，用其余兩個分量表示象素的色度。3.4小結(jié)4.1光存儲設(shè)備概述文本動畫圖形影像聲音4.1.1光存儲的類型只讀型光存儲系統(tǒng)只讀型光盤包括LV和CD-ROM等。CD-ROM（CompactDisc-ReadOnlyMemory）只讀式壓縮光盤，其技術(shù)來源于激光唱盤，形狀也類似于激光唱盤，能夠存儲650MB左右的數(shù)據(jù)。用戶只能從CD-ROM讀取信息，而不能往盤上寫信息。4.1.1光存儲的類型只讀型光存儲系統(tǒng)只讀型光驅(qū)只讀型光盤4.1.1光存儲的類型一次寫型光存儲系統(tǒng)一次寫（WORM）光存儲系統(tǒng)可一次寫入，任意多次讀出。與CD-ROM相比，它具有由用戶自己確定記錄內(nèi)容的優(yōu)點。一次寫型光驅(qū)一次寫型光盤4.1.1光存儲的類型可重寫型光存儲系統(tǒng)可重寫光盤（E-R/W，Rewritable或Erasable）像硬盤一樣可任意讀寫數(shù)據(jù)。分為兩種磁光型（MagneticOptical，簡稱MO）相變型（PhaseChange，簡稱PC）兩種形式。4.1.1光存儲的類型可重寫型光存儲系統(tǒng)磁光型可重寫光驅(qū)相變型可重寫光驅(qū)與光盤4.1.2光存儲系統(tǒng)的技術(shù)指標(biāo)尺寸LV的直徑為12英寸（300mm）CD激光唱盤和CD-ROM為4.72英寸（120mm）WORM一次寫光盤為14.12英寸和5.25英寸可擦寫光盤向小尺寸方向發(fā)展，主要尺寸為5.25英寸和3.5英寸。4.1.2光存儲系統(tǒng)的技術(shù)指標(biāo)容量格式化容量格式化容量是指按某種光盤標(biāo)準(zhǔn)進行格式化后的容量。對于SONY的SMO-D501光盤，若格式化使每個扇區(qū)為1024B，格式化容量是325MB，而采用每扇區(qū)為512B，格式化容量只有297MB。

4.1.2光存儲系統(tǒng)的技術(shù)指標(biāo)容量用戶容量用戶容量是指盤片格式化后允許對盤片執(zhí)行讀寫操作的容量。CD-ROM的容量為550MB和680MB。由于光盤外圈5mm區(qū)容易出錯，所以有些CD-ROM的容量標(biāo)為550MB。

4.1.2光存儲系統(tǒng)的技術(shù)指標(biāo)平均存取時間平均存取時間是指從計算機向光盤驅(qū)動器發(fā)出命令開始，到光盤驅(qū)動器在光盤上找到需讀/寫的信息的位置并接受讀/寫命令為止的一段時間。平均尋道時間光學(xué)頭沿半徑移動全程1/3長度所需的時間為平均尋道時間。4.1.2光存儲系統(tǒng)的技術(shù)指標(biāo)平均存取時間平均等待時間盤片旋轉(zhuǎn)半周的時間為平均等待時間。把平均尋道時間、平均等待時間和讀/寫光學(xué)頭穩(wěn)定時間相加，就得到平均存取時間。

4.1.2光存儲系統(tǒng)的技術(shù)指標(biāo)平均存取時間平均等待時間盤片旋轉(zhuǎn)半周的時間為平均等待時間。把平均尋道時間、平均等待時間和讀/寫光學(xué)頭穩(wěn)定時間相加，就得到平均存取時間。

4.1.2光存儲系統(tǒng)的技術(shù)指標(biāo)數(shù)據(jù)傳輸率

數(shù)據(jù)傳輸率數(shù)據(jù)傳輸率一般是指單位時間內(nèi)光盤驅(qū)動器送出的數(shù)據(jù)比特數(shù)。該數(shù)值與光盤轉(zhuǎn)速和存儲密度有關(guān)。CD-ROM，其數(shù)據(jù)傳輸率已從初期的150KB/s提高到6MB/s。同步傳輸率、異步傳輸率和DMA傳輸率

數(shù)據(jù)傳輸率也指控制器與主機之間的傳輸速率。它與接口規(guī)范和控制器內(nèi)的緩沖器大小有關(guān)。SCSI接口的同步傳輸率為4MB/s，異步傳輸率為1.5MB/s。AT總線規(guī)定的DMA方式的傳輸率為1MB/s。4.1.2光存儲系統(tǒng)的技術(shù)指標(biāo)數(shù)據(jù)傳輸率突發(fā)傳輸率

光盤驅(qū)動器或控制器中都包含有一個64K、256K或512K的緩沖存儲器。為了提高數(shù)據(jù)傳輸率，讀數(shù)據(jù)過程中先把數(shù)據(jù)存入緩沖器，再進行集中傳送；如果下次讀取同一內(nèi)容，就不必從光盤上去讀取，直接把緩沖器中的數(shù)據(jù)傳送給主機就可以了，這種傳輸率稱為突發(fā)傳輸率。4.1.2光存儲系統(tǒng)的技術(shù)指標(biāo)數(shù)據(jù)傳輸率

持續(xù)傳輸率

當(dāng)傳送的數(shù)據(jù)量很大時，緩沖器就起不到提高傳輸率的作用了，這時的傳輸率稱為持續(xù)傳輸率。4.1.2光存儲系統(tǒng)的技術(shù)指標(biāo)誤碼率

采用復(fù)雜的糾錯編碼可以降低誤碼率。存儲數(shù)字或程序?qū)φ`碼率的要求高，存儲圖像或聲音數(shù)據(jù)對誤碼率的要求較低。CD-ROM要求的誤碼率為10-12—10-16。平均無故障時間(MTBP)

要求達到25000小時。

4.1.3光存儲格式標(biāo)準(zhǔn)和類型光盤CD系列LVCD-ROMCD-GCD-DACD-VWORMPhoto-CDCD-RDVDVCDCD-ROMXADVICD-ICD-MO磁光（MOD）磁光（PCD）只寫一次可重寫只讀數(shù)字模擬數(shù)字聲音卡拉OK數(shù)字+模擬4.1.4CD-ROM光存儲系統(tǒng)光存貯原理光反射4.1.4CD-ROM光存儲系統(tǒng)CD-ROM驅(qū)動器的系統(tǒng)方框圖光頭旋轉(zhuǎn)馬達聚焦、道跟蹤和定位司服EFM解調(diào)器去交插和內(nèi)插CLV控制CIRC錯誤校正RAM同步檢測器反變頻器RAM控制器RAM錯誤校正和系統(tǒng)管理系統(tǒng)控制接口主機CD-ROM盤數(shù)字信號處理反變頻及驅(qū)動控制4.1.5CD-R光存儲系統(tǒng)CD-R盤片的物理層次CD-R光盤將反射用的鋁層改用24K黃金層（也可以是純銀材料），另外再加上有機染料層和預(yù)置的軌道凹槽。4.1.5CD-R光存儲系統(tǒng)CD-R的刻錄和讀取原理CD-R刻錄是將刻錄光驅(qū)的寫激光聚焦后，通過CD-R空白盤的聚碳酸脂（polycarbonate）層照射到有機染料（通常是箐藍或酞箐藍染料）的表面上，激光照射時產(chǎn)生的熱量將有機染料燒熔，并使其變成光痕（mark）。當(dāng)CD-ROM驅(qū)動器讀取CD-R盤上的信息時，激光將透過聚碳酸脂和有機染料層照射鍍金層的表面，并反射到CD-ROM的光電二極管檢測器上。光痕會改變激光的反射率，CD-ROM驅(qū)動器根據(jù)反射回來的光線的強弱來分辨數(shù)據(jù)0和1。

4.1.6磁光MO存儲系統(tǒng)磁光盤是利用（激）光和磁進行數(shù)據(jù)讀、寫和擦除的一種光存儲系統(tǒng)。數(shù)據(jù)記錄時使用激光和磁場；讀取時僅用激光；激光和磁場分別位于盤片的兩面。磁光盤的物理層次磁光盤片用樹脂做基盤，其上集積了保護層（氮化硅）、記錄層（鋱、鐵鈷合金）和反射層（鋁合金）而構(gòu)成。4.1.6磁光MO存儲系統(tǒng)磁光存儲系統(tǒng)擦寫原理寫入數(shù)據(jù)：利用凸透鏡進行聚焦，將高功率激光以極小的光點照射在磁光盤記錄層上，在其表面溫度上升到約300℃的居里點時，用外部磁場改變其原磁化方向。然后中止激光光束讓記錄層冷卻，形成不受外磁場影響的牢固記錄層。數(shù)據(jù)重寫：需經(jīng)過“擦”和“寫”兩步，先利用中功率激光照射介質(zhì)段區(qū)中的所有數(shù)據(jù)，使段區(qū)中的數(shù)據(jù)點都沿著與介質(zhì)表面垂直的方向均勻磁化，即通過寫入“0”來抹去原有數(shù)據(jù)。然后再根據(jù)要求用高功率激光在“0”位置寫入數(shù)據(jù)“1”，這樣就完成了數(shù)據(jù)的重寫。4.1.6磁光MO存儲系統(tǒng)磁光存儲系統(tǒng)讀原理數(shù)據(jù)的讀取是利用低功率激光探測盤片表面，通過分析反射回來的偏振光的偏振面方向是順時針或是逆時針，來決定讀取的數(shù)據(jù)是“1”還是“0”。4.1.7相變(PD)光存儲系統(tǒng)CD-RW相變記錄方式利用物質(zhì)的狀態(tài)變化即所謂的相變進行數(shù)據(jù)的讀、寫和擦除，相變型光盤用在基盤上沉積電介質(zhì)層、相變記錄層、冷卻層和保護層等形成多層結(jié)構(gòu)。

4.1.8DVD光存儲系統(tǒng)DVD(DigitalVideoDisk)數(shù)字視頻光盤或數(shù)字影盤它利用MPEG2的壓縮技術(shù)來儲存影像DVD-ROM：電腦軟件只讀光盤DVD-Video：家用的影音光盤DVD-Audio：音樂盤片DVD-R（或稱DVD-Write-Once）：限寫一次的DVDDVD-RAM（或稱DVD-Rewritable）：可多次讀寫的光盤4.1.8DVD光存儲系統(tǒng)DVD盤片的物理結(jié)構(gòu)分類：單面單層、單面雙層、雙面單層、雙面雙層；容量：4.7GB—

17GB；最小凹坑長度僅為0.4μm，道間距為0.74μm，采用波長為635～650nm的紅外激光器讀取數(shù)據(jù)；DVD盤的厚度為1.2mm。對于單面盤而言，只有下層基底包含數(shù)據(jù)，上層基底沒有數(shù)據(jù)；而雙面盤的上下兩層基底上均有數(shù)據(jù)。4.1.9光盤庫系統(tǒng)4.2音頻接口4.2.1音頻卡的工作原理音頻卡處理音頻信號的PC插卡是音頻卡（AudioCard），又稱聲音卡，聲音卡處理的音頻媒體有數(shù)字化聲音（Wave）、合成音樂（MIDI）、CD音頻。4.2.1音頻卡的工作原理聲音是怎樣工作的？從模擬到數(shù)字聲源聲波傳聲器模擬電信號數(shù)字聲音4.2.1音頻卡的工作原理音頻卡的功能音頻的錄制與播放編輯與合成MIDI接口文–語轉(zhuǎn)換CD-ROM接口游戲接口支持全雙工功能音箱2、Microphone（麥克風(fēng)輸入）3、Speaker（揚聲器輸出）4、MIDI/GamePort（MIDI/操縱桿端口）7、CD-ROM音頻信號接口6、CD-ROM的接口8、跳接器音頻輸出IDE接口CD-ROM外部音頻設(shè)備麥克風(fēng)操縱桿MIDI聲音裝置1、Linein（線性輸入）5、VolumeControl（音量調(diào)節(jié)旋鈕）電源跳接線音頻卡的連接方式4.2.1音頻卡的工作原理音頻卡的體系結(jié)構(gòu)音頻卡由下列部件組成：MIDI輸入/輸出電路；MIDI合成器芯片；用來把CD音頻輸入與線輸入相混合電路；帶有脈沖編碼調(diào)制電路的模數(shù)轉(zhuǎn)換器，用于把模擬信號轉(zhuǎn)換為數(shù)字信號以生成波形文件；用來壓縮和解壓音頻文件的壓縮芯片；用來合成語音輸出的語音合成器；用來識別語音輸入的語音識別電路；輸出立體聲的音頻輸出或線輸出的輸出電路等。MIDI接口MIDI合成器語音合成器D/A轉(zhuǎn)換多通道音頻合成器A/D轉(zhuǎn)換CD-ROM接口壓縮/解壓縮MIDIIN輸入CDLAUDIORLINEINLMICROPHONERCD驅(qū)動器PC的ISA總線PC的ISA總線MIDIOUT輸出MIDITHRULINEOUT線輸入波形和MIDI文件的輸入是來自通過ISA總線的磁盤輸入波形和MIDI文件4.2.1音頻卡的工作原理數(shù)字化聲音處理4.2.1音頻卡的工作原理混音器4.2.1音頻卡的工作原理合成器波形表（WaveTable）合成頻率調(diào)制FM合成4.2.2音頻合成和MIDI接口規(guī)范MIDIMIDI（MusicalInstrumentDigitalInterface）是指樂器數(shù)字接口，是數(shù)字音樂的國際標(biāo)準(zhǔn)。

MIDI的音樂符號化過程實際上就是產(chǎn)生MIDI協(xié)議信息的過程。音樂合成器是電腦音樂系統(tǒng)中最重要的設(shè)備之一。

4.2.2音頻合成和MIDI接口規(guī)范MIDI術(shù)語MIDI文件通道Channels音序器Sequencer合成器Synthesizer

樂器Instrument

通道映象ChannelMapping復(fù)音Polyphony音色Timbre音軌Track合成音色映射程序PatchMapper4.2.2音頻合成和MIDI接口規(guī)范MIDI接口MIDIIn（輸入口）接收從其他MIDI裝置傳來的消息。MIDIOut（輸出口）發(fā)送某裝置生成的原始MIDI消息。向其他設(shè)備發(fā)送MIDI消息。MIDIThru（轉(zhuǎn)發(fā)口）傳送從輸人口接收的消息到其他MIDI裝置。向其他設(shè)備發(fā)送MIDI消息。

4.2.2音頻合成和MIDI接口規(guī)范MIDI接口4.2.3語音合成概述實現(xiàn)計算機語音輸出有兩種方法：錄音/重放文–語轉(zhuǎn)換計算機話語輸出按其實現(xiàn)的功能來分，可以分為以下兩個檔次：有限詞匯的計算機語音輸出基于語音合成技術(shù)的文字-語音轉(zhuǎn)換（TTS）4.2.3語音合成合成方法發(fā)音器官參數(shù)語音合成對人的發(fā)音過程進行直接模擬聲道模型參數(shù)語音合成基于聲道截面積函數(shù)或聲道諧振特性合成語音波形編輯語音合成技術(shù)波形編輯語音合成技術(shù)是直接把語音波形數(shù)據(jù)庫中的波形相互拼接在一起，輸出連續(xù)語流。PSOLA（PitchSynchronousOverlapAdd）方法4.2.3語音合成語音基元數(shù)據(jù)庫的構(gòu)建基元的選擇選擇音節(jié)選擇雙音素和三音素語音數(shù)據(jù)的存儲形式波形存儲方式存儲數(shù)字化的語音波形數(shù)據(jù)參數(shù)存儲方式存儲從語音信號中提取的參數(shù)，常用的有LPC參數(shù)、LSP（LSF）、共振峰參數(shù)等4.2.3語音合成韻律模擬自然語言中的韻律特征語調(diào)、節(jié)奏和重音等能表達說話者的語義和感情，是自然語流的重要組成部分韻律合成及方法超音段特征（音高、音長、音強及頻率分布的變化）的修改構(gòu)成了韻律合成的基礎(chǔ)方法：修改基頻模式、共振峰模式、PSOLA算法等韻律模擬的問題需解決韻律規(guī)則、韻律描述、計算模型和修改算法等問題4.2.4語音識別概述語音識別是將人發(fā)出的聲音、字或短語轉(zhuǎn)換成文字、符號，或給出響應(yīng)，如執(zhí)行控制、作出回答。語音識別系統(tǒng)的分類按可識別的詞匯量多少劃分按照語音的輸入方式劃分按發(fā)音人劃分說話人識別4.2.4語音識別語音識別系統(tǒng)的最終目標(biāo)不存在對說話人的限制，即非特定人的。不存在對詞匯量的限制，即基于大詞匯表的。不存在對發(fā)音方式的限制，即可識別連續(xù)自然發(fā)音的。系統(tǒng)的整體識別率應(yīng)該相當(dāng)高，接近于人類對自然語音的識別能力。這也正是聽寫機系統(tǒng)最終要達到的目標(biāo)。4.2.4語音識別語音識別研究的難點很難適應(yīng)各種年齡、性別、口音、發(fā)音速度、語音強度、發(fā)音習(xí)慣與方式等的差異。系統(tǒng)隨著能夠識別的詞匯量增大，所需要的空間和時間的花銷就越多，最終將導(dǎo)致系統(tǒng)的識別性能急劇下降而喪失可用性。盡管連續(xù)發(fā)音是人們最為自然的發(fā)音方式，但是識別系統(tǒng)很難也不可能把連續(xù)語音作為一個整體來進行識別。實用的識別系統(tǒng)要求提高語音特征參數(shù)的魯棒性、對不同非高斯噪聲的非敏感性，以及對不同用戶的適應(yīng)能力等，這些復(fù)雜性的需求的實現(xiàn)是非常困難的。4.3視頻接口4.3.1視頻圖像顯示概述為了顯示原始圖像（這里使用的“圖像”是泛指，包括全運動視頻）的可接受的復(fù)制圖，需要使用各種顯示系統(tǒng)技術(shù)來解碼信號和壓縮數(shù)據(jù)。顯示系統(tǒng)技術(shù)VGA混合可伸縮的VGA混合雙緩沖VGA混合/伸縮4.3.1視頻圖像顯示視頻顯示技術(shù)標(biāo)準(zhǔn)第一代標(biāo)準(zhǔn)：MDA和CGA第二代標(biāo)準(zhǔn)：EGA

第三代標(biāo)準(zhǔn)：VGA

采用256K種顏色的調(diào)色板及用模擬量輸出，使顯示的顏色更加逼真第四代標(biāo)準(zhǔn)：XGA

l990年IBM公司宣布了XGA高性能的視頻子系統(tǒng)4.3.1視頻圖像顯示CRT顯示系統(tǒng)屏幕尺寸蔭罩和點間距熒光粉類型刷新（或掃描）頻率與閃爍隔行和非隔行掃描顯示緩沖區(qū)與顏色定義模擬信號接口和數(shù)字信號接口視頻BIOS

4.3.1視頻圖像顯示平板顯示系統(tǒng)被動矩陣單色主動矩陣單色被動矩陣彩色主動矩陣彩色4.3.2視頻卡的工作原理視頻卡的分類與功能簡介視頻卡的分類視頻采集卡將視頻信號連續(xù)轉(zhuǎn)換成計算機存儲的數(shù)字視頻信號（離散）保存在計算機中或在VGA顯示器上顯示，完成這種功能的視頻卡稱之為視頻采集卡，或稱為視頻轉(zhuǎn)換卡。如果能夠?qū)崟r完成壓縮，則稱實時壓縮卡。通?？蓪⑼獠恳曨l輸入信號疊加在顯示器上，并將視頻輸入信號變換成計算機可存儲的信息保