13 多媒體的關(guān)鍵技術(shù)

1、1.3多媒體的關(guān)鍵技術(shù)在開(kāi)發(fā)多媒體應(yīng)用系統(tǒng)中，要使多媒體系統(tǒng)能交互地綜合處理和傳輸數(shù)字化的聲音、文 字、圖像信息，實(shí)現(xiàn)面向三維圖形、立體聲音、彩色全屏幕運(yùn)動(dòng)畫面的技術(shù)處理和傳播的效 果，它的關(guān)鍵技術(shù)是要進(jìn)行數(shù)據(jù)壓縮、數(shù)據(jù)解壓縮、生產(chǎn)專用芯片、解決大容量信息存儲(chǔ)等 問(wèn)題。1.3.1視頻音頻數(shù)據(jù)壓縮/解壓縮技術(shù)研制多媒體計(jì)算機(jī)需要解決的關(guān)鍵問(wèn)題之一是要使計(jì)算機(jī)能適時(shí)地綜合處理聲、文、圖 信息。由于數(shù)字化的圖像、聲音等媒體數(shù)據(jù)量非常大，致使在目前流行的計(jì)算機(jī)產(chǎn)品，特別 是微機(jī)系列上開(kāi)展多媒體應(yīng)用難以實(shí)現(xiàn)。例如，未經(jīng)壓縮的視頻圖像處理時(shí)的數(shù)據(jù)量每秒約 28MB，播放一分鐘立體聲音樂(lè)也需要100MB存儲(chǔ)

2、空間。視頻與音頻信號(hào)不僅需要較大的 存儲(chǔ)空間，還要求傳輸速度快。因此，既要對(duì)數(shù)據(jù)進(jìn)行壓縮和解壓縮的實(shí)時(shí)處理，又要進(jìn)行 快速傳輸處理。這對(duì)目前的微機(jī)來(lái)說(shuō)無(wú)法勝任。因此，必須對(duì)多媒體信息進(jìn)行實(shí)時(shí)壓縮和解 壓縮。如果不經(jīng)過(guò)數(shù)據(jù)壓縮，實(shí)時(shí)處理數(shù)字化的較長(zhǎng)的聲音和多幀圖像信息所需要的存儲(chǔ)容 量、傳輸率和計(jì)算速度都是目前PC機(jī)難以達(dá)到的和不經(jīng)濟(jì)實(shí)用的。數(shù)據(jù)壓縮技術(shù)的發(fā)展大 大推動(dòng)了多媒體技術(shù)的發(fā)展。目前的研究結(jié)果表明，選用合適的數(shù)據(jù)壓縮技術(shù)，有可能將字符數(shù)據(jù)量壓縮到原來(lái)的 1/2左右，語(yǔ)音數(shù)據(jù)量壓縮到原來(lái)的1/21/10，圖像數(shù)據(jù)量壓縮到原來(lái)的1/21/60。數(shù)據(jù)壓 縮理論的研究已有40多年的歷史，技術(shù)日

3、趨成熟。如今已有壓縮編碼/解壓縮編碼的國(guó)際 標(biāo)準(zhǔn)JPEG和MPEG，并且已經(jīng)產(chǎn)生了各種各樣針對(duì)不同用途的壓縮算法、壓縮手段和實(shí)現(xiàn) 這些算法的大規(guī)模集成電路和計(jì)算機(jī)軟件。1.3.2多媒體專用芯片技術(shù)專用芯片是多媒體計(jì)算機(jī)硬件體系結(jié)構(gòu)的關(guān)鍵。因?yàn)?，要?shí)現(xiàn)音頻、視頻信號(hào)的快速壓 縮、解壓縮和播放處理，需要大量的快速計(jì)算。而實(shí)現(xiàn)圖像的許多特殊效果（如改變比例、 淡入淡出、馬賽克等）、圖形的處理（圖形的生成和繪制等）、語(yǔ)音信號(hào)處理（抑制噪聲、濾波） 等等，也都需要較快的運(yùn)算和處理速度。因此只有采用專用芯片，才能取得滿意的效果。 多媒體計(jì)算機(jī)專用芯片可歸納為兩種類型：一種是固定功能的芯片，另一種是可編程的

4、數(shù)字 信號(hào)處理器（DSP）芯片。DSP芯片是為完成某種特定信號(hào)處理設(shè)計(jì)的，在通用機(jī)上需要多條 指令才能完成的處理，在DSP上可用一條指令完成。最早出現(xiàn)的固定功能專用芯片是基于圖像處理的壓縮處理芯片，即將實(shí)現(xiàn)靜態(tài)圖像的數(shù) 據(jù)壓縮/解壓縮算法做在一個(gè)芯片上，從而大大提高其處理速度。以后，許多半導(dǎo)體廠商或 公司又推出了執(zhí)行國(guó)際標(biāo)準(zhǔn)壓縮編碼的專用芯片，例如，支持用于運(yùn)動(dòng)圖像及其伴音壓縮的 MPEG標(biāo)準(zhǔn)芯片，芯片的設(shè)計(jì)還充分考慮到MPEG標(biāo)準(zhǔn)的擴(kuò)充和修改。由于壓縮編碼的國(guó) 際標(biāo)準(zhǔn)較多，一些廠家和公司還推出了多功能視頻壓縮芯片。另外還有高效可編程多媒體處 理器，其計(jì)算能力可望達(dá)到2Bips（Billion

5、 Instructions Per Second）。這些高檔的專用多媒體處 理器芯片，不僅大大提高了音頻、視頻信號(hào)處理速度，而且在音頻、視頻數(shù)據(jù)編碼時(shí)可增加 特技效果。1.3.3大容量信息存儲(chǔ)技術(shù)多媒體的音頻、視頻、圖像等信息雖經(jīng)過(guò)壓縮處理，但仍然需要相當(dāng)大的存儲(chǔ)空間。而 且硬盤存儲(chǔ)器的盤片是不可交換的，不能用于多媒體信息和軟件的發(fā)行。大容量只讀光盤存 儲(chǔ)器(CD-ROM)的出現(xiàn)，解決了多媒體信息存儲(chǔ)空間及交換問(wèn)題。光盤機(jī)以存儲(chǔ)量大、密度高、介質(zhì)可交換、數(shù)據(jù)保存壽命長(zhǎng)、價(jià)格低廉以及應(yīng)用多樣化 等特點(diǎn)成為多媒體計(jì)算機(jī)中必不可少的設(shè)備。利用數(shù)據(jù)壓縮技術(shù)，在一張CD-ROM光盤上 能夠存取74分鐘全

6、運(yùn)動(dòng)的視頻圖像或者十幾個(gè)小時(shí)的語(yǔ)音信息或數(shù)千幅靜止圖像。 CD-ROM光盤機(jī)技術(shù)已比較成熟，但速度慢，其只讀特點(diǎn)適合于需長(zhǎng)久保存的資料。在 CD-ROM基礎(chǔ)上，還開(kāi)發(fā)了有CD-I和CD-V，即具有活動(dòng)影像的全動(dòng)作與全屏電視圖像的 交互式可視光盤。在只讀CD家族中還有稱為“小影碟”的VCD、可刻錄式光盤CD-R、高 畫質(zhì)、高音質(zhì)的光盤DVD以及用數(shù)字方式把傳統(tǒng)照片轉(zhuǎn)存到光盤，使用戶在屏幕上可欣賞 高清晰度的照片的PHOTO CD。DVD(Digital Video Disc)是1996年底推出的新一代光盤標(biāo) 準(zhǔn)，它使得基于計(jì)算機(jī)的數(shù)字視盤驅(qū)動(dòng)器將能從單個(gè)盤片上讀取4.7GB至17GB的數(shù)據(jù)量，

7、而盤片的尺寸與CD相同。1.3.4多媒體輸入與輸出技術(shù)多媒體輸入/輸出技術(shù)包括媒體變換技術(shù)、媒體識(shí)別技術(shù)、媒體理解技術(shù)和綜合技術(shù)。媒體變換技術(shù)是指改變媒體的表現(xiàn)形式，如當(dāng)前廣泛使用的視頻卡、音頻卡(聲卡)都屬 媒體變換設(shè)備。媒體識(shí)別技術(shù)是對(duì)信息進(jìn)行一對(duì)一的映像過(guò)程。例如，語(yǔ)音識(shí)別是將語(yǔ)音映像為一串字、 詞或句子；觸摸屏是根據(jù)觸摸屏上的位置識(shí)別其操作要求。媒體理解技術(shù)是對(duì)信息進(jìn)行更進(jìn)一步的分析處理和理解信息內(nèi)容，如自然語(yǔ)言理解、圖 像理解、模式識(shí)別等技術(shù)。媒體綜合技術(shù)是把低維信息表示映像成高維的模式空間的過(guò)程，例如，語(yǔ)音合成器就可 以把語(yǔ)音的內(nèi)部表示綜合為聲音輸出。前兩種技術(shù)相對(duì)比較成熟，應(yīng)用較

8、廣泛，而媒體理解和綜合技術(shù)目前還不成熟，只用在 某些特定場(chǎng)合。1.3.5多媒體軟件技術(shù)多媒體軟件技術(shù)主要包括多媒體操作系統(tǒng)、多媒體素材采集與制作技術(shù)、多媒體編輯與 創(chuàng)作技術(shù)、多媒體應(yīng)用程序開(kāi)發(fā)技術(shù)、多媒體數(shù)據(jù)庫(kù)管理技術(shù)等。多媒體操作系統(tǒng)多媒體操作系統(tǒng)是多媒體軟件的核心。它負(fù)責(zé)多媒體環(huán)境下多任務(wù)的調(diào)度、保證音頻、 視頻同步控制以及信息處理的實(shí)時(shí)性，提供多媒體信息的各種基本操作和管理，具有對(duì)設(shè)備 的相對(duì)獨(dú)立性與可擴(kuò)展性。要求該操作系統(tǒng)要像處理文本、圖像文件一樣方便靈活的處理動(dòng) 態(tài)音頻和視頻：在控制功能上，要擴(kuò)展到對(duì)錄像機(jī)、音響、MIDI等聲像設(shè)備以及CD-ROM 光盤存儲(chǔ)設(shè)備等。多媒體操作系統(tǒng)要能

9、處理多任務(wù)，易于擴(kuò)充；要求數(shù)據(jù)存取與數(shù)據(jù)格式無(wú) 關(guān)；提供統(tǒng)一的友好界面。為支持上述要求，一般是在現(xiàn)有操作系統(tǒng)上進(jìn)行擴(kuò)充。Windows、 OS/2和Macintosh操作系統(tǒng)都提供了對(duì)多媒體的支持。在我國(guó)，目前微機(jī)上開(kāi)發(fā)多媒體軟 件用得較多的是Windows操作系統(tǒng)。多媒體素材采集與制作技術(shù)素材的采集與制作主要包括采集并編輯多種媒體數(shù)據(jù)，如聲音信號(hào)的錄制、編輯和播放； 圖像掃描及預(yù)處理；全動(dòng)態(tài)視頻采集及編輯；動(dòng)畫生成編輯；音/視頻信號(hào)的混合和同步等。 同時(shí)還涉及到相應(yīng)的媒體采集、制作軟件的使用問(wèn)題。多媒體編輯與創(chuàng)作工具多媒體編輯創(chuàng)作軟件又稱多媒體創(chuàng)作工具，是多媒體專業(yè)人員在多媒體操作系統(tǒng)之上開(kāi)

10、 發(fā)的，供應(yīng)用領(lǐng)域的專業(yè)人員組織編排多媒體數(shù)據(jù)，并把它們連接成完整的多媒體應(yīng)用系統(tǒng) 的工具。高檔的創(chuàng)作工具可用于影視系統(tǒng)的動(dòng)畫制作及特技效果，中檔的用于培訓(xùn)、教育和 娛樂(lè)節(jié)目制作，低檔的可用于商業(yè)簡(jiǎn)介、家庭學(xué)習(xí)材料的編輯。多媒體數(shù)據(jù)庫(kù)技術(shù)由于多媒體信息是結(jié)構(gòu)型的，致使傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)已不適用于多媒體的信息管理，需 要從下面幾個(gè)方面研究數(shù)據(jù)庫(kù)：多媒體數(shù)據(jù)模型。目前主要采用基于關(guān)系模型加以擴(kuò)充，因?yàn)閭鹘y(tǒng)的關(guān)系數(shù)據(jù)庫(kù)將所有 的對(duì)象都看成二維表，難以處理多媒體數(shù)據(jù)模型。而面向?qū)ο蠹夹g(shù)的發(fā)展推動(dòng)了數(shù)據(jù)庫(kù)技術(shù) 的發(fā)展，面向?qū)ο蠹夹g(shù)與數(shù)據(jù)庫(kù)技術(shù)的結(jié)合導(dǎo)致了基于面向?qū)ο竽Ｐ秃统襟w模型的數(shù)據(jù)庫(kù) 的研究。媒體數(shù)

11、據(jù)壓縮和解壓縮的模式。該技術(shù)主要解決多媒體數(shù)據(jù)過(guò)大的空間和時(shí)間開(kāi)銷問(wèn) 題。壓縮技術(shù)要考慮算法復(fù)雜度、實(shí)現(xiàn)速度以及壓縮質(zhì)量等問(wèn)題。多媒體數(shù)據(jù)管理及存取方法。采用目前常用的分頁(yè)管理、B樹(shù)和HASH方法外，多媒 體數(shù)據(jù)庫(kù)還要引入矢量空間模型信息索引檢索技術(shù)，超位檢索技術(shù)，智能索引技術(shù)以及基于 內(nèi)容的檢索方法等。尤其是超媒體組織數(shù)據(jù)機(jī)制更為多媒體數(shù)據(jù)庫(kù)操作增加了活力。用戶界面。用戶界面除提供多媒體功能調(diào)用外，還應(yīng)提供對(duì)各種媒體的編輯功能、變換 功能和用戶接口。超文本/超媒體技術(shù)超文本是一種新穎的文本信息管理技術(shù)。它提供的方法是建立各種媒體信息之間的網(wǎng)狀 鏈接結(jié)構(gòu)。這種結(jié)構(gòu)由節(jié)點(diǎn)組成，沒(méi)有固定的順序，也

12、不要求必須按某個(gè)順序檢索，與傳統(tǒng) 的線性文本結(jié)構(gòu)有著很大的區(qū)別。以節(jié)點(diǎn)為基礎(chǔ)的信息塊容易按照人們的“聯(lián)想”關(guān)系加以 組織，符合人們的“聯(lián)想”邏輯思維習(xí)慣。一般把已組織成的網(wǎng)狀的信息稱為超文本，而把對(duì)其進(jìn)行管理使用的系統(tǒng)稱為超文本系 統(tǒng)。典型的超文本系統(tǒng)應(yīng)具有用于瀏覽節(jié)點(diǎn)、防止迷路的交互式工具，即瀏覽器，或稱為導(dǎo) 航圖。它是超文本網(wǎng)絡(luò)的結(jié)構(gòu)圖與數(shù)據(jù)中的節(jié)點(diǎn)和鏈形成一一對(duì)應(yīng)的關(guān)系。導(dǎo)航圖可以幫助 用戶在網(wǎng)絡(luò)中定向和觀察信息的連接。如果超文本中的節(jié)點(diǎn)的數(shù)據(jù)不僅可以是文本，還可以 是圖像、動(dòng)畫、音頻、視頻，則稱為超媒體。超文本和超媒體己廣泛應(yīng)用于多媒體信息管理 中。多媒體應(yīng)用開(kāi)發(fā)技術(shù)在多媒體應(yīng)用開(kāi)發(fā)方

13、面，目前還缺少一個(gè)定義完整的應(yīng)用開(kāi)發(fā)方法學(xué)。采用傳統(tǒng)的軟件 開(kāi)發(fā)方法在多媒體應(yīng)用領(lǐng)域中成功的例子很少。多媒體應(yīng)用的開(kāi)發(fā)會(huì)使一些采用不同問(wèn)題解 決方法的人集中到一起，包括計(jì)算機(jī)開(kāi)發(fā)人員、音樂(lè)創(chuàng)作人員、圖像藝術(shù)家等，他們的工作 方法以及思考問(wèn)題的方法都將是完全不同的。對(duì)于項(xiàng)目管理者來(lái)說(shuō)，研究和推出一個(gè)多媒體 應(yīng)用開(kāi)發(fā)方法學(xué)將是極為重要的。1.3.6多媒體通信技術(shù)多媒體通信要求能夠綜合地傳輸、交換各種信息類型，而不同的信息呈現(xiàn)出不同的特征。 比如，語(yǔ)音和視頻有較強(qiáng)的適應(yīng)性要求，它容許出現(xiàn)某些文字的錯(cuò)誤，但不能容忍任何延遲。 而對(duì)于數(shù)據(jù)來(lái)說(shuō)，則可容忍延遲，但卻不能有錯(cuò)，因?yàn)榧幢闶且粋€(gè)字節(jié)的錯(cuò)誤都會(huì)改變

14、數(shù)據(jù) 的意義。多媒體通信技術(shù)包含語(yǔ)音壓縮、圖像壓縮及多媒體的混合傳輸技術(shù)。為了只用一根電話 線同時(shí)傳輸語(yǔ)音、圖像、文件等信號(hào)，必須要用復(fù)雜的多路混合傳輸技術(shù)，而且要采用特殊 的約定來(lái)完成?，F(xiàn)有的通信網(wǎng)大都不太適應(yīng)數(shù)字化的多媒體數(shù)據(jù)的傳輸。人們期望未來(lái)能夠?qū)⒍喾N網(wǎng)絡(luò) 進(jìn)行統(tǒng)一，包括用于話音通信的電話網(wǎng)、用于計(jì)算機(jī)通信的計(jì)算機(jī)網(wǎng)和用于大眾傳播的廣播 電視網(wǎng)。對(duì)于實(shí)時(shí)性要求不高且數(shù)據(jù)量不很大的應(yīng)用來(lái)說(shuō)，矛盾尚不突出。但一旦涉及到大 量的數(shù)據(jù)，許多網(wǎng)絡(luò)中的特性就難以滿足要求，寬帶綜合業(yè)務(wù)數(shù)字網(wǎng)(B-ISDN)是解決這 個(gè)問(wèn)題的一個(gè)比較完整的方法，其中ATM (異步傳送模式)是近年來(lái)在研究和開(kāi)發(fā)上的一個(gè)

15、 重要成果。實(shí)現(xiàn)多媒體通信，對(duì)不同的應(yīng)用，其技術(shù)支持要求有所不同，例如，在信息點(diǎn)播服務(wù)中， 用戶和信息中心為點(diǎn)對(duì)點(diǎn)的關(guān)系，信息的傳輸要采用雙向通路。電視中心把信息發(fā)往各用戶 則要實(shí)現(xiàn)一點(diǎn)對(duì)多點(diǎn)的關(guān)系，而在協(xié)同工作環(huán)境CSCW應(yīng)用中，各用戶的關(guān)系就成為多點(diǎn) 對(duì)多點(diǎn)的，所以多媒體通信技術(shù)要提供上述連接類型。1.3.7虛擬現(xiàn)實(shí)技術(shù)虛擬現(xiàn)實(shí)技術(shù)是用計(jì)算機(jī)生成現(xiàn)實(shí)世界的技術(shù)。虛擬現(xiàn)實(shí)的本質(zhì)是人與計(jì)算機(jī)之間進(jìn)行 交流的方法，它以其更加高級(jí)的集成性和交互性，給用戶以十分逼真的體驗(yàn)，可以廣泛應(yīng)用 于模擬訓(xùn)練、科學(xué)可視化等領(lǐng)域，如飛機(jī)駕駛訓(xùn)練、分子結(jié)構(gòu)世界、宇宙作戰(zhàn)游戲等。 虛擬現(xiàn)實(shí)的定義可歸納為：利用計(jì)算機(jī)技術(shù)生