第5章多媒體通信系統(tǒng)中的關鍵技術

1、第第5章章 多媒體通信系統(tǒng)中的關鍵技多媒體通信系統(tǒng)中的關鍵技術術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 多媒體通信是信息時代通信的主題，隨著多媒體通信是信息時代通信的主題，隨著互聯(lián)網業(yè)務的迅速發(fā)展，電信公司和電視互聯(lián)網業(yè)務的迅速發(fā)展，電信公司和電視公司都在其運營的網絡中開放互聯(lián)網通信公司都在其運營的網絡中開放互聯(lián)網通信業(yè)務。多媒體技術的發(fā)展離不開相關技術業(yè)務。多媒體技術的發(fā)展離不開相關技術的支持，如媒體輸入輸出技術、超媒體技的支持，如媒體輸入輸出技術、超媒體技術、網絡同步技術、數(shù)據存儲技術等。下術、網絡同步技術、數(shù)據存儲技術等。下面將逐一介紹這些在

2、多媒體技術發(fā)展過程面將逐一介紹這些在多媒體技術發(fā)展過程中發(fā)揮著重大作用的關鍵技術。中發(fā)揮著重大作用的關鍵技術。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術5.1 多媒體信息輸入輸出技術多媒體信息輸入輸出技術 多媒體計算機所涉及的多媒體計算機所涉及的輸入輸出技術輸入輸出技術包括視頻圖包括視頻圖像技術、音頻技術、語音技術、圖形技術和文本像技術、音頻技術、語音技術、圖形技術和文本技術等。技術等。 多媒體系統(tǒng)通過一些具有多媒體系統(tǒng)通過一些具有特定功能的卡特定功能的卡來支持媒來支持媒體數(shù)據的輸入輸出。（如視頻卡、聲卡、體數(shù)據的輸入輸出。（如視頻卡、聲卡、VGA與與

3、TV轉換卡、圖形加速卡、光盤接口卡等）轉換卡、圖形加速卡、光盤接口卡等） 多媒體計算機多媒體計算機正是通過這些卡，完成與各種外部正是通過這些卡，完成與各種外部設備的連接，從而形成一個設備的連接，從而形成一個制作和播放制作和播放多媒體應多媒體應用的工作環(huán)境。用的工作環(huán)境。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術5.1.1 視頻信息輸入輸出技術視頻信息輸入輸出技術 視頻卡是多媒體計算機用來完成視頻信息視頻卡是多媒體計算機用來完成視頻信息輸入輸出功能的主要器件。輸入輸出功能的主要器件。 主要種類主要種類： 電視接收卡電視接收卡 視頻轉換視頻轉換/捕獲卡捕獲

4、卡 視頻編碼卡視頻編碼卡 MPEG卡卡實際應用中常把多種功能集成于一塊卡中實際應用中常把多種功能集成于一塊卡中多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術1. 視頻卡的基本工作原理視頻卡的基本工作原理選選擇擇視視頻頻源源ADCADCVRAMVRAM顯示器顯示器DACDACVGAVGA卡卡視頻視頻處理芯片處理芯片PC總線總線視頻源視頻源0 0視頻源視頻源1 1視頻源視頻源2 2錄像機錄像機影碟機影碟機攝像機攝像機I/O多制式多制式數(shù)字解碼器數(shù)字解碼器RGB用于視頻信號用于視頻信號捕獲、播放和捕獲、播放和顯示的專用控顯示的專用控制芯片制芯片可以完成輸入信號的

5、裁剪、比例可以完成輸入信號的裁剪、比例變化、變化、VGA同步、色鍵控制、同步、色鍵控制、PC總線接口和對幀存儲器的操作總線接口和對幀存儲器的操作視頻隨機視頻隨機訪問存儲器訪問存儲器數(shù)模轉換數(shù)模轉換多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術2. 常用視頻卡常用視頻卡 視頻接收卡（電視接收卡）視頻接收卡（電視接收卡） 一般與視頻轉換一般與視頻轉換/捕獲卡組合在一起捕獲卡組合在一起電視電視信號信號高頻高頻調諧器調諧器模擬模擬視頻信號視頻信號視頻視頻數(shù)字化數(shù)字化幀存儲器幀存儲器VGA卡卡數(shù)字數(shù)字視頻信號視頻信號顯示器顯示器模擬信號模擬信號VGA RGB數(shù)字信號

6、數(shù)字信號主要功能：主要功能：接收電視臺發(fā)送的電視信號；將模擬電視信號數(shù)字化后疊加接收電視臺發(fā)送的電視信號；將模擬電視信號數(shù)字化后疊加顯示在顯示在VGA中并完成最后的顯示。中并完成最后的顯示。接收電視臺發(fā)接收電視臺發(fā)送的電視信號送的電視信號多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 視頻轉換視頻轉換/捕獲卡捕獲卡 視頻轉換卡視頻轉換卡完成計算機視頻信號和電視視頻完成計算機視頻信號和電視視頻信號間的轉換信號間的轉換 完成由計算機的完成由計算機的VGA信號到各種標準制式的電視信號到各種標準制式的電視信號的轉換并在電視機上播放或進行錄像（信號的轉換并在電視機上

7、播放或進行錄像（PC-TV,VGA-TV） 完成將標準的各種制式電視信號轉換成計算機屏完成將標準的各種制式電視信號轉換成計算機屏幕上顯示的幕上顯示的VGA信號（信號（TV-VGA） 該類卡在電視上的顯示質量不能與專業(yè)視頻該類卡在電視上的顯示質量不能與專業(yè)視頻卡相比，且有些轉換卡不能在卡相比，且有些轉換卡不能在VGA和和TV上同時輸上同時輸出視頻圖像。出視頻圖像。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 視頻轉換視頻轉換/捕獲卡捕獲卡 視頻捕獲卡視頻捕獲卡主要功能是從視頻圖像信息中實主要功能是從視頻圖像信息中實時或非實時地捕獲靜態(tài)或短時間的動態(tài)視頻時或

8、非實時地捕獲靜態(tài)或短時間的動態(tài)視頻圖像。圖像。視頻轉換視頻轉換/捕獲卡的基本原理捕獲卡的基本原理:A/D轉換轉換解碼解碼YUV矩陣變換矩陣變換RGB幀存儲器幀存儲器VGA卡卡顏色查找表顏色查找表D/A轉換器轉換器顯示器顯示器VGA輸入輸入視頻信號視頻信號 輸入輸入多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 MPEG卡卡 壓縮卡：對靜止和動態(tài)圖像按照相應的標準進行實時壓縮卡：對靜止和動態(tài)圖像按照相應的標準進行實時和非實時的壓縮和還原處理。和非實時的壓縮和還原處理。 解壓縮卡（影碟卡）：把解壓縮卡（影碟卡）：把MPEG文件進行解壓縮并恢文件進行解壓縮并恢復

9、播放。它可以播放復播放。它可以播放MPEG-1標準壓縮的數(shù)字影視片標準壓縮的數(shù)字影視片（如（如VCD）。）。 視頻卡發(fā)展方向視頻卡發(fā)展方向 與影視技術的結合：可以在一塊高檔卡上集成視頻輸與影視技術的結合：可以在一塊高檔卡上集成視頻輸入輸出、壓縮和解壓縮、特技效果及視頻編輯功能。入輸出、壓縮和解壓縮、特技效果及視頻編輯功能。 與網絡通信技術結合：完成多媒體視頻會議、可視電與網絡通信技術結合：完成多媒體視頻會議、可視電話和多媒體通信功能話和多媒體通信功能多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術3. 攝像頭攝像頭 針對網絡視頻應用針對網絡視頻應用 模擬攝像

10、頭模擬攝像頭：獲得的視頻信號必須通過計算機的視頻卡數(shù)獲得的視頻信號必須通過計算機的視頻卡數(shù)字化并壓縮才能送進計算機進行處理。字化并壓縮才能送進計算機進行處理。 數(shù)字攝像頭數(shù)字攝像頭：直接捕捉視頻圖像，然后通過直接捕捉視頻圖像，然后通過USB或或IEEE1394高速接口輸入計算機。高速接口輸入計算機。 工作原理工作原理：外界景物通過鏡頭生成光學圖像，再投射到圖外界景物通過鏡頭生成光學圖像，再投射到圖像傳感器表明轉換為模擬信號，經像傳感器表明轉換為模擬信號，經A/D變換轉為數(shù)字圖像信變換轉為數(shù)字圖像信號，送到數(shù)字處理芯片號，送到數(shù)字處理芯片DSP進行加工，在通過與計算機的接進行加工，在通過與計算機

11、的接口傳輸?shù)接嬎銠C中進行處理，最后通過顯示器顯示。口傳輸?shù)接嬎銠C中進行處理，最后通過顯示器顯示。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 主要性能指標主要性能指標 攝像器件：攝像器件：CCD（成像質量高）（成像質量高）,CMOS 像素分辨率：像素分辨率：30萬、萬、130萬。萬。 顏色深度：顏色深度：24真彩、真彩、30真彩。真彩。 視頻捕獲速度：幀率，影響流暢度視頻捕獲速度：幀率，影響流暢度 接口方式：接口方式：USB速度快，連接簡單，即插拔速度快，連接簡單，即插拔多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術

12、4. 投影儀投影儀 多媒體顯示設備多媒體顯示設備 分類分類 CRT：實現(xiàn)最早、應用最廣、技術成熟、分辨率高實現(xiàn)最早、應用最廣、技術成熟、分辨率高亮度較低、機身體積大、對焦匯聚調整復雜亮度較低、機身體積大、對焦匯聚調整復雜 LCD：體積小、重量輕、便攜、亮度高、色彩豐富體積小、重量輕、便攜、亮度高、色彩豐富 DLP：畫面質量穩(wěn)定、圖像顯示細膩畫面質量穩(wěn)定、圖像顯示細膩多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 技術指標技術指標亮度亮度分辨率分辨率燈泡壽命燈泡壽命多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術5.1.2

13、 音頻信息輸入輸出技術音頻信息輸入輸出技術 實現(xiàn)：音頻卡（聲卡），安裝在實現(xiàn)：音頻卡（聲卡），安裝在PC內部使內部使PC發(fā)發(fā)出各種聲音的硬件板卡，是出各種聲音的硬件板卡，是PC進行所有與聲音進行所有與聲音相關處理的硬件設備。相關處理的硬件設備。 音頻卡工作原理音頻卡工作原理混音器混音器總線接口芯片總線接口芯片A D數(shù)字音頻數(shù)字音頻處理芯片處理芯片音樂音樂合成器合成器話筒輸入話筒輸入線性輸入線性輸入揚聲器輸出揚聲器輸出線性輸出線性輸出MIDI接口接口CD接口接口計算機總線計算機總線為各個部分與總線間提供握為各個部分與總線間提供握手信號，緩沖（聲卡與總線手信號，緩沖（聲卡與總線間指令和數(shù)據的傳送）

14、間指令和數(shù)據的傳送）記記錄錄播播放放用軟件控制音量用軟件控制音量將數(shù)字音頻的波形數(shù)據將數(shù)字音頻的波形數(shù)據和和MIDI信息合成為聲音信息合成為聲音多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 音頻卡的主要功能音頻卡的主要功能 錄制和播放聲音文件錄制和播放聲音文件 對聲音文件進行編輯和合成對聲音文件進行編輯和合成 倒播、增加回音、淡入淡出、循環(huán)放音、交換聲道等倒播、增加回音、淡入淡出、循環(huán)放音、交換聲道等 對數(shù)字聲音文件進行壓縮和解壓縮對數(shù)字聲音文件進行壓縮和解壓縮 MIDI音樂錄制和合成音樂錄制和合成 利用計算機完成對外部電子樂器的操作和控制利用計算機完成

15、對外部電子樂器的操作和控制 文語轉換和語音識別文語轉換和語音識別 讓計算機朗讀文本和讓計算機聽懂聲音信息讓計算機朗讀文本和讓計算機聽懂聲音信息多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 聲卡的主要作用聲卡的主要作用是對聲音信息進行錄制和回是對聲音信息進行錄制和回放放 可支持的采樣頻率可支持的采樣頻率 8kHz,11.025kHz針對一般語音質量的要求針對一般語音質量的要求 16kHz,22.05kHz,32kHz針對普通音樂效果針對普通音樂效果 44.10kHz,48kHz針對高保真音樂效果針對高保真音樂效果多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多

16、媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術5.1.3 語音識別和語音合成技術語音識別和語音合成技術 語音識別技術語音識別技術 狹義語音識別：排除不同人的發(fā)音差異，提取代表語音狹義語音識別：排除不同人的發(fā)音差異，提取代表語音的共性特征。的共性特征。 說話人語音識別：尋求說話者的個性特征以辨別說話人說話人語音識別：尋求說話者的個性特征以辨別說話人的身份。的身份。 最早的語音識別系統(tǒng)出現(xiàn)在最早的語音識別系統(tǒng)出現(xiàn)在1955年（年（Bell）。隨著）。隨著識別技術的發(fā)展，一些研究機構相繼推出語音識別識別技術的發(fā)展，一些研究機構相繼推出語音識別系統(tǒng)：系統(tǒng)：IBM的的Via Vioce系統(tǒng)；劍橋大學的系統(tǒng)；劍

17、橋大學的HTK系統(tǒng)；系統(tǒng)；微軟的微軟的Whisper系統(tǒng)等。系統(tǒng)等。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 語音識別技術語音識別技術預處理預處理特征提取特征提取模式匹配模式匹配訓練訓練模式庫模式庫語音輸入語音輸入識別結果識別結果語音信息的采樣、反混疊帶語音信息的采樣、反混疊帶通濾波、去除個體發(fā)音差異通濾波、去除個體發(fā)音差異和去除設備環(huán)境引起的噪聲和去除設備環(huán)境引起的噪聲完成語音中反映本完成語音中反映本質特征的聲學參數(shù)質特征的聲學參數(shù)從原始語音樣本從原始語音樣本中去除冗余信息中去除冗余信息聚聚類類按照一定的規(guī)則按照一定的規(guī)則和專家知識計算和專家知識計

18、算輸入特征與庫存輸入特征與庫存模式之間的相似模式之間的相似程度，進而判斷程度，進而判斷輸入的語意信息輸入的語意信息多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 語音識別系統(tǒng)的分類語音識別系統(tǒng)的分類 按可識別詞匯量的多少：按可識別詞匯量的多少：100以下，以下，100-1000，1000以上以上 按語音的輸入方式：孤立詞、連接詞、連續(xù)詞按語音的輸入方式：孤立詞、連接詞、連續(xù)詞 按發(fā)音者類型：特定人、限定人、非特定人按發(fā)音者類型：特定人、限定人、非特定人 按發(fā)音者的聲紋：根據語音識別說話人身份按發(fā)音者的聲紋：根據語音識別說話人身份多媒體通信技術：多媒體通信系

19、統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術語音識別過程語音識別過程 基于模式匹配方法的語音識別基本過程分為兩步：基于模式匹配方法的語音識別基本過程分為兩步： 第一步，第一步，建立標準語音庫建立標準語音庫（標準語音模板），系統(tǒng)（標準語音模板），系統(tǒng)首先建立有若干訓練語句的標準語音數(shù)據庫供訓練首先建立有若干訓練語句的標準語音數(shù)據庫供訓練者使用，即訓練；者使用，即訓練； 第二步，將輸入的語音信號經過處理后與標準語音第二步，將輸入的語音信號經過處理后與標準語音模板相模板相匹配匹配，即識別，包括失真估計、識別決策和，即識別，包括失真估計、識別決策和專家知識運用；專家知識運用； 建立語音模板

20、的方法：根據語音識別系統(tǒng)的設計要建立語音模板的方法：根據語音識別系統(tǒng)的設計要求求選擇一種識別方法選擇一種識別方法；然后從輸入的語音信號中提；然后從輸入的語音信號中提取這種識別方法要求的取這種識別方法要求的語言特征參數(shù)語言特征參數(shù)；將這些；將這些特征特征參數(shù)存儲參數(shù)存儲起來形成語音模板。起來形成語音模板。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術語音識別過程語音識別過程 常用的模板匹配方法是常用的模板匹配方法是概率統(tǒng)計概率統(tǒng)計方法。方法。 它將未知語音的它將未知語音的特征參數(shù)與模板一一比較特征參數(shù)與模板一一比較，根據，根據失真測度最小的原則失真測度最小的

21、原則判斷匹配結果。判斷匹配結果。 當決策失敗，可運用專家知識做出判決。整個訓當決策失敗，可運用專家知識做出判決。整個訓練和識別過程如圖練和識別過程如圖語音信號輸入語音信號輸入預處理預處理特征分析特征分析與提取與提取模式匹配模式匹配識別決策識別決策識別輸出識別輸出標準模板標準模板專家知識專家知識多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術語音識別過程語音識別過程 語音識別由三個技術模塊組成，即語音識別由三個技術模塊組成，即特征提特征提取、模式匹配和標準模板庫生成取、模式匹配和標準模板庫生成。 這三大技術模塊涉及的技術包括三個方面：這三大技術模塊涉及的技術包

22、括三個方面： 1、語音識別單元的選擇、語音識別單元的選擇 2、特征數(shù)據類型的選擇、特征數(shù)據類型的選擇 3、模式匹配方法與模型訓練技術、模式匹配方法與模型訓練技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術語音識別技術的發(fā)展趨勢語音識別技術的發(fā)展趨勢 語音識別技術經過全球半個多世紀的研究，語音識別技術經過全球半個多世紀的研究，目前已經發(fā)展到了接近實用的階段。在實目前已經發(fā)展到了接近實用的階段。在實驗室環(huán)境下，大詞匯驗室環(huán)境下，大詞匯 量的朗讀式連續(xù)說話量的朗讀式連續(xù)說話的寬帶語音信號的平均識別率可以達到的寬帶語音信號的平均識別率可以達到 90%以上。以上。

23、 在這樣的水平基礎上，在這樣的水平基礎上， 語音識語音識別技別技 術開始嘗試從實驗室演示系統(tǒng)走向實術開始嘗試從實驗室演示系統(tǒng)走向實用化商品。但是語音識別技術要進入成熟用化商品。但是語音識別技術要進入成熟的商業(yè)運用還有一段艱難的的商業(yè)運用還有一段艱難的 路程，還必須路程，還必須在很多方面取得突破性進展。在很多方面取得突破性進展。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術突破性進展表現(xiàn)為：突破性進展表現(xiàn)為：1.提高可靠性提高可靠性2.增加詞匯量增加詞匯量3.應用拓展應用拓展4.降低成本減小體積降低成本減小體積多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體

24、通信技術：多媒體通信系統(tǒng)中的關鍵技術 目前，全球語音技術市場規(guī)模超過目前，全球語音技術市場規(guī)模超過30億美元，近年來年億美元，近年來年增長率保持在增長率保持在25%以上，未來語音識別市場被看好，其中電以上，未來語音識別市場被看好，其中電信行業(yè)（信行業(yè)（Vo IP等），移動應用領域（手機、學習機、平板等），移動應用領域（手機、學習機、平板電腦、車載系統(tǒng)等移動設備），都會呈現(xiàn)出爆發(fā)式增長。下電腦、車載系統(tǒng)等移動設備），都會呈現(xiàn)出爆發(fā)式增長。下面列舉幾個電信及移動應用領域成功的語音產品面列舉幾個電信及移動應用領域成功的語音產品/軟件。軟件。1、電信行業(yè)：電話銀行系統(tǒng)、電信行業(yè)：電話銀行系統(tǒng)2、移動應

25、用領域：、移動應用領域：Siri3、生活領域：手機、生活領域：手機“導游導游”多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 21 世紀是信息和網絡的時代，世紀是信息和網絡的時代，Internet、寬帶、寬帶 IP 網、公用電話網、移動電話網把全球各地連接起網、公用電話網、移動電話網把全球各地連接起來，巨來，巨 大的信息資源能夠通過網絡在短暫時間內迅大的信息資源能夠通過網絡在短暫時間內迅速擴散到全球范圍，幾乎所有人與機器進行信息交速擴散到全球范圍，幾乎所有人與機器進行信息交互相關的需互相關的需 求和服務，例如自然口語對話、信息索求和服務，例如自然口語對話、

26、信息索取、電子商務、數(shù)字圖書館、遠程教育、語音翻譯取、電子商務、數(shù)字圖書館、遠程教育、語音翻譯等，都可能會在等，都可能會在 網絡上實現(xiàn)。網絡上實現(xiàn)。 語音識別技術研究和應用的重要發(fā)展趨勢是，語音識別技術研究和應用的重要發(fā)展趨勢是，讓人在任何地方，任何時間，對任何事都能夠讓人在任何地方，任何時間，對任何事都能夠 通過通過語音交互的方式，更加方便地享受到更多的社會信語音交互的方式，更加方便地享受到更多的社會信息資源和現(xiàn)代化服務。人類將越來越多地體驗到語息資源和現(xiàn)代化服務。人類將越來越多地體驗到語 音識別技術可能的便捷優(yōu)點。音識別技術可能的便捷優(yōu)點。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通

27、信技術：多媒體通信系統(tǒng)中的關鍵技術語音合成語音合成 什么是語音合成？什么是語音合成？ 語音合成語音合成就是讓計算機象人那樣講話。就是讓計算機象人那樣講話。 人們用語言進行交流時，用聲音來表達自己的意人們用語言進行交流時，用聲音來表達自己的意向、情感。例如：向、情感。例如：如某人問你：你愿意和我一起去看電影嗎？如某人問你：你愿意和我一起去看電影嗎？你的回答可能是：你的回答可能是：“是的，我很高興和你一起去看電影。是的，我很高興和你一起去看電影?！保隙?，高興）（肯定，高興）“抱歉，我不能和你一起去看電影，因為我要去開會。抱歉，我不能和你一起去看電影，因為我要去開會?！保o可奈何）（無可奈何）“不

28、去，還是你自己去看吧。不去，還是你自己去看吧。”（否定）（否定） 這三句話表達了不同的意向和情感。這三句話表達了不同的意向和情感。計算機也應計算機也應該像人那樣來回答該像人那樣來回答。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 語音合成的研究目標是：語音合成的研究目標是： 可懂可懂 清晰清晰 自然自然 具有表現(xiàn)力具有表現(xiàn)力 研究意義研究意義 語音合成技術可以大大改善人機交互環(huán)境語音合成技術可以大大改善人機交互環(huán)境 計算機反饋信息的方式是屏幕顯示。這種單調的信息輸出計算機反饋信息的方式是屏幕顯示。這種單調的信息輸出方式給用戶帶來許多不便，特別是長時間地注

29、視顯示屏使方式給用戶帶來許多不便，特別是長時間地注視顯示屏使人疲勞，降低人獲取信息和理解信息的能力。人疲勞，降低人獲取信息和理解信息的能力。 網絡環(huán)境的輸出設備多種多樣：這種枯燥單一的交互方式網絡環(huán)境的輸出設備多種多樣：這種枯燥單一的交互方式影響了計算機的應用。影響了計算機的應用。 計算機語音輸出能提供聲文并茂的信息表示方式，可以改計算機語音輸出能提供聲文并茂的信息表示方式，可以改變人機交互變人機交互“默默無聞默默無聞”的狀況，為計算機的普及應用創(chuàng)的狀況，為計算機的普及應用創(chuàng)造更好的條件。造更好的條件。 將將“能看到能看到”、“看不到看不到”的信息變成的信息變成“可聽可聽”的的信息信息 將將“

30、非即時獲得的信息非即時獲得的信息”變成變成“即時可聽即時可聽”的信息的信息多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 語音合成是一門跨學科的前沿技術，涉及語音合成是一門跨學科的前沿技術，涉及到下列相關研究領域：到下列相關研究領域： 它將上述領域的研究成果結合在一起，使它將上述領域的研究成果結合在一起，使計算機具備說話的能力。計算機具備說話的能力。自然語言理自然語言理解解語言學語言學語音學語音學信號處理信號處理心理學心理學聲聲學學 多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術語音合成技術語音合成技術 實現(xiàn)的方式實現(xiàn)

31、的方式 錄音錄音/重放模式重放模式 利用數(shù)字信號處理技術，采用參數(shù)合成的方式來實現(xiàn)語利用數(shù)字信號處理技術，采用參數(shù)合成的方式來實現(xiàn)語音合成音合成 語音合成的三個層次語音合成的三個層次 從文本到語音從文本到語音 從概念到語音從概念到語音 從意向到語音從意向到語音多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 有限詞匯的計算機語音輸出有限詞匯的計算機語音輸出 語音報時、公共汽車報站、叫號系統(tǒng)語音報時、公共汽車報站、叫號系統(tǒng) 基于語音合成技術的文語轉化（基于語音合成技術的文語轉化（TTS） 除了完成文字到語音的映射外，還要完成對書面文除了完成文字到語音的映射外，

32、還要完成對書面文字的理解以及對語音韻律的處理字的理解以及對語音韻律的處理多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 文語轉換技術文語轉換技術 有聲電子文檔、信息電話查詢系統(tǒng)、基于計算機的有聲電子文檔、信息電話查詢系統(tǒng)、基于計算機的辦公教學娛樂多媒體軟件、嵌入式操作系統(tǒng)。辦公教學娛樂多媒體軟件、嵌入式操作系統(tǒng)。 包括文本分析、韻律生成、語音合成包括文本分析、韻律生成、語音合成 文本分析：使計算機認識文字、如何發(fā)音、用什么發(fā)音文本分析：使計算機認識文字、如何發(fā)音、用什么發(fā)音 韻律生成：生成發(fā)聲文本的韻律特征（聲調、停頓等）韻律生成：生成發(fā)聲文本的韻律特征（

33、聲調、停頓等） 語音合成：語音合成：多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 6.7 專用語音合成硬件專用語音合成硬件多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術一個合成系統(tǒng)一個合成系統(tǒng)多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術語音合成有著廣闊的應用前景語音合成有著廣闊的應用前景 它可應用于：它可應用于： 盲人計算機，電話信息查詢，文本校對，專盲人計算機，電話信息查詢，文本校對，專家系統(tǒng)的有聲輸出、火車站、飛機場的航班信息家系統(tǒng)的有聲輸出、火車站、飛機場的航班信息報告等

34、領域。報告等領域。 有限詞匯語音合成的應用有限詞匯語音合成的應用語音手表（鬧鐘）、玩具、教具語音手表（鬧鐘）、玩具、教具儀器儀器/電器（打印機、微波爐）電器（打印機、微波爐） 有聲信息發(fā)布有聲信息發(fā)布車站列車、機場航班信息發(fā)布車站列車、機場航班信息發(fā)布114的電話號碼報出的電話號碼報出辦公系統(tǒng)中的有聲信息辦公系統(tǒng)中的有聲信息多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 6.8語音合成的應用語音合成的應用 基于基于PCPC的辦公、教學和娛樂等多媒體軟件的辦公、教學和娛樂等多媒體軟件 聲訊服務領域的智能電話查詢，包括：股市查詢、工商信聲訊服務領域的智能電話查

35、詢，包括：股市查詢、工商信息電話查詢、電話銀行等。息電話查詢、電話銀行等。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術語音合成技術的應用語音合成技術的應用 工商信息電話查詢系統(tǒng)本系統(tǒng)的功能是本系統(tǒng)的功能是讓用戶可以通過電話查詢到某一企業(yè)在工商局的讓用戶可以通過電話查詢到某一企業(yè)在工商局的注冊信息。用戶主要通過輸入注冊號、統(tǒng)一代碼或者企業(yè)電注冊信息。用戶主要通過輸入注冊號、統(tǒng)一代碼或者企業(yè)電話號碼等來查詢相應的企業(yè)信息話號碼等來查詢相應的企業(yè)信息?？拼笥嶏w公司與?？拼笥嶏w公司與IBMIBM公司合公司合作，采用電話語音識別技術來實現(xiàn)語音選擇。用戶只需口述作，

36、采用電話語音識別技術來實現(xiàn)語音選擇。用戶只需口述企業(yè)名稱（包括帶一定模糊概念的口述，如企業(yè)名稱（包括帶一定模糊概念的口述，如“科大訊飛科大訊飛”或或“訊飛訊飛”均可識別），即可直接得到該企業(yè)的一系列信息。均可識別），即可直接得到該企業(yè)的一系列信息。與過去的按鍵聽取相比，不僅方便了用戶，還從很大程度上與過去的按鍵聽取相比，不僅方便了用戶，還從很大程度上提高了查詢效率，節(jié)約了用戶的寶貴時間。另一方面，查詢提高了查詢效率，節(jié)約了用戶的寶貴時間。另一方面，查詢結果除了可以通過電話直接聽取外，還可通過傳真機接收到結果除了可以通過電話直接聽取外，還可通過傳真機接收到相關企業(yè)的詳細信息（包括圖像信息）。相關

37、企業(yè)的詳細信息（包括圖像信息）。 多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術語音合成技術的應用語音合成技術的應用 電話銀行系統(tǒng) 電話銀行是一種金融電話服務，客戶只要撥通專線電話，即電話銀行是一種金融電話服務，客戶只要撥通專線電話，即可在語音提示下，享用查詢、轉賬、掛失和更改密碼等多項服務可在語音提示下，享用查詢、轉賬、掛失和更改密碼等多項服務。目前，大多數(shù)電話銀行系統(tǒng)都存在兩大不足之處：目前，大多數(shù)電話銀行系統(tǒng)都存在兩大不足之處：(1)(1)各種金額各種金額數(shù)目的報讀不夠流利、自然；數(shù)目的報讀不夠流利、自然；(2)(2)菜單選擇通過按鍵完成，用戶菜單選

38、擇通過按鍵完成，用戶不便記憶，聽語音提示較費時。不便記憶，聽語音提示較費時。 中科大訊飛公司開發(fā)的電話銀行系統(tǒng)，通過采用與中國科大人機中科大訊飛公司開發(fā)的電話銀行系統(tǒng)，通過采用與中國科大人機語音通信實驗室合作研究的語音合成技術，有效地克服了上述第語音通信實驗室合作研究的語音合成技術，有效地克服了上述第一個缺點，使金額數(shù)目的報讀聲音清晰、語流自然，避免了用戶一個缺點，使金額數(shù)目的報讀聲音清晰、語流自然，避免了用戶聽錯數(shù)目的可能，提高了用戶的滿意度。該公司正在與聽錯數(shù)目的可能，提高了用戶的滿意度。該公司正在與IBMIBM合作，合作，計劃采用最新的電話語音識別技術來實現(xiàn)菜單的語音選擇，使用計劃采用最

39、新的電話語音識別技術來實現(xiàn)菜單的語音選擇，使用戶只要口述功能名（如戶只要口述功能名（如“轉賬轉賬”、“查詢余額查詢余額”等），即可直接等），即可直接進入系統(tǒng)的服務流程，而不必層層聽取語音提示再加按相應的鍵。進入系統(tǒng)的服務流程，而不必層層聽取語音提示再加按相應的鍵。這將極大地方便用戶的使用，提高用戶操作的準確度，并節(jié)約用這將極大地方便用戶的使用，提高用戶操作的準確度，并節(jié)約用戶寶貴的時間。戶寶貴的時間。 多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術語音合成技術的應用語音合成技術的應用 股市查詢系統(tǒng) 目前，股民了解股市行情，主要通過以下方式：目前，股民了解股

40、市行情，主要通過以下方式： 電臺、電視等媒體電臺、電視等媒體不夠實時與方便；不夠實時與方便； 股票機股票機 電腦等個人終端電腦等個人終端需要硬件投資且有地點限制；需要硬件投資且有地點限制； 股票交易所的大屏幕、查詢終端股票交易所的大屏幕、查詢終端要求用戶親臨現(xiàn)場。要求用戶親臨現(xiàn)場。 股市查詢系統(tǒng)使用戶只要通過普通雙音頻電話，即可隨時得股市查詢系統(tǒng)使用戶只要通過普通雙音頻電話，即可隨時得到最新的股市行情到最新的股市行情。用戶撥通查詢臺，根據語音提示選擇相。用戶撥通查詢臺，根據語音提示選擇相應的功能，即可獲得所需的各種股市信息。同時應的功能，即可獲得所需的各種股市信息。同時, ,如果采用電如果采用

41、電話語音識別技術來實現(xiàn)個股的語音選擇，用戶只要口述個股話語音識別技術來實現(xiàn)個股的語音選擇，用戶只要口述個股名稱，即可直接得到該股票的最新行情，而不必通過按鍵輸名稱，即可直接得到該股票的最新行情，而不必通過按鍵輸入代號，從而方便用戶使用入代號，從而方便用戶使用, ,并節(jié)約用戶的時間。并節(jié)約用戶的時間。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術語音合成技術的應用語音合成技術的應用 民航保單查詢系統(tǒng) 語音合成技術可以起到很好的防偽效果。語音合成技術可以起到很好的防偽效果。例如當旅客拿到例如當旅客拿到一張民航保單時，如何確定它不是偽造的呢？他可以打電一張民航保

42、單時，如何確定它不是偽造的呢？他可以打電話到民航系統(tǒng)向服務小姐詢問。語音合成技術完全可以取話到民航系統(tǒng)向服務小姐詢問。語音合成技術完全可以取代服務小姐的工作，并提供更加快捷、準確的信息。旅客代服務小姐的工作，并提供更加快捷、準確的信息。旅客可以撥通某一個電話號碼，在語音提示下，輸入保險單號，可以撥通某一個電話號碼，在語音提示下，輸入保險單號，則他就能聽到用語音合成技術合成的該保單對應的航班號、則他就能聽到用語音合成技術合成的該保單對應的航班號、被保險人姓名、乘機日期等語音信息，以驗證該民航保單被保險人姓名、乘機日期等語音信息，以驗證該民航保單的真實性。根據電話號碼的唯一性和語音合成技術的復雜的

43、真實性。根據電話號碼的唯一性和語音合成技術的復雜性來確保民性來確保民 航保單查詢的可靠性。航保單查詢的可靠性。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術語音合成的未來發(fā)展方向語音合成的未來發(fā)展方向（1）提高合成語音的自然度（2）豐富合成語音的表現(xiàn)力（3）降低語音合成技術的復雜度（4）多語種文語合成多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術1. 掃描儀掃描儀 圖形、圖像等信息的主要輸入設備圖形、圖像等信息的主要輸入設備 分類分類 手動式、平板式、膠片式、滾筒式手動式、平板式、膠片式、滾筒式 SCSI接口、接口、E

44、PP增強型并行接口、通用串行總線增強型并行接口、通用串行總線USB接口接口 基本組件：基本組件： 光源、光學透鏡光源、光學透鏡 感光元件：感光元件：CCD 模擬數(shù)字轉換電路模擬數(shù)字轉換電路5.1.4 其他輸入輸出技術其他輸入輸出技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 技術指標技術指標掃描精度：光學分辨率，掃描精度：光學分辨率，300*600DPI色彩深度：色彩精度，色彩深度：色彩精度，24bit/pixel,300DPI掃描速度：將一頁文稿掃入計算機并完成掃描速度：將一頁文稿掃入計算機并完成相應處理總共需要的時間相應處理總共需要的時間多媒體通信

45、技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術2. 觸摸屏觸摸屏 采用坐標定位方式的輸入設備采用坐標定位方式的輸入設備 使人可以基于自然的方式與計算機進行交互使人可以基于自然的方式與計算機進行交互而無需鍵盤而無需鍵盤 系統(tǒng)組成系統(tǒng)組成 觸摸檢測裝置：檢測用戶觸摸位置觸摸檢測裝置：檢測用戶觸摸位置 觸摸屏控制卡：接收檢測裝置傳來的信息并轉換觸摸屏控制卡：接收檢測裝置傳來的信息并轉換成觸點信息送給主機成觸點信息送給主機 驅動程序驅動程序多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 分類分類紅外線觸摸屏紅外線觸摸屏電阻觸摸屏電阻觸摸

46、屏電容式觸摸屏電容式觸摸屏表明聲波觸摸屏表明聲波觸摸屏近場成像觸摸屏近場成像觸摸屏多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術5.1.5 多媒體存儲技術多媒體存儲技術多媒體存儲技術主要是指光盤存儲技術。大多媒體存儲技術主要是指光盤存儲技術。大容量的媒體容量的媒體CD-ROM技術標準于技術標準于1985年發(fā)布。年發(fā)布。 單機多媒體存儲的最初形式是人們非常熟單機多媒體存儲的最初形式是人們非常熟悉的悉的VCD VCD標準是圖像數(shù)據壓縮標準。采用標準是圖像數(shù)據壓縮標準。采用MPEG-1壓縮技術，可以將壓縮技術，可以將74分鐘視頻音頻信息同時壓分鐘視頻音頻信息同時

47、壓縮記錄在軌道上。視頻質量比家用錄像帶略高，縮記錄在軌道上。視頻質量比家用錄像帶略高，音質與音質與CD相當相當多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 DVD標準于標準于1995年出臺，年出臺， 專門用于存放以專門用于存放以MPEG-2方式壓縮的視頻和音方式壓縮的視頻和音頻信息。其畫質和音質均優(yōu)于頻信息。其畫質和音質均優(yōu)于VCD。 DVD光盤可以容納光盤可以容納133488分鐘的影片內容，分鐘的影片內容，可以保存可以保存4.710GB的多媒體數(shù)據。的多媒體數(shù)據。 隨著多媒體數(shù)據內容的不斷增加隨著多媒體數(shù)據內容的不斷增加，以單一，以單一盤片的形式存儲數(shù)

48、據遠不能滿足用戶的需求，盤片的形式存儲數(shù)據遠不能滿足用戶的需求，于是出現(xiàn)了光盤庫、冗余磁盤陣列和多媒體于是出現(xiàn)了光盤庫、冗余磁盤陣列和多媒體數(shù)據庫的存儲方式。數(shù)據庫的存儲方式。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體信息存儲的特點多媒體信息存儲的特點 多媒體信息存在和表現(xiàn)的形式多樣多媒體信息存在和表現(xiàn)的形式多樣 正文正文：包括文字和數(shù)據包括文字和數(shù)據 向量圖形向量圖形：圖元組成的圖形圖元組成的圖形 位圖圖象位圖圖象 數(shù)字化聲音和高保真音響數(shù)字化聲音和高保真音響 數(shù)字化視頻數(shù)字化視頻 多媒體信息量大多媒體信息量大多媒體通信技術：多媒體通信系統(tǒng)中的

49、關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 為實現(xiàn)海量數(shù)據的存儲，對不同的數(shù)據應為實現(xiàn)海量數(shù)據的存儲，對不同的數(shù)據應采用不同的存儲策略。采用不同的存儲策略。 光盤庫是一種帶有自動換盤裝置的光盤存光盤庫是一種帶有自動換盤裝置的光盤存儲共享設備。一般由光盤架、自動換盤裝儲共享設備。一般由光盤架、自動換盤裝置、光盤驅動器組成。置、光盤驅動器組成。 一套光盤庫可有一套光盤庫可有1-121-12臺驅動器，臺驅動器，2-122-12個盤個盤倉，每個盤倉可容倉，每個盤倉可容50-60050-600片光盤，總容量片光盤，總容量可達幾百可達幾百GBGB甚至甚至TGBTGB。2. 光盤庫光盤庫多媒體通信技

50、術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 光盤庫通過光盤庫通過SCSISCSI接口與網絡服務器連接，接口與網絡服務器連接，通過自身接口與主機交換數(shù)據。通過自身接口與主機交換數(shù)據。 光盤庫的訪問過程：光盤庫的訪問過程：自動換盤器將驅動器中的光盤取出放至盤架自動換盤器將驅動器中的光盤取出放至盤架然后將需要的光盤送入驅動器（秒級速度）然后將需要的光盤送入驅動器（秒級速度）多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 DVDDVD光盤庫主要特點光盤庫主要特點高容量高容量檢索速度快，支持跨盤存取檢索速度快，支持跨盤存取高可靠性，壽命

51、高可靠性，壽命100100年年與各系統(tǒng)無縫連接與各系統(tǒng)無縫連接安裝簡便，易于管理安裝簡便，易于管理 應用應用將將DVDDVD光盤庫作為在線存儲設備直接進行存儲光盤庫作為在線存儲設備直接進行存儲將光盤庫看作是數(shù)據歸檔的存儲設備（數(shù)據遷移軟件）將光盤庫看作是數(shù)據歸檔的存儲設備（數(shù)據遷移軟件）多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術光盤庫的應用光盤庫的應用客戶客戶機機客戶客戶機機客戶客戶機機服務服務器器服務服務器器服務服務器器DVD光盤光盤庫庫主機存儲主機存儲系統(tǒng)系統(tǒng)多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 通過

52、單獨的高速光纖網絡將存儲設備和局域通過單獨的高速光纖網絡將存儲設備和局域網上的服務器群連接起來，數(shù)據的存取通過網上的服務器群連接起來，數(shù)據的存取通過存儲區(qū)域網在服務器和海量存儲設備間進行存儲區(qū)域網在服務器和海量存儲設備間進行高速傳輸。高速傳輸。 SANSAN以光纖通道為基礎實現(xiàn)了存儲設備的共享；以光纖通道為基礎實現(xiàn)了存儲設備的共享；服務器通過存儲網絡直接與存儲設備交換數(shù)服務器通過存儲網絡直接與存儲設備交換數(shù)據，釋放了寶貴的局域網資源。據，釋放了寶貴的局域網資源。3. 存儲區(qū)域網絡存儲區(qū)域網絡SAN多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 網絡結構網絡

53、結構：用戶終端用戶終端用戶終端用戶終端用戶終端用戶終端服務器服務器服務器服務器服務器服務器磁盤陣列磁盤陣列光盤庫光盤庫以太網以太網光纖通道網絡光纖通道網絡磁帶庫磁帶庫多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 實現(xiàn)大容量存儲設備的共享和高速數(shù)據傳輸實現(xiàn)大容量存儲設備的共享和高速數(shù)據傳輸 連接方便和遠距離傳輸連接方便和遠距離傳輸 實現(xiàn)主機與存儲設備分離實現(xiàn)主機與存儲設備分離 提供數(shù)據的安全性和可靠性提供數(shù)據的安全性和可靠性SAN的特點的特點多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術4. 多媒體數(shù)據庫多媒體數(shù)據庫M

54、MDB 由若干個多媒體對象所構成的集合，這些對象按某由若干個多媒體對象所構成的集合，這些對象按某種特定的方式組織起來并為其他的具體應用共享。種特定的方式組織起來并為其他的具體應用共享。 多媒體數(shù)據管理系統(tǒng)多媒體數(shù)據管理系統(tǒng)MMDBMS(Multimedia Database MMDBMS(Multimedia Database Management System)Management System)是以多媒體數(shù)據庫是以多媒體數(shù)據庫MMDBMMDB為基礎為基礎的且能完成對多媒體數(shù)據庫的且能完成對多媒體數(shù)據庫MMDBMMDB的各種操作和管理的各種操作和管理功能的多媒體應用系統(tǒng)。功能的多媒體應用系統(tǒng)

55、。 由于多媒體數(shù)據自身的特點，如由多種媒體構成且由于多媒體數(shù)據自身的特點，如由多種媒體構成且數(shù)據量巨大、媒體數(shù)據間的不同約束關系、實時性數(shù)據量巨大、媒體數(shù)據間的不同約束關系、實時性的要求等，使得多媒體數(shù)據庫系統(tǒng)有別于傳統(tǒng)的數(shù)的要求等，使得多媒體數(shù)據庫系統(tǒng)有別于傳統(tǒng)的數(shù)據庫系統(tǒng)。據庫系統(tǒng)。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 多媒體數(shù)據及其數(shù)據關系的復雜性，與傳統(tǒng)多媒體數(shù)據及其數(shù)據關系的復雜性，與傳統(tǒng)數(shù)據相比，多媒體數(shù)據對數(shù)據模型提出了更數(shù)據相比，多媒體數(shù)據對數(shù)據模型提出了更嚴格的要求。嚴格的要求。多媒體數(shù)據模型要能夠有效抽象及表示多媒體多媒體數(shù)據

56、模型要能夠有效抽象及表示多媒體數(shù)據庫的靜態(tài)和動態(tài)特征，模型的表示要比較簡數(shù)據庫的靜態(tài)和動態(tài)特征，模型的表示要比較簡潔靈活，要支持交互性，要能夠反映多媒體數(shù)據潔靈活，要支持交互性，要能夠反映多媒體數(shù)據庫的一致性約束條件。庫的一致性約束條件。層次數(shù)據庫管理系統(tǒng)和網狀數(shù)據庫管理系統(tǒng)層次數(shù)據庫管理系統(tǒng)和網狀數(shù)據庫管理系統(tǒng)的的共同缺點是不能支持數(shù)據的獨立性。共同缺點是不能支持數(shù)據的獨立性。不能不能用于多用于多媒體數(shù)據庫。媒體數(shù)據庫。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 關系模型是目前數(shù)據庫系統(tǒng)關系模型是目前數(shù)據庫系統(tǒng)中最常用的數(shù)據模型之中最常用的數(shù)據模型之

57、一。關系模型是建立在關系代數(shù)的基礎之上的，有一。關系模型是建立在關系代數(shù)的基礎之上的，有較為嚴密的理論基礎，其數(shù)據結構簡潔明了、直觀較為嚴密的理論基礎，其數(shù)據結構簡潔明了、直觀清晰、易學易用。目前大多數(shù)數(shù)據庫管理系統(tǒng)產品清晰、易學易用。目前大多數(shù)數(shù)據庫管理系統(tǒng)產品均支持關系模型均支持關系模型. 關系模型要想存儲多媒體數(shù)據，就關系模型要想存儲多媒體數(shù)據，就需要進行擴充。需要進行擴充。 非第一范式非第一范式NF2(Non First Normal Form)數(shù)據模型數(shù)據模型通過對關系模型的擴展來提高關系模型處理多媒體通過對關系模型的擴展來提高關系模型處理多媒體數(shù)據的能力。數(shù)據的能力。 隨著近年來面

58、向對像技術的興起，面向對像技術在隨著近年來面向對像技術的興起，面向對像技術在數(shù)據庫中的應用也日益顯現(xiàn)出其強大的生命力。這數(shù)據庫中的應用也日益顯現(xiàn)出其強大的生命力。這主要是由于面向對像模型能夠很好的描述復雜的事主要是由于面向對像模型能夠很好的描述復雜的事物對像，更好的維護復雜對像的語義信息。物對像，更好的維護復雜對像的語義信息。多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體數(shù)據庫的體系結構多媒體數(shù)據庫的體系結構 多媒體數(shù)據庫管理系統(tǒng)多媒體數(shù)據庫管理系統(tǒng)MMDBMS的體系結構分的體系結構分為三層，即數(shù)據庫管理層、多媒體數(shù)據合成層和為三層，即數(shù)據庫管理層、

59、多媒體數(shù)據合成層和交互層。如下圖所示。交互層。如下圖所示。用用 戶戶 界界 面面超文本導航超文本導航多媒體查詢多媒體查詢媒體編輯媒體編輯數(shù)據結構定義數(shù)據結構定義多媒體數(shù)據的各種歸納關系多媒體數(shù)據的各種歸納關系多媒體對象的合成信息多媒體對象的合成信息成分數(shù)據體得特征信息等成分數(shù)據體得特征信息等文本文本DBMS圖像圖像DBMS音頻音頻DBMS視頻視頻DBMS文本記錄文本記錄圖像記錄圖像記錄音頻記錄音頻記錄視頻記錄視頻記錄多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術5.2 超媒體技術超媒體技術超文本的概念超文本的概念 文本文本 邏輯單位：字、詞、句子、段落、節(jié)

60、、章；邏輯單位：字、詞、句子、段落、節(jié)、章； 物理單位：字節(jié)、行、頁、冊、卷；物理單位：字節(jié)、行、頁、冊、卷； 線性結構：組織上是線性的、順序的線性結構：組織上是線性的、順序的多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術多媒體通信技術：多媒體通信系統(tǒng)中的關鍵技術 人腦的記憶機制人腦的記憶機制 聯(lián)想式的網狀結構；聯(lián)想式的網狀結構； 對聯(lián)想、記憶的探索形成了人類思維概念化的對聯(lián)想、記憶的探索形成了人類思維概念化的基礎；基礎； 冬天結冰河魚婚禮；冬天結冰河魚婚禮； 文本無法管理這種互聯(lián)的網狀信息結構；文本無法管理這種互聯(lián)的網狀信息結構； 需要探索新的信息存儲和檢索機制；需要探索新的信息存儲和檢索機制；