多媒體通信系統(tǒng)中的關鍵技術.ppt

第5章 多媒體通信系統(tǒng)中的關鍵技術,5.1 多媒體信息輸入輸出技術,多媒體計算機所涉及的輸入輸出技術包括視頻圖像技術、音頻技術、語音技術、圖形技術和文本技術等。 多媒體系統(tǒng)通過一些具有特定功能的卡來支持媒體數(shù)據(jù)的輸入輸出。（如視頻卡、聲卡、VGA與TV轉換卡、圖形加速卡、光盤接口卡等） 多媒體計算機正是通過這些卡，完成與各種外部設備的連接，從而形成一個制作和播放多媒體應用的工作環(huán)境。,5.1.1 視頻信息輸入輸出技術,視頻卡是多媒體計算機用來完成視頻信息輸入輸出功能的主要器件。 主要種類： 電視接收卡 視頻轉換/捕獲卡 視頻編碼卡 MPEG卡 實際應用中常把多種功能集成于一塊卡中,1. 視頻卡的基本工作原理,選 擇 視 頻 源,ADC,VRAM,顯示器,DAC,VGA卡,視頻 處理芯片,PC總線,錄像機,影碟機,攝像機,I/O,多制式 數(shù)字解碼器,RGB,用于視頻信號捕獲、播放和顯示的專用控制芯片,可以完成輸入信號的裁剪、比例變化、VGA同步、色鍵控制、PC總線接口和對幀存儲器的操作,視頻隨機 訪問存儲器,數(shù)模轉換,2. 常用視頻卡,視頻接收卡（電視接收卡） 一般與視頻轉換/捕獲卡組合在一起,電視 信號,高頻 調(diào)諧器,模擬 視頻信號,視頻 數(shù)字化,幀存儲器,VGA卡,數(shù)字 視頻信號,顯示器 模擬信號,VGA RGB 數(shù)字信號,主要功能：接收電視臺發(fā)送的電視信號；將模擬電視信號數(shù)字化后疊加顯示在VGA中并完成最后的顯示。,接收電視臺發(fā) 送的電視信號,視頻轉換/捕獲卡 視頻轉換卡完成計算機視頻信號和電視視頻信號間的轉換 完成由計算機的VGA信號到各種標準制式的電視信號的轉換并在電視機上播放或進行錄像（PC-TV,VGA-TV） 完成將標準的各種制式電視信號轉換成計算機屏幕上顯示的VGA信號（TV-VGA）,該類卡在電視上的顯示質(zhì)量不能與專業(yè)視頻卡相比，且有些轉換卡不能在VGA和TV上同時輸出視頻圖像。,視頻轉換/捕獲卡 視頻捕獲卡主要功能是從視頻圖像信息中實時或非實時地捕獲靜態(tài)或短時間的動態(tài)視頻圖像。,視頻轉換/捕獲卡的基本原理:,A/D 轉換,解碼 YUV,矩陣變換 RGB,幀存儲器,VGA卡 顏色查找表,D/A轉換器,顯示器,VGA輸入,視頻信號 輸入,MPEG卡 壓縮卡：對靜止和動態(tài)圖像按照相應的標準進行實時和非實時的壓縮和還原處理。 解壓縮卡（影碟卡）：把MPEG文件進行解壓縮并恢復播放。它可以播放MPEG-1標準壓縮的數(shù)字影視片（如VCD）。 視頻卡發(fā)展方向 與影視技術的結合：可以在一塊高檔卡上集成視頻輸入輸出、壓縮和解壓縮、特技效果及視頻編輯功能。 與網(wǎng)絡通信技術結合：完成多媒體視頻會議、可視電話和多媒體通信功能,3. 攝像頭,針對網(wǎng)絡視頻應用 模擬攝像頭：獲得的視頻信號必須通過計算機的視頻卡數(shù)字化并壓縮才能送進計算機進行處理。 數(shù)字攝像頭：直接捕捉視頻圖像，然后通過USB或IEEE1394高速接口輸入計算機。 工作原理：外界景物通過鏡頭生成光學圖像，再投射到圖像傳感器表明轉換為模擬信號，經(jīng)A/D變換轉為數(shù)字圖像信號，送到數(shù)字處理芯片DSP進行加工，在通過與計算機的接口傳輸?shù)接嬎銠C中進行處理，最后通過顯示器顯示。,主要性能指標 攝像器件：CCD（成像質(zhì)量高）,CMOS 像素分辨率：30萬、130萬。 顏色深度：24真彩、30真彩。 視頻捕獲速度：幀率，影響流暢度 接口方式：USB速度快，連接簡單，即插拔,4. 投影儀,多媒體顯示設備 分類 CRT：實現(xiàn)最早、應用最廣、技術成熟、分辨率高 亮度較低、機身體積大、對焦匯聚調(diào)整復雜 LCD：體積小、重量輕、便攜、亮度高、色彩豐富 DLP：畫面質(zhì)量穩(wěn)定、圖像顯示細膩,技術指標 亮度 分辨率 燈泡壽命,5.1.2 音頻信息輸入輸出技術,實現(xiàn)：音頻卡（聲卡），安裝在PC內(nèi)部使PC發(fā)出各種聲音的硬件板卡，是PC進行所有與聲音相關處理的硬件設備。 音頻卡工作原理,混音器,總線接口芯片,A D,數(shù)字音頻 處理芯片,音樂 合成器,話筒輸入,線性輸入,揚聲器輸出,線性輸出,MIDI接口,CD接口,計算機總線,為各個部分與總線間提供握手信號，緩沖（聲卡與總線間指令和數(shù)據(jù)的傳送）,記 錄 播 放,用軟件控制音量,將數(shù)字音頻的波形數(shù)據(jù)和MIDI信息合成為聲音,音頻卡的主要功能 錄制和播放聲音文件 對聲音文件進行編輯和合成 倒播、增加回音、淡入淡出、循環(huán)放音、交換聲道等 對數(shù)字聲音文件進行壓縮和解壓縮 MIDI音樂錄制和合成 利用計算機完成對外部電子樂器的操作和控制 文語轉換和語音識別 讓計算機朗讀文本和讓計算機聽懂聲音信息,聲卡的主要作用是對聲音信息進行錄制和回放 可支持的采樣頻率 8kHz,11.025kHz針對一般語音質(zhì)量的要求 16kHz,22.05kHz,32kHz針對普通音樂效果 44.10kHz,48kHz針對高保真音樂效果,5.1.3 語音識別和語音合成技術,語音識別技術 狹義語音識別：排除不同人的發(fā)音差異，提取代表語音的共性特征。 說話人語音識別：尋求說話者的個性特征以辨別說話人的身份。 最早的語音識別系統(tǒng)出現(xiàn)在1955年（Bell）。隨著識別技術的發(fā)展，一些研究機構相繼推出語音識別系統(tǒng)：IBM的Via Vioce系統(tǒng)；劍橋大學的HTK系統(tǒng)；微軟的Whisper系統(tǒng)等。,語音識別技術,預處理,特征提取,模式匹配,訓練,模式庫,語音輸入,識別結果,語音信息的采樣、反混疊帶通濾波、去除個體發(fā)音差異和去除設備環(huán)境引起的噪聲,完成語音中反映本 質(zhì)特征的聲學參數(shù),從原始語音樣本 中去除冗余信息,聚 類,按照一定的規(guī)則和專家知識計算輸入特征與庫存模式之間的相似程度，進而判斷輸入的語意信息,語音識別系統(tǒng)的分類 按可識別詞匯量的多少：100以下，100-1000，1000以上 按語音的輸入方式：孤立詞、連接詞、連續(xù)詞 按發(fā)音者類型：特定人、限定人、非特定人 按發(fā)音者的聲紋：根據(jù)語音識別說話人身份,語音合成技術,實現(xiàn)的方式 錄音/重放模式 利用數(shù)字信號處理技術，采用參數(shù)合成的方式來實現(xiàn)語音合成 語音合成的三個層次 從文本到語音 從概念到語音 從意向到語音,有限詞匯的計算機語音輸出 語音報時、公共汽車報站、叫號系統(tǒng) 基于語音合成技術的文語轉化（TTS） 除了完成文字到語音的映射外，還要完成對書面文字的理解以及對語音韻律的處理,文語轉換技術 有聲電子文檔、信息電話查詢系統(tǒng)、基于計算機的辦公教學娛樂多媒體軟件、嵌入式操作系統(tǒng)。 包括文本分析、韻律生成、語音合成 文本分析：使計算機認識文字、如何發(fā)音、用什么發(fā)音 韻律生成：生成發(fā)聲文本的韻律特征（聲調(diào)、停頓等） 語音合成：,1. 掃描儀,圖形、圖像等信息的主要輸入設備 分類 手動式、平板式、膠片式、滾筒式 SCSI接口、EPP增強型并行接口、通用串行總線USB接口 基本組件： 光源、光學透鏡 感光元件：CCD 模擬數(shù)字轉換電路,5.1.4 其他輸入輸出技術,技術指標 掃描精度：光學分辨率，300*600DPI 色彩深度：色彩精度，24bit/pixel,300DPI 掃描速度：將一頁文稿掃入計算機并完成相應處理總共需要的時間,2. 觸摸屏,采用坐標定位方式的輸入設備 使人可以基于自然的方式與計算機進行交互而無需鍵盤 系統(tǒng)組成 觸摸檢測裝置：檢測用戶觸摸位置 觸摸屏控制卡：接收檢測裝置傳來的信息并轉換成觸點信息送給主機 驅動程序,分類 紅外線觸摸屏 電阻觸摸屏 電容式觸摸屏 表明聲波觸摸屏 近場成像觸摸屏,5.1.5 多媒體存儲技術,多媒體存儲技術主要是指光盤存儲技術。大容量的媒體CD-ROM技術標準于1985年發(fā)布。 單機多媒體存儲的最初形式是人們非常熟悉的VCD VCD標準是圖像數(shù)據(jù)壓縮標準。采用MPEG-1壓縮技術，可以將74分鐘視頻音頻信息同時壓縮記錄在軌道上。視頻質(zhì)量比家用錄像帶略高，音質(zhì)與CD相當,DVD標準于1995年出臺， 專門用于存放以MPEG-2方式壓縮的視頻和音頻信息。其畫質(zhì)和音質(zhì)均優(yōu)于VCD。 DVD光盤可以容納133488分鐘的影片內(nèi)容，可以保存4.710GB的多媒體數(shù)據(jù)。 隨著多媒體數(shù)據(jù)內(nèi)容的不斷增加，以單一盤片的形式存儲數(shù)據(jù)遠不能滿足用戶的需求，于是出現(xiàn)了光盤庫、冗余磁盤陣列和多媒體數(shù)據(jù)庫的存儲方式。,多媒體信息存儲的特點,多媒體信息存在和表現(xiàn)的形式多樣 正文：包括文字和數(shù)據(jù) 向量圖形：圖元組成的圖形 位圖圖象 數(shù)字化聲音和高保真音響 數(shù)字化視頻 多媒體信息量大,為實現(xiàn)海量數(shù)據(jù)的存儲，對不同的數(shù)據(jù)應采用不同的存儲策略。 光盤庫是一種帶有自動換盤裝置的光盤存儲共享設備。一般由光盤架、自動換盤裝置、光盤驅動器組成。 一套光盤庫可有1-12臺驅動器，2-12個盤倉，每個盤倉可容50-600片光盤，總容量可達幾百GB甚至TGB。,2. 光盤庫,光盤庫通過SCSI接口與網(wǎng)絡服務器連接，通過自身接口與主機交換數(shù)據(jù)。 光盤庫的訪問過程： 自動換盤器將驅動器中的光盤取出放至盤架 然后將需要的光盤送入驅動器（秒級速度）,DVD光盤庫主要特點 高容量 檢索速度快，支持跨盤存取 高可靠性，壽命100年 與各系統(tǒng)無縫連接 安裝簡便，易于管理 應用 將DVD光盤庫作為在線存儲設備直接進行存儲 將光盤庫看作是數(shù)據(jù)歸檔的存儲設備（數(shù)據(jù)遷移軟件）,光盤庫的應用,通過單獨的高速光纖網(wǎng)絡將存儲設備和局域網(wǎng)上的服務器群連接起來，數(shù)據(jù)的存取通過存儲區(qū)域網(wǎng)在服務器和海量存儲設備間進行高速傳輸。 SAN以光纖通道為基礎實現(xiàn)了存儲設備的共享；服務器通過存儲網(wǎng)絡直接與存儲設備交換數(shù)據(jù)，釋放了寶貴的局域網(wǎng)資源。,3. 存儲區(qū)域網(wǎng)絡SAN,網(wǎng)絡結構：,實現(xiàn)大容量存儲設備的共享和高速數(shù)據(jù)傳輸 連接方便和遠距離傳輸 實現(xiàn)主機與存儲設備分離 提供數(shù)據(jù)的安全性和可靠性,SAN的特點,4. 多媒體數(shù)據(jù)庫MMDB,由若干個多媒體對象所構成的集合，這些對象按某種特定的方式組織起來并為其他的具體應用共享。 多媒體數(shù)據(jù)管理系統(tǒng)MMDBMS(Multimedia Database Management System)是以多媒體數(shù)據(jù)庫MMDB為基礎的且能完成對多媒體數(shù)據(jù)庫MMDB的各種操作和管理功能的多媒體應用系統(tǒng)。 由于多媒體數(shù)據(jù)自身的特點，如由多種媒體構成且數(shù)據(jù)量巨大、媒體數(shù)據(jù)間的不同約束關系、實時性的要求等，使得多媒體數(shù)據(jù)庫系統(tǒng)有別于傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)。,多媒體數(shù)據(jù)及其數(shù)據(jù)關系的復雜性，與傳統(tǒng)數(shù)據(jù)相比，多媒體數(shù)據(jù)對數(shù)據(jù)模型提出了更嚴格的要求。 多媒體數(shù)據(jù)模型要能夠有效抽象及表示多媒體數(shù)據(jù)庫的靜態(tài)和動態(tài)特征，模型的表示要比較簡潔靈活，要支持交互性，要能夠反映多媒體數(shù)據(jù)庫的一致性約束條件。 層次數(shù)據(jù)庫管理系統(tǒng)和網(wǎng)狀數(shù)據(jù)庫管理系統(tǒng)的共同缺點是不能支持數(shù)據(jù)的獨立性。不能用于多媒體數(shù)據(jù)庫。,關系模型是目前數(shù)據(jù)庫系統(tǒng)中最常用的數(shù)據(jù)模型之一。關系模型是建立在關系代數(shù)的基礎之上的，有較為嚴密的理論基礎，其數(shù)據(jù)結構簡潔明了、直觀清晰、易學易用。目前大多數(shù)數(shù)據(jù)庫管理系統(tǒng)產(chǎn)品均支持關系模型. 關系模型要想存儲多媒體數(shù)據(jù)，就需要進行擴充。 非第一范式NF2(Non First Normal Form)數(shù)據(jù)模型通過對關系模型的擴展來提高關系模型處理多媒體數(shù)據(jù)的能力。 隨著近年來面向對像技術的興起，面向對像技術在數(shù)據(jù)庫中的應用也日益顯現(xiàn)出其強大的生命力。這主要是由于面向對像模型能夠很好的描述復雜的事物對像，更好的維護復雜對像的語義信息。,多媒體數(shù)據(jù)庫的體系結構,多媒體數(shù)據(jù)庫管理系統(tǒng)MMDBMS的體系結構分為三層，即數(shù)據(jù)庫管理層、多媒體數(shù)據(jù)合成層和交互層。如下圖所示。,用 戶 界 面,超文本導航,多媒體查詢,媒體編輯,數(shù)據(jù)結構定義,多媒體數(shù)據(jù)的各種歸納關系 多媒體對象的合成信息 成分數(shù)據(jù)體得特征信息等,文本DBMS,圖像DBMS,音頻DBMS,視頻DBMS,文本記錄,圖像記錄,音頻記錄,視頻記錄,5.2 超媒體技術,超文本的概念,文本 邏輯單位：字、詞、句子、段落、節(jié)、章； 物理單位：字節(jié)、行、頁、冊、卷； 線性結構：組織上是線性的、順序的,人腦的記憶機制 聯(lián)想式的網(wǎng)狀結構； 對聯(lián)想、記憶的探索形成了人類思維概念化的基礎； 冬天結冰河魚婚禮； 文本無法管理這種互聯(lián)的網(wǎng)狀信息結構； 需要探索新的信息存儲和檢索機制；,超文本的概念,超文本（hypertext） 超越普通的文本； 采用非線性網(wǎng)狀結構組織信息塊； 按照文本內(nèi)部固有的獨立性和相關性劃分成不同的信息塊，即結點（node，節(jié)點）； 結點之間的自然關聯(lián)，用鏈連接成網(wǎng)； 鏈的起始結點稱為錨結點（anchor node）； 終止結點稱為目的結點。 類似人類聯(lián)想記憶結構,超文本的概念,超文本結構示例,超文本的概念,超文本的定義： 由信息結點和表示信息結點間相關性的鏈構成的一個具有一定邏輯結構和語音的網(wǎng)絡； 信息結點 管理的基本單位； 信息塊（字符文本集合），一定大小的顯示區(qū)域； 大小由實際情況決定；,超文本的概念,超文本系統(tǒng) 對超文本進行管理和使用的系統(tǒng)； 有以下特點： 用戶界面包括展示結點和鏈的形式； 給出網(wǎng)絡結構的動態(tài)總貌圖； 一般使用雙向鏈支持跨越各種網(wǎng)絡； 用戶可以動態(tài)的改變網(wǎng)絡中的結點和鏈； 盡可能通用，更多地強調(diào)其用戶界面的“視覺和感覺”,超文本系統(tǒng),超文本的發(fā)展歷史,概念產(chǎn)生時期(19451965) 20世紀30年代V.Bush提出Memex存儲器擴展設想，預言了文本的一種非線性結構；1939發(fā)表“As We May Think”； 1965年Tel Nelson創(chuàng)造“hypertext”一詞，命名非線性網(wǎng)絡文本為超文本，并開始計算機實現(xiàn)；,概念系統(tǒng)的研究時期(19671985) 1967年，布朗大學Andy van Dam等研制第一個可運行超文本系統(tǒng)The Hypertext Editing System; 1968年，Doug Engelbart在FJCC上演示NLS聯(lián)機系統(tǒng); 1968年，布朗大學推出FRESS（文件檢索與編輯系統(tǒng)）; 1975年，CMU推出ZOG(現(xiàn)為KMS，知識管理系統(tǒng)); 1978年，MIT建筑機械組推出第一個超媒體視頻盤片系統(tǒng)Aspen Movie Map；,超文本的發(fā)展歷史,成熟與發(fā)展時期(1985) 1985年，Janet Walker研制的Symbolics Document Examiner； 1985年，布朗大學推出Intermedia系統(tǒng)（Macintosh）； 1986年，OWL引入Guide,這，第一個廣泛應用的超文本； 1987年，Xerox公司推出Notecards，蘋果公司Bill Atkinson研制Hypercard； 1991年，美國Asymetrix公司推出ToolBook系統(tǒng)； 1990年，位于日內(nèi)瓦的歐洲量子物理實驗室CERN開發(fā)的運行于Internet的WWW系統(tǒng)，對人類社會產(chǎn)生深遠影響；,超文本的發(fā)展歷史,超文本的理論研究 1987年，ACM超文本專題討論會(Hypertext87)在北卡羅來納大學召開； 1989年，第一次超文本公開會議在英國召開； 1990年，第一屆歐洲超文本會議(ECOH)在法國Inria召開； ISO等國際組織制定了超文本方面的標準，推動其商品化發(fā)展。,超文本的發(fā)展歷史,超文本的主要成份,結點 大小可變； 內(nèi)容：文本、圖形、圖像、音頻、視頻、程序 表示方法各異； 基本類型： 媒體類結點（各種媒體結點） 動作與操作結點（按鈕結點，如傳真、后退等按鈕） 組織結點（索引結點、目錄結點） 推理結點（對象結點和規(guī)則結點） 用于輔助鏈的推理和計算,鏈 形式：從一個結點指向另一個結點的指針； 本質(zhì)：表示不同結點上存在著的信息的聯(lián)系； 作用：定義超文本結構并提供瀏覽探索結點的能力； 鏈可嵌入結點中，也可單獨存儲； 分類： 基本結構鏈實鏈 基本、交叉索引、結點內(nèi)注釋、縮放、全景、視圖 組織鏈、推理鏈 索引、IS-A、HAS-A、執(zhí)行 自動鏈接鏈和類型鏈,超文本的主要成份,分類： 基本結構鏈實鏈 基本鏈：建立節(jié)點間基本順序使信息在總體上呈現(xiàn)層次結構 交叉索引鏈：將節(jié)點連接成交叉的網(wǎng)狀結構，轉移、返回等 節(jié)點內(nèi)容注釋鏈：指向節(jié)點內(nèi)部附加注釋信息 組織鏈、推理鏈 用于節(jié)點的組織、遷移 自動鏈接鏈和類型鏈 自動鏈接可以完成對超媒體基于內(nèi)容的檢索,超文本的主要成份,超文本的主要成份,熱標確定信息關聯(lián)的鏈源，引起相關內(nèi)容的轉移 熱字：斜體或帶下劃，須事先定義 熱區(qū)：特殊敏感區(qū)域 熱元：將獨立的圖形單位作為信息轉移的鏈源 熱點：時基類媒體在時間軸上的觸發(fā)轉移 熱屬性：將關系數(shù)據(jù)庫中的屬性作為熱源,宏結點 鏈接在一起的結點群，就是超文本網(wǎng)絡的一部分子網(wǎng)； 可用于分層簡化網(wǎng)絡拓撲結構，但增加了管理和檢索的層次； 宏文本（mac