多媒體技術(shù)的形成和發(fā)展課件

1、多媒體技術(shù)基礎(chǔ) 第九章 多模態(tài)人機交互技術(shù) 從最早的手工操作到命令語言，再到廣泛使用的圖形用戶界面，操作的直觀性有了明顯的改善通過本章學(xué)習(xí)，可以了解（或掌握）多模態(tài)人機交互技術(shù)的概念科學(xué)計算可視化信息可視化虛擬現(xiàn)實技術(shù)9.1人機交互技術(shù)概述9.1基本概念 人機交互式研究人、計算機以及它們相互影響的技術(shù)。 人機界面是計算機與人之間通信和對話的接口，是計算機系統(tǒng)的重要組成部分。9.1.人機界面的發(fā)展歷史1.手工操作2.命令行界面3.圖形用戶界面WIMP界面，即以窗口、圖表、菜單和指點裝置為基礎(chǔ)的人機界面技術(shù)9.1.3人機交互的發(fā)展趨勢 目前，人機交互技術(shù)正朝著以人為中心，減少人機隔閡，建立和諧的人

2、機環(huán)境這一目標(biāo)發(fā)展。 多模態(tài)人機交互技術(shù)所涉及的研究范圍包括感知模型，語音識別，手寫識別，姿勢識別，表情識別，眼動跟蹤，自然語言理解，觸覺感知與表示，多模態(tài)通道信息融合，高性能視覺和聽覺處理平臺等。 1.采用多模態(tài)交互可以充分利用各種模態(tài)的特性，完成其在功能上的劃分和互補。2.使用多模態(tài)可以提高交互方式的靈活性。3.多模態(tài)并非多個模態(tài)的集合，而是它們之間的整合。也就是說，將手勢、語音與其他模態(tài)結(jié)合起來，采用具體的整合模型或算法，得到高一級的語義特性并且實現(xiàn)特定的應(yīng)用。 9.2.2多模態(tài)人機交互的特點1）使用多個感覺和動作模態(tài)2）三維的和直接操縱的要求3）允許模糊交互4）交互雙向性5）交互的隱含

3、性 它所要達到的目標(biāo)自然性、高效性和兼容性9.2.3多模態(tài)整合1.多模態(tài)整合實例1）手的運動軌跡跟蹤與語音識別的整合（1）手勢（2）直接操縱（3）用聲音輔助的手勢表達形狀2）語音識別與唇讀的整合3）其他9.3可視化 可視化是指充分利用人們對可是模式快速識別的自然能力，將數(shù)據(jù)信息和知識轉(zhuǎn)化為一種視覺形成的過程。 有效的可是畫界面使得人們能夠觀察、操縱、瀏覽、探索、過濾、發(fā)現(xiàn)、理解大規(guī)模數(shù)據(jù)能夠方便的與之進行交互，從而可以有效地發(fā)現(xiàn)隱藏在內(nèi)部的特征和規(guī)律。9.3.1科學(xué)計算可視化 科學(xué)計算可視化是指運用計算機圖形學(xué)和圖像處理技術(shù)，將科學(xué)計算過程中及計算結(jié)果的數(shù)據(jù)轉(zhuǎn)換為圖像及圖像在屏幕上顯示出來，進

4、行交互處理的理論、方法和技術(shù)。 科學(xué)計算可視化技術(shù)的主要特點歸納為如下三點。交互性、多維性和可視性。9.3.2信息可視化 目前可視化在以下四個方面發(fā)揮著重要作用：1）層次信息的可視化2）多位信息可視化3）文檔（文本）信息可視化4）Web可視化9.4虛擬現(xiàn)實 虛擬現(xiàn)實（VR,Virtual Reality）是一計算機技術(shù)為核心構(gòu)造的一個虛擬的世界，但在人們的感覺中，他卻好像真實的世界一樣。9.4.1虛擬現(xiàn)實技術(shù)的基本概念 通常是指用頭盔顯示器和傳感手套等一系列新型交互設(shè)備構(gòu)造的一種計算機軟硬件環(huán)境。人們通過這些設(shè)施以自然的技能向計算機傳送各種命令，得到計算機對用戶的視覺、聽覺及觸覺等多種感官的反饋。隨著人們動作的變化，這些感官也隨之改變。9.4.2虛擬現(xiàn)實的特性 三個 “I” 這就是沉浸Immersion、交互Interaction和想象Imagination。 首先，要是參與者有真實的體驗。 第二，系統(tǒng)要能提供方便的，豐富的，主要是基于自然技能的人機交互手段。 第三，因為虛擬現(xiàn)實不僅僅是一種媒體或用戶的高端接口，而且還是針對某個特定領(lǐng)域、解決某些問題的應(yīng)用。9.4.3虛擬現(xiàn)實系統(tǒng)的分類1.非沉浸類虛擬現(xiàn)實系統(tǒng)1）全景視頻系統(tǒng)2）基于座艙的系統(tǒng)3）桌面虛擬現(xiàn)實CAD