多媒體人機(jī)交互技術(shù)

1、http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人

2、機(jī)交互技術(shù)第第1 1頁頁/ /共共4141頁頁主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第2 2頁頁/ /共共4141頁頁本章導(dǎo)讀本章導(dǎo)讀 從多媒體技術(shù)的角度看，人機(jī)交互技術(shù)是在計(jì)算機(jī)具備從多媒體技術(shù)的角度看，人機(jī)交互技術(shù)是在計(jì)算機(jī)具備處理聲音、圖像、視頻等多種媒體信息能力的基礎(chǔ)上發(fā)展起處理聲音、圖像、視頻等多種媒體信息能力的基礎(chǔ)上發(fā)展起來的，是多媒體技術(shù)的不同應(yīng)用。另一方面，人機(jī)交互技術(shù)來的，是多媒體技術(shù)的不同應(yīng)用。另一方面，人機(jī)交互技術(shù)的研究又促進(jìn)了多媒體技術(shù)的快速發(fā)展，充分表現(xiàn)了多媒體的研究又促進(jìn)了多媒體技術(shù)的快速發(fā)展，充分表現(xiàn)了多媒體技術(shù)的交互性。

3、技術(shù)的交互性。本章將從多媒體信息處理的角度，簡單介紹本章將從多媒體信息處理的角度，簡單介紹目前已經(jīng)廣泛應(yīng)用的幾種典型的人機(jī)交互技術(shù)目前已經(jīng)廣泛應(yīng)用的幾種典型的人機(jī)交互技術(shù)，如觸摸技術(shù)、，如觸摸技術(shù)、手寫識別技術(shù)、語音識別與合成技術(shù)、虛擬現(xiàn)實(shí)技術(shù)等。同手寫識別技術(shù)、語音識別與合成技術(shù)、虛擬現(xiàn)實(shí)技術(shù)等。同時，還將介紹基于多媒體技術(shù)的人機(jī)交互界面的發(fā)展方向。時，還將介紹基于多媒體技術(shù)的人機(jī)交互界面的發(fā)展方向。 http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg-

4、 http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第3 3頁頁/ /共共4141頁頁本章主要內(nèi)容本章主要內(nèi)容12.1 12.1 人機(jī)交互技術(shù)概述人機(jī)交互技術(shù)概述 12.2 12.2 觸摸屏技術(shù)觸摸屏技術(shù) 12.3 OCR12.3

5、OCR與手寫識別技術(shù)與手寫識別技術(shù) 12.4 12.4 語音識別技術(shù)語音識別技術(shù) 12.5 12.5 語音合成技術(shù)語音合成技術(shù) 12.6 12.6 虛擬現(xiàn)實(shí)技術(shù)虛擬現(xiàn)實(shí)技術(shù) http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/

6、 http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第4 4頁頁/ /共共4141頁頁12.112.1人機(jī)交互技術(shù)概述人機(jī)交互技術(shù)概述12.1.1 12.1.1 人機(jī)交互簡介人機(jī)交互簡介 人機(jī)交互人機(jī)交互（ Computer Human InteractionComputer Human Interaction，CHICHI）也稱）也稱HCIHCI（Human Computer InteractionHuman Computer Interaction），），是

7、研究人、計(jì)算機(jī)及是研究人、計(jì)算機(jī)及其相互影響的技術(shù)其相互影響的技術(shù)，其核心是人機(jī)界面，它是計(jì)算機(jī)與人之間，其核心是人機(jī)界面，它是計(jì)算機(jī)與人之間通信和對話的接口，是計(jì)算機(jī)系統(tǒng)的重要組成部分。通信和對話的接口，是計(jì)算機(jī)系統(tǒng)的重要組成部分。 人機(jī)交互技術(shù)是指通過計(jì)算機(jī)系統(tǒng)的輸入人機(jī)交互技術(shù)是指通過計(jì)算機(jī)系統(tǒng)的輸入/ /輸出設(shè)備，以輸出設(shè)備，以有效的方式實(shí)現(xiàn)人與計(jì)算機(jī)系統(tǒng)之間信息交流的技術(shù)。有效的方式實(shí)現(xiàn)人與計(jì)算機(jī)系統(tǒng)之間信息交流的技術(shù)。 目前，人們已經(jīng)能夠與計(jì)算機(jī)系統(tǒng)較為方便地進(jìn)行交互，目前，人們已經(jīng)能夠與計(jì)算機(jī)系統(tǒng)較為方便地進(jìn)行交互，具體應(yīng)用的交互技術(shù)有具體應(yīng)用的交互技術(shù)有鍵盤交互、手寫文字交互、

8、語音交互、鍵盤交互、手寫文字交互、語音交互、圖像與視頻交互、多語言交互、虛擬現(xiàn)實(shí)系統(tǒng)中的交互圖像與視頻交互、多語言交互、虛擬現(xiàn)實(shí)系統(tǒng)中的交互等。等。 http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http

9、:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第5 5頁頁/ /共共4141頁頁12.1.2 12.1.2 多模態(tài)人機(jī)交互多模態(tài)人機(jī)交互1 1、模態(tài)、模態(tài) 是心理學(xué)領(lǐng)域中的一個標(biāo)準(zhǔn)術(shù)語，指感知信息的感覺，是心理學(xué)領(lǐng)域中的一個標(biāo)準(zhǔn)術(shù)語，指感知信息的感覺，也就是感覺模態(tài)。也就是感覺模態(tài)。 2 2、多模態(tài)人機(jī)交互、多模態(tài)人機(jī)交互 多模態(tài)（多模態(tài)（MultimodalityMultimodality）人機(jī)交互，就是基于智能接口）人機(jī)交互，就是基于智能接口技術(shù)，充分利用人的多種感知通道，技

10、術(shù)，充分利用人的多種感知通道，以并行的、非精確的方以并行的、非精確的方式與計(jì)算機(jī)系統(tǒng)進(jìn)行交互，旨在提高人機(jī)交互的自然性和高式與計(jì)算機(jī)系統(tǒng)進(jìn)行交互，旨在提高人機(jī)交互的自然性和高效性效性。http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ h

11、ttp:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第6 6頁頁/ /共共4141頁頁3 3、多模態(tài)人機(jī)交互的研究內(nèi)容、多模態(tài)人機(jī)交互的研究內(nèi)容 1 1）語音識別、）語音識別、2) 2) 理解及合成、理解及合成、3 3）手勢識別技術(shù)、）手勢識別技術(shù)、4 4）人臉的研究、）人臉的研究、5 5）唇讀的研究、）唇讀的研究、6 6）人體動作的研究。）人體動作的研究。 http:/ http:/ http:/ http:/ http:/ http:/ http:

12、/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第7 7頁頁/ /共共4141頁頁4 4、多模態(tài)人機(jī)交互的基本特點(diǎn)、多模態(tài)人機(jī)交互

13、的基本特點(diǎn) 1 1）使用多個感覺和動作模態(tài)；）使用多個感覺和動作模態(tài)； 2 2）三維的和直接操縱的要求；）三維的和直接操縱的要求； 3 3）允許模糊交互；）允許模糊交互； 4 4）交互雙向性；）交互雙向性； 5 5）交互的隱含性；）交互的隱含性；http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/

14、www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第8 8頁頁/ /共共4141頁頁12.1.3 12.1.3 可視化可視化 可視化是指充分利用人們對可視模式快速識別的自然能可視化是指充分利用人們對可視模式快速識別的自然能力，將數(shù)據(jù)信息和知識轉(zhuǎn)化為一種視覺形成的過程。力，將數(shù)據(jù)信息和知識轉(zhuǎn)化為一種視覺形成的過程?？梢暬僮鬟^程可視化操作過程可視化科學(xué)計(jì)算可視化科學(xué)計(jì)算可視化信息可視化信息可

15、視化 利用計(jì)算機(jī)圖形學(xué)和圖像處理利用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，技術(shù)，將科學(xué)計(jì)算過程中（包括計(jì)將科學(xué)計(jì)算過程中（包括計(jì)算結(jié)果）的數(shù)據(jù)轉(zhuǎn)換為圖形或圖像算結(jié)果）的數(shù)據(jù)轉(zhuǎn)換為圖形或圖像在屏幕上顯示出來，進(jìn)行交互處理在屏幕上顯示出來，進(jìn)行交互處理的理論、方法和技術(shù)。的理論、方法和技術(shù)。 層次信息可視化層次信息可視化多位信息可視化多位信息可視化文檔（文本）信息可視化文檔（文本）信息可視化 WebWeb可視化可視化 現(xiàn)代操作系統(tǒng)提供人機(jī)交現(xiàn)代操作系統(tǒng)提供人機(jī)交互環(huán)境的基本要求，它通過互環(huán)境的基本要求，它通過GUIGUI技術(shù)來實(shí)現(xiàn)技術(shù)來實(shí)現(xiàn) http:/ http:/ http:/ http:/ http:

16、/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第9 9頁頁/ /共共4141頁頁12.1.4 12.

17、1.4 新型人機(jī)界面的主要特征新型人機(jī)界面的主要特征1 1）人性化）人性化 2 2）自然化）自然化 3 3）智能化）智能化4 4）高帶寬）高帶寬 5 5）不限制地點(diǎn)）不限制地點(diǎn) 6 6）圖示編程）圖示編程 (a) (a) 交互墻交互墻(b) (b) 交互桌交互桌(c) (c) 交互椅交互椅圖圖12-1 12-1 物面用戶接口舉例物面用戶接口舉例http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/ww

18、w.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第1010頁頁/ /共共4141頁頁12.212.2觸摸屏技術(shù)觸摸屏技術(shù)12.2.1 12.2.1 觸摸屏簡介觸摸屏簡介 觸摸屏是一種定位裝置，安裝在顯示屏幕前面，它的觸摸屏是一種定位裝置，安裝在顯示屏幕前面，它的功能是報告手指（或物體）觸摸

19、到屏幕的位置。用戶可以功能是報告手指（或物體）觸摸到屏幕的位置。用戶可以直接用手指觸摸屏幕以實(shí)現(xiàn)與計(jì)算機(jī)的交互。直接用手指觸摸屏幕以實(shí)現(xiàn)與計(jì)算機(jī)的交互。 工作過程工作過程：手指或其他物體觸摸觸摸屏：手指或其他物體觸摸觸摸屏 觸摸觸摸屏控制器檢測位置（以坐標(biāo)形式）屏控制器檢測位置（以坐標(biāo)形式） 通過計(jì)算機(jī)接口通過計(jì)算機(jī)接口送到送到CPUCPU確定用戶所輸入的信息。確定用戶所輸入的信息。 觸摸屏具有界面直觀，操作簡單，觸摸屏具有界面直觀，操作簡單，“伸手即得伸手即得”的優(yōu)的優(yōu)點(diǎn)，大大改善了人與計(jì)算機(jī)的交互方式。點(diǎn)，大大改善了人與計(jì)算機(jī)的交互方式。 主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人

20、機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第1111頁頁/ /共共4141頁頁l觸摸屏是一種定位裝置，安裝在顯示屏幕前面，它的功觸摸屏是一種定位裝置，安裝在顯示屏幕前面，它的功能是報告手指（或物體）觸摸到屏幕的位置；能是報告手指（或物體）觸摸到屏幕的位置；l用戶可以直接用手指觸摸屏幕以實(shí)現(xiàn)與計(jì)算機(jī)的交互；用戶可以直接用手指觸摸屏幕以實(shí)現(xiàn)與計(jì)算機(jī)的交互； l工作過程：手指或其他物體觸摸觸摸屏，觸摸屏控制器工作過程：手指或其他物體觸摸觸摸屏，觸摸屏控制器檢測位置（以坐標(biāo)形式），通過計(jì)算機(jī)接口送到檢測位置（以坐標(biāo)形式），通過計(jì)算機(jī)接口送到CPUCPU，以確定用戶所輸入的信息。以確定用戶所輸入的信息。l觸摸屏具有

21、界面直觀，操作簡單，觸摸屏具有界面直觀，操作簡單，“伸手即得伸手即得”的優(yōu)點(diǎn)，的優(yōu)點(diǎn)，大大改善了人與計(jì)算機(jī)的交互方式。大大改善了人與計(jì)算機(jī)的交互方式。12.212.2觸摸屏技術(shù)觸摸屏技術(shù)12.2.1 12.2.1 觸摸屏簡介觸摸屏簡介主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第1212頁頁/ /共共4141頁頁12.2.2 12.2.2 觸摸屏的主要類型觸摸屏的主要類型l矢量壓力傳感技術(shù)觸摸屏矢量壓力傳感技術(shù)觸摸屏l電阻技術(shù)觸摸屏電阻技術(shù)觸摸屏l電容技術(shù)觸摸屏電容技術(shù)觸摸屏l紅外線技術(shù)觸摸屏紅外線技術(shù)觸摸屏l表面聲波技術(shù)觸摸屏表面聲波技術(shù)觸摸屏 等五種類型

22、。等五種類型。其中矢量壓力傳感技術(shù)觸摸屏已經(jīng)被淘汰。其中矢量壓力傳感技術(shù)觸摸屏已經(jīng)被淘汰。依據(jù)所采用的技術(shù)原理，觸摸屏可分為：依據(jù)所采用的技術(shù)原理，觸摸屏可分為：http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:

23、/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第1313頁頁/ /共共4141頁頁1 1、電阻式觸摸屏、電阻式觸摸屏 如右圖，當(dāng)手指接觸屏幕，如右圖，當(dāng)手指接觸屏幕，兩層兩層 OTIOTI導(dǎo)電層出現(xiàn)一個接觸導(dǎo)電層出現(xiàn)一個接觸點(diǎn)，因其中一面導(dǎo)電層接通點(diǎn)，因其中一面導(dǎo)電層接通Y Y軸軸方向的方向的5V5V均勻電壓場，使得偵均勻電壓場，使得偵測層的電壓由零變?yōu)榉橇?，控測層的電壓由零變?yōu)榉橇悖刂破鱾蓽y到這個接通后，進(jìn)行制器偵測到這個接通后，進(jìn)行A/DA/D轉(zhuǎn)換，并將得到的電

24、壓值與轉(zhuǎn)換，并將得到的電壓值與5V5V相比，即可得觸摸點(diǎn)的相比，即可得觸摸點(diǎn)的Y Y軸坐軸坐標(biāo)，同理得出標(biāo)，同理得出X X軸的坐標(biāo)。從而軸的坐標(biāo)。從而實(shí)現(xiàn)屏幕定位。實(shí)現(xiàn)屏幕定位。圖12-2 電阻式觸摸屏 http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:

25、/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第1414頁頁/ /共共4141頁頁2 2、電容式觸摸屏、電容式觸摸屏 如右圖，用戶觸摸屏如右圖，用戶觸摸屏幕時，由于人體電場，手指幕時，由于人體電場，手指與導(dǎo)體層間會形成一個耦合與導(dǎo)體層間會形成一個耦合電容，四邊電極發(fā)出的電流電容，四邊電極發(fā)出的電流會流向觸點(diǎn)，而電流強(qiáng)弱與會流向觸點(diǎn)，而電流強(qiáng)弱與手指到電極的距離成正比，手指到電極的距離成正比，位于觸摸屏幕后的控制器便位于觸摸屏幕

26、后的控制器便會計(jì)算電流的比例及強(qiáng)弱，會計(jì)算電流的比例及強(qiáng)弱，準(zhǔn)確算出觸摸點(diǎn)的位置。準(zhǔn)確算出觸摸點(diǎn)的位置。 圖12-3 電容式觸摸屏 http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xun

27、chi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第1515頁頁/ /共共4141頁頁3 3、紅外線式觸摸屏、紅外線式觸摸屏 紅外線觸摸屏由裝在觸摸屏外框上的紅外線發(fā)射與接紅外線觸摸屏由裝在觸摸屏外框上的紅外線發(fā)射與接收感測元件構(gòu)成，在屏幕表面上，形成紅外線探測網(wǎng)，任收感測元件構(gòu)成，在屏幕表面上，形成紅外線探測網(wǎng)，任何觸摸物體可改變觸點(diǎn)上的紅外線而實(shí)現(xiàn)觸摸屏操作。何觸摸物體可改變觸點(diǎn)上的紅外線而實(shí)現(xiàn)觸摸屏操作。 具體實(shí)現(xiàn)：在顯示器上加上光點(diǎn)距離框，光點(diǎn)距離框具體實(shí)現(xiàn)：在顯示器上加上光點(diǎn)距離框，光點(diǎn)距離

28、框的四邊排列了紅外線發(fā)射管及接收管，在屏幕表面形成一的四邊排列了紅外線發(fā)射管及接收管，在屏幕表面形成一個紅外線網(wǎng)（如圖個紅外線網(wǎng)（如圖11-411-4所示）。所示）。 當(dāng)手指觸摸屏幕某一點(diǎn)當(dāng)手指觸摸屏幕某一點(diǎn)時，便會擋住經(jīng)過該位置的時，便會擋住經(jīng)過該位置的橫豎兩條紅外線，計(jì)算機(jī)便橫豎兩條紅外線，計(jì)算機(jī)便可即時算出觸摸點(diǎn)位置?？杉磿r算出觸摸點(diǎn)位置。圖12-4 紅外線觸摸屏 http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- h

29、ttp:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第1616頁頁/ /共共4141頁頁4 4、表面聲波觸摸屏、表面聲波觸摸屏 表面聲波觸摸屏由觸摸屏、聲波發(fā)生器、反射器和聲波表面聲波觸摸屏由觸摸屏、聲波發(fā)生器、反射器和聲波接收器組成，其中聲波發(fā)生器能發(fā)送一種高頻聲

30、波跨越屏幕接收器組成，其中聲波發(fā)生器能發(fā)送一種高頻聲波跨越屏幕表面，當(dāng)手指觸及屏幕時，觸點(diǎn)上的聲波即被阻止，由此確表面，當(dāng)手指觸及屏幕時，觸點(diǎn)上的聲波即被阻止，由此確定坐標(biāo)位置。定坐標(biāo)位置。圖12-5 表面聲波觸摸屏 http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:

31、/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第1717頁頁/ /共共4141頁頁12.2.3 12.2.3 觸摸屏的基本技術(shù)特性觸摸屏的基本技術(shù)特性 觸摸屏通常應(yīng)具備以下三個基本技術(shù)特性：觸摸屏通常應(yīng)具備以下三個基本技術(shù)特性： 1 1、透明性能、透明性能 2 2、絕對坐標(biāo)系統(tǒng)、絕對坐標(biāo)系統(tǒng) 3 3、檢測與定位、檢測與定位http:/ http:/ http:/ http:/ http:/ http:/ http

32、:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第1818頁頁/ /共共4141頁頁12.3 OCR12.3 OCR與手寫識別技

33、術(shù)與手寫識別技術(shù)12.3.1 OCR12.3.1 OCR識別技術(shù)識別技術(shù) OCR OCR（Optical Character RecognitionOptical Character Recognition，光學(xué)字符，光學(xué)字符識別）技術(shù)，識別）技術(shù)，是通過掃描等光學(xué)輸入方式將文字轉(zhuǎn)化為是通過掃描等光學(xué)輸入方式將文字轉(zhuǎn)化為圖像信息，再利用文字識別技術(shù)將圖像信息轉(zhuǎn)化為可編圖像信息，再利用文字識別技術(shù)將圖像信息轉(zhuǎn)化為可編輯的文本信息的計(jì)算機(jī)輸入技術(shù)輯的文本信息的計(jì)算機(jī)輸入技術(shù)。廣泛應(yīng)用于大量文字。廣泛應(yīng)用于大量文字資料、票據(jù)、檔案卷宗、文案的錄入和處理等領(lǐng)域。相資料、票據(jù)、檔案卷宗、文案的錄入和處理

34、等領(lǐng)域。相對一般文本，通常以最終識別率、識別速度、版面理解對一般文本，通常以最終識別率、識別速度、版面理解正確率及版面還原滿意度正確率及版面還原滿意度4 4個方面作為個方面作為OCROCR技術(shù)的評測依技術(shù)的評測依據(jù)；而相對于表格及票據(jù)，據(jù)；而相對于表格及票據(jù)， 通常以識別率或整張通過率通常以識別率或整張通過率及識別速度為測定及識別速度為測定OCROCR技術(shù)的實(shí)用標(biāo)準(zhǔn)技術(shù)的實(shí)用標(biāo)準(zhǔn)。 http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.

35、skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第1919頁頁/ /共共4141頁頁 OCROCR的基本工作過程分為的基本工作過程分為圖文掃描、預(yù)處理、單字識圖文掃描、預(yù)處理、單字識別、后處理以及文檔輸出別、后處理以及文檔輸出等五個環(huán)節(jié)，如圖等五個環(huán)

36、節(jié)，如圖12-612-6所示。所示。 圖12-6 OCR的基本工作原理示意 http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ ht

37、tp:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第2020頁頁/ /共共4141頁頁12.3.2 12.3.2 手寫識別技術(shù)手寫識別技術(shù) 手寫識別通過手寫識別通過提取手寫內(nèi)容的結(jié)構(gòu)特征來分割和識別字提取手寫內(nèi)容的結(jié)構(gòu)特征來分割和識別字符符，從而達(dá)到手寫輸入的目的。，從而達(dá)到手寫輸入的目的。1 1、手寫輸入、手寫輸入 手寫輸入是把要輸入的字符寫在一塊叫書寫板的數(shù)字手寫輸入是把要輸入的字符寫在一塊叫書寫板的數(shù)字化設(shè)備上，這種設(shè)備將筆尖走過的軌跡按時間采樣后發(fā)送化設(shè)備上，這種設(shè)備將筆尖走過的軌跡按時間采樣后發(fā)送到計(jì)算機(jī)中，通過手寫識別技術(shù)，將手寫內(nèi)容識別成相應(yīng)

38、到計(jì)算機(jī)中，通過手寫識別技術(shù)，將手寫內(nèi)容識別成相應(yīng)的字符內(nèi)容（如漢字、數(shù)字、字母等），從而達(dá)到手寫輸?shù)淖址麅?nèi)容（如漢字、數(shù)字、字母等），從而達(dá)到手寫輸入的目的。入的目的。http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ h

39、ttp:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第2121頁頁/ /共共4141頁頁2 2、手寫識別、手寫識別 就漢字識別而言，其方法基本上分為就漢字識別而言，其方法基本上分為統(tǒng)計(jì)識別統(tǒng)計(jì)識別、結(jié)構(gòu)識別結(jié)構(gòu)識別以及以及神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)方法等幾大類。大量的聯(lián)機(jī)方法等幾大類。大量的聯(lián)機(jī)手寫識別系統(tǒng)采用的都是結(jié)構(gòu)識別方法。手寫識別系統(tǒng)采用的都是結(jié)構(gòu)識別方法。 結(jié)構(gòu)識別方法：結(jié)構(gòu)識別方法： 其出發(fā)點(diǎn)是漢字的組成結(jié)構(gòu)，從漢字的構(gòu)成上講，漢其出發(fā)點(diǎn)是漢字的組成結(jié)構(gòu)，從漢字的

40、構(gòu)成上講，漢字是由筆劃字是由筆劃( (點(diǎn)、橫、豎、撇、捺等點(diǎn)、橫、豎、撇、捺等) )、偏旁、部首構(gòu)成，、偏旁、部首構(gòu)成，通過把復(fù)雜的漢字模式分解為簡單的子模式直至基本模式通過把復(fù)雜的漢字模式分解為簡單的子模式直至基本模式元素，對子模式的判定，以及基于符號運(yùn)算的匹配算法，元素，對子模式的判定，以及基于符號運(yùn)算的匹配算法，達(dá)到對復(fù)雜模式的識別達(dá)到對復(fù)雜模式的識別。 http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/

41、 http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第2222頁頁/ /共共4141頁頁3 3、影響識別率的因素、影響識別率的因素目前影響識別率的因素主要有以下幾個方面：目前影響識別率的因素主要有以下幾個方面： 1 1）筆順問題）筆順問題 2 2）連筆問題）連筆問題 3 3）

42、相似字區(qū)分）相似字區(qū)分 4 4）對抗干擾能力的要求）對抗干擾能力的要求http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:

43、/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第2323頁頁/ /共共4141頁頁12.4 12.4 語音識別技術(shù)語音識別技術(shù)12.4.1 12.4.1 語音識別技術(shù)簡介語音識別技術(shù)簡介 語音識別（語音識別（ASR ASR ：Automatic Speech RecognitionAutomatic Speech Recognition）技術(shù)，技術(shù)，是指通過計(jì)算機(jī)的識別和理解過程，將語音信號轉(zhuǎn)是指通過計(jì)算機(jī)的識別和理解過程，將語音信號轉(zhuǎn)換為相應(yīng)的文字信息，從而識別說話人的語音指令以及文換為相應(yīng)的文字信息，從而識別說話人的語音指令以及文字內(nèi)容的技術(shù)字內(nèi)容的技術(shù)

44、。 語音識別是一個多學(xué)科交叉的研究領(lǐng)域，涉及語言學(xué)、語音識別是一個多學(xué)科交叉的研究領(lǐng)域，涉及語言學(xué)、認(rèn)知科學(xué)以及計(jì)算機(jī)科學(xué)等多個學(xué)科。認(rèn)知科學(xué)以及計(jì)算機(jī)科學(xué)等多個學(xué)科。 語音識別技術(shù)與語音合成技術(shù)的結(jié)合，使人和計(jì)算機(jī)語音識別技術(shù)與語音合成技術(shù)的結(jié)合，使人和計(jì)算機(jī)之間能夠?qū)崿F(xiàn)雙向語言交流，擺脫鍵盤對人機(jī)交互方式的之間能夠?qū)崿F(xiàn)雙向語言交流，擺脫鍵盤對人機(jī)交互方式的束縛。束縛。 主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第2424頁頁/ /共共4141頁頁12.4.2 12.4.2 語音識別的技術(shù)原理語音識別的技術(shù)原理l語音特征提取語音特征提取：其目的是從語音波

45、形中提取出隨時間變化：其目的是從語音波形中提取出隨時間變化的語音特征序列。的語音特征序列。 l聲學(xué)模型與模式匹配（識別算法）聲學(xué)模型與模式匹配（識別算法）：聲學(xué)模型通常通過學(xué)：聲學(xué)模型通常通過學(xué)習(xí)算法來獲取語音特征。在識別時將輸入的語音特征同聲習(xí)算法來獲取語音特征。在識別時將輸入的語音特征同聲學(xué)模型進(jìn)行匹配與比較，得到最佳的識別結(jié)果。學(xué)模型進(jìn)行匹配與比較，得到最佳的識別結(jié)果。 l語言模型與語言處理：語言模型與語言處理：語言模型包括由識別語音命令構(gòu)成語言模型包括由識別語音命令構(gòu)成的語法網(wǎng)絡(luò)或由統(tǒng)計(jì)方法構(gòu)成的語言模型，語言處理可以的語法網(wǎng)絡(luò)或由統(tǒng)計(jì)方法構(gòu)成的語言模型，語言處理可以進(jìn)行語法、語義分析

46、。對小詞表語音識別系統(tǒng)，往往不需進(jìn)行語法、語義分析。對小詞表語音識別系統(tǒng)，往往不需要語言處理部分。要語言處理部分。 計(jì)算機(jī)的語音識別過程與人對語音的識別處理過程基本計(jì)算機(jī)的語音識別過程與人對語音的識別處理過程基本上是一致的。目前主流的語音識別技術(shù)是建立在統(tǒng)計(jì)模式識上是一致的。目前主流的語音識別技術(shù)是建立在統(tǒng)計(jì)模式識別基本理論之上的，其語音識別系統(tǒng)可大致分為三部分：別基本理論之上的，其語音識別系統(tǒng)可大致分為三部分： http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/ww

47、w.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第2525頁頁/ /共共4141頁頁12.5 12.5 語音合成技術(shù)語音合成技術(shù)12.5.1 12.5.1 語音合成技術(shù)簡介語音合成技術(shù)簡介 語音合成（語音合成（Spee

48、ch synthesisSpeech synthesis，或，或Text To SpeechText To Speech）技術(shù)，是指技術(shù)，是指將文本信息轉(zhuǎn)變?yōu)檎Z音數(shù)據(jù)，再以語音的方式將文本信息轉(zhuǎn)變?yōu)檎Z音數(shù)據(jù)，再以語音的方式播放出來的技術(shù)播放出來的技術(shù)，通常被簡稱為，通常被簡稱為TTSTTS技術(shù)。一個典型的語音技術(shù)。一個典型的語音合成系統(tǒng)可分為合成系統(tǒng)可分為文本分析、韻律建模和語音合成文本分析、韻律建模和語音合成三大模塊，三大模塊，主要功能主要功能是：是：根據(jù)韻律建模的結(jié)果，從原始語音庫中取出根據(jù)韻律建模的結(jié)果，從原始語音庫中取出相應(yīng)的語音基元，利用特定的語音合成技術(shù)對語音基元進(jìn)相應(yīng)的語音基元，

49、利用特定的語音合成技術(shù)對語音基元進(jìn)行韻律特性的調(diào)整和修改，最終合成出符合要求的語音行韻律特性的調(diào)整和修改，最終合成出符合要求的語音。http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xun

50、chi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第2626頁頁/ /共共4141頁頁12.5.2 12.5.2 語音合成的技術(shù)方法語音合成的技術(shù)方法 語音合成（讓計(jì)算機(jī)說話）的基本思路有兩種：一種是語音合成（讓計(jì)算機(jī)說話）的基本思路有兩種：一種是參數(shù)模擬合成，參數(shù)模擬合成，一種是一種是波形拼接合成波形拼接合成。 參數(shù)模擬合成參數(shù)模擬合成: :是采用數(shù)字信號處理的方法，將人類發(fā)聲是采用數(shù)字信號處理的方法，將人類發(fā)聲過程看作是一個模擬聲門狀態(tài)的源，去激勵一個表征聲道諧過程看作是一個模擬聲門狀態(tài)的源，去激

51、勵一個表征聲道諧振特性的時變數(shù)字濾波器。振特性的時變數(shù)字濾波器。 波形拼接合成波形拼接合成: :是將要合成的語音信息分割成大量不同的是將要合成的語音信息分割成大量不同的語音信息元，并以數(shù)字形式存儲，合成時根據(jù)具體內(nèi)容和要語音信息元，并以數(shù)字形式存儲，合成時根據(jù)具體內(nèi)容和要求，選擇適當(dāng)?shù)恼Z音信息元進(jìn)行拼接，從而形成所需的語音求，選擇適當(dāng)?shù)恼Z音信息元進(jìn)行拼接，從而形成所需的語音信息。信息。http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www

52、.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第2727頁頁/ /共共4141頁頁12.5.3 12.5.3 語音合成技術(shù)的應(yīng)用與發(fā)展方向語音合成技術(shù)的應(yīng)用與發(fā)展方向 語音合成技術(shù)可廣泛應(yīng)用于語音合成技術(shù)可廣泛應(yīng)用于語音數(shù)據(jù)查詢、語音提示、語音數(shù)

53、據(jù)查詢、語音提示、電話銀行、語音信箱、語音郵件、語音新聞發(fā)布、語音廣播電話銀行、語音信箱、語音郵件、語音新聞發(fā)布、語音廣播等各類語音業(yè)務(wù)等各類語音業(yè)務(wù)，提供更加人性化的人機(jī)交互方式。，提供更加人性化的人機(jī)交互方式。 語音合成技術(shù)的發(fā)展方向：語音合成技術(shù)的發(fā)展方向： 1) 1) 提高合成語音的自然度提高合成語音的自然度 2) 2) 豐富合成語音的表現(xiàn)力豐富合成語音的表現(xiàn)力 3) 3) 降低語音合成技術(shù)的復(fù)雜度降低語音合成技術(shù)的復(fù)雜度 4) 4) 多語種文語合成多語種文語合成主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第2828頁頁/ /共共4141頁頁12.6

54、 虛擬現(xiàn)實(shí)技術(shù)虛擬現(xiàn)實(shí)技術(shù) 12.6.1 12.6.1 虛擬現(xiàn)實(shí)技術(shù)簡介虛擬現(xiàn)實(shí)技術(shù)簡介l虛擬現(xiàn)實(shí)（虛擬現(xiàn)實(shí)（Virtual RealityVirtual Reality）是）是利用計(jì)算機(jī)生成一種模利用計(jì)算機(jī)生成一種模擬環(huán)境，通過多種傳感設(shè)備使用戶擬環(huán)境，通過多種傳感設(shè)備使用戶“投入投入”到該環(huán)境中，到該環(huán)境中，實(shí)現(xiàn)用戶與該環(huán)境直接進(jìn)行自然交互的技術(shù)實(shí)現(xiàn)用戶與該環(huán)境直接進(jìn)行自然交互的技術(shù)。l虛擬現(xiàn)實(shí)技術(shù)的研究內(nèi)容涉及到人工智能、計(jì)算機(jī)科學(xué)、虛擬現(xiàn)實(shí)技術(shù)的研究內(nèi)容涉及到人工智能、計(jì)算機(jī)科學(xué)、電子學(xué)、傳感器、計(jì)算機(jī)圖形學(xué)、智能控制、心理學(xué)等。電子學(xué)、傳感器、計(jì)算機(jī)圖形學(xué)、智能控制、心理學(xué)等。l虛擬

55、現(xiàn)實(shí)技術(shù)的虛擬現(xiàn)實(shí)技術(shù)的特點(diǎn)特點(diǎn)在于，在于，計(jì)算機(jī)產(chǎn)生一種人為虛擬的環(huán)計(jì)算機(jī)產(chǎn)生一種人為虛擬的環(huán)境，這種虛擬的環(huán)境是通過計(jì)算機(jī)圖形構(gòu)成的三維空間，境，這種虛擬的環(huán)境是通過計(jì)算機(jī)圖形構(gòu)成的三維空間，或是把其它現(xiàn)實(shí)環(huán)境編制到計(jì)算機(jī)中去產(chǎn)生逼真的或是把其它現(xiàn)實(shí)環(huán)境編制到計(jì)算機(jī)中去產(chǎn)生逼真的“虛擬虛擬環(huán)境環(huán)境”，從而使得用戶在視覺上產(chǎn)生一種沉浸于虛擬環(huán)境，從而使得用戶在視覺上產(chǎn)生一種沉浸于虛擬環(huán)境的感覺的感覺。http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg-

56、http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第2929頁頁/ /共共4141頁頁12.6.2 12.6.2 虛擬現(xiàn)實(shí)系統(tǒng)虛擬現(xiàn)實(shí)系統(tǒng) 1 1、虛擬現(xiàn)實(shí)系統(tǒng)的典型模型、虛擬現(xiàn)實(shí)系統(tǒng)的典型模型 如右圖所示。使用如右圖所示。使用者通

57、過傳感裝置直接對者通過傳感裝置直接對虛擬環(huán)境進(jìn)行操作，并虛擬環(huán)境進(jìn)行操作，并得到實(shí)時三維顯示和其得到實(shí)時三維顯示和其它它 反饋信息（如觸覺、反饋信息（如觸覺、力覺反饋等）。當(dāng)系統(tǒng)力覺反饋等）。當(dāng)系統(tǒng)與外部世界通過傳感裝與外部世界通過傳感裝置構(gòu)成反饋閉環(huán)時，在用戶的控制下，用戶與虛擬環(huán)境置構(gòu)成反饋閉環(huán)時，在用戶的控制下，用戶與虛擬環(huán)境間的交互可以對外部世界產(chǎn)生作用（如遙操作等）。間的交互可以對外部世界產(chǎn)生作用（如遙操作等）。 圖12-7 虛擬現(xiàn)實(shí)系統(tǒng)的模型http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ h

58、ttp:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/ http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第3030頁頁/ /共共4141頁頁2 2、虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu)成、虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu)成 一般的虛擬現(xiàn)實(shí)系統(tǒng)主要由以下五個模塊構(gòu)成，如一

59、般的虛擬現(xiàn)實(shí)系統(tǒng)主要由以下五個模塊構(gòu)成，如下圖所示。下圖所示。 圖12-8 虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu)成http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/ http:/http:/www.zg- http:/www.skf- http:/ http:/www.skf- http:/www.nsk- http:/www.fag- http:/ http:/www.ntn- http:/ http:/ http:/ http:/ http:/ http:/www.xunchi- http:/ http:/

60、http:/ http:/主講人：楊帆主講人：楊帆第十二章第十二章 多媒體人機(jī)交互技術(shù)多媒體人機(jī)交互技術(shù)第第3131頁頁/ /共共4141頁頁l檢測模塊：檢測模塊：檢測用戶的操作命令，并通過傳感器模塊檢測用戶的操作命令，并通過傳感器模塊作用于虛擬環(huán)境。作用于虛擬環(huán)境。 l反饋模塊：反饋模塊：接受來自傳感器模塊信息，為用戶提供實(shí)接受來自傳感器模塊信息，為用戶提供實(shí)時反饋。時反饋。l傳感器模塊：傳感器模塊：一方面接受來自用戶的操作命令，并將一方面接受來自用戶的操作命令，并將其作用于虛擬環(huán)境；另一方面將操作后產(chǎn)生的結(jié)果以其作用于虛擬環(huán)境；另一方面將操作后產(chǎn)生的結(jié)果以各種反饋的形式提供給用戶。各種反饋