人機交互設計 課件 第3章 交互設備

人機交互設計第三講交互設備延遲符交互設備01.交互接口設備發(fā)展02.交互設備分類視覺設備；聽覺設備；力覺、觸覺設備；跟蹤設備；03.研究熱點立體顯示；體感跟蹤；聲音識別；投影類顯示……可供人機交互使用的設備主要分為以下幾個方面：根據(jù)人的認知通道方式，將獲取信息的途徑分為視覺，聽覺、觸覺（力覺）及其他跟蹤設備。3交互設備1.1人體的視覺特性——立體視覺視覺是人類感知客觀世界的最主要的途徑。研究表明，人類獲取的信息中有83%來自視覺。顯示技術(shù)作為視覺信息呈現(xiàn)的重要技術(shù)手段，是“信息獲取、處理、傳輸、存儲和顯示”產(chǎn)業(yè)鏈條中的關(guān)鍵環(huán)節(jié)，對滿足人類的視覺需求具有極其重要的意義。401視覺特性與視場幾個概念1：立體視覺人為什么要長兩只眼睛？5僅從單幅場景圖像無法獲知物體的深度信息兩眼大約有6.5cm的瞳距，對同一場景，兩眼得到的圖像略有差別，大腦對這兩幅圖像中的細節(jié)進行解釋使你有距離和深度的感覺只要使雙眼各自看到恰當?shù)膱D像，就能使人產(chǎn)生立體的感覺。立體顯示的原理就是通過體視設備使左右兩眼看到兩幅圖像。兩幅圖象之間存在的水平位差在人眼中形成視差，使得原本在二維平面上的圖像被重構(gòu)成一虛擬的立體空間。1.1人體的視覺特性——立體視覺立體視覺（StereoVision）是指人通過雙眼觀察景物并能分辨物體距離和形態(tài)的感覺。立體視覺是計算機視覺領(lǐng)域的一個重要課題，它能夠幫助我們重構(gòu)場景的三維信息。視差:空間內(nèi)的某一點，分別在兩眼的圖像中投影生成兩個像點，這兩個像點在圖像中橫坐標值的差值就是視差，601視覺特性與視場20:19S.7我們只是根據(jù)場景中的光照變化、物體遮擋、陰影以及經(jīng)驗等渠道來感覺那些場景的立體效果。20:19S.8立體視覺可以推算出深度z的計算公式：z=D*S/(xl-xr)視差：真實空間的某一點，分別投影生成兩幅圖像中兩個位置不同的像點，這相互對應的兩個像點在圖像中位置上的差值就是視差。20:19S.9主動系統(tǒng)顯示原理標準布局：利用紅外信號傳送同步信號，用于控制液晶眼鏡的開關(guān)。20:19S.11幾個概念2：視場眼睛的視場約為水平±100o，垂直±60o，而水平的雙目重疊視場120o目前的實際全景顯示設備可能產(chǎn)生水平±100o，垂直±30o視場，這已經(jīng)有強的沉浸感了。2.1視覺交互設備的分類在視覺交互設備中，根據(jù)元器件的不同，可以將其分為陰極射線管（CRT，CathodeRayTube）顯示器、液晶顯示器（LCD，LiquidCrystalDisplay）、等離子顯示器（PDP，PlasmaDisplayPanel）、發(fā)光二極管（LED，LightEmittingDiode）顯示器和虛擬視網(wǎng)膜顯示設備1202視覺交互設備與相關(guān)技術(shù)2.1視覺交互設備的分類1．陰極射線管顯示器1302視覺交互設備與相關(guān)技術(shù)20:19S.14發(fā)光二極管顯示器（LED）20:19S.15虛擬現(xiàn)實VRD顯示原理（VirtualRealityDisplay）VCD直接把調(diào)制的光線投射在人眼的視網(wǎng)膜上，產(chǎn)生光柵化的圖像。20:19S.16VRD顯示特點很小很輕的眼鏡大于120o的大視場很低的功率消耗具有看穿的顯示方式20:19S.17視覺顯示表面陰極射線管（CRT）液晶顯示器（LCD）等離子顯示器（PDP）發(fā)光二極管顯示器（LED）VRD類顯示器投影類顯示三維顯示20:19S.18投影類顯示司空見慣的投影儀投影在投影幕上、墻上或者任何地方20:19S.19能夠讓任何表面或物體變成交互式顯示屏幕，辨識操作者的手勢動作。20:19S.20視覺顯示表面陰極射線管（CRT）液晶顯示器（LCD）等離子顯示器（PDP）發(fā)光二極管顯示器（LED）VRD類顯示器投影類顯示三維顯示20:19S.21三維顯器Felix3D20:19S.22幾種典型的虛擬現(xiàn)實立體顯示設備頭盔式立體顯示器HMD（頭盔顯示器Head-MountedDisplay);可看穿的HMD雙目全方位監(jiān)視器BOOM立體眼鏡式立體顯示器環(huán)屏或球屏立體顯示設備洞穴式立體顯示（CAVE）自動立體顯示器20:19S.23HMD20:19HMD

20:19可看穿的頭盔顯示器在看穿的頭盔顯示中，虛擬圖像投射在觀察者眼前的半反光半透明的光學玻璃上。于是在看到計算機生成的虛擬圖形的同時，也看到真實場景。BAE為“鷹獅”提供綜合頭盔顯示器系統(tǒng)Sony公司的LDI-100頭盔顯示器，重量120g，提供可看穿的顯示20:19S.26FakespaceFS2

(dualCRT,1280x1024)

20:19S.27FakespacePinch

(dualCRT,1280x1024)

20:19S.28BOOM顯示器BOOM已不常用力圖克服頭戴式頭盔的幾個缺點：1.有重量，頭戴不適2.跟蹤延遲3.分辨率低即將推出的游戲頭盔：OculusRift2013年CES中展出了一款名為OculusRift的頭戴式娛樂終端20:19S.29OculusRift&VR極寬的視角對角線110度、水平視角90度不會有在黑暗中看小屏幕的感覺。這是真正沉浸式體驗的保證。低延遲使用高精度、輕量級的屏幕，使得游戲畫面能夠最大程度跟上頭部的擺動。價格實惠希望更多的滿足各位游戲迷20:19S.31幾種典型的虛擬現(xiàn)實立體顯示設備頭盔式立體顯示器立體眼鏡式立體顯示器環(huán)屏或球屏立體顯示設備洞穴式立體顯示（CAVE）自動立體顯示器20:19S.32立體眼鏡式立體顯示顯示設備提供左右眼交替的立體顯示對；通過佩帶立體眼鏡使雙目分別觀看左右圖像，從而產(chǎn)生立體視覺。20:19S.33立體眼鏡式立體顯示分類按照眼鏡原理分類主動系統(tǒng)（有源系統(tǒng)）。通過場順序眼鏡（液晶光閥眼鏡）使雙眼分時觀看左右圖像；被動系統(tǒng)（無源系統(tǒng)），使用紅綠眼鏡、偏振眼鏡等使雙眼分別觀看不同的左右圖像。20:19S.34被動系統(tǒng)戴紅綠眼鏡看黑白立體影像兩臺放映機，其一透過紅濾鏡放映紅色影像，另一透過綠濾鏡放映綠色影像。這兩影像同時在銀幕上相疊。觀眾戴上以一紅一綠的玻璃紙為鏡片的眼鏡。20:19S.3520:19S.36被動系統(tǒng)佩戴偏振眼鏡偏振光20:19S.37被動系統(tǒng)兩臺投影機，各套上一個偏振片，把兩個偏振光的影像同時放映在金屬銀幕上(金屬的反射不會改變偏振光向)，兩個偏振光的振動方向互成直角。觀眾也戴上偏振片造成的眼鏡。左眼的鏡片只許左方攝影機的影像通過，而右眼的鏡片只許右方攝影機的影像通過，于是就產(chǎn)生立體感覺。20:19S.38幾種典型的虛擬現(xiàn)實立體顯示設備頭盔式立體顯示器立體眼鏡式立體顯示器環(huán)屏或球屏立體顯示設備洞穴式立體顯示（CAVE）自動立體顯示器20:19S.39環(huán)屏立體顯示設備核心技術(shù)——邊緣融合20:19S.40重疊區(qū)域需要進行融合色彩上的平衡幾何矯正幾何矯正20:19S.41非線性失真校正20:19S.42無幾何矯正時的柱幕投影效果，重合區(qū)形狀不重合非線性失真校正20:19S.43帶幾何矯正時的柱幕投影效果，重合區(qū)形狀重合20:19S.44幾種典型的虛擬現(xiàn)實立體顯示設備頭盔式立體顯示器立體眼鏡式立體顯示器環(huán)屏或球屏立體顯示設備洞穴式立體顯示（CAVE）自動立體顯示器20:19S.45洞穴式立體顯示（CAVE）20:19S.46洞穴式立體顯示（CAVE）第一個CAVE為1991年由美國Illinois大學EVL實驗室研制；至少具有三個顯示表面，它們彼此相連構(gòu)成房間；允許多人共享一個虛擬環(huán)境，立體視圖受控于一位觀察者的視點位置和視線方向。20:19S.47幾種典型的虛擬現(xiàn)實立體顯示設備頭盔式立體顯示器立體眼鏡式立體顯示器環(huán)屏或球屏立體顯示設備洞穴式立體顯示（CAVE）自動立體顯示器（裸眼3D）20:19S.48自動立體顯示（裸眼3D）自動立體顯示不要求輔助的觀看設備（如場順序或偏振眼鏡），不給用戶附加慣性約束自動分光立體顯示(AutostereoscopicDisplays)-------又稱為光柵3D顯示集成成像3D顯示(IntegralImaging3DDisplay)體三維顯示(Volumetric3DDisplay)全息術(shù)(Hologram)其他20:19S.49自動分光立體顯示---透鏡顯示面一個透鏡面是圓柱透鏡的陣列，它可以產(chǎn)生左右眼觀看的圖像，并可以將這兩副不同的二維圖像導向不同的觀看子區(qū)域。當觀察者的頭在正確的位置時，每只眼就在不同的觀看區(qū)，看到不同的圖像，得到雙目視差。20:19S.50自動分光立體顯示---視差檔板顯示視差檔板是放在顯示前方的垂直平板，它對每只眼都阻檔了屏幕的一部分。視差檔板的作用類似透鏡面。差別在于它是用檔板檔住部分顯示，而不是用透鏡導引屏幕圖像。屏幕顯示兩個圖像，每個分成垂直條。屏幕上顯示的條交替為左右眼圖像。每只眼只看到它的條。自動分光立體顯示(光柵3D顯示)已開始應用到手機、電腦、電視等產(chǎn)品上。20:19/articles/107717.htm集成成像3D顯示記錄階段將記錄介質(zhì)置于微透鏡板的焦平面上,每個微透鏡單元從不同的方向記錄物體空間的部分信息再現(xiàn)階段將記錄介質(zhì)置于具有相同參數(shù)的微透鏡陣列的焦平面上,用散射光照射,由光線可逆原理就可在微透鏡板另一側(cè)觀看到再現(xiàn)物體空間場景20:19S.52記錄過程再現(xiàn)過程20:19S.53自動立體顯示（裸眼3D）自動立體顯示不要求輔助的觀看設備（如場順序或偏振眼鏡），不給用戶附加慣性約束自動分光立體顯示(AutostereoscopicDisplays)-------又稱為光柵3D顯示集成成像3D顯示(IntegralImaging3DDisplay)體三維顯示(Volumetric3DDisplay)全息術(shù)(Hologram)其他20:19S.54體三維顯示體三維顯示掃描體顯示(Swept-VolumeDisplay)高速旋轉(zhuǎn)的屏幕，二維圖像堆積形成立體印象Felix3D、Perspecta固態(tài)體顯示(Solid-VolumeDisplay)solidFELIX：一整塊立方體水晶作為顯示介質(zhì)

DepthCube系統(tǒng)：層疊液晶屏幕方式來實現(xiàn)三維體顯示20:19S.55體三維顯示---掃描體顯示Felix3D原理20:19S.56體三維顯示---掃描體顯示Perspecta原理20:19S.57體三維顯示---固態(tài)體顯示DepthCube系統(tǒng)原理20:19S.58自動立體顯示（裸眼3D）自動立體顯示不要求輔助的觀看設備（如場順序或偏振眼鏡），不給用戶附加慣性約束自動分光立體顯示(AutostereoscopicDisplays)----又稱為光柵3D顯示集成成像3D顯示(IntegralImaging3DDisplay)體三維顯示(Volumetric3DDisplay)全息術(shù)(Hologram)其他20:19S.59自動立體顯示---全息攝影20:19S.60←世界上首次使用全息投影的演唱會2010年3月9號晚間世嘉公司舉辦了一場名為“初音未來的感謝祭”“初音之日”（Miku'sDay）的初音未來全息投影演唱會四種裸眼3D技術(shù)的比較自動分光3D顯示（光柵3D顯示）：技術(shù)最成熟，正推向市場，但技術(shù)仍需進步。集成成像3D顯示：技術(shù)較成熟，研發(fā)階段，極具競爭力。體3D顯示：機械復雜，3D圖形質(zhì)量欠佳，發(fā)展受限。全息3D顯示：技術(shù)不成熟，研究階段，3D顯示的終極目標。20:19S.61其他一些體三維顯示技術(shù)Cube顯示器投影式三維顯示iTouch變成三維顯示器20:19S.62交互設備分類延遲符語音交互設備與相關(guān)技術(shù)0320:19S.643.1耳朵的定位功能雙耳效應：人的兩只耳朵對同一聲源的直達聲具有時間差（0.44~0.5）微妙，而人耳可以根據(jù)這些微小的差別判斷聲音的方向，確定聲源的位置，但只能局限于確定前方水平方向的聲源，不能解決三維空音聲源的定位耳廓效應：人的耳廓對聲波的反射以及對空間聲源的定位有重要的定向作用。借此效應，可以判斷聲源的三維位置人耳的頻率濾波效應：人耳的聲音定位機制與聲音頻率有關(guān)，對20~200赫的低音靠相位差定位，對300~4000赫的中音靠音強差定位，對高音則依靠聲音差定位頭部相關(guān)傳輸函數(shù)：人的聽覺系統(tǒng)對不同方位的聲音產(chǎn)生不同的頻譜，而這一頻譜特性可由頭部相關(guān)傳遞函數(shù)HRTF來描述1．常規(guī)語音的特性語音，即語言的物質(zhì)外殼，是語言的外部形式，是記錄人的思維活動的最直接的符號體系。語音指人的發(fā)聲器官發(fā)出的具有一定社會意義的聲音。語音的三要素包括音量、音調(diào)和音色。語音最明顯的兩個特性是時變性和非平穩(wěn)性。653.2語音交互設備2．虛擬環(huán)繞聲技術(shù):環(huán)繞立體聲

—杜比（Dolby）環(huán)繞聲系統(tǒng)虛擬環(huán)繞聲技術(shù)：將多聲道信號經(jīng)過處理后，在兩組平行放置的音箱中進行播放，從而讓用戶感覺到環(huán)繞聲效果。虛擬環(huán)繞聲技術(shù)最典型的應用就是杜比（Dolby）環(huán)繞聲系統(tǒng)663.2語音交互設備四聲道環(huán)繞立體聲3.語音交互技術(shù)語音交互技術(shù)的核心技術(shù)包括語音識別技術(shù)、語音合成技術(shù)和語義理解技術(shù)。67圖12語音識別聽覺交互設備市場應用033.語音交互技術(shù)（1）語音識別技術(shù)。①語音識別技術(shù)的發(fā)展與應用。②語音識別技術(shù)的基本原理。68聽覺交互設備市場應用03語音交互技術(shù)（2）語音合成技術(shù)。語音合成技術(shù)是指通過智能設備產(chǎn)生人造語音的技術(shù)，語音合成技術(shù)的關(guān)鍵部件是TTS語音引擎。語音合成技術(shù)按照語音學規(guī)則、語義學規(guī)則、詞匯規(guī)則及相關(guān)方法，保證語音的合成效果能夠滿足清晰度和自然度的要求。69聽覺交互設備市場應用033.語音交互技術(shù)（3）語義理解技術(shù)。符號是語言的載體，只有被賦予含義的符號才具有實際意義，這時的語言就蘊含了信息，而語言的含義就是語義。語義理解技術(shù)是將自然語言文本轉(zhuǎn)換為用戶的意圖，使機器理解用戶的需求。70聽覺交互設備市場應用034．幾種典型的語音交互設備71聽覺交互設備市場應用03亞馬遜推出的智能音箱Alexa4．幾種典型的語音交互設備72聽覺交互設備市場應用031．觸覺交互設備的分類根據(jù)觸覺交互信息進行分類，觸覺交互設備可以分為觸覺再現(xiàn)設備和力覺再現(xiàn)設備。73觸覺交互設備與相關(guān)技術(shù)041．觸覺交互設備的分類74觸覺交互設備與相關(guān)技術(shù)04接吻機器人2012年2月新家坡國立大學研制1．觸覺交互設備的分類75觸覺交互設備與相關(guān)技術(shù)04S.75各種不同類型的抓取動作從左到右，按照力量大小和靈巧程度排列20:19S.76安裝在手上的力反饋設備20:19S.77觸覺/力覺顯示器舉例力覺顯示器力反饋鼠標FEELitMouse力反饋手柄力反饋手臂安裝在人身體上的力反饋設備觸覺顯示器液壓氣動手阻抗控制振動20:19S.78力覺交互設備力反饋鼠標FEELitMouse：當仿真碰撞時，它給人手施加反饋力。20:19力反饋手柄ImpulseEngine2000：它在兩個自由度跟蹤運動，增加力反饋。通過調(diào)節(jié)剛度、頻度、幅度的變化可以仿真表面、紋理、彈性、液體、重力場、彈跳的球、生物材料以及其他物理感覺。20:19S.80力反饋手臂力反饋設備20:19S.81安裝在人身體上的力反饋設備力反饋操縱手臂20:19SensoVR數(shù)據(jù)手套安裝在人身體上的力反饋設備美國西北大學研發(fā)的TPad觸覺再現(xiàn)設備20:19安裝在人身體上的力反饋設備應用觸覺交互技術(shù)的3D屏幕20:19探針式接觸反饋還可通過聲音線圈的振動來模擬觸覺輕型的形狀記憶合金（SMM）驅(qū)動器探針陣列式的振動觸覺反饋設備微軟在觸覺方面的嘗試20:192．觸覺交互設備的應用（1）醫(yī)學領(lǐng)域。（2）軍事領(lǐng)域。（3）教育領(lǐng)域。（4）娛樂領(lǐng)域和生活領(lǐng)域。86觸覺交互設備與相關(guān)技術(shù)04S.865.1機械式傳感器1．跟蹤球跟蹤球是一種裝有傳感器的球體裝置，用于測量用戶的手施加在彈性元件上的力和力矩，從而控制虛擬物體的運動速度和角速度。87跟蹤交互設備與相關(guān)技術(shù)05S.875.2數(shù)據(jù)手套數(shù)據(jù)手套基于彎曲傳感器技術(shù)，能夠精確地識別與測量手指的運動。利用數(shù)據(jù)手套，用戶可以在虛擬現(xiàn)實環(huán)境中實現(xiàn)抓取、指壓等經(jīng)典動作的模擬。88跟蹤交互設備與相關(guān)技術(shù)05S.885.2數(shù)據(jù)手套89跟蹤交互設備與相關(guān)技術(shù)05S.895.3交互設備中常用的傳感器1．磁場傳感器磁場傳感器是可以將各種磁場及其變化的量轉(zhuǎn)變成電信號輸出的裝置。90跟蹤交互設備與相關(guān)技術(shù)05S.905.3交互設備中常用的傳感器2．超聲波傳感器超聲波傳感器是將超聲波信號轉(zhuǎn)換成其他能量信號（通常是電信號）的傳感器。91跟蹤交互設備與相關(guān)技術(shù)05S.915.3交互設備中常用的傳感器3．光學傳感器光學傳感器是依據(jù)光學原理進行測量的，它有許多優(yōu)點，如能夠?qū)崿F(xiàn)無接觸且無破壞的測量，抗干擾性強，傳輸速率快，可遠程遙控等。92跟蹤交互設備與相關(guān)技術(shù)05S.925.3交互設備中常用的傳感器4．慣性傳感器慣性傳感器主要用于測量加速度、傾斜角度、沖擊力、振動頻率、旋轉(zhuǎn)角度等參數(shù)。93跟蹤交互設備與相關(guān)技術(shù)05S.935.4體感游戲應用案例1．索尼公司的EyeToyEyeToy是索尼公司于2004年4月28日為PS2游戲主機推出的動作感應控制裝置。94跟蹤交互設備與相關(guān)技術(shù)05S.9420:19S.95前幾年出現(xiàn)的PC機單攝像頭游戲（如EyeToy），可算是一種簡單的體感跟蹤。5.4體感游戲應用案例2．任天堂公司的WiiRemoteWii是任天堂公司于2006年11月19日推出的家用游戲機。是NGC①的后續(xù)機型。Wii第一次將“體感”這一概念引入游戲機。96跟蹤交互設備與相關(guān)技術(shù)05S.9620:19