增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)

1增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/2024應(yīng)用架構(gòu)01、增強(qiáng)現(xiàn)實(shí)架構(gòu)第九章2增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.1應(yīng)用架構(gòu)簡介一個(gè)完整的增強(qiáng)現(xiàn)實(shí)應(yīng)用，不僅需要一個(gè)感知和反饋的用戶終端，還需要一個(gè)能夠處理大量計(jì)算、正確感知真實(shí)世界、準(zhǔn)確解讀用戶意圖的服務(wù)器端。在深度學(xué)習(xí)愈發(fā)普遍的情況下，大部分計(jì)算量大的流程都是依靠服務(wù)器進(jìn)行處理，再通過網(wǎng)絡(luò)通信傳輸?shù)娇蛻舳恕?增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.1應(yīng)用架構(gòu)簡介一般情況下，服務(wù)器會(huì)分為兩類：門戶服務(wù)器與場(chǎng)景服務(wù)器。1門戶服務(wù)器負(fù)責(zé)用戶管理、場(chǎng)景管理、數(shù)據(jù)資產(chǎn)管理等功能。2場(chǎng)景服務(wù)器負(fù)責(zé)實(shí)時(shí)狀態(tài)同步、場(chǎng)景交互、云渲染等功能。4增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.1應(yīng)用架構(gòu)簡介如圖所示的所有設(shè)備是在搭建、部署、使用一個(gè)增強(qiáng)現(xiàn)實(shí)應(yīng)用中所需的基本設(shè)備，包括服務(wù)器、客戶端、網(wǎng)絡(luò)通信設(shè)備等。5增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.1應(yīng)用架構(gòu)簡介1傳感設(shè)備可以采用傳統(tǒng)的計(jì)算機(jī)輸入設(shè)備如鼠標(biāo)鍵盤，也可以用語音識(shí)別、手勢(shì)識(shí)別、動(dòng)作捕捉等技術(shù)對(duì)用戶的輸入信息進(jìn)行采集。之后將采集到的數(shù)據(jù)通過客戶端計(jì)算單元進(jìn)行相應(yīng)處理反饋到反饋設(shè)備，如體感眼鏡、手套等設(shè)備。2門戶應(yīng)用服務(wù)器和場(chǎng)景應(yīng)用服務(wù)器分別從數(shù)據(jù)庫服務(wù)器和數(shù)字資產(chǎn)服務(wù)器獲取信息，在服務(wù)器端生成虛擬世界，與語音/視頻消息應(yīng)用服務(wù)器，在5G網(wǎng)絡(luò)、WIFI、LAN的環(huán)境下，與用戶方進(jìn)行相互交互。

在AR應(yīng)用所需的基本設(shè)備中：6增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.11通信機(jī)制本系統(tǒng)計(jì)劃采用客戶端-服務(wù)器模式，即由兩部分組成：一個(gè)服務(wù)器和多個(gè)客戶端7增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.11通信機(jī)制

系統(tǒng)通信機(jī)制特點(diǎn)：1服務(wù)器組件將為多個(gè)客戶端組件提供服務(wù)?？蛻舳藦姆?wù)器請(qǐng)求服務(wù)，服務(wù)器為這些客戶端提供相關(guān)服務(wù)。此外，服務(wù)器持續(xù)偵聽客戶機(jī)請(qǐng)求。網(wǎng)絡(luò)狀況不同時(shí)：1、在網(wǎng)絡(luò)延時(shí)<100ms，多人交互、人物交互流暢無問題。3、在網(wǎng)絡(luò)延時(shí)超過300ms以上的情況下，用戶體驗(yàn)會(huì)非常糟糕，物體移動(dòng)會(huì)出現(xiàn)遲滯或跳躍。2、網(wǎng)絡(luò)延時(shí)100~300ms，用戶可明顯感知到延時(shí)，但仍可交互。根據(jù)不同的交互場(chǎng)景，如果只是漫游類則可正常進(jìn)行；如果有關(guān)鍵事件，例如擊打等，則需要進(jìn)行延時(shí)預(yù)估，對(duì)交互物體的移動(dòng)速度進(jìn)行調(diào)整。8增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.11通信機(jī)制2通信部分將采用TCP+UDP的混合通信模式。TCP將負(fù)責(zé)客戶端狀態(tài)表的同步，而UDP則負(fù)責(zé)實(shí)時(shí)的流通信（例如語音、視頻等）。狀態(tài)表設(shè)計(jì)如圖所示，每次分發(fā)狀態(tài)表時(shí)，僅分發(fā)和上次同步狀態(tài)表的差異部分，以此減少網(wǎng)絡(luò)帶寬的消耗。9增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.12門戶服務(wù)器邏輯架構(gòu)門戶服務(wù)器的職能較為簡單，通過網(wǎng)絡(luò)通信層與客戶端和場(chǎng)景服務(wù)器進(jìn)行交互，管理數(shù)據(jù)庫和資產(chǎn)庫。1資產(chǎn)庫中主要包括場(chǎng)景、角色、模型、動(dòng)畫、材質(zhì)等信息。2數(shù)據(jù)庫采用MySQL或sqllite，保存資產(chǎn)模型所對(duì)應(yīng)的數(shù)據(jù)表。3用戶模塊中包含用戶信息，資產(chǎn)模塊中包含模型和材質(zhì)、動(dòng)畫等信息，場(chǎng)景模塊中包含用戶搭建的場(chǎng)景信息。10增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.12門戶服務(wù)器邏輯架構(gòu)門戶服務(wù)器的開發(fā)可以采用云端MySQL數(shù)據(jù)庫，使用云端存儲(chǔ)功能，保存數(shù)據(jù)庫和資產(chǎn)庫，使用J2EE框架開發(fā)用戶模塊、資產(chǎn)模塊、場(chǎng)景模塊，搭載在云服務(wù)器上。使用TCP協(xié)議與客戶端和場(chǎng)景服務(wù)器進(jìn)行交互。11增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.13場(chǎng)景服務(wù)器邏輯架構(gòu)場(chǎng)景服務(wù)器通過網(wǎng)絡(luò)通信層與門戶服務(wù)器和客戶端進(jìn)行交互。1交互邏輯層中包含用戶與用戶、用戶與場(chǎng)景之間交互所涉及到的模塊，角色可以搭建自己的場(chǎng)景，攝像機(jī)可以跟隨角色進(jìn)行相應(yīng)的運(yùn)動(dòng)，角色進(jìn)行抓取、拖拽等動(dòng)作對(duì)物體進(jìn)行操縱。2反饋邏輯層給予用戶操作的反饋信息，通過渲染畫面、場(chǎng)景中的音效、體感設(shè)備的觸覺反饋、菜單窗口的提示，分別給予我們視覺、聽覺、觸覺方面的反饋信息。12增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.13場(chǎng)景服務(wù)器邏輯架構(gòu)3三維場(chǎng)景層就涉及到場(chǎng)景表達(dá)、物理引擎、粒子系統(tǒng)和光照渲染方式。4場(chǎng)景服務(wù)器通過TCP協(xié)議與門戶服務(wù)器交互，通過RTSP協(xié)議與客戶端進(jìn)行交互。場(chǎng)景服務(wù)器中的三維場(chǎng)景表達(dá)可以采用glTF格式，物理引擎采用Bullet/PhyX等引擎，使用Effekseer粒子系統(tǒng)制作特效，光照渲染使用WebGL/OpenGL/Vulkan等。13增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.14客戶端邏輯架構(gòu)客戶端通過網(wǎng)絡(luò)通信層與門戶服務(wù)器和場(chǎng)景服務(wù)器進(jìn)行交互。14增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.13場(chǎng)景服務(wù)器邏輯架構(gòu)

客戶端通信簡要說明：客戶端通過TCP/UDP等協(xié)議與門戶服務(wù)器交互，通過RTSP協(xié)議與場(chǎng)景服務(wù)器進(jìn)行交互。反饋數(shù)據(jù)表達(dá)層中，場(chǎng)景畫面通過視頻推流的方式從服務(wù)器端將圖像傳遞到客戶端，減少了客戶端渲染的壓力。場(chǎng)景音效使用SDL，界面菜單使用QT，肢體觸覺方面將會(huì)尋求自主研發(fā)的道路。15增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/2024應(yīng)用架構(gòu)02、增強(qiáng)現(xiàn)實(shí)主要功能第九章16增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能1數(shù)字資產(chǎn)創(chuàng)建、加載、保存2數(shù)字資產(chǎn)權(quán)限管理3場(chǎng)景漫游式交互4場(chǎng)景編輯式交互5用戶間交互17增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能01數(shù)字資產(chǎn)創(chuàng)建、加載、保存增強(qiáng)現(xiàn)實(shí)核心功能是將虛擬場(chǎng)景和現(xiàn)實(shí)場(chǎng)景疊加。因此，增強(qiáng)現(xiàn)實(shí)應(yīng)用的核心功能之一是要能夠創(chuàng)建虛擬場(chǎng)景。常見的方式是載入預(yù)存的場(chǎng)景模板。另一種重要的數(shù)字資產(chǎn)是用戶的虛擬形象。數(shù)字資產(chǎn)的創(chuàng)建可從外部（例如U盤，網(wǎng)絡(luò)等）獲取，也可以直接在增強(qiáng)現(xiàn)實(shí)場(chǎng)景內(nèi)創(chuàng)建。個(gè)性化的角色形象也可以通過其他方式（基于圖像、深度相機(jī)等）創(chuàng)建與真實(shí)用戶一致的個(gè)性形象。18增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能建議場(chǎng)景保存為glTF（GLTransmissionFormat）格式。glTF是一種3D內(nèi)容的格式標(biāo)準(zhǔn)，由KhronosGroup管理（KhronosGroup還管理著OpenGL系列、OpenCL等重要的行業(yè)標(biāo)準(zhǔn)）。19增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能

glTF特點(diǎn)：1glTF的設(shè)計(jì)是面向?qū)崟r(shí)渲染應(yīng)用的，盡量提供可以直接傳輸給圖形API的數(shù)據(jù)形式，不再需要二次轉(zhuǎn)換。2glTF對(duì)移動(dòng)端的渲染引擎OpenGLES、WebGL非常友好。20增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能華為有提出一款多功能3D編輯器RealityStudio。它提供了3D場(chǎng)景編輯，動(dòng)畫制作和事件交互等功能，幫助您快速打造3D可交互場(chǎng)景?？蓮V泛用于教育培訓(xùn)、電商購物、娛樂等諸多行業(yè)的XR內(nèi)容開發(fā)。21增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能02數(shù)字資產(chǎn)權(quán)限管理在商業(yè)級(jí)別的增強(qiáng)現(xiàn)實(shí)應(yīng)用中，虛擬場(chǎng)景等數(shù)字資產(chǎn)一般歸屬不同用戶。因此，需要將場(chǎng)景相關(guān)操作加入權(quán)限管理模式。一般在服務(wù)器端，通過明確每個(gè)用戶對(duì)場(chǎng)景的不同權(quán)限，確保場(chǎng)景的隱私和合作模式。常見權(quán)限劃分為：瀏覽基本信息、漫游場(chǎng)景、編輯場(chǎng)景。22增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能03場(chǎng)景漫游式交互場(chǎng)景漫游是增強(qiáng)現(xiàn)實(shí)的一個(gè)重要功能。鼠標(biāo)鍵盤和平板觸控技術(shù)成熟，可首先考慮作為場(chǎng)景漫游的交互手段。另外，較為新穎的漫游手段包括利用手勢(shì)、頭盔、真實(shí)行走、眼球跟蹤等。其中前三者通過控制虛擬攝像機(jī)的變換矩陣實(shí)現(xiàn)，眼球跟蹤通過場(chǎng)景內(nèi)的交互式渲染實(shí)現(xiàn)。23增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能在漫游模式下，主要分為視野、增強(qiáng)渲染和觸覺三種交互。觸覺式交互將在未來作為新的交互方式加入進(jìn)來。新的交互方式，如其他的運(yùn)動(dòng)捕捉系統(tǒng)，可通過視野交互和增強(qiáng)渲染兩個(gè)的通用接口來實(shí)現(xiàn)兼容。24增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能04場(chǎng)景編輯式交互在增強(qiáng)現(xiàn)實(shí)場(chǎng)景下，除了基礎(chǔ)的漫游式交互，用戶很多情況下還需要編輯物體、場(chǎng)景的屬性。編輯交互的核心是選擇物體、編輯屬性?；镜奈矬w交互功能包括選擇物體、抓取物體、編輯物體、觸碰物體。25增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能04場(chǎng)景編輯式交互在增強(qiáng)現(xiàn)實(shí)場(chǎng)景下，除了基礎(chǔ)的漫游式交互，用戶很多情況下還需要編輯物體、場(chǎng)景的屬性。編輯交互的核心是選擇物體、編輯屬性?；镜奈矬w交互功能包括選擇物體、抓取物體、編輯物體、觸碰物體。26增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能04場(chǎng)景編輯式交互實(shí)現(xiàn)交互的方式有多種，包括手勢(shì)交互、鍵盤、觸摸屏、鼠標(biāo)等成熟技術(shù)。為了實(shí)現(xiàn)通用性，可以將針對(duì)物體的交互封裝為三種不同的交互類，即選擇、抓取、編輯，通過其他方式完成的交互，只要能對(duì)接這三種類的接口即可。利用其它新設(shè)備、新方式提供的編輯交互，最終都通過頂層的編輯交互類進(jìn)行實(shí)現(xiàn)。27增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能05用戶間交互在一個(gè)多人協(xié)同的增強(qiáng)現(xiàn)實(shí)場(chǎng)景下，還需要開發(fā)面向用戶間協(xié)同的功能。其中，部分核心功能包括語音聊天、語音消息、文字消息等。在更高級(jí)的情況下，觸覺等方式進(jìn)行交互是未來的發(fā)展趨勢(shì)。用戶間交互相對(duì)獨(dú)立，可考慮成熟的語音和文字SDK，便于集成。28增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/2024收集設(shè)備檢測(cè)平面信息的反饋。根據(jù)反饋當(dāng)中的距離、角度、和位置數(shù)據(jù)這些信息，我們就可以建立起設(shè)備相對(duì)定位的3D模型。當(dāng)在不同的設(shè)備間分享這些數(shù)據(jù)的時(shí)候，設(shè)備將獲得識(shí)別彼此位置的能力。解決方案29增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能什么是Anchors？虛擬物體在現(xiàn)實(shí)世界中的固定位置就是Anchors，有了這個(gè)錨點(diǎn)，虛擬物體就不會(huì)發(fā)生偏移，可以很好的貼合在現(xiàn)實(shí)環(huán)境中。要形成一個(gè)Anchors，首先需要一個(gè)SLAM系統(tǒng)提供相機(jī)的位置，通過相機(jī)掃描現(xiàn)實(shí)位置放置虛擬物體，虛擬物體的位置就會(huì)形成一個(gè)anchors，它包括了一個(gè)物理位置和一堆視覺特征。用戶A首先將本地anchor和anchor周圍局部的視覺信息（比如特征點(diǎn)、線等），上傳到云端，云端通過處理并生成三維點(diǎn)云信息，生成cloudanchors，同時(shí)返回其對(duì)應(yīng)的ID，該ID可以共享給其他用戶。其他用戶（例如用戶B，C等）通過該ID訪問已有的cloudanchors，ARCore將本地的視覺信息上傳到云端服務(wù)器，云端服務(wù)器嘗試將接收的視覺信息與云端cloudanchor對(duì)應(yīng)的的三維點(diǎn)云進(jìn)行對(duì)齊，從而將多個(gè)用戶的位置和姿態(tài)統(tǒng)一到同一坐標(biāo)系下。30增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/2024應(yīng)用架構(gòu)03、服務(wù)器端概念架構(gòu)第九章31增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.3.1應(yīng)用邏輯層該層主要包括接收客戶端發(fā)來的消息，調(diào)用對(duì)應(yīng)模型，觸發(fā)相關(guān)的消息機(jī)制。消息種類包括：1場(chǎng)景類：場(chǎng)景打開、新建、刪除、保存等。2信息類：用戶更新個(gè)人、場(chǎng)景、系統(tǒng)屬性。3狀態(tài)類：需要同步的狀態(tài)，包括角色動(dòng)作、物體屬性、注視點(diǎn)等。4模型類：用戶更新包括模型、材質(zhì)、紋理等。5消息類：用戶間發(fā)送的消息。 32增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.3.1應(yīng)用邏輯層針對(duì)不同的資產(chǎn)數(shù)據(jù)類型，建立對(duì)應(yīng)的模型類，用于處理不同的消息請(qǐng)求，包括系統(tǒng)、場(chǎng)景、角色、動(dòng)畫、紋理、材質(zhì)、圖片、文本等。其中數(shù)據(jù)庫將針對(duì)上述的各類資產(chǎn)，建立對(duì)應(yīng)的數(shù)據(jù)表，儲(chǔ)存相關(guān)信息。33增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.3.2資產(chǎn)數(shù)據(jù)層該層主要包括數(shù)字資產(chǎn)和數(shù)據(jù)庫管理。其中各種資產(chǎn)的文件格式擬采用如下方案：1場(chǎng)景：glTF，用以描述場(chǎng)景中所有信息，包括角色，物體，燈光，攝像機(jī)等。2角色：glTF，用以描述角色的模型、紋理、材質(zhì)、骨骼等信息。3三維模型：保存為glTF的BIN，同時(shí)接受fbx，ma/mb/3ds等格式，通過插件轉(zhuǎn)化為BIN。4動(dòng)畫：動(dòng)畫軌跡保存為json格式，或采用glTF中的BIN格式。34增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.3.2資產(chǎn)數(shù)據(jù)層該層主要包括數(shù)字資產(chǎn)和數(shù)據(jù)庫管理。其中各種資產(chǎn)的文件格式擬采用如下方案：1場(chǎng)景：glTF，用以描述場(chǎng)景中所有信息，包括角色，物體，燈光，攝像機(jī)等。2角色：glTF，用以描述角色的模型、紋理、材質(zhì)、骨骼等信息。3三維模型：保存為glTF的BIN，同時(shí)接受fbx，ma/mb/3ds等格式，通過插件轉(zhuǎn)化為BIN。4動(dòng)畫：動(dòng)畫軌跡保存為json格式，或采用glTF中的BIN格式。35增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.3.2資產(chǎn)數(shù)據(jù)層5紋理：模型的紋理貼圖保存為.jpg/.png圖片格式，以實(shí)現(xiàn)精度更高、視覺感強(qiáng)的外觀。6材質(zhì)：基于真實(shí)感光照的材質(zhì)模型保存為json格式。7圖片：場(chǎng)景中利用到的一般圖片保存為.jpg/.png圖片格式，包括展示圖片、場(chǎng)景截圖等。8文本：包括系統(tǒng)日志、用戶對(duì)話及其他相關(guān)配置，均可保存為文本文件，采用json格式。36增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.3.2資產(chǎn)數(shù)據(jù)層數(shù)據(jù)庫擬采用MySQL或sqllite。一方面是針對(duì)上述模型建立對(duì)應(yīng)的數(shù)據(jù)表，保存相關(guān)信息和鏈接，另一方面用于保存包括用戶基本信息、日志等。37增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/2024應(yīng)用架構(gòu)04、客戶端概念架構(gòu)第九章38增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.4客戶端概念架構(gòu)該架構(gòu)（如圖）主要是將傳感器數(shù)據(jù)采集、交互邏輯規(guī)則和反饋生成分離。該架構(gòu)一方面可屏蔽底層傳感器的差異性，允許多種傳感器收集同一信號(hào)；另一方面可屏蔽輸出平臺(tái)的差異，兼容虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、PC、平板等多種平臺(tái)。客戶端概念架構(gòu)結(jié)構(gòu)圖39增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.4.1傳感設(shè)備驅(qū)動(dòng)層這個(gè)模塊主要包括傳感器API層和傳感器接口層。其中后者主要是為了制定統(tǒng)一的數(shù)據(jù)接口，用于兼容不同的傳感器設(shè)備。傳感器類別：鼠標(biāo)、鍵盤、觸摸板、運(yùn)動(dòng)捕捉系統(tǒng)、眼球跟蹤、RGB攝像機(jī)、RGBD攝像機(jī)、數(shù)據(jù)手套、麥克風(fēng)、頭盔/眼鏡內(nèi)置IMU等等。40增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.4.1傳感設(shè)備驅(qū)動(dòng)層

傳感器數(shù)據(jù)類型：1菜單交互事件類：打開、選擇、關(guān)閉菜單等操作，用于改變物體屬性、修改系統(tǒng)選項(xiàng)、打開保存退出場(chǎng)景等?？赏ㄟ^鼠標(biāo)、鍵盤、觸摸板、手勢(shì)、麥克風(fēng)等實(shí)現(xiàn)。2物體交互事件類：點(diǎn)擊、抓取、釋放物體等操作?？赏ㄟ^鼠標(biāo)、鍵盤、觸摸板、手勢(shì)、麥克風(fēng)等實(shí)現(xiàn)。3角色實(shí)時(shí)動(dòng)作類：獲取真實(shí)用戶的運(yùn)動(dòng)（表達(dá)為標(biāo)準(zhǔn)三維骨骼的運(yùn)動(dòng)信息）。可通過運(yùn)動(dòng)捕捉系統(tǒng)、RGB攝像機(jī)、RGBD攝像機(jī)、數(shù)據(jù)手套等實(shí)現(xiàn)。41增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.4.1傳感設(shè)備驅(qū)動(dòng)層

傳感器數(shù)據(jù)類型：1菜單交互事件類：打開、選擇、關(guān)閉菜單等操作，用于改變物體屬性、修改系統(tǒng)選項(xiàng)、打開保存退出場(chǎng)景等?？赏ㄟ^鼠標(biāo)、鍵盤、觸摸板、手勢(shì)、麥克風(fēng)等實(shí)現(xiàn)。2物體交互事件類：點(diǎn)擊、抓取、釋放物體等操作?？赏ㄟ^鼠標(biāo)、鍵盤、觸摸板、手勢(shì)、麥克風(fēng)等實(shí)現(xiàn)。3角色實(shí)時(shí)動(dòng)作類：獲取真實(shí)用戶的運(yùn)動(dòng)（表達(dá)為標(biāo)準(zhǔn)三維骨骼的運(yùn)動(dòng)信息）?？赏ㄟ^運(yùn)動(dòng)捕捉系統(tǒng)、RGB攝像機(jī)、RGBD攝像機(jī)、數(shù)據(jù)手套等實(shí)現(xiàn)。42增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.4.1傳感設(shè)備驅(qū)動(dòng)層

傳感器數(shù)據(jù)類型：4角色固定動(dòng)作類：基于用戶輸入，觸發(fā)角色固定動(dòng)作庫中的某個(gè)動(dòng)作?？赏ㄟ^運(yùn)動(dòng)捕捉系統(tǒng)、RGB攝像機(jī)、RGBD攝像機(jī)、數(shù)據(jù)手套等實(shí)現(xiàn)。5角色眼球跟蹤類：捕捉人眼位置，獲取視野注意點(diǎn)?？赏ㄟ^眼球跟蹤設(shè)備獲取，在缺少眼球跟蹤設(shè)備情況下，也可采用角色實(shí)時(shí)動(dòng)作類中的頭部朝向或內(nèi)置IMU模塊代替。6用戶間通信消息類：不同用戶之間的交流，包括語音和文字等?？赏ㄟ^鼠標(biāo)、鍵盤、觸摸板、麥克風(fēng)等實(shí)現(xiàn)。43增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.4.2傳感數(shù)據(jù)表達(dá)層這個(gè)模塊核心作用就是基于用戶輸入，調(diào)用對(duì)應(yīng)的交互模型，用于生產(chǎn)合適的反饋，或與服務(wù)器進(jìn)行通信。交互邏輯類別：(1)場(chǎng)景漫游：允許用戶視野在虛擬場(chǎng)景中進(jìn)行漫游，通過鼠標(biāo)鍵盤、操縱桿、真實(shí)行走等方式，改變攝像機(jī)的位置和方向。(2)角色模型：允許用戶自定義角色模型，通過線下定制線上導(dǎo)入、線上實(shí)時(shí)掃描等方式，制作個(gè)性化的角色模型。(3)角色動(dòng)畫：基于運(yùn)動(dòng)捕捉等系統(tǒng)的數(shù)據(jù)輸入，驅(qū)動(dòng)虛擬角色的骨骼動(dòng)畫。44增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.4.2傳感數(shù)據(jù)表達(dá)層(4)物體選擇：基于實(shí)體/虛擬鍵盤、鼠標(biāo)、語音、手勢(shì)選擇等輸入，轉(zhuǎn)化為物體選擇操作。(5)物體抓?。夯趯?shí)體/虛擬鍵盤、鼠標(biāo)、語音、手勢(shì)選擇等輸入，轉(zhuǎn)化為物體抓取操作。(6)物體編輯：基于實(shí)體/虛擬鍵盤、鼠標(biāo)、語音、手勢(shì)選擇等輸入，轉(zhuǎn)化為物體編輯操作，包括縮放、旋轉(zhuǎn)、平移、紋理等屬性。45增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.4.2傳感數(shù)據(jù)表達(dá)層(7)用戶視點(diǎn)：基于眼球跟蹤、運(yùn)動(dòng)捕捉中頭部朝向等輸入信息，獲取用戶視點(diǎn)，通過服務(wù)器傳遞給其他用戶，激活場(chǎng)景中的增強(qiáng)渲染。(8)菜單操作：基于實(shí)體/虛擬鍵盤、鼠標(biāo)、語音、手勢(shì)選擇等輸入，定義包括系統(tǒng)設(shè)置、場(chǎng)景參數(shù)設(shè)置、場(chǎng)景新建、載入、保存、刪除等交互命令。(9)語音通信：為用戶之間提供語音通信的交互方式。語音輸入由本地麥克風(fēng)獲取，通過語音通信API，發(fā)送到對(duì)方。(10)文本通信：為用戶之間提供文本通信的交互方式。46增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.4.3反饋數(shù)據(jù)表達(dá)層客戶端部分通過傳感設(shè)備驅(qū)動(dòng)層獲取用戶的信息，傳遞給傳感數(shù)據(jù)表達(dá)層，并最終傳遞給網(wǎng)絡(luò)通信層進(jìn)行相應(yīng)的處理。處理之后的信息發(fā)送給反饋數(shù)據(jù)表達(dá)層，表達(dá)出來之后，反饋給反饋設(shè)備驅(qū)動(dòng)層，通過具體設(shè)備表現(xiàn)出來。47增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用架構(gòu)5/8/20249.4.3反饋數(shù)據(jù)表達(dá)層在客戶端的反饋方式上，輸出硬件包括常見的顯示設(shè)備，包括MicrosoftHoloLens、手機(jī)平板等。在前端的顯示框架上，已經(jīng)有開源