增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)

1增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/2024應(yīng)用架構(gòu)01、增強現(xiàn)實架構(gòu)第九章2增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.1應(yīng)用架構(gòu)簡介一個完整的增強現(xiàn)實應(yīng)用，不僅需要一個感知和反饋的用戶終端，還需要一個能夠處理大量計算、正確感知真實世界、準(zhǔn)確解讀用戶意圖的服務(wù)器端。在深度學(xué)習(xí)愈發(fā)普遍的情況下，大部分計算量大的流程都是依靠服務(wù)器進(jìn)行處理，再通過網(wǎng)絡(luò)通信傳輸?shù)娇蛻舳恕?增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.1應(yīng)用架構(gòu)簡介一般情況下，服務(wù)器會分為兩類：門戶服務(wù)器與場景服務(wù)器。1門戶服務(wù)器負(fù)責(zé)用戶管理、場景管理、數(shù)據(jù)資產(chǎn)管理等功能。2場景服務(wù)器負(fù)責(zé)實時狀態(tài)同步、場景交互、云渲染等功能。4增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.1應(yīng)用架構(gòu)簡介如圖所示的所有設(shè)備是在搭建、部署、使用一個增強現(xiàn)實應(yīng)用中所需的基本設(shè)備，包括服務(wù)器、客戶端、網(wǎng)絡(luò)通信設(shè)備等。5增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.1應(yīng)用架構(gòu)簡介1傳感設(shè)備可以采用傳統(tǒng)的計算機(jī)輸入設(shè)備如鼠標(biāo)鍵盤，也可以用語音識別、手勢識別、動作捕捉等技術(shù)對用戶的輸入信息進(jìn)行采集。之后將采集到的數(shù)據(jù)通過客戶端計算單元進(jìn)行相應(yīng)處理反饋到反饋設(shè)備，如體感眼鏡、手套等設(shè)備。2門戶應(yīng)用服務(wù)器和場景應(yīng)用服務(wù)器分別從數(shù)據(jù)庫服務(wù)器和數(shù)字資產(chǎn)服務(wù)器獲取信息，在服務(wù)器端生成虛擬世界，與語音/視頻消息應(yīng)用服務(wù)器，在5G網(wǎng)絡(luò)、WIFI、LAN的環(huán)境下，與用戶方進(jìn)行相互交互。

在AR應(yīng)用所需的基本設(shè)備中：6增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.11通信機(jī)制本系統(tǒng)計劃采用客戶端-服務(wù)器模式，即由兩部分組成：一個服務(wù)器和多個客戶端7增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.11通信機(jī)制

系統(tǒng)通信機(jī)制特點：1服務(wù)器組件將為多個客戶端組件提供服務(wù)。客戶端從服務(wù)器請求服務(wù)，服務(wù)器為這些客戶端提供相關(guān)服務(wù)。此外，服務(wù)器持續(xù)偵聽客戶機(jī)請求。網(wǎng)絡(luò)狀況不同時：1、在網(wǎng)絡(luò)延時<100ms，多人交互、人物交互流暢無問題。3、在網(wǎng)絡(luò)延時超過300ms以上的情況下，用戶體驗會非常糟糕，物體移動會出現(xiàn)遲滯或跳躍。2、網(wǎng)絡(luò)延時100~300ms，用戶可明顯感知到延時，但仍可交互。根據(jù)不同的交互場景，如果只是漫游類則可正常進(jìn)行；如果有關(guān)鍵事件，例如擊打等，則需要進(jìn)行延時預(yù)估，對交互物體的移動速度進(jìn)行調(diào)整。8增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.11通信機(jī)制2通信部分將采用TCP+UDP的混合通信模式。TCP將負(fù)責(zé)客戶端狀態(tài)表的同步，而UDP則負(fù)責(zé)實時的流通信（例如語音、視頻等）。狀態(tài)表設(shè)計如圖所示，每次分發(fā)狀態(tài)表時，僅分發(fā)和上次同步狀態(tài)表的差異部分，以此減少網(wǎng)絡(luò)帶寬的消耗。9增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.12門戶服務(wù)器邏輯架構(gòu)門戶服務(wù)器的職能較為簡單，通過網(wǎng)絡(luò)通信層與客戶端和場景服務(wù)器進(jìn)行交互，管理數(shù)據(jù)庫和資產(chǎn)庫。1資產(chǎn)庫中主要包括場景、角色、模型、動畫、材質(zhì)等信息。2數(shù)據(jù)庫采用MySQL或sqllite，保存資產(chǎn)模型所對應(yīng)的數(shù)據(jù)表。3用戶模塊中包含用戶信息，資產(chǎn)模塊中包含模型和材質(zhì)、動畫等信息，場景模塊中包含用戶搭建的場景信息。10增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.12門戶服務(wù)器邏輯架構(gòu)門戶服務(wù)器的開發(fā)可以采用云端MySQL數(shù)據(jù)庫，使用云端存儲功能，保存數(shù)據(jù)庫和資產(chǎn)庫，使用J2EE框架開發(fā)用戶模塊、資產(chǎn)模塊、場景模塊，搭載在云服務(wù)器上。使用TCP協(xié)議與客戶端和場景服務(wù)器進(jìn)行交互。11增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.13場景服務(wù)器邏輯架構(gòu)場景服務(wù)器通過網(wǎng)絡(luò)通信層與門戶服務(wù)器和客戶端進(jìn)行交互。1交互邏輯層中包含用戶與用戶、用戶與場景之間交互所涉及到的模塊，角色可以搭建自己的場景，攝像機(jī)可以跟隨角色進(jìn)行相應(yīng)的運動，角色進(jìn)行抓取、拖拽等動作對物體進(jìn)行操縱。2反饋邏輯層給予用戶操作的反饋信息，通過渲染畫面、場景中的音效、體感設(shè)備的觸覺反饋、菜單窗口的提示，分別給予我們視覺、聽覺、觸覺方面的反饋信息。12增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.13場景服務(wù)器邏輯架構(gòu)3三維場景層就涉及到場景表達(dá)、物理引擎、粒子系統(tǒng)和光照渲染方式。4場景服務(wù)器通過TCP協(xié)議與門戶服務(wù)器交互，通過RTSP協(xié)議與客戶端進(jìn)行交互。場景服務(wù)器中的三維場景表達(dá)可以采用glTF格式，物理引擎采用Bullet/PhyX等引擎，使用Effekseer粒子系統(tǒng)制作特效，光照渲染使用WebGL/OpenGL/Vulkan等。13增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.14客戶端邏輯架構(gòu)客戶端通過網(wǎng)絡(luò)通信層與門戶服務(wù)器和場景服務(wù)器進(jìn)行交互。14增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.13場景服務(wù)器邏輯架構(gòu)

客戶端通信簡要說明：客戶端通過TCP/UDP等協(xié)議與門戶服務(wù)器交互，通過RTSP協(xié)議與場景服務(wù)器進(jìn)行交互。反饋數(shù)據(jù)表達(dá)層中，場景畫面通過視頻推流的方式從服務(wù)器端將圖像傳遞到客戶端，減少了客戶端渲染的壓力。場景音效使用SDL，界面菜單使用QT，肢體觸覺方面將會尋求自主研發(fā)的道路。15增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/2024應(yīng)用架構(gòu)02、增強現(xiàn)實主要功能第九章16增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能1數(shù)字資產(chǎn)創(chuàng)建、加載、保存2數(shù)字資產(chǎn)權(quán)限管理3場景漫游式交互4場景編輯式交互5用戶間交互17增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能01數(shù)字資產(chǎn)創(chuàng)建、加載、保存增強現(xiàn)實核心功能是將虛擬場景和現(xiàn)實場景疊加。因此，增強現(xiàn)實應(yīng)用的核心功能之一是要能夠創(chuàng)建虛擬場景。常見的方式是載入預(yù)存的場景模板。另一種重要的數(shù)字資產(chǎn)是用戶的虛擬形象。數(shù)字資產(chǎn)的創(chuàng)建可從外部（例如U盤，網(wǎng)絡(luò)等）獲取，也可以直接在增強現(xiàn)實場景內(nèi)創(chuàng)建。個性化的角色形象也可以通過其他方式（基于圖像、深度相機(jī)等）創(chuàng)建與真實用戶一致的個性形象。18增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能建議場景保存為glTF（GLTransmissionFormat）格式。glTF是一種3D內(nèi)容的格式標(biāo)準(zhǔn)，由KhronosGroup管理（KhronosGroup還管理著OpenGL系列、OpenCL等重要的行業(yè)標(biāo)準(zhǔn)）。19增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能

glTF特點：1glTF的設(shè)計是面向?qū)崟r渲染應(yīng)用的，盡量提供可以直接傳輸給圖形API的數(shù)據(jù)形式，不再需要二次轉(zhuǎn)換。2glTF對移動端的渲染引擎OpenGLES、WebGL非常友好。20增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能華為有提出一款多功能3D編輯器RealityStudio。它提供了3D場景編輯，動畫制作和事件交互等功能，幫助您快速打造3D可交互場景?？蓮V泛用于教育培訓(xùn)、電商購物、娛樂等諸多行業(yè)的XR內(nèi)容開發(fā)。21增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能02數(shù)字資產(chǎn)權(quán)限管理在商業(yè)級別的增強現(xiàn)實應(yīng)用中，虛擬場景等數(shù)字資產(chǎn)一般歸屬不同用戶。因此，需要將場景相關(guān)操作加入權(quán)限管理模式。一般在服務(wù)器端，通過明確每個用戶對場景的不同權(quán)限，確保場景的隱私和合作模式。常見權(quán)限劃分為：瀏覽基本信息、漫游場景、編輯場景。22增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能03場景漫游式交互場景漫游是增強現(xiàn)實的一個重要功能。鼠標(biāo)鍵盤和平板觸控技術(shù)成熟，可首先考慮作為場景漫游的交互手段。另外，較為新穎的漫游手段包括利用手勢、頭盔、真實行走、眼球跟蹤等。其中前三者通過控制虛擬攝像機(jī)的變換矩陣實現(xiàn)，眼球跟蹤通過場景內(nèi)的交互式渲染實現(xiàn)。23增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能在漫游模式下，主要分為視野、增強渲染和觸覺三種交互。觸覺式交互將在未來作為新的交互方式加入進(jìn)來。新的交互方式，如其他的運動捕捉系統(tǒng)，可通過視野交互和增強渲染兩個的通用接口來實現(xiàn)兼容。24增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能04場景編輯式交互在增強現(xiàn)實場景下，除了基礎(chǔ)的漫游式交互，用戶很多情況下還需要編輯物體、場景的屬性。編輯交互的核心是選擇物體、編輯屬性?；镜奈矬w交互功能包括選擇物體、抓取物體、編輯物體、觸碰物體。25增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能04場景編輯式交互在增強現(xiàn)實場景下，除了基礎(chǔ)的漫游式交互，用戶很多情況下還需要編輯物體、場景的屬性。編輯交互的核心是選擇物體、編輯屬性?；镜奈矬w交互功能包括選擇物體、抓取物體、編輯物體、觸碰物體。26增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能04場景編輯式交互實現(xiàn)交互的方式有多種，包括手勢交互、鍵盤、觸摸屏、鼠標(biāo)等成熟技術(shù)。為了實現(xiàn)通用性，可以將針對物體的交互封裝為三種不同的交互類，即選擇、抓取、編輯，通過其他方式完成的交互，只要能對接這三種類的接口即可。利用其它新設(shè)備、新方式提供的編輯交互，最終都通過頂層的編輯交互類進(jìn)行實現(xiàn)。27增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能05用戶間交互在一個多人協(xié)同的增強現(xiàn)實場景下，還需要開發(fā)面向用戶間協(xié)同的功能。其中，部分核心功能包括語音聊天、語音消息、文字消息等。在更高級的情況下，觸覺等方式進(jìn)行交互是未來的發(fā)展趨勢。用戶間交互相對獨立，可考慮成熟的語音和文字SDK，便于集成。28增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/2024收集設(shè)備檢測平面信息的反饋。根據(jù)反饋當(dāng)中的距離、角度、和位置數(shù)據(jù)這些信息，我們就可以建立起設(shè)備相對定位的3D模型。當(dāng)在不同的設(shè)備間分享這些數(shù)據(jù)的時候，設(shè)備將獲得識別彼此位置的能力。解決方案29增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.2AR應(yīng)用的主要功能什么是Anchors？虛擬物體在現(xiàn)實世界中的固定位置就是Anchors，有了這個錨點，虛擬物體就不會發(fā)生偏移，可以很好的貼合在現(xiàn)實環(huán)境中。要形成一個Anchors，首先需要一個SLAM系統(tǒng)提供相機(jī)的位置，通過相機(jī)掃描現(xiàn)實位置放置虛擬物體，虛擬物體的位置就會形成一個anchors，它包括了一個物理位置和一堆視覺特征。用戶A首先將本地anchor和anchor周圍局部的視覺信息（比如特征點、線等），上傳到云端，云端通過處理并生成三維點云信息，生成cloudanchors，同時返回其對應(yīng)的ID，該ID可以共享給其他用戶。其他用戶（例如用戶B，C等）通過該ID訪問已有的cloudanchors，ARCore將本地的視覺信息上傳到云端服務(wù)器，云端服務(wù)器嘗試將接收的視覺信息與云端cloudanchor對應(yīng)的的三維點云進(jìn)行對齊，從而將多個用戶的位置和姿態(tài)統(tǒng)一到同一坐標(biāo)系下。30增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/2024應(yīng)用架構(gòu)03、服務(wù)器端概念架構(gòu)第九章31增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.3.1應(yīng)用邏輯層該層主要包括接收客戶端發(fā)來的消息，調(diào)用對應(yīng)模型，觸發(fā)相關(guān)的消息機(jī)制。消息種類包括：1場景類：場景打開、新建、刪除、保存等。2信息類：用戶更新個人、場景、系統(tǒng)屬性。3狀態(tài)類：需要同步的狀態(tài)，包括角色動作、物體屬性、注視點等。4模型類：用戶更新包括模型、材質(zhì)、紋理等。5消息類：用戶間發(fā)送的消息。 32增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.3.1應(yīng)用邏輯層針對不同的資產(chǎn)數(shù)據(jù)類型，建立對應(yīng)的模型類，用于處理不同的消息請求，包括系統(tǒng)、場景、角色、動畫、紋理、材質(zhì)、圖片、文本等。其中數(shù)據(jù)庫將針對上述的各類資產(chǎn)，建立對應(yīng)的數(shù)據(jù)表，儲存相關(guān)信息。33增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.3.2資產(chǎn)數(shù)據(jù)層該層主要包括數(shù)字資產(chǎn)和數(shù)據(jù)庫管理。其中各種資產(chǎn)的文件格式擬采用如下方案：1場景：glTF，用以描述場景中所有信息，包括角色，物體，燈光，攝像機(jī)等。2角色：glTF，用以描述角色的模型、紋理、材質(zhì)、骨骼等信息。3三維模型：保存為glTF的BIN，同時接受fbx，ma/mb/3ds等格式，通過插件轉(zhuǎn)化為BIN。4動畫：動畫軌跡保存為json格式，或采用glTF中的BIN格式。34增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.3.2資產(chǎn)數(shù)據(jù)層該層主要包括數(shù)字資產(chǎn)和數(shù)據(jù)庫管理。其中各種資產(chǎn)的文件格式擬采用如下方案：1場景：glTF，用以描述場景中所有信息，包括角色，物體，燈光，攝像機(jī)等。2角色：glTF，用以描述角色的模型、紋理、材質(zhì)、骨骼等信息。3三維模型：保存為glTF的BIN，同時接受fbx，ma/mb/3ds等格式，通過插件轉(zhuǎn)化為BIN。4動畫：動畫軌跡保存為json格式，或采用glTF中的BIN格式。35增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.3.2資產(chǎn)數(shù)據(jù)層5紋理：模型的紋理貼圖保存為.jpg/.png圖片格式，以實現(xiàn)精度更高、視覺感強的外觀。6材質(zhì)：基于真實感光照的材質(zhì)模型保存為json格式。7圖片：場景中利用到的一般圖片保存為.jpg/.png圖片格式，包括展示圖片、場景截圖等。8文本：包括系統(tǒng)日志、用戶對話及其他相關(guān)配置，均可保存為文本文件，采用json格式。36增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.3.2資產(chǎn)數(shù)據(jù)層數(shù)據(jù)庫擬采用MySQL或sqllite。一方面是針對上述模型建立對應(yīng)的數(shù)據(jù)表，保存相關(guān)信息和鏈接，另一方面用于保存包括用戶基本信息、日志等。37增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/2024應(yīng)用架構(gòu)04、客戶端概念架構(gòu)第九章38增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.4客戶端概念架構(gòu)該架構(gòu)（如圖）主要是將傳感器數(shù)據(jù)采集、交互邏輯規(guī)則和反饋生成分離。該架構(gòu)一方面可屏蔽底層傳感器的差異性，允許多種傳感器收集同一信號；另一方面可屏蔽輸出平臺的差異，兼容虛擬現(xiàn)實、增強現(xiàn)實、PC、平板等多種平臺。客戶端概念架構(gòu)結(jié)構(gòu)圖39增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.4.1傳感設(shè)備驅(qū)動層這個模塊主要包括傳感器API層和傳感器接口層。其中后者主要是為了制定統(tǒng)一的數(shù)據(jù)接口，用于兼容不同的傳感器設(shè)備。傳感器類別：鼠標(biāo)、鍵盤、觸摸板、運動捕捉系統(tǒng)、眼球跟蹤、RGB攝像機(jī)、RGBD攝像機(jī)、數(shù)據(jù)手套、麥克風(fēng)、頭盔/眼鏡內(nèi)置IMU等等。40增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.4.1傳感設(shè)備驅(qū)動層

傳感器數(shù)據(jù)類型：1菜單交互事件類：打開、選擇、關(guān)閉菜單等操作，用于改變物體屬性、修改系統(tǒng)選項、打開保存退出場景等。可通過鼠標(biāo)、鍵盤、觸摸板、手勢、麥克風(fēng)等實現(xiàn)。2物體交互事件類：點擊、抓取、釋放物體等操作?？赏ㄟ^鼠標(biāo)、鍵盤、觸摸板、手勢、麥克風(fēng)等實現(xiàn)。3角色實時動作類：獲取真實用戶的運動（表達(dá)為標(biāo)準(zhǔn)三維骨骼的運動信息）?？赏ㄟ^運動捕捉系統(tǒng)、RGB攝像機(jī)、RGBD攝像機(jī)、數(shù)據(jù)手套等實現(xiàn)。41增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.4.1傳感設(shè)備驅(qū)動層

傳感器數(shù)據(jù)類型：1菜單交互事件類：打開、選擇、關(guān)閉菜單等操作，用于改變物體屬性、修改系統(tǒng)選項、打開保存退出場景等。可通過鼠標(biāo)、鍵盤、觸摸板、手勢、麥克風(fēng)等實現(xiàn)。2物體交互事件類：點擊、抓取、釋放物體等操作。可通過鼠標(biāo)、鍵盤、觸摸板、手勢、麥克風(fēng)等實現(xiàn)。3角色實時動作類：獲取真實用戶的運動（表達(dá)為標(biāo)準(zhǔn)三維骨骼的運動信息）?？赏ㄟ^運動捕捉系統(tǒng)、RGB攝像機(jī)、RGBD攝像機(jī)、數(shù)據(jù)手套等實現(xiàn)。42增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.4.1傳感設(shè)備驅(qū)動層

傳感器數(shù)據(jù)類型：4角色固定動作類：基于用戶輸入，觸發(fā)角色固定動作庫中的某個動作?？赏ㄟ^運動捕捉系統(tǒng)、RGB攝像機(jī)、RGBD攝像機(jī)、數(shù)據(jù)手套等實現(xiàn)。5角色眼球跟蹤類：捕捉人眼位置，獲取視野注意點?？赏ㄟ^眼球跟蹤設(shè)備獲取，在缺少眼球跟蹤設(shè)備情況下，也可采用角色實時動作類中的頭部朝向或內(nèi)置IMU模塊代替。6用戶間通信消息類：不同用戶之間的交流，包括語音和文字等?？赏ㄟ^鼠標(biāo)、鍵盤、觸摸板、麥克風(fēng)等實現(xiàn)。43增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.4.2傳感數(shù)據(jù)表達(dá)層這個模塊核心作用就是基于用戶輸入，調(diào)用對應(yīng)的交互模型，用于生產(chǎn)合適的反饋，或與服務(wù)器進(jìn)行通信。交互邏輯類別：(1)場景漫游：允許用戶視野在虛擬場景中進(jìn)行漫游，通過鼠標(biāo)鍵盤、操縱桿、真實行走等方式，改變攝像機(jī)的位置和方向。(2)角色模型：允許用戶自定義角色模型，通過線下定制線上導(dǎo)入、線上實時掃描等方式，制作個性化的角色模型。(3)角色動畫：基于運動捕捉等系統(tǒng)的數(shù)據(jù)輸入，驅(qū)動虛擬角色的骨骼動畫。44增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.4.2傳感數(shù)據(jù)表達(dá)層(4)物體選擇：基于實體/虛擬鍵盤、鼠標(biāo)、語音、手勢選擇等輸入，轉(zhuǎn)化為物體選擇操作。(5)物體抓取：基于實體/虛擬鍵盤、鼠標(biāo)、語音、手勢選擇等輸入，轉(zhuǎn)化為物體抓取操作。(6)物體編輯：基于實體/虛擬鍵盤、鼠標(biāo)、語音、手勢選擇等輸入，轉(zhuǎn)化為物體編輯操作，包括縮放、旋轉(zhuǎn)、平移、紋理等屬性。45增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.4.2傳感數(shù)據(jù)表達(dá)層(7)用戶視點：基于眼球跟蹤、運動捕捉中頭部朝向等輸入信息，獲取用戶視點，通過服務(wù)器傳遞給其他用戶，激活場景中的增強渲染。(8)菜單操作：基于實體/虛擬鍵盤、鼠標(biāo)、語音、手勢選擇等輸入，定義包括系統(tǒng)設(shè)置、場景參數(shù)設(shè)置、場景新建、載入、保存、刪除等交互命令。(9)語音通信：為用戶之間提供語音通信的交互方式。語音輸入由本地麥克風(fēng)獲取，通過語音通信API，發(fā)送到對方。(10)文本通信：為用戶之間提供文本通信的交互方式。46增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.4.3反饋數(shù)據(jù)表達(dá)層客戶端部分通過傳感設(shè)備驅(qū)動層獲取用戶的信息，傳遞給傳感數(shù)據(jù)表達(dá)層，并最終傳遞給網(wǎng)絡(luò)通信層進(jìn)行相應(yīng)的處理。處理之后的信息發(fā)送給反饋數(shù)據(jù)表達(dá)層，表達(dá)出來之后，反饋給反饋設(shè)備驅(qū)動層，通過具體設(shè)備表現(xiàn)出來。47增強現(xiàn)實技術(shù)應(yīng)用架構(gòu)5/8/20249.4.3反饋數(shù)據(jù)表達(dá)層在客戶端的反饋方式上，輸出硬件包括常見的顯示設(shè)備，包括MicrosoftHoloLens、手機(jī)平板等。在前端的顯示框架上，已經(jīng)有開源