中國電信：5G空間計(jì)算白皮書

虛擬現(xiàn)實(shí)與元宇宙產(chǎn)業(yè)聯(lián)盟1本白皮書版權(quán)屬于所有合著單位共同所有，并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其它方式使用本白皮書文字或者觀點(diǎn)的，應(yīng)注明“來源：《5G空間計(jì)算白皮書》”。違反上述聲明者，我們將追究其相關(guān)法律責(zé)任。2化和旅游部、國家廣播電視總局、國家體育總局五部門銳、金科商業(yè)、興業(yè)數(shù)金、奇領(lǐng)空間、清博智能等產(chǎn)學(xué)3究院、天翼云科技有限公司、新國脈數(shù)字文化股份有限公司、中電福限公司、視辰信息科技（上海）有限公司、北京沃東天靈伴科技有限責(zé)任公司、北京河圖聯(lián)合創(chuàng)新科技有限公451空間計(jì)算發(fā)展背景 82空間計(jì)算關(guān)鍵技術(shù) 92.1三維重建：構(gòu)建下一代數(shù)字世界的基礎(chǔ)技術(shù) 2.1.1三維重建的概念 92.1.2三維重建的關(guān)鍵技術(shù)模塊 基于主動(dòng)視覺的三維重建 基于被動(dòng)視覺的三維重建 基于人工智能的渲染與建模 2.1.3三維重建技術(shù)的應(yīng)用現(xiàn)狀與展望 2.2空間感知：智能終端多樣化帶動(dòng)更深度的空間智能服務(wù) 2.2.1空間感知的概念 2.2.2空間感知的關(guān)鍵技術(shù)模塊 2.2.3空間感知技術(shù)的應(yīng)用現(xiàn)狀與展望 2.3用戶感知：多模態(tài)空間交互促進(jìn)人與環(huán)境更深度的融合 2.3.1用戶感知的概念 2.3.2用戶感知的關(guān)鍵技術(shù)模塊 面部感知 人體姿態(tài)的感知 其他感知與驅(qū)動(dòng) 2.3.3用戶感知技術(shù)的應(yīng)用現(xiàn)狀與展望 2.4空間數(shù)據(jù)管理：未來場(chǎng)景推動(dòng)數(shù)據(jù)技術(shù)迭代升級(jí) 2.4.1空間數(shù)據(jù)的概念 2.4.2空間數(shù)據(jù)管理的關(guān)鍵技術(shù)模塊 空間數(shù)據(jù)存儲(chǔ)管理技術(shù) 空間數(shù)據(jù)高效檢索技術(shù) 空間數(shù)據(jù)可視化支撐技術(shù) 空間數(shù)據(jù)安全管理技術(shù) 2.55G、云網(wǎng)與空間計(jì)算：數(shù)字基礎(chǔ)設(shè)施建設(shè)構(gòu)筑更優(yōu)化的未來計(jì)算環(huán)境 2.5.15G、云網(wǎng)對(duì)空間計(jì)算的驅(qū)動(dòng) 2.5.25G、云網(wǎng)與空間計(jì)算相關(guān)技術(shù)模塊 云化空間計(jì)算技術(shù) 算力網(wǎng)絡(luò)調(diào)度 算力分時(shí)復(fù)用 端邊異步渲染技術(shù) 端邊云協(xié)同部署架構(gòu) 服務(wù)彈性伸縮和動(dòng)態(tài)調(diào)度技術(shù) 6網(wǎng)絡(luò)傳輸保障技術(shù) 2.5.35G標(biāo)準(zhǔn)化演進(jìn)對(duì)空間計(jì)算的支持 2.5.4東數(shù)西算工程對(duì)空間計(jì)算的支持 3空間計(jì)算產(chǎn)業(yè)現(xiàn)狀 3.1產(chǎn)業(yè)發(fā)展趨勢(shì)和相關(guān)政策 213.25G+空間計(jì)算產(chǎn)業(yè)鏈情況 4.1空間計(jì)算+商業(yè)：打造新型營(yíng)銷與購物體驗(yàn)，推動(dòng)精準(zhǔn)運(yùn)營(yíng) 4.1.1行業(yè)背景 25沉浸式購物體驗(yàn) 虛擬化身與會(huì)員制的結(jié)合 “虛擬人”將逐漸在多場(chǎng)景、多領(lǐng)域進(jìn)行融合、應(yīng)用、落地 數(shù)據(jù)感知與空間計(jì)算的融合推動(dòng)精準(zhǔn)運(yùn)營(yíng)管理 4.1.2應(yīng)用案例 26沉浸式AR劇情秀 AR與虛擬人營(yíng)銷 XR沉浸式數(shù)字街區(qū) 虛擬試穿試戴 4.1.3未來展望 294.2空間計(jì)算+文旅：重塑產(chǎn)業(yè)結(jié)構(gòu)，體驗(yàn)歷史與未來 294.2.1行業(yè)背景 294.2.2應(yīng)用案例 29建筑可閱讀與文化地標(biāo) 博物館數(shù)字化升級(jí) 古跡復(fù)原，景區(qū)體驗(yàn)升級(jí) AR讓文化“活”起來，將城市記憶還給城市 4.3空間計(jì)算+工業(yè)：構(gòu)建新型工業(yè)數(shù)字化環(huán)境，推動(dòng)產(chǎn)業(yè)效率提升 4.3.1行業(yè)背景 314.3.2行業(yè)應(yīng)用 314.3.3典型案例 324.4空間計(jì)算+會(huì)展：構(gòu)建虛實(shí)融合的雙會(huì)展空間，提供更具想象力的內(nèi)容體驗(yàn) 4.4.1行業(yè)背景 334.4.2發(fā)展需求及趨勢(shì) 基于三維重建和渲染技術(shù)，打造會(huì)展行業(yè)虛實(shí)融合的線下展廳 基于空間計(jì)算復(fù)刻虛擬會(huì)展空間場(chǎng)景，打造線上線下雙線展會(huì) 基于會(huì)展中心的空間數(shù)據(jù)管理，實(shí)現(xiàn)“人對(duì)物”“人對(duì)人”的對(duì)應(yīng)關(guān)系 空間計(jì)算與虛擬現(xiàn)實(shí)等技術(shù)的深度融合，破局會(huì)展?fàn)I銷新體驗(yàn) 4.4.3典型案例 354.5空間計(jì)算+金融：提升行業(yè)線上服務(wù)體驗(yàn)，推進(jìn)數(shù)字化轉(zhuǎn)型 74.5.1行業(yè)背景 354.5.2應(yīng)用案例 36銀行業(yè)三維數(shù)字虛擬營(yíng)業(yè)廳 國外銀行聯(lián)合元宇宙平臺(tái)打造虛擬空間 364.5.3未來展望 364.6空間計(jì)算+游戲：由沉浸虛擬體驗(yàn)到戶外物理現(xiàn)實(shí)延伸 364.6.1行業(yè)背景 364.6.2應(yīng)用案例 37 4.6.3未來趨勢(shì) 374.7空間計(jì)算+影視媒體：提供身臨其境的觀影體驗(yàn)與較強(qiáng)的互動(dòng) 4.7.1行業(yè)背景 374.7.2應(yīng)用案例 38開物AR點(diǎn)云數(shù)字孿生平臺(tái)保障新華社直播 虛擬虛擬人助力影視媒體 AT&T打造體育賽事直播新體驗(yàn) 4.7.3未來挑戰(zhàn) 384.8空間計(jì)算+協(xié)同辦公：打造趨近現(xiàn)實(shí)的線上辦公體驗(yàn) 394.8.1行業(yè)背景 394.8.2應(yīng)用案例 39 Meta/微軟集合虛擬現(xiàn)實(shí)技術(shù)打造元宇宙會(huì)議平臺(tái) 4.8.3存在問題及趨勢(shì) 5總結(jié)與展望 415.1技術(shù)發(fā)展建議 5.2產(chǎn)業(yè)發(fā)展建議 8學(xué)術(shù)界對(duì)元宇宙未來的光明前景已形成基本共識(shí)。元宇宙將成為數(shù)字經(jīng)濟(jì)發(fā)展的下一形態(tài)，為其帶來新的動(dòng)力和增長(zhǎng)點(diǎn)。元宇宙的核心特征是虛實(shí)融合，因此也將促進(jìn)虛擬經(jīng)濟(jì)與實(shí)體經(jīng)濟(jì)深入融合，助力實(shí)體經(jīng)濟(jì)更好發(fā)展。元宇宙的高速發(fā)展離不開數(shù)字技術(shù)和信息基礎(chǔ)設(shè)施的支撐，這也為5G、AI、空間計(jì)算等相關(guān)技術(shù)與產(chǎn)業(yè)的融合發(fā)展帶來了新的機(jī)遇。空間計(jì)算最初指對(duì)地圖及其他地理位置數(shù)據(jù)進(jìn)行計(jì)算和分析以實(shí)現(xiàn)定位與測(cè)量的技術(shù)。在過去主要應(yīng)用在全球衛(wèi)星定位系統(tǒng)（GPS）和地理信息系統(tǒng)（GIS）等宏觀領(lǐng)域。隨著XR、虛擬人、數(shù)字孿生等技術(shù)領(lǐng)域的發(fā)展，微觀空間的計(jì)算需求也在逐漸增加。本白皮書所討論的空間計(jì)算主要指微觀空間計(jì)算的相關(guān)技術(shù)及發(fā)展。有別于傳統(tǒng)的桌面計(jì)算和移動(dòng)計(jì)算，空間計(jì)算并不局限于實(shí)體屏幕的矩形框，而是可以自由地在我們周圍的環(huán)境中流動(dòng)。語音、視覺、手勢(shì)等其他更為自然的輸入方式將進(jìn)一步豐富鼠標(biāo)、鍵盤、觸摸屏等傳統(tǒng)交互模式，使人們能夠以最適合自己當(dāng)前場(chǎng)景與業(yè)務(wù)流程的方式進(jìn)行接入和交互。從核心技術(shù)維度考量，空間計(jì)算是由AI技術(shù)、三維重建、空間感知、用戶感知、空間數(shù)據(jù)管理等一系列技術(shù)支撐實(shí)現(xiàn)的。它是構(gòu)建元宇宙空間并實(shí)現(xiàn)與現(xiàn)實(shí)世界自由切換、相互融合的關(guān)鍵技術(shù)。從計(jì)算載體維度考量，空間計(jì)算可以分為端計(jì)算、云計(jì)算以及由5G作為重要媒介的云邊端協(xié)同計(jì)算。通過空間計(jì)算可以實(shí)現(xiàn)人、物、機(jī)器和虛擬空間的無縫銜接，構(gòu)建數(shù)字孿生體，創(chuàng)造虛實(shí)融合的新經(jīng)濟(jì)形態(tài)，最終驅(qū)動(dòng)新一輪的產(chǎn)業(yè)變革，推動(dòng)XR等元宇宙相關(guān)產(chǎn)業(yè)發(fā)展及落地。92.1三維重建：構(gòu)建下一代數(shù)字世界的基礎(chǔ)技術(shù)2.1.1三維重建的概念人類通過學(xué)習(xí)可以從單個(gè)或多個(gè)視角的圖像信息中推理和想象出物體或場(chǎng)景的三維幾何形狀信息，賦予計(jì)算機(jī)這種能力是計(jì)算機(jī)視覺和三維重建所追求的目標(biāo)。三維重建是指對(duì)三維物體建立適合計(jì)算機(jī)表達(dá)和處理的數(shù)學(xué)模型，是在計(jì)算機(jī)環(huán)境下對(duì)三維物體進(jìn)行處理、操作和分析的基礎(chǔ)，也是在計(jì)算機(jī)中通過虛擬現(xiàn)實(shí)表達(dá)客觀世界的關(guān)鍵技術(shù)。具體到計(jì)算機(jī)視覺領(lǐng)域，三維重建是指根據(jù)單視圖或者多視圖的圖像重建三維信息的過程，根據(jù)相機(jī)采集到的圖片數(shù)據(jù)、深度圖數(shù)據(jù)或者兩種數(shù)據(jù)的融合重建出物體或場(chǎng)景的三維模型，從而建立真實(shí)世界的數(shù)字化表達(dá)。實(shí)現(xiàn)物理空間/物體的三維模型離不開空間點(diǎn)云的構(gòu)建，而三維重建作為生成高精度空間點(diǎn)云的核心算法，包含了圖像特征點(diǎn)的提取和匹配、運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)、三維幾何重建、表面紋理重建等核心技術(shù)。三維重建的發(fā)展歷程離不開計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù)的進(jìn)步。二十世紀(jì)八十年代，第一屆國際計(jì)算機(jī)視覺大會(huì)ICCV在倫敦舉辦，標(biāo)志著現(xiàn)代計(jì)算機(jī)視覺研究的開端。進(jìn)入二十一世紀(jì)以來，人工智能飛速發(fā)展，深度學(xué)習(xí)以及相關(guān)的神經(jīng)網(wǎng)絡(luò)等技術(shù)的出現(xiàn)又是一次巨大的突破，相較之前的手工定義特征，卷積神經(jīng)網(wǎng)絡(luò)的特征表達(dá)能力要高得多，使得三維重建有了更新的發(fā)展。2.1.2三維重建的關(guān)鍵技術(shù)模塊三維重建的主要流程是：首先采集物體的二維圖像信息，進(jìn)而對(duì)相關(guān)數(shù)據(jù)進(jìn)行分析處理，最后利用三維重建的相關(guān)技術(shù)重建真實(shí)環(huán)境中物體表面的輪廓信息。經(jīng)過數(shù)十年的發(fā)展與技術(shù)迭代，基于視覺的三維重建技術(shù)已經(jīng)衍生發(fā)展出多種實(shí)現(xiàn)方法，主要可分為接觸式和非接觸式。接觸式三維重建技術(shù)因可能對(duì)三維重建對(duì)象（物體/空間等）造成破壞及影響，近年來已經(jīng)較少使用，此處不做贅述。非接觸式可分為主動(dòng)視覺法和被動(dòng)視覺法?；谥鲃?dòng)視覺的三維重建1、激光掃描法激光掃描法是一種基于激光測(cè)距儀的三維重建技術(shù)方法，利用激光往返的時(shí)間差可以計(jì)算待測(cè)物體和儀器之間的距離。在對(duì)空間環(huán)境進(jìn)行三維重建的時(shí)候，應(yīng)該使用多點(diǎn)、陣列式的激光，或者旋轉(zhuǎn)交叉的線狀激光掃描空間環(huán)境，保證采集到的環(huán)境三維數(shù)據(jù)的完整性。2、結(jié)構(gòu)光法基于結(jié)構(gòu)光方法的三維重建，涉及到三角測(cè)量原理、圖像處理等技術(shù)，為主動(dòng)獲取信息的技術(shù)，常見的結(jié)構(gòu)光有：點(diǎn)結(jié)構(gòu)光、線結(jié)構(gòu)光、面結(jié)構(gòu)光等。一般通過人為方式將設(shè)定好的結(jié)構(gòu)光投射到待重建物體上，調(diào)制光線不同角度方向后，采用視覺傳感器來采集目標(biāo)物體的參數(shù)等信息，并輸入計(jì)算機(jī)分析計(jì)算，依據(jù)立體信息輔助提取物體的深度信息，以達(dá)到三維重建的目的。陰影法是一種簡(jiǎn)單、可靠、低功耗的重建物體三維模型的方法。與傳統(tǒng)的結(jié)構(gòu)光法相比，這種方法對(duì)硬件性能要求較低，只需要將一臺(tái)相機(jī)面向被燈光照射的物體放置，通過移動(dòng)光源前面的物體來捕獲移動(dòng)的陰影，再觀察陰影的空間位置，從而重建出物體的三維結(jié)構(gòu)模型。TOF(Timeofflight)法是主動(dòng)測(cè)距技術(shù)的一種，可從發(fā)射極向物體發(fā)射脈沖光，遇到物體反射后，接收器收到反射光時(shí)停止計(jì)時(shí)，由于光和聲在空氣中的傳播速度是不變的，從而通過發(fā)射到接收的時(shí)間差來確定物體的距離，進(jìn)而確定產(chǎn)生的深度信息。5、雷達(dá)技術(shù)雷達(dá)作為常見的主動(dòng)視覺傳感器在研究中得到了廣泛應(yīng)用，常見的方法可具體分為三角測(cè)量法和TOF測(cè)距法。類似于激光測(cè)距，雷達(dá)也是通過計(jì)算發(fā)射光束和接受光束之間的時(shí)間差獲取目標(biāo)物體的距離、深度等信息，可應(yīng)用于復(fù)雜條件的室外，實(shí)現(xiàn)避障、路徑規(guī)劃等功能。Kinect傳感器是最近幾年發(fā)展的一種消費(fèi)級(jí)的3D攝像機(jī)，它利用鐳射光散斑測(cè)距的方法獲取場(chǎng)景的深度信息，Kinect傳感器中間的鏡頭為攝像機(jī)，左右兩端的鏡頭被稱為3D深度感應(yīng)器，可以同時(shí)獲取深度信息、彩色信息、以及其他信息等。基于被動(dòng)視覺的三維重建傳統(tǒng)基于被動(dòng)視覺的三維重建技術(shù)，其過程主要包括數(shù)據(jù)采集、位姿估計(jì)、幾何重建、結(jié)構(gòu)表達(dá)。首先通過視覺傳感器(一臺(tái)或多臺(tái)相機(jī))獲取圖像序列，然后提取其中有用的信息，最后對(duì)這些信息進(jìn)行逆向工程的建模，從而重建出物體的三維結(jié)構(gòu)模型，其典型技術(shù)如下：SFM是一種三維重建的方法，用于從運(yùn)動(dòng)中恢復(fù)結(jié)構(gòu)，實(shí)現(xiàn)3D重建。人的大腦可以從動(dòng)的物體中取得其三維的信息，是因?yàn)榇竽X在動(dòng)的2D圖像中找到了匹配的地方，然后通過匹配點(diǎn)之間的視差得到相對(duì)的深度信息。SFM的輸入是一段運(yùn)動(dòng)或者一時(shí)間系列的2D圖群，然后通過2D圖之間的匹配，恢復(fù)出該場(chǎng)景的三維結(jié)構(gòu)信息以及每張照片對(duì)應(yīng)的攝像機(jī)內(nèi)外參數(shù)，相當(dāng)于做相機(jī)標(biāo)定。攝像機(jī)標(biāo)定就是求解攝像機(jī)的內(nèi)外參數(shù)，攝像機(jī)的內(nèi)外參數(shù)描述了三維世界到二維照片像素的映射關(guān)系，從而恢復(fù)三維場(chǎng)景的結(jié)構(gòu)信息即稀疏點(diǎn)云。SFM中我們用來做重建的點(diǎn)是由特征匹配提供，這些匹配點(diǎn)天生不密集，所以稱為稀疏點(diǎn)云，通多視圖立體匹配（Multi-viewStereo，MVS）是計(jì)算機(jī)領(lǐng)域中一個(gè)核心問題。拍照通過相機(jī)把三維場(chǎng)景映射為二維，而多視圖立體匹配重建則剛好相反，其目的是通過不同視點(diǎn)拍攝的圖像，恢復(fù)出真實(shí)的三與在不同視角拍攝的圖像一起作為輸入，進(jìn)行稠密點(diǎn)云重建。MVS可幾乎對(duì)照片中的每個(gè)像素點(diǎn)都進(jìn)行匹配，幾乎重建每一個(gè)像素點(diǎn)的三維坐標(biāo)，這樣得到的點(diǎn)的密集程度可以較接近圖像。3、三維重建數(shù)據(jù)的網(wǎng)格表現(xiàn)三維重建數(shù)據(jù)目前主要采取非歐幾里得表示法進(jìn)行表示，它可以較好地表示模型表面平滑度，提供模型固有幾何特性。基于非歐幾里德幾何數(shù)據(jù)表示的結(jié)果類型主要是點(diǎn)云模型和三維網(wǎng)格模型。由于點(diǎn)云數(shù)據(jù)的非結(jié)構(gòu)化、缺乏連通性和不規(guī)則性，它們?nèi)匀粚?duì)超越純?nèi)S重建的任務(wù)提出了挑戰(zhàn)。三維重建模型的點(diǎn)云輸出需要進(jìn)一步的處理，才能用于現(xiàn)有的研究領(lǐng)域。三維網(wǎng)格模型相對(duì)于其他形式的模型來說，在形狀分辨率、平滑度和整體質(zhì)量方面產(chǎn)生了顯著的提升，在游戲、動(dòng)畫制作、影視業(yè)中，三維網(wǎng)格模型的應(yīng)用也最為廣泛。網(wǎng)格生成算法的輸入一般為三維點(diǎn)云，輸出為三維網(wǎng)格。三維多邊形網(wǎng)格是構(gòu)成三維模型的頂點(diǎn)、邊和面的集合，通過三維空間中坐標(biāo)相連的頂點(diǎn)來表示曲面。三維網(wǎng)格也可以表示為圖形，其中節(jié)點(diǎn)表示頂點(diǎn)，邊表示頂點(diǎn)之間的連通性。一般來說，三維網(wǎng)格中頂點(diǎn)密集，包含信息量越大，所呈現(xiàn)的模型精確度越高，增強(qiáng)了模型的表征能力。4、渲染呈現(xiàn)在點(diǎn)云或者網(wǎng)格的基礎(chǔ)上，傳統(tǒng)圖形學(xué)方法實(shí)現(xiàn)3D渲染，分別是光柵化（rasterization）和光線追蹤（raytracing）兩種方法，都是對(duì)照相機(jī)拍照的光學(xué)過程進(jìn)行數(shù)學(xué)物理建模來實(shí)現(xiàn)的，代表性企業(yè)是Unreal、基于人工智能的渲染與建模隨著人工智能、深度學(xué)習(xí)的出現(xiàn)，為三維重建領(lǐng)域提供了新的可能性，基于圖像的重建問題呈現(xiàn)出新的面貌?；谳^好計(jì)算機(jī)硬件水平和大量數(shù)據(jù)支撐，研究人員可以將三維重建與人工智能方法相結(jié)合，減少復(fù)雜的數(shù)據(jù)標(biāo)定和數(shù)學(xué)運(yùn)算的過程，使得針對(duì)物體和物理空間的三維重建更加高效及便利。通常情況下，網(wǎng)絡(luò)主體結(jié)構(gòu)并不復(fù)雜，僅僅由樸素卷積層和全連接層簡(jiǎn)單連接，組成較深層次的卷積神經(jīng)網(wǎng)絡(luò)，從而學(xué)習(xí)圖像的多維度多尺度特征，不需要復(fù)雜的標(biāo)定過程，也不需要對(duì)物體參數(shù)進(jìn)行復(fù)雜的數(shù)學(xué)運(yùn)算，即可獲得三維模型的重建結(jié)果。整個(gè)三維重建的過程可以理解為對(duì)一個(gè)函數(shù)的擬合，自變量是像素信息，因變量是圖像的深度信息，訓(xùn)練的時(shí)候還可以加入圖像語義信息，以提高神經(jīng)網(wǎng)絡(luò)對(duì)環(huán)境中目標(biāo)物體的識(shí)別和檢測(cè)能力，可以對(duì)目標(biāo)物體進(jìn)行分割和優(yōu)化，提高重建模型的精確度。深度學(xué)習(xí)方法不同于傳統(tǒng)方法，不存在固定的公式和計(jì)算過程，而是發(fā)揮神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)的能力，根據(jù)訓(xùn)練數(shù)據(jù)集自主調(diào)節(jié)模型參數(shù)，更大程度上依賴于數(shù)據(jù)集的豐富程度和構(gòu)建的神經(jīng)網(wǎng)絡(luò)的合理性。目前從求解精度、泛化能力以及場(chǎng)景適應(yīng)性來看的話，純基于AI的建模渲染還達(dá)不到傳統(tǒng)方法所能提供的能力，但基于神經(jīng)網(wǎng)絡(luò)的方法取代傳統(tǒng)重建的一些關(guān)鍵步驟的實(shí)現(xiàn)，二者互相融合，已取得了較好的成果。得益于人工智能、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，基于AI的三維重建已經(jīng)成為目前計(jì)算機(jī)視覺研究領(lǐng)域的熱點(diǎn)，研究成果不斷涌現(xiàn)，未來可期。2.1.3三維重建技術(shù)的應(yīng)用現(xiàn)狀與展望基于視覺的三維重建具有速度快、實(shí)時(shí)性好等優(yōu)點(diǎn)，產(chǎn)業(yè)及科研等多個(gè)方向驅(qū)動(dòng)其快速發(fā)展，研究成果已在商業(yè)、文旅、工業(yè)、會(huì)展等領(lǐng)域被廣泛應(yīng)用，可在空間場(chǎng)景識(shí)別、機(jī)器人、無人駕駛、SLAM、虛擬現(xiàn)實(shí)和3D打印等場(chǎng)景中發(fā)揮價(jià)值。目前商湯科技基于視覺的三維場(chǎng)景重建已經(jīng)可以進(jìn)行大規(guī)模的高精度三維建模，可以實(shí)現(xiàn)小到單個(gè)物體，到商超景區(qū)，大到城區(qū)級(jí)的虛擬空間復(fù)刻，并在一定尺度范圍內(nèi)保持良好的模型精細(xì)度，每1萬平米場(chǎng)景內(nèi)，做到稠密點(diǎn)云平均誤差小于10厘米的精細(xì)度。有了三維高精度地圖之后，則可在多個(gè)行業(yè)領(lǐng)域進(jìn)行賦能應(yīng)用，比如在現(xiàn)實(shí)場(chǎng)景中實(shí)現(xiàn)精準(zhǔn)定位以及無縫虛實(shí)融合的效果（AR在基于視覺重定位SLAM技術(shù)進(jìn)行耦合應(yīng)用之后，還可以實(shí)時(shí)、準(zhǔn)確地獲取用戶的相機(jī)位姿（6DOF）。中比較耗時(shí)的模塊將會(huì)遷移到云端，利用云端的強(qiáng)大計(jì)算能力來實(shí)現(xiàn)高逼真的物理模擬、遮擋處理和虛實(shí)交互，以及精準(zhǔn)的光照估計(jì)、電影級(jí)的真實(shí)感繪制與虛實(shí)融合效果。未來，在三維重建與渲染技術(shù)的基礎(chǔ)上，AR將會(huì)和AI技術(shù)深度融合，借助大規(guī)模物理世界的高效三維數(shù)字化（包括提取出不同粒度的語義信息及人的行為（例如運(yùn)動(dòng)、消費(fèi)、社交等行為）的數(shù)字化，AI所帶來的智能化進(jìn)一步提升AR應(yīng)用的想象空間，融入到人們生活和工作的方方面面。虛實(shí)融合的場(chǎng)景規(guī)模也將會(huì)越來越大，未來會(huì)出現(xiàn)城市級(jí)甚至地球級(jí)的虛實(shí)融合。2.2空間感知：智能終端多樣化帶動(dòng)更深度的空間智能服務(wù)2.2.1空間感知的概念空間感知是指獲取人、物在空間中狀態(tài)的能力，包括位置、方向、速度等，且可以建立周圍環(huán)境的幾何和語義模型，是AR導(dǎo)航、AR多人協(xié)作及多種空間應(yīng)用的基礎(chǔ)。通常來說，空間感知是通過一系列傳感器之間的數(shù)據(jù)校準(zhǔn)進(jìn)行確認(rèn)的。以智能手機(jī)為核心，GPS、光通信、藍(lán)牙、計(jì)算機(jī)視覺識(shí)別等不同的技術(shù)路線，可以帶來不同的空間感知系統(tǒng)，其對(duì)應(yīng)的精度、適應(yīng)性也不相同。智能手機(jī)、機(jī)器人、汽車等不同類型的智能設(shè)備要在在復(fù)雜空間中的開啟定位，并提供與位置相關(guān)的服務(wù)，都離不開空間感知。2.2.2空間感知的關(guān)鍵技術(shù)模塊定位、建圖和識(shí)別是空間感知的核心技術(shù)模塊。具體的講，定位可以分為局部定位和全局定位，傳統(tǒng)的SLAM算法通過視覺、IMU、激光雷達(dá)等設(shè)備實(shí)時(shí)估算設(shè)備在空間中的局部相對(duì)位置和姿態(tài)，全局定位則嘗試將當(dāng)前設(shè)備的觀測(cè)與離線地圖進(jìn)行匹配，得到設(shè)備在空間中的絕對(duì)位置和姿態(tài)。建圖可以分為實(shí)時(shí)建圖和離線建圖，實(shí)時(shí)建圖是設(shè)備根據(jù)當(dāng)前運(yùn)行輸入實(shí)時(shí)建立和更新環(huán)境的表示，離線建圖則是將離線采集的數(shù)據(jù)進(jìn)行后處理得到環(huán)境的表示，兩者應(yīng)用側(cè)重不同，都是必不可缺部分。識(shí)別包括識(shí)別和追蹤場(chǎng)景中特定的平面物體或者三維物體，輸出其在環(huán)境中的六自由度位姿。識(shí)別還包括檢測(cè)環(huán)境中特定的平面,比如水平面和豎直面，可以用于虛擬物體的放置和虛實(shí)交互等。同步的定位和建圖（SLAM）實(shí)現(xiàn)設(shè)備運(yùn)行期間，對(duì)空間環(huán)境的快速構(gòu)建并提供定位服務(wù)，涉及實(shí)時(shí)地圖數(shù)據(jù)標(biāo)識(shí)、地圖信息感知、數(shù)據(jù)關(guān)聯(lián)、實(shí)時(shí)構(gòu)圖、圖像檢索、特征點(diǎn)匹配、反向定位、回環(huán)檢測(cè)、偏移校正、多傳感器融合等技術(shù)。圖像檢索與特征點(diǎn)匹配技術(shù)是實(shí)現(xiàn)實(shí)時(shí)空間定位的關(guān)鍵環(huán)節(jié)，應(yīng)具備較高的匹配準(zhǔn)確率與成功率，同時(shí)基于對(duì)單次定位時(shí)長(zhǎng)的實(shí)用性考量，圖像檢索與特征匹配應(yīng)具備較高效率。反向定位技術(shù)依賴圖像檢索及特征點(diǎn)匹配過程進(jìn)行本體位姿推導(dǎo)，為保證復(fù)雜場(chǎng)景下導(dǎo)航高可用性，反向定位應(yīng)具備較高定位精度。為提高定位準(zhǔn)確度及定位效率，并兼容大規(guī)模、特征點(diǎn)稀缺場(chǎng)景，可引入多傳感器融合技術(shù)，基于GNSS先驗(yàn)位置或融合其他傳感器進(jìn)行位置估算，在該位置信息鄰近圖像幀進(jìn)行局部搜索，提升定位效率及定位成功率。2.2.3空間感知技術(shù)的應(yīng)用現(xiàn)狀與展望定位與建圖是一個(gè)相當(dāng)古老的問題。前人數(shù)十年的研究工作，通過描述物理運(yùn)動(dòng)狀態(tài)以及空間幾何關(guān)系，設(shè)計(jì)出了各種復(fù)雜的模型和算法來解決這一問題，例如，里程計(jì)估算（包括視覺里程計(jì)、視覺慣性里程計(jì)和激光雷達(dá)里程計(jì)等基于圖像的全局重定位，位置識(shí)別，SLAM和三維重建。在理想條件下，這些傳感器和模型能夠準(zhǔn)確估計(jì)系統(tǒng)狀態(tài)。但在實(shí)際應(yīng)用中，傳感器測(cè)量誤差、不準(zhǔn)確的系統(tǒng)建模、復(fù)雜的環(huán)境動(dòng)態(tài)影響和一些不符合真實(shí)環(huán)境的約束條件都會(huì)影響傳統(tǒng)模型的準(zhǔn)確性和可靠性。由于傳統(tǒng)模型的局限性以及近年來在機(jī)器學(xué)習(xí)（尤其是深度學(xué)習(xí)）領(lǐng)域的一系列進(jìn)展，促使研究人員考慮將數(shù)據(jù)驅(qū)動(dòng)（學(xué)習(xí)）方法視為一種解決問題新方案。描述了輸入傳感器數(shù)據(jù)（例如視覺、慣性、LIDAR或其他傳感器）與輸出目標(biāo)值（例如位置、方向、場(chǎng)景幾何或語義）之間的關(guān)系。傳統(tǒng)建模方法通過手動(dòng)設(shè)計(jì)來實(shí)現(xiàn)特定領(lǐng)域的算法，而基于學(xué)習(xí)的方法則通過深度學(xué)習(xí)從大量數(shù)據(jù)中學(xué)到的相關(guān)知識(shí)來構(gòu)建這一映射關(guān)系。一些研究人員嘗試在已有建圖框架內(nèi)用深度學(xué)習(xí)方法替換定位和建圖的部分模塊，如將基于深度學(xué)習(xí)的特征匹配、回環(huán)檢測(cè)、稠密建圖等。另一些研究人員則嘗試完全基于深度學(xué)習(xí)的端到端的系統(tǒng)來解決定位和建圖的任務(wù)。兩種方法近年都取得了較大的發(fā)展，已經(jīng)在不少定位和建圖任務(wù)上超越了傳統(tǒng)算法的效果。近年來隨著神經(jīng)輻射場(chǎng)(NERF)等技術(shù)的涌現(xiàn)，展示出深度學(xué)習(xí)算法在三維視覺領(lǐng)域的巨大潛力和全新應(yīng)用可能性。端側(cè)的同步定位和建圖(SLAM)的跟蹤精度和穩(wěn)定性方面在近年也已經(jīng)取得長(zhǎng)足的進(jìn)展。依賴視覺、慣性測(cè)量單元的多傳感器融合的方案能夠比單傳感器方案對(duì)重復(fù)紋理、動(dòng)態(tài)場(chǎng)景有更好的魯棒性，在長(zhǎng)距離追蹤上的漂移可以做到低于1%。當(dāng)前，基于端的空間感知環(huán)境重建方案范圍受限、難以直接處理多人同步，對(duì)于高精度的空間感知所需的深度學(xué)習(xí)模型算力需求量大，端側(cè)計(jì)算往往需要犧牲部分性能，且?guī)砝m(xù)航和發(fā)熱的問題。通過云-邊-端結(jié)合的方式來實(shí)現(xiàn)大規(guī)模場(chǎng)景的高精度定位與重建已經(jīng)成為重要趨勢(shì)，得益于5G的高帶寬和低時(shí)延特性，通過離線采集環(huán)境的圖像數(shù)據(jù)并構(gòu)建高精度的視覺地圖，將具有復(fù)雜計(jì)算量的模塊放置在云端，然后通過結(jié)合設(shè)備本地的SLAM跟蹤能力并融合在視覺地圖中的定位結(jié)果，既可以解決大場(chǎng)景下SLAM跟蹤漂移丟失等問題，又可以滿足持久化AR內(nèi)容、多人交互、AR導(dǎo)航等需求。2.3用戶感知：多模態(tài)空間交互促進(jìn)人與環(huán)境更深度的融合2.3.1用戶感知的概念感知是指一個(gè)人選擇、組織和解釋接受到的信息，以形成對(duì)外部世界有意義的描繪過程。信息的來源與形態(tài)具有多樣性，每種形態(tài)的數(shù)據(jù)都稱為一種模態(tài)，就像人可以通過聽覺、視覺、觸覺來感知語音、圖像、文本等多模態(tài)信息。在空間計(jì)算中，用戶感知分為兩個(gè)重要組成部分。一是對(duì)用戶表達(dá)的信息處理，即設(shè)備或系統(tǒng)對(duì)用戶形象、狀態(tài)、行為表達(dá)等信息的捕捉、分析與理解，二是此基礎(chǔ)上進(jìn)行的認(rèn)知引導(dǎo)及交互驅(qū)動(dòng)。2.3.2用戶感知的關(guān)鍵技術(shù)模塊面部感知人臉技術(shù)是用戶感知中對(duì)用戶特征進(jìn)行分析和應(yīng)用的重要一步，主要包括：人臉關(guān)鍵點(diǎn)檢測(cè)、人臉識(shí)別、人臉重建、眼球追蹤等。1、人臉關(guān)鍵點(diǎn)檢測(cè)人臉關(guān)鍵點(diǎn)檢測(cè)指在人臉圖像上，定位出人臉輪廓、眼睛、眉毛、嘴巴及鼻子等重要部位，關(guān)鍵點(diǎn)能反映各個(gè)部位的臉部特征，因此，需要定位出這些關(guān)鍵點(diǎn)的準(zhǔn)確位置。隨著技術(shù)的發(fā)展，人臉關(guān)鍵點(diǎn)的數(shù)量從最初的5個(gè)點(diǎn)逐步增長(zhǎng)到100多個(gè)點(diǎn)，其中，68點(diǎn)標(biāo)注是至今最為通用的一種標(biāo)注方案。人臉關(guān)鍵點(diǎn)檢測(cè)是是諸如人臉識(shí)別、三維人臉重建、面部驅(qū)動(dòng)等其他人臉相關(guān)任務(wù)的基礎(chǔ)。2、人臉識(shí)別人臉識(shí)別指對(duì)人臉進(jìn)行識(shí)別區(qū)分從而檢測(cè)出生物體個(gè)體。其中2D人臉應(yīng)用研究時(shí)間長(zhǎng)，方案成熟，但由于2D圖像信息源有限，因此在某些復(fù)雜的應(yīng)用場(chǎng)景中，存在一定局限性。3D人臉識(shí)別指使用3D結(jié)構(gòu)光、雙目立體視覺等方案，在獲得圖像源的基礎(chǔ)上，同時(shí)提供人臉的深度和3D結(jié)構(gòu)信息，基于混合信息進(jìn)行處理的模型，比傳統(tǒng)只基于圖像的模型具有更高的識(shí)別準(zhǔn)確率與活體檢測(cè)正確率。3、人臉重建人臉重建指建立人臉的三維模型。早期的方法包括使用軟件進(jìn)行手工建模，現(xiàn)在依然被影視游戲行業(yè)所大量使用。隨著傳感器硬件的不斷發(fā)展與成熟，一系列基于激光傳感器的三維掃描儀器逐漸成熟并被應(yīng)用到三維重建中。其中基于結(jié)構(gòu)光的人臉重建與識(shí)別方案，精度可達(dá)毫米級(jí)。此外，三維可變形人臉模型，作為經(jīng)典的三維人臉形狀和紋理統(tǒng)計(jì)模型，其技術(shù)從早期基于傳統(tǒng)的以analysis-by-Synthesis為代表的由粗到精優(yōu)化方法到如今基于深度學(xué)習(xí)模型的系數(shù)回歸，在人臉領(lǐng)域中一直有著重要的地位與廣泛的應(yīng)用。4、眼球追蹤眼球追蹤主要用于獲取并研究眼球運(yùn)動(dòng)，從而捕獲高幀率的實(shí)時(shí)微小視野轉(zhuǎn)動(dòng)與變化信息，跟蹤眼球的注視點(diǎn)等，可用于注視點(diǎn)渲染，XR穿戴式設(shè)備降低眩暈感等方向。眼動(dòng)追蹤技術(shù)基于眼球的生理結(jié)構(gòu)提煉出不同種類的特征，以實(shí)現(xiàn)追蹤?，F(xiàn)階段眼動(dòng)追蹤技術(shù)具有較高的多樣性，常見的有：瞳孔角膜反射技術(shù)、視網(wǎng)膜影像技術(shù)、基于眼睛建模的視覺中心計(jì)算技術(shù)、視網(wǎng)膜反射光強(qiáng)度檢測(cè)技術(shù)、角膜反射光強(qiáng)度檢測(cè)技術(shù)等。其中前三類需要搭配相機(jī)以拍攝眼部圖像，而后兩類僅需光敏傳感器元人體姿態(tài)的感知1、人體姿態(tài)估計(jì)人體姿態(tài)估計(jì)指根據(jù)圖像類輸入（圖像、視頻、深度圖等）來定位人體關(guān)鍵部位并建立人體表現(xiàn)形式（例如人體骨骼或mesh來作為人體姿態(tài)識(shí)別的輸入。傳統(tǒng)的姿態(tài)估計(jì)主要是基于圖結(jié)構(gòu)模型方法，但是由于精度和復(fù)雜度等原因，目前主流是采用基于深度學(xué)習(xí)的姿態(tài)估計(jì)方法，人體姿態(tài)估計(jì)當(dāng)前主要分為2D人體姿態(tài)估計(jì)從使用場(chǎng)景上主要分為單人和多人姿態(tài)檢測(cè)。肢體的非剛性和高自由度，會(huì)產(chǎn)生復(fù)雜的姿態(tài)、及自遮擋。復(fù)雜的環(huán)境可能會(huì)導(dǎo)致前景遮擋，或者多人的互遮擋。多人姿態(tài)估計(jì)分為top-down和bottom-up兩種方案。其中top-down是首先檢測(cè)人，然后對(duì)每個(gè)人進(jìn)行姿勢(shì)估計(jì)，該類方法召回率較高，但精度受限于檢測(cè)的算法，且速度較慢；bottom-up的方法首先在輸入圖像中預(yù)測(cè)每個(gè)人的所有身體部位，然后通過其他算法對(duì)它們進(jìn)行分組聚合，速度可以較快，精度一般低于top-down的方法。3D姿態(tài)估計(jì)根據(jù)使用人體模型的不同，分為3D關(guān)鍵點(diǎn)估計(jì)和3Dmesh估計(jì)兩種技術(shù)路線。其中3D關(guān)鍵點(diǎn)估計(jì)可分為單階段和多階段方法。單階段直接預(yù)測(cè)3D關(guān)鍵點(diǎn)的信息，但受限于2D-3D的映射是一個(gè)高度非線性問題，而且3D空間的搜索范圍更廣，預(yù)測(cè)難度較大。多階段則首先檢測(cè)2D關(guān)鍵點(diǎn)，然后將其擴(kuò)展于深度相機(jī)的掃描重建，基于網(wǎng)絡(luò)隱式表達(dá)神經(jīng)渲染類等。2、手勢(shì)的識(shí)別和姿態(tài)追蹤手勢(shì)識(shí)別與姿態(tài)追蹤分為兩個(gè)技術(shù)路線，接觸式和非接觸式。接觸式的主流方案是數(shù)據(jù)手套，通過慣性傳感器、彎曲傳感器感知用戶手部各關(guān)節(jié)的變化情況，繼而可以計(jì)算用戶手部姿態(tài)的變化。除了彎曲傳感器外，學(xué)術(shù)界也有持續(xù)探索電磁場(chǎng)、肌電信號(hào)檢測(cè)的方案。除了感知用戶的姿態(tài)外，一些實(shí)驗(yàn)室階段的數(shù)據(jù)手套可以完成觸感/力反饋模擬，極大提高了MR眼鏡交互的想象空間。非接觸式手勢(shì)識(shí)別和姿態(tài)追蹤，顧名思義，以非接觸式的傳感器作為輸入，感知用戶手勢(shì)姿態(tài)的變化。非接觸式的傳感器，用于手部姿態(tài)追蹤，常見的有彩色相機(jī)、灰度相機(jī)、深度相機(jī)、紅外相機(jī)等等。從方法上，非接觸式姿態(tài)追蹤有兩種主流的方法：數(shù)據(jù)驅(qū)動(dòng)和模型擬合的方法。數(shù)據(jù)驅(qū)動(dòng)方案的兼容性比較好，任何非接觸式傳感器都適合用數(shù)據(jù)驅(qū)動(dòng)的方法完成手部姿態(tài)追蹤，需采集大量手部數(shù)據(jù)進(jìn)行標(biāo)注，利用機(jī)器學(xué)習(xí)的方法完成用戶手部姿態(tài)的追蹤。根據(jù)不同的應(yīng)用場(chǎng)景，輸出的形式可以是2D關(guān)鍵點(diǎn)、3D關(guān)鍵點(diǎn)、3D姿態(tài)、手部尺寸表征量等等。模型擬合法多用于以深度相機(jī)作為輸入的場(chǎng)景，輸入深度圖，分割出手部區(qū)域并構(gòu)建點(diǎn)云，利用預(yù)先構(gòu)建的模型，通過優(yōu)化各關(guān)節(jié)角度、指骨長(zhǎng)度、所有mesh面片頂點(diǎn)全部或部分變量來擬合當(dāng)前點(diǎn)云，優(yōu)化的結(jié)果即為當(dāng)前手部姿態(tài)的結(jié)果。其他感知與驅(qū)動(dòng)1、語音交互該技術(shù)旨在讓機(jī)器能夠處理語音識(shí)別、語義理解，以及它們之間的交互，語音交互（人機(jī)交互）的各個(gè)系統(tǒng)模塊及關(guān)機(jī)技術(shù)組成如圖所示。2、空間音頻空間音頻相關(guān)的聲場(chǎng)渲染技術(shù)給予人聽聲辨位的能力，能聽出在虛擬世界中發(fā)言者的空間位置，實(shí)現(xiàn)人的聲臨其境之感，是虛擬世界與真實(shí)世界自然融合的關(guān)鍵技術(shù)。聲場(chǎng)渲染營(yíng)造人在虛擬空間中的臨場(chǎng)感，強(qiáng)化音頻感知能力，可通過AI降噪，定向拾音等技術(shù)，利用AR眼鏡上的多個(gè)麥克風(fēng)采集音頻，并通過分析用戶的頭部運(yùn)動(dòng)，來判斷當(dāng)前人物處于空間的位置，通過IMU追蹤頭部動(dòng)作，結(jié)合音效定位算法(HRTF)，實(shí)現(xiàn)音頻對(duì)頭部動(dòng)作的實(shí)時(shí)反饋。聲場(chǎng)渲染技術(shù)讓虛擬世界中的虛擬人“進(jìn)化出”聽聲辨位的能力，多用于基于XR的虛擬會(huì)議、虛擬社交、虛擬演出等場(chǎng)景中。3、多模態(tài)感知與理解多模態(tài)感知旨在讓機(jī)器能夠處理和理解多模態(tài)信息的能力，同時(shí)利用文本、圖像、語音等信息以及它們之間的交互，而不是只利用一種信息去做下游任務(wù)，只要能夠轉(zhuǎn)換成數(shù)字形式并且保留語義信息的數(shù)據(jù)，都能被機(jī)器加以利用。4、面部驅(qū)動(dòng)人臉實(shí)時(shí)驅(qū)動(dòng)可由聲音或圖像控制，通過對(duì)人臉結(jié)構(gòu)的掃描，建立一個(gè)包括廣譜語音和唇形的模式庫，利用機(jī)器學(xué)習(xí)來實(shí)現(xiàn)音像的同步化。因?yàn)樘摂M化身的聲音恢復(fù)比實(shí)際要慢，并且特殊的聲音對(duì)應(yīng)的極限和隨后的嘴形之間有很大的轉(zhuǎn)換，因此，業(yè)內(nèi)采用了多種語言之間的協(xié)調(diào)聯(lián)系，以期開發(fā)更為自然、可靠的聲音圖像同步技術(shù)。2.3.3用戶感知技術(shù)的應(yīng)用現(xiàn)狀與展望用戶感知技術(shù)在空間技術(shù)的大量場(chǎng)景都有應(yīng)用，在實(shí)際應(yīng)用中通常面臨的如下問題：復(fù)雜環(huán)境與人類聲形體貌特征的多變性，使得技術(shù)在提升兼容性時(shí)，需依賴大量的真實(shí)數(shù)據(jù)，數(shù)據(jù)采集和標(biāo)注的難度及成本很高；在設(shè)備終端運(yùn)行的算法技術(shù)需同時(shí)滿足低功耗、高效果、高效率的特點(diǎn)，這對(duì)算法迭代提出了很大的挑戰(zhàn)；使用云端計(jì)算能力的圖像及三維視覺算法對(duì)傳輸帶寬及延遲提出了更高要求等。隨著軟硬件技術(shù)能力的進(jìn)步，用戶感知技術(shù)逐步邁向高質(zhì)量、多元化發(fā)展的新階段，具有技術(shù)水平不斷提高，技術(shù)種類逐漸拓展，應(yīng)用價(jià)值日益增長(zhǎng)的特點(diǎn)。1、硬件配套產(chǎn)業(yè)鏈逐步完善。生產(chǎn)生活及研究中可應(yīng)用的傳感器梯隊(duì)拓展升級(jí)，多傳感器結(jié)合的關(guān)鍵難點(diǎn)突破，如ToF和LiDAR等傳感器數(shù)據(jù)加入極大提升了人體姿態(tài)估計(jì)的精度；XR穿戴式設(shè)備中配備齊全的多類傳感器組，使手部追蹤能力在此類終端上得到廣泛落地應(yīng)用。2、數(shù)據(jù)管理與資源化鏈路日益提高。采集標(biāo)注分析存儲(chǔ)產(chǎn)業(yè)升級(jí)，為人臉識(shí)別、人體姿態(tài)檢測(cè)、手勢(shì)識(shí)別追蹤等感知類算法輔助提供強(qiáng)有力支撐。3、軟硬件結(jié)合的多技術(shù)不斷融合與突破。如基于多通道3D全景聲場(chǎng)技術(shù)Ambisonics，可結(jié)合用戶位置與頭部追蹤技術(shù)生成聲場(chǎng)，提高對(duì)視覺、聽覺等多種感覺通道的一致性，使用戶獲得更加精準(zhǔn)的聽音辨位體驗(yàn)。4、5G技術(shù)大幅提升網(wǎng)絡(luò)傳速效率，支持低時(shí)延的高速連接，提升端云協(xié)同計(jì)算與算力分配效率。未來，理想的人機(jī)交互方式將更關(guān)注于人機(jī)交互過程本身，并弱化人機(jī)交互界面的限制，而自然化、場(chǎng)景化和智能化將是人類感知與交互技術(shù)發(fā)展趨勢(shì)的主航道。2.4空間數(shù)據(jù)管理：未來場(chǎng)景推動(dòng)數(shù)據(jù)技術(shù)迭代升級(jí)2.4.1空間數(shù)據(jù)的概念空間數(shù)據(jù)（SpatialData）是指用來表示空間實(shí)體的位置、形狀、大小及其分布特征諸多方面信息的數(shù)據(jù)，用來描述來自現(xiàn)實(shí)世界的目標(biāo)。本白皮書中，空間數(shù)據(jù)主要由視覺圖像數(shù)據(jù)轉(zhuǎn)換而來，所涉及的核心數(shù)據(jù)類型包括：點(diǎn)云、三維模型、表面模型、位置點(diǎn)、向量、路徑、圖片、網(wǎng)格等，數(shù)據(jù)體現(xiàn)出海量多模的特征。由于數(shù)據(jù)資產(chǎn)管理和未來大量多維分析計(jì)算能力的需求，海量多模空間數(shù)據(jù)需要入庫統(tǒng)管，庫內(nèi)需要提供原生數(shù)據(jù)類型、多模數(shù)據(jù)導(dǎo)入函數(shù)、空間計(jì)算算子等能力保證空間數(shù)據(jù)的采集、存儲(chǔ)、處理、生產(chǎn)、調(diào)用全生命周期的高效管理。空間數(shù)據(jù)管理技術(shù)是實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)歸口和高效空間計(jì)算的重要保障，海量多?？臻g數(shù)據(jù)一庫統(tǒng)管成為熱點(diǎn)方向。2.4.2空間數(shù)據(jù)管理的關(guān)鍵技術(shù)模塊空間數(shù)據(jù)管理技術(shù)主要包括數(shù)據(jù)存儲(chǔ)管理技術(shù)、數(shù)據(jù)高效檢索技術(shù)、數(shù)據(jù)可視化支撐技術(shù)及數(shù)據(jù)安全技術(shù)四方面?？臻g數(shù)據(jù)存儲(chǔ)管理技術(shù)中間件存儲(chǔ)與原生庫內(nèi)存儲(chǔ)是空間數(shù)據(jù)存儲(chǔ)管理技術(shù)的兩大重要分支。為了實(shí)現(xiàn)多數(shù)據(jù)源、多尺度、多類型空間數(shù)據(jù)的統(tǒng)一集成管理，傳統(tǒng)GIS廠商致力于開發(fā)中間件形態(tài)的空間數(shù)據(jù)引擎來管理空間數(shù)據(jù)，用戶在多種數(shù)據(jù)管理系統(tǒng)中管理各類地理空間信息，但它將空間數(shù)據(jù)以二進(jìn)制的方式存儲(chǔ)在數(shù)據(jù)庫中，數(shù)據(jù)庫自身并不需要具備直接解析空間數(shù)據(jù)的能力，所有的查詢?cè)L問通過中間件提供的能力開展。與中間件模式并列，IT廠商為方便多模與通用數(shù)據(jù)的融合處理并提升大數(shù)據(jù)量處理性能，選擇從數(shù)據(jù)庫/數(shù)倉/數(shù)據(jù)湖等原生數(shù)據(jù)管理系統(tǒng)進(jìn)行空間能力擴(kuò)展，數(shù)據(jù)庫系統(tǒng)內(nèi)置了大量空間數(shù)據(jù)類型以及面向空間數(shù)據(jù)對(duì)象的分析計(jì)算函數(shù)，通過數(shù)據(jù)庫系統(tǒng)維護(hù)事務(wù)的完整性以及程序執(zhí)行的原子性，通過標(biāo)準(zhǔn)的SQL訪問模型提升用戶訪問的便利度。在商業(yè)數(shù)據(jù)庫領(lǐng)域，Oracle最早推出了OracleSpatial模塊支持空間數(shù)據(jù)的儲(chǔ)存，分析和計(jì)算，提供了一套SQL方案和函數(shù)，用來存儲(chǔ)、檢索、更新和查詢數(shù)據(jù)庫中的空間要素集合；開源數(shù)據(jù)庫軟件如數(shù)據(jù)庫；Milvus是開源領(lǐng)域優(yōu)秀的向量數(shù)據(jù)庫，能夠?yàn)槿f億級(jí)向量數(shù)據(jù)建立索引，非常擅長(zhǎng)處理由各種非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換而來的Embedding向量。近些年隨著云計(jì)算的興起，各類云廠商充分發(fā)揮云平臺(tái)的彈性和分布式的特征，針對(duì)空間數(shù)據(jù)的原生庫內(nèi)存儲(chǔ)計(jì)算能力也做了云化提升，這其中最有代表性的是阿里云借助自研Ganos云原生時(shí)空引擎統(tǒng)一了數(shù)據(jù)庫、大數(shù)據(jù)和數(shù)據(jù)湖多形態(tài)支持空間數(shù)據(jù)處理，覆蓋支持矢量、柵格、軌跡、點(diǎn)云、三維（包含矢量三維模型、BIM模型、精細(xì)化模型、白模、傾斜攝影模型等多種）、圖像、向量等全空間各種數(shù)據(jù)類型，擁有空間數(shù)據(jù)無損壓縮與冷熱存儲(chǔ)能力，將原來分散處理的數(shù)據(jù)進(jìn)行一庫統(tǒng)管與融合計(jì)算，充分適應(yīng)空天計(jì)算、三維重建、空間感知、智能孿生等宏微觀領(lǐng)域，走在了國際前空間數(shù)據(jù)高效檢索技術(shù)高效空間數(shù)據(jù)索引構(gòu)建能力是實(shí)現(xiàn)空間數(shù)據(jù)快速檢索的重要保障。空間索引是指依據(jù)空間對(duì)象的位置和形狀或空間對(duì)象之間的某種空間關(guān)系按一定的順序排列的一種數(shù)據(jù)結(jié)構(gòu)，其中包含空間對(duì)象的概要信息，如對(duì)象的標(biāo)識(shí)、外接矩形及指向空間對(duì)象實(shí)體的指針?？臻g索引性能的優(yōu)越直接影響空間數(shù)據(jù)庫和空間計(jì)算系統(tǒng)的整體性能，常見的空間索引主要包括網(wǎng)格索引、R樹索引、GiST索引和向量索引。網(wǎng)格索引是將研究區(qū)域按一定規(guī)則用橫豎線分為小的網(wǎng)格，記錄每個(gè)網(wǎng)格所包含的空間對(duì)象，當(dāng)用戶進(jìn)行空間查詢時(shí)，首先計(jì)算查詢對(duì)象所在的網(wǎng)格，然后通過該網(wǎng)格快速查詢所選的空間對(duì)象，針對(duì)矢量點(diǎn)/線、點(diǎn)云數(shù)據(jù)，網(wǎng)格索引提供了通用的快速檢索能力；R樹索引運(yùn)用了空間分割的理念，用空間數(shù)據(jù)的最小外包矩形替代空間數(shù)據(jù)本身。它將空間對(duì)象按范圍劃分，對(duì)于海量點(diǎn)云數(shù)據(jù)、三維模型數(shù)據(jù)等按區(qū)域檢索有十分高效的性能；GiST索引允許定義規(guī)則來將任意類型的空間數(shù)據(jù)分布到一個(gè)平衡樹中，并且允許定義一個(gè)方法使用此表示形式來讓某些運(yùn)算符來訪問；向量索引是指通過某種數(shù)學(xué)模型，對(duì)向量構(gòu)建的一種時(shí)間和空間上更高效的數(shù)據(jù)結(jié)構(gòu)。借助向量索引，我們能夠高效地查詢與目標(biāo)向量相似的若干個(gè)向量，十分適合圖像搜索這類高維向量檢索場(chǎng)景?？臻g數(shù)據(jù)可視化支撐技術(shù)空間數(shù)據(jù)可視化支撐是數(shù)據(jù)管理能力的直接體現(xiàn)?？臻g計(jì)算領(lǐng)域中在管理好海量空間數(shù)據(jù)的同時(shí)，還需要快速瀏覽數(shù)據(jù)庫中的大規(guī)模在線數(shù)據(jù)。傳統(tǒng)用于“底圖服務(wù)”的離線切片生產(chǎn)流程很難做到在線聯(lián)機(jī)處理。在空間計(jì)算領(lǐng)域，需要空間數(shù)據(jù)管理能力同時(shí)支持將原始數(shù)據(jù)存儲(chǔ)和可視化訪問進(jìn)行關(guān)聯(lián)，建立一種新的可視化索引，并在此基礎(chǔ)上進(jìn)行空間數(shù)據(jù)的快速顯示訪問?？祜@能力可為單個(gè)大表中的矢量/柵格數(shù)據(jù)創(chuàng)建稀疏金字塔，加速出圖顯示的效率，同時(shí)為了方便使用，可自定義金字塔的稀疏程度，自主控制創(chuàng)建耗時(shí)、額外存貯、訪問效率三者之間的平衡。針對(duì)三維空間數(shù)據(jù)，快顯能力可動(dòng)態(tài)實(shí)現(xiàn)三維數(shù)據(jù)的快速的管理與切割，在保障三維模型精準(zhǔn)度的前提下，加快海量三維數(shù)據(jù)的渲染?？臻g數(shù)據(jù)安全管理技術(shù)空間數(shù)據(jù)安全管理為空間計(jì)算與信息安全交叉領(lǐng)域，密態(tài)數(shù)據(jù)管理、多方聯(lián)合計(jì)算、數(shù)據(jù)防篡改、隱私增強(qiáng)形成四大核心方向?？臻g計(jì)算涉及到空間數(shù)據(jù)的采集、存儲(chǔ)、處理、生產(chǎn)、調(diào)用等，保障這些數(shù)據(jù)在被管理和利用時(shí)的安全性是一個(gè)非常重要的技術(shù)維度。一方面，空間數(shù)據(jù)有很高的社會(huì)價(jià)值和商業(yè)價(jià)值，需要保證這些數(shù)據(jù)被管理的過程中不會(huì)被惡意竊取或者篡改；另一方面，很多空間數(shù)據(jù)會(huì)涉及到個(gè)體的隱私（如地理位置、geotag圖像等需要保證這些數(shù)據(jù)在被利用的過程中不會(huì)泄露個(gè)人隱私?？臻g數(shù)據(jù)管理中關(guān)鍵的安全技術(shù)包括較為成熟的傳統(tǒng)數(shù)據(jù)庫安全技術(shù)（如訪問控制、敏感數(shù)據(jù)發(fā)現(xiàn)和脫敏、數(shù)據(jù)審計(jì)、落盤加密、數(shù)據(jù)備份等以及新型數(shù)據(jù)庫安全技術(shù)：密態(tài)數(shù)據(jù)管理：保證敏感空間數(shù)據(jù)在采集、存儲(chǔ)、處理、生產(chǎn)、調(diào)用的全生命周期僅以密態(tài)形式出現(xiàn)，包括系統(tǒng)/數(shù)據(jù)庫管理員在內(nèi)的任何人無法直接訪問數(shù)據(jù)明文，從而避免數(shù)據(jù)泄露問題在服務(wù)器端發(fā)生。其核心技術(shù)包括可信執(zhí)行環(huán)境、同態(tài)加密等。多方聯(lián)合計(jì)算：在多個(gè)組織的數(shù)據(jù)在需要聯(lián)合使用的場(chǎng)景中，保證各參與方在不需要泄露各自數(shù)據(jù)前提下即可完成聯(lián)合計(jì)算任務(wù)，避免共享明文數(shù)據(jù)存在的數(shù)據(jù)泄露和個(gè)人隱私泄露問題，打破數(shù)據(jù)孤島。其核心技術(shù)包括空間數(shù)據(jù)多方安全計(jì)算、聯(lián)邦學(xué)習(xí)等。數(shù)據(jù)防篡改：解決數(shù)據(jù)在被管理和操作過程中，被惡意篡改而失真的情況，保證數(shù)據(jù)在被后續(xù)使用過程中的數(shù)據(jù)不可篡改性、歷史可追溯性和操作不可抵賴性，提供具有公信力的數(shù)據(jù)真實(shí)性舉證能力。其核心技術(shù)包括空間數(shù)據(jù)區(qū)塊鏈、可驗(yàn)證數(shù)據(jù)結(jié)構(gòu)等。隱私增強(qiáng)計(jì)算：保護(hù)涉及個(gè)人空間數(shù)據(jù)在采集與發(fā)布階段中涉及的數(shù)據(jù)隱私，通過增強(qiáng)所采集發(fā)布數(shù)據(jù)的不可區(qū)分性來達(dá)到隱私保護(hù)目的，避免涉及個(gè)人空間數(shù)據(jù)在被使用過程中違反各國數(shù)據(jù)安全相關(guān)的法律法規(guī)。其核心技術(shù)包括空間數(shù)據(jù)泛化、差分隱私等。2.55G、云網(wǎng)與空間計(jì)算：數(shù)字基礎(chǔ)設(shè)施建設(shè)構(gòu)筑更優(yōu)化的未來計(jì)算環(huán)境2.5.15G、云網(wǎng)對(duì)空間計(jì)算的驅(qū)動(dòng)5G空間計(jì)算正逐漸成為構(gòu)建元宇宙大型空間臨場(chǎng)體驗(yàn)的基礎(chǔ)。隨著5G網(wǎng)絡(luò)建設(shè)的推進(jìn)，移動(dòng)式XR業(yè)務(wù)正在快速發(fā)展，對(duì)空間體驗(yàn)的高動(dòng)態(tài)、強(qiáng)交互、超沉浸要求愈發(fā)明顯。根據(jù)沉浸感對(duì)硬件指標(biāo)的分級(jí)，等級(jí)最高的深度沉浸需要單眼分辨率大于8K、視場(chǎng)角水平FOV超過200度，幀頻達(dá)到240幀，此外還需要支持如注視點(diǎn)渲染、眼球追蹤、全景聲場(chǎng)、觸覺反饋等高靈敏度的移動(dòng)交互感知以及高穩(wěn)定性的實(shí)時(shí)追蹤定位。因此，空間計(jì)算相關(guān)技術(shù)作為XR業(yè)務(wù)的核心支撐，通過云上部署來降低終端要求、提升前端用戶體驗(yàn)已成為必然趨勢(shì)。中國電信在業(yè)界率先提出算力網(wǎng)絡(luò)的概念，提供以算力為核心的數(shù)字信息基礎(chǔ)設(shè)施。算力網(wǎng)絡(luò)能夠根據(jù)不同業(yè)務(wù)需求，結(jié)合網(wǎng)絡(luò)實(shí)時(shí)狀態(tài)和計(jì)算資源實(shí)時(shí)狀況，將業(yè)務(wù)導(dǎo)入到最合適的計(jì)算節(jié)點(diǎn)，云、網(wǎng)、邊、端智能協(xié)同，實(shí)現(xiàn)用戶體驗(yàn)最優(yōu)、計(jì)算資源利用率最優(yōu)以及網(wǎng)絡(luò)效率最優(yōu)。電信為各類空間計(jì)算能力提供異構(gòu)多樣、分布式的算力資源，又通過動(dòng)態(tài)優(yōu)化連接特性為XR等典型業(yè)務(wù)提供更好的網(wǎng)絡(luò)連接以及QoS保障。5G云網(wǎng)從云化空間計(jì)算、端邊異步渲染、云邊端協(xié)同架構(gòu)、服務(wù)彈性伸縮和動(dòng)態(tài)調(diào)度、網(wǎng)絡(luò)傳輸保障等技術(shù)方面與空間計(jì)算進(jìn)行了結(jié)合，有效的推動(dòng)了空間計(jì)算典型業(yè)務(wù)的發(fā)展。2.5.25G、云網(wǎng)與空間計(jì)算相關(guān)技術(shù)模塊云化空間計(jì)算技術(shù)空間計(jì)算面臨大規(guī)模三維重建、點(diǎn)云更新、實(shí)時(shí)動(dòng)態(tài)遮擋以及大并發(fā)等問題，需要消耗大量的推理計(jì)算資源，因此引入云化空間計(jì)算技術(shù)，將三維重建、動(dòng)態(tài)光場(chǎng)、圖像檢索、特征點(diǎn)匹配、語義分割等算法進(jìn)行云化分布式部署，提供各種類型的能力接口供終端調(diào)用，通過匹配業(yè)務(wù)需求的確定性網(wǎng)絡(luò)進(jìn)行協(xié)同保障，以支持超大規(guī)模場(chǎng)景體驗(yàn)并有效降低終端側(cè)算力要求與電量消耗。如在終端完成針對(duì)周邊環(huán)境的特征采集之后，將相應(yīng)的信息極速傳送到邊緣節(jié)點(diǎn)，由邊緣節(jié)點(diǎn)針對(duì)空間完成定位處理，定位時(shí)可以依靠5G基站提供的粗定位大幅降低云端檢索算力消耗。算力網(wǎng)絡(luò)調(diào)度在元宇宙大規(guī)模的分布式應(yīng)用情況下，需要提供一個(gè)基于面向質(zhì)量、業(yè)務(wù)優(yōu)先級(jí)的算力調(diào)度能力，結(jié)合算力集群的負(fù)載，性能，以及網(wǎng)絡(luò)實(shí)時(shí)狀態(tài)，可以將業(yè)務(wù)引導(dǎo)到最合適的計(jì)算節(jié)點(diǎn)，通過調(diào)度能力為業(yè)務(wù)匹配最優(yōu)服務(wù)。算力調(diào)度應(yīng)支持靈活和可擴(kuò)展的調(diào)度策略插件，通過插件搭配和參數(shù)設(shè)置，能夠?qū)崿F(xiàn)各種符合業(yè)務(wù)場(chǎng)景的調(diào)度自力更生，滿足不同業(yè)務(wù)場(chǎng)景的自定義調(diào)度需求。算力調(diào)度通過算網(wǎng)注冊(cè)的方式，將全網(wǎng)的算力、網(wǎng)絡(luò)資源信息進(jìn)行上報(bào)，通過在算網(wǎng)大腦定義調(diào)度策略，可以保證調(diào)度可靠的算力集群，或者根據(jù)離終端最近的集群，降低時(shí)延，保障用戶的體驗(yàn)，支持優(yōu)先調(diào)度至資源負(fù)載相對(duì)低的集群。通過算力調(diào)度可以將業(yè)務(wù)或者終端的請(qǐng)求合理進(jìn)行分配和引導(dǎo)。算力分時(shí)復(fù)用空間計(jì)算需要龐大GPU算力支撐，支撐的過程存在算力的閑時(shí)浪費(fèi)，通過將算力在不同時(shí)間用于不同業(yè)務(wù)，起到算力的分時(shí)復(fù)用，提高GPU資源利用率。直通虛擬機(jī)實(shí)時(shí)場(chǎng)景下，業(yè)務(wù)對(duì)于虛擬機(jī)IO要求較高，直通虛擬機(jī)通過裸盤直掛虛擬機(jī)，實(shí)現(xiàn)高IO高性能的虛擬化；搶占式虛擬機(jī)離線場(chǎng)景下，不需要保證資源連續(xù)性的計(jì)算資源，占用的計(jì)算資源可被正常虛機(jī)實(shí)例搶占。在空間計(jì)算的資源池中，GPU實(shí)例可以做到分鐘級(jí)快速發(fā)放，提供多種顯存，滿足圖形圖像場(chǎng)景，滿足科學(xué)計(jì)算、深度學(xué)習(xí)訓(xùn)練、推理等計(jì)算場(chǎng)景；同時(shí)價(jià)比。端邊異步渲染技術(shù)大型場(chǎng)景下的虛擬人及XR內(nèi)容的逼真動(dòng)態(tài)呈現(xiàn)，使用光線追蹤模式計(jì)算，并朝著基于神經(jīng)網(wǎng)絡(luò)的輻射場(chǎng)和超分辨率渲染方向發(fā)展，需要消耗大量圖像處理和推理計(jì)算資源，因此引入端邊異步渲染技術(shù)，將復(fù)雜的場(chǎng)景渲染放在離用戶最近的邊緣或超邊緣，提供大碼流低時(shí)延保障，實(shí)時(shí)渲染輸出圖像并編碼推流至終端。將簡(jiǎn)單的交互對(duì)象渲染放本地，調(diào)用終端側(cè)的渲染能力完成最終的渲染拼接以及虛實(shí)結(jié)合輸出?；谠摲N處理技術(shù)，既能充分利用邊緣節(jié)點(diǎn)計(jì)算能力，又可基于終端渲染能力實(shí)現(xiàn)虛實(shí)場(chǎng)景對(duì)接，剔除大量的數(shù)據(jù)或視頻流交互，有效減少網(wǎng)絡(luò)傳輸壓力。端邊云協(xié)同部署架構(gòu)采用端邊云協(xié)同架構(gòu)，將實(shí)時(shí)性處理要求高的模塊在邊緣節(jié)點(diǎn)云化部署，而管理類、運(yùn)營(yíng)類等實(shí)時(shí)處理要求相對(duì)低的模塊在中心云集中部署，以云邊協(xié)同的方式提供完整XR業(yè)務(wù)。同時(shí)采用云化微服務(wù)方式部署，根據(jù)業(yè)務(wù)峰谷情況進(jìn)行資源的彈性伸縮。在行業(yè)類客戶的XR業(yè)務(wù)具有典型時(shí)域特征時(shí)，可在業(yè)務(wù)波谷期間釋放云資源給其他業(yè)務(wù)使用，提升云資源利用率同時(shí)也降低XR業(yè)務(wù)的綜合部署成本。同時(shí)基于算力網(wǎng)絡(luò)加云化的部署可進(jìn)行多層次的協(xié)同，比如：同資源內(nèi)不同XR業(yè)務(wù)、用戶間的資源共享，跨資源池的XR業(yè)務(wù)間進(jìn)行資源與容災(zāi)的協(xié)同、跨業(yè)務(wù)之間的資源共享等。空間計(jì)算涉及的業(yè)務(wù)多為用戶集中場(chǎng)景，比如商場(chǎng)、景區(qū)等城市活動(dòng)空間，在這些區(qū)域的網(wǎng)絡(luò)邊緣部署空間計(jì)算及實(shí)時(shí)云渲染能力，能保障更低的業(yè)務(wù)時(shí)延，不同的能力亦可容器化部署到分布式邊緣云。為保障實(shí)時(shí)空間定位的基礎(chǔ)性能，可在終端側(cè)進(jìn)行圖像特征描述，并與云端數(shù)據(jù)庫進(jìn)行特征匹配，減少基礎(chǔ)視覺定位流量消耗，降低網(wǎng)絡(luò)要求。在中心云部署業(yè)務(wù)統(tǒng)一管理，實(shí)現(xiàn)空間計(jì)算和渲染算力的分時(shí)共享，靈活調(diào)度。用戶接入時(shí)，根據(jù)終端位置和邊緣節(jié)點(diǎn)忙閑狀態(tài)，將用戶接入最合適的邊緣節(jié)點(diǎn)提供服務(wù)，保障用戶獲得最佳體驗(yàn)。當(dāng)邊緣節(jié)點(diǎn)滿負(fù)荷時(shí)，與云資源池協(xié)同進(jìn)行資源動(dòng)態(tài)擴(kuò)容保障業(yè)務(wù)正常運(yùn)行。服務(wù)彈性伸縮和動(dòng)態(tài)調(diào)度技術(shù)在用戶使用量較大、并發(fā)請(qǐng)求較多時(shí)，可利用云服務(wù)彈性伸縮、動(dòng)態(tài)可擴(kuò)展的特性進(jìn)行云端資源擴(kuò)展，實(shí)現(xiàn)高并發(fā)支持與靈活拓展。將云端各種能力組件和應(yīng)用邏輯通過虛擬機(jī)或者容器的方式在邊緣云承載，并通過低延時(shí)傳輸完成被感知現(xiàn)實(shí)場(chǎng)景的傳輸和合成顯示內(nèi)容的推送。如何構(gòu)建彈性的部署方式，又能提供對(duì)于開發(fā)生態(tài)比較好的包容和可用性，成為構(gòu)架發(fā)展的重要影響因素和技術(shù)棧發(fā)展的關(guān)鍵挑戰(zhàn)。速硬件的橋梁，也是邊緣側(cè)一個(gè)方向。網(wǎng)絡(luò)傳輸保障技術(shù)5G網(wǎng)絡(luò)的商用以及千兆家寬的發(fā)展，在網(wǎng)絡(luò)上保障了XR應(yīng)用數(shù)據(jù)傳輸?shù)姆€(wěn)定性及安全性。邊緣計(jì)算的發(fā)展，促進(jìn)云端計(jì)算和存儲(chǔ)資源的進(jìn)一步下沉，在內(nèi)容傳輸及分發(fā)過程中，降低了數(shù)據(jù)傳輸時(shí)延?？臻g內(nèi)容需要經(jīng)過云端渲染編碼，再通過5G網(wǎng)絡(luò)傳輸?shù)浇K端，端到端處理時(shí)延直接決定了空間交互體驗(yàn)的效果，較長(zhǎng)的云化計(jì)算和傳輸時(shí)延將會(huì)影響交互和沉浸感，因此超低時(shí)延流化技術(shù)是云網(wǎng)計(jì)算和5G傳輸保障的重要前提，通過并行流化技術(shù)能夠有效提高處理及傳輸效率，大幅減少云化時(shí)延。未來會(huì)有大規(guī)模、高精度的XR內(nèi)容呈現(xiàn)，虛擬化身實(shí)時(shí)傳送，乃至傳輸整個(gè)虛擬場(chǎng)景進(jìn)行多方交互的需求，需要5G確定性網(wǎng)絡(luò)保證空間計(jì)算業(yè)務(wù)的連續(xù)和穩(wěn)定。2.5.35G標(biāo)準(zhǔn)化演進(jìn)對(duì)空間計(jì)算的支持5G標(biāo)準(zhǔn)化演進(jìn)對(duì)XR等空間計(jì)算典型業(yè)務(wù)進(jìn)行了大量的討論與支持。Mediadistribution涵蓋了從LTE遷移到5G的媒體分發(fā)服務(wù)，新興媒體服務(wù)和用例以及如何在5G中實(shí)現(xiàn)，其API部分涵蓋了沉浸式媒體服務(wù)的要求以及相關(guān)的API需求。S26.118:VirtualReality(VR)profilesfor介紹了XR類型的服務(wù)和應(yīng)用的基線技術(shù)，概述了基于XR服務(wù)26.501中定義了5G媒體流的架構(gòu)模型。TR26.928中拆分計(jì)算/渲染被標(biāo)識(shí)為新的交付類別。TR26.928提供了3GPPR17進(jìn)一步提升了XR相關(guān)的用戶體驗(yàn)，相關(guān)標(biāo)準(zhǔn)包括：TR26.998:Supportof5Gglass-typeinteroperabilityandcharacterization基于R16TS26.118中的技術(shù)定義，提供了參考測(cè)試材料和測(cè)試結(jié)果，以提高TR26.118中技術(shù)的可用性。征進(jìn)行了深入的增強(qiáng)和擴(kuò)展，并新增了UCBC（上行超寬帶）、RTBC（寬帶實(shí)時(shí)交互）和HCS（通信感知融合）三大場(chǎng)景，進(jìn)一步支持了空間計(jì)算的相關(guān)需求。Rel-18對(duì)XR業(yè)務(wù)支持的發(fā)展方向包括以下方面：話業(yè)務(wù)增強(qiáng)等；3)通用媒體的分發(fā)功能增強(qiáng)服務(wù)，包括網(wǎng)絡(luò)性能增強(qiáng)、上行流增強(qiáng)、邊緣計(jì)算、物聯(lián)網(wǎng)等。5G-Advanced將支持城市級(jí)三維世界的構(gòu)建和更新，影視級(jí)高動(dòng)態(tài)內(nèi)容的生成和傳輸，全鏈路XR業(yè)務(wù)的標(biāo)識(shí)和增強(qiáng)，推動(dòng)數(shù)字化世界的定位、感知和交互體驗(yàn)向現(xiàn)實(shí)世界逼近，讓XR全息通訊成為人們?nèi)粘ＩI特征、部署策略、重點(diǎn)研發(fā)方向以及應(yīng)用實(shí)踐，成為業(yè)界需要共同思考的問題。2.5.4東數(shù)西算工程對(duì)空間計(jì)算的支持2022年2月，國家發(fā)展改革委、中央網(wǎng)信辦、工業(yè)和信息化部、國家能源局聯(lián)合印發(fā)通知，同意在京津冀、長(zhǎng)三角、粵港澳大灣區(qū)、成渝、內(nèi)蒙古、貴州、甘肅、寧夏等8地啟動(dòng)建設(shè)國家算力樞紐節(jié)點(diǎn)，并規(guī)劃了10個(gè)國家數(shù)據(jù)中心集群。我國一體化大數(shù)據(jù)中心體系完成總體布局設(shè)計(jì)，“東數(shù)西算”工程正式全面啟動(dòng)?！皷|數(shù)西算”工程可以實(shí)現(xiàn)東西部地區(qū)數(shù)據(jù)的互通，一方面，可以緩解東部地區(qū)算力資源捉襟見肘的現(xiàn)狀，降低建設(shè)數(shù)據(jù)中心的成本壓力，延伸東部地區(qū)發(fā)展空間。另一方面，將東部算力有效引導(dǎo)至西部，可以有效推動(dòng)?xùn)|部地區(qū)相關(guān)產(chǎn)業(yè)轉(zhuǎn)移，有助于東西部建立長(zhǎng)期有效的協(xié)作發(fā)展機(jī)制，進(jìn)而推進(jìn)西部大開發(fā)，促進(jìn)區(qū)域數(shù)字經(jīng)濟(jì)平衡穩(wěn)定發(fā)展?？臻g計(jì)算中的環(huán)境三維重建，計(jì)算量大且需要持續(xù)更新，目前主要為離線處理，對(duì)實(shí)時(shí)性沒有要求，以8C32GGPU單節(jié)點(diǎn)計(jì)算單元為例，對(duì)1萬平米空間進(jìn)行稀疏三維重建需要4-6小時(shí)，進(jìn)行稠密三維重建需要近15小時(shí)。未來城市級(jí)空間三維重建需要采集海量的環(huán)境原始視頻數(shù)據(jù)和輔助地理位置信息數(shù)據(jù)，上傳到云端提取環(huán)境特征生成大規(guī)模三維點(diǎn)云地圖，會(huì)產(chǎn)生海量算力需求。因此將東部環(huán)境數(shù)據(jù)西輸，通過西部算力節(jié)點(diǎn)的低成本算力進(jìn)行三維重建生成大型點(diǎn)云地圖，將極大提高重建速度并降低算力成本。生成的點(diǎn)云地圖自動(dòng)下發(fā)到東部節(jié)點(diǎn)用于虛擬內(nèi)容的編排錨定和終端應(yīng)用的實(shí)時(shí)識(shí)別定位。從而實(shí)現(xiàn)在城市空間中持久化疊加虛擬內(nèi)容及進(jìn)行精準(zhǔn)互動(dòng)，營(yíng)造虛實(shí)共融的立體空間體驗(yàn)。節(jié)點(diǎn)計(jì)算單元為例，目前每秒事務(wù)處理量為50TPS，未來支撐城市級(jí)空間精準(zhǔn)定位，需要大量空間計(jì)算節(jié)點(diǎn)。對(duì)于時(shí)延要求高的定位請(qǐng)求在東部解算，對(duì)于時(shí)延要求不高的定位請(qǐng)求可直接在西部解算，可以較低成本應(yīng)對(duì)高并發(fā)的需求。3.1產(chǎn)業(yè)發(fā)展趨勢(shì)和相關(guān)政策隨著空間計(jì)算相關(guān)產(chǎn)業(yè)的快速發(fā)展，目前業(yè)界已在建模引擎、增強(qiáng)現(xiàn)實(shí)、高精度識(shí)別和定位、大規(guī)模地形渲染等方向開展布局和探索。蘋果、谷歌、華為等國內(nèi)外公司分別搭建各自的空間計(jì)算平臺(tái)以實(shí)現(xiàn)在的技術(shù)成熟度，目前與現(xiàn)實(shí)世界虛實(shí)融合的發(fā)展水平處于初級(jí)階段，距離優(yōu)秀的用戶體驗(yàn)標(biāo)準(zhǔn)仍有一定距離。目前多個(gè)空間計(jì)算平臺(tái)用戶之間難以互通訪問，且戶外大規(guī)模區(qū)域內(nèi)的信息同步和即時(shí)響應(yīng)依然難以支撐消費(fèi)級(jí)使用，對(duì)用戶的隱私數(shù)據(jù)保護(hù)也需要更加關(guān)注?？臻g計(jì)算作為元宇宙價(jià)值鏈中的重要一環(huán)，通過對(duì)物理世界進(jìn)行有效感知實(shí)現(xiàn)信息管理與應(yīng)用，連接打通真實(shí)世界與虛擬世界。5G網(wǎng)絡(luò)作為空間計(jì)算的基礎(chǔ)設(shè)施可以為信息傳輸與實(shí)時(shí)控制提供一個(gè)穩(wěn)定的通道，助力對(duì)象感知、空間實(shí)時(shí)定位等相關(guān)技術(shù)的發(fā)展和應(yīng)用。5G與空間計(jì)算的融合將有效推動(dòng)相關(guān)產(chǎn)業(yè)發(fā)展，通過突破現(xiàn)有技術(shù)、探索新興領(lǐng)域來孕育新的商機(jī)?，F(xiàn)階段，5G與空間計(jì)算的融合平臺(tái)處于萌芽階段，產(chǎn)業(yè)關(guān)聯(lián)性逐漸增強(qiáng)，網(wǎng)聯(lián)云控、多人實(shí)時(shí)、高性能同步定位與地圖創(chuàng)建、隱私數(shù)據(jù)保護(hù)等已成為5G空間計(jì)算聯(lián)合創(chuàng)新突破的重要方向。我國一直關(guān)注三維重建與渲染、空間感知、沉浸計(jì)算、自然交互等科學(xué)技術(shù)的發(fā)展。2016年將自然交互、虛擬現(xiàn)實(shí)等技術(shù)納入國家創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略。2021年，國家各個(gè)部門相繼出臺(tái)了多個(gè)與虛擬現(xiàn)實(shí)、三維重建、物聯(lián)感知相關(guān)的政策，將建設(shè)數(shù)字中國納入第十四個(gè)五年規(guī)劃，旨在推動(dòng)相關(guān)技術(shù)的發(fā)展，為實(shí)現(xiàn)新一輪科技爆發(fā)探索方向。2022年，隨著元宇宙的興起，5G+空間計(jì)算迎來了新的發(fā)展浪潮。表1我國空間計(jì)算相關(guān)政策《國家創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)《關(guān)于加快推進(jìn)虛擬現(xiàn)準(zhǔn)構(gòu)建等方面提出了發(fā)展虛擬現(xiàn)實(shí)產(chǎn)業(yè)的重點(diǎn)任經(jīng)濟(jì)和社會(huì)發(fā)展第十四景目標(biāo)綱要》第五篇“加快數(shù)字化發(fā)展建設(shè)數(shù)字中國”提出虛《實(shí)景三維中國建設(shè)技等新技術(shù)在制造環(huán)節(jié)的深度應(yīng)用，探索形成一批展規(guī)劃的通知》《關(guān)于全面推進(jìn)實(shí)景三通知提出實(shí)景三維是國家重要的新型基礎(chǔ)設(shè)施為《國務(wù)院辦公廳關(guān)于進(jìn)《虛擬現(xiàn)實(shí)與行業(yè)應(yīng)用家廣播電視《數(shù)字中國建設(shè)整體布局規(guī)劃》數(shù)字消費(fèi)業(yè)態(tài)、面向未來的智能化沉浸式服務(wù)體表2我國各省市空間計(jì)算相關(guān)政策《天津市穩(wěn)住外貿(mào)外資基本盤推進(jìn)外貿(mào)創(chuàng)新發(fā)展若干措施》《廣州市國民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)要》會(huì)發(fā)展第十四個(gè)五年規(guī)標(biāo)綱要》堅(jiān)持?jǐn)?shù)字城市與現(xiàn)實(shí)城市同步規(guī)劃建設(shè)《浙江省數(shù)字經(jīng)濟(jì)發(fā)展《推動(dòng)虛擬現(xiàn)實(shí)產(chǎn)業(yè)高《上海市數(shù)字經(jīng)濟(jì)發(fā)展加快研究部署未來虛擬世界與現(xiàn)實(shí)社會(huì)的終端技術(shù)研制。加快虛擬現(xiàn)實(shí)生態(tài)布《深圳市推動(dòng)軟件產(chǎn)業(yè)工業(yè)互聯(lián)網(wǎng)、元宇宙等新興技術(shù)平臺(tái)軟《成都市培育元宇宙產(chǎn)在核心技術(shù)方面，成都將通過攻關(guān)區(qū)塊表3國外空間計(jì)算相關(guān)政策3.25G+空間計(jì)算產(chǎn)業(yè)鏈情況5G+空間計(jì)算產(chǎn)業(yè)鏈可大略分為終端設(shè)備、軟件工具、應(yīng)用和服務(wù)。其中，終端設(shè)備包括采集終端、顯示終端和關(guān)鍵器件；軟件工具包括SDK、空間計(jì)算云平臺(tái)和三維重建軟件等；應(yīng)用和服務(wù)包括娛樂、工業(yè)等應(yīng)用。終端設(shè)備層傳感器/相機(jī)國內(nèi)：速騰聚創(chuàng)、禾賽科技、北醒光子等采集設(shè)備國內(nèi)：數(shù)字綠土、大疆、如視等智能終端軟件工具層空間計(jì)算云平臺(tái)等三維重建軟件內(nèi)容應(yīng)用層國外：Esri等娛樂、工業(yè)等應(yīng)用國內(nèi)：天翼云圖、數(shù)字故宮等隨著互聯(lián)網(wǎng)基礎(chǔ)設(shè)施的完善，全球前沿科技公司都在元宇宙相關(guān)領(lǐng)域加速布局，互聯(lián)網(wǎng)正在由二維向三維空間進(jìn)化?？臻g計(jì)算融合數(shù)字化建模渲染、識(shí)別、定位、檢索等技術(shù)，結(jié)合多形態(tài)的智能終端及5G網(wǎng)絡(luò)，在商業(yè)、文旅、工業(yè)、會(huì)展、金融、游戲、影視媒體、協(xié)同辦公等場(chǎng)景中已有多種落地，不斷創(chuàng)新應(yīng)用模式的同時(shí)，亦進(jìn)一步驅(qū)動(dòng)其技術(shù)與生態(tài)的發(fā)展。4.1空間計(jì)算+商業(yè)：打造新型營(yíng)銷與購物體驗(yàn)，推動(dòng)精準(zhǔn)運(yùn)營(yíng)隨著城市的發(fā)展，商業(yè)綜合體應(yīng)運(yùn)而生，它是多個(gè)使用功能不同的建筑空間組合而成的建筑群，其合理性在于節(jié)約用地、縮短交通距離、提高工作效率、發(fā)揮投資收益等。商業(yè)綜合體作為商業(yè)與城市關(guān)系復(fù)雜結(jié)合的一種新型建筑表現(xiàn)形式，是近些年來商業(yè)建筑發(fā)展的一個(gè)重要趨勢(shì)。隨著城市人口密度的增加，城市公共空間不足以支撐市民活動(dòng)需求，商業(yè)綜合體承接了部分城市公共空間的功能，這要求商業(yè)空間從傳統(tǒng)的零售模式向以消費(fèi)者為核心的體驗(yàn)?zāi)Ｊ睫D(zhuǎn)變。多個(gè)城市發(fā)布的商業(yè)布局提及要引導(dǎo)購物中心進(jìn)行差異化主題定位，增加體驗(yàn)型、服務(wù)型業(yè)態(tài)，實(shí)現(xiàn)商旅文娛體融合發(fā)展，引領(lǐng)消費(fèi)者尋求新的消費(fèi)體驗(yàn)。在日益劇烈的市場(chǎng)競(jìng)爭(zhēng)中，如何體現(xiàn)出商業(yè)綜合體的差異、特點(diǎn)，如何做好物理與虛擬空間的運(yùn)營(yíng)，在一眾商業(yè)綜合體中脫穎而出，是商業(yè)綜合體普遍關(guān)注的問題?？臻g計(jì)算技術(shù)可以實(shí)現(xiàn)物理空間的復(fù)刻，進(jìn)行商業(yè)場(chǎng)景虛擬世界的構(gòu)建，以幫助商業(yè)綜合體進(jìn)行線上線下雙線運(yùn)營(yíng)。它可以結(jié)合增強(qiáng)現(xiàn)實(shí)（AR）、虛擬現(xiàn)實(shí)（VR）技術(shù)實(shí)現(xiàn)更新奇的體驗(yàn)、更有趣的營(yíng)銷互動(dòng)；融合高清移動(dòng)視頻監(jiān)控、IOT監(jiān)測(cè)設(shè)備、互動(dòng)計(jì)算設(shè)備等讓商業(yè)綜合體感知商業(yè)的客戶情況、設(shè)備情況、商業(yè)情況，賦能商場(chǎng)的統(tǒng)一運(yùn)營(yíng)及管理，這些將是破局商業(yè)綜合體運(yùn)營(yíng)的有力推動(dòng)。當(dāng)前XR等空間計(jì)算相關(guān)技術(shù)正在為商業(yè)綜合體帶來以下場(chǎng)景變革：沉浸式購物體驗(yàn)沉浸式既包括人的感官體驗(yàn)，又包括人的認(rèn)知體驗(yàn)。沉浸式商業(yè)即是圍繞“人、貨、場(chǎng)”來打造真實(shí)生動(dòng)的感官體驗(yàn)以吸引消費(fèi)者關(guān)注，并通過增強(qiáng)認(rèn)知體驗(yàn)來引導(dǎo)最終的決策轉(zhuǎn)化。舉例來說，線下商業(yè)綜合體可結(jié)合混合現(xiàn)實(shí)技術(shù)來豐富商場(chǎng)空間內(nèi)容，營(yíng)造沉浸互動(dòng)購物氛圍讓消費(fèi)者在商場(chǎng)內(nèi)可以駐留更長(zhǎng)的時(shí)間，然后再通過AR廣告、AR紅包等趣味性互動(dòng)活動(dòng)讓消費(fèi)者認(rèn)知品牌；通過AR營(yíng)銷互動(dòng)、AR游戲等更有意思的方式吸引用戶，參與營(yíng)銷活動(dòng)、提升營(yíng)銷轉(zhuǎn)換；通過AR導(dǎo)航能力，引導(dǎo)用戶到達(dá)品牌店鋪達(dá)成最終頭及其他傳感器數(shù)據(jù)并進(jìn)行深度信息融合，可以實(shí)現(xiàn)精準(zhǔn)定位，同時(shí)可支持AR內(nèi)容的精準(zhǔn)疊加顯示和交互。適用復(fù)雜的線下場(chǎng)景環(huán)境如商業(yè)綜合體、停車場(chǎng)等，通過視覺定位能力和空間感知跟蹤能力，實(shí)現(xiàn)現(xiàn)實(shí)場(chǎng)景與虛擬世界的疊加融合，實(shí)現(xiàn)用戶線下體驗(yàn)升級(jí)，為線下商家提供全新的營(yíng)銷互動(dòng)工具，打通線上線下服務(wù)。虛擬化身與會(huì)員制的結(jié)合人們可以使用不同的虛擬化身參與到商業(yè)活動(dòng)，成為商業(yè)元宇宙中的數(shù)字分身，通過虛擬化身與會(huì)員制的結(jié)合，增強(qiáng)消費(fèi)者與商業(yè)綜合體的粘性，強(qiáng)化品牌認(rèn)同感，并可結(jié)合積分兌券、會(huì)員權(quán)益等帶給商業(yè)會(huì)員運(yùn)營(yíng)、變現(xiàn)的更多渠道。基于虛擬化身的輕社交，會(huì)員將體驗(yàn)多樣的沉浸式社交場(chǎng)景，建立志同道合的社交關(guān)系。虛擬化身與商業(yè)綜合體的深度結(jié)合所蘊(yùn)含的強(qiáng)連接屬性將創(chuàng)造巨大的商業(yè)價(jià)值，基于會(huì)員虛擬形象，將有力地連接商業(yè)與消費(fèi)者、遠(yuǎn)場(chǎng)與近場(chǎng)、虛擬與現(xiàn)實(shí)，可以衍生出會(huì)員權(quán)益、互動(dòng)游戲、數(shù)字藏品等增值服務(wù)。譬如，高會(huì)員等級(jí)所獨(dú)有的權(quán)益裝扮、某場(chǎng)虛擬生日會(huì)的場(chǎng)景“門票”、商場(chǎng)發(fā)行的限量數(shù)字藏品等都是虛擬社交流量變現(xiàn)的重要途徑，從而實(shí)現(xiàn)線上產(chǎn)品的運(yùn)營(yíng)增值?！疤摂M人”將逐漸在多場(chǎng)景、多領(lǐng)域進(jìn)行融合、應(yīng)用、落地隨著5G、人工智能與空間計(jì)算技術(shù)的融合發(fā)展，虛擬人有了更多的應(yīng)用可能。5G時(shí)代的虛擬助手可以實(shí)時(shí)且持續(xù)地升級(jí)AI算法，增強(qiáng)認(rèn)知理解能力。通過實(shí)時(shí)高速連接的5G網(wǎng)絡(luò)，虛擬助手可快速拓展能力，從天文地理到詩詞歌賦，從人文歷史到數(shù)理化生，成為人們可以放心信賴的萬事通。元宇宙時(shí)代，每個(gè)人都需要一個(gè)以上的虛擬人助手，通過自然交互，他們可以為用戶提供和推薦個(gè)性化服務(wù)，使得商業(yè)服務(wù)“永不離線”。圍繞虛擬人助手的價(jià)值鏈逐漸形成，虛擬人制作、分發(fā)、服務(wù)，購買和訂閱服務(wù)將成為新的商業(yè)形式。在商業(yè)綜合體場(chǎng)景下，虛擬人助手可提供線上直播、導(dǎo)購，線下問答指引服務(wù)，更加真實(shí)地感受到虛擬環(huán)境。綜合體借助平臺(tái)虛擬人直播服務(wù)，定制直播，甚至是24小時(shí)直播，為品牌、商場(chǎng)帶來增量直播收入。消費(fèi)者在到達(dá)商業(yè)綜合體進(jìn)行線下消費(fèi)時(shí)，可基于線下大屏的虛擬人助手進(jìn)行引路、問答、根據(jù)用戶偏好針對(duì)性提供商品推薦介紹等，現(xiàn)實(shí)與虛擬完美結(jié)合，使娛樂體驗(yàn)更加多元化，從而帶來轉(zhuǎn)化提升，有效為用戶提高消費(fèi)決策效率和體驗(yàn)。客戶還可以通過手機(jī)等終端設(shè)備，將虛擬人助手“放入口袋”，減少了傳統(tǒng)服務(wù)過程中的時(shí)間和空間限制，極大地提高了服務(wù)效率，隨時(shí)享受優(yōu)質(zhì)服務(wù)。零售行業(yè)售前售中售后均依賴于客服為消費(fèi)者提供服務(wù)，客服成本急需控制和降低。虛擬虛擬人技術(shù)通過多模態(tài)交互能力從更多維度感知用戶表達(dá)，包括語音、表情、姿態(tài)、手勢(shì)等，更好傳達(dá)品牌概念，且有效提升服務(wù)質(zhì)量并降低了線下客服成本。數(shù)據(jù)感知與空間計(jì)算的融合推動(dòng)精準(zhǔn)運(yùn)營(yíng)管理多類型的終端感知線下消費(fèi)行為、融合客戶線上消費(fèi)數(shù)據(jù)，利用5G實(shí)時(shí)回傳及大數(shù)據(jù)分析進(jìn)行運(yùn)營(yíng)管理是商業(yè)綜合體不可或缺的能力。結(jié)合空間計(jì)算帶來的數(shù)字孿生綜合體的三維可視化，將推動(dòng)商業(yè)綜合體的數(shù)字化轉(zhuǎn)型，提供深層次商業(yè)價(jià)值，同時(shí)提升消費(fèi)者的個(gè)性化購物體驗(yàn)，使消費(fèi)者的生活更加便利。4.1.2應(yīng)用案例沉浸式AR劇情秀金科商業(yè)與中國電信天翼云圖合作打造全國首個(gè)全劇情AR導(dǎo)航、AR游戲商業(yè)元宇宙應(yīng)用——重慶金科樂方，并推出全新的商業(yè)品牌金META。該應(yīng)用嘗試從設(shè)計(jì)建造、運(yùn)營(yíng)管理上體現(xiàn)了元宇宙虛實(shí)融合的空間計(jì)算技術(shù)導(dǎo)向，結(jié)合金META產(chǎn)品體系落地九大功能模塊，以沉浸式場(chǎng)景，多業(yè)態(tài)組合，關(guān)注親子養(yǎng)成、全家庭享樂，打造智慧潮流生活中心。積極探索將元宇宙IP元素進(jìn)行場(chǎng)景化嵌入，旨在強(qiáng)化元宇宙趣味屬性，加強(qiáng)場(chǎng)景化消費(fèi)，塑造具有記憶點(diǎn)的場(chǎng)景，滿足個(gè)性化需求，帶動(dòng)線下消費(fèi)升級(jí)，用戶實(shí)地線下打開手機(jī)，即可進(jìn)入虛實(shí)融合的數(shù)字世界。AR與虛擬人營(yíng)銷鄭州正弘城定位“潮流、人文、藝術(shù)、生活”，希望打造國際化生活方式中心，商業(yè)部分總面積約30萬平，是華中地區(qū)重要的超大型商業(yè)綜合體之一。正弘城聯(lián)合電信、商湯等合作伙伴建設(shè)了覆蓋整個(gè)商業(yè)綜合體的AR導(dǎo)航營(yíng)銷應(yīng)用。通過AR導(dǎo)航將基于商業(yè)綜合體IP所打造的AR數(shù)字內(nèi)容與立面、中庭、商家等空間串聯(lián)起來，形成了線上與線下融合、虛擬與現(xiàn)實(shí)融合的全場(chǎng)景營(yíng)銷互動(dòng)項(xiàng)目?；顒?dòng)期間，正弘城獨(dú)有的IP“SHERED”攜帶者再生能源降臨正弘元宇宙，消費(fèi)者可通過完成AR劇情任務(wù)、搜集覆蓋全商場(chǎng)的AR寶箱、參與AR紅包雨活動(dòng)等領(lǐng)取活動(dòng)促銷卡券與禮物，豐富了營(yíng)銷活動(dòng)的表現(xiàn)與體驗(yàn)形式。華潤(rùn)萬象生活打造全國首家“天翼云圖”5G智慧商業(yè)綜合體項(xiàng)目合肥萬象城，依托5G云網(wǎng)、XR數(shù)字孿生、大數(shù)據(jù)、人工智能等技術(shù)，將線下商業(yè)空間進(jìn)行3D高精度時(shí)空信息重建，打造出線上線下深度融間、VR數(shù)字云MALL“等一系列5G新型消費(fèi)應(yīng)用，助力合肥萬象城實(shí)現(xiàn)智慧運(yùn)營(yíng)。此外，合肥萬象城開展空間計(jì)算技術(shù)相關(guān)的沉浸式線下營(yíng)銷活動(dòng)，探索5G+XR數(shù)字科技的融合創(chuàng)新，開創(chuàng)性開展“線下大型真人AR實(shí)景解謎游戲”，新奇的玩法迅速在抖音、小紅書上快速傳播，通過線上引流、線下轉(zhuǎn)化的新模式，拉動(dòng)客流增長(zhǎng)49萬人次、銷售額提升2200萬元。XR沉浸式數(shù)字街區(qū)杭州文三西路XR沉浸式數(shù)字街區(qū)帶給用戶AR街景、AR打卡點(diǎn)、3D互動(dòng)彈幕等觀光新體驗(yàn)，讓用戶在全新形式中體驗(yàn)商業(yè)數(shù)字氛圍。利用比傳統(tǒng)GPS導(dǎo)航和地圖指示更精準(zhǔn)，視覺效果更佳的AR導(dǎo)航，實(shí)現(xiàn)AR虛擬人物解說、街景3D化展示等虛實(shí)融合的全新交互體驗(yàn)，多維度和顧客深度連接，將線下流量二次轉(zhuǎn)化為線上流量。該元宇宙應(yīng)用中，易現(xiàn)先進(jìn)科技利用AR云平臺(tái)能力為其構(gòu)建了數(shù)字孿生世界，讓文字、圖片、模型、三維場(chǎng)景動(dòng)畫等虛擬信息與商區(qū)真實(shí)環(huán)境融為一體。在運(yùn)營(yíng)管理方面，通過數(shù)據(jù)采集、數(shù)據(jù)洞察感知用戶行為，通過營(yíng)銷內(nèi)容管理賦能運(yùn)營(yíng)，旨在讓商場(chǎng)商鋪/品牌營(yíng)銷活動(dòng)可靈活運(yùn)營(yíng)、全方位挖掘用戶行為。虛擬試穿試戴時(shí)尚行業(yè)近年來積極尋求行業(yè)數(shù)字化解決方案，其中沉浸式體驗(yàn)也是面向消費(fèi)者的重要新手段。在疫情及成本各方面因素影響下，如何更好地強(qiáng)化線上消費(fèi)體驗(yàn)從而弱化線下依賴、發(fā)揮線上銷售潛力，已有越來越多時(shí)尚企業(yè)進(jìn)行了探索嘗試并收獲成果。虛擬試穿戴技術(shù)即利用人體感知能力，識(shí)別跟蹤人臉關(guān)鍵眼鏡等。一方面可以在線上購物平臺(tái)，通過售前完成真實(shí)商品上身效果預(yù)覽，幫助消費(fèi)者更精準(zhǔn)選購適合的商品，從而減少售后退換貨成本及糾紛；另一方面在線下門店，針對(duì)美妝、染發(fā)等試體驗(yàn)相對(duì)操作成本較高的品類，也可通過虛擬試穿戴降低消費(fèi)者顧慮，并借用虛擬商品的形式打破門店存貨限制，擴(kuò)大客戶選購范圍。試妝、試戴眼鏡服務(wù)，消費(fèi)者可在京東平臺(tái)及品牌官網(wǎng)直接體驗(yàn)，也帶來消費(fèi)者活躍度、轉(zhuǎn)化率的顯著提升。AR試鞋更成為鞋靴品類消費(fèi)者心中有代表性的特色功能，眾多潮流新品借助虛擬試鞋成功觸達(dá)目標(biāo)用戶群，獲得良好轉(zhuǎn)化外也強(qiáng)化了品牌形象。4.1.3未來展望隨著空間計(jì)算技術(shù)的成熟，元宇宙產(chǎn)業(yè)的發(fā)展，商業(yè)運(yùn)營(yíng)將至少有以下兩方面的變革：1、信息維度的升級(jí)。以空間計(jì)算為基礎(chǔ)，在虛擬空間中復(fù)刻物理場(chǎng)景，將包括更豐富的信息內(nèi)容（從便民服務(wù)、互動(dòng)體驗(yàn)到廣告營(yíng)銷商業(yè)信息維度從二維平面視圖升級(jí)為三維全景視界，信息層次更加豐富，信息的總量也將會(huì)呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。商業(yè)邏輯將被重塑，通過創(chuàng)作升級(jí)、計(jì)算升級(jí)、智能升級(jí)推動(dòng)體驗(yàn)升級(jí)、商業(yè)升級(jí)、治理升級(jí)、文明升級(jí)。2、用戶體驗(yàn)的沉浸感更強(qiáng)，人機(jī)交互更加自然，產(chǎn)業(yè)生態(tài)會(huì)更加開放多元。隨著交互式終端、計(jì)算渲染、通信網(wǎng)絡(luò)等技術(shù)的發(fā)展成熟，可以預(yù)見當(dāng)XR設(shè)備日漸成熟后，或?qū)⒊蔀榇蟊娀?、成?guī)模的移動(dòng)智能終端?；诳臻g計(jì)算進(jìn)行商業(yè)空間運(yùn)營(yíng)的體驗(yàn)將更加真實(shí)、更具備代入感，從而模糊了虛擬與現(xiàn)實(shí)的邊界，逐步走向虛實(shí)交融?？傮w而言，5G、空間計(jì)算等技術(shù)的發(fā)展普及，將帶來商業(yè)領(lǐng)域的巨大變革，未來的商業(yè)模式、社交方式、信息獲取渠道，以及內(nèi)容生產(chǎn)和消費(fèi)都將會(huì)涌現(xiàn)出一系列創(chuàng)新模式。元宇宙概念下，沉浸式技術(shù)的發(fā)展演進(jìn)將可能重塑“人、物、場(chǎng)”的生產(chǎn)關(guān)系，并大大提升生產(chǎn)力，將在商業(yè)場(chǎng)景發(fā)揮出更大價(jià)值，助力實(shí)體商業(yè)新型消費(fèi)升級(jí)，打造出更有趣、更便捷、更創(chuàng)新的零售用戶體驗(yàn)。4.2空間計(jì)算+文旅：重塑產(chǎn)業(yè)結(jié)構(gòu)，體驗(yàn)歷史與未來4.2.1行業(yè)背景文旅產(chǎn)業(yè)包括文化、監(jiān)管、運(yùn)營(yíng)管理、游客用戶等多方角色?？臻g計(jì)算的三維感知輔助人類以三維的方式記錄文化，天然的與歷史文化層與現(xiàn)代文化層緊緊關(guān)聯(lián)。依托三維數(shù)據(jù)，監(jiān)管方與運(yùn)營(yíng)管理方即可以更加直觀、高效的方式，對(duì)文化歷史做好監(jiān)督、管理、維護(hù)，實(shí)現(xiàn)歷史文化價(jià)值長(zhǎng)存。XR作為3D交互的代表手段，結(jié)合空間計(jì)算提供的高精位姿，為游客拓展了更加身臨其境的文化感知方式。新時(shí)代下，元宇宙結(jié)合各行業(yè)快速發(fā)展，空間計(jì)算與文旅產(chǎn)業(yè)服務(wù)更加密不可分，文旅元宇宙正在形成，有望成為數(shù)字文旅領(lǐng)域新業(yè)態(tài)。自2019疫情席卷全世界始，出境游和戶外游都轉(zhuǎn)入“冬眠”狀態(tài)，正是在這種產(chǎn)業(yè)寒冬下，XR等沉浸式技術(shù)為文旅行業(yè)帶來了體驗(yàn)提升。在VR方面，人們可以足不出戶360全景云賞風(fēng)景，并基于自主化視角選擇畫面內(nèi)容。在AR方面，空間計(jì)算被廣泛應(yīng)用于文旅創(chuàng)新場(chǎng)景中，與文旅各系統(tǒng)數(shù)據(jù)互聯(lián)互通，為超大型文旅園區(qū)場(chǎng)景提供了服務(wù)到智慧化管理的有力支持，為文旅的數(shù)字化發(fā)展貢獻(xiàn)了新的角度和敘事方式。目前，主要景區(qū)或數(shù)字化相對(duì)發(fā)達(dá)的地方積極探索與AR進(jìn)行融合創(chuàng)新的建設(shè)路徑。從建筑類的博物館、歷史建筑到自然風(fēng)景雄偉的4A、5A景區(qū)，再到人文和自然并存的新農(nóng)村，從主流的江浙滬到大西北的陜甘青，從歷史遺留建筑繁多的京津一帶和東北各首府到西南邊陲的貴州，再到遙遠(yuǎn)的新疆，AR在文旅中的應(yīng)用可謂遍地開花，諸多景區(qū)紛紛入局，利用AR賦能，給與用戶更深層次的體驗(yàn)，給景區(qū)帶來更多的流量。常用功能有相對(duì)基礎(chǔ)的導(dǎo)航導(dǎo)覽、全息講解、虛擬人導(dǎo)游講解，進(jìn)階功能涉及全息真人演出、時(shí)空穿越、場(chǎng)景還原和歷史再現(xiàn)、AR現(xiàn)場(chǎng)互動(dòng)和活動(dòng)、AR空間裝飾、AR互動(dòng)營(yíng)銷、AR文創(chuàng)、元宇宙模式下的劇本殺等等。4.2.2應(yīng)用案例建筑可閱讀與文化地標(biāo)傳統(tǒng)的“建筑可閱讀”是掃碼即可有圖文語音講解建筑的相關(guān)情況，在AR賦能下的這一功能有了全新體驗(yàn)，在天津慶王府和靜園的建筑可閱讀應(yīng)用中，大眾拍攝現(xiàn)實(shí)建筑系統(tǒng)識(shí)別后，不僅有建筑細(xì)部的特效和講解，同時(shí)還增加了建筑的歷史場(chǎng)景還原、靜物的活化、缺失損傷部位的再現(xiàn)、過往的建筑修復(fù)過程講解、AR文創(chuàng)、導(dǎo)航導(dǎo)覽等多元功能。此外，文化地標(biāo)是建筑空間計(jì)算的另一賦能應(yīng)用場(chǎng)景，例如上海外灘一帶的基礎(chǔ)AR內(nèi)容是導(dǎo)航導(dǎo)覽、空間特效、空間互動(dòng)煙花秀，進(jìn)階版則賦予了地標(biāo)特別的含義，如樓梯品牌廣告露出、城市音樂節(jié)場(chǎng)景空間秀等，進(jìn)一步發(fā)揮地標(biāo)的商業(yè)價(jià)值。博物館數(shù)字化升級(jí)對(duì)于故宮、敦煌莫高窟等國