移動(dòng)場景擴(kuò)展現(xiàn)實(shí)超高清技術(shù)白皮書 2025

移動(dòng)場景擴(kuò)展現(xiàn)實(shí)超高清技術(shù)白皮書UHDWorldAssociation世界超高清視頻產(chǎn)業(yè)聯(lián)盟I本文件由UWA聯(lián)盟虛擬現(xiàn)實(shí)工作組組織制訂，并負(fù)責(zé)解釋。本文件發(fā)布日期：2024年12月31日。本文件由世界超高清視頻產(chǎn)業(yè)聯(lián)盟提出并歸口。本文件歸屬世界超高清視頻產(chǎn)業(yè)聯(lián)盟。任何單位與個(gè)人未經(jīng)聯(lián)盟書面允許，不得以任何形式轉(zhuǎn)售、復(fù)制、修改、抄襲、傳播全部或部分內(nèi)容。本文件主要起草單位：中央廣播電視總臺(tái)、華為技術(shù)有限公司、咪咕文化科技有限公司、深圳創(chuàng)維數(shù)字技術(shù)有限公司、北京字節(jié)跳動(dòng)網(wǎng)絡(luò)技術(shù)有限公司、中國電子技術(shù)標(biāo)準(zhǔn)化研究院、中國信息通信研究院、杭州微幀信息科技有限公司本文件主要起草人：李巖、張鈺、郎鳳岐、周子豐、趙海龍、朱家悅、楊友慶、畢蕾、陳文斌、陳春明、張?jiān)麓?、胡超、耿一丹、徐遙令、翟云、陳曦、汪立民免責(zé)說明：1，本文件免費(fèi)使用，僅供參考，不對(duì)使用本文件的產(chǎn)品負(fù)責(zé)。2，本文件刷新后上傳聯(lián)盟官網(wǎng)，不另行通知。1.移動(dòng)場景擴(kuò)展現(xiàn)實(shí)超高清技術(shù)概述 12.移動(dòng)場景擴(kuò)展現(xiàn)實(shí)超高清關(guān)鍵技術(shù) 12.1內(nèi)容生產(chǎn) 22.2內(nèi)容編碼 62.3內(nèi)容傳輸 82.4內(nèi)容播放 93.移動(dòng)場景擴(kuò)展現(xiàn)實(shí)的應(yīng)用場景 3.1消費(fèi)者場景 3.1企業(yè)場景 4.移動(dòng)場景擴(kuò)展現(xiàn)實(shí)面臨的挑戰(zhàn) 204.1沉浸式體驗(yàn) 4.2豐富的內(nèi)容 4.3便攜和續(xù)航 5.技術(shù)標(biāo)準(zhǔn)化與產(chǎn)業(yè)政策建議 235.1關(guān)鍵技術(shù)標(biāo)準(zhǔn)化及發(fā)展方向 5.2產(chǎn)業(yè)政策建議 6.發(fā)展趨勢(shì)展望 267.附錄 297.1縮略語 參考文獻(xiàn) 3011.移動(dòng)場景擴(kuò)展現(xiàn)實(shí)超高清技術(shù)概述移動(dòng)場景擴(kuò)展現(xiàn)實(shí)超高清技術(shù)是指在移動(dòng)蜂窩網(wǎng)絡(luò)下使用擴(kuò)展現(xiàn)實(shí)設(shè)備（XR）的超高清技術(shù)，XR涵蓋了虛擬現(xiàn)實(shí)（VR）、增強(qiáng)現(xiàn)實(shí)（AR）和混合現(xiàn)實(shí)（MR）等多種形式、應(yīng)用場景包含個(gè)人消費(fèi)者場景及企業(yè)用戶場景。5G自2019年正式商用以來，截至2023年全球已擁有超過15億用戶，提供了遠(yuǎn)高于4G的用戶體驗(yàn)，5G技術(shù)同時(shí)也在推動(dòng)制造業(yè)、能源、公共事業(yè)、醫(yī)療保健、媒體和娛樂等行業(yè)的轉(zhuǎn)型，成為迄今為止增長最快的移動(dòng)技術(shù)。截至2024年上半年中國累計(jì)建設(shè)近375萬個(gè)5G基站，基本完成全國覆蓋。2024年5G-A的第一個(gè)標(biāo)準(zhǔn)版本3GPPRel-18正式凍結(jié)，標(biāo)志著5G-A進(jìn)入商用元年，全球領(lǐng)先的13大運(yùn)營商聯(lián)合宣布成為5G-A網(wǎng)絡(luò)先鋒，中國移動(dòng)更是率先在杭州啟動(dòng)了世界上第一個(gè)商業(yè)5G-A網(wǎng)絡(luò)，并計(jì)劃在年底前擴(kuò)展到全國300多個(gè)城市，標(biāo)志著5G-A從技術(shù)驗(yàn)證步入商用部署階段。國際市場在2024年上市了其首款混合現(xiàn)實(shí)（MR）頭顯設(shè)備，該設(shè)備主打超高清觀影體驗(yàn)。采用MicroOLED屏幕，單眼分辨率達(dá)到4K以上，并且支持8K超高解析度，為用戶提供了出色的圖像質(zhì)量，它還集成了流媒體服務(wù)，支持高質(zhì)量的8K內(nèi)容播放，為用戶帶來沉浸式的觀影體驗(yàn)，讓觀看超高清電影真正走向了移動(dòng)場景。與此同時(shí)，整個(gè)產(chǎn)業(yè)鏈都在積極跟進(jìn)，高通發(fā)布了支持單目4K，雙目8K的芯片，國內(nèi)創(chuàng)維、玩出夢(mèng)想等終端廠家也發(fā)布了雙目8KMR樣機(jī)，咪咕上線咪咕視頻-Vision等軟硬件產(chǎn)品。5G/5G-A快速的發(fā)展為移動(dòng)場景下的超高清視頻提供了強(qiáng)大的網(wǎng)絡(luò)支持，擴(kuò)展現(xiàn)實(shí)超高清視頻技術(shù)則在顯示和音頻方面帶來了革命性的體驗(yàn)，共同推動(dòng)了移動(dòng)場景下超高清視頻的發(fā)展，為超高清技術(shù)發(fā)展提供了新的發(fā)展方向。2.移動(dòng)場景擴(kuò)展現(xiàn)實(shí)超高清關(guān)鍵技術(shù)隨著5G/5G-A持續(xù)演進(jìn)和創(chuàng)新，將提供更高的帶寬、更低的時(shí)延，移動(dòng)網(wǎng)絡(luò)下擴(kuò)展現(xiàn)實(shí)設(shè)備觀看超高清視頻將進(jìn)入快車道，對(duì)超高清內(nèi)容生產(chǎn)、編碼、傳輸、播放等整個(gè)端到端的技術(shù)都帶來新的挑戰(zhàn)。超高清視頻包含MPEG、MV-HEVC等多種格式，包含雙目3D視頻、全景視頻、體積視頻等多種形態(tài)，本白皮書將基于近期發(fā)展快且已經(jīng)有商用高碼率8K視頻發(fā)布的MV-HEVC格式雙目3D視頻進(jìn)行介紹。2圖1移動(dòng)場景擴(kuò)展現(xiàn)實(shí)超高清內(nèi)容系統(tǒng)2.1內(nèi)容生產(chǎn)移動(dòng)網(wǎng)絡(luò)場景下的超高清技術(shù)相對(duì)傳統(tǒng)平面超高清技術(shù)為用戶提供了更加豐富和沉浸的觀看體驗(yàn)，這不僅需要更高的分辨率和幀率，同時(shí)還要考慮全景拍攝、3D效果、用戶交互和多視角切換等問題，通常需要專門的軟硬件來支持，隨著空擴(kuò)展現(xiàn)實(shí)類產(chǎn)品的發(fā)布，空間視頻和空間音頻開始受到廣泛關(guān)注。1、空間視頻的定義：左、右眼分別傳送不同的視圖，會(huì)帶來更豐富的用戶體驗(yàn)，向用戶的左眼呈現(xiàn)一幅圖像，同時(shí)右眼呈現(xiàn)另一幅相關(guān)的圖像，以產(chǎn)生立體視覺效果，大腦同時(shí)接收來自兩只眼睛的視覺刺激而產(chǎn)生的深度感知，空間視頻能夠存儲(chǔ)除視頻本身的額外深度信息。2、空間視頻關(guān)鍵技術(shù)及產(chǎn)品演進(jìn)：為提升空間視頻體驗(yàn)，目前在技術(shù)上可以提供XR平臺(tái)類工具套件，為開發(fā)者提供激光測量（LiDAR）場景重建、人體運(yùn)動(dòng)捕捉跟蹤、垂直和水平平面檢測、圖像檢測、3D對(duì)象檢測、3D對(duì)象掃描、4KHDR視頻捕捉等底層技術(shù)，利用MV-HEVC（MultiviewHighEfficiencyVideoCoding）的視頻編碼可顯著提升3D視頻觀看體驗(yàn)。用戶還可以對(duì)某一真實(shí)物體進(jìn)行掃描建模，并通過對(duì)象追蹤功能（ObjectTracking）實(shí)時(shí)精準(zhǔn)定位物體位置。部分產(chǎn)品在功能上可以通過對(duì)象捕捉（ObjectCapture）進(jìn)行3D模型創(chuàng)建，實(shí)現(xiàn)空間視頻錄制。使用更新的空間音頻功能，可根據(jù)個(gè)人的身體生理結(jié)構(gòu)定制出不同的空間音頻效果。3、非專業(yè)的空間視頻制作流程：隨著科技的發(fā)展，日?？臻g視頻制作已經(jīng)開始逐漸普及并且操作更加簡單。一些產(chǎn)品可以基于人類的雙目立體視覺原理，通過手機(jī)主攝像頭與超廣角攝像頭模仿人眼采集具有一定水平視差的雙目畫面，生成MV-HEVC編碼視頻?？臻g視頻拍攝方式和常規(guī)二維視頻拍攝方式類似，用戶打開手機(jī)相機(jī)APP，選擇視頻模式并橫置，點(diǎn)擊空間視頻圖標(biāo)符號(hào)，點(diǎn)擊錄制按鈕即可拍攝空間視頻。3圖2手機(jī)拍攝空間視頻4、專業(yè)的空間視頻制作過程：1）URSACineImmersive（單個(gè)鏡頭8160x7200分辨率、90fps、16檔動(dòng)態(tài)范圍該設(shè)備拍攝視頻文件格式為BlackmagicRAW，其存儲(chǔ)了相機(jī)元數(shù)據(jù)、鏡頭數(shù)據(jù)、白平衡、數(shù)字板信息和自定義LUT，以確保拍攝現(xiàn)場和后期制作過程中圖像的一致性。視頻文件可實(shí)時(shí)同步到BlackmagicCloud和DaVinciResolve。作為專業(yè)視頻編輯軟件，DaVinciResolve的沉浸式視頻查看器允許編輯者在2D監(jiān)視器或VisionPro上平移、傾斜和翻滾剪輯，以獲得更加沉浸式的編輯體驗(yàn)。圖3URSACineImmersive結(jié)構(gòu)圖4空間視頻拍攝現(xiàn)場2）NXImmersiveDesigner：該技術(shù)將產(chǎn)品工程解決方案與XR技術(shù)相結(jié)合，提供沉浸式設(shè)計(jì)和協(xié)作，讓創(chuàng)作者在完全沉浸式的環(huán)境中更直觀地進(jìn)行創(chuàng)作，讓其在虛擬世界和現(xiàn)實(shí)世界之間自由移動(dòng)，與世界各地的同事進(jìn)4行實(shí)時(shí)的協(xié)調(diào)合作。圖5NXImmersiveDesigner5、空間視頻呈現(xiàn)及交互：目前各廠商已陸續(xù)推出各類沉浸式視頻短片。相比傳統(tǒng)電影的視野范圍（40°-60°),這種沉浸式視頻可以提供180°視角的8K畫面，同時(shí)配合耳機(jī)的空間音頻功能，整個(gè)觀看體驗(yàn)更加身臨其境。結(jié)合佩戴設(shè)備上8K分辨率顯示器和高效眼追蹤系統(tǒng)，將MV-HEVC編碼視頻分別呈現(xiàn)給人的左眼和右眼，最終產(chǎn)生具有空間立體感的3D畫面，同時(shí)通過交互功能，用戶與空間視頻畫面進(jìn)行實(shí)時(shí)互動(dòng)。當(dāng)前咪咕視頻、騰訊視頻等多個(gè)內(nèi)容制造商開始出品此類節(jié)目，多賽多屏同看（咪咕視頻-Vision）、王者榮耀沙盤（騰訊視頻-Vision）等交互場景已開始應(yīng)用。圖6多賽多屏同看功能5圖7王者榮耀沙盤功能6、空間視頻生產(chǎn)設(shè)備發(fā)展情況：目前，iPhone15Pro及以上型號(hào)、VisionPro、QuestPro、Quest3、PICO4Ultra等新型終端設(shè)備大幅提升硬件運(yùn)算能力，開始支持空間視頻和空間音頻，并支持拍攝和預(yù)覽MV-HEVC編碼標(biāo)準(zhǔn)的空間視頻，讓空間視頻制作逐步實(shí)現(xiàn)便攜化。表1支持空間視頻制作的主流頭顯設(shè)備參數(shù)對(duì)比參數(shù)AppleVisionProPICO4UltraMetaQuest3QuestPro近眼顯示屏幕2x1.42"Micro-OLED(內(nèi)屏)OLED(外屏)2x2.56"Fast-LCD2x2.56"Fast-LCD2x2.48"Fast-LCD單眼分辨率3680x31402160x21602064x22081800×1920光學(xué)方案3PPancakePancakePancakePancake20.6刷新率90/96/100Hz72/90Hz72/80/90/120Hz72/90Hz支持不支持不支持不支持瞳距調(diào)節(jié)51-75mm58-72mm53-75mm55mm-75mm空間交互操作系統(tǒng)VisionOSAndroidOSHorizonOSHorizonOS追蹤方案6DoF空間定位方案，Inside-Out(12顆攝像頭)6DoF空間定位方案，Inside-Out6DoF空間定位方案，Inside-Out(4顆攝像頭)6DoF空間定位方案，Inside-Out手柄無無光環(huán)6DoF手柄無光環(huán)6DoF手柄無光環(huán)6DoF手柄手勢(shì)支持支持支持支持?jǐn)z像頭數(shù)量12（2300萬像素視角相機(jī)×4，外側(cè)視角相機(jī)×2，眼球追蹤紅外相機(jī)×4）7（3200萬像素iToF深度感知攝像像頭×4）4（黑白攝像頭×2；400萬像素RGB攝像10（紅外攝像頭×2；1600萬像素RGB攝像頭×1）傳感器數(shù)量5（原深感測鏡頭；LiDAR感測器；四個(gè)慣性測量單元(IMU)；閃爍感測器；環(huán)境光線感應(yīng)器）器；12顆紅外傳感器）4（重力感應(yīng)器；距離傳感器；加速度感應(yīng)器；陀螺儀感應(yīng)器）4（重力感應(yīng)器；距離傳感器；加速度感應(yīng)器；陀螺儀感應(yīng)器）面部追蹤支持不支持不支持支持眼動(dòng)追蹤支持不支持不支持支持手部追蹤支持支持支持支持6空間視頻制作支持支持支持支持性能續(xù)航芯片AppleM2(8核CPU、10核GPU、16核神經(jīng)網(wǎng)絡(luò)引擎)AppleR1(12ms延遲，256GB/s內(nèi)存帶寬)高通驍龍XR2Gen2（兩個(gè)2.05GHz核心、四個(gè)2.36GHz核心）高通驍龍XR2Gen2（兩個(gè)2.05GHz核心、四個(gè)2.36GHz核心）高通驍龍XR2Gen1RAM16GB12GB8GB12GBROM256GB/512GB/1T256GB128GB/512GB256GB電池容量外接3166mAh內(nèi)置5700mAh內(nèi)置4879mAh內(nèi)置5000mAh其他頭顯重量600-650g(電池重353g)含頂部綁帶585g含肩帶和面部接口515克722gWi-Fi6Wi-Fi7Wi-Fi6EWi-Fi6揚(yáng)聲器支持空間音頻雙立體揚(yáng)聲器，支持3D空間音效雙立體揚(yáng)聲器雙立體揚(yáng)聲器麥克風(fēng)6個(gè)4個(gè)，支持空間音頻錄制發(fā)布時(shí)間2023年6月6日2024年8月20日當(dāng)前移動(dòng)場景擴(kuò)展現(xiàn)實(shí)設(shè)備超高清視頻主流編碼方式為多層格式高效視頻編碼（MV-HEVC/3D-HEVC）。1、MV-HEVC/3D-HEVC定義：不同于傳統(tǒng)的AVC/HEVC單層3D上下/左右方式，MV-HEVC采用多層編碼設(shè)計(jì)，通過利用同一幀左右眼視圖之間的冗余信息做幀內(nèi)預(yù)測，實(shí)現(xiàn)更高的壓縮率。這種格式的優(yōu)點(diǎn)是可以向下兼容，對(duì)于不支持MV-HEVC解碼的平臺(tái)，只解碼baseview（單眼仍然能夠以2D形式觀看。3D-HEVC是一種更高級(jí)的3D視頻擴(kuò)展格式，由多個(gè)view和關(guān)聯(lián)的depthmaps編碼表示，與MV-HEVC相比，通過指定新的塊級(jí)視頻編碼工具，利用視頻紋理和深度之間的相關(guān)性進(jìn)一步提高壓縮率。編碼器多l(xiāng)ayer間關(guān)系如圖8所示,實(shí)線為MV-HEVC層間參考關(guān)系（沒有depthlayer虛線為3D-HEVC層間參考關(guān)系。7圖8MV-HEVC/3D-HEVC格式示意圖2、編碼預(yù)測：1）MV-HEVCInter-Layer預(yù)測：MV-HEVC架構(gòu)的一個(gè)關(guān)鍵優(yōu)點(diǎn)是它不會(huì)更改slice以下HEVC單層編碼所需的語法或解碼過程，可以重用現(xiàn)有實(shí)現(xiàn)，無需對(duì)HEVC解碼器進(jìn)行大的更改。與傳統(tǒng)HEVC基于時(shí)域的幀間預(yù)測不同，MV-HEVC還允許從同幀的不同view進(jìn)行預(yù)測，稱為inter-view預(yù)測。相同view的時(shí)域參考幀和相同時(shí)間的inter-view參考幀都可以出現(xiàn)在參考幀列表的任何位置。2）3D-HEVCInter-Layer預(yù)測：3D-HEVC在MV-HEVC的基礎(chǔ)上提供了更加豐富的inter-layer預(yù)測：a）結(jié)合的時(shí)域和IV預(yù)測（A+V即不同view之間的時(shí)域幀間參考；b）component間預(yù)測（C相同AU和view中不同component之間參考；c）結(jié)合的component間預(yù)測和IV預(yù)測（C+V即相同AU中不同view和不同component間參考。3、壓縮：3DSBS/TB,MV-HEVC,3D-HEVC三種3D格式壓縮性能對(duì)比如表2，MV-HEVC對(duì)比普通3D上下/左右，壓縮效率平均提升32%，3D-HEVC對(duì)比MV-HEVC，壓縮率進(jìn)一步提升15%。表2MV-HEVC/3D-HEVC壓縮率對(duì)比82017年至2023年期間，3GPP發(fā)布了三個(gè)版本的5G技術(shù)標(biāo)準(zhǔn)，Release-15版本中，主要確定了5G的物理層和數(shù)據(jù)鏈路層技術(shù)，包括頻譜分配、調(diào)制編碼和傳輸技術(shù)等。Release-16版本中，進(jìn)一步完善了5G的控制層技術(shù)，包括網(wǎng)絡(luò)切片、邊緣計(jì)算和無線資源管理等。Release-17版本中，主要關(guān)注5G的增強(qiáng)技術(shù)，如URLLC和mMTC等，2024年6月，3GPP正式發(fā)布Release-18，標(biāo)志5G-Advanced（5G-A）階段啟動(dòng)。圖93GPP的5G標(biāo)準(zhǔn)各版本發(fā)布時(shí)間表表33GPP的5G/5G-A標(biāo)準(zhǔn)參考表9網(wǎng)絡(luò)帶寬是保障超高清視頻流暢播放和即點(diǎn)即開的關(guān)鍵因素，經(jīng)過華為實(shí)驗(yàn)室實(shí)測，當(dāng)網(wǎng)絡(luò)帶寬達(dá)到視頻碼率的2倍時(shí)能夠滿足流暢播放需求，當(dāng)網(wǎng)絡(luò)帶寬達(dá)到5倍碼率時(shí)可滿足即點(diǎn)即開體驗(yàn)需求，4K和8K的網(wǎng)絡(luò)要求如表4所示：表4移動(dòng)場景超高清視頻保障帶寬要求分辨率碼率幀率(Frame)流暢體驗(yàn)帶寬即點(diǎn)即開帶寬4K8~22.530/6040~1108K20~8530/6040~170100~425播放分為內(nèi)容解析、內(nèi)容解碼、內(nèi)容播放3個(gè)階段，并且當(dāng)前業(yè)界對(duì)視頻播放已MOS分標(biāo)準(zhǔn)。1、內(nèi)容解析：1）分離視角數(shù)據(jù)，HTM解碼器會(huì)將原始數(shù)據(jù)分解為不同的視角層，例如layer0和layer1，這些層分別對(duì)應(yīng)不同的視角；2）不支持MV-HEVC解碼的設(shè)備：只能識(shí)別hvcC無法解析lhvC的語義，那么會(huì)創(chuàng)建普通HEVC解碼器，僅解碼主視角幀（mainview以實(shí)現(xiàn)單目兼容解碼播放。圖10MV-HEVC/3D-HEVC解析流程2、內(nèi)容解碼：MV-HEVC的解碼流程涉及多個(gè)步驟，以確保正確地處理和重建多視角視頻內(nèi)容：1）獲取解封裝信息：首先，需要從封裝文件中提取必要的信息，如lhvC信息。這一步是為了確保解碼器能夠正確解析MV-HEVC的二進(jìn)制數(shù)據(jù)流。2）使用HTM解碼器進(jìn)行解碼：將提取的二進(jìn)制數(shù)據(jù)送入HTM（HighEfficiencyVideoCodingMulti-view）解碼器進(jìn)行處理。HTM解碼器能夠處理MV-HEVC的多層編碼結(jié)構(gòu)，生成多個(gè)視角的原始數(shù)據(jù)。3、內(nèi)容播放：與普通2D視頻播放相比，MV-HEVC3D視頻播放主要差異點(diǎn)：1）視頻解析器除了需解析音頻流、視頻流以外，還需要解析動(dòng)態(tài)元數(shù)據(jù)流（視差參數(shù)2）視頻渲染器需利用視差參數(shù)構(gòu)建渲染矩陣，將視頻解碼幀渲染到上屏幀緩沖中，具體播放流程見圖11。圖11MV-HEVC/3D-HEVC視頻播放流程4、內(nèi)容播放的評(píng)價(jià)：與傳統(tǒng)平面視頻相似，MV-HEVC視頻通過MOS主觀評(píng)分來進(jìn)行，在清晰度、色彩、亮度、噪聲及偽影這四個(gè)維度的基礎(chǔ)上，增加了“3D合像”維度，用于衡量視差調(diào)節(jié)是否能達(dá)成人眼舒適合像的目標(biāo)，以5分制MOS分為例：表5移動(dòng)場景擴(kuò)展現(xiàn)實(shí)超高清視頻播放MOS打分邏輯2分4分呈現(xiàn)質(zhì)量：合像困難、沉浸感非常差交互質(zhì)量：交互時(shí)延非常長呈現(xiàn)質(zhì)量：合像正常但能察覺到明顯疲勞，沉浸感差且能感覺到明顯出鏡交互質(zhì)量：交互時(shí)延長且感覺到明顯延遲呈現(xiàn)質(zhì)量：合像正常但能察覺到疲勞，沉浸感差且能感覺到出鏡交互質(zhì)量：交互時(shí)延長且能感覺到延遲呈現(xiàn)質(zhì)量：合像正常且?guī)缀醪煊X不到疲勞，沉浸感好幾乎像身臨其境交互質(zhì)量：交互時(shí)延短且?guī)缀醺杏X不到延遲呈現(xiàn)質(zhì)量：合像正常且舒適，沉浸感好且身臨其境交互質(zhì)量：交互時(shí)延短且感覺不到延遲3.移動(dòng)場景擴(kuò)展現(xiàn)實(shí)的應(yīng)用場景移動(dòng)場景擴(kuò)展現(xiàn)實(shí)技術(shù)通過將虛擬信息和現(xiàn)實(shí)環(huán)境相結(jié)合，為個(gè)人消費(fèi)者用戶提供豐富的交互體驗(yàn)，當(dāng)前在大空間場景和車載場景已有應(yīng)用。1.XR大空間場景XR大空間支持多人在同一虛擬環(huán)境中進(jìn)行體驗(yàn)，具有更強(qiáng)的交互性以及更廣闊的交互環(huán)境，通常采用光學(xué)動(dòng)作捕捉等高精度定位技術(shù)，以實(shí)現(xiàn)對(duì)用戶在空間中位置和動(dòng)作的精確追蹤，被廣泛應(yīng)用于文化和娛樂領(lǐng)域，如博物館、主題公園等，通過VR技術(shù)重現(xiàn)歷史場景或提供沉浸式的故事體驗(yàn)。案例1：《琴島奇遇》XR大空間2024年8月，由廈門市鼓浪嶼-萬石山風(fēng)景名勝區(qū)管理委員會(huì)監(jiān)制、咪咕依托5G-A技術(shù)優(yōu)勢(shì)，整合“VR多人互動(dòng)+沉浸體感體驗(yàn)”內(nèi)容，打造了首個(gè)鼓浪嶼主題VR大空間《琴島奇遇》，通過“八閩文脈·記憶”“樂動(dòng)琴島·守護(hù)”“鐘聲依舊·時(shí)光”“以樂會(huì)友·圓滿”4K超清電影級(jí)內(nèi)容篇章，生動(dòng)串聯(lián)起鼓浪嶼的如畫景致和音樂秘境。用戶只需穿戴VR眼鏡和手柄，用戶便能以“家庭音樂會(huì)嘉賓”的身份，跟隨“時(shí)空領(lǐng)航數(shù)字人”穿越時(shí)空隧道，用第一視角開啟尋找、守護(hù)、修復(fù)的時(shí)空交錯(cuò)之旅。圖12“琴島奇遇”XR大空間案例2：吉米繪本元宇宙戲劇2024年10月由域上和美出品，攜手桑達(dá)股份、中國電子云等共同打造全球首個(gè)5G-AVR大空間沉浸劇場應(yīng)用。此次VR劇場項(xiàng)目以吉米繪本的五大經(jīng)典之作《我的世界都是你》為靈感來源，以寵物、失去與離別為主題，講述了一個(gè)溫暖治愈的故事。通過運(yùn)用前沿的元宇宙數(shù)字技術(shù)，在720°全方位視角的呈現(xiàn)下，吉米繪本中的那個(gè)溫暖而治愈的世界被重構(gòu)得栩栩如生。觀眾仿佛置身于一個(gè)充滿奇幻色彩的虛擬空間中，隨著劇情的推進(jìn)，在飛升、巨物等新奇的視覺元素和震撼的音效共同作用下，觀眾不僅享受到了奇幻絢麗的視覺沖擊，更在潛移默化中領(lǐng)悟到了關(guān)于生命、愛與成長的深層哲思。圖13吉米繪本元宇宙戲劇案例3：《無限TheInfinite》XR太空沉浸展《無限TheInfinite》VR太空沉浸展的內(nèi)容改編自艾美獎(jiǎng)獲獎(jiǎng)作品《太空探索者：國際空間站體驗(yàn)》，由Felix&Paul和PHI工作室聯(lián)合創(chuàng)制。VR體驗(yàn)內(nèi)容時(shí)長約60分鐘，凝聚了250小時(shí)國際空間站VR影片拍攝成果，1:1精心再現(xiàn)國際空間站真實(shí)場景。參與者通過VR，即可享受個(gè)性化探索路徑，“浸”入距離地球400公里的真實(shí)太空生活。2024年6月30日，《無限TheInfinite》首次引進(jìn)中國，于上海新世界大丸百貨舉辦展映。在咪咕、華錄超清、上海拓明等單位支持下，近1000平方米展覽區(qū)可實(shí)現(xiàn)超150人高定位精準(zhǔn)度的自由漫游。自2021年蒙特利爾全球首展以來，《無限TheInfinite》已吸引全球50多萬觀眾參與體驗(yàn)，并在持續(xù)不斷突破新高。圖14《無限TheInfinite》XR太空沉浸展案例4：《一夢(mèng)入大唐》VR大空間2024年7月3日，NOLO、野子科技聯(lián)合推出《一夢(mèng)入大唐》VR大空間。內(nèi)容制作團(tuán)隊(duì)根據(jù)歷史文獻(xiàn)記載和考古挖掘?qū)嵶C，以虛擬現(xiàn)實(shí)技術(shù)同史料史實(shí)創(chuàng)新結(jié)合，用戶只需佩戴好XR設(shè)備便能瞬間穿越至盛唐時(shí)代，跟隨數(shù)字導(dǎo)游的腳步，身臨其境地探秘尚未被挖掘的唐太宗昭陵、圍觀大唐名將震撼的貼面打斗、俯瞰長安城的繁華盛景，開啟一場穿越千年的大唐漫游之旅。《一夢(mèng)入大唐》獲CCTV-1、CCTV-13、北京電視臺(tái)及人民網(wǎng)、北京日?qǐng)?bào)等多家媒體專訪報(bào)道，吸引超百名達(dá)人探店。2個(gè)月內(nèi)體驗(yàn)用戶超過1萬人次，美團(tuán)店鋪“一夢(mèng)入大唐”霸榜“北京VR好評(píng)榜第一名”，貓眼評(píng)分高達(dá)9.9分（滿分10分）。10月11日，NOLO聯(lián)合咪咕攜《一夢(mèng)入大唐》亮相第12屆中國移動(dòng)全球合作伙伴大會(huì)，吸引大量參會(huì)人員進(jìn)行游玩體驗(yàn)。圖15《一夢(mèng)入大唐》VR大空間案例5：《鋼鐵突襲》游戲競技VR大空間咪咕數(shù)智競技科技中心設(shè)有《鋼鐵突襲》游戲競技VR大空間項(xiàng)目，基于空間定位、虛擬現(xiàn)實(shí)、動(dòng)作捕捉等技術(shù)，玩家在配備專業(yè)的穿戴設(shè)備后，立即變身持槍戰(zhàn)斗人員，可以組成小隊(duì)，進(jìn)行2對(duì)2的激烈競技對(duì)抗，充分考驗(yàn)自己的戰(zhàn)斗技能和團(tuán)隊(duì)合作精神。圖16“鋼鐵突襲”游戲競技VR大空間2.XR車載場景智能座艙的發(fā)展是全球戰(zhàn)略規(guī)劃，是否具備智能座艙已成為當(dāng)前用戶買車的關(guān)鍵需求。在智能座艙的相關(guān)技術(shù)當(dāng)中，車載XR又是其關(guān)鍵的能力之一。車載XR為駕駛者和乘客帶來更豐富直觀的信息交互體驗(yàn)，車載XR技術(shù)還與車機(jī)、手機(jī)聯(lián)動(dòng)，打造多終端融合體驗(yàn)。例如，Rokid與理想汽車合作發(fā)布的RokidMax支持L系列車型，實(shí)現(xiàn)了觀影、游戲、線上辦公等功能的投屏體驗(yàn)。星紀(jì)魅族發(fā)布的MYVU智能AR眼鏡通過FlymeLink與魅族手機(jī)互聯(lián)，實(shí)現(xiàn)了數(shù)據(jù)的無縫流轉(zhuǎn)，打造了多終端融合體驗(yàn)，Holoride公司的技術(shù)將擴(kuò)展現(xiàn)實(shí)和車輛運(yùn)動(dòng)軌跡參數(shù)進(jìn)行融合，提供全新的未來車載娛樂體驗(yàn)。大眾汽車也通過應(yīng)用擴(kuò)展現(xiàn)實(shí)XR技術(shù)制作了創(chuàng)新短片，以沉浸式的交互方式展示其純電動(dòng)SUV。小象智能（ELEJO）是國內(nèi)首家提供汽車與XR融合且可實(shí)車體驗(yàn)的科技公司，其技術(shù)可以消除用戶乘車的眩暈感，提供沉浸式虛擬視界。隨著光學(xué)器件、顯示技術(shù)、傳感器等硬件技術(shù)的不斷進(jìn)步，車載XR設(shè)備將變得更加輕便、舒適，同時(shí)提供更高的分辨率和更廣闊的視場角，增強(qiáng)用戶的沉浸感，讓更多開發(fā)者投入到車載XR內(nèi)容的開發(fā)中，推動(dòng)內(nèi)容生態(tài)的豐富和多樣化，覆蓋游戲、教育、娛樂、專業(yè)培訓(xùn)等多個(gè)領(lǐng)域。5G-A網(wǎng)絡(luò)的超低時(shí)延、超高帶寬將保障XR設(shè)備性能在移動(dòng)場景下的最大發(fā)揮，預(yù)示著未來5G-A與XR結(jié)合的無限可能。案例1：江西移動(dòng)車載XR示范點(diǎn)2023年中國移動(dòng)、中移虛擬現(xiàn)實(shí)、華為、小象智能、中汽中心以及信通院在南昌打造了車載XR樣板點(diǎn)，共同組成XRMA產(chǎn)業(yè)聯(lián)盟并聯(lián)合發(fā)布了《5G-A車載XR用戶體驗(yàn)白皮書》，白皮書對(duì)車載XR用戶體驗(yàn)測評(píng)標(biāo)準(zhǔn)升級(jí)，構(gòu)建了車載XR用戶體驗(yàn)5G-A網(wǎng)絡(luò)評(píng)估方案。目前白皮書已經(jīng)應(yīng)用到車載XR行業(yè)中。圖17江西移動(dòng)車載XR示范點(diǎn)移動(dòng)超高清技術(shù)也在企業(yè)用戶市場持續(xù)發(fā)力，XR產(chǎn)品深入到行業(yè)核心痛點(diǎn)和細(xì)節(jié)需求上，并針對(duì)性地探索解決辦法，在醫(yī)療、教育、文旅、工業(yè)制造、賽事演繹、大型活動(dòng)等實(shí)際應(yīng)用場景中已擁有成熟的通用行業(yè)解決方案。1.醫(yī)療場景在醫(yī)療領(lǐng)域，XR技術(shù)用于手術(shù)模擬、遠(yuǎn)程醫(yī)療和患者康復(fù)訓(xùn)練。通過VR/AR技術(shù)，醫(yī)生可以在虛擬環(huán)境中進(jìn)行手術(shù)演練，提高手術(shù)成功率。同時(shí)，患者可以通過沉浸式體驗(yàn)進(jìn)行康復(fù)訓(xùn)練，加速身體恢復(fù)過程。案例1：VR外科手術(shù)溫州醫(yī)科大學(xué)附屬第一醫(yī)院團(tuán)隊(duì)利用VR頭戴設(shè)備，成功完成了兩例腸癌手術(shù)，將VR技術(shù)與微創(chuàng)手術(shù)機(jī)器人相結(jié)合。不同于傳統(tǒng)的手術(shù)模式，“VR頭戴式顯示設(shè)備+微創(chuàng)手術(shù)機(jī)器人”的“黃金組合”，將進(jìn)一步解放主刀醫(yī)生的頭頸部及手部運(yùn)動(dòng)，大大提升了手術(shù)的自由度和操作的精準(zhǔn)度。同時(shí)，得益于頭顯設(shè)備中的多功能操作界面，術(shù)中主刀醫(yī)生僅需做幾個(gè)簡單手勢(shì)，便能隨時(shí)調(diào)出患者的信息及術(shù)前CT影像，包括大血管的3D重建圖像，結(jié)合術(shù)中的實(shí)時(shí)畫面，進(jìn)行精準(zhǔn)的血管解剖、淋巴解剖和層面解剖。這種有實(shí)時(shí)參照的“開卷”手術(shù)，讓醫(yī)生們?cè)诓浑x開手術(shù)現(xiàn)場的情況下更加安全、高效地作出臨床判斷和決策。圖18VR外科手術(shù)2.教育場景XR技術(shù)在教育和職業(yè)培訓(xùn)領(lǐng)域有著廣泛應(yīng)用，XR技術(shù)在企業(yè)培訓(xùn)中的應(yīng)用已經(jīng)逐漸成為一種重要的趨勢(shì)，它可以模擬產(chǎn)品的機(jī)制，幫助員工理解組件如何與機(jī)器配合，并提前識(shí)別潛在風(fēng)險(xiǎn)。此外，XR技術(shù)還能夠通過3D模型和虛擬環(huán)境，使培訓(xùn)更加直觀和高效，從而提高信息處理速度和記憶持久性。案例1：吉林水利電力職業(yè)學(xué)院沉浸式互動(dòng)學(xué)習(xí)教室在教學(xué)中經(jīng)常會(huì)使用沉浸式互動(dòng)學(xué)習(xí)教室，其硬件產(chǎn)品選用了DPVRE4及DPVRP1PRO，搭配了大朋VR自主研發(fā)的星鏈解決方案，該解決方案能滿足近48人的課堂教學(xué)。老師使用DPVRE4進(jìn)行專業(yè)內(nèi)容操作示范，通過星鏈技術(shù)實(shí)時(shí)同屏到48位學(xué)生佩戴的DPVRP1PRO中，學(xué)生能以教師的第一視角沉浸體驗(yàn)實(shí)操的全過程，幫助學(xué)生了解復(fù)雜的建筑專業(yè)知識(shí)，更直觀地學(xué)習(xí)裝配式施工相關(guān)操作。圖19吉林水利電力職業(yè)學(xué)院沉浸式互動(dòng)學(xué)習(xí)教室3.文旅場景XR通過虛擬重建3D場景和交互式數(shù)字故事講述等方式，使用戶與文化遺產(chǎn)進(jìn)行互動(dòng)，從而增強(qiáng)展示效果。XR技術(shù)還可以創(chuàng)建虛擬副本，讓游客無需親臨現(xiàn)場即可體驗(yàn)?zāi)康牡?，從而減少對(duì)文化遺產(chǎn)的物理壓力，也為游客提供沉浸式的旅行體驗(yàn)。案例1：咪咕“鼓浪嶼元宇宙”廈門市人民政府聯(lián)合咪咕，依托先進(jìn)通信、數(shù)字孿生和云渲染等技術(shù)，采用“咪咕筑境”“咪咕繪境”融合創(chuàng)新引擎，打造國內(nèi)首個(gè)以鼓浪嶼為原型的數(shù)字空間“鼓浪嶼元宇宙”。針對(duì)鼓浪嶼1.88平方公里的自然景觀和人文建筑進(jìn)行毫米級(jí)1:1數(shù)字孿生建模，100%真實(shí)還原鼓浪嶼全島的實(shí)景面貌。同時(shí)，利用動(dòng)態(tài)天氣系統(tǒng)、實(shí)時(shí)光線追蹤技術(shù)、lumen（動(dòng)態(tài)全局光照）技術(shù)等多項(xiàng)前沿科技為“鼓浪嶼元宇宙”塑造了一個(gè)跨越時(shí)空的沉浸式元宇宙世界。此外，“鼓浪嶼元宇宙”中還提供了豐富的實(shí)時(shí)互動(dòng)玩法，用戶通過專屬3D數(shù)字人形象，即可與來自不同地區(qū)的陌生人同場競技、模擬彈奏樂器、互加好友，進(jìn)一步加深人與人、人與數(shù)字世界的交互方式。圖20鼓浪嶼元宇宙空間案例2：跟著德爺闖東非《跟著德爺闖東非》是PICO首部VR互動(dòng)紀(jì)錄片，本項(xiàng)目聯(lián)手全球紀(jì)錄片領(lǐng)域頭部品牌DISCOVERY，與明星探險(xiǎn)家德爺（EdwardJamesStafford）共赴非洲實(shí)地拍攝，以實(shí)拍+虛擬互動(dòng)的方式，通過“鉆木取火”結(jié)合野外生存的定制化的互動(dòng)設(shè)計(jì)，讓觀眾以第一視角攝影師的身份陪伴德爺一起冒險(xiǎn)，近距離觀察野生動(dòng)物，體驗(yàn)非洲大草原的野外生存之旅。圖21跟著德爺闖東非案例3：咪咕“故宮文物南遷紀(jì)念展”2023年12月28日，恰逢故宮文物南遷90周年之際，由故宮、人民日?qǐng)?bào)《國家人文歷史》雜志社主辦，中國移動(dòng)咪咕承辦的“國寶的長征—故宮文物南遷紀(jì)念展”在上海市歷史博物館拉開帷幕。此次展覽以故宮文物南遷史料及研究成果為主要內(nèi)容，創(chuàng)造性地將室內(nèi)展廳與室外景觀庭院相結(jié)合，室內(nèi)展覽分為“國之瑰寶烽煙南渡”“滬上四載古物重光”“文脈賡續(xù)生生不息”三個(gè)單元，室外展覽則以南遷文物箱為造型打造一系列“文物影像屋”。展覽通過數(shù)智化、沉浸式的呈現(xiàn)技術(shù)手段再現(xiàn)故宮文物南遷的歷史記憶，帶領(lǐng)觀眾走進(jìn)一場跨越90年的時(shí)空對(duì)話。圖22故宮文物南遷紀(jì)念展——文物影像屋案例4：咪咕“敦煌數(shù)字空間AR智能導(dǎo)覽”敦煌研究院所、咪咕和Rokid等單位基于AI引擎、圖片識(shí)別、3D場景呈現(xiàn)等新技術(shù)，聯(lián)合打造“敦煌AR智能導(dǎo)覽”作為展覽唯一應(yīng)用的數(shù)智化導(dǎo)覽系統(tǒng)，通過對(duì)莫高窟第285窟進(jìn)行1:1孿生復(fù)刻及數(shù)智導(dǎo)游解說，重現(xiàn)千年敦煌的絢爛文化。游客穿戴AR設(shè)備便可以360°全景式、沉浸式地“走入”敦煌壁畫中，數(shù)字導(dǎo)覽員“敦敦”指引觀眾了解莫高窟的前世今生，助力敦煌開啟數(shù)字化游覽新篇章。圖23敦煌數(shù)字空間AR智能導(dǎo)覽4.工業(yè)制造XR技術(shù)已在工業(yè)制造領(lǐng)域得到了廣泛應(yīng)用，包括遠(yuǎn)程研究、維護(hù)和生產(chǎn)制造等環(huán)節(jié)。通過XR設(shè)備，企業(yè)可以實(shí)現(xiàn)虛擬設(shè)計(jì)、生產(chǎn)過程模擬、質(zhì)量管控等，從而提高開發(fā)效率，減少成本和時(shí)間，同時(shí)XR技術(shù)為制造業(yè)提供了更加直觀且實(shí)時(shí)的設(shè)計(jì)以及更加仿真的環(huán)境，工程師可以利用XR技術(shù)創(chuàng)建虛擬原型，快速進(jìn)行設(shè)計(jì)的驗(yàn)證和修改，從而縮短產(chǎn)品開發(fā)周期、減少開發(fā)成本。案例1：美的AR設(shè)備巡檢項(xiàng)目杭州靈伴科技和美的集團(tuán)的AR巡檢項(xiàng)目在設(shè)備巡檢過程中，作業(yè)人員配備AR設(shè)備，用于巡檢作業(yè)中的儀表識(shí)別、數(shù)據(jù)記錄、識(shí)別狀態(tài)獲取、作業(yè)錄像留底等功能，提升巡檢作業(yè)效率。同時(shí)為作業(yè)人員的眼鏡安裝遠(yuǎn)程協(xié)作功能，在現(xiàn)場工作人員遇到困難時(shí)，專家可以遠(yuǎn)程協(xié)助解決問題。圖24美的AR設(shè)備巡檢項(xiàng)目5、賽事演繹在賽事演繹方面，XR技術(shù)可以為用戶提供沉浸式的觀賽體驗(yàn)，讓他們仿佛置身于比賽現(xiàn)場。通過虛擬現(xiàn)實(shí)技術(shù)，用戶可以看到比賽的全景，感受到現(xiàn)場的氣氛和觀眾的熱情，此外，元宇宙還可以提供多角度的觀賽視角，讓用戶可以自由選擇自己喜歡的視角觀看比賽。案例1：Pico2022年世界杯直播用戶支持的球隊(duì)視角360°3D7680x7680@30fps直播（雙180°3D拼接而成保證正前方和正后方的清晰感受360°沉浸式球迷們的包裹感，與嘉賓KOL、足球?qū)氊惲憔嚯x交流互動(dòng)，虛擬互動(dòng)場包廂視角180°3D7680x3840@30fps直播，從二樓包廂視角觀看比賽并可俯視酒吧全景，可觀看比賽用時(shí)與其他線上用戶實(shí)時(shí)交流互動(dòng)。圖25Pico2022年世界杯直播案例2：2023年杭州亞運(yùn)會(huì)AR開幕式作為2023杭州亞運(yùn)會(huì)開幕式5G元宇宙沉浸互動(dòng)合作伙伴，咪咕突破時(shí)空、地域、形式限制，創(chuàng)新打造亞運(yùn)會(huì)史上首場“數(shù)實(shí)同屏、瞬時(shí)定位、實(shí)時(shí)互動(dòng)”的數(shù)實(shí)融合AR互動(dòng)節(jié)開幕式。通過“放飛亞運(yùn)華燈”“亞運(yùn)吉祥物AR互動(dòng)”“寄送專屬亞運(yùn)明信片”“助燃亞運(yùn)火炬”四大沉浸式數(shù)實(shí)融合互動(dòng)環(huán)節(jié)，為超7萬人的場內(nèi)觀眾提供更富趣味性的開幕式體驗(yàn)。圖262023年杭州亞運(yùn)會(huì)AR開幕式案例3：咪咕“十六屆動(dòng)感地帶世界杯音樂盛典”自2007年首度舉辦至今，咪咕匯一直是風(fēng)靡全國、長盛不衰的音樂盛典IP。十六屆動(dòng)感地帶世界杯音樂盛典?咪咕匯基于高精度建模、實(shí)時(shí)渲染、全息投影等前沿技術(shù)，以VR/AR/MR+5G+4K舞臺(tái)的呈現(xiàn)方式，打造了全球首個(gè)“全場景數(shù)實(shí)融合世界杯元宇宙音樂盛典”。全息虛擬舞臺(tái)效果伴隨不同歌曲意境進(jìn)行改變；周杰倫、劉畊宏、徐夢(mèng)桃等明星與專屬數(shù)智人（“橙絡(luò)絡(luò)”“劉教練”）同臺(tái)表演；廣大觀眾通過至臻盛典視角、經(jīng)紀(jì)人視角、神秘保鏢視角、隨身娛記視角等17路視角享受身臨其境的沉浸式全場景演藝觀賞體驗(yàn)。圖27咪咕匯元宇宙舞臺(tái)4.移動(dòng)場景擴(kuò)展現(xiàn)實(shí)面臨的挑戰(zhàn)沉浸式體驗(yàn)的核心在于通過多種感官刺激使參與者完全融入特定的情境或環(huán)境中，這種體驗(yàn)不僅限于視覺和聽覺，還包括觸覺、嗅覺等多種感官的綜合運(yùn)用，沉浸式體驗(yàn)的關(guān)鍵在于“臨場感”，即使用者感覺身臨其境，所見皆“真”，并且能夠與之自然互動(dòng)。1、視覺：由于XR眼鏡屏幕與我們的眼睛距離非常近，因此XR的視覺品質(zhì)需要屏幕像素能夠達(dá)到與真實(shí)世界無限接近的程度，從而做到“以假亂真”的真實(shí)感，高分辨率的屏幕同時(shí)也去除了“紗窗效應(yīng)”（screendooreffect即當(dāng)像素密度不足時(shí)畫面在人眼中產(chǎn)生虛影的現(xiàn)象，就像通過紗窗看外面的世界。人類通過雙眼以3D形態(tài)觀察世界，這就需要立體顯示器為場景中的物體顯示適當(dāng)?shù)木吧?，從而?shí)現(xiàn)3D效果。人眼擁有接近180°的視場角（fieldofview，簡稱：FOV而能清晰成像的面積也有將近120°,因此VR設(shè)備的FOV越接近這一數(shù)值，越能提供沉浸式的體驗(yàn)。視覺上的考驗(yàn)還遠(yuǎn)不止如此，更加困難的是從人體運(yùn)動(dòng)到顯示屏刷新之間的延時(shí)（motiontophoton，簡稱：MTP）問題。通過實(shí)驗(yàn)，MTP延時(shí)超過20ms將使沉浸式體驗(yàn)顯著下降，同時(shí)用戶也會(huì)產(chǎn)生眩暈感。此外，顯示屏的刷新頻率越高，所要求的MTP延時(shí)越低，例如一塊60Hz的屏幕的合理延時(shí)需少于17ms，而一塊90Hz的屏幕則需低于11ms。但當(dāng)前很多XR設(shè)備在分辨率、延遲、舒適度等方面或多或少還存在一些問題，需要技術(shù)不斷改進(jìn)和完善，以提高用戶的體驗(yàn)和滿意度。2、聽覺：為了使視覺與聽覺得到完全同步，我們需要高保真音頻和3D環(huán)繞聲，高保真的音頻可以在采樣頻率和采樣位數(shù)上與人類聽力相匹配。我們處于三維空間當(dāng)中，聲音是3D形態(tài)的，同樣在XR場景中，3D音頻也必不可少，逼真的3D定位音頻可以在頭部轉(zhuǎn)動(dòng)時(shí)動(dòng)態(tài)調(diào)整，這就意味著我們可以在虛擬現(xiàn)實(shí)環(huán)境中，通過聲音來辨別聲源方向和距離，做到與真實(shí)生活別無二致。盡管空間音頻技術(shù)正在發(fā)展，但目前商用的HRTFs（頭相關(guān)傳輸函數(shù)）數(shù)據(jù)庫的精度尚未達(dá)到與人耳聽辨能力相媲美的水平。此外，每個(gè)人的人體工學(xué)參數(shù)和心理聲學(xué)系統(tǒng)都不同，甚至?xí)S著年齡增加而變化，這使得實(shí)現(xiàn)高度逼真的聽覺體驗(yàn)更具挑戰(zhàn)性。3、交互：直觀交互實(shí)際上是人類的第二本能，沒有什么比轉(zhuǎn)動(dòng)頭部環(huán)顧四周更自然的方式了，依賴于認(rèn)知技術(shù)，我們還可以使用手勢(shì)或語音，在虛擬空間進(jìn)行控制。六自由度（6-DOF）精準(zhǔn)運(yùn)動(dòng)跟蹤不僅可以實(shí)現(xiàn)上下左右的基本模擬，還可以在不斷變化的虛擬現(xiàn)實(shí)環(huán)境中，實(shí)現(xiàn)前進(jìn)和后退。受益于近年來的技術(shù)發(fā)展，虛擬現(xiàn)實(shí)已經(jīng)擺脫了早期笨重的有線頭戴式顯示器和控制器。移動(dòng)平臺(tái)開始采用系統(tǒng)性解決方案和基于SoC的定制設(shè)計(jì)專業(yè)引擎，提供經(jīng)過終端到終端優(yōu)化后的高效異構(gòu)運(yùn)算解決方案，將XR變成現(xiàn)實(shí)，手部跟蹤、眼動(dòng)追蹤和語音交互等技術(shù)是當(dāng)前XR體驗(yàn)中的關(guān)鍵挑戰(zhàn)。手部跟蹤需要精確識(shí)別用戶的動(dòng)作，而眼動(dòng)追蹤則可以更符合人體工程學(xué)，提高界面的可用性。盡管多模態(tài)交互技術(shù)已經(jīng)獲得了很大的進(jìn)步，但其復(fù)雜性也帶來了不少挑戰(zhàn)。例如，手勢(shì)識(shí)別的復(fù)雜性、面部表情和注視的多模態(tài)融合難度較大，這需要進(jìn)一步的技術(shù)突破。此外，眼手交互雖然提高了交互效率，但也存在學(xué)習(xí)成本高、魯棒性不足等問題。豐富的內(nèi)容是吸引客戶使用XR的關(guān)鍵因素，根據(jù)多方面的證據(jù)，XR行業(yè)的發(fā)展和用戶體驗(yàn)的提升都依賴于高質(zhì)量的內(nèi)容。內(nèi)容是XR行業(yè)的重要組成部分，也是吸引用戶的關(guān)鍵因素，高質(zhì)量的游戲、電影和教育等XR內(nèi)容可以為用戶提供豐富的娛樂和學(xué)習(xí)體驗(yàn)。此外，好的XR體驗(yàn)必須具有沉浸感和吸引力，不僅要能夠吸引消費(fèi)者的注意力，還要能提供價(jià)值并增強(qiáng)消費(fèi)者與品牌的互動(dòng)體驗(yàn)。同時(shí)，XR設(shè)備本身無法脫離內(nèi)容來提供功能價(jià)值，消費(fèi)者購買XR設(shè)備主要是為了體驗(yàn)設(shè)備上的內(nèi)容或應(yīng)用，因此完善的內(nèi)容是促進(jìn)XR設(shè)備銷量的重要因素。但實(shí)際上XR內(nèi)容數(shù)量有限，例如截至2022年6月，OculusRift平臺(tái)上的XR內(nèi)容數(shù)量僅為1392款，而Quest系列硬件累計(jì)出貨量約2000萬臺(tái)，但內(nèi)容數(shù)量僅400余款，這種內(nèi)容數(shù)量上的不足限制了消費(fèi)者的選擇和體驗(yàn)。導(dǎo)致內(nèi)容缺失的有以下幾個(gè)關(guān)鍵問題：1、高質(zhì)量內(nèi)容稀缺：盡管有大量內(nèi)容存在，但高質(zhì)量的VR內(nèi)容仍然稀缺。上榜作品榜單上仍以老牌VR游戲?yàn)橹鳎陙憩F(xiàn)象級(jí)重磅游戲較為匱乏，這表明市場上缺乏能夠吸引大量用戶并產(chǎn)生持續(xù)興趣的高質(zhì)量內(nèi)容。2、開發(fā)成本高且收益低：部分內(nèi)容復(fù)雜、畫面精致的虛擬現(xiàn)實(shí)作品收益不能覆蓋制作成本，削弱了開發(fā)團(tuán)隊(duì)的創(chuàng)作熱情，制約了內(nèi)容創(chuàng)作進(jìn)度，降低了VR游戲效果，高額的硬件購置成本也影響了終端用戶的需求。3、人才緊缺和傳統(tǒng)思維：部分虛擬現(xiàn)實(shí)內(nèi)容開發(fā)企業(yè)由電腦端游戲團(tuán)隊(duì)、移動(dòng)端游戲團(tuán)隊(duì)轉(zhuǎn)型而成，其作品設(shè)計(jì)思路受制于傳統(tǒng)內(nèi)容開發(fā)模式，導(dǎo)致作品畫面復(fù)雜、操作難度大、用戶學(xué)習(xí)成本過高等問題。4、市場環(huán)境和用戶黏性不足：XR用戶黏性不足、場景較少是限制XR銷量持續(xù)成長的重要因素，行業(yè)亟待新玩家破局，缺乏優(yōu)質(zhì)內(nèi)容生態(tài)供給成為老生常談之言。移動(dòng)場景下使用XR最關(guān)鍵的訴求是方便攜帶和續(xù)航能力。XR設(shè)備通常需要集成高性能的CPU、存儲(chǔ)和傳輸組件，這導(dǎo)致了設(shè)備的重量較重，用戶難以長時(shí)間佩戴，目前市面上主流的XR頭顯重量大多在500g左右，甚至部分設(shè)備達(dá)到了650g，這種重量不僅影響了用戶的佩戴舒適度，還可能導(dǎo)致長時(shí)間使用時(shí)出現(xiàn)頸部疼痛。此外，XR設(shè)備的重量與其性能之間存在一定的不平衡。隨著XR設(shè)備朝著高自由度和高沉浸度的方向發(fā)展，設(shè)備中的追蹤方案和算力系統(tǒng)被集成到頭顯中，使其更加笨重。盡管有研究和嘗試通過輕量化設(shè)計(jì)來改善這一問題，但整體上設(shè)備仍然面臨重量過重的問題。另外，XR設(shè)備的重量還與佩戴者的體驗(yàn)密切相關(guān)。較重的設(shè)備會(huì)增加頭部負(fù)擔(dān)，長時(shí)間佩戴后容易造成疲勞和不適感。因此，減輕XR設(shè)備的重量是提升用戶體驗(yàn)的重要方向之一。XR設(shè)備的重量問題不僅影響用戶的佩戴舒適度，還限制了其使用時(shí)長和體驗(yàn)質(zhì)量，未來的發(fā)展趨勢(shì)是朝著更輕便、更舒適的方向努力，以提高用戶的接受度和使用時(shí)長。續(xù)航是另外一個(gè)用戶最關(guān)心的問題，想要XR設(shè)備可以長續(xù)航，目前還存在一定的困難。XR設(shè)備需要高亮度和高性能的顯示效果，這導(dǎo)致了較高的功耗。例如，Pico4XR頭顯由于采用了Pancake光學(xué)方案，需要很高的亮度，同時(shí)XR2芯片性能不足，為了實(shí)現(xiàn)較好的渲染效果，必須使用CPU高頻運(yùn)行，這進(jìn)一步增加了功耗。高性能的計(jì)算需求也使得XR設(shè)備的電池續(xù)航時(shí)間受到限制。XR設(shè)備的重量和散熱問題也同樣影響了續(xù)航能力。一體式XR設(shè)備由于集成了強(qiáng)大的計(jì)算能力，導(dǎo)致其體積較大且重量較重，這不僅影響了佩戴體驗(yàn)，還可能導(dǎo)致設(shè)備過熱，從而縮短電池壽命。據(jù)用戶反饋顯示，XR設(shè)備在高幀率內(nèi)容運(yùn)行下，電量只能維持約1~2個(gè)小時(shí)，這顯然無法滿足長時(shí)間使用的需求。5.技術(shù)標(biāo)準(zhǔn)化與產(chǎn)業(yè)政策建議XR技術(shù)的標(biāo)準(zhǔn)化工作正在全球范圍內(nèi)積極推進(jìn)，以應(yīng)對(duì)日益增長的技術(shù)需求和行業(yè)挑戰(zhàn)。1、動(dòng)作捕捉：世界超高清視頻產(chǎn)業(yè)聯(lián)盟制定了T/UWA022.1-2023、T/UWA022.2—2024和T/UWA022.3-2023三項(xiàng)標(biāo)準(zhǔn)，分別涉及虛擬現(xiàn)實(shí)應(yīng)用中的人體動(dòng)作捕捉系統(tǒng)的通用技術(shù)要求、慣性動(dòng)作捕捉系統(tǒng)軟件接口和光學(xué)動(dòng)作捕捉系統(tǒng)軟件接口。這些標(biāo)準(zhǔn)規(guī)定了虛擬現(xiàn)實(shí)中人體動(dòng)作捕捉系統(tǒng)的功能和性能標(biāo)準(zhǔn)，以及慣性系統(tǒng)的軟件接口要求，旨在指導(dǎo)相關(guān)系統(tǒng)的研發(fā)、應(yīng)用和維護(hù)。在國際層面，ISO/IECJTC1發(fā)布了類人動(dòng)畫系列標(biāo)準(zhǔn)，包括ISO/IEC19774-1和19774-2，分別定義了人形數(shù)據(jù)結(jié)構(gòu)和動(dòng)畫運(yùn)動(dòng)數(shù)據(jù)，用于動(dòng)作捕捉數(shù)據(jù)的投影和動(dòng)畫生成。中國提出的《信息技術(shù)面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)》國際標(biāo)準(zhǔn)也計(jì)劃納入這一體系。實(shí)景拍攝和動(dòng)作捕捉作為擴(kuò)展現(xiàn)實(shí)內(nèi)容生產(chǎn)的關(guān)鍵，涉及的內(nèi)容采集流程、數(shù)據(jù)格式和音視頻設(shè)備等都是未來標(biāo)準(zhǔn)化工作的重點(diǎn)，這些標(biāo)準(zhǔn)的制定將提升內(nèi)容生產(chǎn)效率，促進(jìn)行業(yè)的規(guī)范化發(fā)展。2、三維重建：TC28/SC24（全國信標(biāo)委計(jì)算機(jī)圖形圖像分委會(huì)）組織起草《信息技術(shù)大規(guī)模場景多視圖三維重建系統(tǒng)技術(shù)規(guī)范》（計(jì)劃號(hào)：20240831-T-469給出了基于多視圖影像的大規(guī)模場景三維重建系統(tǒng)的總體原則、功能要求、性能要求和測試方法等。3、XR制作系統(tǒng)：世界超高清視頻產(chǎn)業(yè)聯(lián)盟發(fā)布了《XR虛實(shí)融合制作系統(tǒng)技術(shù)要求與測試方法》標(biāo)準(zhǔn)（T/UWA016-2022該標(biāo)準(zhǔn)涵蓋了XR虛實(shí)融合制作系統(tǒng)及其子系統(tǒng)（LED大屏系統(tǒng)、拍攝系統(tǒng)、目標(biāo)跟蹤系統(tǒng)、渲染系統(tǒng)）的技術(shù)要求與測試方法，該標(biāo)準(zhǔn)為指導(dǎo)XR虛實(shí)融合制作的規(guī)范開展提供了明確的技術(shù)指導(dǎo)，也為開展面向后續(xù)虛擬影棚、虛擬演播室等具體應(yīng)用場景的標(biāo)準(zhǔn)化工作奠定了基礎(chǔ)。4、編解碼：國際上和國內(nèi)在全景視頻、自由視點(diǎn)視頻、3D點(diǎn)云、3DMesh和三維聲（AudioVivid）等超高清音視頻技術(shù)領(lǐng)域的發(fā)展和標(biāo)準(zhǔn)化工作正快速推進(jìn)。國際組織如ITU-RSG6、MPEG、3GPP、JPEG和IEEE等都在制定相關(guān)標(biāo)準(zhǔn)，以規(guī)范這些技術(shù)的發(fā)展。國內(nèi)方面，中國的AVS工作組也在推動(dòng)VR視頻編碼等國家標(biāo)準(zhǔn)的制定。這些標(biāo)準(zhǔn)旨在提升視頻質(zhì)量、優(yōu)化傳輸效率，并支持5G網(wǎng)絡(luò)、有線電視網(wǎng)絡(luò)、IPTV和互聯(lián)網(wǎng)傳輸分發(fā)等新的應(yīng)用場景。未來，高效的球面-平面的投影、高效的片劃分、提高并行處理速度、實(shí)現(xiàn)用戶姿態(tài)變化快速響應(yīng)及視角自適應(yīng)動(dòng)態(tài)切換等將是未來全景視頻編碼技術(shù)的重要發(fā)展方向。更高效的補(bǔ)丁塊生成、深度圖生成方法、兼容更多的視頻編碼器、基于率失真優(yōu)化的聯(lián)合比特分配、面向全景內(nèi)容的非同構(gòu)視圖選擇、支持更寬的深度動(dòng)態(tài)范圍并實(shí)現(xiàn)占用誤差校正、降低視點(diǎn)切換的延遲等將是未來自由視點(diǎn)視頻編碼的技術(shù)的發(fā)展方向。更高效的幾何表征方法及屬性預(yù)測技術(shù)、更靈活的編碼速度配置，支持多種離線轉(zhuǎn)碼、云游戲、視頻直播和視頻會(huì)議等延遲場景，兼容各終端設(shè)備，實(shí)現(xiàn)場景自適應(yīng)，提高編碼速度（幀間并行加速、預(yù)分析和后處理加速智能碼率控制等是點(diǎn)云編碼技術(shù)發(fā)展方向。5、傳輸：移動(dòng)場景需支持多種視頻數(shù)據(jù)傳輸，強(qiáng)調(diào)實(shí)時(shí)性和互動(dòng)性。3GPPSA4正研究5G標(biāo)準(zhǔn)項(xiàng)目，如5G_RTP、iRTCW等，以優(yōu)化沉浸實(shí)時(shí)業(yè)務(wù)的媒體。IETF和W3C已采納WebRTC為標(biāo)準(zhǔn)，并研發(fā)下一代標(biāo)準(zhǔn)，探索邊緣計(jì)算影響及用例，整合網(wǎng)絡(luò)質(zhì)量監(jiān)測。為支持移動(dòng)端超高清媒體傳輸，研究擴(kuò)展和優(yōu)化媒體傳輸協(xié)議（如RTP、WebRTC）、功能組件，并提供靈活的沉浸媒體數(shù)據(jù)格式傳輸/訪問機(jī)制，以提升效率、減少開銷、增強(qiáng)沉浸體驗(yàn)，滿足多元業(yè)務(wù)場景。6、業(yè)務(wù)平臺(tái)：音視頻業(yè)務(wù)平臺(tái)依托基礎(chǔ)算力網(wǎng)絡(luò)，旨在提供全面的視頻基礎(chǔ)業(yè)務(wù)能力，并向上層應(yīng)用服務(wù)與終端開放強(qiáng)大的應(yīng)用能力，涵蓋視頻平臺(tái)、云渲染平臺(tái)及AI算法平臺(tái)等多元化能力以及高效的管理運(yùn)營平臺(tái)。鑒于移動(dòng)場景的豐富性與開放性特點(diǎn)，建議深入探究業(yè)務(wù)平臺(tái)的架構(gòu)設(shè)計(jì)、功能規(guī)范、接口標(biāo)準(zhǔn)、技術(shù)實(shí)施流程及網(wǎng)絡(luò)配置需求等核心技術(shù)指標(biāo)。7、終端顯示：移動(dòng)場景下，終端顯示設(shè)備主要以頭戴式為主，全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)計(jì)算機(jī)圖形圖像處理及環(huán)境數(shù)據(jù)表示分委會(huì)（SACTC28/SC24）歸口國家標(biāo)準(zhǔn)GB/T38259-2019《信息技術(shù)虛擬現(xiàn)實(shí)頭戴式顯示設(shè)備通用規(guī)范》規(guī)定了三種形式的虛擬現(xiàn)實(shí)終端設(shè)備的基本要求、試驗(yàn)方法、檢驗(yàn)規(guī)則及標(biāo)志、包裝、運(yùn)輸和貯存等。全國音頻、視頻及多媒體系統(tǒng)與設(shè)備標(biāo)準(zhǔn)化技術(shù)委員會(huì)(SAC/TC242)在研行業(yè)標(biāo)準(zhǔn)《超高清虛擬現(xiàn)實(shí)顯示設(shè)備通用規(guī)范》（計(jì)劃號(hào)2019-1104T-SJ）規(guī)定了超高清虛擬現(xiàn)實(shí)顯示設(shè)備的性能要求和測試方法。眼鏡式的設(shè)備具有其獨(dú)特的技術(shù)特性和舒適度要求，這些設(shè)備通過將虛擬信息與現(xiàn)實(shí)世界巧妙結(jié)合，為用戶提供增強(qiáng)的感知體驗(yàn)。隨著技術(shù)和產(chǎn)業(yè)的發(fā)展，增強(qiáng)現(xiàn)實(shí)設(shè)備正逐漸成為未來標(biāo)準(zhǔn)化的重要方向之一。8、評(píng)測標(biāo)準(zhǔn)：XR移動(dòng)場景具有沉浸式體驗(yàn)、高交互性、便攜性與靈活性、實(shí)時(shí)渲染與高效傳輸以及跨平臺(tái)兼容性等特點(diǎn)，對(duì)視頻質(zhì)量、交互性能、兼容性等提出更高要求。未來評(píng)測標(biāo)準(zhǔn)化主要針對(duì)分辨率、幀率、色彩還原度、對(duì)比度與亮度的評(píng)測，確保畫面清晰、流暢且真實(shí)這幾方面展開。同時(shí)對(duì)實(shí)時(shí)性、互動(dòng)性和穩(wěn)定性評(píng)估，保障用戶能實(shí)時(shí)、便捷地與視頻內(nèi)容互動(dòng)。測試視頻在不同移動(dòng)設(shè)備和操作系統(tǒng)上的表現(xiàn)，確保跨平臺(tái)流暢播放；評(píng)估網(wǎng)絡(luò)帶寬需求、延遲與抖動(dòng)，確保低延遲、穩(wěn)定的觀看體驗(yàn)以及監(jiān)測視頻播放時(shí)的能耗和發(fā)熱情況，保障設(shè)備續(xù)航和舒適度。移動(dòng)場景擴(kuò)展現(xiàn)實(shí)超高清技術(shù)的發(fā)展不僅僅是技術(shù)本身的標(biāo)準(zhǔn)化及創(chuàng)新，更離不開產(chǎn)業(yè)政策的支撐，截至目前國家已經(jīng)出臺(tái)一些支撐政策，如22年工信部等5部委發(fā)布的《虛擬現(xiàn)實(shí)與行業(yè)應(yīng)用融合發(fā)展行動(dòng)計(jì)劃（2022-2026年）》、23年工信部7部委發(fā)布的《關(guān)于加快推進(jìn)視聽電子產(chǎn)業(yè)高質(zhì)量發(fā)展的指導(dǎo)意見》，但為了加速移動(dòng)場景擴(kuò)展現(xiàn)實(shí)超高清技術(shù)的高質(zhì)量發(fā)展，建議出臺(tái)更多方向的產(chǎn)業(yè)政策。1、加強(qiáng)技術(shù)研發(fā)與創(chuàng)新：支持超高清視頻核心技術(shù)研發(fā)，如高分辨率成像、高帶寬實(shí)時(shí)傳輸、HDR顯示兼容等，并推動(dòng)這些技術(shù)在移動(dòng)場景下的應(yīng)用，推動(dòng)XR終端的混合現(xiàn)實(shí)技術(shù)發(fā)展，鼓勵(lì)企業(yè)在交互形式和信息呈現(xiàn)上進(jìn)行創(chuàng)新，特別是在工業(yè)制造領(lǐng)域。2、產(chǎn)業(yè)鏈協(xié)同發(fā)展：促進(jìn)超高清視頻產(chǎn)業(yè)鏈上下游的協(xié)同，形成完整的產(chǎn)業(yè)生態(tài)，加強(qiáng)OTT行業(yè)與內(nèi)容提供商、服務(wù)運(yùn)營商和設(shè)備制造商之間的合作，共同提升服務(wù)能力和用戶體驗(yàn)。3、市場與應(yīng)用推廣：通過政策支持，推動(dòng)超高清視頻內(nèi)容的制作和分發(fā)。支持4K/8K超高清電視頻道建設(shè)，并在移動(dòng)場景下推廣應(yīng)用，鼓勵(lì)MR技術(shù)在工業(yè)、醫(yī)療、教育等領(lǐng)域的應(yīng)用，通過實(shí)際場景的落地來推動(dòng)技術(shù)成熟和市場接受度。4、質(zhì)量認(rèn)證與標(biāo)準(zhǔn)制定：建立和完善移動(dòng)場景超高清視頻產(chǎn)業(yè)的標(biāo)準(zhǔn)體系，包括采集、制作、傳輸、呈現(xiàn)、應(yīng)用等全產(chǎn)業(yè)鏈的標(biāo)準(zhǔn)，推動(dòng)MR終端和OTT設(shè)備的質(zhì)量認(rèn)證，確保產(chǎn)品和服務(wù)的質(zhì)量，提升消費(fèi)者信任。5、人才培養(yǎng)與引進(jìn)：加強(qiáng)超高清視頻產(chǎn)業(yè)人才隊(duì)伍建設(shè)，培養(yǎng)高端、復(fù)合型領(lǐng)軍人才，并鼓勵(lì)產(chǎn)學(xué)研合作。支持高等學(xué)校相關(guān)學(xué)科設(shè)立，引導(dǎo)職業(yè)學(xué)校培養(yǎng)產(chǎn)業(yè)發(fā)展急需的技能型人才。6、國際合作與交流：推動(dòng)國際合作，引入國際企業(yè)，建立長效合作溝通機(jī)制，加強(qiáng)項(xiàng)目合作、產(chǎn)學(xué)研合作，構(gòu)建互利共贏的產(chǎn)業(yè)生態(tài)。支持國內(nèi)企業(yè)參與國際標(biāo)準(zhǔn)制定，提升國際影響力和話語權(quán)。7、政策激勵(lì)與約束：通過設(shè)立產(chǎn)業(yè)投資基金等方式，支持超高清視頻產(chǎn)業(yè)創(chuàng)新發(fā)展，并引導(dǎo)多方資本參與，強(qiáng)化牌照方在OTT行業(yè)的管理定位，推動(dòng)行業(yè)的有序、高質(zhì)量發(fā)展。8、公共服務(wù)平臺(tái)建設(shè)：建設(shè)超高清視頻產(chǎn)業(yè)支撐服務(wù)平臺(tái)，提供標(biāo)準(zhǔn)制定、評(píng)測認(rèn)證、視頻制作、版權(quán)交易等支撐服務(wù)，支持建設(shè)超高清視頻內(nèi)容制作生產(chǎn)基地和內(nèi)容集成平臺(tái)，豐富超高清視頻內(nèi)容資源。6.發(fā)展趨勢(shì)展望移動(dòng)超高清市場正處于快速增長期，預(yù)計(jì)未來幾年將成為主流選擇，XR技術(shù)的融合為超高清帶來了更廣闊的發(fā)展空間，為用戶帶來更加豐富、真實(shí)的沉浸式體驗(yàn)。1、移動(dòng)通信技術(shù)的推動(dòng)：隨著5G和5G-A技術(shù)的發(fā)展，其高帶寬低時(shí)延特性顯著改善了XR高清視頻的傳輸和體驗(yàn)，高帶寬特性能夠解決高清XR內(nèi)容的無線傳輸問題，使用戶可以流暢地觀看超高清XR視頻，低時(shí)延特性有效減輕了因畫面延遲產(chǎn)生的眩暈問題，這對(duì)于提升用戶的沉浸式體驗(yàn)至關(guān)重要。5G和5G-A技術(shù)支持邊緣計(jì)算，可以將計(jì)算資源卸載到邊緣網(wǎng)絡(luò)，從而減少延遲并提高XR應(yīng)用的性能，這種端邊協(xié)同分離渲染技術(shù)使得XR用戶能夠借助5G高速率低時(shí)延的網(wǎng)絡(luò)傳輸來協(xié)同邊緣云側(cè)進(jìn)行實(shí)時(shí)渲染，同時(shí)結(jié)合XR終端側(cè)的本地優(yōu)化渲染，提供低時(shí)延沉浸式無界XR體驗(yàn)。5G和5G-A還支持多模態(tài)傳輸和系統(tǒng)容量提升等高級(jí)功能，進(jìn)一步優(yōu)化XR體驗(yàn)。例如，通過支持額外的緩沖區(qū)大小表和非整數(shù)DRX周期性，5G能夠更好地匹配幀率需求，并減少量化誤差，這些技術(shù)創(chuàng)新不僅提升了XR設(shè)備的感知交互能力，還推動(dòng)了XR產(chǎn)品形態(tài)和功能的進(jìn)一步優(yōu)化。2、內(nèi)容生態(tài)的豐富：超高清視頻作為XR設(shè)備的剛需型應(yīng)用，正在成為推動(dòng)用戶體驗(yàn)提升的重要因素。通過MV-HEVC編碼提高存儲(chǔ)效率的技術(shù)和空間視頻形式受到用戶的好評(píng)，有望成為殺手級(jí)應(yīng)用。此外AIGC的快速發(fā)展，讓UGC（用戶生成內(nèi)容）百倍、千倍的增長，為XR產(chǎn)業(yè)帶來了新的增長動(dòng)力，豐富了視頻內(nèi)容并提高了用戶的參與度。3、硬件生態(tài)的發(fā)展：智能手機(jī)與XR設(shè)備的互聯(lián)正在推動(dòng)XR設(shè)備的銷量增長，XR設(shè)備可以通過有線或無線的方式與智能手機(jī)互聯(lián)，有線連接通常通過電纜將XR頭顯連接到路由器或交換機(jī)，或者先連接到一個(gè)XR專用本地設(shè)備，再由該本地設(shè)備連接到路由器和交換機(jī)，最終連接到XR服務(wù)器。無線連接則依賴于5G等高速網(wǎng)絡(luò)技術(shù)，使XR設(shè)備能夠?qū)崿F(xiàn)更靈活的使用。隨著XR技術(shù)的普及，如視頻橋接芯片等相關(guān)硬件的需求也在增加。智能手機(jī)與XR設(shè)備互聯(lián)的技術(shù)細(xì)節(jié)和實(shí)現(xiàn)方式涉及多個(gè)方面，包括連接方式、硬件優(yōu)化以及軟件支持等。高通公司推出的第二代驍龍XR2+平臺(tái)，旨在加速M(fèi)R體驗(yàn)的發(fā)展，這表明智能手機(jī)在處理XR內(nèi)容時(shí)需要具備高性能低功耗計(jì)算能力。終端側(cè)AI技術(shù)的應(yīng)用也使得智能手機(jī)能夠在本地執(zhí)行復(fù)雜的指令，從而減少對(duì)外部計(jì)算資源的依賴。MineXR項(xiàng)目（設(shè)計(jì)挖掘工作流程和數(shù)據(jù)分析平臺(tái)，旨在幫助研究人員收集有關(guān)個(gè)性化擴(kuò)展現(xiàn)實(shí)布局的數(shù)據(jù)，以了解未來XR的使用情況并開發(fā)自適應(yīng)）的研究結(jié)果表明，設(shè)計(jì)模塊化UI元素、適應(yīng)用戶空間和活動(dòng)的XR界面、提供外圍功能的連續(xù)訪問等設(shè)計(jì)指南有助于提升XR體驗(yàn)的個(gè)性化和有效性。智能手機(jī)作為MR眼鏡的配件使用，可以借鑒VR盒子的成功經(jīng)驗(yàn)，通過智能手機(jī)的強(qiáng)大計(jì)算能力和顯示能力來增強(qiáng)XR設(shè)備的體驗(yàn)。智能手機(jī)可以