擴(kuò)展現(xiàn)實(shí)（XR）產(chǎn)業(yè)和標(biāo)準(zhǔn)化研究報(bào)告

擴(kuò)展現(xiàn)實(shí)（XR）產(chǎn)業(yè)和標(biāo)準(zhǔn)化研究報(bào)告目 錄前 言 1第一章總體情況 3良好政策環(huán)境帶來發(fā)展機(jī)遇 4軟硬件+內(nèi)容構(gòu)建XR產(chǎn)業(yè)生態(tài) 6產(chǎn)業(yè)體系 9第二章基礎(chǔ)通用 13關(guān)鍵器件 13基礎(chǔ)軟件 38基礎(chǔ)技術(shù) 56第三章內(nèi)容生產(chǎn) 75內(nèi)容采集 75內(nèi)容制作 91第四章內(nèi)容分發(fā) 108分發(fā)傳輸 108業(yè)務(wù)運(yùn)營(yíng)平臺(tái) 115第五章內(nèi)容呈現(xiàn)與交互 123內(nèi)容呈現(xiàn) 123感知交互 129第六章產(chǎn)業(yè)應(yīng)用 144工業(yè)生產(chǎn) 144文旅娛樂 151商貿(mào)創(chuàng)意 163教育培訓(xùn) 167醫(yī)療體育輔助 183安全應(yīng)急 199智慧城市 207第七章擴(kuò)展現(xiàn)實(shí)標(biāo)準(zhǔn)化體系 214現(xiàn)有標(biāo)準(zhǔn)和在研計(jì)劃 214國際標(biāo)準(zhǔn)現(xiàn)狀 215標(biāo)準(zhǔn)體系規(guī)劃 218標(biāo)準(zhǔn)化工作規(guī)劃 227前 言為貫徹落實(shí)《虛擬現(xiàn)實(shí)與行業(yè)應(yīng)用融合發(fā)展行動(dòng)計(jì)劃（2022—2026年）》《元宇宙產(chǎn)業(yè)創(chuàng)新發(fā)展三年行動(dòng)計(jì)劃（2023-2025年）》等文件要求，系統(tǒng)化推進(jìn)我國擴(kuò)展現(xiàn)實(shí)（XRVRARMR等）標(biāo)準(zhǔn)化工作開展，2024513日，全國信標(biāo)委計(jì)算機(jī)圖形（C2/SC2（C24）以（TC28/SCXR領(lǐng)域標(biāo)準(zhǔn)體系研究和相關(guān)國際、國家、行業(yè)、團(tuán)體標(biāo)準(zhǔn)制定。本報(bào)告主要參編單位有（排名不分先后）：OPPO廣東移（山東限公司、浙江水晶光電科技股份有限公司本報(bào)告主要參編人有（排名不分先后）：段家喜、王陽、陳近近、馮東洋本報(bào)告公開發(fā)布。轉(zhuǎn)載、摘編或利用其它方式使用本研究報(bào)告文字或觀點(diǎn)的，請(qǐng)注明：“來源：《擴(kuò)展現(xiàn)實(shí)（XR）產(chǎn)業(yè)和標(biāo)準(zhǔn)化研究報(bào)告（2024版）》”。本報(bào)告將結(jié)合XR產(chǎn)業(yè)發(fā)展和國內(nèi)國際標(biāo)準(zhǔn)化進(jìn)展，依托XR標(biāo)準(zhǔn)工作組，持續(xù)更新。感謝關(guān)注！潘 榕 耿丹擴(kuò)展現(xiàn)實(shí)（XR）標(biāo)準(zhǔn)工作組2024年12月18日《擴(kuò)展現(xiàn)實(shí)（XR）產(chǎn)業(yè)和標(biāo)準(zhǔn)化研究報(bào)告（2024版）》第章 總情況擴(kuò)展現(xiàn)實(shí)（ExtendedRealityXR）是從現(xiàn)實(shí)到虛擬的連續(xù)概念統(tǒng)稱。XR以沉浸式圖像處理和顯示等核心技（其余兩項(xiàng)包括先進(jìn)無線通信和區(qū)塊鏈XRAR)（MixedReality，是通過計(jì)算機(jī)圖形圖像等系統(tǒng)；AR是將現(xiàn)實(shí)世界中的實(shí)體通過模擬仿真處理將虛擬信息疊加在真實(shí)世界中加以應(yīng)用；MRVRAR的進(jìn)一XR領(lǐng)域的探索性方向。作為新一代信息技術(shù)的重要前沿方向，XR是下一代通領(lǐng)域。XR集成了近眼顯示、渲染計(jì)算、三維重建、傳感測(cè)XR3DXR終XR內(nèi)容生產(chǎn)工具開發(fā)的投入力度，加強(qiáng)針對(duì)產(chǎn)業(yè)高質(zhì)量發(fā)展。良好政策環(huán)境帶來發(fā)展機(jī)遇世界各國政府加快布局，XR產(chǎn)業(yè)不斷創(chuàng)新和發(fā)展。歐2014XR2017年提出《科學(xué)與技術(shù)戰(zhàn)XR等技術(shù)利用；日本內(nèi)閣會(huì)議發(fā)布《科2017XR2022XR等技術(shù)推廣至更廣泛的學(xué)生和教師群體。在國內(nèi)，國家和地方省市政府高度重視XR產(chǎn)業(yè)，相關(guān)20163XR“十四五”規(guī)劃綱要將虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)產(chǎn)業(yè)列為未來五年數(shù)字經(jīng)濟(jì)重點(diǎn)產(chǎn)業(yè)；2022合發(fā)展行動(dòng)計(jì)劃(2022-2026年)52023（2023-2025年XR技術(shù)的創(chuàng)新和XR產(chǎn)業(yè)發(fā)展，打造全新的數(shù)字經(jīng)濟(jì)生態(tài)體系。在國家政策的有力支持下，我國XR產(chǎn)業(yè)正蓬勃發(fā)展，生態(tài)體系不斷完善，呈現(xiàn)良好發(fā)展態(tài)勢(shì)。XR核心技術(shù)不斷5GXR融合應(yīng)用不斷深化，亞運(yùn)會(huì)、數(shù)字火炬人、VR觀賽等給觀眾帶來震撼新奇的賽事體驗(yàn)，XR新場(chǎng)景、新模式、新業(yè)態(tài)層出不窮。目前XR產(chǎn)業(yè)鏈企業(yè)主要集中在北京、廣東、上海等地XR專利數(shù)量最多的省份，江西和部地區(qū)加大對(duì)XR產(chǎn)業(yè)引導(dǎo)力度，2023VR產(chǎn)業(yè)大會(huì)、13屆西部VR/ARXR資源，聚焦產(chǎn)XR產(chǎn)業(yè)高質(zhì)量發(fā)展。軟硬件+XR產(chǎn)業(yè)生態(tài)XR產(chǎn)業(yè)包括硬件、軟件、內(nèi)容制作與分發(fā)、應(yīng)用和服XR產(chǎn)業(yè)生態(tài)發(fā)展注入活力。硬件性能迭代優(yōu)化，持續(xù)向輕薄超清化目標(biāo)邁進(jìn)。硬件備；配套外設(shè)包括手柄、攝像頭體感設(shè)備等視/觸/力覺反饋裝置等。ProM2+R1PICO4Pro7納米XR2芯片，能進(jìn)行高效場(chǎng)景理解和三維重VR/AR/MR智慧終端提供Fast-LCD和超高分辨率、OLEDPancake透鏡成XR設(shè)備的熱門解決方案，國內(nèi)的華為、創(chuàng)維及國MetaPancake光學(xué)方AR眼鏡兼具語音識(shí)別和AR眼鏡采用了高清攝像頭和深度傳感器，融合開發(fā)3DUnityU3D和EpicGamesUnrealEngineAR開發(fā)者的便捷化軟件開發(fā)工具ARKitARCoreXR企業(yè)也推出了XR內(nèi)容開發(fā)引擎、系統(tǒng)和內(nèi)容制作系列軟件，部分產(chǎn)品已有大量開發(fā)者入駐。開發(fā)平臺(tái)方面，F(xiàn)acebook發(fā)布了最新XRHorizonAR透視、Pico為創(chuàng)作者提供了一站式的XR內(nèi)容創(chuàng)作、應(yīng)用檢測(cè)獲5GVR開發(fā)平臺(tái)，通過云上圖像渲染和內(nèi)容制作，結(jié)合邊緣計(jì)算和AI技術(shù)，促進(jìn)終端輕量化和移動(dòng)化。消費(fèi)級(jí)XR內(nèi)容正在突破單一限制，生態(tài)逐步完善。XRXR20236隨時(shí)隨地暢游于魔幻樂園之中。Pico應(yīng)用商店匯聚了超過400XR350款游戲內(nèi)容，此XR內(nèi)容。Steam平臺(tái)作為XR內(nèi)容應(yīng)用的平臺(tái)之一，已經(jīng)推出了超過7344XR的內(nèi)容應(yīng)用，XR250推出AppLab渠道，允許開發(fā)者提供實(shí)驗(yàn)性、小眾和早期的內(nèi)OculusStoreGorillaTag內(nèi)容在AppLabOculusStoreBeatSaberiOUT內(nèi)容制式，其內(nèi)容在分辨率以及Pico供了更加豐富多彩的內(nèi)容，為用戶呈現(xiàn)出更為引人入勝的XR體驗(yàn)。硬內(nèi)容應(yīng)用提供堅(jiān)實(shí)高品質(zhì)顯示等保障，賦予內(nèi)容更加生動(dòng)、XR消費(fèi)市場(chǎng)的逐步擴(kuò)大。三者協(xié)同發(fā)展為整個(gè)XRXR市場(chǎng)的前景更加值得期待。產(chǎn)業(yè)體系XR產(chǎn)業(yè)鏈初步形成XR產(chǎn)業(yè)生態(tài)體系按產(chǎn)業(yè)鏈環(huán)節(jié)劃分，包括基礎(chǔ)通用、內(nèi)容生產(chǎn)、內(nèi)容分發(fā)、內(nèi)容呈現(xiàn)與交互、行業(yè)應(yīng)用?；A(chǔ)通用環(huán)節(jié)主要涉及XR技術(shù)的研發(fā)和標(biāo)準(zhǔn)化工作，包括硬件和軟件的基礎(chǔ)技術(shù)研發(fā)，以及制定相關(guān)的技術(shù)標(biāo)準(zhǔn)和規(guī)范；內(nèi)容生產(chǎn)環(huán)節(jié)涵蓋了從場(chǎng)景設(shè)計(jì)、角色建模到交互設(shè)計(jì)等一系列內(nèi)容制作過程；內(nèi)容分發(fā)環(huán)節(jié)主要負(fù)責(zé)將制作好的XR內(nèi)容進(jìn)行發(fā)布和推廣，通過各種渠道和平臺(tái)將內(nèi)容傳遞給用戶；內(nèi)容呈現(xiàn)與交互環(huán)節(jié)主要負(fù)責(zé)將XR內(nèi)容以高質(zhì)量的方式呈現(xiàn)給用戶，并提供良好的交互體驗(yàn)，包括頭戴式顯示設(shè)備的設(shè)計(jì)和優(yōu)化，以及交互方式的設(shè)計(jì)和實(shí)現(xiàn)；行業(yè)應(yīng)用環(huán)節(jié)主XR技術(shù)應(yīng)用到具體的行業(yè)中，為各行業(yè)提供創(chuàng)新的解決方案，包括工業(yè)、游戲、教育、醫(yī)療、旅游等。目前，我國XR產(chǎn)業(yè)初步形成全產(chǎn)業(yè)鏈生態(tài)體系，核心5GXR設(shè)備紛紛涌現(xiàn)。XR產(chǎn)業(yè)市場(chǎng)初具規(guī)模5G商用加速到來，開啟了XR產(chǎn)業(yè)發(fā)展的新一輪熱潮，推動(dòng)XR的應(yīng)用范圍從直播、游戲等消費(fèi)娛樂領(lǐng)域，加速向工業(yè)、醫(yī)療、教育等垂直領(lǐng)域滲透，實(shí)現(xiàn)規(guī)?；l(fā)展。XR的國家之XR頭顯產(chǎn)品銷售仍呈現(xiàn)波動(dòng)狀態(tài)。據(jù)IDC統(tǒng)計(jì)，2023AR/VR頭顯出貨72.5202239.8%AR26.2萬46.357.9%。2023全年，ARAR/VR36.1%，創(chuàng)歷史新高。從XR的應(yīng)用場(chǎng)景看，除游戲、娛樂等大眾熟知的應(yīng)用場(chǎng)景外，XR已涉足醫(yī)療保健、教育、機(jī)械工程等新領(lǐng)域，行業(yè)滲透率不斷提升。其中AR游戲的表現(xiàn)尤為引人注目，根據(jù)MarketsandMarkets的預(yù)測(cè)，2025年AR在電子游戲應(yīng)用領(lǐng)域所占份額將達(dá)到AR領(lǐng)域的28.1％。2021XR在現(xiàn)實(shí)物理世界基礎(chǔ)上為用戶開拓了一個(gè)數(shù)字化的虛擬世界空間，是元宇宙的核心。元宇宙的興起導(dǎo)致XR行業(yè)投資數(shù)量明顯增加。2022XR154202155336.912021年增加了227.7120236XR65起，投資金額64.56億元。3.3XR生態(tài)體系尚未完善國內(nèi)XR產(chǎn)業(yè)鏈已較為完整，但整體來看自主產(chǎn)業(yè)生態(tài)體系尚未完善。XR重點(diǎn)領(lǐng)域龍頭企業(yè)少，具有領(lǐng)先自主技定突破，但難以取代國外軟件的市場(chǎng)地位。XR高端研發(fā)人才缺乏，相關(guān)政策法規(guī)和標(biāo)準(zhǔn)測(cè)試認(rèn)證體系亟待完善。XRXR的認(rèn)知認(rèn)可程XR內(nèi)容缺乏變現(xiàn)渠道影響了開發(fā)者的積極性，內(nèi)容和終端互相促進(jìn)的正向循環(huán)產(chǎn)業(yè)生態(tài)尚未形成。第章 基通用關(guān)鍵器件核心計(jì)算芯片XRXR設(shè)備主要技術(shù)特點(diǎn)核心計(jì)算芯片的技術(shù)特點(diǎn)主要包括：設(shè)備芯片具有更強(qiáng)的空間計(jì)算能CPUGPUISP、VPUNPUCPU個(gè)任務(wù)，提高XR產(chǎn)品的運(yùn)行效率。證用戶視覺體驗(yàn)的流暢性。因此，芯片中的GPU模塊具備實(shí)時(shí)渲染能力，能夠在短時(shí)間內(nèi)完成大量的圖形渲染任務(wù)，并不斷向更精細(xì)的圖形渲染、更高效的通用計(jì)算和更智能的AI運(yùn)算方向發(fā)展。多傳感器信息融合：核心計(jì)算芯片能夠處理來自計(jì)提XR產(chǎn)品的續(xù)航能力和穩(wěn)定性。主要功能模塊核心計(jì)算芯片主要功能模塊包括：CPU、GPU、ISP、VPU、WCN、NPU等。（CentralProcessing實(shí)體驗(yàn)。未來更高級(jí)別CPUAI能力DSPXR應(yīng)用算法實(shí)現(xiàn)提供良好支撐并為運(yùn)算實(shí)XR內(nèi)容生態(tài)開發(fā)提供便利，CPU需提供強(qiáng)大的生態(tài)和軟件支持。（GraphicProcessingGPU不僅向著更多更精細(xì)的圖形渲染能力、AI運(yùn)算能力方向邁能計(jì)算、更加逼真的圖形展現(xiàn)方向?qū)⒊蔀镚PU未來發(fā)展的三個(gè)趨勢(shì)。(ImageSignal負(fù)責(zé)接收感光元件（Sensor）控制等。未來ISP隨著高像素采樣和多攝的不斷發(fā)展，將會(huì)提出更高的性能收益。Processing視頻格式和靈活穩(wěn)定的碼率控制。未來VPU將需要支持更16KXR設(shè)備的需求。WCN：無線通信網(wǎng)絡(luò)（WirelessCommunicationNetwork，WCN）主要負(fù)責(zé)無線通信功能，支持高速數(shù)據(jù)傳XR業(yè)務(wù)高頻多連DSP：數(shù)據(jù)信號(hào)處理（DataSignalProcess，DSP）（例如音頻信號(hào)DSP向更低功耗、更強(qiáng)計(jì)算能力方向演進(jìn)。DPU（DisplayPocessingUnitDPU）單眼8KDPU需要支持1KDPU的寬占用，特別是與GPU的交互帶寬。NPU：神經(jīng)網(wǎng)絡(luò)處理單元（NeuralProcessorUnit，NPU）將更加注重針對(duì)特定應(yīng)用場(chǎng)景的計(jì)算需求。主流核心計(jì)算芯片目前主流的XR核心計(jì)算芯片主要有：SnapdragonXR2Gen2124K分辨率空間計(jì)算。SnapdragonXR2Gen2平臺(tái)，搭載設(shè)備端人工智能和低延遲視頻透視功能，為XR體驗(yàn)提供更高水平的沉浸感。SnapdragonAR1Gen1平臺(tái)，專為智能眼鏡ISP目顯示器以實(shí)現(xiàn)免提通知和指示。SnapdragonAR2Gen1平臺(tái)，專為輕便、無AR眼鏡設(shè)計(jì)，優(yōu)化尺寸、功耗、性能，可支持Wi-Fi7，支持定位追蹤、環(huán)境感知、平面檢測(cè)等功能，采用4nmAR協(xié)處理AI和計(jì)算機(jī)視覺，使得AR眼鏡更輕薄。瑞芯微VRRK3288RK3399RK3588。RK3588具備強(qiáng)大的視覺處理能力，可支持結(jié)構(gòu)光、TOF等8K顯示處理能力；擴(kuò)展性好，支持PCIE3.0、、雙TypeC/USB3.1等高速接口，可做AI算力、圖像數(shù)據(jù)處理等擴(kuò)展。雖然國產(chǎn)芯片不斷探索，但與國外先進(jìn)芯片仍存在較大差距，相關(guān)技術(shù)仍是未來需要持續(xù)探索和不斷投入的方向。傳感器陀螺儀XR設(shè)備中，陀螺儀主要用于追蹤頭部或精度提升：現(xiàn)代陀螺儀具有極高的測(cè)量精度，能夠捕捉到微小的設(shè)備動(dòng)作，使得XR體驗(yàn)更加真實(shí)。集成化：隨著技術(shù)的發(fā)展，陀螺儀正變得越來越XR設(shè)備中。加速度計(jì)XR中，加速度計(jì)通常與其他傳感器結(jié)合使用，以提供更準(zhǔn)確的運(yùn)動(dòng)追蹤。其特點(diǎn)有：多軸測(cè)量：現(xiàn)代加速度計(jì)能夠測(cè)量多個(gè)軸上的加XR設(shè)備提供更為詳盡的運(yùn)動(dòng)數(shù)據(jù)。噪聲減少：隨著技術(shù)的進(jìn)步，加速度計(jì)的噪聲水平正在不斷降低，提高了數(shù)據(jù)的準(zhǔn)確性。磁力計(jì)磁力計(jì)用于測(cè)量地磁場(chǎng)強(qiáng)度和方向，主要用于確定設(shè)備的方向。其特點(diǎn)有：XR使用戶能夠更為自然地在虛擬環(huán)境中移動(dòng)。校準(zhǔn)和穩(wěn)定：磁力計(jì)還可用于校準(zhǔn)其他傳感器并XR體驗(yàn)的一致性和準(zhǔn)確性。光學(xué)傳感器光學(xué)傳感器利用光學(xué)原理進(jìn)行測(cè)量，常被用于位置和方向的精確檢測(cè)。其特點(diǎn)有：XRXR設(shè)置還使用外部光眼動(dòng)追蹤傳感器眼動(dòng)追蹤傳感器主要涉及相機(jī)、光電傳感器、超聲換能器等。相機(jī)：眼動(dòng)追蹤領(lǐng)域一般采用紅外相機(jī)進(jìn)行眼部（例2mm*1.96mm*3.42mm）（30~380Hz）48mW）；事件相機(jī)采樣率較高（1000Hz）、光電傳感器：基于光電傳感器的眼動(dòng)追蹤方案，（如發(fā)光二極管發(fā)出再經(jīng)人眼反射后發(fā)光與感光一體器件將是光電傳感器的發(fā)展趨勢(shì)。超聲換能器：基于超聲換能器的眼動(dòng)追蹤方案，顯示屏概述XRXR產(chǎn)品的核心組件，對(duì)于提升用戶體驗(yàn)和沉浸感起著至關(guān)重要的作用。XR顯示屏涉及的主要性能指標(biāo)有：XR產(chǎn)品中，3D顯示屏的分XR3D顯示屏2K、4K8K的90Hz、120Hz或更高的刷新率。XR產(chǎn)品沉3D顯示屏?xí)r的可視XR3D顯示屏已經(jīng)能夠?qū)崿F(xiàn)接近人眼的視角和視場(chǎng)角。串?dāng)_值：3D3DXR3D1.8%以下，能夠3D顯示觀看效果。業(yè)界在不斷探索新的XR顯示屏技術(shù)路線，目前主要涵蓋AMOLED、Fast-LCD、MicroLED等顯示屏產(chǎn)品。AMOLED按照驅(qū)動(dòng)方式的不同，OLEDPMOLEDAMOLED兩大類，AMOLEDOLED顯示發(fā)展的主要方向。AMOLED使用有源驅(qū)動(dòng)方式，可以針對(duì)每個(gè)像AMOLED90%的工5%。AMOLED產(chǎn)業(yè)對(duì)韓國供應(yīng)鏈的依賴程度較高。隨著良AMOLED出貨持續(xù)攀升。AMOLED工藝較復(fù)雜，對(duì)工藝的精細(xì)度和到電性指標(biāo)的均一度有極高要求。此外，AMOLED性能需要進(jìn)一步提FMM物理限制帶來的瓶頸。Fast-LCDFast-LCD技術(shù)使用了全新鐵電液晶材料和超速驅(qū)動(dòng)技Fast-LCD在保證高分辨OLED，且因?yàn)槌墒旃に噹淼脑靸r(jià)成本相對(duì)更低。憑借同時(shí)具備高清畫質(zhì)和高刷新率的優(yōu)XR設(shè)備領(lǐng)域穩(wěn)居應(yīng)20172023Fast-LCD的PICO4XR-V3HTCXRElite、OculusQuest2、PicoNeo3等機(jī)型。Fast-LCDLED背光Fast-LCD成為重要技術(shù)方向。Fast-LCDMiniLED相結(jié)合，不僅可以很好Fast-LCD在高對(duì)比度、HDR功能，將更好地發(fā)揮XR產(chǎn)品近眼超清細(xì)膩畫質(zhì)的要求。MicroLEDMicroLED指在芯片上集成高密度微小尺寸的LED陣（點(diǎn)距0.1mm0.3mmMicroLED顯示產(chǎn)0.9mm0.2mmMicroLED產(chǎn)品。MicroLED產(chǎn)業(yè)呈現(xiàn)出創(chuàng)新研發(fā)熱度高漲、市場(chǎng)發(fā)展?jié)揗icroLED發(fā)展機(jī)遇，蘋果、谷歌、TCLLGDisplay等國內(nèi)外科技巨頭紛紛涌入MicroLEDLED和OLEDMicroLED技術(shù)研發(fā)上取得了顯著進(jìn)展，如鐳昱、Porotech、思坦科技、Kopin等紛紛發(fā)布MrcroLED微顯示屏，雷鳥創(chuàng)新也MicroLEDAR眼鏡。MicroLED技術(shù)發(fā)展處于商業(yè)化早期，現(xiàn)階段仍有許多技術(shù)瓶頸亟待突破。如芯片制造環(huán)節(jié)，MicroLED芯片尺寸MicroLEDPPIMiniLED，小尺寸微顯示應(yīng)用無疑是未來MicroLED、鐳昱、MICLEDI、Sundiode、思坦科技、賽富樂斯、PorotechMicroLED微型顯示器，MicroLED顯示在小尺寸微顯示領(lǐng)域逐步興起。光學(xué)器件VR光學(xué)器件VR光學(xué)經(jīng)歷了非球面透鏡、菲涅爾透鏡和Pancake方VR光學(xué)系統(tǒng)方案，但在顯示的圖像質(zhì)量和光學(xué)放大系統(tǒng)總長(zhǎng)度之間具有不可調(diào)和的VR頭顯方案的選擇；Pancake方案，以其輕巧、出色的成像VR光學(xué)產(chǎn)品的發(fā)展和演進(jìn)方向。非球面透鏡非球面透鏡（AsphericLens）的特點(diǎn)是有一個(gè)隨著透鏡的中心而徑向變化的曲率半徑，能夠更精確地同時(shí)操縱多個(gè)波長(zhǎng)的光，從而獲得更清晰的圖像，特別是邊緣圖像質(zhì)量。因此，可以使用更少的光學(xué)元件，如一個(gè)或兩個(gè)非球面透鏡來取代五個(gè)或六個(gè)球面透鏡，實(shí)現(xiàn)相同或更高的光學(xué)效果，降低整個(gè)系統(tǒng)的設(shè)計(jì)成本。VR頭顯使用的非球面透鏡基本采用注塑成型工藝。歌爾股份、歐菲光、雙瑩光電、VR盒子大GearVR、以及暴風(fēng)盒子以及當(dāng)前千幻魔鏡生產(chǎn)銷售的VR盒子等，目前僅有愛奇藝奇Dream、PSVRVR頭顯使用了非球面透鏡，其VRPancake光學(xué)方案。菲涅爾透鏡菲涅爾透鏡將連續(xù)的表面切割成一段常曲率的非常精鏡，但對(duì)精度和材料要求更高。目前，VR光學(xué)中使用的菲涅降VR代工廠商以及光學(xué)廠商，包括歌VR頭顯Metaquest2、PICOneo3、NOLOsonic等均采用了菲涅爾透鏡的方案。然而菲涅爾透鏡同樣存在重量較重、成像清晰度低等問題。Pancake方案Pancake光學(xué)方案又名折疊光路方案，壓縮了VR光學(xué)VRVR頭顯輕量化Pancake方案工藝成熟，成本可控，可以實(shí)現(xiàn)大規(guī)模的量產(chǎn)。Pancake光學(xué)的核心思路是壓縮屏幕與透鏡之間的距離，目前非球面透鏡和菲涅爾透鏡的系統(tǒng)總長(zhǎng)約為40-50mm，Pancake光學(xué)方案系統(tǒng)總長(zhǎng)基本為18-25mm左右；Pancake光學(xué)方案中，通過透鏡組合，可以提高透鏡邊緣成像質(zhì)量，降低圖像畸變，提高成像的對(duì)比度、清晰度、細(xì)膩度。Pancake光學(xué)模組生產(chǎn)主要包括光學(xué)設(shè)計(jì)、透鏡加工、球面透鏡和菲涅爾透鏡，Pancake模組功能優(yōu)勢(shì)在于光路折1/4相位延遲片準(zhǔn)確性Pancake光學(xué)成像質(zhì)量構(gòu)成關(guān)鍵影響。目前高端光學(xué)膜材只有日本企業(yè)可以提供。AR光學(xué)器件AR光學(xué)面向不同需求，衍生了兩個(gè)主要發(fā)展方向：一BirdbathBirdbath方案Birdbath/組合器（半透半反）和一個(gè)分束器。BirdbathOLED的光OLED45度角。分束器具有反射（Br）和透射（Bt）特性，允許將光部分反Br的百分比，分束器返回的光通過凹面鏡重定向到眼C端市場(chǎng)的AR終端主要使用Birdbath光學(xué)方案，比如華為、OPPO、Xreal、Rokid等廠家先后發(fā)布了基于Birdbath光學(xué)的C端產(chǎn)品。自由曲面方案自由曲面是一種有別于球面或者非球面的復(fù)雜非常規(guī)面形，即用來描述鏡頭表面面形的數(shù)學(xué)表達(dá)式相對(duì)比較復(fù)雜，往往不具有旋轉(zhuǎn)對(duì)稱性。顯示器發(fā)出的光線直接射至凹面鏡當(dāng)前市面上采用自由曲面方案的AR智能眼鏡無論在沉光波導(dǎo)方案AR幾何光波導(dǎo)（又稱陣列光波導(dǎo)）：通過鏡面反射原理傳導(dǎo)光信號(hào)，在人眼前方通過半透半反射膜陣列將光線Lumus，但由于制造工（正在探索二維擴(kuò)瞳陣列光波導(dǎo)的產(chǎn)品方案。表面浮雕光柵波導(dǎo)：通過光的衍射光學(xué)原理實(shí)現(xiàn)波導(dǎo)方案相對(duì)成熟，已被很多產(chǎn)品商用，例如微軟的Hololens2和MagicLeap2。表面浮雕光柵波導(dǎo)雖然工藝成熟射效率不高，還導(dǎo)致AR顯示時(shí)的雜散光較為明顯。全息體光柵光波導(dǎo)：以全息體光柵作為核心光學(xué)100%，光能利用率顯著提高。同時(shí)，全息體光國外研究機(jī)構(gòu)和企業(yè)通常直接采用德國科思創(chuàng)的Bayfol系A(chǔ)ppleGoogleMeta、SonySamsung以及中國華為等國內(nèi)外著名企業(yè)均積極布局全息體光柵光波導(dǎo)技術(shù)，推動(dòng)全息體光柵光波導(dǎo)技術(shù)發(fā)展和產(chǎn)業(yè)化應(yīng)用。通信模塊概述XR系統(tǒng)由終端、內(nèi)容生成系統(tǒng)、應(yīng)用平臺(tái)和網(wǎng)絡(luò)傳輸XR和藍(lán)牙模塊用于網(wǎng)絡(luò)XR5G網(wǎng)絡(luò)還面臨挑戰(zhàn)，5GXR續(xù)航能力和性能、XR應(yīng)用的內(nèi)容和體驗(yàn)等方面，需要在技術(shù)、產(chǎn)業(yè)、政策等多方面進(jìn)行協(xié)同創(chuàng)新和推進(jìn)。5GXR技術(shù)的5G6G網(wǎng)絡(luò)中XR游戲、XR電影、XR教育、XR醫(yī)療等領(lǐng)域。5G/6G3GPP5G5G的第一個(gè)版本就啟XRR15和R16引入了低時(shí)延和高可靠傳輸，以及終端節(jié)能特性；R17XR業(yè)務(wù)特征以XR應(yīng)用在系統(tǒng)容量、功耗等方面的研究，定義了觸覺及多模態(tài)的需求；R18XR業(yè)務(wù)特征識(shí)別、終端節(jié)能和網(wǎng)絡(luò)控制等技術(shù)；20242R19R19XR，的挑戰(zhàn)，是未來的重點(diǎn)研究方向。Wi-Fi技術(shù)7（802.11be）6GHz（5.925GHz~7.125GHz）2.4GHz、5GHz和6GHz相應(yīng)的網(wǎng)絡(luò)性能，其中6GHz頻段的將提供可達(dá)320MHz5ms，20msXR使用體驗(yàn)，XR應(yīng)用場(chǎng)景。71672.47和6的吞4.6Gbps1.92Gbps6AP74K18K頭戴設(shè)備，Wi-Fi7可174K48K頭戴設(shè)備。藍(lán)牙技術(shù)藍(lán)牙技術(shù)可對(duì)XR設(shè)備的耳機(jī)和控制器提供可靠、低延遲及低功率的無線連接。XR設(shè)備可以通過藍(lán)牙與其他設(shè)備進(jìn)行交互，以及實(shí)現(xiàn)設(shè)備間數(shù)據(jù)傳輸、位置追蹤及定位、連接耳機(jī)/音響播放音頻等功能，增強(qiáng)XR的交互性及沉浸感。藍(lán)牙技術(shù)聯(lián)盟于2016年推出藍(lán)牙5.0，較之前的藍(lán)牙協(xié)2倍速率增加、48倍廣2Mbps5.1引入了5.2300協(xié)議，LE功耗控制和LE5.3202325.4，主要改進(jìn)之一是與來自單個(gè)接入點(diǎn)的數(shù)千個(gè)終端節(jié)點(diǎn)進(jìn)行雙向通信。相關(guān)標(biāo)準(zhǔn)化情況國際電子顯示標(biāo)準(zhǔn)化技術(shù)委員會(huì)（IECTC110）主要負(fù)責(zé)電子顯示設(shè)備及相關(guān)組件領(lǐng)域的標(biāo)準(zhǔn)化工作。針對(duì)全球正在興起的虛擬顯示產(chǎn)業(yè)，IECTC1102015年正式成立了“眼戴顯示（EyewearIEC63145系列標(biāo)準(zhǔn)（1）系列標(biāo)準(zhǔn)主要內(nèi)容包括對(duì)虛擬現(xiàn)實(shí)（VR）眼鏡和增強(qiáng)現(xiàn)實(shí)TC547）對(duì)部分標(biāo)準(zhǔn)進(jìn)行了采標(biāo)。該系列標(biāo)準(zhǔn)為終端整機(jī)測(cè)試提供了重要參考和依據(jù)。TC110AR/VR互式顯示器光學(xué)測(cè)量方法、AR眼鏡顯示的光學(xué)元件、柔性顯示、OLED等方面的標(biāo)準(zhǔn)研制。表1IEC63145系列標(biāo)準(zhǔn)清單序號(hào)標(biāo)準(zhǔn)狀態(tài)標(biāo)準(zhǔn)號(hào)標(biāo)準(zhǔn)名稱（英文）標(biāo)準(zhǔn)名稱（中文）主要內(nèi)容1已發(fā)布IECTR63145-1-1:2018Eyeweardisplay-Part1-1:Genericintroduction眼戴顯示第1-1部分：通則IECTR63145-1-1:2018(E)是一份技術(shù)報(bào)告，提供了眼戴顯示標(biāo)準(zhǔn)化的一般信息。本文檔包括技術(shù)概述、關(guān)鍵性能特征、光學(xué)測(cè)量問題和其他信息。2已發(fā)布IEC63145-1-2:2022Eyeweardisplay-Part1-2:Generic-Terminology眼戴顯示第1-2部分：通則-術(shù)語本文件提供了用于增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、混合現(xiàn)實(shí)以及這些顯示器上的圖像或視頻渲染的眼戴顯示領(lǐng)域的術(shù)語。3已發(fā)布IEC63145-10:2023Eyeweardisplay-Part10:Specifications眼戴顯示第10部分：規(guī)范IEC63145-10:2023建立了眼戴顯示的規(guī)范和要求。本文檔適用于使用虛擬圖像光學(xué)器件的虛擬現(xiàn)實(shí)(VR)類型(不透明)和增強(qiáng)現(xiàn)實(shí)(AR)類型(透明)眼戴顯示。醫(yī)學(xué)鏡片的規(guī)格和要求超出了本文檔的范圍。IEC63145-20-10:2019（該標(biāo)準(zhǔn)目前在修訂中）IEC63145-20-10:2019(E)規(guī)定了確定眼戴顯示光學(xué)性4已發(fā)布Eyeweardisplay-Part20-10:Fundamentalmeasurementmethods-Opticalproperties眼戴顯示第20-10部分：基本測(cè)試方法光學(xué)特性能的標(biāo)準(zhǔn)測(cè)量條件和測(cè)量方法。本文檔適用于使用虛擬圖像光學(xué)器件的非透明類型(虛擬現(xiàn)實(shí)“VR”護(hù)目鏡)和透明類型增強(qiáng)現(xiàn)實(shí)“AR”眼鏡)眼鏡顯示器。隱形眼鏡類型的顯示器和視網(wǎng)膜直接投影顯示器不在本文檔的范圍內(nèi)。序號(hào)標(biāo)準(zhǔn)狀態(tài)標(biāo)準(zhǔn)號(hào)標(biāo)準(zhǔn)名稱（英文）標(biāo)準(zhǔn)名稱（中文）主要內(nèi)容5已發(fā)布IEC63145-20-20:2019Eyeweardisplay-Part20-20:Fundamentalmeasurementmethods-Imagequality眼戴顯示第20-20部分：基本測(cè)試方法圖像質(zhì)量IEC63145-20-20:2019E)規(guī)定了確定眼戴顯示圖像質(zhì)量的標(biāo)準(zhǔn)測(cè)量條件和測(cè)量方法。本文檔適用于使用虛擬圖像光學(xué)器件的非透明類型(虛擬現(xiàn)實(shí)“VR”護(hù)目鏡)和透明類型(增強(qiáng)現(xiàn)實(shí)“AR”眼鏡)眼鏡顯示器。隱形眼鏡類型顯示器和視網(wǎng)膜直接投影顯示器不在本文檔的范圍內(nèi)。6已發(fā)布IEC63145-21-20:2022Eyeweardisplay-Part21-20:SpecificmeasurementmethodsforVRimagequality-Screendooreffect眼戴顯示第21-20部分：VR圖像質(zhì)量特殊測(cè)試方法紗門效應(yīng)IEC63145-21-20:2222(E)規(guī)定了確定紗門效應(yīng)(SDE)(VR)類型的眼鏡顯示器的圖像質(zhì)量方面之一。7已發(fā)布IEC63145-22-10:2020Eyeweardisplay-Part22-10:SpecificmeasurementmethodsforARtype-Opticalproperties眼戴顯示第22-10部分：AR特殊測(cè)試方法光學(xué)特性IEC63145-22-20:2020(E)規(guī)定了用于確定增強(qiáng)現(xiàn)實(shí)(AR)眼鏡顯示器的透明光學(xué)特性和成像質(zhì)量的標(biāo)準(zhǔn)測(cè)量條件和測(cè)量方法。這包括眼鏡顯示器的傳輸特性和環(huán)境光學(xué)性能。隱形眼鏡類型的顯示器不在本文檔的討論范圍之內(nèi)。8已發(fā)布IEC63145-22-20:2024Eyeweardisplay-Part22-20:SpecificmeasurementmethodsforARtype-Imagequality眼戴顯示第22-10部分：AR特殊測(cè)試方法圖像質(zhì)量IEC63145-22-20:2024規(guī)定了確定增強(qiáng)現(xiàn)實(shí)(AR)型眼鏡顯示器圖像質(zhì)量的標(biāo)準(zhǔn)測(cè)量條件和測(cè)量方法。本文檔適用于使用虛擬圖像光學(xué)的透視式(AR眼鏡)眼鏡顯示器。透明顯示器(VR眼鏡)、隱形眼鏡顯示器和視序號(hào)標(biāo)準(zhǔn)狀態(tài)標(biāo)準(zhǔn)號(hào)標(biāo)準(zhǔn)名稱（英文）標(biāo)準(zhǔn)名稱（中文）主要內(nèi)容網(wǎng)膜直接投影顯示器不在本文檔的討論范圍之內(nèi)。9在研IEC63145-30ED1Eyeweardisplay-Part30:Durabilitytestmethods眼戴顯示第30部分：耐久性試驗(yàn)方法—10在研IECTR63145-40-20ED1Eyeweardisplay-Part40-20:3Dsensing眼戴顯示第40-20部分：三維傳感—11在研IEC63145-201-10ED1Eyeweardisplay-Part201-10:MeasurementmethodsforVRtype-Opticalpropertiesofasingletlensusedforeyepieces第20-10—12在研IECTR63145-202-40ED1Eyeweardisplay-Part202-40:GeneralinformationofARtype-Frontalstraylights眼戴顯示第202-40部：AR型通則正面散射光—13待立項(xiàng)PNW110-1650ED1Eyeweardisplay-Part50:Userinteraction眼戴顯示第50部分：用戶交互基礎(chǔ)軟件開發(fā)引擎概述開發(fā)引擎是一套完整的開發(fā)工具，用于創(chuàng)建和呈現(xiàn)2D/3D圖形和場(chǎng)景，為開發(fā)者提供了創(chuàng)建XR應(yīng)用程序所需2D3D圖形圖形渲染：引擎提供高級(jí)的圖形渲染功能，能夠3DXR體驗(yàn)至關(guān)重要，因?yàn)樗枰叨缺普娴囊曈X表現(xiàn)來增強(qiáng)用戶的沉浸感。物理和交互模擬：開發(fā)引擎包含物理引擎，可以音頻處理：引擎提供音頻處理工具，用于創(chuàng)建空XR中非常重要，因?yàn)樗鰪?qiáng)了空間感知和沉浸感。輸入/輸出集成：集成了對(duì)各種輸入設(shè)備（如XR頭盔、手柄、運(yùn)動(dòng)傳感器）的支持，使開發(fā)者能夠設(shè)計(jì)交互式體驗(yàn)。XR應(yīng)用需要高幀率和低延遲來保證舒運(yùn)行平穩(wěn)。多平臺(tái)支持：許多現(xiàn)代開發(fā)引擎能夠支持跨平臺(tái)開發(fā)，XR設(shè)備創(chuàng)建應(yīng)用，無論P(yáng)CXR設(shè)備。虛擬環(huán)境和元素。隨著虛擬世界開發(fā)人員的不斷增多以及虛擬世界產(chǎn)業(yè)逼真度或者是更加宏大的虛擬世界的創(chuàng)作，促進(jìn)了UGCUnityCocosCreator、Lumverse3D引擎為代表。主流開發(fā)引擎Unity由UnityTechnologiesUnityOS19個(gè)不同平臺(tái)，包括移動(dòng)平臺(tái)、桌面平臺(tái)、網(wǎng)絡(luò)平臺(tái)、主機(jī)平臺(tái)、XR平臺(tái)等多種類型。XRXRPC端。具體功能方面，Unity目前可提供的功能包括用于VR（HDRP和用于VR（URP、空間音效（SpatialAudio）、粒子系統(tǒng)、AR基礎(chǔ)套件（ARFoundation）以及混合和增強(qiáng)現(xiàn)實(shí)工作室（MARS）等。其中，UnityMARS（AR）開發(fā)工具AR應(yīng)用程序和增強(qiáng)現(xiàn)實(shí)體驗(yàn)。UnityMARS采用了場(chǎng)景書寫、節(jié)點(diǎn)布局和AR數(shù)據(jù)等抽象概念，大大簡(jiǎn)化了AR的開發(fā)流程。UnrealEngineUnrealEngine（虛幻引擎）EpicGamesVR/ARUnrealEngineOS及多平臺(tái)下運(yùn)行。2022年，UnrealEngine5.0（UE5）正式發(fā)布，OpenXRXR開發(fā)更具擴(kuò)展性與高效性。它還針對(duì)VR模板進(jìn)行了更新，包括對(duì)抓取系統(tǒng)（GrabSystem）的改進(jìn)，支持組件抓取和放置，VRSpectator5中最為重磅的兩項(xiàng)渲染技術(shù)Lumen及Nanite增加了對(duì)VR的初步支持。截至目前，通過虛幻引擎制作的知名VR游戲代表包HubrisVR》《行尸走肉：圣徒與罪人第二章》《Moss:BookII》等。CocosCreatorCocosCreator是一款高效、輕量、免費(fèi)開源的跨平臺(tái)2D&3D2D&3D數(shù)字內(nèi)容創(chuàng)作XR目。20229Cocos宣布正式布局XRCocosCreatorXR。CocosCreatorXRCocosCreatorCocosEngine打造的一款XROpenXR標(biāo)準(zhǔn)協(xié)議來抹平不同XR設(shè)備之間的差異；中層封裝了一系XRXR內(nèi)容創(chuàng)作支持；上層基于CocosCreator面板擴(kuò)展出多種形式的XR功能菜單和組件樣式。Lumverse3DLumverse3D（ERA引擎2023統(tǒng)信操作系統(tǒng)在內(nèi)的多個(gè)純國產(chǎn)軟硬件平臺(tái)上完美兼容運(yùn)產(chǎn)業(yè)的內(nèi)容創(chuàng)作提供便捷的創(chuàng)作工具、高效的技術(shù)實(shí)現(xiàn)PCXR者可通過一套工具實(shí)現(xiàn)在不同操作系統(tǒng)和硬件平臺(tái)發(fā)布3D應(yīng)用。技術(shù)特性XR6DoF高性能的實(shí)時(shí)3D渲染VR3D能夠提供高效率、高性能的實(shí)時(shí)渲染能力。VR環(huán)境對(duì)幀率（Asynchronous技術(shù)來沉浸式的立體聲和空間音頻處理沉浸式的立體聲和空間音頻處理技術(shù)使聲音能夠在三SteamVRSDKSteamAudio利用物理學(xué)原理來模擬聲音如何在復(fù)雜的環(huán)境中傳播和反射，提高了聲音的真實(shí)感和方向感，為用戶提供更自然和沉浸式的音頻體驗(yàn)。更為真實(shí)的物理和環(huán)境互動(dòng)模擬在XR中實(shí)現(xiàn)更為真實(shí)的物理和環(huán)境互動(dòng)模擬是提高用VR環(huán)境中的體驗(yàn)盡可UnityVRBeatSaber低延遲的頭部追蹤和手勢(shì)識(shí)別追蹤對(duì)于創(chuàng)建交互式XR體驗(yàn)也至關(guān)重要。高延遲會(huì)導(dǎo)致用戶體驗(yàn)不適，開發(fā)引擎需要特別注意對(duì)延遲的優(yōu)化。例如OculusRiftSQuest采用了“Inside-Out”追蹤技術(shù)，無需外部傳感器即可追蹤頭部和手部的位置。通過這種技術(shù)，Oculus設(shè)備能夠以極低的延遲實(shí)時(shí)追蹤用戶的頭部和手部運(yùn)動(dòng)，從而提供流暢和連貫的VR體驗(yàn)。不同于單一界面的交互設(shè)計(jì)工具XR中的用戶界面（UI）和交互設(shè)計(jì)與基于傳統(tǒng)屏幕的Brush（Unity引擎）是一款XR繪畫應(yīng)用，允許用戶在三維空間中繪制。用戶通過XR控制器作為UIXR環(huán)境中。這種設(shè)計(jì)使用戶能夠以一種非常XRUI和交互設(shè)計(jì)的潛力。操作系統(tǒng)操作系統(tǒng)（OperatingSystemOS）XR硬提供一個(gè)讓用戶與系統(tǒng)交互的操作界面。相比于計(jì)算機(jī)、手機(jī)等設(shè)備，XR設(shè)備作為一個(gè)獨(dú)立使XR顯示的內(nèi)容是動(dòng)態(tài)的，當(dāng)前，主流XR設(shè)備的操作系統(tǒng)由安卓主導(dǎo)。當(dāng)前市場(chǎng)中的XR一體機(jī)的操作系統(tǒng)大多基于安卓系統(tǒng)底層進(jìn)行優(yōu)化XR設(shè)備則依靠主機(jī)的操作系統(tǒng)。除了安卓XRWindows操作系統(tǒng)。華為分體式VRGlassOS。20236月，蘋Apple224年4eta宣布開放支持Quest的操作系統(tǒng)etaHorizonOS，允許其他公司基于其生態(tài)系統(tǒng)設(shè)計(jì)更多頭顯設(shè)備。HorizonOSMeta公司圍繞其元宇宙愿景所開發(fā)的專用MetaHorizonOS的主要特點(diǎn)包括：（1）跨設(shè)備支持：可在Meta的XR頭戴設(shè)備以及其他相關(guān)硬件上運(yùn)行；（2）MetaverseMetaHorizon平臺(tái)深度集成，支持元宇宙中的XR設(shè)備優(yōu)化，提供低延遲和高效的性能表現(xiàn)；（4）新的交互方式：支持（5）開發(fā)者生態(tài)：提供工具和APIXR應(yīng)用程序。開發(fā)平臺(tái)VR開發(fā)平臺(tái)VR開發(fā)平臺(tái)集成了VRVR類APP開發(fā)者和內(nèi)容創(chuàng)作者提供全面的開發(fā)工具，方便開發(fā)者獲取、共享資源并可在不同VR設(shè)備上進(jìn)行適配測(cè)試。目前國內(nèi)外OculusGoogleVR開發(fā)平臺(tái)。OculusVRSDKOculusVRSDK支持OculusRift和Quest頭戴式顯示器，并提供高性能和逼真的圖形。OculusVRSDK的主要功能包括：（1）頭部和眼球追蹤：使用攝像頭和傳感器來跟蹤用戶的頭部和眼球位置，使用戶能夠在虛擬世界中進(jìn)行自然的導(dǎo)航和操作；（2）手部追蹤：支持手部追蹤，使用戶能夠使用手勢(shì)與虛擬世界進(jìn)行交互；（3）空間音頻：使用空間音頻技術(shù)，讓用戶能夠在虛擬世界中聽到聲音來自不同的方HTCSDKHTCSDKHTC能包括：（1）API來控制頭顯的顯示、位置和方向，實(shí)現(xiàn)頭部跟蹤、視角轉(zhuǎn)換和場(chǎng)景旋轉(zhuǎn)等各種VRAPI來控制手柄的輸入和狀態(tài)，VRVR效果；（4）API來渲染VRDirectX、DirectX12、OpenGLAPI。（5）API來處VRMP3AAC（6）輸入處理：HTCSDKAPI，開發(fā)者可APIVR輸入。HTCSDK支持多種輸入設(shè)備，包括鍵盤、鼠標(biāo)、手柄和觸控設(shè)備。SteamVRSDKSteamVRSDK發(fā)布的基于OpenVR標(biāo)準(zhǔn)的虛擬現(xiàn)實(shí)平臺(tái)。OpenVRAPI，允許開發(fā)人員為VRVRSteamVRSDK支持VRHTC、Index、OculusRift和VRPlayStationVRSDKPlayStationVRSDKPlayStationVR游戲和應(yīng)用程序而提供的軟件集合，包含一系列API、工具和資PlayStationVR硬件和軟件的功能，從VR提供訪PlayStationVR等；（3）提供資源工具，輔助創(chuàng)建和管理游戲中的圖形、聲音和其他資源，包括圖像編輯器、聲音編輯器等；（4）多維度精益孿生平臺(tái)DLT是鳴啟數(shù)字發(fā)布的VR開發(fā)創(chuàng)作平臺(tái)，提供項(xiàng)目交付和一套覆蓋全流程的工具鏈和資源庫，以“拖、拉、拽”操作實(shí)現(xiàn)從模型場(chǎng)景、數(shù)據(jù)結(jié)構(gòu)、精益計(jì)算、效果設(shè)置到數(shù)據(jù)對(duì)接全流程“0代碼”配置交付，并將精益管理理念貫穿企業(yè)數(shù)字化轉(zhuǎn)型全流程，解決VR制作“技術(shù)門檻高、交付周期長(zhǎng)、使用效果差”的三大痛點(diǎn)問題，實(shí)現(xiàn)VR低門檻的創(chuàng)作場(chǎng)景及數(shù)字孿生項(xiàng)目零代碼開發(fā)交付。該平臺(tái)包含362萬行基礎(chǔ)代碼，3000余個(gè)三維模型，8700條節(jié)點(diǎn)邏輯優(yōu)化，56項(xiàng)精益算法內(nèi)嵌，涉及20多個(gè)行業(yè)領(lǐng)域。AR開發(fā)平臺(tái)伴隨著智能手機(jī)的大規(guī)模普及，蘋果公司推出的ARKitGoogleARCore增強(qiáng)現(xiàn)實(shí)軟件平臺(tái)分別支持iOSAndroid操作系統(tǒng)，使得用戶可以便地在手機(jī)等移動(dòng)等。SenseMARS和河圖AR應(yīng)用開發(fā)門檻。ARKitARKit2017年推出的增強(qiáng)現(xiàn)實(shí)開發(fā)框架，負(fù)責(zé)為iOSAPIAR應(yīng)用程序。ARKit整合了設(shè)別、3D物體識(shí)別、人臉檢測(cè)、人體動(dòng)作捕捉等高級(jí)功能，APIAR應(yīng)用開發(fā)難度。ARCoreARCore是Google針對(duì)移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)體驗(yàn)構(gòu)建平光照條件。ARCoreARSDK，為所有AR（API，可以幫助開發(fā)者利用現(xiàn)有的Android設(shè)備構(gòu)建增強(qiáng)現(xiàn)實(shí)應(yīng)用程序。是一個(gè)跨平臺(tái)的增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)應(yīng)用程序世界中的對(duì)象、形狀和環(huán)境。提供功能包括：（1）標(biāo)記識(shí)2）對(duì)象跟蹤：可以跟蹤現(xiàn)實(shí)世界中移動(dòng)或旋轉(zhuǎn)的物體；（3）ARARAR教育和培訓(xùn)應(yīng)用AR輔助工具。商湯SenseMARS2020SenseMARS火星混合增強(qiáng)現(xiàn)實(shí)（（如云引擎等為各類應(yīng)用提供支持，用人、物、場(chǎng)構(gòu)建混合現(xiàn)實(shí)空間。SenseMARSAndroid/iOS/Web/小程序等系統(tǒng)平臺(tái)，以及手機(jī)、平板電腦、MR眼鏡、汽車等多種終MRSenseMARS平臺(tái)主要采用基于視覺的高精度華為河圖Cyberverse河圖Cyberverse3D43D高精度地圖，通過地圖識(shí)別等場(chǎng)景。設(shè)計(jì)建模軟件三維設(shè)計(jì)建模軟件是XR產(chǎn)業(yè)的基礎(chǔ)，用于在虛擬環(huán)境常用于虛擬現(xiàn)實(shí)領(lǐng)域的設(shè)計(jì)建模軟件包括Blender、、3dsMax、ZBrush、Rhino等。BlenderBlender3D于創(chuàng)建動(dòng)畫電影、視覺效果、藝術(shù)、3D打印模型、運(yùn)動(dòng)圖3DBlender的功3DUVBlenderGNUGPL開源協(xié)議，無版權(quán)OpenGL3D架構(gòu)，可實(shí)現(xiàn)快速高效的創(chuàng)建工作流程；四是擁有積極的社區(qū)支持。MayaMayaAutodesk3D內(nèi)容創(chuàng)建應(yīng)用程3D動(dòng)畫和建模并能夠創(chuàng)建虛擬現(xiàn)實(shí)體驗(yàn)的專3DMayaCG運(yùn)動(dòng)匹配等。Maya3D動(dòng)畫、3D渲染、3D陰影、3D建模提供了廣泛的開發(fā)工具，使得虛擬現(xiàn)實(shí)的畫面更為逼真。CreateVR推出的沉浸式概念設(shè)計(jì)工具，設(shè)計(jì)師能3D方式進(jìn)行創(chuàng)作，草圖和模型可以輕松導(dǎo)出到Maya或其他內(nèi)容創(chuàng)建應(yīng)用程序。3dsMax3dsMax是美國Autodesk公司出品的三維動(dòng)畫制作及渲動(dòng)畫設(shè)置及渲染等功能。3dsMax可以利用一些基本的幾何及復(fù)合運(yùn)算等一系列集合操作來構(gòu)建復(fù)雜的三維場(chǎng)景。3dsMaxZBrushZBrushPixologic開發(fā)的專業(yè)三維建模軟件，功能包括：（1）提供雕刻工具，用于創(chuàng)建出各種形狀的模型；（2）紋理繪制功能，用于為模型創(chuàng)建紋理；（3）提供拓?fù)涔ぞ?，用于修改模型的網(wǎng)格結(jié)構(gòu)；（4）渲染功能，用于生成模型的最終效果。RhinoRhinoceros3D（）RobertMcNeel&AssociatesNURBS曲線、曲面、實(shí)體、細(xì)分幾何(SubD)NURBS曲線和曲面而不是使用傳統(tǒng)的多邊形建模方法，來創(chuàng)建出更加精確、流暢的模型。Rhino的主要功能包括：（1）NURBS建模工具，用來創(chuàng)建出各種形狀的模型；（2）點(diǎn)云處理功能，從點(diǎn)云數(shù)據(jù)中創(chuàng)建模型；（3）三維打印功能，將模型導(dǎo)出為三維打印格式；（4）渲染功能，生成模型的最終效果。發(fā)展趨勢(shì)XR應(yīng)用，將成為三維設(shè)更加智能化的建模能力，實(shí)現(xiàn)自動(dòng)生成模型，或幫助用戶快速創(chuàng)建模型；（3）更加便捷易用的軟件能力，滿足不同用戶的需求。相關(guān)標(biāo)準(zhǔn)化情況TheOpenGroup組織維護(hù)UNIX?標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)定義了UNIXUNIXofElectricalandElectronicsEngineers，IEEE）POSIX操作系統(tǒng)接口標(biāo)準(zhǔn)族，旨在提供應(yīng)用UNIXISO/IECPOSIX標(biāo)準(zhǔn)緊密相關(guān)的操作環(huán)境標(biāo)準(zhǔn)ISO/IEC9945。國內(nèi)全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)程序設(shè)計(jì)語言分會(huì)（TC28/SC22）Linux操作系統(tǒng)研制了系列標(biāo)準(zhǔn)（2）。此外，針對(duì)網(wǎng)絡(luò)終端、云計(jì)算等操作系統(tǒng)機(jī)測(cè)試方法，也制定了對(duì)應(yīng)的標(biāo)準(zhǔn)規(guī)范（3）。全國網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)（TC260）制定了操作系統(tǒng)安全技術(shù)要（4）2022表2Linux操作系統(tǒng)相關(guān)標(biāo)準(zhǔn)標(biāo)準(zhǔn)號(hào)標(biāo)準(zhǔn)名稱GB/T32395-2015信息技術(shù)中文Linux操作系統(tǒng)應(yīng)用編程接口（API）擴(kuò)充要求GB/T32394-2015信息技術(shù)中文Linux操作系統(tǒng)運(yùn)行環(huán)境擴(kuò)充要求GB/T25645-2010信息技術(shù)中文Linux服務(wù)器操作系統(tǒng)技術(shù)要求表3TC28/SC22其他相關(guān)標(biāo)準(zhǔn)標(biāo)準(zhǔn)號(hào)標(biāo)準(zhǔn)名稱GB/T36465-2018網(wǎng)絡(luò)終端操作系統(tǒng)總體技術(shù)要求GB/T37730-2019Linux服務(wù)器操作系統(tǒng)測(cè)試方法GB/T37731-2019Linux桌面操作系統(tǒng)測(cè)試方法GB/T42140-2022信息技術(shù)云計(jì)算云操作系統(tǒng)性能測(cè)試指標(biāo)和度量方法GB/T36441-2018硬件產(chǎn)品與操作系統(tǒng)兼容性規(guī)范表4TC260相關(guān)標(biāo)準(zhǔn)標(biāo)準(zhǔn)號(hào)標(biāo)準(zhǔn)名稱GB/T20272-2019信息安全技術(shù)操作系統(tǒng)安全技術(shù)要求GB/T20008-2005信息安全技術(shù)操作系統(tǒng)安全評(píng)估準(zhǔn)則XR設(shè)備作為高度復(fù)雜的獨(dú)立電子設(shè)備，對(duì)操作系統(tǒng)的XR設(shè)備操作系統(tǒng)的定制標(biāo)準(zhǔn)，以滿足其獨(dú)特的技術(shù)要求和用戶體驗(yàn)需求。VR/AR/XRMaya和3DsMax等建模軟件都其獨(dú)特的工具集和工作流程，各/增強(qiáng)現(xiàn)實(shí)內(nèi)容制作已有相關(guān)標(biāo)準(zhǔn)化成果，將在后續(xù)基礎(chǔ)技術(shù)、內(nèi)容制作章節(jié)詳細(xì)介紹。基礎(chǔ)技術(shù)AI技術(shù)概述人工智能（ArtificialIntelligence，AI）技術(shù)是一種模擬在XR產(chǎn)業(yè)中，基于人工智能技術(shù)的識(shí)別技術(shù)和生成技術(shù)為XR應(yīng)用帶來了全新的維度。人工智能技術(shù)可以通過對(duì)XR環(huán)境中的實(shí)時(shí)交互和控制。通過自然語言處理技術(shù)，XRXR產(chǎn)業(yè)的發(fā)展，為用戶帶來更加豐富和優(yōu)質(zhì)的虛擬體驗(yàn)。智能識(shí)別技術(shù)在虛擬現(xiàn)實(shí)中使用智能識(shí)別技術(shù)能夠減少用戶對(duì)傳統(tǒng)XR環(huán)境中通過簡(jiǎn)單的裸手手勢(shì)直觀、自然的交互方式。在AR應(yīng)用中，手勢(shì)識(shí)別可以實(shí)現(xiàn)盡管語音識(shí)別和手勢(shì)識(shí)別在XR中展現(xiàn)出了巨大的潛力，但仍面臨一些技術(shù)挑戰(zhàn)，如識(shí)別準(zhǔn)確性、交互穩(wěn)定性、延遲問題以及不同用戶間的差異性等等。為了克服這些挑戰(zhàn)并推動(dòng)技術(shù)的成熟與應(yīng)用，標(biāo)準(zhǔn)化工作顯得尤為重要。手勢(shì)識(shí)別方面，全國信標(biāo)委計(jì)算機(jī)圖形圖像處理及環(huán)境數(shù)據(jù)表示分會(huì)（TC28/SC24）研究制定GB/T38665.1-2020《信息技術(shù)手勢(shì)交互系統(tǒng)第1部分：通用技術(shù)要求》和GB/T38665.2-20202ISO/IECJTC1/SC35制定了ISO/IEC30113系列標(biāo)準(zhǔn)，提供了跨設(shè)備和平臺(tái)的手勢(shì)交互的通用框架和規(guī)范，涵蓋了手勢(shì)識(shí)別、生成和理解的通用方法，標(biāo)準(zhǔn)清單見表5。表5ISO/IEC30113系列標(biāo)準(zhǔn)清單標(biāo)準(zhǔn)號(hào)標(biāo)準(zhǔn)名稱（英文）標(biāo)準(zhǔn)名稱（中文）ISO/IEC30113-1:2015Information technology —信息技術(shù)用戶界面跨設(shè)備標(biāo)準(zhǔn)號(hào)標(biāo)準(zhǔn)名稱（英文）標(biāo)準(zhǔn)名稱（中文）User interface Gesture-based acrossdevicesandmethods—Part1:Framework和方法的基于手勢(shì)的界面1部分：框架ISO/IEC30113-5:2019Informationtechnology—User interface Gesture-based acrossdevicesandmethods—Part5:GestureInterfaceMarkupLanguage(GIML)信息技術(shù)用戶界面跨設(shè)備和方法的基于手勢(shì)的界面5部分:手勢(shì)界面標(biāo)記語言(GIML)ISO/IEC30113-11:2017Informationtechnology—Gesture-based acrossdevicesandmethods—PartSingle-pointgesturesforcommonsystemactions信息技術(shù)跨設(shè)備和方法的11部分通用系統(tǒng)操作的單點(diǎn)手勢(shì)ISO/IEC30113-12:2019Informationtechnology—User interfaces Gesture-based acrossdevicesandmethods—Part12:Multi-pointgesturesforcommonsystemactions信息技術(shù)用戶界面跨設(shè)備和方法的基于手勢(shì)的界面。第12部分:通用系統(tǒng)操作的多點(diǎn)手勢(shì)ISO/IEC30113-60:2020Informationtechnology—Gesture-based acrossdevicesandmethods—Part60:Generalguidanceongesturesforscreenreaders信息技術(shù)跨設(shè)備和方法的60部分屏幕閱讀器手勢(shì)的通用指南ISO/IEC30113-61:2020Informationtechnology—Gesture-based acrossdevicesandmethods—Part61:Single-pointgesturesforscreenreaders信息技術(shù)跨設(shè)備和方法的61部分屏幕閱讀器的單點(diǎn)手勢(shì)（TC28/SC35）制定了智能語音交互GB/T36464和GB/T41813系列標(biāo)準(zhǔn)，系統(tǒng)的術(shù)語定義和系統(tǒng)框架以及要求和測(cè)試方法。（2024版AI技術(shù)224年2OpenAI發(fā)布了文生視頻人工智能模型Soa，OpenAIChatGPT所用的Transformer算DiT，使SoraAIXR3D模型、場(chǎng)景、動(dòng)作和腳本的創(chuàng)建提供前所未有的自由XR內(nèi)容、場(chǎng)景和虛擬世界的快速構(gòu)建。此外，XR中的虛擬場(chǎng)景、人物，需要與用戶進(jìn)行有效AI技術(shù)基于大語言模型XR場(chǎng)景與用戶之間的虛實(shí)交互提供更加自然的交互方式、更流暢的場(chǎng)景和角色切換，讓用戶感受到與現(xiàn)實(shí)世界相匹配甚至超現(xiàn)實(shí)的沉浸式體驗(yàn)。展。全國信標(biāo)委人工智能分委會(huì)（TC28/SC42）GB/T42382.1-20231部分：卷積神經(jīng)網(wǎng)絡(luò)》，規(guī)定了卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork面向人工智能生成模型的國家標(biāo)準(zhǔn)。此外，《信息技術(shù)神2（計(jì)3部分：圖神經(jīng)網(wǎng)絡(luò)》（計(jì)劃號(hào)：20230718-T-469）正在起草過程中。全國網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)（TC260）正在起草生成式AI注安全規(guī)范》（計(jì)劃號(hào)：20242097-T-469）、《網(wǎng)絡(luò)安全技術(shù)生成式人工智能服務(wù)安全基本要求》（計(jì)劃號(hào)：20241752-T-469）。國際上ISO/IECJTC1/SC42負(fù)責(zé)人工智能標(biāo)準(zhǔn)化工作，27屆聯(lián)合國科技大會(huì)期間，世界數(shù)字技術(shù)院編解碼技術(shù)概述4K/8K3D（3DMesh）XR中的編解碼技術(shù)視頻編碼超高清視頻編碼超高清視頻通常指4K/8K分辨率的視頻內(nèi)容，支持高幀率（HFR，如100fps、120fps）、高動(dòng)態(tài)范圍（HDR）、廣色域（WCG）。超高清視頻對(duì)應(yīng)的超高數(shù)據(jù)量和超大帶寬，對(duì)壓縮效率和時(shí)延也提出了更高的需求。基于此，國內(nèi)外標(biāo)準(zhǔn)工作組織，如ISO/IECJTC1/SC29（音頻、圖像、多媒體及超媒體編碼）下設(shè)WG5“MPEG聯(lián)合視頻編碼”工作組，（工作組）AOM陣營(yíng)也提出了面向互聯(lián)網(wǎng)流媒體的開發(fā)編碼。MPEG最新一代的編碼標(biāo)準(zhǔn)VVC（ITU-TH.266|ISO/IEC50%ITU-TH.265|ISO/IEC標(biāo)準(zhǔn)相似的主觀的通用性也可以支持如超高分辨率（4K/8K）、高動(dòng)態(tài)范圍（HDR）、屏幕內(nèi)容編碼、360度沉浸式視頻編碼等多種新興的視頻內(nèi)容與應(yīng)8K（UHD）電視VR等新興應(yīng)用場(chǎng)景的國內(nèi)自主視頻標(biāo)準(zhǔn)。最標(biāo)準(zhǔn)提出了更靈活的擴(kuò)展四叉樹劃分方式、更另一方面，為了支持更多樣化的超高清視頻應(yīng)用場(chǎng)景，ISO/IECJTC1/SC29WG4“MPEG視頻編碼工作組”正在研制的由中國專家主導(dǎo)的VCM（VideoCodingformachine）FCM（Featurecodingformachine）標(biāo)準(zhǔn)項(xiàng)目，以及國內(nèi)面向機(jī)器智能的數(shù)據(jù)編碼標(biāo)準(zhǔn)工作組正在研制的codingfor或者是前序任務(wù)產(chǎn)生的特征圖產(chǎn)生碼流，以供機(jī)器分析直接使用，支持多種機(jī)器視覺任務(wù)。全景視頻編碼VR相關(guān)業(yè)務(wù)的發(fā)展。因此，高效的全景視頻編碼技術(shù)至關(guān)重要。SO/ICJC1/SC29下設(shè)G“PG205年起開始制定相關(guān)標(biāo)準(zhǔn)，提出了全向媒體格式（OMAF），3603DOFFOV的編碼方法，前者通常將球面內(nèi)容投影到二維平（Tile）為單位拆分碼流進(jìn)行切片分發(fā)。-自由視點(diǎn)視頻編碼自由視點(diǎn)視頻實(shí)現(xiàn)了3DoF/6DOF觀看體驗(yàn)，相較于其他沉浸媒體，其具有低成本制作、應(yīng)用場(chǎng)景多等優(yōu)勢(shì)。面向自由視點(diǎn)視頻，ISO/IECJTC1/SC29/WG4工作組制定了沉浸式視頻（MIV）標(biāo)準(zhǔn)，提供沉浸式、6DOF立體視覺場(chǎng)景的高效編碼，可用于VRARMRMPEG計(jì)劃基于視覺V3C的框架進(jìn)行技術(shù)集成和擴(kuò)展。國內(nèi)虛擬現(xiàn)實(shí)標(biāo)準(zhǔn)工作組VRU2019年啟動(dòng)了自由視點(diǎn)視頻標(biāo)準(zhǔn)制定工作，開展國家標(biāo)準(zhǔn)《信息技術(shù)虛擬現(xiàn)實(shí)內(nèi)容表達(dá)22D視頻編碼，在終端將基于深度圖的處理合成虛擬視點(diǎn)的合成。MPEGMIV（源視角（深度以及可選的占用圖（幾何和屬性MIV編碼器將基于幾何和屬性信息生成屬性圖2D視頻編碼器編碼為視頻比特流，而元數(shù)據(jù)使用MIV標(biāo)準(zhǔn)編碼。點(diǎn)云編碼3D3D（顏ISO/IECJTC1/SC29/WG7“MPEG和基于幾何的點(diǎn)（G-PCC）點(diǎn)云編碼參考軟件（PCRM），3D空間對(duì)點(diǎn)云進(jìn)行編碼處理。DCM工作組也面向機(jī)器智能的點(diǎn)云編碼提出了Google發(fā)布了開源庫Draco3D幾何網(wǎng)格和點(diǎn)云。V3C（Patch）劃分重組、幾何和紋理圖像的生成、填充及編碼、未來，點(diǎn)云編碼技術(shù)發(fā)展將圍繞下列方面展開：更高效的幾何表征方法及屬性預(yù)測(cè)技術(shù)、更靈活的編碼速度配置；支持多種延遲場(chǎng)景，比如離線轉(zhuǎn)碼、云游戲、視頻直播、視頻會(huì)議等；兼容各終端設(shè)備，實(shí)現(xiàn)場(chǎng)景自適應(yīng)，提高編碼速度（幀間并行加速、預(yù)分析和后處理加速），實(shí)現(xiàn)智能碼率控制等。3D網(wǎng)格編碼3D網(wǎng)格已成為視覺沉浸媒體主要的數(shù)據(jù)格式之一。一3D網(wǎng)格由以下部分組成：拓?fù)湫畔?、幾何信息、映射信的?shù)據(jù)量更為龐大，因?yàn)樗罅侩S時(shí)間變化的信息。ISO/IECJTC1/SC29/WG7正在計(jì)劃開發(fā)一種新的3D網(wǎng)格壓縮標(biāo)準(zhǔn)，用以壓縮具有時(shí)變拓?fù)湫畔⒑涂蛇x時(shí)變屬性映射自由視點(diǎn)視頻、ARVR等。SC29/WG7計(jì)劃基于視覺體積視頻編碼（V3C）的框架進(jìn)行技術(shù)集成和擴(kuò)展。目前，國內(nèi)標(biāo)準(zhǔn)工作組暫未開設(shè)相關(guān)專題組。未來，3D網(wǎng)格編碼技術(shù)的發(fā)展特點(diǎn)大致如下：支持靜態(tài)和動(dòng)態(tài)網(wǎng)格編碼、支持有損和無損壓縮、支持隨機(jī)訪問、低延遲、具有容錯(cuò)能力、支持并行編碼和解。音頻編碼3DoF甚6DoF的聲音感受，靈活適用各類場(chǎng)景，從個(gè)性化音頻制國際上，ISO/IECJTC1/SC29WG6“MPEG音頻MPEG-H3D前正在開展PEGIPGH3DAudioMPEG-I是為虛逼真VR體驗(yàn)。相比MPEG-H，MPEG-I能夠提供更優(yōu)秀的互6DOF，用戶可以在虛擬空間內(nèi)移動(dòng)，并與虛擬空間物品進(jìn)行交互。3GPP沉浸式語音及音頻服201715開始已經(jīng)演進(jìn)到版VRVR用戶體驗(yàn)、邊緣計(jì)算、場(chǎng)景探索、觸覺和媒體服務(wù)相關(guān)業(yè)務(wù)，QoS、QoE指標(biāo)等。國內(nèi)，2016年起，開始對(duì)三維聲和互動(dòng)式音頻開展研討和技術(shù)征集，2018年發(fā)布GB/T33部分：音頻》，規(guī)定了虛擬現(xiàn)實(shí)設(shè)備及相關(guān)系統(tǒng)中的沉浸式音頻內(nèi)容的表達(dá)方式，提出了包括傳輸、回放系統(tǒng)；2022年，世界超高清產(chǎn)業(yè)聯(lián)盟009.1—20221T/AI109.3—2023《信息技3部分沉浸式音頻》，即三維菁彩聲Audio音頻標(biāo)準(zhǔn)。三維菁彩聲（Audio針對(duì)不同的信號(hào)類型采用不同的技術(shù)工具對(duì)輸入信號(hào)進(jìn)行編解碼；采用多聲道編碼技術(shù)去除多聲道信號(hào)間的信息冗余；采用HOA空間編碼技術(shù)去除HOA各聲道信號(hào)間的空間幾何信息冗余；采用基于心理聲學(xué)模型的預(yù)處理和基于AI的量化，熵編碼技術(shù)去除單聲道、對(duì)象音頻信號(hào)中的信息冗余；通過揚(yáng)聲器或耳機(jī)完成最終渲染輸出。接口協(xié)議概述XR軟件與設(shè)備之間的數(shù)據(jù)交互越來越被建設(shè)者和使用者所重視，構(gòu)建一套標(biāo)準(zhǔn)的數(shù)據(jù)傳輸協(xié)議規(guī)范在XR設(shè)備、軟件和平臺(tái)之間得到了廣泛關(guān)注。通過這些接口協(xié)議，不同廠商、XR設(shè)備和軟件之間可以互相通信，并為開發(fā)者構(gòu)建跨平臺(tái)的XR應(yīng)用內(nèi)容提供數(shù)據(jù)傳輸基礎(chǔ)支撐。XR接口協(xié)議的標(biāo)準(zhǔn)化方面積累了一定經(jīng)驗(yàn)，其中OpenXR作為一個(gè)開放標(biāo)準(zhǔn)受到了全球范圍內(nèi)的廣泛關(guān)XR設(shè)備提供了互操作性。而其他SDK工具，在市場(chǎng)中也具有較大的SteamVR、OculusSDKSDK。這SDK工具通常提供了豐富的功能和接口，支持XR內(nèi)容，同時(shí)記錄了操作的整個(gè)過程數(shù)據(jù)。然而，XR設(shè)備之間的互操作性、數(shù)據(jù)傳輸兼容性仍然存在一些問題和瓶頸，包括不同廠商設(shè)備之間的接口差異、設(shè)備性能的差異以及軟件兼容性差異等。這些問題使得開發(fā)XR技術(shù)XR設(shè)備接口標(biāo)準(zhǔn)有著XR技術(shù)的XR產(chǎn)業(yè)發(fā)展。XR中的接口協(xié)議在XR應(yīng)用中，接口協(xié)議技術(shù)主要用于實(shí)現(xiàn)設(shè)備、應(yīng)用程序和系統(tǒng)之間的通信和交互。XR應(yīng)用中常見的接口協(xié)議OpenXR、等。OpenXRKhronosGroup開發(fā)的開放式、跨平臺(tái)的XR接口標(biāo)準(zhǔn)。它旨在提供一個(gè)統(tǒng)一的接口，使開發(fā)者能夠XR設(shè)備上編寫一次代碼，實(shí)現(xiàn)跨平臺(tái)的兼容性和可移植性。XRXR內(nèi)容。JavaScriptAPIXR設(shè)備的訪問和控制，使開發(fā)者能夠在瀏覽器中創(chuàng)建交互式的VR和AR應(yīng)用。SteamVRVR平臺(tái)，OpenVR是其開放的接口標(biāo)準(zhǔn)。SteamVR/OpenVRVR設(shè)備的交互和控制的接口，使開發(fā)者能夠創(chuàng)建適用于SteamVR平臺(tái)的VR應(yīng)用。OculusSDKOculusVR于開發(fā)適用于OculusVR設(shè)備的應(yīng)用程序。它提供了與OculusARKitApple開發(fā)的AR是由Google開發(fā)的ARAR設(shè)備的交互和控制的接口，使開發(fā)者能夠創(chuàng)建適用于iOS和Android平臺(tái)的AR應(yīng)用。XR設(shè)備的交互和XR應(yīng)用，提供更好的用戶體驗(yàn)。3D數(shù)據(jù)格式概述3D數(shù)據(jù)格式是指用于存儲(chǔ)和處理3D數(shù)字內(nèi)容的格式和3D模型的幾何形狀、拓?fù)浣Y(jié)構(gòu)和紋理信息，如OBJFBXSTL3DJPEGPNG、TGA3D模型的動(dòng)畫效果BVH、FBX、GIF3D數(shù)據(jù)格式和3D數(shù)字內(nèi)容的創(chuàng)建、編輯、存儲(chǔ)和交流提供了基礎(chǔ)3D3DXR3D數(shù)據(jù)格式在XR3D數(shù)據(jù)格式有以下幾種：OBJ）：OBJ是一種廣泛使用的開放標(biāo)3D材質(zhì)信息等。FBX（Filmbox）：FBXAutodesk開發(fā)的專有3D文件格式，廣泛用于游戲開發(fā)和虛擬現(xiàn)實(shí)應(yīng)用。它支持幾何形狀、材質(zhì)、動(dòng)畫、骨骼等多種數(shù)據(jù)。STL（Stereolithography）：STL是一種用于3D打印的文件格式，它描述了物體的幾何形狀，通常由三角面片構(gòu)成。Transmission是一種開放標(biāo)準(zhǔn)3D和移動(dòng)平臺(tái)上實(shí)時(shí)渲染。ScenePixar3D這些格式在XR應(yīng)用中具有不同的特點(diǎn)和用途，開發(fā)者3D數(shù)據(jù)。空間計(jì)算空間計(jì)算最早應(yīng)用于衛(wèi)星定位系統(tǒng)和地理信息系統(tǒng)等XR、虛擬數(shù)字人等技術(shù)發(fā)XR產(chǎn)品sinPoOS。空間計(jì)算被認(rèn)為是構(gòu)建元宇宙等虛擬世界的基礎(chǔ)技術(shù)（如鍵盤和鼠標(biāo)XR交互應(yīng)用第章 內(nèi)生產(chǎn)內(nèi)容采集全景拍攝全景攝像是利用實(shí)景拍攝設(shè)備對(duì)環(huán)境的全景圖像以720（360360度立體全方位視角進(jìn)行拍攝采的全景畫面，并在計(jì)算機(jī)、移動(dòng)終端、XR設(shè)備或互聯(lián)網(wǎng)上全景拍攝設(shè)備全景拍攝一般需要一種或多種拍攝設(shè)備，包括一體式全景相機(jī)和多機(jī)組合拍攝兩種類型。一體式全景相機(jī)一體式全景相機(jī)是一種成像視角可以覆蓋整個(gè)球面或者至少可以覆蓋水平面上環(huán)形視野的相機(jī)，可以捕捉到從各360°的視野在三維場(chǎng)景建模中具有廣泛的應(yīng)用。一體式全景相機(jī)一般由多個(gè)內(nèi)置的超廣角/魚眼鏡頭組成，是目前沉浸式視頻/VR/全景視頻常用的拍攝設(shè)備，包括單目全景相機(jī)、雙目全景相機(jī)、四目全景相機(jī)、Gear360、Insta360、GoproMAX等。I/O；體積較小，重量較輕，可配合各種軌（拼接后能達(dá)到8K10bit30fps、8K8bit60fps8bit30fps的全景視頻。多機(jī)組合拍攝多機(jī)組合拍攝是采用多種相機(jī)+鏡頭的組合，包括單反數(shù)碼相機(jī)+魚眼鏡頭+全景云臺(tái)++魚眼鏡頭+全景云臺(tái)+三腳架、運(yùn)動(dòng)相機(jī)組合等。多機(jī)組合拍攝要求多種相機(jī)+鏡頭在同一時(shí)間、同一位置分別拍攝不同角度有部分重疊的畫面，然后將采集到的多360°有較高的分辨率、動(dòng)態(tài)范圍和彩色量化深度，多用于對(duì)圖像質(zhì)量有很高要求、能夠承受后期復(fù)雜制作流程的應(yīng)用場(chǎng)景。其缺點(diǎn)在于需要使用比較復(fù)雜笨重的多機(jī)支架；實(shí)際拍攝中對(duì)于場(chǎng)地、移動(dòng)要求較高；拍攝前需要對(duì)各個(gè)攝像機(jī)、鏡頭等進(jìn)行匹配調(diào)整；拍攝完成后各機(jī)位采集的素材需要進(jìn)行時(shí)間碼對(duì)齊、色彩統(tǒng)一調(diào)整、圖像拼接縫合等處理才能形成全景圖像。通常，全景拍攝圖片分辨率包括4K（3840*1920px）、等；全景拍攝視頻分辨率及幀率包括 4K（3840*1920@30/60fps）、6K（5760*2880@30/60fps)、8K（7680*3840@30/60fps）、12K（11520*5760@30fps）等。全景拍攝流程采集路線規(guī)劃：提前根據(jù)室外地圖或者室內(nèi)平面拍攝區(qū)域劃分：拍攝區(qū)域較大，需要把區(qū)域劃分拍攝時(shí)間規(guī)劃：由于光照條件對(duì)場(chǎng)景拍攝的存在拍攝高度和角度確定：由于全景拍攝需要盡量對(duì)拍攝速度控制：考慮到全景拍攝的穩(wěn)定性，保證局部補(bǔ)充采集：由于采集過程中某些場(chǎng)景采集不夠細(xì)致或在部分場(chǎng)景中發(fā)生了較大變化時(shí)，需要對(duì)變化區(qū)域進(jìn)行補(bǔ)采。三維掃描三維掃描是利用三維掃描儀等全景掃描設(shè)備對(duì)場(chǎng)景信息進(jìn)行掃描采集的過程。實(shí)景掃描設(shè)備包括利用激光雷達(dá)、結(jié)構(gòu)光成像等技術(shù)的空間測(cè)量和掃描設(shè)備，其中以三維掃描儀為主。三維掃描儀在XR領(lǐng)域，三維掃描儀用于偵測(cè)并分析現(xiàn)實(shí)世界中物（幾何構(gòu)造與外觀數(shù)據(jù)（得到物體表面的點(diǎn)云信息并轉(zhuǎn)化為計(jì)算機(jī)可以直接主要使用各種不同直徑和形狀的探針（或稱為接觸測(cè)頭）沿被測(cè)物體表面運(yùn)動(dòng)，被測(cè)表面的反作用力使探針發(fā)生形變。這種形變觸發(fā)測(cè)量傳感器，將測(cè)出的信號(hào)反饋給測(cè)量控制系統(tǒng)，經(jīng)計(jì)算機(jī)進(jìn)行相關(guān)的處理得到所測(cè)量點(diǎn)的三維坐標(biāo)。（稱為主動(dòng)光源照射被測(cè)物體，手持式三維掃描儀主要采用雙目立體視覺與多線結(jié)構(gòu)LED光源發(fā)射器和雙1kg萬點(diǎn)/600mm×550mm左右，掃描精度最高可達(dá)0.01mm。拍照式三維掃描儀主要采用雙目立體視覺與編碼結(jié)構(gòu)光法相結(jié)合的方法，儀器硬件主要由編碼結(jié)構(gòu)光投影裝置和0.005mm。桌面式三維掃描儀主要采用線激光直接三角法，掃描精度比手持式和拍照式產(chǎn)品低，儀器的一體化機(jī)身小巧便攜，可直接放置于桌面上，將物品放置于載物轉(zhuǎn)臺(tái)上即可方便地進(jìn)行掃描，主要功能定位為小型物品的快速簡(jiǎn)便化掃描。三維掃描流程三維掃描方式包含地面固定點(diǎn)云數(shù)據(jù)采集：點(diǎn)云數(shù)據(jù)是三維空間中所有點(diǎn)的三維掃描儀應(yīng)按架設(shè)掃描站、建立掃描項(xiàng)目、掃描范圍設(shè)置、點(diǎn)間距或者采集分辨率設(shè)置、開始掃描等步驟操作；紋理數(shù)據(jù)采集：紋理信息是描述物體或場(chǎng)景表面特征的重要信息，它可以用來增強(qiáng)三維模型的真實(shí)感和逼真動(dòng)作捕捉動(dòng)作捕捉概述姿結(jié)果。動(dòng)作捕捉外設(shè)設(shè)主要可以分為兩種類型：慣性動(dòng)作捕捉設(shè)備慣性動(dòng)作捕捉設(shè)備主要利用慣性傳感器對(duì)人體主要骨骼部位的運(yùn)動(dòng)進(jìn)行實(shí)時(shí)測(cè)量。這種設(shè)備不受光線限制，因此慣性動(dòng)作捕捉設(shè)備優(yōu)點(diǎn)在于設(shè)備成本相對(duì)較低，系統(tǒng)相對(duì)簡(jiǎn)單，安裝和使用也更加容易，不受環(huán)境光線的影響，可以捕捉人體在任何環(huán)境中的運(yùn)動(dòng)，這使得其在應(yīng)用范圍上更加靈活。慣性動(dòng)作捕捉設(shè)備缺點(diǎn)在于捕捉精度受到慣性傳感器的制造工藝和材料等因素的限制，并且慣性傳感器在測(cè)量物光學(xué)動(dòng)作捕捉設(shè)備光學(xué)動(dòng)作捕捉設(shè)備則是使用攝像機(jī)捕捉物體表面的運(yùn)需要高精度的攝像頭及框架，安裝和使用也更加困難，操作相對(duì)復(fù)雜且專業(yè)。采集數(shù)據(jù)處理采集的數(shù)據(jù)包括全景視頻、3D點(diǎn)云數(shù)據(jù)、紋理數(shù)據(jù)等JPEGPNGBMP等，MP4MOVRMVB3DOBJFBX3Dmax等，3DNeRF、SDF等。此外，將采集到的3D數(shù)據(jù)進(jìn)行處理和整合，以便進(jìn)行后續(xù)的分析和應(yīng)用。這一步驟主要包括數(shù)據(jù)文件的格式轉(zhuǎn)換、區(qū)域劃分、要素分類、時(shí)間排序、冗余數(shù)據(jù)處理，確保采集到的全景數(shù)據(jù)覆蓋場(chǎng)景，通過對(duì)數(shù)據(jù)進(jìn)行處理，可以提高數(shù)據(jù)的質(zhì)量和完整性，為后續(xù)的3D模型生成提供可靠的數(shù)據(jù)基礎(chǔ)。全景視頻處理在從全景拍攝設(shè)備中采集得到空間中不同方位所對(duì)應(yīng)的視頻序列后，多個(gè)視頻序列需要通過拼接與融合技術(shù)生成最終的全景視頻。全景視頻拼接的整體流程包括：圖像預(yù)處理圖像預(yù)處理指的是對(duì)上述全景拍攝設(shè)備采集到的視頻序列進(jìn)行一些常見的圖像處理操作，如對(duì)圖像進(jìn)行亮度及色彩校正以避免由于拍攝時(shí)的一些因素導(dǎo)致的設(shè)備焦距不同、曝光參數(shù)不同、白平衡不同的問題，如對(duì)圖像進(jìn)行去噪處理以去除圖像中的高頻噪聲。這一步中沒有固定的操作，而是根據(jù)序列的特性選用合適的算法進(jìn)行處理。圖像配準(zhǔn)由于拍攝視角、角度、分辨率、光照等參數(shù)的差異，待拼接的若干幅圖像之間在位置平移、方向旋轉(zhuǎn)、尺度變換、變形扭曲等方面存在一定區(qū)別。圖像配準(zhǔn)過程采用一定的匹配策略，尋找待拼接圖像中的特征點(diǎn)在參考圖像中的位置，從而得出最能描述待拼接圖像之間映射關(guān)系的變換模型。常用的變換模型有平移變換模型、剛性變換模型、仿射變換模型及投影變換模型等等。圖像變換圖像變換指的是將配準(zhǔn)后的視頻圖像進(jìn)行變換，在通過上述配準(zhǔn)操作找到變換矩陣并計(jì)算出矩陣中各個(gè)參數(shù)的值，然后將待拼接的圖像變換到參考圖像的坐標(biāo)系中，完成統(tǒng)一的坐標(biāo)變換，以滿足拼接的需要。圖像變換可以包括旋轉(zhuǎn)、縮放、平移等操作。圖像融合點(diǎn)云數(shù)據(jù)處理3D模型或其他數(shù)據(jù)集的過程。點(diǎn)云數(shù)據(jù)處理的流程一般包括以下幾個(gè)步驟：點(diǎn)云預(yù)處理特征提取點(diǎn)云配準(zhǔn)將兩個(gè)或多個(gè)點(diǎn)云數(shù)據(jù)集在相同坐標(biāo)系下進(jìn)行對(duì)齊，使得它們?cè)诳臻g中具有一致的位置和姿態(tài)。在實(shí)際應(yīng)用中，往往需要將多個(gè)點(diǎn)云數(shù)據(jù)進(jìn)行配準(zhǔn)，以獲得更加完整的3D模型。數(shù)據(jù)配準(zhǔn)可以通過計(jì)算點(diǎn)云數(shù)據(jù)之間的變換矩陣實(shí)現(xiàn)，也可以采用ICP算法、特征匹配等方法。數(shù)據(jù)重建3D模型的過程。數(shù)據(jù)重建可以通過3D建模、XR等應(yīng)用提供基礎(chǔ)。紋理數(shù)據(jù)處理紋理數(shù)據(jù)處理的目的是保證處理后的圖像與實(shí)地情況圖像色調(diào)調(diào)整變形糾正因視角或鏡頭畸變引起變形，應(yīng)對(duì)圖像的變形部分作糾正處理。圖像配準(zhǔn)圖像配準(zhǔn)時(shí)，應(yīng)保證圖像細(xì)節(jié)表現(xiàn)清晰，無配準(zhǔn)鑲嵌縫隙。格式轉(zhuǎn)換將處理后的圖像轉(zhuǎn)換為通用的文件格式。三維聲場(chǎng)麥克風(fēng)三維聲麥克風(fēng)可捕獲360°環(huán)繞聲，應(yīng)用于虛擬現(xiàn)實(shí)、聲音設(shè)計(jì)、沉浸式音頻和實(shí)驗(yàn)性錄音。典型產(chǎn)品是麥克風(fēng)領(lǐng)域的開拓者SoundField（首款商用三維聲麥克風(fēng)的發(fā)明者）和R?DE合作推出的NT-SF1。三維聲場(chǎng)麥克風(fēng)由四個(gè)緊密排列的心形或心形（單向）A格式和BAAB格式。根據(jù)麥克風(fēng)型號(hào)，此轉(zhuǎn)換可以通過硬件或軟件完成。格式錄音也可以解碼到放置在水平和垂直平面上的任意數(shù)量的揚(yáng)聲器。相關(guān)標(biāo)準(zhǔn)化情況SJ/T《結(jié)構(gòu)光手持VR激光雷達(dá)三維掃描相機(jī)技術(shù)規(guī)范》規(guī)定了VR激光雷達(dá)三維掃描相機(jī)的設(shè)GB/T23698-2023《信息技術(shù)面1部分：通用技術(shù)《信息技術(shù)面向虛擬現(xiàn)實(shí)應(yīng)用的3部分：慣性動(dòng)作捕捉系統(tǒng)軟件接口標(biāo)準(zhǔn)》；《信息技術(shù)面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系2部分：大范圍光學(xué)動(dòng)作捕捉系統(tǒng)軟件接口標(biāo)準(zhǔn)》正JTC1一直致力畫系列標(biāo)準(zhǔn)，用于三維化身的表示、可視化和信息處理：ISO/IEC19774-1類人動(dòng)畫(HAnim)架構(gòu)定義了一個(gè)人形數(shù)據(jù)19774-2類人動(dòng)畫運(yùn)動(dòng)數(shù)據(jù)動(dòng)畫可用于生成和交換人形動(dòng)畫。最近，正在積極推動(dòng)相關(guān)國家標(biāo)準(zhǔn)與國際標(biāo)準(zhǔn)研制。將提高內(nèi)容生成效率，推動(dòng)行業(yè)規(guī)范化發(fā)展。內(nèi)容制作視頻融合拼接（如強(qiáng)度、的是尺度不變特征變換（Scale-invariantfeaturetransform，SIFT對(duì)圖像3D視點(diǎn)的變化、噪聲的SIFT?視頻的選定幀以生成（如手持移動(dòng)攝像機(jī)或無人機(jī)近年來，隨著VR技術(shù)和拼接技術(shù)的發(fā)展，各種基于全360?種閉環(huán)拼拼接的大部分工作都是利用?般的透視變換方法估計(jì)攝像?360度全景視圖/接