擴展現(xiàn)實（XR）產(chǎn)業(yè)和標準化研究報告（2024 版）

擴展現(xiàn)實（XR）產(chǎn)業(yè)和標準化研究報告中國電子技術(shù)標準化研究院擴展現(xiàn)實（XR）標準工作組 1.良好政策環(huán)境帶來發(fā)展機遇 42.軟硬件+內(nèi)容構(gòu)建XR產(chǎn)業(yè)生態(tài) 6 9第二章基礎(chǔ)通用 2.基礎(chǔ)軟件 3.基礎(chǔ)技術(shù) 1.分發(fā)傳輸 2.業(yè)務(wù)運營平臺 2.感知交互 第六章產(chǎn)業(yè)應(yīng)用 4.教育培訓 6.安全應(yīng)急 7.智慧城市 第七章擴展現(xiàn)實標準化體系 1.現(xiàn)有標準和在研計劃 2.國際標準現(xiàn)狀 3.標準體系規(guī)劃 4.標準化工作規(guī)劃 為貫徹落實《虛擬現(xiàn)實與行業(yè)應(yīng)用融合發(fā)展行動計劃（2022—2026年）》《元宇宙產(chǎn)業(yè)創(chuàng)新發(fā)展三年行動計劃（2023-2025年）》等文件要求，系統(tǒng)化推進我國擴展現(xiàn)實（XR，含虛擬現(xiàn)實VR、增強現(xiàn)實AR、混合現(xiàn)實MR等）標準化工作開展，2024年5月13日，全國信標委計算機圖以及全國信標委多媒體分委會（TC28/SC29）共同成立擴展現(xiàn)實（XR）標準工作組，開展XR領(lǐng)域標準體系研究和相關(guān)國際、國家、行業(yè)、團體標準制定。本報告主要參編單位有（排名不分先后）：中國電子技術(shù)標準化研究院、浙江商湯科技開發(fā)有限公司、中關(guān)村數(shù)智人工智能產(chǎn)業(yè)聯(lián)盟、歌爾股份有限公司、歌爾光學科技有限公司、中國信息通信研究院、南昌虛擬現(xiàn)實研究院股份有限公司、中國虛擬現(xiàn)實技術(shù)與產(chǎn)業(yè)創(chuàng)新平臺、北京理工大學、北京潤尼爾科技股份有限公司、廣州卓遠虛擬現(xiàn)實科技股份有限公司、廣州市虛擬現(xiàn)實行業(yè)協(xié)會、工業(yè)和信息化部電子第五研究所、咪咕文化科技有限公司、江西科駿實業(yè)有限公司、中國信通院江西研究院、廈門大學、青島虛擬現(xiàn)實研究院、北京渲光科技有限公司、OPPO廣東移01東）有限公司、北京創(chuàng)業(yè)科創(chuàng)科技中心、中電凱杰科技有限公司、北京貓眼視覺科技有限公司、北京耐德佳顯示技術(shù)有限公司、浙江水晶光電科技股份有限公司本報告主要參編人有（排名不分先后）：潘榕、耿一丹、孫齊鋒、董桂官、李婧欣、趙曉鶯、曾潔琪、衛(wèi)文港、朱博成、李亞健、姜翰青、賈昊、鄭瑩鑫、陳曦、于洋、王平平、楊春、陳曦、翟云、孫其民、倪名立、于文江、宋維濤、銀德、孫建京、姜軍毅、周剛毅，黃信煥、韋勝鈺、張黎敏、畢蕾、張小磊、黃斌、張夢妮、胡開拓、郭詩輝、石祥仁、嚴小天、劉寧、方順、崔銘、康峰、來航曼、董丙銀、王亞忠、蔣金蒙、王炎、湯慶、付蘆靜、華晨、段家喜、王陽、陳近近、馮東洋本報告公開發(fā)布。轉(zhuǎn)載、摘編或利用其它方式使用本研究報告文字或觀點的，請注明：“來源：《擴展現(xiàn)實（XR）產(chǎn)業(yè)和標準化研究報告（2024版）》”。本報告將結(jié)合XR產(chǎn)業(yè)發(fā)展和國內(nèi)國際標準化進展，依托XR標準工作組，持續(xù)更新。感謝關(guān)注！擴展現(xiàn)實（XR）標準工作組02擴展現(xiàn)實（ExtendedReality，簡稱XR）是從現(xiàn)實到虛擬的連續(xù)概念統(tǒng)稱。XR以沉浸式圖像處理和顯示等核心技術(shù)為基礎(chǔ)，在現(xiàn)實物理世界基礎(chǔ)上，為用戶開拓和提供一個數(shù)字化的虛擬世界，是支撐元宇宙概念愿景的三大核心技術(shù)之一（其余兩項包括先進無線通信和區(qū)塊鏈），為元宇宙提供了交互入口，以及虛擬人、物和場景構(gòu)建。XR包括虛擬現(xiàn)實（VirtualReality，簡稱VR）、增強現(xiàn)實(AugmentedReality，簡稱AR)、混合現(xiàn)實（MixedReality，簡稱MR）等多種類型。其中，VR是通過計算機圖形圖像等技術(shù)創(chuàng)建的，可供用戶完全沉浸體驗虛擬世界的計算機仿真系統(tǒng)；AR是將現(xiàn)實世界中的實體通過模擬仿真處理將虛擬信息疊加在真實世界中加以應(yīng)用；MR是VR和AR的進一步發(fā)展，通過在現(xiàn)實場景呈現(xiàn)虛擬場景信息，在現(xiàn)實、虛擬世界與用戶之間搭起一個交互反饋的信息回路，增強用戶體驗真實感。此外，腦機接口可為用戶提供一種可能的更具真實體驗感的全新方式，是XR領(lǐng)域的探索性方向。作為新一代信息技術(shù)的重要前沿方向，XR是下一代通用性技術(shù)平臺和元宇宙的關(guān)鍵入口，是數(shù)字經(jīng)濟的重大前瞻領(lǐng)域。XR集成了近眼顯示、渲染計算、三維重建、傳感測量、人工智能、腦機接口等多種前沿技術(shù)，產(chǎn)業(yè)鏈條長、技03術(shù)迭代快、融合創(chuàng)新多。加快研發(fā)XR專用芯片、新型顯示、操作系統(tǒng)、3D引擎、人機交互等底層基礎(chǔ)技術(shù)，提升XR終端產(chǎn)品供給質(zhì)量，提高產(chǎn)品的舒適度、沉浸感、交互性與安全性，加大對XR內(nèi)容生產(chǎn)工具開發(fā)的投入力度，加強針對行業(yè)共性需求解決普遍問題的標準化研究工作，有助于促進XR產(chǎn)業(yè)高質(zhì)量發(fā)展。1.良好政策環(huán)境帶來發(fā)展機遇世界各國政府加快布局，XR產(chǎn)業(yè)不斷創(chuàng)新和發(fā)展。歐盟于2014年推出“地平線2020”計劃，其中多個項目與XR技術(shù)高度相關(guān)；英國國防部在2017年提出《科學與技術(shù)戰(zhàn)略》，明確將加快XR等技術(shù)利用；日本內(nèi)閣會議發(fā)布《科學技術(shù)創(chuàng)新和戰(zhàn)略2017》，強調(diào)將進行XR技術(shù)的研發(fā)；美國白宮在2022年發(fā)布《先進制造國家戰(zhàn)略》，指出將XR等技術(shù)推廣至更廣泛的學生和教師群體。在國內(nèi)，國家和地方省市政府高度重視XR產(chǎn)業(yè)，相關(guān)政策陸續(xù)出臺。2016年3月，“十三五”規(guī)劃明確指出要將虛擬現(xiàn)實產(chǎn)業(yè)作為我國經(jīng)濟發(fā)展的重要增長點；2018年，國家出臺《關(guān)于加快推進虛擬現(xiàn)實產(chǎn)業(yè)發(fā)展的指導意見》，指明了XR產(chǎn)業(yè)的發(fā)展方向；2021年，在“十四五”規(guī)劃綱要將虛擬現(xiàn)實和增強現(xiàn)實產(chǎn)業(yè)列為未來五年數(shù)字經(jīng)濟重點產(chǎn)業(yè)；2022年，工信部等五部門聯(lián)合印發(fā)《虛擬現(xiàn)實與行業(yè)應(yīng)用融04合發(fā)展行動計劃(2022-2026年)》，分別從推進關(guān)鍵技術(shù)融合創(chuàng)新、提升全產(chǎn)業(yè)鏈條供給能力、加速多行業(yè)多場景應(yīng)用落地、加強產(chǎn)業(yè)公共服務(wù)平臺建設(shè)、構(gòu)建融合應(yīng)用標準體系等方面提出了5大重點任務(wù)，并在產(chǎn)業(yè)規(guī)模、出貨量以及應(yīng)用場景方面均給出了具體指引。2023年，工信部等五部門聯(lián)合提出要強化人工智能、區(qū)塊鏈、云計算、虛擬現(xiàn)實等新一代信息技術(shù)在元宇宙中的集成突破。此外，山東、上海、北京、重慶等也陸續(xù)出臺了多項政策，旨在推動XR技術(shù)的創(chuàng)新和應(yīng)用，促進XR產(chǎn)業(yè)發(fā)展，打造全新的數(shù)字經(jīng)濟生態(tài)體系。在國家政策的有力支持下，我國XR產(chǎn)業(yè)正蓬勃發(fā)展，生態(tài)體系不斷完善，呈現(xiàn)良好發(fā)展態(tài)勢。XR核心技術(shù)不斷突破，與5G、人工智能等技術(shù)體系加速融合，帶動一體機、頭戴式、移動端各類產(chǎn)品百花齊放。XR融合應(yīng)用不斷深化，賦能產(chǎn)品研發(fā)、裝配、維修等各個環(huán)節(jié)，廣泛應(yīng)用到智慧景區(qū)、文物修復(fù)、虛擬直播、展覽展示等場景，深度融入杭州亞運會、數(shù)字火炬人、VR觀賽等給觀眾帶來震撼新奇的賽事體驗，XR新場景、新模式、新業(yè)態(tài)層出不窮。目前XR產(chǎn)業(yè)鏈企業(yè)主要集中在北京、廣東、上海等地區(qū)，其中廣東為國內(nèi)申請XR專利數(shù)量最多的省份，江西和青島聯(lián)合組建首個國家虛擬現(xiàn)實創(chuàng)新中心。與此同時，中西部地區(qū)加大對XR產(chǎn)業(yè)引導力度，2023世界VR產(chǎn)業(yè)大會、05第13屆西部VR/AR技術(shù)展，相繼在南昌、成都和重慶成功舉辦，通過產(chǎn)業(yè)大會及技術(shù)博覽會，聚合XR資源，聚焦產(chǎn)業(yè)數(shù)字化和數(shù)字產(chǎn)業(yè)化方向，深入挖掘應(yīng)用場景，統(tǒng)籌推進網(wǎng)絡(luò)、算力、應(yīng)用等基礎(chǔ)設(shè)施建設(shè)，積極推進數(shù)字經(jīng)濟和實體經(jīng)濟融合，實現(xiàn)XR產(chǎn)業(yè)高質(zhì)量發(fā)展。2.軟硬件+內(nèi)容構(gòu)建XR產(chǎn)業(yè)生態(tài)XR產(chǎn)業(yè)包括硬件、軟件、內(nèi)容制作與分發(fā)、應(yīng)用和服務(wù)等產(chǎn)業(yè)鏈條。硬件、軟件和內(nèi)容三者相輔相成為XR產(chǎn)業(yè)生態(tài)發(fā)展注入活力。硬件性能迭代優(yōu)化，持續(xù)向輕薄超清化目標邁進。硬件按照功能劃分可分為核心器件、終端設(shè)備和配套外設(shè)三部分。核心器件包括芯片、顯示器件、傳感器、通信模組等；終端設(shè)備包括具備手勢識別、追蹤定位和體感交互的各類整機設(shè)備；配套外設(shè)包括手柄、攝像頭體感設(shè)備等視/觸/力覺反饋裝置等。硬件產(chǎn)品的迭代更新主要體現(xiàn)在以下核心部件上：芯片方面，蘋果推出的VisionPro采用M2+R1芯片組合，算力水平相當于一臺普通個人電腦。國內(nèi)的PICO4Pro搭載7納米制程的高通驍龍XR2芯片，能進行高效場景理解和三維重建。顯示器件方面，京東方公司為VR/AR/MR智慧終端提供的顯示解決方案包括高刷新率的Fast-LCD和超高分辨率、06超高對比度的硅基OLED等具有代表性的顯示技術(shù)。光學器件方面，具有高透過率、大視場角等特點的Pancake透鏡成為輕薄式XR設(shè)備的熱門解決方案，國內(nèi)的華為、創(chuàng)維及國外的Meta、蘋果、谷歌等公司都在積極布局Pancake光學方案研發(fā)。感知交互器件方面，微軟AR眼鏡兼具語音識別和手勢控制等多種交互方式，為用戶提供更為便捷和智能化的體驗。小米AR眼鏡采用了高清攝像頭和深度傳感器，融合語音識別和智能推薦等功能，實現(xiàn)更為精準的手勢控制以及虛擬場景的逼真呈現(xiàn)。開發(fā)軟件及平臺不斷涌現(xiàn)，國內(nèi)外創(chuàng)新熱情高漲。開發(fā)軟件方面，市場上核心3D開發(fā)引擎為Unity的U3D和EpicGames的UnrealEngine等。蘋果、谷歌等推出了面向AR開發(fā)者的便捷化軟件開發(fā)工具ARKit、ARCore。商湯、華為、亮亮視野、亮風臺、容悅信息等國內(nèi)頭部XR企業(yè)也推出了XR內(nèi)容開發(fā)引擎、系統(tǒng)和內(nèi)容制作系列軟件，部分產(chǎn)品已有大量開發(fā)者入駐。開發(fā)平臺方面，F(xiàn)acebook發(fā)布了最新XR協(xié)作平臺HorizonWorkrooms，該軟件集成了AR透視、桌面識別、手勢追蹤、鍵盤識別、多任務(wù)模式和虛擬化身等功能，創(chuàng)造了虛擬辦公環(huán)境。Pico為創(chuàng)作者提供了一站式的發(fā)布、管理和服務(wù)平臺，涵蓋了XR內(nèi)容創(chuàng)作、應(yīng)用檢測獲取、創(chuàng)作者激勵等全方位服務(wù)。國內(nèi)移動運營商也發(fā)布了結(jié)合5G的VR開發(fā)平臺，通過云上圖像渲染和內(nèi)容制作，結(jié)07合邊緣計算和AI技術(shù)，促進終端輕量化和移動化。內(nèi)容涵蓋視頻直播、游戲、社交等多個領(lǐng)域，在短期內(nèi)，游戲仍然是XR平臺上的主流。2023年6月，蘋果攜手迪士尼開發(fā)頭顯內(nèi)容，為用戶帶來了身臨其境的體驗，讓用戶能夠隨時隨地暢游于魔幻樂園之中。Pico應(yīng)用商店匯聚了超過400款引人入勝的XR應(yīng)用，其中包括350款游戲內(nèi)容，此外，該平臺還提供了高質(zhì)量的串流功能，使用戶能夠輕松訪問原本只為個人電腦設(shè)計的優(yōu)質(zhì)XR內(nèi)容。Steam平臺作為當前擁有最多XR內(nèi)容應(yīng)用的平臺之一，已經(jīng)推出了超過7344款支持XR的內(nèi)容應(yīng)用，XR活躍用戶更是突破了250萬人。為了進一步推動創(chuàng)新和內(nèi)容的多樣性，F(xiàn)acebook推出了AppLab渠道，允許開發(fā)者提供實驗性、小眾和早期的內(nèi)容，規(guī)避了OculusStore的限制。例如，《GorillaTag》這款內(nèi)容在AppLab渠道中獲得了相當數(shù)量的評價，接近甚至超越了OculusStore上備受矚目的《BeatSaber》。愛奇藝的內(nèi)容資源庫獨家定制了iOUT內(nèi)容制式，其內(nèi)容在分辨率以及碼率等方面都超越了行業(yè)平均水平。與Pico相比，愛奇藝提供了更加豐富多彩的內(nèi)容，為用戶呈現(xiàn)出更為引人入勝的XR體驗。硬件、軟件與內(nèi)容協(xié)同發(fā)展的飛輪效應(yīng)已初步形成。硬件需滿足軟件不斷增長的算力、網(wǎng)絡(luò)等需求，為日漸豐富的08內(nèi)容應(yīng)用提供堅實高品質(zhì)顯示等保障，賦予內(nèi)容更加生動、真實的呈現(xiàn)形式。軟件對硬件發(fā)展提出高標準高要求，是硬件發(fā)揮作用的途徑，軟件和內(nèi)容開發(fā)者協(xié)同打造適配硬件平臺的應(yīng)用和內(nèi)容。作為最終呈現(xiàn)給用戶的部分，豐富多樣的內(nèi)容會激發(fā)用戶購買軟硬件產(chǎn)品的愿望，推動軟硬件銷售的增長，促進XR消費市場的逐步擴大。三者協(xié)同發(fā)展為整個XR產(chǎn)業(yè)生態(tài)構(gòu)建提供了源源不斷的推動力，也使得國內(nèi)XR市場的前景更加值得期待。3.產(chǎn)業(yè)體系3.1XR產(chǎn)業(yè)鏈初步形成XR產(chǎn)業(yè)生態(tài)體系按產(chǎn)業(yè)鏈環(huán)節(jié)劃分，包括基礎(chǔ)通用、內(nèi)容生產(chǎn)、內(nèi)容分發(fā)、內(nèi)容呈現(xiàn)與交互、行業(yè)應(yīng)用?；A(chǔ)通用環(huán)節(jié)主要涉及XR技術(shù)的研發(fā)和標準化工作，包括硬件和軟件的基礎(chǔ)技術(shù)研發(fā)，以及制定相關(guān)的技術(shù)標準和規(guī)范；內(nèi)容生產(chǎn)環(huán)節(jié)涵蓋了從場景設(shè)計、角色建模到交互設(shè)計等一系列內(nèi)容制作過程；內(nèi)容分發(fā)環(huán)節(jié)主要負責將制作好的XR內(nèi)容進行發(fā)布和推廣，通過各種渠道和平臺將內(nèi)容傳遞給用戶；內(nèi)容呈現(xiàn)與交互環(huán)節(jié)主要負責將XR內(nèi)容以高質(zhì)量的方式呈現(xiàn)給用戶，并提供良好的交互體驗，包括頭戴式顯示設(shè)備的設(shè)計和優(yōu)化，以及交互方式的設(shè)計和實現(xiàn)；行業(yè)應(yīng)用環(huán)節(jié)主09要將XR技術(shù)應(yīng)用到具體的行業(yè)中，為各行業(yè)提供創(chuàng)新的解決方案，包括工業(yè)、游戲、教育、醫(yī)療、旅游等。目前，我國XR產(chǎn)業(yè)初步形成全產(chǎn)業(yè)鏈生態(tài)體系，核心技術(shù)加速迭代，近眼顯示、影像捕捉、人機交互等關(guān)鍵技術(shù)不斷進步，XR與5G、人工智能、超高清視頻等技術(shù)加快融合創(chuàng)新，頭戴式、一體機、移動端等各種形態(tài)的XR設(shè)備紛紛涌現(xiàn)。3.2XR產(chǎn)業(yè)市場初具規(guī)模5G商用加速到來，開啟了XR產(chǎn)業(yè)發(fā)展的新一輪熱潮，推動XR的應(yīng)用范圍從直播、游戲等消費娛樂領(lǐng)域，加速向工業(yè)、醫(yī)療、教育等垂直領(lǐng)域滲透，實現(xiàn)規(guī)?；l(fā)展。從硬件生產(chǎn)來看，中國是早期出現(xiàn)和流行XR的國家之一，積累了豐富的硬件生產(chǎn)經(jīng)驗，但XR頭顯產(chǎn)品銷售仍呈現(xiàn)波動狀態(tài)。據(jù)IDC統(tǒng)計，2023年，中國AR/VR頭顯出貨72.5萬臺，同比2022年下滑39.8%，其中AR出貨26.2萬2023全年，AR出貨占整體中國市場AR/VR出貨的36.1%，創(chuàng)歷史新高。從XR的應(yīng)用場景看，除游戲、娛樂等大眾熟知的應(yīng)用場景外，XR已涉足醫(yī)療保健、教育、機械工程等新領(lǐng)域，行業(yè)滲透率不斷提升。其中AR游戲的表現(xiàn)尤為引人注目，010根據(jù)MarketsandMarkets的預(yù)測，2025年AR在電子游戲應(yīng)用領(lǐng)域所占份額將達到AR領(lǐng)域的28.1％。2021年，元宇宙概念席卷全球，元宇宙本質(zhì)上是對現(xiàn)實世界的虛擬化、數(shù)字化過程，需要對內(nèi)容生產(chǎn)、經(jīng)濟系統(tǒng)、用戶體驗以及實體世界內(nèi)容等進行大量改造，其中XR在現(xiàn)實物理世界基礎(chǔ)上為用戶開拓了一個數(shù)字化的虛擬世界空間，是元宇宙的核心。元宇宙的興起導致XR行業(yè)投資數(shù)量明顯增加。2022年中國XR行業(yè)投資數(shù)量154起，較2021年增加了55起；投資金額336.91億元，較2021年增加了227.71億元。截止到2023年6月中國XR行業(yè)投資數(shù)量65起，投資金額64.56億元。3.3XR生態(tài)體系尚未完善國內(nèi)XR產(chǎn)業(yè)鏈已較為完整，但整體來看自主產(chǎn)業(yè)生態(tài)體系尚未完善。XR重點領(lǐng)域龍頭企業(yè)少，具有領(lǐng)先自主技術(shù)、國際市場競爭力產(chǎn)品的企業(yè)少，圍繞領(lǐng)軍企業(yè)的產(chǎn)業(yè)生態(tài)體系尚未形成。核心元器件和軟件較為薄弱，對國外芯片、傳感器的依賴程度較高，國產(chǎn)系統(tǒng)軟件、開發(fā)工具產(chǎn)品有一定突破，但難以取代國外軟件的市場地位。XR高端研發(fā)人才缺乏，相關(guān)政策法規(guī)和標準測試認證體系亟待完善。XR應(yīng)用的推廣度和深度有待加強，消費者對XR的認知認可程度不高。XR硬件市場規(guī)模偏小，XR內(nèi)容缺乏變現(xiàn)渠道影響011了開發(fā)者的積極性，內(nèi)容和終端互相促進的正向循環(huán)產(chǎn)業(yè)生態(tài)尚未形成。0121.關(guān)鍵器件1.1核心計算芯片早期XR產(chǎn)品多采用消費級移動芯片。隨著對XR設(shè)備高度沉浸、高算力、多種交互等需求的顯現(xiàn)，核心計算芯片由移動處理芯片向?qū)Ｓ眯酒l(fā)展。1.1.1主要技術(shù)特點核心計算芯片的技術(shù)特點主要包括：（1）高性能計算：XR設(shè)備芯片具有更強的空間計算能VPU、NPU等多個功能模塊，以支持復(fù)雜的圖形渲染、空間計算和人工智能等任務(wù)。（2）多線程處理：為了提高處理效率，芯片中的CPU處理器通常采用多核心設(shè)計。多核心處理器能夠同時處理多個任務(wù)，提高XR產(chǎn)品的運行效率。（3）實時圖形渲染：XR產(chǎn)品需要實時渲染圖形，以保證用戶視覺體驗的流暢性。因此，芯片中的GPU模塊具備實時渲染能力，能夠在短時間內(nèi)完成大量的圖形渲染任務(wù)，并不斷向更精細的圖形渲染、更高效的通用計算和更智能的013AI運算方向發(fā)展。（4）多傳感器信息融合：核心計算芯片能夠處理來自多個傳感器的數(shù)據(jù)，并實現(xiàn)有效的信息融合，以提供準確的空間定位和環(huán)境感知。（5）低功耗：XR產(chǎn)品通常需要長時間運行，因此核心計算芯片需要具備低功耗特性，以減少能源消耗和熱量產(chǎn)生，提高XR產(chǎn)品的續(xù)航能力和穩(wěn)定性。1.1.2主要功能模塊核心計算芯片主要功能模塊包括：CPU、GPU、ISP、負責處理大量的數(shù)據(jù)運算和邏輯處理，以實現(xiàn)流暢的虛擬現(xiàn)實體驗。未來更高級別CPU架構(gòu)可提供更加強大的AI能力和DSP能力，為XR應(yīng)用算法實現(xiàn)提供良好支撐并為運算實時負載均衡提供可能。另外，為了XR內(nèi)容生態(tài)開發(fā)提供便利，CPU需提供強大的生態(tài)和軟件支持。負責圖形渲染和處理，直接影響用戶的視覺體驗。GPU不僅可以用于圖形圖像渲染，還可用于運行分析、深度學習和機器學習算法。未來，GPU向著更多更精細的圖形渲染能力、更多更高效的通用計算能力，更智能的AI運算能力方向邁進，以提供更強的圖形處理和視頻渲染能力，并提供光線追014蹤等算法能力。大規(guī)模擴展計算能力的高性能計算、人工智能計算、更加逼真的圖形展現(xiàn)方向?qū)⒊蔀镚PU未來發(fā)展的三個趨勢。（3）ISP：圖像信號處理(ImageSignalProcess，ISP）負責接收感光元件（Sensor）的原始信號數(shù)據(jù)，主要對前端圖像傳感器輸出的圖像信息做后期處理和計算，主要功能有色彩插值、自動白平衡、顏色較正、色彩空間轉(zhuǎn)換、自動曝光控制等。未來ISP隨著高像素采樣和多攝的不斷發(fā)展，將會提出更高的性能收益。是用于壓縮和解壓縮數(shù)字視頻的專用電路。支持編解碼多種視頻格式和靈活穩(wěn)定的碼率控制。未來VPU將需要支持更（5）WCN：無線通信網(wǎng)絡(luò)（WirelessCommunicationNetwork，WCN）主要負責無線通信功能，支持高速數(shù)據(jù)傳輸，可提供廣泛的無線連接能力，能滿足XR業(yè)務(wù)高頻多連接并發(fā)，聚焦云網(wǎng)邊端的協(xié)同渲染，也可輔助其他短距通信能力。（6）DSP：數(shù)據(jù)信號處理（DataSignalProcess，DSP）負責對信號（例如音頻信號）進行數(shù)字化處理，可以用于處理圖像、視頻和音頻信號，以提高質(zhì)量、性能和效率。未來XR中DSP向更低功耗、更強計算能力方向演進。015負責圖像的采集、處理和增強，管理顯示輸出，控制多個顯示器的內(nèi)容，實現(xiàn)多屏幕顯示和高分辨率輸出。未來要支持的支持。帶寬的高要求也對視頻壓縮能力有需求，減少內(nèi)存帶寬占用，特別是與GPU的交互帶寬。（8）NPU：神經(jīng)網(wǎng)絡(luò)處理單元（NeuralProcessorUnit，NPU）用于加速神經(jīng)網(wǎng)絡(luò)和深度學習算法，通過將神經(jīng)網(wǎng)絡(luò)的層次結(jié)構(gòu)映射到硬件架構(gòu)上，實現(xiàn)高效的計算。隨著人工智能應(yīng)用的不斷擴展，NPU將更加注重針對特定應(yīng)用場景的定制化設(shè)計，以提高計算效率和節(jié)能性能，適應(yīng)不斷增長的AI計算需求。1.1.3主流核心計算芯片目前主流的XR核心計算芯片主要有：（1）高通SnapdragonXR2+Gen2平臺，支持每只眼睛4.3K顯示分辨率和12個或更多并發(fā)攝像頭，具備4K分辨率空間計算。（2）高通SnapdragonXR2Gen2平臺，搭載設(shè)備端人工智能和低延遲視頻透視功能，為XR體驗提供更高水平的沉浸感。（3）高通SnapdragonAR1Gen1平臺，專為智能眼鏡設(shè)計，具有雙ISP，可實現(xiàn)優(yōu)質(zhì)照片和視頻捕獲，并支持雙016目顯示器以實現(xiàn)免提通知和指示。（4）高通SnapdragonAR2Gen1平臺，專為輕便、無線、舒適的AR眼鏡設(shè)計，優(yōu)化尺寸、功耗、性能，可支持Wi-Fi7，支持定位追蹤、環(huán)境感知、平面檢測等功能，采用4nm工藝制程，具有眼鏡端分布式處理能力，其AR協(xié)處理器幫助攝像頭聚合AI和計算機視覺，使得AR眼鏡更輕薄。RK3588具備強大的視覺處理能力，可支持結(jié)構(gòu)光、TOF等多種快速人臉解鎖方案；支持豐富的顯示接口，高達8K顯TypeC/USB3.1等高速接口，可做AI算力、圖像數(shù)據(jù)處理等擴展。雖然國產(chǎn)芯片不斷探索，但與國外先進芯片仍存在較大差距，相關(guān)技術(shù)仍是未來需要持續(xù)探索和不斷投入的方向。1.2傳感器1.2.1陀螺儀陀螺儀又叫角速度傳感器，是一種用于測量、控制物體在相對慣性空間中的角運動的慣檢測性器件，基于角動量守恒的理論設(shè)計。在XR設(shè)備中，陀螺儀主要用于追蹤頭部或手持設(shè)備的運動方向，從而準確地渲染視圖或精準定位追蹤手持設(shè)備在空間中的精確位置和運動軌跡。其特點有：017（1）精度提升：現(xiàn)代陀螺儀具有極高的測量精度，能夠捕捉到微小的設(shè)備動作，使得XR體驗更加真實。（2）集成化：隨著技術(shù)的發(fā)展，陀螺儀正變得越來越小，更容易集成到XR設(shè)備中。1.2.2加速度計加速度計用于測量設(shè)備的加速度，從而確定其速度和位置。在XR中，加速度計通常與其他傳感器結(jié)合使用，以提供更準確的運動追蹤。其特點有：（1）多軸測量：現(xiàn)代加速度計能夠測量多個軸上的加速度，為XR設(shè)備提供更為詳盡的運動數(shù)據(jù)。（2）噪聲減少：隨著技術(shù)的進步，加速度計的噪聲水平正在不斷降低，提高了數(shù)據(jù)的準確性。1.2.3磁力計磁力計用于測量地磁場強度和方向，主要用于確定設(shè)備的方向。其特點有：用戶能夠更為自然地在虛擬環(huán)境中移動。（2）校準和穩(wěn)定：磁力計還可用于校準其他傳感器并提供穩(wěn)定性，確保XR體驗的一致性和準確性。1.2.4光學傳感器光學傳感器利用光學原理進行測量，常被用于位置和方018向的精確檢測。其特點有：捕捉設(shè)備上的特定光點或標記，能夠精確地追蹤設(shè)備的位置和方向。（2）外部追蹤系統(tǒng)：一些高端XR設(shè)置還使用外部光學傳感器系統(tǒng)，如基站或攝像頭，以提供更大范圍的運動追蹤和更高的精確度。1.2.5眼動追蹤傳感器眼動追蹤傳感器主要涉及相機、光電傳感器、超聲換能器等。（1）相機：眼動追蹤領(lǐng)域一般采用紅外相機進行眼部如2mm*1.96mm*3.42mm）、采樣率一般（30~380Hz）、功耗較高（大于48mW）；事件相機采樣率較高（1000Hz）、功耗低、體積大。體積更小、功耗更低的紅外相機，以及體積小的事件相機，將是其發(fā)展趨勢。（2）光電傳感器：基于光電傳感器的眼動追蹤方案，具有采樣率高、功耗低、體積小的特點。其原理為：光電傳感器捕獲從發(fā)光器件（如發(fā)光二極管）發(fā)出再經(jīng)人眼反射后的光信號，并最終轉(zhuǎn)換成數(shù)字信號；控制器基于上述數(shù)字信號計算人眼視線方向，實現(xiàn)眼動追蹤。目前的光電傳感器一般體積較大，且未與發(fā)光器件制成一體。體積小、功耗低的019發(fā)光與感光一體器件將是光電傳感器的發(fā)展趨勢。（3）超聲換能器：基于超聲換能器的眼動追蹤方案，具有抗強光、采樣率高、功耗低的特點。其原理為：超聲換能器陣列發(fā)射超聲波，再接收經(jīng)人眼反射回的超聲波，依據(jù)發(fā)射與接收超聲波信號的時間間隔實現(xiàn)測距，最后基于測距信息實現(xiàn)眼動追蹤。目前，可用于眼動追蹤的量產(chǎn)超聲換能器陣列還比較少見。體積小、易集成的超聲換能器陣列將是未來發(fā)展趨勢。1.3顯示屏1.3.1概述隨著XR技術(shù)的飛速發(fā)展，3D顯示屏作為XR產(chǎn)品的核心組件，對于提升用戶體驗和沉浸感起著至關(guān)重要的作用。XR顯示屏涉及的主要性能指標有：（1）分辨率與刷新率：在XR產(chǎn)品中，3D顯示屏的分辨率和刷新率是影響用戶體驗的關(guān)鍵因素。高分辨率能夠提供更清晰、更細膩的圖像，而高刷新率則能夠減少圖像拖影，提高動態(tài)畫面的流暢性。目前，主流XR產(chǎn)品的3D顯示屏已經(jīng)實現(xiàn)了較高的分辨率和刷新率，如2K、4K甚至8K的超高清分辨率，以及90Hz、120Hz或更高的刷新率。（2）視角與視場角：視角和視場角是決定XR產(chǎn)品沉浸感的重要因素。視角指的是用戶觀看3D顯示屏時的可視范020圍，而視場角則是顯示屏能夠呈現(xiàn)的最大視角。更大的視角和視場角能夠提供更寬廣的視野，增強用戶的沉浸感。目前，高端XR產(chǎn)品的3D顯示屏已經(jīng)能夠?qū)崿F(xiàn)接近人眼的視角和視場角。（3）串擾值：3D顯示系統(tǒng)發(fā)出的左右眼圖像信號，本該進入左眼的圖像信號進入右眼，反之亦然。評估此種現(xiàn)象程度的參數(shù)值即為串擾值。串擾率的高低在畫面上的直觀反映就是播放兩幅圖像時，造成重影的深淺和影像的模糊。因此串擾值成為評價3D顯示性能優(yōu)劣的重要參數(shù)之一。目前，高端XR產(chǎn)品的3D顯示屏串擾值能控制到1.8%以下，能夠有更好的3D顯示觀看效果。業(yè)界在不斷探索新的XR顯示屏技術(shù)路線，目前主要涵蓋AMOLED、Fast-LCD、MicroLED等顯示屏產(chǎn)品。1.3.2AMOLED按照驅(qū)動方式的不同，OLED顯示主要分為PMOLED和AMOLED兩大類，AMOLED是當前OLED顯示發(fā)展的主要方向。AMOLED使用有源驅(qū)動方式，可以針對每個像素進行精準控制驅(qū)動，最大程度地減少控制線路的數(shù)量，使其具備低能耗、自發(fā)光、響應(yīng)速度快、色域覆蓋廣、輕薄等優(yōu)良光電特性。韓國在AMOLED顯示產(chǎn)業(yè)上布局較早，且超90%的工藝實現(xiàn)本土化，具有領(lǐng)先優(yōu)勢。我國雖經(jīng)過多年的產(chǎn)業(yè)生態(tài)021建設(shè)，在發(fā)光材料、封裝材料、噴墨打印設(shè)備等關(guān)鍵材料和設(shè)備領(lǐng)域?qū)崿F(xiàn)了國產(chǎn)化，但前段制程設(shè)備的國產(chǎn)化率偏低，曝光機、蒸鍍機、氣相沉積設(shè)備等市場的國產(chǎn)化率低于5%。中國AMOLED產(chǎn)業(yè)對韓國供應(yīng)鏈的依賴程度較高。隨著良率提升，產(chǎn)能釋放，以及手機品牌不斷導入，國產(chǎn)AMOLED出貨持續(xù)攀升。AMOLED工藝較復(fù)雜，對工藝的精細度和到電性指標的均一度有極高要求。此外，AMOLED性能需要進一步提升以滿足多重應(yīng)用需求。比如微小顯示的超高分辨率，中大尺寸的亮度、壽命等，但這些性能提升受限于FMM物理限制帶來的瓶頸。1.3.3Fast-LCDFast-LCD技術(shù)使用了全新鐵電液晶材料和超速驅(qū)動技術(shù)，基于液晶分子的電光效應(yīng)，通過在液晶層中施加電場以控制液晶分子取向，實現(xiàn)圖像顯示。Fast-LCD在保證高分辨率的同時突破了顯示時延的瓶頸，綜合顯示性能比肩OLED，且因為成熟工藝帶來的造價成本相對更低。目前，F(xiàn)ast-LCD憑借同時具備高清畫質(zhì)和高刷新率的優(yōu)點，以及成熟工藝帶來的高性價比，在XR設(shè)備領(lǐng)域穩(wěn)居應(yīng)用率首位。從2017年到2023年，不斷有搭載Fast-LCD的頭顯新品問世，如PICO4、海信視像XR-V3、HTCViveXRElite、OculusQuest2、PicoNeo3和PANCAKE1等機型。022由于背光層存在，容易出現(xiàn)顯示器漏光等問題。隨著消費者對近眼顯示需求不斷升級，MiniLED背光Fast-LCD成為重要技術(shù)方向。Fast-LCD與MiniLED相結(jié)合，不僅可以很好地解決漏光難題，也能夠進一步提升Fast-LCD在高對比度、高刷新率、高亮度等方面的性能，輔以HDR功能，將更好地發(fā)揮XR產(chǎn)品近眼超清細膩畫質(zhì)的要求。1.3.4MicroLEDMicroLED指在芯片上集成高密度微小尺寸的LED陣列，根據(jù)像素點間距（點距）大小，學術(shù)界和產(chǎn)業(yè)界分別將點距小于0.1mm和0.3mm的顯示屏稱為MicroLED顯示產(chǎn)品，企業(yè)將點距小于0.9mm的大尺寸顯示、點距小于0.2mm的微小尺寸顯示均宣傳為MicroLED產(chǎn)品。MicroLED產(chǎn)業(yè)呈現(xiàn)出創(chuàng)新研發(fā)熱度高漲、市場發(fā)展?jié)摿V闊等特征。為抓住MicroLED發(fā)展機遇，蘋果、谷歌、三星、京東方、TCL華星、友達、LGDisplay等國內(nèi)外科技巨頭紛紛涌入MicroLED賽道，并催生了一系列應(yīng)用。在小尺寸微顯示領(lǐng)域，雖然我國起步相對較晚，但憑借在LED和OLED等相關(guān)領(lǐng)域的技術(shù)積累和產(chǎn)業(yè)基礎(chǔ)，多家企業(yè)在MicroLED技術(shù)研發(fā)上取得了顯著進展，如鐳昱、Porotech、思坦科技、Kopin等紛紛發(fā)布MrcroLED微顯示屏，雷鳥創(chuàng)新也發(fā)布了新一代雙目全彩MicroLED光導波AR眼鏡。023MicroLED技術(shù)發(fā)展處于商業(yè)化早期，現(xiàn)階段仍有許多技術(shù)瓶頸亟待突破。如芯片制造環(huán)節(jié)，MicroLED芯片尺寸縮小導致周長面積比增大，刻蝕過程中產(chǎn)生的損傷以及芯片的表面復(fù)合區(qū)域所占的比例相應(yīng)增加，阱寬、摻雜、離子注入層等外延結(jié)構(gòu)均需要做較大的優(yōu)化，同時為配合后續(xù)轉(zhuǎn)移良率要求，芯片制備良率、均勻性、潔凈度也要在傳統(tǒng)工藝上進行較大改進；如巨量轉(zhuǎn)移有印章轉(zhuǎn)移、激光轉(zhuǎn)移等多種技術(shù)，但尚未形成主流，加上高頻高精度轉(zhuǎn)移運動控制、熱膨脹消除及溫度補償?shù)入y點尚未攻破，高準確性、高良率的巨量轉(zhuǎn)移設(shè)備嚴重缺乏。MicroLED具有芯片微縮化、高亮度、高PPI、高色域、高刷新率、低功耗、無限拼接等優(yōu)勢，并在輕量化、節(jié)能等方面優(yōu)于MiniLED，小尺寸微顯示應(yīng)用無疑是未來MicroLED產(chǎn)業(yè)重點發(fā)展的方向。蘋果公司公開的專利顯示，后續(xù)產(chǎn)品趨向于搭配柔性顯示和感測功能，镎創(chuàng)、首爾半導體、JBD、鐳昱、MICLEDI、Sundiode、思坦科技、賽富樂斯、Porotech等企業(yè)也陸續(xù)推出MicroLED微型顯示器，MicroLED顯示在小尺寸微顯示領(lǐng)域逐步興起。1.4光學器件1.4.1VR光學器件VR光學經(jīng)歷了非球面透鏡、菲涅爾透鏡和Pancake方024案三個階段。非球面透鏡是早期VR光學系統(tǒng)方案，但在顯示的圖像質(zhì)量和光學放大系統(tǒng)總長度之間具有不可調(diào)和的矛盾，導致設(shè)備笨重頭戴舒適度低；菲涅爾透鏡以其低廉的成本和可控的成像質(zhì)量成為當前大多數(shù)VR頭顯方案的選擇；基于折疊光路原理的Pancake方案，以其輕巧、出色的成像質(zhì)量和逐漸成熟的量產(chǎn)工藝，逐漸成為消費類VR光學產(chǎn)品的發(fā)展和演進方向。非球面透鏡非球面透鏡（AsphericLens）的特點是有一個隨著透鏡的中心而徑向變化的曲率半徑，能夠更精確地同時操縱多個波長的光，從而獲得更清晰的圖像，特別是邊緣圖像質(zhì)量。因此，可以使用更少的光學元件，如一個或兩個非球面透鏡來取代五個或六個球面透鏡，實現(xiàn)相同或更高的光學效果，降低整個系統(tǒng)的設(shè)計成本。非球面透鏡的生產(chǎn)制造工藝包括模壓成型、精密拋光成型，混合成型、注塑成型等，目前VR頭顯使用的非球面透鏡基本采用注塑成型工藝。歌爾股份、歐菲光、雙瑩光電、舜宇光學等均具有自主的設(shè)計和加工能力。早期VR盒子大部分使用非球面透鏡，例如三星GearVR、以及暴風盒子以及當前千幻魔鏡生產(chǎn)銷售的VR盒子等，目前僅有愛奇藝奇遇Dream、PSVR等少數(shù)的VR頭顯使用了非球面透鏡，其余大部分在售的VR頭顯則采用了菲涅爾透鏡或Pancake光025菲涅爾透鏡菲涅爾透鏡將連續(xù)的表面切割成一段常曲率的非常精細的不連續(xù)表面，去掉直線傳播部分，只保留折射面，節(jié)省了大量材料，同時達到相同的調(diào)焦效果。菲涅爾透鏡又分為傳統(tǒng)菲涅爾透鏡和復(fù)合菲涅爾透鏡，傳統(tǒng)菲涅爾透鏡由基面和菲涅爾面構(gòu)成，菲涅爾面由上百條環(huán)帶構(gòu)成同心圓形狀，基面則是光滑的表面；而復(fù)合菲涅爾透鏡在基面采用了微小的結(jié)構(gòu)，使光線更容易聚焦。菲涅爾透鏡的制造涉及光學設(shè)計模擬、超精密制造技術(shù)、聚合物材料和精密成型技術(shù)，包括超精密數(shù)控機床技術(shù)、電鑄模具工藝和注塑成型工藝等，其生產(chǎn)工藝類似于非球面透鏡，但對精度和材料要求更高。目前，VR光學中使用的菲涅爾透鏡大多采用注塑成型工藝生產(chǎn)，可以實現(xiàn)大規(guī)模量產(chǎn)，降低成本。市場上主流的VR代工廠商以及光學廠商，包括歌爾股份、舜宇光學、歐菲光、趣立科技、玉晶光電以及雙瑩光電等均能提供菲涅爾透鏡方案。市場銷量靠前的VR頭顯，例如Metaquest2、PICOneo3、NOLOsonic等均采用了菲涅爾透鏡的方案。然而菲涅爾透鏡同樣存在重量較重、成像清晰度低等問題。Pancake方案Pancake光學方案又名折疊光路方案，壓縮了VR光學026總長，使得VR眼鏡厚度大幅降低，是當前VR頭顯輕量化的最佳選擇。目前Pancake方案工藝成熟，成本可控，可以實現(xiàn)大規(guī)模的量產(chǎn)。Pancake光學的核心思路是壓縮屏幕與透鏡之間的距離，通過多片光學鏡片讓光路多次折返，擴大光路總長，使其可以達到合焦的同時擴大視場角，從而縮小整個光學模組總長。目前非球面透鏡和菲涅爾透鏡的系統(tǒng)總長約為40-50mm，Pancake光學方案系統(tǒng)總長基本為18-25mm左右；Pancake光學方案中，通過透鏡組合，可以提高透鏡邊緣成像質(zhì)量，降低圖像畸變，提高成像的對比度、清晰度、細膩度。Pancake光學模組生產(chǎn)主要包括光學設(shè)計、透鏡加工、透鏡貼膜、組裝、檢驗和封裝等流程。生產(chǎn)技術(shù)難度主要集中在膜材料質(zhì)量、貼膜工藝和組裝調(diào)整三方面。相比傳統(tǒng)非球面透鏡和菲涅爾透鏡，Pancake模組功能優(yōu)勢在于光路折疊。光學膜在成像中起到了至關(guān)重要的作用，膜材料質(zhì)量和貼膜工藝是技術(shù)核心，反射偏振片和1/4相位延遲片準確性與穩(wěn)定性對于Pancake光學成像質(zhì)量構(gòu)成關(guān)鍵影響。目前高端光學膜材只有日本企業(yè)可以提供。1.4.2AR光學器件AR光學面向不同需求，衍生了兩個主要發(fā)展方向：一是顯示質(zhì)量優(yōu)先，比如Birdbath方案、自由曲面等；二是可穿戴輕薄優(yōu)先，比如光波導方案等。027Birdbath方案Birdbath結(jié)合了兩個主要的光學組件，一個球面鏡/組合器（半透半反）和一個分束器。Birdbath將來自O(shè)LED的光投射到分束器中，分束器與OLED光源平面保持45度角。分束器具有反射（Br）和透射（Bt）特性，允許將光部分反射為Br的百分比，分束器返回的光通過凹面鏡重定向到眼睛。當前C端市場的AR終端主要使用Birdbath光學方案，比如華為、OPPO、Xreal、Rokid等廠家先后發(fā)布了基于Birdbath光學的C端產(chǎn)品。自由曲面是一種有別于球面或者非球面的復(fù)雜非常規(guī)面形，即用來描述鏡頭表面面形的數(shù)學表達式相對比較復(fù)雜，往往不具有旋轉(zhuǎn)對稱性。顯示器發(fā)出的光線直接射至凹面鏡/合成器，并且反射回眼內(nèi)。顯示源的理想位置居中，并與鏡面平行。從技術(shù)上講，理想位置是令顯示源覆蓋用戶的眼睛，所以大多數(shù)設(shè)計都將顯示器移至“軸外”，設(shè)置在額頭上方。凹面鏡上的離軸顯示器存在畸變，需要在軟件/顯示器端進行修正。自由曲面作為近年來光學設(shè)計領(lǐng)域的研究熱點技術(shù)，為光學系統(tǒng)的設(shè)計提供了更大的自由度，同時也為系統(tǒng)設(shè)計帶來更加靈活的結(jié)構(gòu)形式，使光學性能顯著提高。當前市面上采用自由曲面方案的AR智能眼鏡無論在沉028浸感、成像質(zhì)量方面都比其它光學方案更具優(yōu)勢。然而，此方案也有著厚度和重量仍高于普通眼鏡的劣勢，雖然它的成像色彩飽和，但是也容易導致局部畸變。光波導方案更薄、更大視場角、全彩顯示等做光學探索，技術(shù)呈現(xiàn)百家爭鳴之態(tài)勢。首先，光波導兼顧顯示和可穿戴性的綜合考量，有輕薄、高透過率等先天優(yōu)勢，主要分幾何光波導和衍射光波導；衍射光波導又分為表面浮雕光柵波導和全息體光柵光（1）幾何光波導（又稱陣列光波導）：通過鏡面反射原理傳導光信號，在人眼前方通過半透半反射膜陣列將光線導出波導鏡片。幾何光波導原理簡單，已經(jīng)具備產(chǎn)業(yè)化落地的能力，但是制備工藝復(fù)雜、良率低、成本高等問題限制了市場推廣。這是由于幾何光波導核心光學元件半透半反射膜陣列的制備涉及玻璃的鍍膜、貼合、切割、拋光等多道工序，每層膜的光透過率必須滿足特定的數(shù)值，否則將影響波導的成像效果。代表光學公司是以色列的Lumus，但由于制造工藝繁冗，良率很低，市場上還未出現(xiàn)消費級的量產(chǎn)眼鏡產(chǎn)品，國內(nèi)一些光學廠家（靈犀微光、瓏璟光電等）正在探索二維擴瞳陣列光波導的產(chǎn)品方案。（2）表面浮雕光柵波導：通過光的衍射光學原理實現(xiàn)029光線在波導中導入和導出，其核心光學元件是表面浮雕光柵。表面浮雕光柵的制備能夠直接采用成熟的芯片制造工藝，涉及光刻、清洗、干燥、模壓轉(zhuǎn)印等多道工序。表面浮雕光柵波導方案相對成熟，已被很多產(chǎn)品商用，例如微軟的Hololens2和MagicLeap2。表面浮雕光柵波導雖然工藝成熟但也很復(fù)雜，且表面浮雕光柵存在多級衍射，不僅光柵的衍射效率不高，還導致AR顯示時的雜散光較為明顯。（3）全息體光柵光波導：以全息體光柵作為核心光學元件，滿足布拉格條件時，只有零級光和一級衍射光，衍射效率可高達100%，光能利用率顯著提高。同時，全息體光柵的制備僅需全息干涉曝光即可一步成型，工藝簡單，成本低廉。但是，全息體光柵光波導技術(shù)的不足之處在于全息材料較為缺乏。制備全息體光柵的主流材料是全息高分子材料，國外研究機構(gòu)和企業(yè)通常直接采用德國科思創(chuàng)的Bayfol系列全息材料，但這種材料對國內(nèi)禁運。此外，全息體光柵光日本Sony、韓國Samsung以及中國華為等國內(nèi)外著名企業(yè)均積極布局全息體光柵光波導技術(shù)，推動全息體光柵光波導技術(shù)發(fā)展和產(chǎn)業(yè)化應(yīng)用。1.5通信模塊1.5.1概述030XR系統(tǒng)由終端、內(nèi)容生成系統(tǒng)、應(yīng)用平臺和網(wǎng)絡(luò)傳輸系統(tǒng)組成，需要高速、低延遲、高帶寬的無線網(wǎng)絡(luò)傳輸技術(shù)來保證高交互性和實時性。目前XR終端設(shè)備大多配備Wi-Fi和藍牙模塊用于網(wǎng)絡(luò)如5G網(wǎng)絡(luò)的覆蓋范圍和建設(shè)進度、XR終端設(shè)備成本、電池續(xù)航能力和性能、XR應(yīng)用的內(nèi)容和體驗等方面，需要在技術(shù)、產(chǎn)業(yè)、政策等多方面進行協(xié)同創(chuàng)新和推進。5G網(wǎng)絡(luò)的高速、低延遲、高帶寬等特點，為XR技術(shù)的發(fā)展提供了有力的支撐，XR技術(shù)將在5G及未來6G網(wǎng)絡(luò)中得到更廣泛的應(yīng)用，如XR游戲、XR電影、XR教育、XR醫(yī)療等領(lǐng)域。1.5.2蜂窩通信5G/6G3GPP作為5G標準制定組織，從5G的第一個版本就啟動了XR相關(guān)的標準化工作。R15和R16引入了低時延和高可靠傳輸，以及終端節(jié)能特性；R17開展了XR業(yè)務(wù)特征以及XR應(yīng)用在系統(tǒng)容量、功耗等方面的研究，定義了觸覺及多模態(tài)的需求；R18對XR業(yè)務(wù)特征識別、終端節(jié)能和網(wǎng)絡(luò)容量增強技術(shù)進行了標準化，引入對視頻的調(diào)度增強、延遲控制等技術(shù)；2024年2月展開R19標準化工作，預(yù)計R19將對多業(yè)務(wù)協(xié)同等進行標準化，并實現(xiàn)對視頻調(diào)度的持續(xù)增強和加密流識別。未來，6G系統(tǒng)能夠原生支持沉浸式XR，031并引入觸覺、全息等新業(yè)務(wù)。更多沉浸式業(yè)務(wù)的出現(xiàn)，對數(shù)據(jù)率、時延、可靠性以及多業(yè)務(wù)協(xié)同傳輸?shù)确矫娑紟砀蟮奶魬?zhàn)，是未來的重點研究方向。1.5.3Wi-Fi技術(shù)（5.925GHz~7.125GHz）頻段，同時支持2.4GHz、5GHz和6GHz。在新頻段上可以有效避免老舊設(shè)備的干擾，從而提升相應(yīng)的網(wǎng)絡(luò)性能，其中6GHz頻段的Wi-Fi將提供可達相對于Wi-Fi6的20ms延時性能將顯著提高XR使用體驗，支持高吞吐量、低延遲的XR應(yīng)用場景。即便Wi-Fi7可以支持16個空間流，但由于頭顯上的天6，具有相同配置時最大吞吐量提高了2.4倍。如果使用兩個空間流且沒有多用戶檢測（MLDWi-Fi7和Wi-Fi6的吞吐量分別為4.6Gbps和1.92Gbps。一個雙天線的Wi-Fi6AP可服務(wù)7個4K頭戴設(shè)備或者1個8K頭戴設(shè)備，Wi-Fi7可服務(wù)17個4K頭戴設(shè)備或者4個8K頭戴設(shè)備。1.5.4藍牙技術(shù)藍牙技術(shù)可對XR設(shè)備的耳機和控制器提供可靠、低延遲及低功率的無線連接。XR設(shè)備可以通過藍牙與其他設(shè)備032進行交互，以及實現(xiàn)設(shè)備間數(shù)據(jù)傳輸、位置追蹤及定位、連接耳機/音響播放音頻等功能，增強XR的交互性及沉浸感。藍牙技術(shù)聯(lián)盟于2016年推出藍牙5.0，較之前的藍牙協(xié)議在物理層上引入了2倍速率增加、4倍范圍增加和8倍廣播數(shù)據(jù)容量增加的技術(shù)改進。并增加了低能耗廣播和連接模式，以及新的2Mbps的高速數(shù)據(jù)傳輸模式。藍牙5.1引入了方向性信號功能，可精確定位設(shè)備的方向。支持高精度定位服務(wù)，能實現(xiàn)厘米級別的定位精度，并提高了藍牙低功耗連接的速度、穩(wěn)定性和范圍。藍牙5.2傳輸速率42Mbps，理論傳輸距離300米，增加了增強型ATT協(xié)議，LE功耗控制和LE同步信道等功能。藍牙5.3解決了低速率傳輸問題，增加加密控制，并增強周期性廣播功能。2023年2月，藍牙技術(shù)聯(lián)盟發(fā)布最新的藍牙5.4，主要改進之一是與來自單個接入點的數(shù)千個終端節(jié)點進行雙向通信。1.6相關(guān)標準化情況國際電子顯示標準化技術(shù)委員會（IECTC110）主要負責電子顯示設(shè)備及相關(guān)組件領(lǐng)域的標準化工作。針對全球正在興起的虛擬顯示產(chǎn)業(yè)，IECTC110于2015年正式成立了“眼戴顯示（EyewearDisplay)”標準工作組（WG12)，開始研制眼戴顯示IEC63145系列標準（標準清單見表1）。該系列標準主要內(nèi)容包括對虛擬現(xiàn)實（VR）眼鏡和增強現(xiàn)實033（AR）眼鏡等眼戴式顯示設(shè)備的光學性能評測條件、測試設(shè)備和測量方法進行規(guī)定。國內(nèi)對口單位中國電子顯示器件標準化技術(shù)委員會（SACTC547）對部分標準進行了采標。該系列標準為終端整機測試提供了重要參考和依據(jù)?；ナ斤@示器光學測量方法、AR眼鏡顯示的光學元件、柔性顯示、OLED等方面的標準研制。034表1IEC63145系列標準清單序號標準狀態(tài)標準號標準名稱（英文）標準名稱（中文）主要內(nèi)容1IECTR63145-1-1:2018Eyeweardisplay-Part1-1:Genericintroduction眼戴顯示第1-1部分：通則IECTR63145-1-1:2018(E)是一份技術(shù)報告，提供了眼戴顯示標準化的一般信息。本文檔包括技術(shù)概述、關(guān)鍵性能特征、光學測量問題和其他信息。2IEC63145-1-2:2022Eyeweardisplay-Part1-2:Generic-Terminology眼戴顯示第1-2部分：通則-術(shù)語本文件提供了用于增強現(xiàn)實、虛擬現(xiàn)實、混合現(xiàn)實以及這些顯示器上的圖像或視頻渲染的眼戴顯示領(lǐng)域的術(shù)語。3IEC63145-10:2023Eyeweardisplay-Part10:Specifications眼戴顯示第10部分：規(guī)范IEC63145-10:2023建立了眼戴顯示的規(guī)范和要求。本文檔適用于使用虛擬圖像光學器件的虛擬現(xiàn)實(VR)類型(不透明)和增強現(xiàn)實(AR)類型(透明)眼戴顯示。醫(yī)學鏡片的規(guī)格和要求超出了本文檔的范圍。4IEC63145-20-10:2019（該標準目前在修訂中）Eyeweardisplay-Part20-10:Fundamentalmeasurementmethods-Opticalproperties眼戴顯示第20-10部分：基本測試方法光學特性IEC63145-20-10:2019(E)規(guī)定了確定眼戴顯示光學性能的標準測量條件和測量方法。本文檔適用于使用虛擬圖像光學器件的非透明類型(虛擬現(xiàn)實“VR”護目鏡)和透明類型(增強現(xiàn)實“AR”眼鏡)眼鏡顯示器。隱形眼鏡類型的顯示器和視網(wǎng)膜直接投影顯示器不在本文檔的范圍內(nèi)。序號標準狀態(tài)標準號標準名稱（英文）標準名稱（中文）主要內(nèi)容5IEC63145-20-20:2019Eyeweardisplay-Part20-20:Fundamentalmeasurementmethods-Imagequality眼戴顯示第20-20部分：基本測試方法圖像質(zhì)量IEC63145-20-20:2019(E)規(guī)定了確定眼戴顯示圖像質(zhì)量的標準測量條件和測量方法。本文檔適用于使用虛擬圖像光學器件的非透明類型(虛擬現(xiàn)實“VR”護目鏡)和透明類型(增強現(xiàn)實“AR”眼鏡)眼鏡顯示器。隱形眼鏡類型顯示器和視網(wǎng)膜直接投影顯示器不在本文檔的范圍內(nèi)。6IEC63145-21-20:2022Eyeweardisplay-Part21-20:SpecificmeasurementmethodsforVRimagequality-Screendooreffect眼戴顯示第21-20部分：VR圖像質(zhì)量特殊測試方法紗門效應(yīng)IEC63145-21-20:2222(E)規(guī)定了確定紗門效應(yīng)(SDE)的標準測量條件和測量方法，這是虛擬現(xiàn)實(VR)類型的眼鏡顯示器的圖像質(zhì)量方面之一。7IEC63145-22-10:2020Eyeweardisplay-Part22-10:SpecificmeasurementmethodsforARtype-Opticalproperties眼戴顯示第22-10部分：AR特殊測試方法光學特性IEC63145-22-20:2020(E)規(guī)定了用于確定增強現(xiàn)實 (AR)眼鏡顯示器的透明光學特性和成像質(zhì)量的標準測量條件和測量方法。這包括眼鏡顯示器的傳輸特性和環(huán)境光學性能。隱形眼鏡類型的顯示器不在本文檔的討論范圍之內(nèi)。8IEC63145-22-20:2024Eyeweardisplay-Part22-20:SpecificmeasurementmethodsforARtype-Imagequality眼戴顯示第22-10部分：AR特殊測試方法圖像質(zhì)量IEC63145-22-20:2024規(guī)定了確定增強現(xiàn)實(AR)型眼鏡顯示器圖像質(zhì)量的標準測量條件和測量方法。本文檔適用于使用虛擬圖像光學的透視式(AR眼鏡)眼鏡顯示器。透明顯示器(VR眼鏡)、隱形眼鏡顯示器和視序號標準狀態(tài)標準號標準名稱（英文）標準名稱（中文）主要內(nèi)容網(wǎng)膜直接投影顯示器不在本文檔的討論范圍之內(nèi)。9在研IEC63145-30ED1Eyeweardisplay-Part30:Durabilitytestmethods試驗方法—在研IECTR63145-40-20ED1Eyeweardisplay-Part40-20:3Dsensing眼戴顯示第40-20部分：三維傳感—在研IEC63145-201-10ED1Eyeweardisplay-Part201-10:MeasurementmethodsforVRtype-Opticalpropertiesofasingletlensusedforeyepieces測量方法目鏡用單線透鏡光學特性—在研IECTR63145-202-40ED1Eyeweardisplay-Part202-40:GeneralinformationofARtype-Frontalstraylights眼戴顯示第202-40部：AR型通則正面散射光—待立項PNW110-1650ED1Eyeweardisplay-Part50:Userinteraction互2.基礎(chǔ)軟件2.1開發(fā)引擎2.1.1概述開發(fā)引擎是一套完整的開發(fā)工具，用于創(chuàng)建和呈現(xiàn)2D/3D圖形和場景，為開發(fā)者提供了創(chuàng)建XR應(yīng)用程序所需的工具和功能。開發(fā)引擎作為一種支持性工具，定義了虛擬世界中的基礎(chǔ)規(guī)則和呈現(xiàn)方式，通過提供用于2D或3D圖形的渲染引擎、物理引擎或碰撞檢測、聲音、腳本、動畫、用戶界面開發(fā)、網(wǎng)絡(luò)功能、音頻支持等功能，幫助開發(fā)者創(chuàng)建和開發(fā)在虛擬環(huán)境下的游戲、模擬環(huán)境和其他互動應(yīng)用，并通過計算機屏幕或其他設(shè)備呈現(xiàn)給用戶。開發(fā)引擎起到的作用主要有：（1）圖形渲染：引擎提供高級的圖形渲染功能，能夠創(chuàng)建逼真的3D環(huán)境和角色。這對于XR體驗至關(guān)重要，因為它需要高度逼真的視覺表現(xiàn)來增強用戶的沉浸感。（2）物理和交互模擬：開發(fā)引擎包含物理引擎，可以模擬現(xiàn)實世界的物理規(guī)律，如重力、碰撞和材料特性；這些功能使得虛擬世界中的對象能夠以真實的方式互動和反應(yīng)。（3）音頻處理：引擎提供音頻處理工具，用于創(chuàng)建空間音效，這在XR中非常重要，因為它增強了空間感知和沉輸入/輸出集成：集成了對各種輸入設(shè)備（如XR頭盔、手柄、運動傳感器）的支持，使開發(fā)者能夠設(shè)計交互式體性能優(yōu)化：由于XR應(yīng)用需要高幀率和低延遲來保證舒適的用戶體驗，開發(fā)引擎提供了性能優(yōu)化工具，以確保應(yīng)用運行平穩(wěn)。多平臺支持：許多現(xiàn)代開發(fā)引擎能夠支持跨平臺開發(fā)，這意味著開發(fā)者可以為多種類型的XR設(shè)備創(chuàng)建應(yīng)用，無論是PC驅(qū)動的高端頭盔還是移動XR設(shè)備。內(nèi)容創(chuàng)建和數(shù)字資產(chǎn)管理工具：引擎提供了一系列的內(nèi)容創(chuàng)建和管理工具，使開發(fā)者可以輕松地設(shè)計、測試和修改虛擬環(huán)境和元素。隨著虛擬世界開發(fā)人員的不斷增多以及虛擬世界產(chǎn)業(yè)的不斷壯大，平臺化引擎成為主流。平臺化引擎的出現(xiàn)很大程度上降低了開發(fā)門檻，使更多中小創(chuàng)作者有能力來進行高逼真度或者是更加宏大的虛擬世界的創(chuàng)作，促進了UGC的發(fā)展，其中最為主流的開發(fā)引擎包括Unity、Unreal，國內(nèi)開發(fā)引擎則以CocosCreator、Lumverse3D引擎為代表。2.1.2主流開發(fā)引擎Unity由UnityTechnologies開發(fā)，是一個跨平臺開發(fā)引擎，適用于創(chuàng)建三維視頻游戲、建筑可視化、實時三維動畫等互動內(nèi)容。Unity編輯器及引擎可在在不同種類OS中運行，目前支持超過19個不同平臺，包括移動平臺、桌面平臺、網(wǎng)絡(luò)平臺、主機平臺、XR平臺等多種類型。對于XR而言，Unity是一個跨平臺工具，用于創(chuàng)建與多個平臺兼容的XR內(nèi)容，包括PC、主機、移動設(shè)備和Web端。具體功能方面，Unity目前可提供的功能包括用于VR空間音效（SpatialAudio）、粒子系統(tǒng)、AR基礎(chǔ)套件（ARFoundation）以及混合和增強現(xiàn)實工作室（MARS）等。其中，UnityMARS是可視化增強現(xiàn)實（AR）開發(fā)工具包。它的主要目標是讓開發(fā)人員可以更簡單地創(chuàng)建AR應(yīng)用程序和增強現(xiàn)實體驗。UnityMARS采用了場景書寫、節(jié)點布局和AR數(shù)據(jù)等抽象概念，大大簡化了AR的開發(fā)流程。UnrealEngineUnrealEngine（虛幻引擎）由知名游戲公司EpicGames開發(fā)，適用于諸多行業(yè)，如游戲、電影、建筑、汽車和交通、廣播以及VR/AR模擬等。UnrealEngine同樣可在多OS及多平臺下運行。2022年，UnrealEngine5.0（UE5）正式發(fā)布，針對OpenXR進行了大量修復(fù)與優(yōu)化改進，讓XR開發(fā)更具擴展性與高效性。它還針對VR模板進行了更新，包括對抓取系統(tǒng)（GrabSystem）的改進，支持組件抓取和放置，VRSpectator可以使用游戲手柄進行控制等。虛幻引擎5中最為重磅的兩項渲染技術(shù)Lumen及Nanite增加了對VR的初步支持。截至目前，通過虛幻引擎制作的知名VR游戲代表包《行尸走肉：圣徒與罪人第二章》《Moss:BookII》等。CocosCreatorCocosCreator是一款高效、輕量、免費開源的跨平臺2D&3D圖形引擎，同時也是一個實時2D&3D數(shù)字內(nèi)容創(chuàng)作平臺，擁有高性能、低功耗、流式加載、跨平臺等諸多優(yōu)點，開發(fā)者可以用它來創(chuàng)作游戲、車機、XR、元宇宙等領(lǐng)域的項目。2022年9月，Cocos宣布正式布局XR，官宣CocosCreatorXR。CocosCreatorXR是基于CocosCreator和CocosEngine打造的一款XR內(nèi)容創(chuàng)作工具。底層通過支持OpenXR標準協(xié)議來抹平不同XR設(shè)備之間的差異；中層封裝了一系列不同功能的XR中間件來提供XR內(nèi)容創(chuàng)作支持；上層基于CocosCreator面板擴展出多種形式的XR功能菜單和組件樣式。Lumverse3D年通過工信安全信創(chuàng)檢測認證，各項功能在包括龍芯、兆芯、統(tǒng)信操作系統(tǒng)在內(nèi)的多個純國產(chǎn)軟硬件平臺上完美兼容運行，且在軟件性能、可靠性、穩(wěn)定性等方面表現(xiàn)突出。可為3D產(chǎn)業(yè)的內(nèi)容創(chuàng)作提供便捷的創(chuàng)作工具、高效的技術(shù)實現(xiàn)以及不同行業(yè)的應(yīng)用解決方案。目前已完成了多平臺的適配工作，支持包含移動端、PC端，以及新興的XR設(shè)備。開發(fā)者可通過一套工具實現(xiàn)在不同操作系統(tǒng)和硬件平臺發(fā)布3D應(yīng)用。2.1.3技術(shù)特性對于XR應(yīng)用，現(xiàn)階段成熟開發(fā)引擎普遍需要滿足6DoF交互需求，在圖形渲染、物理模擬、交互設(shè)計等方面全方位模擬人類感覺帶來沉浸式交互體驗。主要特征包括：高性能的實時3D渲染VR體驗依賴于高質(zhì)量的3D圖像渲染，這要求開發(fā)引擎能夠提供高效率、高性能的實時渲染能力。VR環(huán)境對幀率（FPS）非常敏感，低幀率會導致不逼真的體驗甚至暈動癥，因此需要優(yōu)化以保持穩(wěn)定的高幀率。開發(fā)者可通過優(yōu)化渲染流程和引入異步時空變形（AsynchronousTimeWarp）技術(shù)來減少暈動癥的風險，該技術(shù)通過預(yù)測頭部運動并相應(yīng)地調(diào)整圖像，以減少延遲并保持流暢的幀率。沉浸式的立體聲和空間音頻處理沉浸式的立體聲和空間音頻處理技術(shù)使聲音能夠在三維空間中定位，從而增強用戶的沉浸感。當聲音能夠根據(jù)用戶在虛擬環(huán)境中的位置和方向改變時，不僅能提供更豐富的感官體驗，而且還可以增強用戶對虛擬世界的認知和交互。例如，Valve為其SteamVRSDK平臺開發(fā)的SteamAudio利用物理學原理來模擬聲音如何在復(fù)雜的環(huán)境中傳播和反射，提高了聲音的真實感和方向感，為用戶提供更自然和沉浸式的音頻體驗。更為真實的物理和環(huán)境互動模擬在XR中實現(xiàn)更為真實的物理和環(huán)境互動模擬是提高用戶沉浸感的關(guān)鍵。這涉及到精確的碰撞檢測、物體動力學模擬以及逼真的物理反饋，使得用戶在VR環(huán)境中的體驗盡可能地接近現(xiàn)實。例如Unity引擎的高效物理模擬確保了VR音樂游戲《BeatSaber》中光劍和方塊的碰撞感覺真實，并且響應(yīng)迅速。精確的碰撞檢測和及時的反饋使得玩家的每一次揮劍都感覺富有力量和真實，極大地增強了游戲體驗。低延遲的頭部追蹤和手勢識別開發(fā)引擎需要支持頭部追蹤技術(shù)，以確保圖像隨用戶頭部移動而適時調(diào)整，提供流暢的視覺體驗；手勢識別和運動追蹤對于創(chuàng)建交互式XR體驗也至關(guān)重要。高延遲會導致用戶體驗不適，開發(fā)引擎需要特別注意對延遲的優(yōu)化。例如OculusRiftS和Quest采用了“Inside-Out”追蹤技術(shù)，無需外部傳感器即可追蹤頭部和手部的位置。通過這種技術(shù)，Oculus設(shè)備能夠以極低的延遲實時追蹤用戶的頭部和手部運動，從而提供流暢和連貫的VR體驗。不同于單一界面的交互設(shè)計工具XR中的用戶界面（UI）和交互設(shè)計與基于傳統(tǒng)屏幕的應(yīng)用有很大不同，需要專門的工具和技術(shù)來設(shè)計和實現(xiàn)這些交互。例如TiltBrush（使用Unity引擎）是一款XR繪畫應(yīng)用，允許用戶在三維空間中繪制。用戶通過XR控制器作為畫筆，在空間中進行繪畫。UI元素如顏色選取、工具欄等被巧妙地整合到XR環(huán)境中。這種設(shè)計使用戶能夠以一種非常直觀和自然的方式進行創(chuàng)作，展示了XR中UI和交互設(shè)計的潛力。2.2操作系統(tǒng)操作系統(tǒng)（OperatingSystem，簡稱OS）是管理XR硬件與軟件資源的計算機程序。操作系統(tǒng)需要處理如管理與配置內(nèi)存、決定系統(tǒng)資源供需的優(yōu)先次序、控制輸入設(shè)備與輸出設(shè)備、操作網(wǎng)絡(luò)與管理文件系統(tǒng)等基本事務(wù)。操作系統(tǒng)也提供一個讓用戶與系統(tǒng)交互的操作界面。相比于計算機、手機等設(shè)備，XR設(shè)備作為一個獨立使用的復(fù)雜電子產(chǎn)品，對操作系統(tǒng)的要求更高，需要提升圖像處理能力，增加交互模塊，另外XR顯示的內(nèi)容是動態(tài)的，要實時渲染、要時延非常低，這些都需要對操作系統(tǒng)做深度定制。當前，主流XR設(shè)備的操作系統(tǒng)由安卓主導。當前市場中的XR一體機的操作系統(tǒng)大多基于安卓系統(tǒng)底層進行優(yōu)化和定制，分體式XR設(shè)備則依靠主機的操作系統(tǒng)。除了安卓之外，部分XR設(shè)備使用Windows操作系統(tǒng)。華為分體式VRGlass則是基于其自主研發(fā)的鴻蒙OS。2023年6月，蘋果發(fā)布了其第一款空間計算設(shè)備AppleVisionPro，其上運行的正是蘋果最新操作系統(tǒng)——VisionOS，蘋果稱其為“第一個為空間計算而設(shè)計的操作系統(tǒng)”。HorizonOS，允許其他公司基于其生態(tài)系統(tǒng)設(shè)計更多頭顯設(shè)備。HorizonOS是Meta公司圍繞其元宇宙愿景所開發(fā)的專用操作系統(tǒng)平臺，旨在支持元宇宙中的各種體驗和應(yīng)用程序。MetaHorizonOS的主要特點包括1）跨設(shè)備支持：可在Meta的XR頭戴設(shè)備以及其他相關(guān)硬件上運行2）Metaverse整合：與Meta的Horizon平臺深度集成，支持元宇宙中的沉浸式環(huán)境和社交應(yīng)用；（3）優(yōu)化性能：專為XR設(shè)備優(yōu)化，提供低延遲和高效的性能表現(xiàn)4）新的交互方式：支持手勢控制、眼球追蹤等新型人機交互技術(shù)；（5）開發(fā)者生態(tài)：提供工具和API，讓開發(fā)者可以構(gòu)建面向元宇宙的XR應(yīng)用程序。2.3開發(fā)平臺2.3.1VR開發(fā)平臺VR開發(fā)平臺集成了VR開發(fā)環(huán)境和資源，為VR類APP開發(fā)者和內(nèi)容創(chuàng)作者提供全面的開發(fā)工具，方便開發(fā)者獲取、共享資源并可在不同VR設(shè)備上進行適配測試。目前國內(nèi)外包括Valve、Oculus、Google、百度等都推出了發(fā)平臺。OculusVRSDKOculusVRSDK支持OculusRift和Quest頭戴式顯示器，并提供高性能和逼真的圖形。OculusVRSDK的主要功能包括1）頭部和眼球追蹤：使用攝像頭和傳感器來跟蹤用戶的頭部和眼球位置，使用戶能夠在虛擬世界中進行自然的導航和操作；（2）手部追蹤：支持手部追蹤，使用戶能夠使用手勢與虛擬世界進行交互3）空間音頻：使用空間音頻技術(shù)，讓用戶能夠在虛擬世界中聽到聲音來自不同的方向4）渲染：提供一套強大的渲染API，可幫助開發(fā)人員創(chuàng)建逼真的圖形效果。HTCViveSDKHTCViveSDK支持HTCVive頭戴式顯示器，其主要功能包括1）頭顯控制：提供API來控制頭顯的顯示、位置和方向，實現(xiàn)頭部跟蹤、視角轉(zhuǎn)換和場景旋轉(zhuǎn)等各種VR交互2）手柄控制：提供API來控制手柄的輸入和狀態(tài)，實現(xiàn)手勢識別、按鍵操作和觸控操作等各種VR操作3）傳感器數(shù)據(jù)：獲取頭顯和手柄的傳感器數(shù)據(jù)，例如位置、方向、速度和加速度，實現(xiàn)運動模擬、物理交互和環(huán)境感知等各種VR效果；（4）圖形渲染：提供圖形渲染API來渲染VR場景，支持DirectX11、DirectX12、OpenGL和Vulkan等多種圖形API。（5）音頻處理：提供音頻處理API來處輸入處理：HTCViveSDK提供了輸入處理API，開發(fā)者可以使用這些API來處理VR輸入。HTCViveSDK支持多種輸入設(shè)備，包括鍵盤、鼠標、手柄和觸控設(shè)備。SteamVRSDKSteamVRSDK是由Valve發(fā)布的基于OpenVR標準的虛擬現(xiàn)實平臺。OpenVR是一個開放的API，允許開發(fā)人員為任何兼容的VR頭顯構(gòu)建VR應(yīng)用程序。SteamVRSDK支持多種VR頭顯，包括HTCVive、ValveIndex、OculusRift和Quest，還支持許多VR游戲和應(yīng)用程序。其主要功能也包括頭顯控制、手柄控制、傳感器數(shù)據(jù)獲取、圖形渲染、音頻處理、輸入處理等。PlayStationVRSDKPlayStationVRSDK是索尼為開發(fā)PlayStationVR游戲和應(yīng)用程序而提供的軟件集合，包含一系列API、工具和資源，幫助開發(fā)者訪問PlayStationVR硬件和軟件的功能，從而開發(fā)出高質(zhì)量的VR體驗。其主要功能包括1）提供訪問PlayStationVR硬件和軟件功能的接口，包括圖形、聲音、輸入、追蹤等方面的API2）提供調(diào)試工具，幫助開發(fā)者發(fā)現(xiàn)和解決游戲中的錯誤，包括斷點、調(diào)試器、內(nèi)存分析器等3）提供資源工具，輔助創(chuàng)建和管理游戲中的圖形、聲音和其他資源，包括圖像編輯器、聲音編輯器等4）提供測試工具，確保游戲質(zhì)量，包括自動化測試和手動測試工具。DLT多維度精益孿生平臺DLT是鳴啟數(shù)字發(fā)布的VR開發(fā)創(chuàng)作平臺，提供項目交付和一套覆蓋全流程的工具鏈和資源庫，以“拖、拉、拽”操作實現(xiàn)從模型場景、數(shù)據(jù)結(jié)構(gòu)、精益計算、效果設(shè)置到數(shù)據(jù)對接全流程“0代碼”配置交付，并將精益管理理念貫穿企業(yè)數(shù)字化轉(zhuǎn)型全流程，解決VR制作“技術(shù)門檻高、交付周期長、使用效果差”的三大痛點問題，實現(xiàn)VR低門檻的創(chuàng)作場景及數(shù)字孿生項目零代碼開發(fā)交付。該平臺包含362萬行基礎(chǔ)代碼，3000余個三維模型，8700條節(jié)點邏輯優(yōu)化，56項精益算法內(nèi)嵌，涉及20多個行業(yè)領(lǐng)域。2.3.2AR開發(fā)平臺伴隨著智能手機的大規(guī)模普及，蘋果公司推出的ARKit和Google公司推出的ARCore增強現(xiàn)實軟件平臺分別支持iOS和Android操作系統(tǒng)，使得用戶可以便地在手機等移動設(shè)備上開發(fā)增強現(xiàn)實應(yīng)用，其它流行的平臺還有Vuforia等。我國的商湯科技、華為等企業(yè)也推出了增強現(xiàn)實軟件開發(fā)平臺SenseMARS和Cyberverse（河圖降低了AR應(yīng)用開發(fā)門檻。ARKitARKit是蘋果公司在2017年推出的增強現(xiàn)實開發(fā)框架，負責為iOS設(shè)備構(gòu)建增強現(xiàn)實應(yīng)用程序和游戲。它通過在設(shè)備的攝像頭中捕捉和分析環(huán)境，將虛擬元素與現(xiàn)實場景結(jié)合起來，并顯示在設(shè)備屏幕上。它支持光線估計、面部跟蹤、虛擬物理效果和用戶觸摸交互等功能，并為開發(fā)人員提供了一組API，可幫助他們創(chuàng)建AR應(yīng)用程序。ARKit整合了設(shè)備運動跟蹤、攝像頭圖像采集、圖像視覺處理、場景渲染等技術(shù)，通過移動設(shè)備單目攝像頭采集的圖像信息，實現(xiàn)了平面檢測識別、場景幾何、環(huán)境光估計、環(huán)境光反射、圖像識別、3D物體識別、人臉檢測、人體動作捕捉等高級功能，并為開發(fā)者提供了簡單易用的API，大大降低了AR應(yīng)用開發(fā)難度。ARCoreARCore是Google針對移動設(shè)備的增強現(xiàn)實體驗構(gòu)建平臺，通過運動跟蹤、環(huán)境理解、光估測三個主要功能將虛擬內(nèi)容與通過移動設(shè)備攝像頭看到的現(xiàn)實世界集成。借助運動跟蹤功能，移動設(shè)備可以了解和跟蹤自己相對于現(xiàn)實世界的位置；借助環(huán)境理解功能，移動設(shè)備可以檢測各類表面的大小和位置；借助光估測功能，移動設(shè)備可以估算環(huán)境的當前光照條件。ARCore作為用于開發(fā)AR應(yīng)用的SDK，為所有可以幫助開發(fā)者利用現(xiàn)有的Android設(shè)備構(gòu)建增強現(xiàn)實應(yīng)用程序。VuforiaVuforia是一個跨平臺的增強現(xiàn)實和混合現(xiàn)實應(yīng)用程序開發(fā)平臺，可在各種硬件上運行，包括移動設(shè)備、平板電腦和混合現(xiàn)實頭顯。它使用計算機視覺技術(shù)來識別和跟蹤現(xiàn)實世界中的對象、形狀和環(huán)境。提供功能包括1）標記識別：可以識別預(yù)先印刷的或數(shù)字生成的二維或三維標記2）對象跟蹤：可以跟蹤現(xiàn)實世界中移動或旋轉(zhuǎn)的物體；（3）環(huán)境理解：可以理解現(xiàn)實世界中的環(huán)境，并使用該信息來創(chuàng)建更身臨其境的AR體驗4）支持各類應(yīng)用開發(fā)：創(chuàng)建逼真的AR游戲和娛樂體驗；創(chuàng)建交互式AR教育和培訓應(yīng)用程序；創(chuàng)建AR輔助工具。商湯SenseMARS2020年，商湯科