面向6G的智能交互技術白皮書

面向6G的智能交技術白皮書（2022年）1目 錄能互術述 1介 1狀 1型 4音互 4動互 4感互 5感互 5模態(tài)互 6能互術業(yè)鏈 6述 6述 8述 10述 11述 11頸 14能互術應場景 15居 15機 15信 16宙 17生 19能互術來望 20略列表 22考獻智能交互技術概述介隨著大數(shù)據(jù)云計算人工智能等新興科技的迅猛發(fā)展信息技術更廣泛地融入社會人們與系統(tǒng)之間的交互形式變得更多樣化各種交互技術也日趨成本章主要對用戶與系統(tǒng)之間進行交流操作所使用一些智能交互技術進行了相關介紹具體包括語音交互眼動交互體感交互觸感交互多模態(tài)交互等人機交互技術這些人機交互技術都統(tǒng)稱為智能交互技術智能交互技術是隨著新技術的發(fā)展突破傳統(tǒng)交互技術應運而生的產物對智能交互技術進行研究可以增強硬件操作設備的良好體驗虛擬環(huán)境的沉浸感與舒適感拓展新興科技的應用場景，促進各類新技術的發(fā)展。技現(xiàn)狀通過對各種交互技術發(fā)展歷程及現(xiàn)狀的分析，提出了交互技術應用發(fā)展圖譜見圖1上半部分為語音交互眼動交互體感交互和觸感交互的應用發(fā)曲線下半部分為智能硬件的發(fā)展時間脈絡將產業(yè)發(fā)展分為初步探索期市啟動期、高速發(fā)展期和應用成熟期四個階段：初步探索階段中市場剛剛起步，行業(yè)內存在少數(shù)廠商以及創(chuàng)新應用品但由于技術不夠成熟以及市場同質化嚴重導致的競爭激烈讓行業(yè)在達到個小峰值后逐漸冷卻。市場啟動階段中由于成熟技術的廣泛落地應用導致主流廠商逐步建成熟的商業(yè)模式開始出現(xiàn)。高速發(fā)展期階段成熟產品被大規(guī)模力量生產，并得到市場認可，其廠商紛紛入局，行業(yè)整體呈現(xiàn)爆發(fā)噴涌的狀態(tài)。應用成熟階段市場達到頂峰，廠商收入穩(wěn)定，企業(yè)開始探索新的產品或應用。從圖中可以看出語音眼動體感觸感這些交互技術都在20世紀80年代末90年代初這個互聯(lián)網開始流行起來的時代進入到初步探索的階段，但是往由于其技術的局限性呈現(xiàn)各自不同的發(fā)展趨勢。語音交互的初步探索期源于1990年聲龍推出第一款消費級語音識別產品DragonDictate，拉開了語音技術落地應用的序幕。在往后的20年中，由于有新的算法模型使得語音交互產品一直沒有辦法有很高的識別率和大規(guī)模生能力直到2011年蘋果推出的語音助手Siri拉開了人機交互的新篇章語音場得以重新啟動。各大廠商依托深度學習算法研發(fā)出各類語音產品，2014年亞馬遜推出的Echo智能音箱則讓語音行業(yè)步入了高速發(fā)展階段?，F(xiàn)今，語音交是唯一一個即將步入應用成熟階段的交互技術。根據(jù)JuniperResearch的數(shù)顯示，截止2019年全球語音助理已經達到25億個。體感技術與眼動技術則是經過了很長一段初步探索期。1986年由任天堂和Hudson合作推出了第一款現(xiàn)代意義上的家用電子游戲機——紅白機，這被視為是體感游戲的雛形1991年第一家提供3D眼動追蹤系統(tǒng)商業(yè)化制造商的SMI司成立，標志著眼動行業(yè)的形成。但是概念與技術發(fā)展的不均衡導致到2015左右都沒有很成熟的體感或眼動產品得以應用直到最近幾年在頭部科技公的帶領下體感與眼動市場才得以重新啟動比如2016年Google收購了專注發(fā)眼動追蹤的Eyefluence公司宣告其在眼動領域方面的布局使得2016年眼交互開始進入高速發(fā)展；以及2017年任天堂發(fā)布的家用機、掌機一體化設計采用通過定位紅外相機和HD震動等技術的Switch游戲機成為體感游戲低期中的一縷曙光但是眼動與體感交互目前都仍然處于高速發(fā)展的時期還未入應用成熟的階段。未來或許隨著6G技術與全息技術的發(fā)展，眼動與體感交可以得到更好的發(fā)展。觸感交互技術最初的起步是在游戲中模擬碰撞的效果開始起步在2007年三星首次推出了帶觸覺功能的手機，2008年，Apple合并“觸覺控制板”設計，并將觸覺反饋整合到跟蹤表面中從此觸感技術搭載著智能手機的高速發(fā)展進入一個快速發(fā)展期。2016年，HeroSurg手術機器人問世，它可以通過觸覺反饋機制，將觸覺傳遞給主刀醫(yī)生以及3D圖像處理器，自此，觸感技術進入到一實用型新階段拓寬了行業(yè)應用領域并且為虛實世界之間的聯(lián)系創(chuàng)造了必要件。隨著未來元宇宙的飛速發(fā)展，觸感技術也將得到更好的使用。圖1互術用展圖技型智能交互技術包括語音交互體感交互眼動交互觸感交互以及多模態(tài)互等人機交互技術。語音交互VUI（語音用戶界面）相比起GUI（圖形用戶界面）最大的交互特點在于輸入的方式不同語音交互是一種以語音輸入為基礎的新型交互模式語音交互放了用戶的雙手讓用戶可以在眼睛和手處理其他事情時可以通過最自然的言與機器進行交互溝通。語音交互過程如圖2所示包括了語音識（ASR語義理（NLU和音合成（TTS）三項主要技術。語音識別就是把人輸入的語音信號轉變?yōu)橄鄳谋净蛎钫Z義理解就是使用算法模型讓計算機理解語言包含的內容語音成就是將計算機理解的結果以語音的方式反饋給人類。圖2音互程眼動交互眼動交互技術是利用視線信息來完成用戶對計算機的控制或計算機對用戶行為狀態(tài)做出反饋的技術的統(tǒng)稱以視線跟蹤技術為交互媒介目前眼動交技術可分為視線反饋技術、視線點擊技術和視線輸入技術。]圖3動互術類體感交互體感交互技術是一種讓人們直接使用自己的肢體動作與機器或者環(huán)境進不借助任何控制設備的互動讓人能夠自然而然的進行交互體感交互技術基是通過三維拍攝人物提（骨架識別以及動作識別來實現(xiàn)整個交互過程圖4所示其代表著一種全新的人機交互方式人可以通過言語肢體姿勢和部表情等這些更加自然的方式實現(xiàn)與計算機的交互。圖4感術現(xiàn)理圖觸感交互觸感又稱觸覺感知，指人與外界環(huán)境直接接觸時的重要感知功能,也是智機器人發(fā)展中的關鍵技術之一機器人通過觸覺傳感器模仿人皮膚的感覺功能而獲取外界環(huán)境信息如圖5所示觸覺感知包含的信息量很大它不僅反映機器人與環(huán)境的交互情況而且反映了所接觸目標的各種物理屬性如位置狀、剛度、柔軟度、紋理、導熱性、粘滯性等物理屬性。圖5感術現(xiàn)理圖多模態(tài)交互多模態(tài)交互又稱多通道交互指人機之間通過文本聲音圖像等多種形的信息輸出整合進行的一種智能交互方式在交互的過程中人的感覺通道應通道以及計算機的輸入設備和輸出設備相互對應在進行各類模態(tài)的信息傳中形成一個人-機-環(huán)境為一體的交互系統(tǒng)而這個系統(tǒng)中涵蓋了語音識別體交互眼動注視以及觸感等多種不同類型的交互方式而各交互技術也能在整多模態(tài)的人機交互系統(tǒng)中互補互助，提供于人自然行為模式更為匹配的用戶體驗，為NUI的發(fā)展打下了良好的基礎。多模態(tài)交互的核心流程如圖6所示。圖6模交的展程智能交互技術產業(yè)鏈產述根據(jù)中商產業(yè)研究院發(fā)布的數(shù)據(jù)顯示，2018年全球智能語音市場份額占比情況中Nuance全球市場占有率排名第一市場占有率達到31.6%其次為谷市場占有率為28.4%；排名第三的是的蘋果，市場占有率為15.4%。前三品牌場份額占比高達75.4%。其后為微軟以及科大訊飛分別占有8.1%以及4.5%的市場份額。值得注意的是科大訊飛已經超越老牌計算機巨頭IBM位列全球第五。經過對語音交互產業(yè)的綜合分析提出如下產業(yè)鏈圖譜如圖7分為上基礎層中游技術層下游應用層智能語音產業(yè)鏈的上游參與者分為基礎設供應商基礎研究機構和數(shù)據(jù)提供商中游參與者為將基礎底層技術轉化為軟或行業(yè)解決方案的機構下游參與者為將智能語音設備提供給用戶在不同應用景下使用的服務商。圖7音互業(yè)鏈產述目前眼動交互產業(yè)特點如下：眼動交互技術目前主要應用于VR頭顯智能眼鏡眼動系統(tǒng)或軟件和眼動儀。國外大型企業(yè)在VR頭顯市場均有部署且通過收購眼動交互科技公司以實現(xiàn)在該領域技術能力的迅速提升和市場份額的增長比如GoogleFacebok和蘋果分別收購研發(fā)眼動追蹤的技術公司Eyefluence、TheEyeTribe和SMI為實現(xiàn)眼動交互技術的快速落地，眼動技術公司與硬件或綜合型公合作，以占據(jù)市場份額。經過對眼動交互產業(yè)的綜合分析將目前的在眼動交互技術領域的公司按硬件層、技術層、應用層進行劃分，提出眼動交互技術的產業(yè)鏈圖譜，如圖8所示。上游硬件層指的是為VR頭顯、眼動儀等下游產品提供基礎硬件設備的司中游技術層指的是為眼動設備提供技術支持或軟件系統(tǒng)的技術研發(fā)公司或構；下游應用層指的是應用眼動技術的實體產品。圖8動互業(yè)鏈產述體感技術目前主要應用于游戲娛樂領域索尼任天堂微軟三大公司占了該領域下絕大部分的市場份額。經過對體感交互產業(yè)的綜合分析將目前的在體感技術領域的公司按照硬件層、技術層、應用層進行劃分，提出體感交互技術的產業(yè)鏈圖譜，如圖9所示硬件層是指對開發(fā)制作基礎硬件設備的公司技術層是指為智能設備提供技術解決方案的技術研發(fā)公司或者機構以及提供體感應用的平臺與應用軟件商應用層包括體感技術應用的各個領域進行商業(yè)化應用的公司主要為游戲娛樂醫(yī)療健康和教育信息領域。圖9感術業(yè)鏈產述觸感技術目前主要應用于智能設備與遙操作機器人上海外市場對觸感技術的探索更超前目前在觸感技術領域的公司按硬件層軟件層和應用層進行劃如圖10所示。硬件層是指研發(fā)觸覺傳感器和觸覺反饋設備的公司；軟件層是指提供觸感應用的平臺與應用軟件商包括系統(tǒng)軟件和開發(fā)工具應用層包括觸感技術應用的各個領域進行商業(yè)化應用的公司，主要為現(xiàn)實產業(yè)和虛擬產業(yè)。圖10感術業(yè)鏈述多模態(tài)交互結構共分為四層，分別是:感知層、傳輸層、系統(tǒng)層及終端層如圖11。圖1模交互業(yè)構經過對多模態(tài)交互產業(yè)的綜合分析結合多模態(tài)交互結構分層提如下產業(yè)鏈圖譜如圖12分為上游感知傳輸層中游系統(tǒng)平臺層下游終端應用感知層是感知環(huán)境采集信息的基礎組成部分并通過感知元器件收集到的數(shù)據(jù)通過無線通信技術回傳；系統(tǒng)層是指針對感知層回傳的數(shù)據(jù)信息進行分析、處理、響應、發(fā)送指令的環(huán)節(jié)；終端層是最下游，也是與使用者直接交互的模塊。圖2模交業(yè)鏈技頸智能交互的未來發(fā)展趨勢在于與全息器材虛擬現(xiàn)實裝置增強現(xiàn)實設等裝置在虛擬空間或者虛實結合的操作環(huán)境進行有機結合形成混合多維用界面使用戶能完成自然行為操作的目的推進NUI的進一步發(fā)展智交互術為解決未來業(yè)務的沉浸感體驗感提供了一條有效的途徑研究全息通信等實結合類的業(yè)務下的多模態(tài)交互信息融合和顯示技術己逐漸成為未來6G背景交互技術研究領域的重點之一。而其中的相關問題仍然需要進一步解決。使用眼動技術得到的測量數(shù)據(jù)無法做到對人意識完全準確的獲取和分析眼動進行的交互進程會出現(xiàn)一定的誤差或用戶的意識有偏差的問題。體感交互技術的發(fā)展仍處于初步探索階段很多技術實質上還存在運算雜和受外界擾亂程度大的情況技術水平有待進一步提高數(shù)據(jù)庫建立也不夠善。觸感交互技術在觸覺信息感知和觸覺信息呈現(xiàn)上仍存在較多問題其在機器如何準確感知人的交互動作及模擬再現(xiàn)物體接觸交互時的豐富力學屬性需要高校及研究機構進行持續(xù)探索。多模態(tài)交互技術的綜合處理能力有待提高要將多模態(tài)交互對用戶體驗到更為積極的作用對于各模態(tài)在應用之中的綜合調度與有機結合需業(yè)界與們共同做更優(yōu)的解決方案。各單一模態(tài)交互技術的發(fā)展水平也與多模態(tài)交互技術息息相關，包括眼動體感語音等技術的成熟度也是在面向未來全息場景下的多模態(tài)交互系統(tǒng)的重要影響因素。如何在現(xiàn)已有成熟應用的基礎上開拓其他模態(tài)產品的應用前景將影多模態(tài)系統(tǒng)的未來潛力。建立一套怎樣的可用性測試方式能對于多模態(tài)交互的系統(tǒng)產品進行更合理客觀的評估。智能交互技術的應用場景居在以多個不同通道構建成的多模態(tài)交互系統(tǒng)產品中智能家具無疑是其中最具有代表性的一類。首先，是形成系統(tǒng)的子系統(tǒng)之多，可以包含溫度計、燈具、電扇空調乃至于各類的大型家電而和用戶形成各種不同類型模態(tài)的交互方如利用語音音箱控制床頭燈的色暖，利用檢測人體與環(huán)境的溫度傳感器開啟空調、暖氣片或是電風扇，使用行動檢測儀來實現(xiàn)用戶起夜小燈的自動亮熄等等，或直接利用接入家庭智能系統(tǒng)的手機平板的GUI界面進行觸控點按完成對于各類不同家具的綜合控制依靠用戶各種不同通道的信息源輸入系統(tǒng)智能調度并按照用戶的需求進行交互管理將當前需求的反饋結果又以不同設備進行不同方式的輸出，完成整個多模態(tài)交互系統(tǒng)多類輸入到多類輸出的全過程。如圖13所示為小米智能家居系列多模態(tài)產品案例其家居系統(tǒng)中包含旗下各類不同領域不同通道的相關產品，組合形成其智能家居多模態(tài)人機交互系統(tǒng)。圖13米能居品統(tǒng)圖機如今的大部分個人電子設備按照定義都可以屬于單機型多模態(tài)交互產品的范疇例如電腦除基本的處理單元外話筒音箱指紋手寫觸控板都有配而這正體現(xiàn)了多模態(tài)交互產品普遍化應用的發(fā)展趨勢在智能手機中集成了包括高清顯示屏、降噪麥克風、攝像頭等多模態(tài)的元器件。例如iPhoneX手機，在與用戶進行交互時不僅僅是通過觸控感應和屏幕顯示對于用戶的操作進行反饋還可以TapticEngine進行模擬表盤滾動或者進行節(jié)奏伴隨的振動反饋或是用前置的深度感知傳感器對面部進行模型匹配的識別構成faceid的安全檢索或者類似華為利用攝像頭捕捉用戶的運動行為再通過內部的語音助手實現(xiàn)隔空手勢操作與遠程指令控制，實現(xiàn)對于手機的遠距離交互控制。如圖14與圖15所示，為蘋果和華為相關的多模態(tài)交互場景。圖14蘋果faceid概念圖 圖15華為手機隔空操作示意圖信目前全息在各領域的應用都不能讓用戶真正體驗到裸眼3D的效果，交互過程依賴了大量的與人直接接觸的繁重設備交互過程需要用戶主觀發(fā)起距離自然交互還有一段路要走。除此之外，3D顯示效果也不盡人意。全息技術的發(fā)展應用很大程度上依賴于硬件的發(fā)展如何讓用戶真正脫離外接設備達到輕高效、沉浸式的全息裸眼3D體驗，是整個全息應用的發(fā)展方向。也就是說，目前的全息技術達到的僅僅是在3D顯示方面，而如何讓人與顯示物體圖像進行精準交互，是整個全息應用在未來應著重提高的方向。全息應用在未來應達到成像效果不受外界環(huán)境所影響空中成像集成供用戶操作滿足用戶日常通勤需求視覺效果立體真實成像顯示更加符合人體工滿足個性化可定制實現(xiàn)高實用化情感個性化的全息生態(tài)通過全息在各領的應用現(xiàn)狀和具體案例現(xiàn)對全息應用的未來趨勢進行預測未來將延續(xù)現(xiàn)在產業(yè)布局進行技術改進在技術發(fā)展的基礎上探索發(fā)揮全息技術在其他領域應用價值。根據(jù)對全息領域未來商用發(fā)展進行階段研究全息會議全息醫(yī)療全息育等領域將會是全息通信的早期主要應用。如圖16所示。全息會議 全息教育 全息醫(yī)圖16全息應用場景宙元宇宙是新一代信息技術的深度融合虛擬現(xiàn)實技（VR增強現(xiàn)實技術（AR混合現(xiàn)實技（MR五感交互全息影像技腦機交互技術等多交互技術，如圖17所示，這些能夠為元宇宙用戶帶來沉浸式交互體驗，進一打破物理邊界與組織邊界是對現(xiàn)有技術的跨界融合與呈現(xiàn)進一步集成創(chuàng)新業(yè)務形態(tài)。圖17多模態(tài)終端未來將是一個智慧泛在的虛實融合世界在虛實融合的進程中沉浸化是來業(yè)務的主要特征是業(yè)務體驗升級的外在表現(xiàn)智能交互做為一項重要的通型業(yè)務技術他的發(fā)展將加快沉浸化的進程提升沉浸式體驗智能交互在元宙中是不可或缺的重要技術，是通往元宇宙的實現(xiàn)路徑。在這些技術的依托下游戲被認為是元宇宙中重要的呈現(xiàn)方式游戲的交互形式多樣又靈活、又具備豐富的場景和人物信息，他能為元宇宙提供創(chuàng)作平臺交互內容和社交場景并實現(xiàn)流量聚合。如圖18所示。圖18元宇宙-游戲元宇宙在當前的發(fā)展階段還可以廣泛的被應用在現(xiàn)實世界和虛擬世界的社交中真實世界的使用者通過硬件設備可以在元宇宙世界中實現(xiàn)心中所想裝扮不同的虛擬人物并借助智能交互與其他真實或虛擬的人或物產生互動協(xié)作為用戶的生產和生活都提供了極大便利。除此之外，元宇宙還被應用于工業(yè)生產教育醫(yī)療健康等場景中在這些應用場景中用戶感知到虛擬的世界都離不開智能交互的支撐。如圖19所示。社交 工業(yè)生產 教育 醫(yī)療健康圖19元宇宙應用場景生數(shù)字孿生是將真實物理世界用數(shù)字重建的方式在虛擬空間中建造一套仿真模型，如圖20所示，并通過傳感器在真實的物理世界和虛擬空間中搭建了溝通的橋梁數(shù)字孿生可以基于真實世界的物理定位匯聚真實世界的元素依托計算機實時渲染技術與智能交互技術重建三維數(shù)字化仿真場景以達到真實世界與數(shù)字虛擬世界真實互動的目的在數(shù)字化的虛擬世界里智能交互也占據(jù)重要的位置，他可以為三維數(shù)字化仿真場景營造真實的沉浸感；他也可以通過傳感器在虛擬世界中接收到物理世界的信息，從而在仿真場景中操控真實物理世界。圖20數(shù)字世界與物理世界智能服裝器官監(jiān)測可穿戴設備器官控制虛實融合的數(shù)字孿生世界將帶來社會形態(tài)和生活方式的變革數(shù)字城市字農業(yè)、數(shù)字工廠、數(shù)字孿生人如圖21所示，這些新的變化將改變我們生活生產的方式這些智能交互技術的發(fā)展融合也將推動數(shù)字孿生的成熟與應用智能服裝器官監(jiān)測可穿戴設備器官控制數(shù)字孿生增強體域圖21數(shù)字孿生世界的搭建智能交互技術未來展望綜上所述智能交互技術在語音眼動體感觸感各自的技術領域中目都存在著待解決與優(yōu)化完善的關鍵技術問題同時在多模態(tài)交互技術的應用如何更好的綜合調度進行信息融合以及成熟的關聯(lián)處理如何讓不同模態(tài)的品能進行有機結合都是智能交互在亟需攻關的方向雖然還有很多技術問題解決，但智能交互整體已經趨于成熟，將是未來新業(yè)務應用的使能技術。信通院2021年發(fā)布《6G總體愿景與潛在關鍵技術白皮書提出在超無線寬帶，超大規(guī)模連接，通信感知融合，極其可靠通信等技術的支撐下，6G將助力情感交互和腦機交互以及通信感知等全新研究方向2]在此基礎上能交互技術與虛擬現(xiàn)實技術的結合將毫無疑問將成為未來應用的熱點。在未來6G網絡技術的加持下智能交互+虛擬現(xiàn)實所能帶來業(yè)務體驗上極的提升：1、更好的滿足用戶需求：基于全息顯示技術的智能交互技術正在改善用戶對于信息顯示、互動的需求新型科技產品的落地使用戶交互經驗不斷提升使其在工作娛樂生活能夠發(fā)揮的市場空間也越來越大。2、更自然的人機交互體驗：全息顯示技術將交互信息在任何平面/空間上進行投影，通過手勢識別、位置識別，可以讓任何平面/空間都成觸控區(qū)域，實現(xiàn)與機器設備的便捷交流，同時輔助以語音交互的自然交互形式以更符合真實世界信息交換的形式完成虛擬信息的映射。中國移動希望有更多致力于智能交互技術的業(yè)界伙伴來共同探討一起推進智能化人機交互流暢度的進程。3、滿足典型場景下的多維交互需求：雙手被占用、需要信息顯示與交互的情景：當做飯時需要查閱食譜等資料時通過視覺進行指導操作更加直接在接信息時的畫面感更足更容易吸收相關知識由于雙手可能會被占用無法操屏幕通過全息顯示技術實現(xiàn)三維立體