全息通信技術(shù)白皮書

11.全息技術(shù)概述 21.1全息概念 2 22.全息技術(shù)在通信中的應(yīng)用 32.1一對多場景：全息演講或教學(xué) 32.2一對一場景：私人交流 42.3多對多場景：會議 53.全息通信關(guān)鍵技術(shù) 6 63.1.1彩色相機(jī) 63.1.2深度相機(jī)+彩色相機(jī)陣列 63.2算法處理 7 83.2.2傳統(tǒng)三維重建算法 83.2.3基于深度學(xué)習(xí)的三維重建 3.3傳輸 14 3.4渲染技術(shù) 3.4.1多視圖立體渲染技術(shù) 3.4.2超多視點的虛擬立體內(nèi)容渲染技術(shù) 3.4.3多平面圖像渲染技術(shù) 3.5顯示技術(shù) 3.5.2裸眼3D顯示設(shè)備 4.全息通信技術(shù)案例 4.2谷歌(G0OGLE) 5.總結(jié)和展望 6.編寫單位和作者 中國移動中國移動21.全息技術(shù)概述“全息”(Holography)即“全部信息”,這一概念是在1947年由英國匈段，分別是：傳統(tǒng)光學(xué)全息(Traditionalopticalholography),數(shù)字全息 新處理，數(shù)字全息是利用電荷耦合器件來代替?zhèn)鹘y(tǒng)的光學(xué)記錄材料來記錄全息Goodman在1967年提出的。中國移動中國移動32.全息技術(shù)在通信中的應(yīng)用整個端到端過程，是一種高沉浸式、高自然度交互的業(yè)務(wù)形態(tài)。結(jié)合6G技術(shù)，進(jìn)行擴(kuò)展與挖掘可獲得包括數(shù)字孿生、高質(zhì)量全息、沉浸XR、新型智慧城市本文所涉及的內(nèi)容為狹義上的通信概念，即指人與人之間通過某種媒介進(jìn)通訊質(zhì)量等問題；傳輸高質(zhì)量的視覺通訊內(nèi)容受制于傳輸帶寬而難以實現(xiàn)的問題。其中全息通信主要解決第一個問題，而諸如6G等高性能網(wǎng)絡(luò)主要解決后兩此應(yīng)用場景具有如下特點：信息流重要程度通常不對講者或授課者的信息)大于上行流(受眾的反饋),信息流呈現(xiàn)輻射狀。顯示的方式，利于在全息技術(shù)和6G等高速網(wǎng)絡(luò)技術(shù)發(fā)展的初期部署。業(yè)務(wù)場景中國移動中國移動4如圖1所示：顯示端云計算(邊緣計算)全息采集設(shè)備務(wù)器群/圖2所示：中國移動中國移動5采集顯示采集顯示云計算(邊緣計算)核心處理服務(wù)器群中國移動中國移動63.全息通信關(guān)鍵技術(shù)根據(jù)應(yīng)用場景等不同，彩色相機(jī)陣列又可分為局部圍繞式和360°圍繞式。當(dāng)僅需采集單面人體時，可以搭建小于180°的相機(jī)陣列，僅用單反相機(jī)圍成半圈甚至更小的范圍。如果要采集人體360°全方位的數(shù)據(jù)，需要將相機(jī)陣列另外，如圖4所示，深度相機(jī)+彩色相機(jī)陣列的采集方式無需布置綠幕，對中國移動中國移動7圖4深度相機(jī)+彩色相機(jī)陣列掩膜編碼結(jié)構(gòu)光深度相機(jī)包括一組深度相機(jī)(紅外發(fā)射器+紅外相機(jī))和兩個彩色相機(jī)，可以同時采集人物的深度信息和彩色信息，如圖5所示。圖5掩膜編碼結(jié)構(gòu)光深度相機(jī)非三維重建處理主要指自由視點技術(shù)，自由視點技術(shù)對于不同的視角顯示不同的圖像，是一種相對“粗糙”的處理方式。三維重建處理包括基于深度學(xué)習(xí)的三維重建和傳統(tǒng)的三維重建。近年來，基于深度學(xué)習(xí)的三維重建算法的發(fā)展有雨后春筍之勢，在某種程度上，它們預(yù)示著“快捷”。而傳統(tǒng)三維重建方式比基于深度學(xué)習(xí)的三維重建更加穩(wěn)定成熟，但也更依賴于硬件結(jié)構(gòu)，如相機(jī)陣列等。當(dāng)然，將深度學(xué)習(xí)與傳統(tǒng)三維重建算法相結(jié)合，可以提高其性能和效果，這也是未來發(fā)展的可能方向之一。中國移動中國移動8自由視點技術(shù)一般采用此種方式處理，可以理解成多相機(jī)之間假設(shè)相鄰兩個相機(jī)拍攝的圖像像素點的視差值為1,我們要生成兩個相機(jī)正中間虛擬相機(jī)的視角，則可以將左邊相機(jī)拍攝圖像的像素點均向右移0.5,或者將右邊相機(jī)拍攝圖像的像素點向左移動0.5。以此類推。被動式三維重建算法是直接根據(jù)2D圖片信息，不依靠發(fā)射信號，對物體進(jìn)要再進(jìn)行MVS算法對稀疏點云進(jìn)行處理，轉(zhuǎn)換為稠密點云返回光的時間或相位差來計算距離目標(biāo)的距離。主動式算法如結(jié)構(gòu)光法和TOF中國移動中國移動9法能夠精準(zhǔn)構(gòu)建3D模型，但二者都需要較為精密的傳感器。圖6為一組三維重建的過程：先是生成密集點云，再由密集SFM,StructurefromMotion,顧名思義，用于從"動作"中重建3D結(jié)構(gòu)，也就是從時間系列的2D圖像中推算3D信息。人的大腦可以從動的物體中取得其三維的信息，是因為大腦在動的2D圖像SFM的輸入是一段動作或者一時間系列的2D圖群，然后通過2D圖之間的匹新的AKAZE(SIFT的改進(jìn)版)來匹配。方法是RANSAC(RandomSampleConsensus)。2D的誤匹配點可以應(yīng)用3D的幾中國移動中國移動MVS是類似的，只是前者是攝像頭運動，后者是多個攝像頭視角。也可以說，前者可以在環(huán)境里面“穿行”,而后者更像在環(huán)境外“旁觀”。像中的一個小區(qū)域(即一堆相鄰像素)。而MVS則幾乎對照片中的每個像素點都主動式三維重建算法結(jié)構(gòu)光算法紋光、編碼結(jié)構(gòu)光等),將圖案投影到三維空間物體表面上，使用另外一個相機(jī)結(jié)構(gòu)光3D成像技術(shù)主要由4大部分組成：1)不可見光紅外線發(fā)射模組(IRProjector):用于發(fā)射經(jīng)過特殊調(diào)制的2)不可見光紅外線接收模組(IR):接收由被拍攝物體反射回來的不可見3)彩色相機(jī)模組(RGB):采用普通彩色鏡頭模組，用于2D彩色圖片拍攝；中國移動中國移動4)圖像處理芯片(非必須，有些結(jié)構(gòu)光供應(yīng)商提供的解決方案可利用主機(jī)CPU,如手機(jī)AP處理):將紅外相機(jī)拍攝得到的紅外照片通過計算，得到被拍物以iPhoneX為例，用的是以色列PrimeSense公司的光編碼技術(shù)(散斑結(jié)構(gòu)光),如圖7所示。這種結(jié)構(gòu)光方案，通過投射人眼不可見的偽隨機(jī)散斑紅外光TOF(TimeofFlight)(光)飛行時間，字面理解就是通過光的飛行時間TOF的基本原理是通過紅外發(fā)射器發(fā)射調(diào)制過的光脈沖，遇到物體反射后，通常調(diào)制成脈沖波(一般是正弦波),當(dāng)遇到障礙物發(fā)生漫反射，再通過特制的CMOS傳感器接收反射的正弦波，這時波形已經(jīng)產(chǎn)生了相位偏移，通過相位偏移中國移動中國移動工作距離精度功耗應(yīng)用場景幾米至士幾米(和光源功率成正級(1-2毫米);中遠(yuǎn)距離精度比結(jié)構(gòu)光好高無人機(jī)、機(jī)器人避障；游戲類動作識別、動作捕捉等結(jié)構(gòu)光消費級模組工作距離2米以內(nèi)；工業(yè)級模組工作距最高可達(dá)亞毫米級(0.5毫米);近距離中等金融刷臉支付；人體、物體3D建模；空間3D建模；動作識別、動作捕捉等早期Saxena等提出了利用監(jiān)督學(xué)習(xí)的辦法去預(yù)測照片的像素對應(yīng)的深度3D卷積的3D重建方法[4]"則是基于前者的提升，無論從效果到性能均顯著優(yōu)NeRF合成的新技術(shù)HumanNeRF,該方案的最大特點就是利用AI算法將2D視頻合成高保真3D全身模型[5],該論文被收錄在CVPR2022。從姿態(tài)圖像重建3D室內(nèi)場景通常分為兩個階段：圖像深度估計于昂貴的3D卷積層，限制了其在資源受限環(huán)境中的應(yīng)用。來自Niantic和UCL等機(jī)構(gòu)的研究者利用強大的圖像先驗以及平面掃描特征中國移動中國移動效果顯著，更重要的是允許在線實時低內(nèi)存重ms該研究的關(guān)鍵是將現(xiàn)有的元數(shù)據(jù)與典型的深度圖像特征一起注入到代價體于之前的方法，而無需昂貴的3D卷積層、復(fù)雜的時間融合以及高斯過程。HumanNeRF:從2D視頻提取動態(tài)人像，并轉(zhuǎn)換為3D模型NeRF方法是2020年ECCV的論文提出的。僅僅過去不到2年，關(guān)于NeRF的經(jīng)輻射場，它是一種小型神經(jīng)網(wǎng)絡(luò)，可通過2D圖片來學(xué)習(xí)3D建模和渲染。把HumanNeRF解決了3D人像渲染的兩大難題：神經(jīng)網(wǎng)絡(luò)渲染動態(tài)對象和對于骼運動和非剛性運動。運動場和姿態(tài)預(yù)測學(xué)習(xí)信息可根據(jù)2D視頻中的姿態(tài)去修中國移動中國移動輸出1080P彩色圖像，每個像素有32位的彩色數(shù)據(jù)，輸出分辨率為512dpi×424dpi的深度圖像，每個像素有16位的深度數(shù)據(jù)。按照60的幀率和100倍的中國移動中國移動用于VR商業(yè)市場，超多視點的虛擬立體內(nèi)容渲染技術(shù)和多平面圖像技術(shù)多應(yīng)用圖形應(yīng)用程序為顯示設(shè)備渲染一個3D場景時將在3D空間中創(chuàng)建一個虛擬攝像機(jī)并根據(jù)攝像機(jī)的位置對場景中的幾何圖形執(zhí)行計算。渲染引擎執(zhí)行像素陰出一個單獨的視圖，即3D應(yīng)用程序需要執(zhí)行立體渲染——從輕微偏移的攝像機(jī)中國移動中國移動NVIDIA的Pascal架構(gòu)引入了一種稱為單通道立體SPS渲染技術(shù)完全適用于有限視場的共面顯示設(shè)備，針對180+FOV的設(shè)備可以更逼兩個視角對于具有超側(cè)視場的VR設(shè)備是不夠的。由NVIDIA的圖靈GPU支持的多視圖渲染擴(kuò)展了單通道立體渲染。MVR支持在一次傳遞中最多渲染4個視顯示器，使用最多4個視圖。3.4.2超多視點的虛擬立體內(nèi)容渲染技術(shù)中國移動中國移動和GPU的壓力都會上升。在場景中有大量重復(fù)物體需要繪制時，使用GPU中國移動中國移動基于深度信息的渲染(Depth-Image-BasedRenderingDIBR于10°以內(nèi)觀看視角的光場顯示設(shè)備。多參考視點的DIBR需要多個深度參考中國移動中國移動假設(shè)由三個點場景組成的三維場景，虛擬攝影機(jī)陣列為錯切式排列，如圖9渲染具有遮擋或鏡面反射等具有挑戰(zhàn)性的復(fù)雜場景時，這種表示比傳統(tǒng)的3D網(wǎng) (包括遮擋元素),并且使用alpha通道可以處理部分反射或透明對象以及處理移動。此外，從MPI渲染生成新視點非常高效，并場景的光場。如圖10所示，MPI由一組平行平面組成，位于參考相機(jī)坐標(biāo)系的固定深度處，其中每個平面d編碼RGBA圖像，包括RGB通道和一個alpha(透神經(jīng)網(wǎng)絡(luò)預(yù)測得到。從MPI渲染新視圖時，采用從后向前根據(jù)alpha權(quán)重累加RGB值的前向投影的方式進(jìn)行。中國移動中國移動基于SFM或基于RGB-D相機(jī)的新視圖生成方法完全依賴于精確的幾何估計，等特點。相比于其他基于深度學(xué)習(xí)的新視圖生成方法，例如DeepStereo、NeRF染速度可以達(dá)到3-5ms左右，渲染幀率可以達(dá)到200-300fps。全息視頻的展示方式分為穿戴式設(shè)備和裸眼3D顯示設(shè)備兩種?；谌⑼ㄐ诺奶攸c，人們更傾向于使用裸眼3D設(shè)備構(gòu)成解決方案。睛。VR頭顯通常包含兩個微型顯示器(左眼一個，右眼一個),經(jīng)過光學(xué)元件AR眼鏡，又稱作“增強現(xiàn)實頭顯”。當(dāng)前增強現(xiàn)實頭顯變得越來越普遍，中國移動