IPTV架構(gòu)下VR業(yè)務(wù)關(guān)鍵技術(shù)與解決方案

IPTV架構(gòu)下VR業(yè)務(wù)關(guān)鍵技術(shù)與解決方案李峰;楊琛;李興達(dá)【摘要】虛擬現(xiàn)實(shí)技術(shù)作為一種全新的技術(shù),在視頻方面的革新帶給用戶全新的交互體驗(yàn)?介紹了國內(nèi)外VR/AR產(chǎn)業(yè)的發(fā)展情況,分析了IPTV架構(gòu)下VR業(yè)務(wù)的需求;對(duì)編解碼、投影、業(yè)務(wù)平臺(tái)、機(jī)頂盒和網(wǎng)絡(luò)傳輸?shù)汝P(guān)鍵技術(shù)進(jìn)行了研究解析;然后從VR的兩種不同使用場景出發(fā),提出了IPTV架構(gòu)下VR業(yè)務(wù)的解決方案及業(yè)務(wù)流程，為IPTVVR的發(fā)展提供了一種可供參考的解決方案.期刊名稱】《電信科學(xué)》年(卷),期】2018(034)011【總頁數(shù)】7頁（P119-125）【關(guān)鍵詞】IPTV;VR；解決方案【作者】李峰;楊琛;李興達(dá)【作者單位】中國電信股份有限公司上海研究院,上海200122;中國電信股份有限公司上海研究院,上海200122;中國電信股份有限公司上海研究院,上海200122【正文語種】中文【中圖分類】TN919.8當(dāng)前VR/AR（虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)）產(chǎn)業(yè)的發(fā)展已進(jìn)入高速增長期，業(yè)內(nèi)普遍認(rèn)為VR將是個(gè)萬億級(jí)市場。據(jù)預(yù)測，到2025年全球VR市場的年?duì)I收規(guī)模將達(dá)到1100億美元（約7100億元），相關(guān)的軟件銷售額達(dá)720億美元，這意味著屆時(shí)VR領(lǐng)域總的市場規(guī)模將達(dá)到1820億美元（約12000億元），成長為一個(gè)萬億級(jí)別的新市場。在我國，VR技術(shù)已經(jīng)列入《“十三五”國家科技創(chuàng)新規(guī)劃》十大新一代信息技術(shù)，VR產(chǎn)業(yè)覆蓋技術(shù)領(lǐng)域廣泛、業(yè)務(wù)形態(tài)豐富、產(chǎn)業(yè)發(fā)展?jié)摿Υ?、社?huì)效益強(qiáng)，是新—代信息通信技術(shù)（ICT）發(fā)展的新動(dòng)能之一。雖然目前VR技術(shù)與應(yīng)用的發(fā)展還處于爆發(fā)式增長的前夜，但是作為一個(gè)具有較長發(fā)展歷史、經(jīng)歷完整Gartner技術(shù)成熟度曲線的產(chǎn)業(yè)，隨著真實(shí)應(yīng)用需求的增加，可以相信這是一個(gè)新起點(diǎn)。普遍認(rèn)為，VR技術(shù)將成為“下一代互聯(lián)網(wǎng)”和“下一代計(jì)算平臺(tái)”，并給人們的生產(chǎn)和生活方式帶來革命性的變化。與此同時(shí)，IPTV（交互式網(wǎng)絡(luò)電視）經(jīng)過十多年的持續(xù)創(chuàng)新發(fā)展，已成為融合傳統(tǒng)媒體和新興媒體通過數(shù)據(jù)網(wǎng)絡(luò)傳播視頻內(nèi)容的主導(dǎo)渠道，成為提高信息消費(fèi)供給水平、豐富數(shù)字創(chuàng)意內(nèi)容和服務(wù)的重要方式，目前已經(jīng)積累了上億用戶群。依托IPTV業(yè)務(wù)、網(wǎng)絡(luò)和終端在智慧家庭側(cè)的規(guī)?；采w能力以及IPTV領(lǐng)域的技術(shù)創(chuàng)新活力，結(jié)合VR近眼顯示、渲染處理、網(wǎng)絡(luò)傳輸和內(nèi)容制作技術(shù)的最新成果，在應(yīng)用中改進(jìn)VR沉浸體驗(yàn)、提高VR虛實(shí)交互，將會(huì)是IPTV和VR未來發(fā)展的重要方向之一，也是VR快速落地的重要路徑之一［1-2］。IPTV業(yè)務(wù)一直以來引領(lǐng)、推動(dòng)著運(yùn)營商網(wǎng)絡(luò)帶寬和視頻業(yè)務(wù)的發(fā)展。從2005年開始，一步步推動(dòng)視頻成為運(yùn)營商第四個(gè)億級(jí)用戶規(guī)模的基礎(chǔ)業(yè)務(wù)，成為媒體網(wǎng)絡(luò)傳播的重要渠道。近幾年，IPTV以4K技術(shù)為引領(lǐng)，成為創(chuàng)新型的基礎(chǔ)業(yè)務(wù)，有效地推動(dòng)百兆寬帶成為剛需。但是，居安思危，IPTV未來向何處去已經(jīng)成為擺在業(yè)務(wù)運(yùn)營方案頭的重要課題。同時(shí)由于家庭觀看視頻環(huán)境的限制，據(jù)家庭電視觀看距離與屏幕大小、分辨率關(guān)聯(lián)度數(shù)據(jù)分析，在一般家庭2~4m的觀看環(huán)境下，80~100英寸屏幕下4K視頻與8K視頻肉眼見看差異不明顯，超過2m距離看100英寸電視，4K就已經(jīng)超過人眼分辨力。因此，對(duì)于家庭電視體驗(yàn)來說，分辨率4K已經(jīng)到了極致。但隨著技術(shù)的發(fā)展，數(shù)字視頻內(nèi)容的解析度越來越高，正在從4K向8K甚至更高分辨率的方向發(fā)展，用戶仍然會(huì)追求極致影音體驗(yàn)。在這樣一對(duì)技術(shù)與需求的推動(dòng)下，超大型場景、高分辨率的VR視頻（比如大型演唱會(huì)、大型體育賽事的現(xiàn)場直播等）將是VR業(yè)務(wù)的一個(gè)重要市場切入點(diǎn)［3］。VR內(nèi)容對(duì)GPU芯片性能、數(shù)據(jù)存儲(chǔ)、傳輸碼率、數(shù)據(jù)傳輸時(shí)延等各個(gè)方面的要求都遠(yuǎn)超過現(xiàn)有視頻內(nèi)容的技術(shù)標(biāo)準(zhǔn)，因此VR視頻的在線傳輸需要一個(gè)高帶寬、低時(shí)延的寬帶網(wǎng)絡(luò)支持。從目前寬帶網(wǎng)絡(luò)的發(fā)展看，隨著用戶側(cè)的帶寬資源正在從兆級(jí)向百兆、吉比特級(jí)發(fā)展，原來限制高帶寬業(yè)務(wù)發(fā)展的瓶頸正在消失，而沒有業(yè)務(wù)填充的帶寬冗余是一種浪費(fèi)，VR作為一種提高帶寬利用率，推動(dòng)流量的精細(xì)化經(jīng)營的應(yīng)用正可以成為業(yè)務(wù)與技術(shù)研究的新方向。目前市場上存在的VR使用形態(tài)中：PC+HMD（頭戴式顯示設(shè)備，簡稱“頭顯”）的模式對(duì)主機(jī)成本和硬件門檻要求高，用戶群體難以大規(guī)模普及；手機(jī)+HMD模式VR主機(jī)處理能力有限。在這種情況下，隨著IPTV機(jī)頂盒能力的提升，IPTVVR的機(jī)頂盒+HMD的業(yè)務(wù)場景清晰，成本相對(duì)較低，可以搶占HMD的主機(jī)地位。結(jié)合HMD設(shè)備功能和體驗(yàn)的提升，尤其是分辨率和視場角的提升；對(duì)終端接口和協(xié)議標(biāo)準(zhǔn)化推廣，可以大幅提升用戶在家庭中使用VR的用戶體驗(yàn)，推動(dòng)VR在家庭的普及應(yīng)用，廣泛激活用戶的體驗(yàn)興致。同時(shí)，依托IPTV業(yè)務(wù)、網(wǎng)絡(luò)和終端在智慧城市家庭的規(guī)?；采w能力以及IPTV領(lǐng)域的技術(shù)創(chuàng)新活力，依托IPTV擁有的專網(wǎng)專用、海量視頻資源的先發(fā)優(yōu)勢，同時(shí)利用IPTV機(jī)頂盒作為家庭的規(guī)?；曨l娛樂中心的地位、由家庭固網(wǎng)帶寬支持、相對(duì)固定的使用場景，同時(shí)依托搭載的高性能芯片解碼高質(zhì)量的視頻內(nèi)容，在這樣的條件下，對(duì)視頻質(zhì)量要求高的VR與IPTV結(jié)合，加上多樣化的VRHMD設(shè)備，既賦予了IPTV業(yè)務(wù)發(fā)展的新領(lǐng)域和新能量，又為VR業(yè)務(wù)的發(fā)展與起飛提供了堅(jiān)實(shí)的用戶基石與內(nèi)容平臺(tái)［4-5］。—般來說，目前的VR內(nèi)容的應(yīng)用場景可以分為弱交互和強(qiáng)交互兩類，所謂弱交互類應(yīng)用場景是指對(duì)適時(shí)渲染要求比較低，終端和服務(wù)器端在內(nèi)容播放過程中交互信令較少，典型應(yīng)用如VR視頻播放等；而強(qiáng)交互類則是在內(nèi)容播放過程中交互信令頻繁的應(yīng)用，如大型交互式在線游戲等。針對(duì)這兩類應(yīng)用場景的特點(diǎn)，根據(jù)對(duì)網(wǎng)絡(luò)條件、渲染方式、MTP(motiontophoton)時(shí)延等的要求，完全利用現(xiàn)有IPTV架構(gòu)采用“云+機(jī)頂盒+頭顯”模式實(shí)現(xiàn)兩類場景的播控存在一定技術(shù)難度，因?yàn)閺?qiáng)交互類使用場景對(duì)MTP、渲染實(shí)現(xiàn)方式的技術(shù)指標(biāo)更加嚴(yán)格，所以在設(shè)計(jì)IPTVVR技術(shù)架構(gòu)時(shí)考慮采用“利舊+新增”的方案：弱交互類場景利用IPTV現(xiàn)有架構(gòu)走視頻流，強(qiáng)交互類場景新增云渲染系統(tǒng)實(shí)現(xiàn)低MTP時(shí)延、適時(shí)渲染的技術(shù)要求。具體的技術(shù)解決方案軟件邏輯架構(gòu)如圖1所示。方案中充分利用了現(xiàn)有IPTV架構(gòu)下的設(shè)備與架構(gòu)，對(duì)于弱交互類業(yè)務(wù)利用現(xiàn)有IPTV直播與點(diǎn)播模塊與功能進(jìn)行內(nèi)容的播放與控制。新增的云渲染系統(tǒng)用于強(qiáng)交互類業(yè)務(wù)的播放與控制，通過云渲染系統(tǒng)實(shí)現(xiàn)實(shí)時(shí)建模、渲染、編解碼及控制流交互功能。機(jī)頂盒(STB)支持VR視頻流的本地解碼、渲染、VR視頻播放器等功能，同時(shí)根據(jù)VRHMD接入方式的不同，機(jī)頂盒支持有線和無線兩種連接接口，支持的接口類型包括：USB/HDMI/Wi-Fi/5G等；根據(jù)接入HMD具備的功能不同，機(jī)頂盒支持本地解碼/渲染功能和透傳功能。HMD作為用戶端設(shè)備，支持設(shè)備鑒權(quán)與VR視頻流播放功能。在IPTVVR系統(tǒng)組網(wǎng)方案設(shè)計(jì)時(shí)，考慮到VR流對(duì)MTP時(shí)延指標(biāo)普遍要＜20ms,以及現(xiàn)有寬帶網(wǎng)絡(luò)部署架構(gòu)和技術(shù)指標(biāo)在內(nèi)容服務(wù)器與云渲染平臺(tái)的部署上強(qiáng)調(diào)靠近用戶端部署，因此服務(wù)于VR的CDN和云渲染平臺(tái)選擇部署于邊緣節(jié)點(diǎn)而不是中心節(jié)點(diǎn)。具體的組網(wǎng)架構(gòu)方案如圖2所示。在弱交互類使用場景下，如圖3所示，用戶在點(diǎn)擊VR視頻播放后，STB處理用戶向CDN發(fā)起HTTP/RTSP請(qǐng)求，CDN將通過調(diào)度策略管理機(jī)制，根據(jù)網(wǎng)絡(luò)鏈路質(zhì)量，將用戶調(diào)度至網(wǎng)絡(luò)質(zhì)量最優(yōu)、訪問速度最快的服務(wù)節(jié)點(diǎn)。該節(jié)點(diǎn)作為CDN系統(tǒng)的VR內(nèi)容注入口，負(fù)責(zé)存儲(chǔ)CDN系統(tǒng)中的所有內(nèi)容，同時(shí)還為業(yè)務(wù)提供所承載VR內(nèi)容的管理、處理、分發(fā)等功能。在服務(wù)節(jié)點(diǎn)未命中的場景下，內(nèi)容中心作為內(nèi)容源為服務(wù)節(jié)點(diǎn)提供內(nèi)容服務(wù)。CDN向STB提供高質(zhì)量的VR視頻服務(wù)，基于HLS視頻的點(diǎn)播功能，通過與用戶HMD配合，支持實(shí)現(xiàn)碼率自適應(yīng)。根據(jù)內(nèi)容管理平臺(tái)查詢到邊緣節(jié)點(diǎn)，通過邊緣節(jié)點(diǎn)CDN下發(fā)視屏流，STB接收并緩存在本地，STB的硬件解碼器基于H.265對(duì)視頻流解碼，解碼后的數(shù)據(jù)發(fā)送給GPU做相應(yīng)的VR處理，最終顯示呈現(xiàn)給用戶HMD。在強(qiáng)交互類使用場景下，與STB本地進(jìn)行解碼、渲染等處理不同，這些處理流程都在云渲染平臺(tái)進(jìn)行，最終將處理好后的視頻流下發(fā)用戶側(cè)HMD，為保證MTP時(shí)延，云平臺(tái)對(duì)視頻流的處理需要運(yùn)用按需傳輸?shù)仁侄芜M(jìn)行特殊處理。IPTVVR解決方案所涉及關(guān)鍵技術(shù)除了目前VR技術(shù)研究的熱點(diǎn)：編解碼技術(shù)、投影技術(shù)、傳感器技術(shù)等領(lǐng)域外，還具有其自身特定的關(guān)鍵技術(shù)領(lǐng)域，如機(jī)頂盒技術(shù)內(nèi)容分發(fā)與播控技術(shù)、網(wǎng)絡(luò)傳輸技術(shù)等方面。編解碼技術(shù)VR視頻目前應(yīng)用最多的視頻編碼技術(shù)是H.264，業(yè)界公認(rèn)的下一代編碼技術(shù)是HEVC和VP9。根據(jù)業(yè)界的測試結(jié)論，在保證同等畫質(zhì)的前提下，HEVC和VP9的壓縮效率大約比H.264的最新版本提升30%左右。近期，F(xiàn)acebook研發(fā)的棱錐結(jié)構(gòu)編碼技術(shù)成為業(yè)界研究的重點(diǎn)，結(jié)合按需傳輸方法，可以將VR視頻大小減少80%。投影技術(shù)目前VR視頻投影技術(shù)主要有等角投影(equirectangularprojection，ERP)和多面體投影(platonicsolidprojection，PSP)兩大類?！?ERPERP是當(dāng)前全景視頻主流格式，但畫質(zhì)存在失真，壓縮效率存在瓶頸。這種投影方式使用了一種經(jīng)典地圖經(jīng)緯線投影的思想，將球面展開為平面矩形。由于球面兩極區(qū)域展開后，靠增大面積保持角度不變，引入了更多的無效冗余像素，導(dǎo)致視頻文件編碼壓縮效率不佳。該投影方式通過VRHMD和應(yīng)用軟件將這些明顯變形的畫面還原為全視角的內(nèi)容，讓使用者有一種身臨其境的包圍感。目前Oculus、SamsungGear、優(yōu)酷、愛奇藝均采用此種投影格式生產(chǎn)VR360度媒體文件?！?PSP目前，PSP是業(yè)界關(guān)注的新方向，具有失真小、壓縮效率高的特點(diǎn)。按相等經(jīng)差與緯差的經(jīng)緯線將球面劃分為許多球面梯形，投影到某種多面體上，此處的多面體可以為四面體、立方體、金字塔、12面體等。由于每個(gè)梯形單獨(dú)投影，因此失真極其微小。（3） VR業(yè)務(wù)平臺(tái)技術(shù)高分辨率VR視頻內(nèi)容的分發(fā)對(duì)現(xiàn)有IPTV架構(gòu)下的內(nèi)容分發(fā)提出了新要求。VR超高分辨率視頻比普通平面視頻的碼率高出十倍以上，即使采用基于分片編碼與按需傳輸?shù)募夹g(shù)方案也對(duì)采用傳統(tǒng)的將尋址文件全部傳輸?shù)姆职l(fā)方式提出挑戰(zhàn)，對(duì)CDN的處理形成很大的壓力；另外基于云渲染的內(nèi)容處理也對(duì)CDN提出了很高的技術(shù)要求。因此當(dāng)前對(duì)業(yè)務(wù)平臺(tái)方面的研究關(guān)注點(diǎn)在于：基于IPTV架構(gòu)下的CDN并行流化處理技術(shù)研究，高效存儲(chǔ)、網(wǎng)絡(luò)均衡、智能調(diào)度和流媒體能力優(yōu)化的CDN平臺(tái)技術(shù)研究，針對(duì)VR的QoS保障技術(shù)研究等［6］。（4） 機(jī)頂盒技術(shù)當(dāng)前推廣的機(jī)頂盒在芯片、內(nèi)存、Flash方面都以全4K能力為基礎(chǔ)設(shè)計(jì)，要支持VR的關(guān)鍵是能支持HMD設(shè)備，尤其是滿足高清全景視頻（單眼分辨率＞4K）的解碼能力，現(xiàn)有的硬件和軟件能力明顯不足。因此對(duì)于需要本地渲染能力的機(jī)頂盒硬件研究的關(guān)鍵點(diǎn)在于GPU性能、VR視頻處理專用硬件、內(nèi)存容量速率規(guī)格的提升。同時(shí)，在硬件接口上，VR機(jī)頂盒要具備連接大屏電視和HMD的能力，且HMD和VR外設(shè)所用到的陀螺儀、手柄等傳感器信息也需要通過相應(yīng)接口傳給機(jī)頂盒進(jìn)行對(duì)應(yīng)處理，因此機(jī)頂盒的多接口支持也是技術(shù)研究的關(guān)鍵點(diǎn)。VR機(jī)頂盒和HMD之間采用HDMI/USB線連接完成視頻傳輸、傳感信息回傳和供電，這造成使用者移動(dòng)不便，對(duì)用戶體驗(yàn)影響嚴(yán)重，因此，無線傳輸方式成為目前研究的重要方向。目前廣泛應(yīng)用的Wi-Fi協(xié)議并不能滿足VR高分辨率視頻傳輸和MTP20ms的剛性要求，因此對(duì)WiGig(IEEE802.11ad)、WirelessHD、Li-Fi等可見光通信技術(shù)的研究與應(yīng)用也是一個(gè)熱點(diǎn)領(lǐng)域。網(wǎng)絡(luò)傳輸技術(shù)目前VR視頻內(nèi)容的在線傳輸方案有兩種主要的技術(shù)路線：全視角網(wǎng)絡(luò)傳輸和FOV網(wǎng)絡(luò)傳輸。?全視角網(wǎng)絡(luò)傳輸全視角網(wǎng)絡(luò)傳輸方式將360°環(huán)繞的畫面全部傳輸給終端，畫面切換等處理均在本地完成，即終端接收到的一幀數(shù)據(jù)中包含了用戶可看到的空間球?qū)?yīng)的全部視角信息。用戶改變視角的交互信號(hào)在本地終端完成處理，終端根據(jù)視角信息從已緩存到本地的幀中解出對(duì)應(yīng)的FOV信息，在播放器中進(jìn)行矯正還原，使用戶看到正常視角的視覺信息。因此，在交互過程中涉及的時(shí)延等問題，均由終端性能來決定。這種方案對(duì)帶寬的要求高，對(duì)時(shí)延的要求低。?FOV網(wǎng)絡(luò)傳輸FOV(fieldofview)傳輸方案主要傳輸當(dāng)前視角中的可見畫面。通常情況下，將360度全景視野劃分為若干個(gè)視角，每個(gè)視角生成一個(gè)視頻文件，只包含視角內(nèi)高分辨率和周圍部分低分辨率視覺信息，終端根據(jù)用戶當(dāng)前視角姿態(tài)位置，向服務(wù)器請(qǐng)求對(duì)應(yīng)的視角文件。當(dāng)頭部轉(zhuǎn)動(dòng)視角發(fā)生變化時(shí)，終端向服務(wù)器請(qǐng)求新視角對(duì)應(yīng)的視角文件。分視角傳輸示意圖如圖4所示。VR業(yè)務(wù)的在線傳輸還對(duì)寬帶網(wǎng)絡(luò)提出了更高的技術(shù)要求。VR業(yè)務(wù)改變了人機(jī)交互的方式，既包含傳統(tǒng)的人機(jī)交互行為，又有VR特有的虛擬交互行為。不同的交互形式和預(yù)期帶來了對(duì)網(wǎng)絡(luò)傳輸?shù)牟煌枨?，根?jù)不同的業(yè)務(wù)需求對(duì)帶寬及MTP時(shí)延的要求見表1VR業(yè)務(wù)所需要的網(wǎng)絡(luò)，關(guān)鍵在于提供穩(wěn)定的高帶寬和低時(shí)延，以保障VR業(yè)務(wù)的每一次交互行為體驗(yàn)[7-8]。隨著超高清視頻技術(shù)的發(fā)展，一般家庭環(huán)境下的4K分辨率已經(jīng)到了極致。在數(shù)字視頻解析度越來越高的大趨勢下，VR的出現(xiàn)正好給家庭視頻觀看方式的發(fā)展提供了新的方向。目前，IPTV架構(gòu)下開展VR業(yè)務(wù)尚處在探索階段，需要內(nèi)容制作、CDN分發(fā)、帶寬升級(jí)乃至整個(gè)視頻產(chǎn)業(yè)鏈來共同推動(dòng)其發(fā)展和完善，加快IPTVVR的商業(yè)化進(jìn)程。李峰（1971-），男，中國電信股份有限公司上海研究院高級(jí)工程師，主要研究方向?yàn)橐曨l技術(shù)與應(yīng)用、交互式網(wǎng)絡(luò)電視、虛擬現(xiàn)實(shí)等。楊琛（1981-），女，中國電信股份有限公司上海研究院研發(fā)工程師，主要研究方向?yàn)槌咔逡曨l技術(shù)家庭應(yīng)用、虛擬現(xiàn)實(shí)等。李興達(dá)（1987-），男，中國電信股份有限公司上海研究院研發(fā)工程師，主要研究方向?yàn)槌咔逡曨l技術(shù)家庭應(yīng)用、DRM等?！鞠嚓P(guān)文獻(xiàn)】中國智慧家庭產(chǎn)業(yè)聯(lián)盟?IPTVVR技術(shù)產(chǎn)業(yè)白皮書[R].2017.ChinaIntelligentFamilyIndustryAlliance.IPTVVRtechnologyindustrywhitepaper[R].2017.華為iLab.面向CloudVR的承載網(wǎng)絡(luò)白皮書[R].2017.HuaweiiLab.CarriernetworkswhitepaperforcloudVR[R].2017.徐火順，葉劍章,尹海生.大視頻VR直播業(yè)務(wù)及其技術(shù)[J].中興通訊技術(shù),2017（6）:24-27.XUHS,YEJZ,YINHS.ServiceandtechnologyofVRliveonbigvideosystem[J].ZTETechnologyJournal,2017（6）:24-27.[4]金偉.IPTV機(jī)頂盒現(xiàn)狀與趨勢的研究[J].電信科學(xué),2006,22(3):28~31.JINW.StudyonIPTVSTB:statusandtrends[J].TelecommunicationsScience,2006,22(3):28-31.⑸羅傳飛，孔德輝，劉翔凱,等.智慧家庭的VR全景視頻業(yè)務(wù)實(shí)現(xiàn)[R].電信科學(xué),2017,33(10):185-193.LUOCF,KONGDH,LIUXK,etal.AbusinessrealizationofVRpanoramicvideoin