5G時代VR直播解決方案綱要思路

5G時代VR直播解決方案綱要思路概述近年來，網(wǎng)絡(luò)和數(shù)字技術(shù)裂變式發(fā)展，帶來媒體格局的深刻調(diào)整和輿論生態(tài)的重大變化。在當(dāng)前融媒體的應(yīng)用環(huán)境下，節(jié)目呈現(xiàn)以視頻化、交互式、全景化的節(jié)目形式發(fā)展。隨著5G網(wǎng)絡(luò)的成熟，由工信部、發(fā)展改革委、科技部多部門共同支持成立的5G推進組對5G在各個重要垂直行業(yè)的應(yīng)用進行探索研究，“視頻新媒體”即是其中一大垂直領(lǐng)域，將為5G用戶提供優(yōu)質(zhì)的視頻服務(wù)。為了順應(yīng)媒體行業(yè)新技術(shù)、新應(yīng)用、新融合的發(fā)展新潮流，視頻互動直播系統(tǒng)，提供網(wǎng)絡(luò)聚合傳輸、圖文實時編輯、大文件加速回傳、戶外（海外）連線、實時直播、雙向互動、專業(yè)媒資管理等多樣化功能，能夠為用戶提供5G+4K+VR的直播效果、穩(wěn)定可靠的網(wǎng)絡(luò)保障、面向融媒體多平臺發(fā)布能力。目前，虛擬現(xiàn)實技術(shù)VR和VR直播這兩塊發(fā)展火爆，特別是VR直播成為2017年VR行業(yè)的熱點。VR技術(shù)催生了全新的用戶體驗與商業(yè)模式。移動直播的強“自媒體”屬性，與VR全景技術(shù)帶來的真實臨場感，使得移動VR直播在體驗上遠遠超過任何一種直播模式。移動VR直播將顛覆互聯(lián)網(wǎng)社交模式，無論是草根網(wǎng)紅的個人秀場，還是大牌明星的實景互動，都不可避免成為新互聯(lián)網(wǎng)時代的巨型流量入二、解決方案直播被定義為視頻行業(yè)從單向傳輸?shù)綄崟r互動的一場革命，在1.0時代，PC/平板、手機是重要的載體，用戶參與互動方式主要通過禮物、打字獲得短暫的和主播互動的機會，臨場感的缺乏和交互方式的單一是其最大的不足。而VR直播所帶來的沉浸式的體驗直接把直播從1.0時代推向了2.0時代。一個完整的VR直播解決方案一般需要采集端設(shè)備、視頻編輯、推送高水平、直播管理后臺、網(wǎng)絡(luò)分發(fā)以及播放端多個環(huán)節(jié)，這些環(huán)節(jié)環(huán)環(huán)相扣，我們基于云端資源和現(xiàn)有的設(shè)備資源，探索了采集、處理與分發(fā)三大架構(gòu)，從采集端，到云端和用戶端的業(yè)務(wù)流程，實踐了VR直播一整套的解決方案。（一）VR采集端采集主要包括視頻拍攝，數(shù)據(jù)采集與輸出采集設(shè)備一般分為電影級和廣播級。信號源可以是多種，VR直播一般由4-16個攝像信號構(gòu)成，全方位360全景信號。采用高清信號輸出，構(gòu)建成4k信號。虛擬的信號設(shè)備可以使用HDMI、SDI、AV、VGA、File、IP流等信號。1.電影級采集設(shè)備電影級采集設(shè)備目前主要有HeadcaseVR、HypeVR、NextVR、J2VR等。HeadcaseVR：2016年正式亮相了全新移動VR拍攝方案的HeadcaseVR團隊。采用2/3英寸的CCD傳感器，單分辨率1920X1080060FPS的幀率表現(xiàn)。其中J2V是中國的團隊，是國內(nèi)最早進入全景視覺領(lǐng)域發(fā)展的創(chuàng)新型公司。J2VR也是經(jīng)過幾代更新的電影及VR解決方案。采用4臺RedDragon分別對四個方向進行拍攝采集。最終達到24K錄制100FPS的標(biāo)準(zhǔn)。2.廣播級采集設(shè)備XONE一體化全景攝像機：支持機內(nèi)實時拼接，支持雙組360度全景視頻同步拍攝，采用SONY1/1.8英寸CMOS,全景錄制6K/全景直播4K。支持通過RTMP協(xié)議進行串流推送、支持支持通過PC客戶端或APP客戶端進行預(yù)覽、編碼支持H264/.H265HEVC高壓縮比編碼、幀率：1-30fps。.民用級國內(nèi)民用級的全景攝像機較多，例暴風(fēng)魔眼、Insta360、Theta、Wipet、360fly等，在拼接畸變、流暢性、色彩還原、矯正等多個方面不會很成熟，適合自拍旅游等場景使用。.核心算法VR直播采集設(shè)備完成的不止是采集內(nèi)容這一步。設(shè)備里面一般會配套搭載的軟件和算法才是核心技術(shù)。在VR直播中，所有的拼接都是直接即刻完成的，例如縫合、映射、美顏、編碼、特效）白平衡，曝光等）。即將多鏡頭拍攝的畫面進行亮度色彩調(diào)整、對齊、畸變矯正、投影到球面等一系列處理后，基于圖像特征controlpoints控制點，合成為一幅完整畫面的過程。核心圖像處理算法，直接影響系統(tǒng)資源占有率，直接影響碼流、帶寬和存儲。核心算法的好壞直接影像圖像邊緣彎曲的矯正，場景的分割，虛擬PTZ、轉(zhuǎn)動、放大，這些都是由核心算法帶動的。現(xiàn)在業(yè)內(nèi)的產(chǎn)品，針對圖像矯正，有兩種處理方式，一種是前端攝像機內(nèi)置軟件處理，另外一種是后端軟件處理，其都是對圖像邊緣像素和水平展開進行矯正，圖像矯正的關(guān)鍵在于圖像邊緣像素的還原完整度如何。前種方法節(jié)省了后端和網(wǎng)絡(luò)資源，避免了帶寬和存儲的壓力，即在前端就完成了對圖像進行矯正處理壓縮，最終將一個水平展開的圖像傳輸?shù)胶蠖似脚_，使用者可根據(jù)需求選擇全景畫面或四畫面顯示，圖像很具實時性。而后一種將圖像矯正做到后端電腦上，其優(yōu)勢是借助電腦硬件快速的處理能力和軟件的完備性,其能很完美地實現(xiàn)全景圖像展開和四畫面顯示，從處理能力來說無疑后端機更具突出表現(xiàn)，效果或更要好一些，但也缺實時性。圖像校正算法被嵌入到攝像機內(nèi)是當(dāng)前技術(shù)市場的主流，其更符合用戶即插即用的使用習(xí)慣，借助PC機的產(chǎn)品功能雖會很完美但未必會被用戶接受。（二）VR云端處理VR云端處理包括視頻數(shù)據(jù)處理、實時同步、視頻編輯、合成、數(shù)據(jù)推送、云存儲與云端轉(zhuǎn)碼等，我們利用了現(xiàn)有的推流設(shè)備、利用了阿里視頻云資源實現(xiàn)了上述功能。.推流從VR采集的視頻流，我們使用了NSCaster推送至云端服務(wù)器，NSCaster整機采用便攜化設(shè)計，設(shè)備高度集成化，內(nèi)置主機、17.3寸全高清顯示屏、PC鍵盤、鼠標(biāo)觸摸板、導(dǎo)播操作鍵盤、攝像機云臺操作桿、視頻輸入輸出接口封裝、專業(yè)音頻輸入輸出、調(diào)音臺、藍牙無線通話、TALLY輸出、熱插拔數(shù)據(jù)硬盤、DVD刻錄機等。支持總共12路輸入，其中四路SDI/HD-SDI/3G-SDI攝像機輸入、一路全接口（SDI/HDMI/DVI/VGA/分量）輸入，一路網(wǎng)絡(luò)輸入、兩路DDR（視頻素材）輸入、四路虛擬場景輸入。網(wǎng)絡(luò)輸入可用于通過網(wǎng)絡(luò)接入電腦桌面、Android設(shè)備、iOS設(shè)備；也可以接入網(wǎng)絡(luò)流信號，支持RTMP/RTSP/MMS/VJVGA/VJTeacher/HTTPTS/UDPTS協(xié)議，支持IP攝像機輸入；也可以用于遠程訪談連線。兩路DDR，用于播放本地視音頻和圖片素材，支持絕大部分常用視音頻和圖片文件；支持單文件播放和列表播放，支持循環(huán)播放；支持播放進度調(diào)整，支持播放倍率調(diào)整，支持播放時間倒數(shù)；支持與切換配合自動播放。支持MMS推流/拉流、FLASH/RTMP推流、UDPTS單播/組播網(wǎng)絡(luò)直播。.視頻云處理平臺比較具備快速部署視頻服務(wù)、順暢運營、集成方便、開發(fā)快速上線，并且運維簡單等產(chǎn)品特性，重點對國內(nèi)主要的四家視頻云服務(wù)商進行了比較和分析）詳見表2-1）。表2-1關(guān)于視頻云平臺整體比較項目騰訊云視頻網(wǎng)易視頻云七牛直播云金山視頻云服務(wù)直播、點播、互動直播直播、點播、互動直播直播直播、點播Window、Web、Android、iOS及OBS（第三）Android、Android、推流sdkAndroid、iOS及OBS（第三方）iOS及OBS（第三方）iOS及OBS（第三方）播放器iOS、Android,Window、iOS、iOS、Android、H5、PCiOS、Android、H5、PCsdkWebAndroid、Web分布式轉(zhuǎn)轉(zhuǎn)碼10,000+分布式轉(zhuǎn)碼集群，2000并發(fā)轉(zhuǎn)發(fā)10,000+分布式轉(zhuǎn)碼集群無點播產(chǎn)品形態(tài)碼，采用軟硬件混合轉(zhuǎn)碼技術(shù)，支持H264，H265編碼CDN全球400+全球500+全球300+進千個節(jié)點直播錄制支持支持支持不詳防盜鏈、播安全美顏鑒黃并發(fā)量防盜鏈、黑白名防盜鏈、回單安全美顏鑒黃并發(fā)量防盜鏈、黑白名防盜鏈、回單源鑒權(quán)美顏+美白濾鏡+美顏內(nèi)測支持千萬級千萬級放地址加密、黑白名DRM、防盜鏈單美顏不詳支持未知百萬級千萬級騰訊云視頻互動直播方案比較成熟，與騰訊云通信（IM）結(jié)合緊密，業(yè)務(wù)集成度較高，目前臺內(nèi)新麥?zhǔn)呛芎玫陌咐?。七牛直播云沿襲七牛云的精品路線，側(cè)重于直播，開放云端API實現(xiàn)透明播控管理，CDN節(jié)點相對要少一些。金山視頻云提供了點播數(shù)據(jù)挖掘、H.265編碼其特色（當(dāng)然H.265需要視頻源高清而且終端性能強勁才有明顯效果），客戶端SDK集中在移動端，直播還支持OTT播放盒、超級電視等多屏播放，在VR直播方面已經(jīng)在GITHUB開放了部分SDK。網(wǎng)易視頻云功能相對完善，同時支持實時互動直播，而且具有各種場景的完整解決方案，擁有千萬級并發(fā)量，SDK也非常全面。接入方便，新手也只需一天就可以為APP接入音視頻功能。（1）穩(wěn)定性比較近期云計算的宕機現(xiàn)象再次發(fā)生，云服務(wù)的穩(wěn)定性變成了影響用戶抉擇的重要因素之一。當(dāng)然，對于視頻云服務(wù)來說，穩(wěn)定性不止于數(shù)據(jù)中心層，更需要考慮視頻流鏈路的穩(wěn)定，包括對弱網(wǎng)環(huán)境的處理，對卡頓、延遲現(xiàn)象有極地的容忍度。表2-2關(guān)于視頻云平臺穩(wěn)定性比較騰訊云視頻網(wǎng)易視頻云七牛直播金山視頻云云機房自建機房自建機房托管云機有自建機房異地多機房異地多機房房多機房架構(gòu)設(shè)多機房架構(gòu)設(shè)計計傳輸傳輸加密傳輸加密傳輸加密傳輸加密存儲加密存儲加密存儲加密存儲未知Qos未提及有無無從一定程度上說，自建機房意味著具備專業(yè)的運維團隊、更強的突發(fā)事件應(yīng)對能力、更高效的突發(fā)事件響應(yīng)速度，而這些因素恰恰是提供穩(wěn)定服務(wù)的關(guān)鍵。此外，傳輸機制保證了數(shù)據(jù)的安全性，網(wǎng)絡(luò)QoS策略則能夠保障復(fù)雜網(wǎng)絡(luò)下的流暢直播體驗。而服務(wù)模式?jīng)Q定了是否能夠快速響應(yīng)客戶的技術(shù)、服務(wù)訴求。（2）技術(shù)服務(wù)企業(yè)級云服務(wù)和消費級產(chǎn)品最大的不同，就是對技術(shù)服務(wù)的需求更甚于對資費的敏感，剛剛發(fā)展起來的云服務(wù)尤其如此。對于視頻云服務(wù)，因為復(fù)雜的場景、冗長的鏈路背后是復(fù)雜的技術(shù)，而視頻服務(wù)商還需要快速為自己的用戶解決問題，讓這些最終用戶滿意，所以技術(shù)支持必不可少。七牛直播云詳細完整的開發(fā)文檔七牛直播云詳細完整的開發(fā)文檔金山視頻云官網(wǎng)產(chǎn)品文檔和API文檔均尚未找騰訊云視頻網(wǎng)易視頻云開發(fā)文簡單的開發(fā)文詳細完整的開檔/檔發(fā)文檔技術(shù)課

技術(shù)支7x24小時服7x24小時服持務(wù)、QQ大群討務(wù)、論、1V1大客戶1V1專家支持服務(wù)故障承100倍故障賠100倍故障賠諾償、5天無理由償退款到視頻云資料1對1QQ群支不詳、官網(wǎng)沒持提到100倍故障賠不詳、官網(wǎng)沒償提到3.金山云的優(yōu)勢云平臺VR具體技術(shù)參數(shù)與一般的視頻并無區(qū)別，比較大的亮點，就是各家H.265的技術(shù)。例如金山公司的到視頻云資料1對1QQ群支不詳、官網(wǎng)沒持提到100倍故障賠不詳、官網(wǎng)沒償提到限制VR直播的問題在于碼流。因為VR視頻內(nèi)容在映射后，肉眼可視的分辨率會下降很多。所以對原始視頻的畫質(zhì)要求就比較高，一般都要求在4K或者8K，4K分辨率下，碼流接近20M。如果H.265能夠在采集端得到大范圍的推廣，可以大幅降低此處的帶寬壓力。華為公司擁有最多的核心專利，是標(biāo)準(zhǔn)的主導(dǎo)者，但是H.265受限于專利費，目前看來大幅應(yīng)用于采集端還有很長的路要走。具體優(yōu)勢體現(xiàn)在上行碼率自適應(yīng)，窄帶高清轉(zhuǎn)碼，截圖，錄制，時移等功能和服務(wù)；具備較低帶寬直播時延，能保證直播的實時交互；千萬級直播并發(fā)能力，可動態(tài)擴展的直播技術(shù)架構(gòu)。提供URL加密，視頻加密、防盜鏈多種安全防護，減少盜播，錄播風(fēng)險。(三)用戶端開發(fā)用戶端主要包括全平臺播放器部署、同時支持PC、手機、VR頭顯方式呈現(xiàn)。全平臺播放器部署采用了KSYMediaPlayerSDK的SDK包進行開發(fā)，重點實踐了APP端的體驗。KSYMediaPlayerSDK是金山云播放內(nèi)核官方推出的iOS和Android平臺上使用的軟件開發(fā)工具包(SDK)，為iOS和Android開發(fā)者提供簡單、快捷的接口，幫助開發(fā)者實現(xiàn)iOS和Android平臺上的多媒體播放應(yīng)用。LKSYMediaPlayerSDK的快速集成金山云播放內(nèi)核涵蓋Android、iOS、Flash和瀏覽器插件四個平臺，基于FFmpeg自主研發(fā)音視頻媒體播放內(nèi)核，作為一款全平臺兼容的軟件播放方案，金山云播放內(nèi)核提供了跨終端平臺的播放器SDK，以及開放的音視頻播放、控制接口和完整的開源調(diào)用示例，不僅極大降低開發(fā)門檻，同時支持客戶快速在多個平臺發(fā)布產(chǎn)品。(1)KSYMediaPlayerSDK功能與系統(tǒng)播放器MPMoviePlayerController接口一致，可以無縫快速切換至KSYMediaPlayer；本地全媒體格式支持，并對主流的媒體格式(mp4,avi,wmv,flv,mkv,mov,rmvb等)進行優(yōu)化；支持廣泛的流式視頻格式,HLS,RTMP,HTTPRseudo-Streaming等；低延時直播體驗，配合金山云推流sdk，可以達到全程直播穩(wěn)定的4秒內(nèi)延時;實現(xiàn)快速滿屏播放，為用戶帶來更快捷優(yōu)質(zhì)的播放體驗；支持畫面旋轉(zhuǎn)，音量調(diào)節(jié)等各種功能；版本適配支持iOS7.0以上版本；

業(yè)內(nèi)一流的H.265解碼;2M大小的超輕量級直播sdk；支持bitcode提供了支持直播和點播兩個靜態(tài)庫，相比直播，點播支持了更豐富的封裝格式和音視頻編解碼格式，二者支持的具體功能如下：表3-1點播和直播支持協(xié)議直播流協(xié)議HLS,RTMP,HTTP,FILE封裝格式FLV,M4V,TS,MPEG,MOV,MP3,GIF視頻編碼格式H264,H265,MPEG4,MJPEG頻編碼格式AAC,MP3,NELLYMOSER直播流協(xié)議HLS,RTMP,HTTP,FILE封裝格式FLV,M4V,TS,MPEG,MOV,MP3,GIF視頻編碼格式H264,H265,MPEG4,MJPEG頻編碼格式AAC,MP3,NELLYMOSER點播HLS,RTMP,HTTP,FILE,RTSP,HTTPSFLV,TS,MPEG,MOV,M4V,MP3,GIF,AVI,ASF,MKV,WAV,WEBM,RMH263,H264,H265,MPEG2,MPEG4,MJPEG,VC-1,WMV,RV40AAC,MP3,AC3,AMR,APE,DTS,EAC3,FLAC,PCM,OGG,WMA,COOK,NELLYMOSER（2）運行環(huán)境iPhone/iPodTouch/iPad，支持iOS7.0及KSYMediaPlayeriOSSDK可運行于iPhone/iPodTouch/iPad，支持iOS7.0及（3）快速集成Stepl集成framework將金山云SDK解壓后，將framework目錄下KSYMediaPlayer.framework復(fù)制到項目下，選擇需要集成的target,在ta