VR虛擬現(xiàn)實(shí)新聞直播平臺(tái)建設(shè)組織規(guī)劃

1、VR虛擬現(xiàn)實(shí)新聞直播平臺(tái)建設(shè)方案目錄一、工程背景1二、建設(shè)目標(biāo)2三、平臺(tái)架構(gòu)及模式33.1 平臺(tái)架構(gòu)33.2 "云存儲(chǔ)+智能終端平臺(tái)模式 43.2.1 視頻云儲(chǔ)存+智能終端43.2.3 "云存儲(chǔ)+智能終端模式的優(yōu)勢(shì) 4四、關(guān)鍵技術(shù)54.1 VR 54.2 實(shí)時(shí)縫合54.3 大數(shù)據(jù)64.4 云計(jì)算6五、功能設(shè)計(jì)75.1 VR視頻制作75.1.1 錄制功能75.1.2 預(yù)覽功能75.1.3 設(shè)置功能85.2 直播平臺(tái)治理85.3 直播統(tǒng)計(jì)85.4 平安治理9一、工程背景隨著計(jì)算機(jī)網(wǎng)絡(luò)和三維圖形軟件等先進(jìn)信息技術(shù)的開(kāi)展,電視節(jié)目制作方式發(fā)生了很大的變化.視覺(jué)和聽(tīng)覺(jué)效果以及人類的思

2、維都可以靠虛擬現(xiàn)實(shí)技術(shù)來(lái)實(shí) 現(xiàn).虛擬演播室那么是虛擬現(xiàn)實(shí)技術(shù)與人類思維相結(jié)合在電視節(jié)目制作中的具體體 現(xiàn).虛擬演播系統(tǒng)顛覆了傳統(tǒng)電視內(nèi)容的制作、傳輸和觀看方式,能夠更有效地 表達(dá)新聞信息,增強(qiáng)信息的感染力和交互性,帶給用戶的是一種身臨其境的感覺(jué), 讓人們沉浸其中,給電視行業(yè)帶來(lái)了全新的開(kāi)展機(jī)遇.(1)國(guó)家政策支持.2021年十二屆全國(guó)人大三次會(huì)議上,李克強(qiáng)總理在政府工作報(bào)告中首次提出“互聯(lián)網(wǎng)+彳推鼬城創(chuàng)新、群眾創(chuàng)業(yè),2021年4月,工信部電子技術(shù)標(biāo)準(zhǔn)化研究院發(fā)布了 ?虛擬現(xiàn)實(shí)產(chǎn)業(yè)開(kāi)展白皮書(shū)5.0?, 科技創(chuàng)新引用更加廣泛多元,為 VR產(chǎn)業(yè)開(kāi)展創(chuàng)造氣氛.(2)消費(fèi)需求升級(jí).近年來(lái),中國(guó)居民收入保

3、持較快增長(zhǎng),居民購(gòu)置力提升,享受型消費(fèi)占比提升.85后消費(fèi)者伴隨著互聯(lián)網(wǎng)開(kāi)展成長(zhǎng)起來(lái),對(duì) VR相 關(guān)的行業(yè)付費(fèi)意愿較強(qiáng)；加之,VR行業(yè)宣傳越來(lái)越廣泛,市場(chǎng)熱度提升,消費(fèi)者 對(duì)VR的認(rèn)知程度越來(lái)越高,促進(jìn)了 VR消費(fèi).根據(jù)?中國(guó)VR行為用戶行為研 究報(bào)告?顯示,中國(guó)VR的潛在用戶規(guī)模已經(jīng)達(dá)2.86億,而在過(guò)去一年接觸過(guò) 或體驗(yàn)過(guò)虛擬現(xiàn)實(shí)設(shè)備的 VR淺度用戶約為1700萬(wàn)人,購(gòu)置過(guò)各種VR虛擬現(xiàn) 實(shí)設(shè)備的用戶約為96萬(wàn)人.盡管目前VR行業(yè)仍處于起步階段,但是未來(lái)市場(chǎng) 的潛力巨大,前景誘人.(3)市場(chǎng)環(huán)境變化.不可否認(rèn)的是,視頻網(wǎng)站的崛起和互聯(lián)網(wǎng)電視的沖擊, 傳統(tǒng)電視用戶已經(jīng)被逐步蠶食,尤其是 80

4、、90后年輕人,越來(lái)越不愿意守在電視機(jī)前,而是喜歡直接通過(guò)互聯(lián)網(wǎng)獲得更多的視頻內(nèi)容用戶被分流是目前傳統(tǒng)電視面臨的最大問(wèn)題,面對(duì)這種分流,“虛擬現(xiàn)實(shí) +播送電視是留住用戶嘗試 的一種新模式.(4)自身開(kāi)展需要.電視媒體,作為最傳統(tǒng)的重要媒體,一直與科技開(kāi)展 有著深刻的聯(lián)系.然而,這些年,伴隨著新技術(shù)的不斷沖擊,那些基于互聯(lián)網(wǎng)技 術(shù)的新興媒體紛紛在第一時(shí)間采用并逐漸吸引了眼球,而作為老大哥的電視人卻成了被動(dòng)的旁觀者和跟隨者.電視人迫切需要一種新的技法來(lái)改變和提升自己的 創(chuàng)新力以吸引更多的觀眾.二、建設(shè)目標(biāo)實(shí)現(xiàn)新聞?lì)惾耙曨l直播. 通過(guò)360 0全景攝像機(jī)采用實(shí)時(shí)無(wú)縫拼接技術(shù)實(shí) 現(xiàn)演播室新聞、娛樂(lè)類

5、節(jié)目全景播出,并且在全景直播的根底上增加虛擬植入、 在線包裝效果,觀眾通過(guò)頭顯設(shè)備在任何地方觀看都有身臨其境的感受,增加收視點(diǎn)擊粘性.實(shí)現(xiàn)娛樂(lè)類和體育類節(jié)目實(shí)時(shí)全景直播.帶給未到現(xiàn)場(chǎng)觀眾身臨其境的現(xiàn)場(chǎng) 感和沉浸感.另外,可以在深度沉浸觀看全景同時(shí)交互小視窗觀看特寫(xiě)畫(huà)面,增加觀眾的互動(dòng)性和娛樂(lè)性.實(shí)現(xiàn)及時(shí)更換場(chǎng)景.虛擬演播系統(tǒng)制作的布景是符合比例的立體設(shè)計(jì),當(dāng)攝像機(jī)移動(dòng)時(shí),虛擬的布景與前景畫(huà)面都會(huì)出現(xiàn)相應(yīng)的變化, 從而增加了節(jié)目的真 實(shí)感.具有及時(shí)更換場(chǎng)景的水平,在演播室布景制作中節(jié)約經(jīng)費(fèi). 不必移動(dòng)和保 留景物,因此可減輕對(duì)雇員的需求壓力.全景虛擬植入還可以將演播室頂部燈光、 攝影機(jī)位利用制景

6、全部隱藏掉,還可以增加演播室的第二現(xiàn)場(chǎng).實(shí)現(xiàn)制作本錢(qián)優(yōu)勢(shì).當(dāng)考慮節(jié)目格局時(shí),制作人員的選擇余地大,他們不必 過(guò)于受場(chǎng)景限制.對(duì)于同一節(jié)目可以不用同一演播室,由于背景可以存入磁盤(pán).它可以充分發(fā)揮創(chuàng)作人員的藝術(shù)創(chuàng)造力與想象力,利用現(xiàn)有的多種三維動(dòng)畫(huà)軟件,創(chuàng)作出高質(zhì)量的背景.創(chuàng)意廣告植入.可在新聞、娛樂(lè)、體育類節(jié)目中利用 AR+VR虛擬植入豐富 比賽信息和創(chuàng)意廣告,全景虛擬植入可以在立體空間如天空、地面、左右側(cè)面增 加更多的廣告投入位,為廣告營(yíng)收添加新增長(zhǎng)點(diǎn).三、平臺(tái)架構(gòu)及模式3.1 平臺(tái)架構(gòu)全景直播架構(gòu)及流程：全景直播拍攝流程LMJ由%<>金揖采第全凄建臺(tái)云編印云妗澄口字房收看全景拍攝

7、直播與虛擬植入架構(gòu)及流程:VR+AR全景直播拍攝流程沉浸體城后產(chǎn)全黑采集全景,臺(tái)慮擬置入云編碼云分發(fā)口口基屏收看平臺(tái)架構(gòu)圖3.2 云存儲(chǔ)+智能終端平臺(tái)模式3.2.1 視頻云儲(chǔ)存+智能終端通過(guò)建設(shè)一個(gè)視頻系統(tǒng)的私有云,各個(gè)數(shù)據(jù)中央的數(shù)據(jù)即是本地?cái)?shù)據(jù)又是云 端數(shù)據(jù),彼此之間形成備份,進(jìn)一步增強(qiáng)了信息的平安性.同時(shí),通過(guò)這樣的形 式,這樣可以降低存儲(chǔ)設(shè)備以及維護(hù)等的相關(guān)投資,只需要進(jìn)行客戶端設(shè)備和網(wǎng)絡(luò)的投資,大大節(jié)約了本錢(qián).更重要的是,系統(tǒng)的私有云整合了所有信息,為視 頻信息隨時(shí)隨地的利用提供了前提條件.“云存儲(chǔ)+智能終端模式的核心思想就是使用移動(dòng)網(wǎng)絡(luò)和 Wi-Fi網(wǎng)絡(luò)在智 能終端上訪問(wèn)系統(tǒng)私有云中

8、的信息. 通過(guò)合法的身份認(rèn)證和權(quán)限辨識(shí),用戶可以 檢索需要的信息,從而提升視頻信息的利用率.3.2.3 云存儲(chǔ)+智能終端模式的優(yōu)勢(shì)1存儲(chǔ)容量大云存儲(chǔ)通過(guò)聯(lián)合多個(gè)效勞器為用戶提供幾近無(wú)限的存儲(chǔ)空間,無(wú)需再為數(shù)據(jù)增長(zhǎng)帶來(lái)的支出擔(dān)憂.2平安性高云存儲(chǔ)效勞商對(duì)云存儲(chǔ)的數(shù)據(jù)有嚴(yán)格的權(quán)限治理以及加密技術(shù)、防攻擊技術(shù)等,同時(shí),在本地可能需要多臺(tái)效勞器存儲(chǔ)治理的海量數(shù)據(jù)一旦遷移到云存儲(chǔ)中, 只需要治理相當(dāng)于一臺(tái)效勞器,并且有專業(yè)人員統(tǒng)一監(jiān)測(cè)治理,將數(shù)據(jù)喪失和損 壞的概率降到最低,預(yù)防了數(shù)據(jù)因本地效勞器中病毒或其他災(zāi)禍造成的數(shù)據(jù)丟 失.3節(jié)約本錢(qián)利用云存儲(chǔ)存放數(shù)據(jù),相對(duì)傳統(tǒng)數(shù)據(jù)儲(chǔ)存而言,無(wú)需支付昂貴的存儲(chǔ)設(shè)施和

9、 維護(hù)費(fèi)用,只需支付效勞費(fèi),大大降低了本錢(qián),有效地提升了資源的利用率.4提升利用率“云存儲(chǔ)+智能終端的治理模式中,用戶利用視頻信息的途徑有了更多項(xiàng)選擇 擇,可在智能終端查看.將數(shù)據(jù)集中起來(lái),用戶可以在任何地點(diǎn),依靠電腦或是 移動(dòng)設(shè)備隨時(shí)訪問(wèn)數(shù)據(jù),減少了傳統(tǒng)的資源交換,提升資源的利用率.四、關(guān)鍵技術(shù)4.1 VRVR Virtual Reality的簡(jiǎn)稱虛擬現(xiàn)實(shí)技術(shù)是一種可以創(chuàng)立和體驗(yàn)虛擬世 界的計(jì)算機(jī)仿真系統(tǒng).它利用計(jì)算機(jī)生成一種模擬環(huán)境,一種多源信息融合的交 互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真, 使用戶沉浸到該環(huán)境中.虛擬現(xiàn)實(shí) 是多種技術(shù)的綜合,包括實(shí)時(shí)三維計(jì)算機(jī)圖形技術(shù),廣角寬視野立體顯

10、示技 術(shù),對(duì)觀察者頭、眼和手的跟蹤技術(shù),以及觸覺(jué)/力覺(jué)反應(yīng)、立體聲、網(wǎng)絡(luò)傳輸、 語(yǔ)音輸入輸出技術(shù)等.4.2 實(shí)時(shí)縫合實(shí)時(shí)縫合軟件系統(tǒng)是目前國(guó)際最先進(jìn)的多目實(shí)時(shí)全景縫合系統(tǒng),采用4K實(shí)時(shí)全景視頻縫合技術(shù),支持2-10目多攝影機(jī)視頻信號(hào)傳入,同時(shí)進(jìn)行實(shí)時(shí)縫合, 并處理鏡頭畸變帶來(lái)的畫(huà)面扭曲.通過(guò)算法合并的全景視頻會(huì)通過(guò)圖形處理運(yùn)算 進(jìn)行實(shí)時(shí)顯示,可以在5幀以內(nèi)完成合成與輸出.其獨(dú)有的軟硬件結(jié)合的運(yùn)算算 法,實(shí)現(xiàn)高速縫合和高質(zhì)輸出,高密度并行編轉(zhuǎn)碼.通過(guò)超前的并行運(yùn)算構(gòu)架, 合理有效地分配轉(zhuǎn)碼運(yùn)算資源,在實(shí)時(shí)縫合的高度運(yùn)算負(fù)載壓力下,可以實(shí)時(shí)推 送4K RTMP流,并且還能夠?qū)崟r(shí)錄制高清全景視頻.系

11、統(tǒng)可以手動(dòng)設(shè)定RTMP推流碼率,可以將低碼率復(fù)原出高質(zhì)量的畫(huà)面, 畫(huà)面質(zhì)量到達(dá)行業(yè)領(lǐng)先有效節(jié)省帶寬.同時(shí),系統(tǒng)可以在全景視頻實(shí)時(shí)輸出的同時(shí)疊加LOGO和簡(jiǎn)單圖文包裝,支持圖文包裝增值.支持4K高清全景視頻錄制,并且可以實(shí)時(shí)與采集的音頻混 合,實(shí)現(xiàn)真正的完美錄制并實(shí)現(xiàn)4K高清全景視頻實(shí)時(shí)與采集音頻合成的畫(huà)面可 以通過(guò)RTMP或HD-SDI實(shí)時(shí)輸出.1、國(guó)內(nèi)唯一.目前該系統(tǒng)是國(guó)內(nèi)唯一可以做到視頻直播的VR實(shí)時(shí)拼接實(shí)時(shí)渲染系統(tǒng).2、自主技術(shù).該系統(tǒng)擁有自主的高級(jí)計(jì)算機(jī)視頻縫合技術(shù)以及實(shí)時(shí)虛擬 效果植入技術(shù).可為2-10機(jī)位視頻圖像進(jìn)行實(shí)時(shí)縫合,為用戶提供多種解決方 案,也可根據(jù)客戶特殊需求提供個(gè)性化

12、定制解決方案.3、外鄉(xiāng)化效勞.公司為國(guó)內(nèi)外鄉(xiāng)企業(yè),在廣西設(shè)有售后效勞商可隨時(shí)為 用戶提供所最及時(shí)、最有效的售后效勞.4、高性價(jià)比.擁有自己研發(fā)的技術(shù),可為用戶節(jié)約50%-70%的費(fèi)用.4.3 大數(shù)據(jù)傳統(tǒng)的信息治理一直停留于治理、分類、歸檔、存儲(chǔ)及簡(jiǎn)單的統(tǒng)計(jì)查詢.通 過(guò)運(yùn)用大數(shù)據(jù)技術(shù)數(shù)據(jù)量巨大、數(shù)據(jù)類型繁多、價(jià)值密度低、處理速度快的特點(diǎn), 可以對(duì)傳統(tǒng)信息進(jìn)行提取,并針對(duì)提取出的有效信息根據(jù)一定的規(guī)律進(jìn)行挖掘, 滿足不同用戶的信息需求,使得在搜索時(shí)從大范圍變成從小范圍, 從而提升信息 利用的效率和準(zhǔn)確度.通過(guò)針對(duì)各種數(shù)據(jù)的挖掘、梳理分析,智能的給不同的分 析決策者提供不同的預(yù)測(cè)結(jié)果,讓存儲(chǔ)價(jià)值低的

13、數(shù)據(jù)起到玉石脫胎于原石效果.4.4 云計(jì)算構(gòu)建的VR視頻云平臺(tái),包含以上采集、拼接、編碼傳輸和播放等幾個(gè)環(huán)節(jié).采用多個(gè)普通鏡頭進(jìn)行多角度無(wú)死角的拍攝,使用特征提取、特征匹配、校準(zhǔn)、融合和曝光補(bǔ)償?shù)燃夹g(shù)拼接成完整的全景圖像；再經(jīng)H264、H265等視頻壓縮技術(shù)進(jìn)行編碼處理,之后通過(guò) RTMP傳輸協(xié)議進(jìn)行傳輸,最后通過(guò)相應(yīng)解碼器 完成解碼播放工作,在不同終端上實(shí)現(xiàn) VR、全景等播出形式.使用云端編碼技 術(shù),VR視頻云平臺(tái)可以同時(shí)支持 TV、PC、iOS、Android、H5等各種終端的 播出.五、功能設(shè)計(jì)該系統(tǒng)可實(shí)現(xiàn)4K視頻實(shí)時(shí)縫合預(yù)覽；本地錄制多格式原尺寸多目縫合畫(huà)面； 標(biāo)準(zhǔn)HD-SDI信號(hào)輸出

14、；RTMP數(shù)據(jù)推流及云直播.支持平安距離可調(diào),曝光 參數(shù)可調(diào),畸變可控,輸出4K錄制,HDMI、SDI、USB等視頻數(shù)據(jù)采集接口. 同時(shí)通過(guò)直播平臺(tái),實(shí)現(xiàn)“內(nèi)容+平臺(tái)+終端+應(yīng)用的 VR直播生態(tài)鏈.5.1 VR視頻制作5.1.1 錄制功能本地錄制4K全景視頻：使用2-10目全景采集攝像機(jī)拍攝,實(shí)時(shí)采集被拍 攝主體的視頻,通過(guò)系統(tǒng)強(qiáng)大的并行運(yùn)算水平和優(yōu)化算法, 支持多目攝影機(jī)拍攝 視頻畫(huà)面拼接,多畫(huà)面視頻實(shí)時(shí)縫合,將現(xiàn)場(chǎng) 4K全景視頻實(shí)時(shí)錄制在本地存儲(chǔ) 介質(zhì).全景圖片拍攝：4K全景照片拍攝,利用相機(jī)將 360度場(chǎng)景拍攝到的一組 照片拼合成為一幅包含全部場(chǎng)景的圖片,將多目攝像機(jī)成像效果最為接近的區(qū)

15、域 加以重合,以完成圖片的自動(dòng)拼接.5.1.2 預(yù)覽功能全景縫合視頻實(shí)時(shí)預(yù)覽：通過(guò)系統(tǒng)強(qiáng)大的計(jì)算功能,可實(shí)時(shí)預(yù)覽全景縫合視 頻拍攝的效果,實(shí)現(xiàn)所見(jiàn)即所得全景鋪開(kāi)實(shí)時(shí)預(yù)覽：可實(shí)現(xiàn)未縫合前全景鋪開(kāi)視頻畫(huà)面預(yù)覽.多目攝像機(jī)分鏡頭預(yù)覽：可單獨(dú)預(yù)覽每個(gè)相機(jī)拍攝視頻畫(huà)面5.1.3 設(shè)置功能分辨率及尺寸：可設(shè)置視頻或圖片的分辨率及尺寸大小.視頻碼率：可根據(jù)客戶需求設(shè)置調(diào)節(jié)視頻碼率大小.RTMP推流地址：可添加設(shè)置不同的RTMP推流地址,實(shí)現(xiàn)網(wǎng)絡(luò)直播.參數(shù)調(diào)節(jié)：可手動(dòng)調(diào)節(jié)白平衡、曝光、色溫、色調(diào)等參數(shù).輸出選擇：可選擇RTMP推流輸出或者SDI輸出.4K RTMP實(shí)時(shí)推流或者 4K HD-SDI信號(hào)實(shí)時(shí)輸出.平安距離設(shè)定：為預(yù)防拍攝畫(huà)面畸變,可根據(jù)拍攝視角設(shè)置平安拍攝距離,拍攝平安距離可調(diào)整,利于限制畫(huà)面畸變.5.2 直播平臺(tái)治理將現(xiàn)場(chǎng)實(shí)時(shí)拍攝的音視頻數(shù)據(jù)使用 RTMP傳輸協(xié)議進(jìn)行封裝,變成流數(shù)據(jù). 通過(guò)一定的Qos算法將音視頻流數(shù)據(jù)推送到云端或流媒體效勞器,通過(guò)web端 或App端直播