直播體驗深度優(yōu)化方案-連麥互動直播

精選優(yōu)質(zhì)文檔-----傾情為你奉上精選優(yōu)質(zhì)文檔-----傾情為你奉上專心---專注---專業(yè)專心---專注---專業(yè)精選優(yōu)質(zhì)文檔-----傾情為你奉上專心---專注---專業(yè)網(wǎng)易視頻云：直播體驗深度優(yōu)化方案——連麥互動直播網(wǎng)易視頻云是網(wǎng)易傾力打造的一款基于云計算的分布式多媒體處理集群和專業(yè)音視頻技術(shù)，為客戶提供穩(wěn)定流暢、低時延、高并發(fā)的視頻直播、錄制、存儲、轉(zhuǎn)碼及點(diǎn)播等音視頻的PaaS服務(wù)。在線教育、遠(yuǎn)程醫(yī)療、娛樂秀場、在線金融等各行業(yè)及企業(yè)用戶只需經(jīng)過簡單的開發(fā)即可打造在在線音視頻平臺。移動直播這把火從2015年一直燒到2016年，毫無疑問直播是當(dāng)前移動互聯(lián)網(wǎng)最熱門的領(lǐng)域之一，在超大熱度的引導(dǎo)下直播領(lǐng)域也吸引了大量的商業(yè)資本。在這各大直播應(yīng)用萬花齊放的時刻，也正是直播應(yīng)用面臨的真正風(fēng)口。站在這個風(fēng)口上，直播應(yīng)用只把握好風(fēng)向標(biāo)，推出具備高用戶粘性的差異化功能，才能在這個不斷推陳出新的時代站穩(wěn)腳跟，獲得不可動搖的地位。當(dāng)前國內(nèi)大多數(shù)的直播應(yīng)用，使用的是單主播模式，主播與觀眾僅僅使用文字、點(diǎn)贊、禮物等方式進(jìn)行互動。在主播直播時，觀眾如果能夠與其進(jìn)行實(shí)時的視頻互動，給觀眾連麥露臉的機(jī)會，這將大大提高用戶的參與感與幸福感，增加用戶粘性。而且市面上能夠提供這種連麥互動直播功能的應(yīng)用還非常少，這也將成為2016下半年各直播應(yīng)用的主要競爭領(lǐng)域。連麥互動直播是什么為了更直觀的闡述互動直播是什么，舉個簡單的例子：傳統(tǒng)直播就像看“新聞聯(lián)播”，觀眾只能收看這個節(jié)目，偶爾能通過手機(jī)短信發(fā)信息與節(jié)目組進(jìn)行互動。當(dāng)然現(xiàn)在基于互連網(wǎng)的直播已經(jīng)先進(jìn)得多，可以使用互聯(lián)網(wǎng)發(fā)送文字、點(diǎn)贊、送禮物，消息的實(shí)時性也大大提高，但本質(zhì)上與看“新聞聯(lián)播”的體驗類似。而互動直播就像到達(dá)芒果臺快樂大本營的錄制現(xiàn)場，觀眾坐在錄制現(xiàn)場的觀眾席上，可以看節(jié)目，同時還有機(jī)會被邀請到臺上和主持人互動，當(dāng)然主持人可以邀請多名觀眾上臺進(jìn)行互動，而互動的內(nèi)容其他觀眾也能看到。連麥互動直播相比傳統(tǒng)單向直播，給了觀眾更直接的參與感以及與主播音視頻實(shí)時互動的滿足感，對提升直播應(yīng)用的活躍度和粘性都有明顯作用。連麥互動直播功能流程①

主播正常開始直播，普通觀眾看到主播的單人直播畫面；

②

需要連麥的觀眾發(fā)起連麥請求，進(jìn)入連麥申請列表；

③

主播從連麥申請列表中選擇一名或多名觀眾進(jìn)行連麥操作，主播與連麥觀眾進(jìn)行實(shí)時音視頻互動，同時互動直播系統(tǒng)生成“合成畫面”；

④

普通觀眾看到直播畫面為包含主播與連麥觀眾的“合成畫面”；

⑤

連麥結(jié)束，恢復(fù)主播單人直播模式。

四、連麥互動直播實(shí)現(xiàn)方案1接下來我們探討一下連麥互動直播的具體實(shí)現(xiàn)方案，這部分將主要闡述互動實(shí)時性高且具備真實(shí)可行性的兩種方案。這兩種方案網(wǎng)易云信在項目中都有實(shí)踐，下面會詳細(xì)分析各自的優(yōu)缺點(diǎn)。為了實(shí)現(xiàn)互動實(shí)時性高的連麥，首先需要有一套實(shí)現(xiàn)了類似微信、Skype及Facetime的多人音視頻實(shí)時通話系統(tǒng)。這套實(shí)時通話系統(tǒng)可以選擇自主研發(fā)或者基于開源軟件如：Google的WebRTC做二次開發(fā)，網(wǎng)易云信自主研發(fā)了一套基于私有協(xié)議的多人實(shí)時通話系統(tǒng)，下面簡單介紹多人實(shí)時通話系統(tǒng)的一些重點(diǎn)技術(shù)細(xì)節(jié)。2

多人音視頻實(shí)時通話系統(tǒng)為了在保障質(zhì)量的前提下盡量降低通話流量，音頻編解碼主要以O(shè)pus為主，Opus融合吸收了CELT和SILK編碼的各種優(yōu)點(diǎn)，具備高音質(zhì)，高壓縮率，高抗丟包等特性，非常適合移動網(wǎng)絡(luò)。視頻編解碼我們使用OpenH264，OpenH264編解碼性能優(yōu)秀，同時具備：動態(tài)碼率、動態(tài)幀率及時域分層等多項適合移動網(wǎng)絡(luò)實(shí)時通話的特性。同時我們使用了自主研發(fā)的降噪算法，配合回聲消除、自動增益和舒適噪音等音頻處理算法來進(jìn)一步保證音頻的質(zhì)量。3現(xiàn)在用戶對于視頻的清晰度要求越來越高，我們的多人實(shí)時通話系統(tǒng)能夠支持720p，720p下純軟件編解碼對CPU開銷過大，因此在可以開啟硬件編解碼的機(jī)器上，對于需要720p清晰度的都盡量使用硬件編解碼。對于蘋果手機(jī)硬件編解碼基本上只與iOS的版本相關(guān)，而Android情況就會復(fù)雜得多，不僅與手機(jī)硬件相關(guān)，還和各個手機(jī)的ROM相關(guān)，為了解決這個問題需要去做適配。我們在網(wǎng)易強(qiáng)大的移動應(yīng)用測試部門的配合下，為大多數(shù)的Android設(shè)備做了適配。4沒有覆蓋全球的服務(wù)器部署與網(wǎng)絡(luò)拓?fù)浯罱?，是不可能?gòu)架出一套完善的多人音視頻實(shí)時通話系統(tǒng)的。依賴網(wǎng)易云在全球范圍內(nèi)的機(jī)房節(jié)點(diǎn)，我們搭建了多個多線接入網(wǎng)絡(luò)拓?fù)?，部署了高可用的服?wù)器集群，并利用智能分配算法與路由策略，為跨省、跨運(yùn)營商、跨國的多人實(shí)時通話提供優(yōu)質(zhì)的傳輸通道。

要實(shí)現(xiàn)效果理想的連麥互動直播，一套強(qiáng)大完善的多人實(shí)時通話系統(tǒng)是前提。在簡單介紹完一套強(qiáng)大的多人實(shí)時通話系統(tǒng)的需要具備的特點(diǎn)后，接著我們就可以討論下連麥互動直播的具體實(shí)現(xiàn)方案了。方案一：傳統(tǒng)的直播流程是：主播客戶端采集并編碼音視頻數(shù)據(jù)以后，直接使用RTMP協(xié)議推流到CDN，其它觀眾使用對應(yīng)的拉流地址向CDN拉取音視頻流。

該方案使用實(shí)時通話系統(tǒng)來進(jìn)行主播和觀眾的實(shí)時互動連麥，通過實(shí)時通話通道主播端收到觀眾端發(fā)送的音頻和視頻數(shù)據(jù)，主播端將自己的聲音和觀眾的聲音做混音，并將自己的畫面與觀眾的畫面做視頻合成，最后將混合的聲音和畫面推流到CDN流媒體服務(wù)器。架構(gòu)圖如下：方案優(yōu)點(diǎn)：

①

主播和連麥觀眾使用了實(shí)時音視頻來進(jìn)行連麥互動，實(shí)時性高，觀眾看到的合成畫面里主播和觀眾的互動也是同步實(shí)時的。

②

方案對原有直播推流客戶端改動不大，服務(wù)端都不需要修改。方案整體的實(shí)現(xiàn)簡單，利用現(xiàn)有的系統(tǒng)和SDK就可以快速搭建。

我們在網(wǎng)易BOBOWindows端實(shí)現(xiàn)的連麥互動直播就是采用這種方案，該方案在2015年下半年上線后運(yùn)行穩(wěn)定。這個方案雖然簡單可行但對于移動端來說就有兩個比較致命的問題：①

主播端的帶寬壓力很大，從架構(gòu)圖中可以看出，主播端必須通過實(shí)時通話系統(tǒng)發(fā)送一份音視頻數(shù)據(jù)給連麥觀眾，同時還需要推送一路流到CDN流媒體服務(wù)器。所以相比單人直播，連麥后主播端的上行流量將變?yōu)樵瓉淼膬杀丁＿@個兩倍的流量在Windows端穩(wěn)定的有線網(wǎng)絡(luò)環(huán)境下影響不大，但在上行帶寬本來就有限移動網(wǎng)絡(luò)下，將會大大影響直播的效果。

②

主播端的視頻編解碼壓力很大，與造成帶寬壓力大的原因一樣，主播必須編碼一路視頻給連麥觀眾，同時需要合成并編碼一路推到CDN，兩次編碼對于移動端的性能壓力非常大，經(jīng)過真機(jī)測試對于720p的分辨率的連麥互動直播僅在旗艦機(jī)型上可以勉強(qiáng)支撐，但發(fā)熱和耗電會大大增加。由于上述兩個問題，我們認(rèn)為方案一在移動場景下是不太適用的。

方案二：為了解決方案一的問題，我們團(tuán)隊用3個月時間來做技術(shù)攻關(guān)，設(shè)計并開發(fā)了一個替代方案。架構(gòu)圖如下：本方案作為優(yōu)化替代方案，方案的關(guān)鍵是：主播不再直接推流到CDN流媒體服務(wù)器，而是基于實(shí)時音視頻通話系統(tǒng)，由實(shí)時音視頻的中轉(zhuǎn)服務(wù)器轉(zhuǎn)發(fā)給互動直播服務(wù)器，再由互動直播服務(wù)器處理后推流到CDN流媒體服務(wù)器。多人音視頻實(shí)時通話系統(tǒng)，可以實(shí)現(xiàn)多人的實(shí)時互動，而且多人模式下所有的數(shù)據(jù)包都是通過音視頻中轉(zhuǎn)服務(wù)器中轉(zhuǎn)。音視頻中轉(zhuǎn)服務(wù)器在轉(zhuǎn)發(fā)給參與客戶端的同時，轉(zhuǎn)發(fā)一份到互動直播服務(wù)器，互動直播服務(wù)器對收到的語音進(jìn)行混音，同時對視頻畫面做混合處理，處理完畢以后再推流到CDN流媒體服務(wù)器。通過這種方案，將方案一中由主播端做的混音混合及推流操作，轉(zhuǎn)嫁由互動直播服務(wù)器來承擔(dān)。方案優(yōu)點(diǎn)：①

主播和連麥觀眾使用了實(shí)時音視頻來進(jìn)行連麥互動，實(shí)時性高，普通觀眾看到的合成畫面里主播和觀眾的互動也是同步實(shí)時的；

②

可以實(shí)現(xiàn)多人連麥互動直播，功能差異化明顯；

③

所有客戶端的上行推流不再依賴基于TCP的RTMP協(xié)議，而是使用網(wǎng)易自研的基于UDP的高性能私有協(xié)議，傳輸層的QoS保障更加智能高效；

④

方案一中主播端的帶寬和性能壓力不復(fù)存在，本方案非常適合移動端的連麥互動直播。

當(dāng)然本方案雖然有很多優(yōu)點(diǎn)，但是實(shí)現(xiàn)起來也是最困難的。首先本架構(gòu)涉及到實(shí)時通話系統(tǒng)與互動直播系統(tǒng)兩大系統(tǒng)的融合，架構(gòu)和代碼復(fù)雜度高。特別是互動直播系統(tǒng)，由于要處理視頻的混合，對服務(wù)器端代碼的性能和硬件要求都很高。我們?yōu)榱私鉀Q這個問題，使用了網(wǎng)易機(jī)房里多臺高性能物理機(jī)作為連麥互動直播服務(wù)器，并且不斷優(yōu)化服務(wù)器端代碼架構(gòu)和處理流程，通過不斷的優(yōu)化，最終滿足了業(yè)務(wù)需求。綜上，我們認(rèn)為本方案是當(dāng)前最適合移動端的連麥互動直播方案。展望未來2016年作為移動直播元年，全球范圍內(nèi)的開發(fā)者和公司都在思考如何提供更加優(yōu)質(zhì)的服務(wù)。我們認(rèn)為內(nèi)容永遠(yuǎn)都是直播發(fā)展的王道，作為研發(fā)工程師的職責(zé)就是為內(nèi)容的傳輸保駕護(hù)航，提供高清、流暢且延遲低的直播內(nèi)容。而差異化的功能將成為直播應(yīng)用的亮點(diǎn)，其中擁有連麥互動的直播應(yīng)用將會在增加用戶的參與度、幸福感的同時提高用戶粘性，連麥互動直播的重要性也就不言而喻了。科技永遠(yuǎn)都是第一生產(chǎn)