一種基于有線(xiàn)電視網(wǎng)的多媒體廣播系統(tǒng)的研究與實(shí)現(xiàn)

1、一種基于有線(xiàn)電視網(wǎng)的多媒體廣播系統(tǒng)的研究與實(shí)現(xiàn)中國(guó)傳媒大學(xué)信息工程學(xué)院 藍(lán)善禎 徐品1、MPEG-4多媒體系統(tǒng)架構(gòu)（簡(jiǎn)要概述）2、多媒體廣播系統(tǒng)框架（2、有線(xiàn)電視網(wǎng)，帶寬） 3、實(shí)現(xiàn) a、本地交互思想b、多媒體流的同步未來(lái)技術(shù)發(fā)展趨勢(shì) 多核cpu對(duì)多媒體廣播的影響摘要本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于有線(xiàn)電視網(wǎng)的多媒體廣播系統(tǒng)，提供了一種從發(fā)送端到接收端的解決方案。該系統(tǒng)實(shí)現(xiàn)了MPEG-4最具特色的本地交互方式，即用戶(hù)終端對(duì)傳送到本地?cái)?shù)據(jù)流中的對(duì)象自由提取和控制，可以任意擺放對(duì)象的空間位置、修改對(duì)象的尺寸大小甚至取消對(duì)象。該系統(tǒng)在上傳輸4路節(jié)目?jī)?nèi)容和節(jié)目?jī)?nèi)容描述信息，以及手語(yǔ)和廣告通道。最后，針對(duì)多線(xiàn)程

2、編程，作者通過(guò)實(shí)驗(yàn)分析了多核CPU在性能上的提升。關(guān)鍵詞MPEG-4 基于內(nèi)容的編碼 多媒體傳送綜合框架DMIF 場(chǎng)景描述 對(duì)象同步1 引言2008年，國(guó)家廣播電影電視總局有關(guān)人士指出了廣播電視行業(yè)下一步發(fā)展的重點(diǎn)。從中可以看出，發(fā)展數(shù)字電視及其增值業(yè)務(wù)，努力提升用戶(hù)體驗(yàn)，讓電視機(jī)最終成為一個(gè)“全信息”的媒體終端，是擺在我們面前的迫切任務(wù)。其中，如何為電視臺(tái)（特別是有線(xiàn)臺(tái)）開(kāi)展數(shù)字電視增值業(yè)務(wù)一直是人們的關(guān)注的熱點(diǎn)。為此，本文介紹了一種基于有線(xiàn)電視網(wǎng)的多媒體廣播系統(tǒng)，在一個(gè)電視頻道內(nèi)同時(shí)為用戶(hù)傳送多路多媒體信息，如視頻、靜止圖象、超文本、音頻等，使用戶(hù)可同時(shí)觀看電視節(jié)目和多媒體內(nèi)容。該系統(tǒng)還具

3、有豐富的本地交互功能，用戶(hù)可以自己控制和選擇多媒體節(jié)目?jī)?nèi)容。該系統(tǒng)提供了一種增值業(yè)務(wù)的具有實(shí)現(xiàn)方式，具有一定的實(shí)用參考意義。2 多媒體廣播系統(tǒng)架構(gòu)1999年3月MPEG公布了多媒體壓縮編碼標(biāo)準(zhǔn)MPEG-4ISO/IEC 14496。MPEG-4是一個(gè)龐大的有關(guān)交互多媒體編碼與通信的標(biāo)準(zhǔn)，它能全部滿(mǎn)足通信、計(jì)算機(jī)和廣電業(yè)的迅速融合所提出的要求。2.1 場(chǎng)景描述BIFSMPEG-4特有的內(nèi)容是場(chǎng)景描述，它規(guī)定了多媒體元素對(duì)象的表示和統(tǒng)一描述形式。場(chǎng)景描述用于描述場(chǎng)景的布置、對(duì)象位置、大小和透明度等。場(chǎng)景描述的分級(jí)結(jié)構(gòu)還包括對(duì)象描述子，用于描述各個(gè)邏輯對(duì)象，含有對(duì)象基本流識(shí)別信息、解碼規(guī)定信息和原始

4、對(duì)象解碼標(biāo)準(zhǔn)等信息。多媒體廣播系統(tǒng)可以利用場(chǎng)景描述來(lái)實(shí)現(xiàn)本地交互功能，在場(chǎng)景描述中可設(shè)置事件觸發(fā)節(jié)點(diǎn)，感知點(diǎn)擊，觸發(fā)對(duì)象變化。場(chǎng)景描述可采用二進(jìn)制編碼，因而稱(chēng)為Binary Information For Scenes（簡(jiǎn)稱(chēng)BIFS）。2.2 多媒體傳送整體框架DMIFISO/IEC提出多媒體傳送整體框架DMIF，主要面對(duì)的是網(wǎng)絡(luò)、廣播和本地存儲(chǔ)三種環(huán)境下的多媒體傳輸問(wèn)題。DMIF位于同步層和傳輸層之間，它對(duì)同步層提供了一個(gè)透明的、統(tǒng)一的接口DAI（DMIF Application Interface），對(duì)傳輸層提供了復(fù)用功能，定義了一個(gè)抽象接口DNI（DMIF Network Interfa

5、ce）。面對(duì)不同的網(wǎng)絡(luò)傳送技術(shù)和操作場(chǎng)景，DMIF都有一個(gè)相同的調(diào)用接口。DMIF的工作流程為：（1）系統(tǒng)編碼完成后，將原始的視音頻流壓縮為基本流ES（Elementary Streams）。在這些ES 中包含基本的視頻信息、BIFS信息和OD（Object Descriptor）信息。這些信息統(tǒng)稱(chēng)為AU（Access Unit），然后把AU傳送到同步層。（2）同步層提供媒體間的同步，和壓縮層的接口是ESI，AU被加上同步信息，封裝成一個(gè)分組SL（Synchronization Layer），通過(guò)DAI接口發(fā)送到DMIF層。（3）DMIF層（也叫FlexMux Layer）提供了復(fù)用工具，把具

6、有相同Qos 要求或是較低編碼速率的ES復(fù)用，以充分利用網(wǎng)絡(luò)資源。再通過(guò)DNI接口傳送到傳輸層。（4）傳輸層使用的現(xiàn)有的各種協(xié)議，對(duì)視頻采用RTP/RTCP是較好的解決方案，既保證了低時(shí)延，又有好的可靠性。2.3 同步層（是否需要？）3 系統(tǒng)設(shè)計(jì)（也就是具體實(shí)現(xiàn)）3.1 系統(tǒng)總體設(shè)計(jì)在MPEG-4系統(tǒng)架構(gòu)基礎(chǔ)上，采用合適的硬件和軟件結(jié)構(gòu)可構(gòu)建一套多媒體廣播系統(tǒng)。下圖所示是實(shí)驗(yàn)室搭建的基于有線(xiàn)電視網(wǎng)的多媒體廣播系統(tǒng)平臺(tái)結(jié)構(gòu)圖。其中的物理傳輸層采用的是ASI發(fā)送/接收卡。該系統(tǒng)實(shí)現(xiàn)了多媒體廣播功能，同時(shí)具有本地交互功能。用戶(hù)可以自己控制和選擇多媒體節(jié)目?jī)?nèi)容。根據(jù)多媒體廣播系統(tǒng)的設(shè)計(jì)要求，整個(gè)基于有

7、線(xiàn)電視網(wǎng)的多媒體軟件系統(tǒng)主要由播出服務(wù)系統(tǒng)和客戶(hù)端實(shí)時(shí)播放系統(tǒng)組成。實(shí)驗(yàn)系統(tǒng)軟件設(shè)計(jì)采用面向?qū)ο蟮某绦蛟O(shè)計(jì)方法，在Visual C+6.0環(huán)境中實(shí)現(xiàn)?？蛻?hù)端采用DirectDraw技術(shù)進(jìn)行顯示。3.2 媒體流管理類(lèi)的設(shè)計(jì)如下圖所示為系統(tǒng)中的數(shù)據(jù)流向圖，從中可以看到，對(duì)于每一個(gè)數(shù)據(jù)流的管理非常重要。CmediaStream 服務(wù)器端通過(guò)DMIF層將多媒體數(shù)據(jù)流復(fù)用后，再利用ASI發(fā)送卡輸出到有線(xiàn)電視網(wǎng)上，經(jīng)過(guò)分支器進(jìn)行衰減，客戶(hù)端的PC機(jī)使用ASI接收卡接收數(shù)據(jù)。A 豐富的本地交互功能利用場(chǎng)景描述BIFS，實(shí)現(xiàn)對(duì)象交互操作的關(guān)鍵機(jī)制。MPEG-4系統(tǒng)的交互方式分為本地交互和服務(wù)器端交互。本地交互

8、是MPEG-4最具特色的方式，這是在MPEG-4用戶(hù)終端對(duì)傳送到本地?cái)?shù)據(jù)流中的對(duì)象自由提取和控制，某些對(duì)象也可以通過(guò)網(wǎng)絡(luò)裝載到終端；服務(wù)器端交互是，用戶(hù)終端以點(diǎn)播的方式從前端服務(wù)器獲取自己所需對(duì)象，可控制服務(wù)器的進(jìn)、退和播放。電視數(shù)字化和網(wǎng)絡(luò)化必然大力發(fā)展增值業(yè)務(wù)和新媒體，而交互和個(gè)性化服務(wù)是增值業(yè)務(wù)最具魅力的業(yè)務(wù)。視頻點(diǎn)播已是眾所周知的一種交互方式，而基于對(duì)象的交互方式是一種最新的具有挑戰(zhàn)性的方式，我們選擇研究后者。我們首先研究模擬有線(xiàn)電視網(wǎng)中實(shí)現(xiàn)本地交互的多媒體廣播應(yīng)用系統(tǒng)，以電腦為顯示終端，使用戶(hù)不是被動(dòng)地收看電視臺(tái)導(dǎo)演合成的畫(huà)面內(nèi)容，而是可以自己布置畫(huà)面結(jié)構(gòu)，自由選擇顯示對(duì)象和信息，同

9、時(shí)又不間斷收看主節(jié)目。MPEG-4豐富的交互功能有很大吸引力，對(duì)于網(wǎng)上游戲、信息交流、遠(yuǎn)程教育、數(shù)字電視的增值業(yè)務(wù)和生動(dòng)的EPG等交互內(nèi)容具有特殊的效果，對(duì)數(shù)字電視和多媒體傳輸有廣闊的應(yīng)用前景?，F(xiàn)在國(guó)際上已有電視的體育節(jié)目、電視增值業(yè)務(wù)、遠(yuǎn)程教育、電視購(gòu)物、企業(yè)網(wǎng)絡(luò)業(yè)務(wù)等許多應(yīng)用。在我們的實(shí)驗(yàn)系統(tǒng)中是一個(gè)體育比賽節(jié)目，有四路MPEG-4視頻流播出比賽現(xiàn)場(chǎng)情況，終端用戶(hù)可以自由選擇觀看其中任何一路；一路信息流介紹運(yùn)動(dòng)隊(duì)和得分情況，終端用戶(hù)隨時(shí)可以獲取運(yùn)動(dòng)員信息；兩路Q(chēng)CIF視頻畫(huà)面分別作為廣告和虛擬主持人畫(huà)面。3.2 媒體流的同步由于MPEG-4只定義了同步層語(yǔ)法，沒(méi)有給出具體方案，因此我們必須

10、自己來(lái)定出與實(shí)際應(yīng)用相適應(yīng)的同步方案。圖 多媒體廣播系統(tǒng)軟件結(jié)構(gòu)圖一般地，一個(gè)多媒體廣播系統(tǒng)主要分為為五個(gè)部分：媒體數(shù)據(jù)采集、編碼壓縮、網(wǎng)絡(luò)傳輸、解碼、媒體表現(xiàn)。為了在各個(gè)媒體流間取得良好的同步效果，需要分別對(duì)每個(gè)部分采取相應(yīng)策略。而后面三個(gè)部分是同步處理時(shí)所要考慮的重點(diǎn)。2.1網(wǎng)絡(luò)傳輸?shù)耐讲呗晕覀儾捎玫氖茿SI卡+PC機(jī)來(lái)模擬有線(xiàn)電視網(wǎng)絡(luò)。有線(xiàn)電視網(wǎng)中不存在網(wǎng)絡(luò)擁塞問(wèn)題，不存在因網(wǎng)絡(luò)擁塞導(dǎo)致數(shù)據(jù)不能及時(shí)到達(dá)而被丟棄的現(xiàn)象。視音頻數(shù)據(jù)先復(fù)用打包后，再使用ASI API函數(shù)打包成TS傳輸流。我們把ASI的發(fā)送和接收模塊分別封裝成動(dòng)態(tài)庫(kù)，使外部調(diào)用更加方便。2.2解碼部分的同步策略視頻流到達(dá)解碼

11、器時(shí),通常不會(huì)馬上就解碼,需要進(jìn)入緩沖區(qū),直到DTS 時(shí)刻才開(kāi)始解碼。一般而言,如果某幀在DTS已經(jīng)小于當(dāng)前時(shí)刻,則說(shuō)明它已經(jīng)超過(guò)了解碼時(shí)刻,從而被棄。2.2媒體播放的同步策略4 具體實(shí)現(xiàn)（在哪兒加一個(gè)系統(tǒng)流程圖或者數(shù)據(jù)流向圖）4.1 對(duì)ASI卡的封裝4.2 媒體流管理類(lèi)4.3 編解碼插件技術(shù)4.4 DirectDraw顯示5 實(shí)驗(yàn)結(jié)果系統(tǒng)界面五 未來(lái)技術(shù)的發(fā)展趨勢(shì) （多核cpu對(duì)多媒體廣播系統(tǒng)的影響）CPU技術(shù)發(fā)展非常迅速，雙核、四核CPU已經(jīng)被廣泛使用。多核必將是CPU的未來(lái)發(fā)展方向。另外，本文的多媒體廣播系統(tǒng)采用了多線(xiàn)程編程技術(shù)。廣播系統(tǒng)中線(xiàn)程數(shù)量非常多，特別在用戶(hù)接收端線(xiàn)程數(shù)量最高達(dá)到

12、100個(gè)。為此，我們通過(guò)具體實(shí)驗(yàn)分析了多核CPU對(duì)多媒體廣播系統(tǒng)的影響，進(jìn)而研究多核CPU對(duì)多線(xiàn)程編程性能的提升。以下是實(shí)驗(yàn)數(shù)據(jù)和對(duì)比結(jié)果。測(cè)試條件：（操作系統(tǒng)：Windows XP sp2）ABCCPU內(nèi)存【播出服務(wù)器包括以下主要功能模塊：1) DMIF（Delivery Multimedia Integration Framework）接收模塊：為服務(wù)器提供用于播出的媒體數(shù)據(jù)，其可能來(lái)自網(wǎng)絡(luò)或本地存儲(chǔ)介質(zhì)。2) 播出控制：將各種媒體數(shù)據(jù)組合，形成對(duì)象描述子流（圖中的OD流）、場(chǎng)景描述流（圖中的BIFS流）、以及各種媒體數(shù)據(jù)流。3) 同步層：根據(jù)各種基本流的配置信息，即相應(yīng)的對(duì)象描述符，將各種基本流打包為SP