3G視頻點播系統(tǒng)中流媒體協(xié)議棧的解決方案

1、3g視頻點播系統(tǒng)中流媒體協(xié)議棧的解決方案摘要隨著寬帶互聯(lián)網(wǎng)技術的普及和多媒體技術在互聯(lián)網(wǎng)上的應用，視頻點播已經(jīng)不再局限于有線網(wǎng)絡，擴展到了3g移動領域。本文首先介紹了一個3g視頻點播系統(tǒng)，并在此平臺上介紹了3g流媒體協(xié)議棧的概念、特點及其架構(gòu)，然后針對該系統(tǒng)的整體框架詳細論述了3g流媒體協(xié)議棧的模塊實現(xiàn)，并討論了各個功能模塊的作用及相互之間的影響，最后詳述了流媒體傳輸?shù)年P鍵環(huán)節(jié)同步機制，從而在3g終端實現(xiàn)客戶端服務器式的流媒體數(shù)據(jù)的實時傳輸。1、概述1.1 3g視頻點播系統(tǒng)概述視頻點播技術即vod（videoondemand），最初出現(xiàn)是緣于人們對廣播電視的需求，但之前vod一直局限于有線網(wǎng)絡

2、，從而無法給用戶提供一個完全自主便捷的環(huán)境。在這樣的情況下，無線移動視頻點播業(yè)務的出現(xiàn)提供了一個可以和外界交流的平臺。3g技術的成熟，更是為這項業(yè)務提供了一個可靠的實現(xiàn)基礎，人們在任何時間，任何地點，只要通過一部3g手機，就可以像在家通過電視或電腦連接上有線網(wǎng)絡一樣的在整個網(wǎng)絡環(huán)境中隨意瀏覽任何自己感興趣的節(jié)目，從而提供給人們一個交互式的主控權利，隨機隨時的獲取網(wǎng)絡資源。在3g視頻點播系統(tǒng)中，手機客戶端接受來自基站服務器發(fā)送的媒體數(shù)據(jù)，經(jīng)過一系列的處理呈現(xiàn)給用戶播放的圖像，服務器接收客戶端返回的質(zhì)量報告進行分析，并根據(jù)網(wǎng)絡的實際狀況給出合適的傳輸方式以及合適的圖像編碼格式，進行流量控制?？蛻舳?/p>

3、完全是被動的數(shù)據(jù)處理，媒體數(shù)據(jù)解碼，視頻和音頻的同步。而服務器則承擔了大部分的網(wǎng)絡質(zhì)量狀況監(jiān)測任務。這個方式有點類似于http方式下的客戶機/服務器模式。而上述這種實時流媒體傳輸?shù)倪\行架構(gòu)則需要完善可靠的流媒體協(xié)議棧來支持。本文即介紹一個3g視頻點播系統(tǒng)（如圖1所示）中流媒體協(xié)議棧的實現(xiàn)，該系統(tǒng)由3部分組成：服務器，internet和手持設備，針對該系統(tǒng)，本文 首先介紹了實時流媒體協(xié)議棧的概念、特點及其發(fā)展背景，然后在此基礎上討論了實時流媒體協(xié)議棧在此3g視頻點播系統(tǒng)中的軟件架構(gòu)，最后詳細論述各個模塊的 設計及流媒體傳輸?shù)年P鍵環(huán)節(jié)同步機制。圖1 系統(tǒng)概述圖1.2 系統(tǒng)平臺系統(tǒng)工作的硬件平臺、軟

4、件平臺如下：硬件平臺：sh-mobilesolutionincludesa sh3-dsp core mcu，memory，io，and lcd etc，abase-band controller（at91 rm9200 base-band board），一臺服務器（即pc機）。軟件平臺：sh-7300實時操作系統(tǒng)（norti4），mpeg-4audio/videoencoder/decodermiddleware，流媒體協(xié)議棧（如圖2所示）。圖2 系統(tǒng)軟件平臺2、基于3g終端的流媒體協(xié)議棧的架構(gòu)2.1 流媒體協(xié)議棧及其特點以3g協(xié)議棧為基礎的實時流媒體協(xié)議棧（real-timestreami

5、ngmediaprotocols）具有強大的兼容性，能根據(jù)基站服務器通信準則建立最優(yōu)播放效果，并根據(jù)網(wǎng)絡狀況，實時適應以改變通信策略和媒體播放效果。協(xié)議棧將可以保證以下業(yè)務：（1）進行視頻通話，三方舉行視頻會議；（2）替代以電視為媒體的廣告與節(jié)目播放，提供更具吸引力的多媒體點播等互動服務；（3）享受移動銀行，股票信息，以及電子交易等各種信息服務。實時流媒體協(xié)議?？梢栽O計為一個與系統(tǒng)無關的模塊，以實現(xiàn)在目前3種3g標準wcdma、cdma2000、td -scdma之上無縫移植和嵌入。我們以協(xié)議為指導，根據(jù)無線移動網(wǎng)絡的實際情況，做出合適的裁減和改變。流傳輸控制機制將根據(jù)3g網(wǎng)絡的特性和嵌入式實

6、時系統(tǒng)的要求定制，使協(xié)議棧能夠發(fā)揮可靠的，高效率的作用。同時協(xié)議棧不僅提供標準的應用程序接口，還可以根據(jù)客戶的要求特別定制專用的應用程序接口。2.2 流媒體協(xié)議棧整體架構(gòu)基于3g終端的流媒體協(xié)議棧由rtsp協(xié)議棧，rtp/rtcp協(xié)議棧，tcp/ip協(xié)議棧組成。2.2.1 tcp/ip協(xié)議棧tcp/ip協(xié)議棧是由3g的協(xié)議棧提供，負責對流媒體數(shù)據(jù)的傳送。tcp、udp的協(xié)議都將使用到，并且根據(jù)不同的網(wǎng)絡情況，分別使用。tcp是用于可靠的連接，rtsp協(xié)議將盡量使用這個協(xié)議進行傳輸，udp是無連接的協(xié)議，rtp/rtcp協(xié)議棧將通過這個協(xié)議傳送數(shù)據(jù)。當然這也不是絕對的，在必要的時候，rtsp可以

7、使用udp協(xié)議，比如防火墻的強制隔離，要求代理服務器轉(zhuǎn)發(fā)，這時需要由協(xié)議棧來保障rtsp協(xié)議的可靠性，包括使用重發(fā)機制；rtp/rtcp也可以使用tcp連接，比如要求跨防火墻，建立直接連接的通道，這時可能牽涉到rtsp和rtp/rtcp協(xié)議的算法，需要由協(xié)議棧來提供。2.2.2 rtp/rtcp協(xié)議棧rtp/rtcp協(xié)議是流媒體協(xié)議棧中關鍵的一部分，它承擔了媒體數(shù)據(jù)的傳送，由2個相互緊湊的協(xié)議組成，數(shù)據(jù)報文實時傳輸使用的rtp協(xié)議和qos監(jiān)視的rtcp協(xié)議。協(xié)議設計者并不考慮rtp協(xié)議的糾錯功能，而要求下層協(xié)議來保證，以提高媒體幀傳輸?shù)臄?shù)量，節(jié)省帶寬，節(jié)省程序的開銷，其傳輸機制專注于媒體本身的

8、可靠性傳輸。rtp直接面向媒體數(shù)據(jù)，是一種以帶寬和網(wǎng)絡質(zhì)量為先決條件的傳輸協(xié)議，其傳輸方式是隨著帶寬和網(wǎng)絡質(zhì)量變化而動態(tài)調(diào)整的協(xié)議，其宗旨是以最大的可能性利用網(wǎng)絡的負載能力，確保大容量的多媒體數(shù)據(jù)能及時的傳輸。在這樣的設計思想下，3g信道帶寬不至于過度浪費，因此適合于手機終端的使用。同時，rtcp協(xié)議作為傳輸控制協(xié)議，也是網(wǎng)絡質(zhì)量的監(jiān)測者，它為互動的雙方提供了統(tǒng)計意義上的報告，為雙方提供網(wǎng)絡實際的質(zhì)量，也為流量控制，編碼方式，提供了可靠的保證和參考。作為獨立于3g協(xié)議棧的應用層媒體協(xié)議棧，rtcp根據(jù)其機制，提供質(zhì)量服務qos，為網(wǎng)絡運營商監(jiān)視網(wǎng)絡情況提供參數(shù)。2.2.3 rtsp協(xié)議棧rts

9、p協(xié)議棧是流媒體協(xié)議棧中與界面和rtp/rtcp協(xié)議相關的控制協(xié)商操作。rtsp提供響應界面操作的接口，直接響應界面發(fā)送的命令。同時 rtsp也提供互聯(lián)的雙方或多方的一個傳輸方式和編碼方式的協(xié)商操作，在網(wǎng)絡允許情況下，建立一條最佳傳輸通道。以最匹配的情況傳輸數(shù)據(jù)，而無須每次傳輸都要求雙方解析，節(jié)省了大量的時間，也減少了出錯的可能性。rtsp和rtp/rtcp協(xié)議棧組成整個流媒體協(xié)議棧的核心部分，他們各自的控制機制是需要根據(jù)無線移動網(wǎng)絡的實際情況和媒體編碼格式統(tǒng)籌設計，在協(xié)議中是沒有硬性規(guī)定的。3、3g視頻點播系統(tǒng)中流媒體協(xié)議棧的模塊設計系統(tǒng)的模塊化有利于整體功能的實現(xiàn)，本系統(tǒng)框架從流媒體協(xié)議棧

10、進行規(guī)劃，分為5個模塊：人機界面、rtsp模塊、rtp/rtcp模塊，以及硬件媒體編解碼器模塊。模塊架構(gòu)如圖3所示。圖3 視頻點播系統(tǒng)架構(gòu)3.1 人機界面（mmi）界面部分是手機終端提供給用戶的交互界面。用戶可以使用它來控制播放的動作，比如通過點擊web的鏈接，接入流媒體服務器?？梢赃M行播放、暫停、終止、快進、后退等操作，當然，所有操作是在服務允許的范圍，超出服務范圍的操作將被禁止。通過界面，用戶就可以享受到視頻/音頻的多媒體服務，可以點播電影，也可以召開會議。3.2 rtsp模塊rtsp模塊是以客戶端為主的應用控制模塊，以適應3g手機終端對媒體點播的需要。主要內(nèi)容包括：rtsp協(xié)議棧的會話的

11、建立、會話的傳輸、會話的協(xié)商和會話的終止，以及文本指令的解析。在流媒體協(xié)議棧架構(gòu)中，rtsp處于tcp/ip層之上，使用tcp協(xié)議傳輸會話數(shù)據(jù)。處于界面控制程序直接操作下，為應用界面提供編程接口。同時rtsp對媒體數(shù)據(jù)層和rtp協(xié)議有著控制的權利，可以調(diào)整rtp會話參數(shù)，以及媒體層同步等等。rtsp是一個類似 http的服務器-客戶端的模型，但與http不同的是雙方都可發(fā)送請求并都可以響應請求，是一個對等互動的協(xié)商協(xié)議。在此視頻點播系統(tǒng)中，rtsp模塊通過tcp協(xié)議的三次握手機制來保證命令消息通道的可靠性。一方面接收服務器的確認信息傳給應用層進行處理；另一方面接收來自客戶端的命令信息，解析后反

12、饋給服務器。此外，rtsp模塊支持以下操作：（1）從媒體服務器端獲取媒體?？蛻舳四軌蛲ㄟ^http或者其它模式來請求一個的圖像描述。如果圖像正被多點傳輸，那么圖像描述就包含了用來傳輸連續(xù)媒體多點傳輸?shù)牡刂泛投丝?。如果圖像只能被單點傳送，那客戶端就要因為安全原因而提供給目的地址。（2）邀請媒體服務器參加會議。一個媒體服務器端能夠被“邀請”參加一個存在的會議，可以回放媒體成為圖像，或者記錄圖像中的媒體的全部或者一部分。（3）在存在圖像中增加媒體。尤其對于活動圖像，如果服務器能告訴客戶端，增加的媒體是有用的。3.3 rtp/rtcp模塊rtp/rtcp模塊是以客戶端為主的應用傳輸模塊。主要內(nèi)容包括：r

13、tp/rtcp協(xié)議棧的會話的建立，會話的傳輸，會話的控制和會話的終止。此模塊位于tcp/ip層之上，使用udp協(xié)議傳輸數(shù)據(jù)。當應用程序開始一個rtp會話時通常使用兩個端口：一個給rtp，一個給rtcp。在rtp會話期間，各參與者周期性地傳送rtcp包。rtcp包中含有已發(fā)送的數(shù)據(jù)包的數(shù)量、丟失的數(shù)據(jù)包的數(shù)量等統(tǒng)計資料，因此，服務器可以利用這些信息動態(tài)地改變傳輸速率，甚至改變有效載荷類型。rtp的媒體數(shù)據(jù)載荷加載準則依賴于不同的媒體編碼格式而不同，數(shù)據(jù)報文的格式按照rfc規(guī)定的實現(xiàn)，如圖4所示。圖4 rtp報文頭格式同時應用程序可以通過此模塊調(diào)整傳輸頻率去和接受者的能力相匹配，或者以適應網(wǎng)絡擁塞

14、。通過參加多點傳送組的適當?shù)淖蛹?，接受者能適應不同的網(wǎng)絡并控制他們的接受帶寬。此外模塊中所有的多媒體會話，都將視頻和音頻分別存放，這是為了保證在與某些不具有視頻功能的終端通信或者在網(wǎng)絡質(zhì)量惡劣的情況下，可以只提供音頻服務，而將視頻服務關閉。3.4 硬件媒體編解碼模塊硬件媒體編解碼器是基于mpeg-4實現(xiàn)的硬件codec，采集的視頻音頻原始數(shù)據(jù)通過它壓縮后形成mp4的數(shù)據(jù)格式，通過傳輸協(xié)議發(fā)往服務器；來自服務器的mp4視頻音頻數(shù)據(jù)通過codec還原為原始數(shù)據(jù)，送往終端顯示器，提供用戶動態(tài)界面。當然畫面可能因為壓縮和傳輸?shù)膿p傷有所下降，針對這樣的情況，協(xié)議棧將提供糾錯，補償，同步功能來修復損傷，力

15、圖保持最完美的視頻語音效果。4、流媒體同步機制流媒體數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)的一個主要不同是不同媒體流的集成，主要表現(xiàn)為同步方式。在3g視頻點播系統(tǒng)中，流媒體傳輸?shù)耐綑C制是一個非常關鍵的問題，同步機制設計的好壞直接涉及到了播放效果，而播放效果則是直接面向用戶，是檢驗媒體播放質(zhì)量的直接證據(jù)。媒體同步定義是不同媒體流之間以及數(shù)據(jù)流內(nèi)的基于時間的關系。目前有3層同步，分別是系統(tǒng)同步（流內(nèi)同步）、媒體間同步（流間同步）和用戶層同步（目標間同步）。媒體數(shù)據(jù)的同步丟失是由于從服務器發(fā)往客戶端的媒體數(shù)據(jù)報文因為不同的路由路徑導致，而且所有媒體數(shù)據(jù)的存儲轉(zhuǎn)發(fā)都將產(chǎn)生延遲和抖動。延遲以及延遲的可變性將導致以上3種同步的

16、丟失。因此，媒體間同步機制是必須的，以確保在客戶端正確的播放媒體數(shù)據(jù)。4.1 系統(tǒng)同步（流內(nèi)同步）系統(tǒng)同步（流內(nèi)同步）是底層同步。連續(xù)媒體或者時間相關的數(shù)據(jù)（比如，視頻和音頻）的媒體層同步是最底一層。媒體層的最小單位是邏輯數(shù)據(jù)單位（ldu），比如視頻和音頻幀，需要嚴格的按照時間順序以確保用戶可以精確的回放。系統(tǒng)同步缺失將導致播放暫?；蛱S。4.2 媒體間同步（流間同步）時間相關數(shù)據(jù)的流層同步是第二層。流層的最小單位是整個流。沒有流間的同步將導致不同媒體數(shù)據(jù)的失調(diào)。網(wǎng)絡的帶寬是完成流媒體傳輸?shù)奈镔|(zhì)基礎，在傳輸聲音、圖像、視頻等多媒體信息流時，即使這些媒體流予以壓縮，所需的帶寬仍然比文字文件大，但

17、并不是有足夠的帶寬就可以完全解決流媒體傳輸問題。一般而言，所需帶寬的多少是與應用密切相關的，從應用角度來看，只要用戶數(shù)不斷增加、信息服務量不斷增加，帶寬有多少都是不夠的。同步是媒體流的基本控制方法。流媒體是時間屬性的表現(xiàn)，這依賴于rtsp協(xié)議棧。4.3 用戶層同步（目標間同步）這是多媒體文獻中規(guī)定的最高層次的同步，是對象之間的同步，它集成了流和與時間無關的數(shù)據(jù)。對象間同步要求，如果某個以前定義的與時間相關的媒體目標到達客戶端，那么在一個允許的時間間隔內(nèi)，必須開始與之相對應的與時間無關的數(shù)據(jù)，同時停止與之不匹配的當前的與時間無關的數(shù)據(jù)。用戶層同步或交互同步，是最上層的同步，要求能反映和滿足用戶的交互性，容易為用戶理解接受。用戶層同步是交互性參與的同步，用戶可以控制和使用信息，如反復調(diào)用感興趣的內(nèi)容、快速掠過不感興趣的部分。雖然rtsp協(xié)議支持類似錄像機的功能：播放、快進、暫停、停止，但流媒體的交互性同步能力主要體現(xiàn)在數(shù)據(jù)流編碼過程中對交互性能的考慮。5、小結(jié)與展望近年來，無線移