一種新型的流媒體系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

1、一種新型的流媒體系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)論文摘要：本文介紹了一種適用于網(wǎng)絡(luò)帶寬不穩(wěn)定環(huán)境下的高效、可擴(kuò)展、自適應(yīng)以及魯棒的視頻流壓縮與傳輸技術(shù)，并以此為根底最終實(shí)現(xiàn)了一個(gè)流媒體系統(tǒng)。該系統(tǒng)由兩局部組成：流媒體壓縮局部和網(wǎng)絡(luò)傳輸控制局部。本文將詳細(xì)介紹這兩局部所采用的關(guān)鍵技術(shù)論文關(guān)鍵詞：流媒體,精細(xì)空域可擴(kuò)展編碼,反應(yīng)機(jī)制,帶寬自適應(yīng)策略隨著計(jì)算機(jī)技術(shù)、壓縮技術(shù)以及網(wǎng)絡(luò)技術(shù)的開展,網(wǎng)絡(luò)中的流媒體業(yè)務(wù)也得到了飛速的開展和應(yīng)用。但是受現(xiàn)有的網(wǎng)絡(luò)帶寬和效勞質(zhì)量的限制,在網(wǎng)絡(luò)上傳送大數(shù)據(jù)量的多媒體信息仍然顯得很吃力。主要原因其一是傳輸多媒體數(shù)據(jù)量相對(duì)于網(wǎng)絡(luò)帶寬而言大得多,其二現(xiàn)有的網(wǎng)絡(luò)環(huán)境不夠穩(wěn)定,在傳輸大數(shù)據(jù)量

2、時(shí)容易造成丟包和擁塞等情況。為了解決此問題,可以采用一種高效的編碼手段,將媒體信息在不明顯降低質(zhì)量的情況下,盡可能的壓縮數(shù)據(jù)。并可根據(jù)不同網(wǎng)絡(luò)帶寬的條件,按不同的數(shù)據(jù)壓縮比進(jìn)行數(shù)據(jù)壓縮。此外還需要在編碼過程中融入一些容錯(cuò)機(jī)制和碼率控制技術(shù),以適應(yīng)各種惡劣的網(wǎng)絡(luò)條件。為此，本文著重介紹了應(yīng)用層的基于視頻的壓縮編碼技術(shù)和基于反應(yīng)機(jī)制的帶寬自適應(yīng)策略，并在此根底上構(gòu)建了一個(gè)可擴(kuò)展的、魯棒的流媒體系統(tǒng)。流媒體技術(shù)簡介流媒體技術(shù)的開發(fā)創(chuàng)意是從傳統(tǒng)的TCP/IP協(xié)議對(duì)通過網(wǎng)絡(luò)傳送信息的控制方法中得到的。流技術(shù)能夠按照特定的順序?qū)⑽募l(fā)送出去,而播放程序那么可以邊接收數(shù)據(jù)邊播放他們。流媒體的形式主要有以下五

3、種:流式音頻、流式視頻、流式動(dòng)畫、流式圖象、流式文本。流媒體實(shí)現(xiàn)的關(guān)鍵技術(shù)流式傳輸,流式傳輸?shù)亩x很廣泛,現(xiàn)在主要指通過網(wǎng)絡(luò)傳送媒體(如視頻、音頻等)的技術(shù)總稱。其特定含義為通過INTERNET將影視節(jié)目傳送到PC機(jī)。目前實(shí)現(xiàn)流式傳輸有兩種方法:順序流式傳輸(progressivestreaming)和實(shí)時(shí)流式傳輸(Realtimestreaming)。在進(jìn)行流式傳輸時(shí),首先,多媒體數(shù)據(jù)必須進(jìn)行預(yù)處理才能適合流式傳輸,這是因?yàn)槟壳暗木W(wǎng)絡(luò)帶寬對(duì)多媒體巨大的數(shù)據(jù)流量來說還顯得遠(yuǎn)遠(yuǎn)不夠。預(yù)處理主要包括兩方面:一是降低質(zhì)量;二是采用先進(jìn)高效的壓縮算法。其次,流式傳輸?shù)膶?shí)現(xiàn)需要緩存。這是因?yàn)镮ntern

4、et是以包傳輸為根底進(jìn)行斷續(xù)的異步傳輸。各個(gè)包到達(dá)的時(shí)間不盡相同,因此采用接收緩存后,可以彌補(bǔ)延遲和抖動(dòng)的影響,并保證數(shù)據(jù)包的順序正確。再次,流式傳輸?shù)膶?shí)現(xiàn)需要適宜的傳輸協(xié)議。HTTP協(xié)議對(duì)文本傳輸比擬適宜,但對(duì)于實(shí)時(shí)圖像的傳輸,一般采用RTP/UDP來傳輸。2精細(xì)時(shí)域可擴(kuò)展編碼隨著因特網(wǎng)業(yè)務(wù)的巨大增長,在速率起伏很大的IP網(wǎng)絡(luò)及具有不同傳輸特性的異構(gòu)網(wǎng)絡(luò)上進(jìn)行視頻傳輸?shù)囊蠛蛻?yīng)用越來越多。在這種背景下,視頻分級(jí)編碼的重要性日益突出,其應(yīng)用非常廣泛,且具有很高的理論研究及實(shí)際應(yīng)用價(jià)值,因此受到人們的極大關(guān)注。視頻編碼的可分級(jí)性(scalability)是指碼率的可調(diào)整性,即視頻數(shù)據(jù)只壓縮一次,

5、卻能以多個(gè)幀率、空間分辨率或視頻質(zhì)量進(jìn)行解碼,從而可支持多種類型用戶的各種不同應(yīng)用要求。MPEG-4通過視頻對(duì)象層(VOL,VideoObjectLayer)數(shù)據(jù)結(jié)構(gòu)來實(shí)現(xiàn)分級(jí)編碼。MPEG-4支持三種分級(jí)編碼方式:時(shí)域分層編碼和空域分層編碼和質(zhì)量分層編碼,此外還支持時(shí)域和空域的混合分層編碼。每一種分級(jí)編碼都至少有兩層VOL,低層稱為根本層,高層稱為增強(qiáng)層。根本層提供了視頻序列的根本信息,增強(qiáng)層提供了視頻序列更高的分辨率和細(xì)節(jié)。它在編碼的時(shí)候一次能生成多個(gè)不同分辨率的碼流。但各個(gè)壓縮層的碼率在編碼完成后就固定了,而且一般間距較大。此外傳統(tǒng)的擴(kuò)展編碼方式的對(duì)增強(qiáng)層進(jìn)行預(yù)測與補(bǔ)償編碼時(shí),都是以同層

6、的視頻幀作為參考幀。在這種情況下,傳統(tǒng)的擴(kuò)展編碼存在以下兩個(gè)問題:其一,碼率只能提供跳躍性變換的幾種碼率,難以完全利用網(wǎng)絡(luò)帶寬資源,用戶通過接收多個(gè)組播組的壓縮視頻數(shù)據(jù)只能獲得有限的碼率調(diào)整范圍。例如,當(dāng)編碼時(shí)提供32Kbps、96Kbps,224Kbps質(zhì)量的視頻時(shí),如果有一個(gè)帶寬為180Kbps的用戶接入,那么他最多只能獲得96Kbps的視頻質(zhì)量,帶寬利用率不高。其二、以同一增強(qiáng)層的視頻幀作為預(yù)測參考幀時(shí),一旦某一個(gè)增強(qiáng)層的幀發(fā)生錯(cuò)誤,它后面的增強(qiáng)層都將無法解碼,直到遇到下一個(gè)I幀為止,即會(huì)導(dǎo)致嚴(yán)重的錯(cuò)誤傳播現(xiàn)象。所以傳統(tǒng)的擴(kuò)展編碼更多的是用于存儲(chǔ),而由于網(wǎng)絡(luò)的異構(gòu)性和缺乏Qos保證帶寬在

7、一個(gè)很大的范圍內(nèi)發(fā)生變化,因此面向網(wǎng)絡(luò)傳輸?shù)囊曨l編碼的目標(biāo)是將視頻壓縮成適合一個(gè)碼率范圍的碼流。根據(jù)實(shí)際應(yīng)用的需求,要求我們的可擴(kuò)展編碼能夠提供一個(gè)在一定范圍內(nèi)連續(xù)可調(diào)的碼流,盡可能的提高網(wǎng)絡(luò)帶寬的利用率。目前我們實(shí)現(xiàn)的根本思想就是:將視頻編碼成一個(gè)可以單獨(dú)解碼的根本層碼流和一個(gè)可以在任何地點(diǎn)截?cái)嗟脑鰪?qiáng)層碼流,其中根本層碼流適應(yīng)最低的網(wǎng)絡(luò)帶寬,而增強(qiáng)層碼流用來覆蓋網(wǎng)絡(luò)帶寬變化的動(dòng)態(tài)范圍。實(shí)現(xiàn)這種功能的編碼方式就是精細(xì)空域可擴(kuò)展編碼FGSS(FineGranularSpatiallyScalable)。PFG那么是為改善FGS編碼效率而提出的視頻編碼算法,它克服了FGS編碼中編碼效率低于非可擴(kuò)展

8、編碼及接收端視頻質(zhì)量非最優(yōu)兩個(gè)缺乏點(diǎn)。其根本思想是在增強(qiáng)層圖像編碼時(shí)使用前一幀重建的某個(gè)增強(qiáng)層圖像為參考進(jìn)行運(yùn)動(dòng)補(bǔ)償,以使運(yùn)動(dòng)補(bǔ)償更加有效,從而提高編碼效率。其編碼體系結(jié)構(gòu)圖如圖1 圖1 編碼體系結(jié)構(gòu)圖 3基于反應(yīng)的帶寬自適應(yīng)策略圖2為反應(yīng)機(jī)制的圖示，該策略利用接收端對(duì)網(wǎng)絡(luò)接收情況的分析統(tǒng)計(jì)信息，對(duì)編碼發(fā)送進(jìn)行及時(shí)、系統(tǒng)的調(diào)節(jié)。經(jīng)試驗(yàn)證明該策略能有效地應(yīng)對(duì)移動(dòng)通信網(wǎng)絡(luò)帶寬抖動(dòng)的特性，在時(shí)間與空間上具有較強(qiáng)的通用性。其時(shí)變性主要表現(xiàn)在該網(wǎng)絡(luò)發(fā)送數(shù)據(jù)的應(yīng)用過程中存在的明顯的門限效應(yīng)，即當(dāng)數(shù)據(jù)發(fā)送速率R低于該門限RT時(shí)，數(shù)據(jù)包喪失概率根本小于1%，而當(dāng)數(shù)據(jù)發(fā)送速率超過該門限時(shí)，數(shù)據(jù)包喪失概率將大幅上

9、升，而該門限隨信道物理情況改變。因此，通過控制其發(fā)送速率小于目前網(wǎng)絡(luò)帶寬門限就可以到達(dá)降低數(shù)據(jù)包喪失概率，從而提高接收端視頻回放的實(shí)時(shí)性，連續(xù)性要求。然而，該門限值的獲得，實(shí)際是難以通過直接測量獲得的，我們應(yīng)用該門限效應(yīng)來猜想;當(dāng)前的帶寬門限值如圖3示。3.1反應(yīng)機(jī)制的流程該猜想;過程，主要由接收端的反應(yīng)和發(fā)送端的相應(yīng)調(diào)整所構(gòu)成，如圖4-1所示。具體步驟如下：首先在發(fā)送端為每一個(gè)實(shí)際發(fā)出的數(shù)據(jù)包標(biāo)記連續(xù)的序列號(hào)SN，且發(fā)送端的包率N保持恒定，初始數(shù)據(jù)包長度記做L。接收端解析收到數(shù)據(jù)包的序號(hào)SN，根據(jù)接收到的總數(shù)據(jù)包數(shù)量N及在該時(shí)間段內(nèi)應(yīng)該收到的總數(shù)據(jù)包數(shù)量xN，計(jì)算出在目前時(shí)間和-間的包喪失概

10、率：并將該喪失概率在時(shí)間t反應(yīng)至發(fā)送端。發(fā)送端根據(jù)收到的丟包概率t調(diào)整目前的數(shù)據(jù)包長度L。如果 丟包率較高，可能由于造成 那么：降低發(fā)送速率，減少丟包率 丟包率較低， 那么：提高發(fā)送速率，提高視頻質(zhì)量 其中，為每次數(shù)據(jù)包長度減小常量，為每次數(shù)據(jù)包長度增加常量；L為數(shù)據(jù)包長度最小值，L為數(shù)據(jù)包長度最大值。實(shí)際應(yīng)用中，一些情況下丟包還有可能由隨機(jī)的比特錯(cuò)誤造成，在這種情況下降低發(fā)送速率將導(dǎo)致不必要的視頻質(zhì)量下降。因此需要將由發(fā)送速率大于門限出現(xiàn)的丟包與隨機(jī)比特錯(cuò)誤造成的丟包進(jìn)行區(qū)分。由于信道中的隨機(jī)比特錯(cuò)誤分布相對(duì)分散，不會(huì)在長時(shí)間內(nèi)連續(xù)出現(xiàn)，而當(dāng)發(fā)送速率超過門限產(chǎn)生的丟包往往將持續(xù)較長時(shí)間。所以

11、當(dāng)一個(gè)檢測時(shí)間段內(nèi)發(fā)生丟包，而后一個(gè)檢測時(shí)間段內(nèi)無丟包那么把該丟包認(rèn)為是隨機(jī)發(fā)生的，并不進(jìn)行發(fā)送速率調(diào)整，只有當(dāng)連續(xù)兩個(gè)監(jiān)測時(shí)間段內(nèi)出現(xiàn)高丟包時(shí)才開始降低發(fā)送速率。3.2系統(tǒng)參數(shù)的設(shè)定:是統(tǒng)計(jì)數(shù)據(jù)包接受數(shù)量的時(shí)間單位，的設(shè)置必須使得系統(tǒng)在能收到足夠的數(shù)據(jù)包用以統(tǒng)計(jì)丟包概率，而又不宜設(shè)定過長導(dǎo)致對(duì)數(shù)據(jù)發(fā)送速率調(diào)節(jié)效率低下。該參數(shù)取值應(yīng)與移動(dòng)通信網(wǎng)絡(luò)信道變化速度頻率相適應(yīng)。與:在實(shí)際應(yīng)用中，為了最大程度地保證視頻回放的流暢，的數(shù)值應(yīng)小于，在面對(duì)網(wǎng)絡(luò)帶寬門限RT突然降低的情況下，能在一個(gè)的周期內(nèi)，調(diào)整到網(wǎng)絡(luò)帶寬門限RT以下。L:L應(yīng)小于或等于當(dāng)前網(wǎng)絡(luò)的最大傳輸單元(MaximumTransmissi

12、onUnit，MTU)。Ns:Ns應(yīng)保證當(dāng)前發(fā)送端發(fā)送數(shù)據(jù)的最大速率，即NsxLH應(yīng)等于網(wǎng)絡(luò)的最大有效帶寬。L:L的設(shè)定應(yīng)保證NsxL的是當(dāng)前網(wǎng)絡(luò)能平安地傳輸數(shù)據(jù)的最大速率值。該反應(yīng)機(jī)制根據(jù)當(dāng)前接收端對(duì)數(shù)據(jù)包接收的統(tǒng)計(jì)信息，對(duì)視頻數(shù)據(jù)發(fā)送速率進(jìn)行迅速的調(diào)整，當(dāng)信道帶寬門限下降時(shí)，在最慢兩個(gè)的周期內(nèi)進(jìn)行調(diào)整，將視頻傳輸?shù)耐刂圃趦蓚€(gè)的周期內(nèi)；而當(dāng)信道帶寬上升時(shí)，也將逐步提高發(fā)送速率，獲得較高的帶寬利用率。4系統(tǒng)設(shè)計(jì)框架 圖4 媒體傳輸流程圖 此為該系統(tǒng)完整的原理圖，多媒體信息首先通過各種采集設(shè)備如攝像頭、錄像機(jī)、攝影機(jī)等,將采集多媒體信息經(jīng)A/D轉(zhuǎn)換后存儲(chǔ)。而這些存儲(chǔ)的信息就交給媒體編碼模塊進(jìn)

13、行高壓縮比的編碼,在編碼過程中,除了采用DCT變換和運(yùn)動(dòng)估計(jì)和補(bǔ)償算法等這些常規(guī)的媒體壓縮技術(shù)外,還采用了既滿足壓縮比、又適應(yīng)網(wǎng)絡(luò)條件的精細(xì)空域可擴(kuò)展性編碼。這種編碼方式經(jīng)DCT變換后,不是進(jìn)行簡單的量化處理,而采用了位平面編碼技術(shù),從而可以對(duì)紋理信息進(jìn)行一個(gè)由粗到細(xì)的漸進(jìn)編碼過程。媒體信息經(jīng)編碼后需要發(fā)送到接收端,此時(shí),中間的網(wǎng)絡(luò)條件成為影響系統(tǒng)性能的關(guān)鍵因素。為此在該系統(tǒng)的效勞器端增加了碼流監(jiān)控模塊,實(shí)時(shí)地反映當(dāng)前網(wǎng)絡(luò)情況,上層控制程序那么根據(jù)這個(gè)反應(yīng)過來的帶寬情況及時(shí)調(diào)整發(fā)送碼流的速率。5結(jié)束語在遠(yuǎn)程教育、數(shù)字圖書館、電子商務(wù)、視頻點(diǎn)播、交互電視、遠(yuǎn)程醫(yī)療、網(wǎng)絡(luò)音/視頻、實(shí)時(shí)多媒體會(huì)議等方面,多媒體技術(shù)都起到很重要的作用。但MPEG-4受傳統(tǒng)網(wǎng)絡(luò)條件的限制,當(dāng)前要利用網(wǎng)絡(luò)條件應(yīng)用多媒體技術(shù)還需要采用一些關(guān)鍵性技術(shù)。我們相信通過這多種