流媒體傳輸技術(shù)

1、流媒體傳輸技術(shù)學號： 姓名：孫磊摘要:隨著Internet應(yīng)用的逐步深入，為了滿足用戶同時傳遞多種信息、提高視音頻播放和下載的同步效率，流媒體產(chǎn)生。在IPTV中，流媒體傳輸技術(shù)的應(yīng)用非常重要，本文簡要介紹了流媒體傳輸?shù)母拍?、技術(shù)和傳輸方式等。并介紹了其在視頻容錯和掩錯時怎樣提高傳輸和播放效率。關(guān)鍵字：流媒體 傳輸方式 容錯 掩錯正文：一、 流媒體的基本概念1、概念流媒體是指網(wǎng)絡(luò)中使用流式傳輸技術(shù)進行傳輸?shù)倪B續(xù)時基媒體數(shù)據(jù)的一種格式，而不是一種新的媒體。流媒體在播放前只將部分內(nèi)容緩存，并不下載整個文件。在數(shù)據(jù)流傳送的同時，用戶可在計算機上利用相應(yīng)的軟件播放器或其它的硬件設(shè)備對壓縮的動畫、視音頻等

2、流式多媒體文件進行解壓播放，就省下了下載等待時間和存儲空間，時延大大減少，而多媒體文件的剩余部分將在后臺的服務(wù)器內(nèi)繼續(xù)下載。2、與下載播放的比較流媒體之前的播放方式是下載播放。即在播放視音頻之前必須把整個影音文件下載并儲存在本地計算機上，然后才可以播放。與這種傳統(tǒng)播放方式相比，流式播放技術(shù)采用邊下邊播放的方式，用戶只需經(jīng)過幾秒或幾十秒的啟動延時即可在終端上對壓縮的視音頻解壓播放。3、最初來源流式傳輸技術(shù)的思路來源于傳統(tǒng)的FTP/TCP(文件傳輸協(xié)議/傳輸控制協(xié)議)：服務(wù)器按照一定的順序?qū)⑽募指畛扇舾蓚€數(shù)據(jù)分段，封裝到分組中依次進行傳輸，客戶端收到分組后重新組裝起來，最終形成與原來一樣的完整文

3、件。流式傳輸技術(shù)就是一種分割技術(shù)，它把媒體數(shù)據(jù)流分成適當大小的分組，然后在流媒體服務(wù)器和客戶端之間進行連續(xù)、實時傳輸。【1】二、 流媒體系統(tǒng)和關(guān)鍵技術(shù)1、 流媒體系統(tǒng)流媒體系統(tǒng)通常包括信源編碼器、媒體存儲設(shè)備、流媒體服務(wù)器、媒體流傳輸網(wǎng)絡(luò)、客戶端播放器。原始音視頻源經(jīng)過編碼壓縮后，形成合適的流格式媒體文件存儲，媒體服務(wù)器根據(jù)用戶的請求把流媒體文件傳遞到用戶端的媒體播放器。2、 關(guān)鍵技術(shù)壓縮編碼編碼器的功能是對輸入的原始音視頻信號進行壓縮編碼。編碼器要有高的壓縮比性能，還應(yīng)該考慮網(wǎng)絡(luò)的適應(yīng)性進行碼率控制，必須考慮傳輸中數(shù)據(jù)丟失對解碼質(zhì)量的影響。流媒體服務(wù)器流媒體系統(tǒng)中的流媒體服務(wù)器用于存放和控制

4、流媒體的數(shù)據(jù)。流媒體傳輸流媒體在IP網(wǎng)絡(luò)上的傳輸必然涉及到網(wǎng)絡(luò)傳輸協(xié)議，這是制約流媒體傳輸性能最重要的因素。為了保證對網(wǎng)絡(luò)擁塞、時延和抖動極其敏感的流媒體業(yè)務(wù)在面向無連接的IP網(wǎng)絡(luò)中的服務(wù)質(zhì)量，必須采用合適的協(xié)議，其中包括Internet本身的多媒體傳輸協(xié)議，以及一些實時流式傳輸協(xié)議等。三、 IPTV中的流媒體傳輸方式1、 ISMA方式ISMA（Internet流媒體聯(lián)盟）是在2000年12月成立的標準化組織，目標是制定Internet流媒體編碼器、服務(wù)器和播放器之間的開放標準，其原則是最大程度地利用現(xiàn)有Internet國際標準。【2】上圖為ISMA方式的流傳輸基本過程。ISMA方式通過服務(wù)器

5、/客戶端的機構(gòu)實現(xiàn)流媒體的傳輸，在應(yīng)用層采用了RTSP控制協(xié)議，媒體數(shù)據(jù)采用RTP封裝后承載在TCP或UDP上，并通過RTP/RTCP協(xié)議進行傳輸質(zhì)量的檢測。媒體數(shù)據(jù)SDPRTPRTSPUDPTCPIP以太網(wǎng)/AAL5等上圖是ISMA方式的流傳輸協(xié)議棧在ISMA協(xié)議棧中，媒體數(shù)據(jù)需要經(jīng)過流式處理，MPEG-4格式遵循MP4文件格式規(guī)范，H.264格式遵循高級視頻編碼文件格式規(guī)范。2、 MPEG-2 TS over IP方式MPEG-2 TS（Transport Stream）參考標準為MPEG-2的系統(tǒng)層，即ISO/IEC 13818-1. MPEG-2 TS是數(shù)字電視領(lǐng)域廣泛采用的流式傳輸標

6、準?！?】MPEG-2 TS over IP方式的流傳輸基本過程如圖MPEG-2 TS over IP方式同樣采用服務(wù)器/客戶端的結(jié)構(gòu)。因為ISO/IEC 13818-1標準未定義控制層協(xié)議，應(yīng)用于IPTV后，MPEG-2 TS over IP方式在控制層可采用RTSP或HTTP協(xié)議，媒體數(shù)據(jù)采用MPEG-2 TS封裝后，一般承載在UDP上。為了克服網(wǎng)絡(luò)抖動問題，也可在UDP之上采用RTP協(xié)議封裝TS包。MPEG-2 TS over IP方式的流傳輸協(xié)議棧SI媒體數(shù)據(jù)RTSP或HTTPMPEG-2 TS RTP（可選）UDPIPTS包由包頭、自適應(yīng)區(qū)和包數(shù)據(jù)3部分組成。由于每個包長度為固定的1

7、88字節(jié)，在封裝成UDP包和IP包后，需要考慮合適的包長度。與ISMA方式不同，MPEG-2 TS over IP方式是將視音頻數(shù)據(jù)復(fù)用后再封裝成TS包，因此輸出流是單一的。四、 視頻容錯編碼與掩錯技術(shù)當前視頻編碼標準都是采用運動補償和預(yù)測消除時間冗余、采用變換編碼消除空間冗余、通過對色度空間的轉(zhuǎn)換消除色度空間的冗余。然后對DCT變換系數(shù)進行量化，對量化后的非零系數(shù)進行游長編碼和熵編碼，最后獲得壓縮后的比特流。視頻編碼技術(shù)在減少冗余數(shù)據(jù)的同時，也降低了視頻流抵抗傳輸差錯的能力。在基于運動補償預(yù)測的視頻編碼中，一幀數(shù)據(jù)中發(fā)生的錯誤不僅影響到當前幀的重建圖像質(zhì)量，而且會延續(xù)到隨后的預(yù)測幀，從而嚴重

8、影響重建的視頻質(zhì)量。由于視頻應(yīng)用具有實時性，對時延很敏感，因此視頻流數(shù)據(jù)出現(xiàn)差錯后，就要求視頻編碼技術(shù)本身必須對傳輸誤碼有容錯和掩錯能力。在IP網(wǎng)絡(luò)傳輸中，容錯可以從信道編碼和信源編碼兩方面進行，而掩錯一般在解碼端進行。1、 編碼端的容錯編碼技術(shù)克服比特流同步丟失的方法比特流同步丟失，是指傳輸差錯導(dǎo)致解碼器不能追蹤到哪些比特位代表什么參數(shù)?？朔忍亓魍絹G失問題的關(guān)鍵在于提供這樣一套機制:在傳輸差錯發(fā)生的時候，解碼器能夠快速的把問題隔離開，并及時實施“再同步”。（1） 再同步標記基本原理：在比特流里設(shè)置唯一的而且容易找到的一個入口點，一旦解碼器失去同步，它能快速地找到下一個同步點并從該點繼續(xù)開

9、始解碼。MPEG-1/2和H.261/3是在壓縮的視頻層次結(jié)構(gòu)的關(guān)鍵位置如圖像或者宏塊條的首部位置，設(shè)置再同步標記。這種方法是在間隔固定數(shù)目塊的位置設(shè)置再同步標記，它對應(yīng)的是不同數(shù)目的比特位。由于在活動區(qū)域需要更多的比特位，再同步標記會間隔太遠，而在許多情況下這些活動區(qū)域更有可能受到損壞。為了解決這一問題，MPEG-4采用了間隔固定數(shù)目的比特位周期性地設(shè)置再同步標記的方法。優(yōu)點是減少了互動區(qū)域被損壞的可能性，簡化了搜尋再同步標記的程序。在解碼端，解碼器判斷誤碼發(fā)生：變長編碼的碼字不存在，運動矢量超出預(yù)測范圍，DCT超過精度范圍，以及DCT系數(shù)的個數(shù)超過像素塊的容量。在最壞的情況下，沒有使用再同

10、步標記技術(shù)的視頻編解碼器將損失或丟棄一個宏塊條數(shù)據(jù)，使用該技術(shù)的視頻編解碼器則只損失一個像素宏塊的數(shù)據(jù)。當然使用再同步標記技術(shù)需要增加額外的冗余比特，從而降低編碼效率，增加網(wǎng)絡(luò)的額外載荷。（2） 數(shù)據(jù)分割由于誤碼可能導(dǎo)致同步標記的丟失，跟隨于誤碼后面的碼流也將變得無法解析。視頻的重要信息包括各層次的頭信息、運動矢量、DCT的直流系數(shù)、MPEG-4中的形狀信息等應(yīng)放置在緊靠在同步標記之后，接著再放置其他不太重要的信息。這一方法被稱為數(shù)據(jù)分割。在MPEG-1/2和H.261/3比特流中的數(shù)據(jù)位置是按照一個宏塊接一個宏塊的方式持續(xù)下去的，并沒有考慮到不同類型數(shù)據(jù)的重要性不同。在H.264/AVC的比

11、特流中，宏塊的傳輸順序由宏塊分配映射確定，而不一定按光柵掃描的順序進行。H.264/AVC支持靈活的宏塊排序方式：圖中的宏塊可以組成一個或幾個宏塊條組，每一個宏塊條組單獨傳輸，當一個宏塊條組發(fā)生丟失時，可以利用與之臨近的已經(jīng)正確接收到的另一宏塊條組中的宏塊進行有效的差錯掩蓋。時間域內(nèi)的容錯編碼技術(shù)如果有傳輸差錯發(fā)生，即使對比特流是是在同步標記，仍然會出現(xiàn)另一個問題：解碼器表示出的狀態(tài)同編碼器的狀態(tài)不相同。尤其是當采用運動預(yù)測和補償技術(shù)的時候，這種不匹配會導(dǎo)致預(yù)測錯誤以至出現(xiàn)顯著的差錯蔓延，嚴重損害后續(xù)很多幀。 隨機幀內(nèi)編碼 限制傳輸差錯蔓延最簡單的辦法是只采用幀內(nèi)編碼幀（即I幀）。由于I幀沒有

12、采用任何的時間域預(yù)測，因此避免了傳輸差錯的蔓延，但是其壓縮效率卻很低。另一個方法是周期性地采用I幀，如MPEG-1/2視頻流層次結(jié)構(gòu)中就采用了圖像組（GOP）結(jié)構(gòu)，每個GOP的起始幀就是I幀【4】。周期性地重新初始化預(yù)測環(huán)的方式，可以把傳輸差錯蔓延范圍限制在最多一個GOP范圍內(nèi)。但是周期性地使用I幀壓縮了效率。因此，可以對每一幀采用局部的幀內(nèi)編碼，追對獨立的宏塊實施，最簡單的辦法就是對不同位置的宏塊實施周期性的幀內(nèi)編碼。 (2) 參考幀選擇 在編碼器和解碼器端都有多個幀存儲器，編碼器端應(yīng)保持最近編碼的n幀重建圖像，根據(jù)一定得編碼策略，由TRP指示確定采用哪一幀作為幀間編碼的參考幀。解碼器端也保

13、存最近正確解碼的n幀重建圖像，通過選擇TRP所指示的參考幀進行解碼，當TRP所指示的幀在本地存儲中不存在時，則通過反饋信息指示編碼器強制做幀內(nèi)編碼。該模式使用一個反向通道將解碼器端的反饋信息如哪幀圖像的哪些部分已正確或錯誤地接收到哪些幀，于是由編碼器決定哪一幀應(yīng)當作為下一次預(yù)測編碼用的參考幀。 不足：由于這種方法需保存一定數(shù)量的重建圖像，因此編解碼器端都需要設(shè)立大量的存儲器。反饋信息的傳輸延時，使得該方法不能滿足實時處理的要求。2、 解碼段的掩錯技術(shù)掩錯技術(shù)的工作原理主要依據(jù)以下兩個特性:（1） 視頻信號在空間域、時間域具有極強的相關(guān)性。（2） 人眼視覺系統(tǒng)容忍一定程度的視頻失真?？臻g域的掩錯

14、技術(shù) 空間域掩錯技術(shù)主要利用了視頻序列的空間域相關(guān)性，通過有效鄰域的空間插值算法來估計出當前出錯或丟失的數(shù)據(jù)塊。該掩錯技術(shù)依賴于幀內(nèi)僅有局部數(shù)據(jù)損失的假設(shè)，即出錯數(shù)據(jù)塊周邊的其他數(shù)據(jù)應(yīng)該是完好的。例如，若一幀圖像中的一個宏塊數(shù)據(jù)出錯，而其四周的宏塊數(shù)據(jù)完好，則出錯宏塊的數(shù)據(jù)可用其周邊的4個宏塊數(shù)據(jù)的線性插值來代替。但是該技術(shù)的計算復(fù)雜度很高，因為每一個像素都需要插值計算。 頻率域的掩錯技術(shù) 鎮(zhèn)內(nèi)編碼模式把視頻的空間域信號轉(zhuǎn)換成頻率域信號，且變換后像素塊內(nèi)數(shù)據(jù)的相關(guān)性被大大削弱。由于同一幀內(nèi)像素塊間存在著相關(guān)性，因而相鄰像素塊的頻率域系數(shù)也存在著相關(guān)性，且頻率越低的系數(shù)其相關(guān)性越強。頻率域的掩錯技術(shù)要求出錯數(shù)據(jù)塊周邊的其他數(shù)據(jù)塊是完好的，且編碼模式也是幀內(nèi)的，因此對幀間編碼模式無效，缺損數(shù)據(jù)塊的頻率域系數(shù)的相關(guān)性只存在于低頻率系數(shù)中，對高頻率系數(shù)則相關(guān)性很低。在頻率域系數(shù)恢復(fù)后，只需對其進行逆變換就可以獲得整塊像素的恢復(fù)。從復(fù)雜度的角度而言，頻率域掩錯要優(yōu)于空間域掩錯技術(shù)。 時間域的掩錯技術(shù) 當一幀圖像中的某部分數(shù)據(jù)出錯后，最簡單的修補辦法就是利用視頻信號在時間域中的相關(guān)性，用前一幀相應(yīng)位置的像素取代本幀中出錯的像素，這種方法就是時