(26)-6.6 多媒體應(yīng)用計(jì)算機(jī)網(wǎng)絡(luò)計(jì)算機(jī)網(wǎng)絡(luò)

27.1多媒體應(yīng)用本講要點(diǎn)實(shí)時(shí)多媒體數(shù)據(jù)傳輸中的問(wèn)題實(shí)時(shí)運(yùn)輸協(xié)議RTP流式存儲(chǔ)音頻/視頻流式實(shí)況音頻/視頻實(shí)時(shí)交互音頻/視頻重點(diǎn)：RTP協(xié)議的概念、三類(lèi)多媒體應(yīng)用音視頻文件的特點(diǎn)難點(diǎn)：實(shí)時(shí)多媒體數(shù)據(jù)傳輸中的問(wèn)題27.1.1概述多媒體網(wǎng)絡(luò)應(yīng)用往往數(shù)據(jù)量巨大，要求更高的網(wǎng)絡(luò)帶寬，并且與傳統(tǒng)的彈性應(yīng)用（如電子郵件、文件傳輸、網(wǎng)頁(yè)瀏覽等）不同的是，對(duì)端到端時(shí)延和時(shí)延抖動(dòng)高度敏感，但卻可容忍少量的數(shù)據(jù)丟失。三類(lèi)多媒體應(yīng)用：流式存儲(chǔ)音頻/視頻流式實(shí)況音頻/視頻實(shí)時(shí)交互音頻/視頻27.1.2實(shí)時(shí)多媒體數(shù)據(jù)傳輸中的問(wèn)題1.音/視頻壓縮含有音頻或視頻的多媒體信息往往信息量巨大，會(huì)消耗大量的存儲(chǔ)空間和網(wǎng)絡(luò)帶寬，導(dǎo)致很大的傳輸時(shí)延。因此在網(wǎng)上傳送多媒體信息都無(wú)例外地采用各種信息壓縮技術(shù)。話(huà)音壓縮技術(shù)立體聲音樂(lè)的壓縮技術(shù)視頻壓縮技術(shù)2.時(shí)延抖動(dòng)消除實(shí)時(shí)音頻/視頻源以恒定速率產(chǎn)生并發(fā)送分組，因而這些分組是等時(shí)(isochronous)的。但由于端到端的時(shí)延抖動(dòng)，通過(guò)因特網(wǎng)到達(dá)接收方的分組則是非等時(shí)的tt因特網(wǎng)等時(shí)到達(dá)的分組恒定速率非恒定速率2.時(shí)延抖動(dòng)消除接收端需設(shè)置適當(dāng)大小的緩存。當(dāng)緩存中的分組數(shù)達(dá)到一定的數(shù)量后再以恒定速率按順序把分組讀出進(jìn)行還原播放（需要打上時(shí)間戳）。緩存實(shí)際上就是一個(gè)先進(jìn)先出的隊(duì)列。圖中標(biāo)明的T叫做播放時(shí)延。tT緩存（隊(duì)列）恒定速率t非恒定速率有可能發(fā)生分組丟失3.丟失分組恢復(fù)數(shù)據(jù)丟失會(huì)直接影響多媒體的播放質(zhì)量。雖然TCP可以有效解決分組丟失問(wèn)題，但會(huì)導(dǎo)致比UDP大很多的時(shí)延抖動(dòng)。事實(shí)上，重傳一個(gè)已經(jīng)錯(cuò)過(guò)播放時(shí)間的分組是毫無(wú)意義的。在實(shí)時(shí)多媒體應(yīng)用中傾向于使用前向糾錯(cuò)或數(shù)據(jù)恢復(fù)等技術(shù)來(lái)重建丟失的分組，或采用交織技術(shù)來(lái)減少分組丟失對(duì)對(duì)媒體流質(zhì)量的影響。前向糾錯(cuò)前向糾錯(cuò)的基本思想是在原始分組流中添加冗余信息。對(duì)于少量的丟失分組，能夠用這些冗余信息重建丟失數(shù)據(jù)。一個(gè)例子：數(shù)據(jù)塊1,2,3,4異或生成數(shù)據(jù)塊51因特網(wǎng)接收方發(fā)送方234512345由數(shù)據(jù)塊1,2,4,5異或重建丟失的數(shù)據(jù)塊3接收方數(shù)據(jù)恢復(fù)利用音視頻流的短期自相似特性，當(dāng)少量數(shù)據(jù)丟失時(shí)，可以用相鄰數(shù)據(jù)來(lái)估算丟失數(shù)據(jù)的近似值，從而減少丟失數(shù)據(jù)對(duì)音視頻播放質(zhì)量的影響。最簡(jiǎn)單的方法：用丟失分組的前一個(gè)分組來(lái)代替丟失分組。效果更好但計(jì)算量更大的方法：使用內(nèi)插法，根據(jù)丟失分組的前后數(shù)據(jù)來(lái)估計(jì)它們之間的數(shù)據(jù)。數(shù)據(jù)交織一個(gè)大間隙的數(shù)據(jù)丟失對(duì)音頻/視頻流質(zhì)量影響較大，而多個(gè)小間隙的數(shù)據(jù)丟失對(duì)音頻/視頻流質(zhì)量影響較小。交織技術(shù)的基本思想是打亂原始流中數(shù)據(jù)單元的順序，把原來(lái)連續(xù)的數(shù)據(jù)單元分散到不同的分組中去，當(dāng)單個(gè)分組丟失時(shí)，僅導(dǎo)致重建流中多個(gè)小的間隔，而不是一個(gè)大的間隔。數(shù)據(jù)交織實(shí)例例子：因特網(wǎng)交織后的媒體流12345678910111213141516159132610143711154812161234567891011121314151615913

丟失371115481216原始媒體流接收到的媒體流恢復(fù)的媒體流交織恢復(fù)27.1.2實(shí)時(shí)傳輸協(xié)議RTPTCP并不適合傳輸實(shí)時(shí)多媒體數(shù)據(jù)。相比而言，UDP更加適合于實(shí)時(shí)多媒體通信，但是UDP缺少實(shí)時(shí)多媒體網(wǎng)絡(luò)應(yīng)用所需的序號(hào)、時(shí)間戳等機(jī)制。實(shí)時(shí)傳輸協(xié)議RTP(Real-timeTransportProtocol)在UDP之上為實(shí)時(shí)多媒體網(wǎng)絡(luò)應(yīng)用提供端到端的傳輸服務(wù)。RTP分組的主要字段發(fā)送RTP分組UDP用戶(hù)數(shù)據(jù)報(bào)IP數(shù)據(jù)報(bào)IP首部UDP首部RTP首部RTP有效載荷（應(yīng)用層數(shù)據(jù)）有效載荷類(lèi)型序號(hào)時(shí)間戳同步源標(biāo)識(shí)符其他字段思考題1、常用的多媒體應(yīng)用有哪三種？2、實(shí)時(shí)多媒體數(shù)據(jù)傳輸中存在哪些問(wèn)題？3、RTP有哪幾個(gè)主要字段，分別起什么作用？27.1.3流式存儲(chǔ)音頻/視頻1.從萬(wàn)維網(wǎng)服務(wù)器下載后播放萬(wàn)維網(wǎng)服務(wù)器客戶(hù)機(jī)服務(wù)器媒體播放器

GET:音頻/視頻文件

RESPONSE

音頻/視頻文件瀏覽器2.

使用媒體服務(wù)器邊下載邊播放萬(wàn)維網(wǎng)服務(wù)器客戶(hù)機(jī)服務(wù)器媒體播放器

元文件瀏覽器媒體服務(wù)器音頻/視頻流

GET:元文件

RESPONSESETUP

RESPONSEPLAY

RESPONSE

RESPONSE

TEARDOWN

3.內(nèi)容分發(fā)網(wǎng)絡(luò)CDN

(ContentDistributionNetwork)將大量流式存儲(chǔ)視頻流按需傳送到世界各地的大量用戶(hù)是個(gè)巨大的挑戰(zhàn)：用戶(hù)可能遠(yuǎn)離服務(wù)器，會(huì)產(chǎn)生較大的時(shí)延和丟包率對(duì)于熱播視頻，大量用戶(hù)的重復(fù)下載勢(shì)必會(huì)消耗大量的帶寬，造成服務(wù)器周邊網(wǎng)絡(luò)的嚴(yán)重?fù)砣鸆DN提前將多媒體數(shù)據(jù)直接推送到靠近用戶(hù)的多個(gè)冗余服務(wù)器上，使用戶(hù)能從最靠近自己的服務(wù)器上獲取數(shù)據(jù)，避免大量重復(fù)數(shù)據(jù)的遠(yuǎn)程傳輸，大大減小了整個(gè)系統(tǒng)的傳輸時(shí)延和網(wǎng)絡(luò)流量。3.內(nèi)容分發(fā)網(wǎng)絡(luò)CDN

(ContentDistributionNetwork)位于北美的原始服務(wù)器重定向內(nèi)容分發(fā)CDN分發(fā)結(jié)點(diǎn)位于歐洲的CDN服務(wù)器位于南美的CDN服務(wù)器位于亞洲的CDN服務(wù)器位于中國(guó)的用戶(hù)利用DNS實(shí)現(xiàn)用戶(hù)請(qǐng)求重定向27.1.4流式實(shí)況音頻/視頻個(gè)實(shí)況直播節(jié)目可能有大量用戶(hù)在同時(shí)收聽(tīng)或收看，因此特別適合使用多播技術(shù)來(lái)實(shí)現(xiàn)流式實(shí)況音頻/視頻。由于IP多播還沒(méi)有得到大規(guī)模的應(yīng)用，今天的實(shí)況音頻/視頻的分發(fā)，通常是通過(guò)應(yīng)用層多播（P2P應(yīng)用層多播或內(nèi)容分發(fā)網(wǎng)CDN）或多個(gè)獨(dú)立的媒體服務(wù)器到客戶(hù)機(jī)的單播來(lái)實(shí)現(xiàn)的。P2P應(yīng)用層多播媒體服務(wù)器客戶(hù)機(jī)客戶(hù)機(jī)客戶(hù)機(jī)客戶(hù)機(jī)…媒體服務(wù)器客戶(hù)機(jī)客戶(hù)機(jī)客戶(hù)機(jī)客戶(hù)機(jī)…(a)基于IP多播的流媒體直播(b)基于P2P應(yīng)用層多播的流媒體直播P2P應(yīng)用層多播采用P2P應(yīng)用層多播技術(shù)，每個(gè)對(duì)等方既是服務(wù)的請(qǐng)求者，也是服務(wù)的提供者，因而請(qǐng)求服務(wù)的用戶(hù)越多，每個(gè)用戶(hù)獲得的媒體服務(wù)質(zhì)量反而越高。PPLive是當(dāng)前最流行的因特網(wǎng)視頻直播軟件之一，其采用的技術(shù)就是P2P應(yīng)用層多播。加入PPLive系統(tǒng)的用戶(hù)越多，播放節(jié)目就越流暢。27.1.5實(shí)時(shí)交互音頻/視頻典型的實(shí)時(shí)交互應(yīng)用包括因特網(wǎng)電話(huà)和視頻會(huì)議。在這方面IETF和ITU制定了很多標(biāo)準(zhǔn)[RFC3261-3266]。會(huì)話(huà)發(fā)起協(xié)議SIP(SessionInitiationProtocol)用于因特網(wǎng)電話(huà)，是一個(gè)由IETF制定的一套較為簡(jiǎn)單且實(shí)用的實(shí)時(shí)交互協(xié)議，能夠用來(lái)定位用戶(hù)、建立、管理和終止多媒體會(huì)話(huà)（呼叫），支持雙方、多方或多播會(huì)話(huà)。一個(gè)簡(jiǎn)單的SIP會(huì)話(huà)

主叫方被叫方OK:地址ACKINVITE:地址，選項(xiàng)建立會(huì)話(huà)BYE終止會(huì)話(huà)電話(huà)交談通信ttSIP的地址十分靈活可以是電話(huà)號(hào)碼，也可以是電子郵件地址、IP地址或其他類(lèi)型的地址。但一定要使用SIP的地址格式，例如：電話(huà)號(hào)碼

sip:zhangsan@8625-87654321IPv4地址sip:zhangsan@6電子郵件地址sip:zhangsan@SIP的用戶(hù)定位

主叫方被叫方INVITE查找回答電話(huà)交談tSIP代理服務(wù)器SIP登記器INVITEOKOKACKACKBYEtt通過(guò)網(wǎng)關(guān)實(shí)現(xiàn)因特網(wǎng)端系統(tǒng)和公用電話(huà)的互通在基于分組交換的因特網(wǎng)和基于電路交換的電話(huà)網(wǎng)之間部署若干網(wǎng)關(guān)，實(shí)現(xiàn)兩個(gè)完全不同技術(shù)網(wǎng)絡(luò)間的協(xié)議轉(zhuǎn)換關(guān)于SkypeSkype是目前極為流行的P2P應(yīng)用程序。Skype除了能提供PC到PC的因特網(wǎng)電話(huà)服務(wù)外，還提供PC到固定電話(huà)、固定電話(huà)到PC以及PC到PC的視頻會(huì)議服務(wù)。Sk