多媒體技術(shù)及應(yīng)用（第3版） 課件第8章 網(wǎng)絡(luò)多媒體技術(shù)及其應(yīng)用

多媒體技術(shù)與應(yīng)用

第8章網(wǎng)絡(luò)多媒體技術(shù)及其應(yīng)用8.1.1網(wǎng)絡(luò)多媒體基礎(chǔ)8.1.2網(wǎng)絡(luò)多媒體傳輸技術(shù)—流媒體8.1網(wǎng)絡(luò)多媒體概述1．網(wǎng)絡(luò)多媒體的發(fā)展互聯(lián)網(wǎng)普及之前

通過廣播電視節(jié)目獲取音視頻直播或者點播服務(wù)；

通過電話獲取語音即時通信服務(wù)；

通過手機(jī)短信業(yè)務(wù)獲取文字即時通信服務(wù)；互聯(lián)網(wǎng)早期

提供新聞瀏覽、電子郵箱、電子公告板（BBS）等服務(wù)；

ICQ：互聯(lián)網(wǎng)的即時消息軟件，用于文字聊天的在線工具；互聯(lián)網(wǎng)和數(shù)字化時代廣播電視網(wǎng)、電話通訊網(wǎng)和互聯(lián)網(wǎng)三網(wǎng)融合，促成了網(wǎng)絡(luò)多媒體的快速發(fā)展網(wǎng)絡(luò)電話（VoIP）網(wǎng)絡(luò)視頻會議2．網(wǎng)絡(luò)多媒體的應(yīng)用（1）點播（VOD）：根據(jù)觀眾要求播放指定節(jié)目的音頻和視頻點播系統(tǒng)，系統(tǒng)可以把用戶所點擊或選擇的視頻內(nèi)容傳輸給所請求的用戶，如愛課程的MOOC/SPOC在線學(xué)習(xí)視頻、網(wǎng)易公開課、優(yōu)酷影視點播等。（2）直播：服務(wù)端實時采集和上傳音頻和視頻流，支持大量客戶端同時從服務(wù)器下拉并播放這些實時的音視頻流，如體育賽事直播、泛娛樂直播節(jié)目、在線銷售直播、手術(shù)直播等。（3）實時交互：支持音視頻的實時交互，常用于在線會議系統(tǒng)。允許多個用戶通過互聯(lián)網(wǎng)進(jìn)行即時語音或視頻交流，交流過程中可以發(fā)送文字和表情符號、共享桌面和文檔等，如騰訊會議、ZOOM會議、遠(yuǎn)程醫(yī)療會診等。3．網(wǎng)絡(luò)多媒體系統(tǒng)架構(gòu)4．網(wǎng)絡(luò)多媒體的壓縮編碼方法（1）網(wǎng)絡(luò)音頻編碼常見的網(wǎng)絡(luò)音頻編碼器包括Opus、AAC、Vorbis、MP3、Speex、AMR，ILBC和G.7xx系列等，目前最常用是Opus和AAC，延遲小，壓縮率高。①

AAC（Advanced

Audio

Coding）：基于MPEG-2和MPEG-4的音頻編碼格式，壓縮比為18倍左右，音質(zhì)佳，文件小，目前廣泛應(yīng)用于娛樂直播。②

Opus：是一個有損聲音編碼格式，由互聯(lián)網(wǎng)工程任務(wù)組制定，適用于網(wǎng)絡(luò)上低延遲的即時聲音傳輸。大多數(shù)主流瀏覽器都支持，實時互動系統(tǒng)較多地使用Opus，如在線教育、視頻會議系統(tǒng)等，其中WebRTC（網(wǎng)頁即時通信）是一個支持網(wǎng)頁瀏覽器進(jìn)行實時語音對話或視頻會議的API，使用的音頻編碼就是Opus。常見音頻編碼器4．網(wǎng)絡(luò)多媒體的壓縮編碼方法（2）網(wǎng)絡(luò)視頻編解碼標(biāo)準(zhǔn)

①

AVC（高級視頻編碼），用于高精度視頻的錄制、壓縮和發(fā)布，這是一種面向塊的基于運動補(bǔ)償?shù)木幗獯a器標(biāo)準(zhǔn)，被廣泛用于網(wǎng)絡(luò)流媒體服務(wù)，如YouTube、iTunesStore、AdobeFlashPlayer、MicrosoftSilverlight以及各種高清晰度電視廣播系統(tǒng)。

②

SVC（可伸縮視頻編碼），是傳統(tǒng)H.264/MPEG-4AVC編碼的改進(jìn)，具有更大的編碼彈性，具有時間可伸縮、空間可伸縮及信噪比可伸縮，使視頻傳輸更適應(yīng)不同的網(wǎng)絡(luò)帶寬。4．網(wǎng)絡(luò)多媒體的壓縮編碼方法（2）網(wǎng)絡(luò)視頻編解碼標(biāo)準(zhǔn)

③HEVC即H.265，是ITU-T繼H.264之后所制定的高壓縮率的視頻壓縮格式，最高分辨率可達(dá)8192×4320。HEVC面向下一代HDTV設(shè)計，使用幀掃描，采樣分辨率支持4K高清視頻，具有增強(qiáng)的動態(tài)范圍調(diào)整和噪聲抑制等功能。

④

VP8/VP9，都是Google發(fā)布的開放視頻編解碼標(biāo)準(zhǔn)，VP8與H.264一樣采用混合編碼框架，采用libvpx來進(jìn)行編解碼，VP9則支持更低的碼率，VP9比H.265有更好的編碼效率。4．網(wǎng)絡(luò)多媒體的壓縮編碼方法●mp4格式：是一種標(biāo)準(zhǔn)的多媒體容器格式，保存了視頻和音頻數(shù)據(jù)流、海報、字幕和元數(shù)據(jù)等，MP4格式屬于MPEG-4標(biāo)準(zhǔn)的第14部分，目前流行的AVC/H.264視頻編碼格式則定義在MPEG-4第10部分中?！駇kv格式：是一種標(biāo)準(zhǔn)的多媒體容器格式，能夠在一個文件中容納無限數(shù)量的視頻、音頻、圖片或字幕軌道，可以作為一種統(tǒng)一格式保存常見的電影和電視節(jié)目?！駑ebm格式：由Google推出的一個開放、免費的多媒體文件格式，其實是以mkv容器格式為基礎(chǔ)而開發(fā)的，支持用瀏覽器播放。4．網(wǎng)絡(luò)多媒體的壓縮編碼方法●wmv格式：微軟推出的一種采用獨立編碼方式并且可以直接在網(wǎng)上實時觀看視頻節(jié)目的文件壓縮格式?！駇ov格式：蘋果構(gòu)思推出的一種流式視頻格式，用QuickTime播放，為了適應(yīng)網(wǎng)絡(luò)多媒體應(yīng)用，QuickTime為多個流行的瀏覽器提供了QuickTimeViewer插件，能夠在瀏覽器中實現(xiàn)mov文件的實時回放?！駀lv、f4v格式：Adobe公司推出的一種視頻格式，在網(wǎng)絡(luò)上傳輸?shù)牧髅襟w數(shù)據(jù)存儲容器格式，由于移動端瀏覽器大多不支持Flash播放器，已逐步被mp4和webm等格式所取代。4．網(wǎng)絡(luò)多媒體的壓縮編碼方法●wmv格式：微軟推出的一種采用獨立編碼方式并且可以直接在網(wǎng)上實時觀看視頻節(jié)目的文件壓縮格式?！駇ov格式：蘋果構(gòu)思推出的一種流式視頻格式，用QuickTime播放，為了適應(yīng)網(wǎng)絡(luò)多媒體應(yīng)用，QuickTime為多個流行的瀏覽器提供了QuickTimeViewer插件，能夠在瀏覽器中實現(xiàn)mov文件的實時回放?！駀lv、f4v格式：Adobe公司推出的一種視頻格式，在網(wǎng)絡(luò)上傳輸?shù)牧髅襟w數(shù)據(jù)存儲容器格式，由于移動端瀏覽器大多不支持Flash播放器，已逐步被mp4和webm等格式所取代。8.1.1網(wǎng)絡(luò)多媒體基礎(chǔ)8.1.2網(wǎng)絡(luò)多媒體傳輸技術(shù)—流媒體8.1網(wǎng)絡(luò)多媒體概述1．流媒體簡介流式傳輸技術(shù)：就是將多媒體數(shù)據(jù)壓縮編碼后，在網(wǎng)絡(luò)上分段發(fā)送，實時傳輸數(shù)據(jù)，把數(shù)據(jù)包像流水一樣源源不斷地發(fā)送到用戶端，用戶無需等待整個影音文件全部下載到本地，可以一邊下載一邊播放。流式傳輸主要有兩種方式

順序流式傳輸（Progressivestreaming）

實時流式傳輸（Realtimestreaming）（1）順序流式傳輸

用戶在觀看在線媒體的同時下載文件，只能觀看已下載部分，不能觀看未下載部分。

HTTP服務(wù)器就可以發(fā)送這種形式的文件，稱為HTTP流式傳輸

順序流式傳輸能夠較好地保證節(jié)目播放的質(zhì)量，比較適合供用戶點播的高質(zhì)量的短片段，如片頭、片尾和廣告，不適合有隨機(jī)訪問要求的視頻，如講座、演說與演示，也不支持現(xiàn)場廣播。（2）實時流式傳輸

數(shù)據(jù)實時傳送，用戶可以實時觀看，對網(wǎng)絡(luò)帶寬有較高的要求，在觀看過程中用戶可以任意快進(jìn)或快退，如果網(wǎng)絡(luò)傳輸狀況不理想，則收到的圖像質(zhì)量就會比較差。

實時流式傳輸需要專用的流媒體服務(wù)器與流式傳輸協(xié)議

Nodejs是基于ChromeJavaScript的多媒體網(wǎng)絡(luò)服務(wù)平臺 SRS（SimpleRtmpServer）一個簡單高效的實時視頻服務(wù)器實時流式傳輸協(xié)議：RTSP（Real-timeStreaming

Protocol）實時流傳輸協(xié)議）HLS（HTTP

Live

Streaming）蘋果制定的基于HTTP的流媒體傳輸協(xié)議TCP/IP協(xié)議層2．網(wǎng)絡(luò)協(xié)議基礎(chǔ)3．網(wǎng)絡(luò)多媒體協(xié)議8.2.1

點播服務(wù)8.2.2直播服務(wù)8.2非交互式網(wǎng)絡(luò)多媒體服務(wù)1.點播基礎(chǔ)

點播的前提是音視頻文件已經(jīng)錄制或制作完成且已上傳到了網(wǎng)絡(luò)服務(wù)器上，用戶按照需求，向服務(wù)器發(fā)出請求，服務(wù)器一般通過流式傳輸方式響應(yīng)用戶的請求，教學(xué)中的錄播即屬于這樣的應(yīng)用場景。2.點播節(jié)目制作

制作點播或錄播節(jié)目最常用的是用帶有攝像頭的設(shè)備進(jìn)行視頻錄制，如手機(jī)、平板、電腦、照相機(jī)和攝像機(jī)等，也可以通過視頻軟件制作生成，如Premiere與AfterEffects等。

一般的直播軟件和視頻會議系統(tǒng)都同時提供了云錄制或本地錄制功能，可以將直播現(xiàn)場或視頻會議直接錄制為mp4或mkv格式的視頻文件，方便用戶后期點播觀看。3.點播應(yīng)用

在線教學(xué)音視頻在線點播：優(yōu)酷、芒果TV、YouTube8.2.1

點播服務(wù)8.2.2直播服務(wù)8.2非交互式網(wǎng)絡(luò)多媒體服務(wù)1.網(wǎng)絡(luò)直播概述

網(wǎng)絡(luò)直播是通過互聯(lián)網(wǎng)進(jìn)行傳輸?shù)?，允許用戶接收從世界上任何角落發(fā)送來的廣播和電視節(jié)目。

有許多用戶同時接收相同的實時音頻、視頻節(jié)目。

對數(shù)據(jù)包延遲和抖動的要求不像互聯(lián)網(wǎng)電話和實時視頻會議那樣嚴(yán)格。從用戶點擊一個鏈接到音頻/視頻播放開始，幾十秒的延遲是可以容忍的。

通過組播方式將實時音頻/視頻分配給許多接收者2．直播推流與拉流推流指的是把采集階段封包好的內(nèi)容傳輸?shù)椒?wù)器的過程，其實就是將現(xiàn)場的視頻信號傳到網(wǎng)絡(luò)的過程。推流對網(wǎng)絡(luò)要求比較高，如果網(wǎng)絡(luò)不穩(wěn)定，直播效果就會很差，觀看直播時就會發(fā)生卡頓等現(xiàn)象，觀眾體驗會很糟糕。拉流是指服務(wù)器已有直播內(nèi)容，根據(jù)協(xié)議類型（如RTMP、RTP、RTSP、HTTP等），與服務(wù)器建立連接、接收數(shù)據(jù)、進(jìn)行拉取的過程。3．網(wǎng)絡(luò)直播軟件用來對直播內(nèi)容進(jìn)行管理OBS（OpenBroadcasterSoftware）是一個用于錄制和網(wǎng)絡(luò)直播的自由開源軟件包8.3.1交互式網(wǎng)絡(luò)多媒體基礎(chǔ)8.3.2網(wǎng)絡(luò)視頻會議系統(tǒng)8.3交互式網(wǎng)絡(luò)多媒體服務(wù)1．交互式網(wǎng)絡(luò)多媒體概述交互式網(wǎng)絡(luò)多媒體首先是通過網(wǎng)絡(luò)實時傳輸多媒體信息，包括文字、圖像、聲音和視頻等多種媒體信息，同時允許用戶與用戶之間進(jìn)行實時的互動溝通。Skype、GoogleTalk、騰訊QQ遠(yuǎn)程辦公遠(yuǎn)程教育電商直播遠(yuǎn)程醫(yī)療2．交互式網(wǎng)絡(luò)多媒體服務(wù)的應(yīng)用8.3.1交互式網(wǎng)絡(luò)多媒體基礎(chǔ)8.3.2網(wǎng)絡(luò)視頻會議系統(tǒng)8.3交互式網(wǎng)絡(luò)多媒體服務(wù)1．網(wǎng)絡(luò)視頻會議系統(tǒng)的組成會議終端

通常以網(wǎng)頁瀏覽器、計算機(jī)軟件或移動應(yīng)用程序的方式給用戶提供服務(wù)。會議終端一般自帶音視頻采集功能，也可以外接采集設(shè)備。服務(wù)器

為會議各終端提供數(shù)據(jù)交換、音視頻處理和轉(zhuǎn)發(fā)、會議控制管理等服務(wù)傳輸網(wǎng)絡(luò)

會議終端通過有線或者無線的方式接入網(wǎng)絡(luò)，服務(wù)器一般通過有線方式接入網(wǎng)絡(luò)，數(shù)據(jù)包通過網(wǎng)絡(luò)在各終端與服務(wù)器之間傳送。2．網(wǎng)絡(luò)視頻會議系統(tǒng)的性能指標(biāo)（1）帶寬：

參加一個視頻會議常常要保證有1Mbps以上的接入帶寬，更高的帶寬帶來更清晰的畫面。（2）丟包：數(shù)據(jù)包無法到達(dá)目的地即丟包，出現(xiàn)丟包的原因是多方面的，包括網(wǎng)絡(luò)中的信號衰減、通道阻塞、損壞的數(shù)據(jù)包被拒絕通過、有缺陷的網(wǎng)絡(luò)硬件、網(wǎng)絡(luò)驅(qū)動故障等。（3）延遲：用于衡量數(shù)據(jù)從一個端點傳送到另一個端點所需的時間，端點的位置、數(shù)據(jù)包的大小以及流量大小都會對網(wǎng)絡(luò)延遲造成影響。（4）抖動：接收端收到數(shù)據(jù)包序列的時序和發(fā)送端不同，比如間隔時長變化、順序錯位等都會引起抖動。（4）抖動接收端收到數(shù)據(jù)包序列的時序和發(fā)送端不同，比如間隔時長變化、順序錯位等都會引起抖動。3．服務(wù)質(zhì)量

質(zhì)量服務(wù)（QoS，QualityofService）策略的主要任務(wù)就是對抗各種因素對數(shù)據(jù)傳輸帶來的影響。（1）自動重傳請求（ARQ，AutomaticRepeat-reQuest）（2）前向糾錯（FEC，F(xiàn)orwardErrorCorrection）（3）抖動緩沖（JitterBuffer）（4）擁塞控制（CongestionControl）8.4