第一章流媒體

多媒體網(wǎng)絡(luò)和流媒體技術(shù)

MultimediaNetworkandStreamingMediaTechnology海南大學(xué)信息信息學(xué)院參考資料《流媒體技術(shù)寶典》SteveMack著，電子工業(yè)出版社《流媒體技術(shù)與應(yīng)用完全手冊(cè)》肖磊等著，清華大學(xué)出版社《多媒體通信技術(shù)》李小平等著，北京航空航天大學(xué)出版社內(nèi)容介紹1.流媒體技術(shù)概述2.流媒體技術(shù)的主流產(chǎn)品3.適應(yīng)流式應(yīng)用的多媒體編碼解碼技術(shù)

4.流式文本文件的制作5.同步多媒體集成語言SMIL6.流媒體的網(wǎng)絡(luò)傳輸與控制協(xié)議7.流媒體的平臺(tái)搭建8.流媒體的制作和發(fā)布9.移動(dòng)流媒體技術(shù)概述10.流媒體相關(guān)硬件與產(chǎn)品實(shí)驗(yàn)內(nèi)容1.各種流媒體文件格式的熟悉2.流媒體節(jié)目的制作3.流媒體的轉(zhuǎn)換4.SMIL的編程5.流媒體服務(wù)器的安裝和運(yùn)行6.流媒體的嵌入Chapter1流媒體綜述1.多媒體技術(shù)利用計(jì)算機(jī)技術(shù)把文本、圖形、圖像、動(dòng)畫、音頻及視頻等多種媒體綜合一體化，使之建立起邏輯上的聯(lián)系，并能夠?qū)λ鼈冞M(jìn)行獲取、編碼、編輯、處理、存儲(chǔ)、傳輸和再現(xiàn)。1.1流媒體的概念1.1.1多媒體2.多媒體技術(shù)的基本特征信息載體的多樣性（采集、傳輸、存儲(chǔ)、處理、呈現(xiàn)）集成性（如文本、圖形、圖像、視頻、音頻）交互性協(xié)同性和實(shí)時(shí)性3.多媒體關(guān)鍵技術(shù)：視頻/音頻數(shù)據(jù)的壓縮和解壓縮技術(shù)多媒體數(shù)據(jù)存儲(chǔ)技術(shù)多媒體數(shù)據(jù)庫技術(shù)超文本與超媒體技術(shù)基于內(nèi)容的多媒體信息檢索多媒體通信網(wǎng)絡(luò)技術(shù)虛擬現(xiàn)實(shí)技術(shù)（涉及三維實(shí)時(shí)圖形顯示、三維定位跟蹤、觸覺及傳感技術(shù)、人工智能等）

多媒體計(jì)算機(jī)的軟、硬平臺(tái)4.多媒體傳播途徑信息存儲(chǔ)媒體網(wǎng)絡(luò)5.多媒體信息特征數(shù)據(jù)量龐大：碼率可變、突發(fā)性強(qiáng)復(fù)合性信息多，同步性、實(shí)時(shí)性要求高1.1.2流媒體概念流媒體：指在Internet/Intranet網(wǎng)絡(luò)中使用流式傳輸技術(shù)的連續(xù)時(shí)基媒體，如音頻、視頻或多媒體文件。簡單來說，應(yīng)用流技術(shù)在網(wǎng)絡(luò)上傳輸?shù)亩嗝襟w文件。流媒體技術(shù)：一種可以使音頻、視頻和其他多媒體文件能在Internet及Intranet上以實(shí)時(shí)的、無需下載等待的方式進(jìn)行播放的技術(shù)。1.1.3流媒體的發(fā)展歷史(1)

1994年美國公司RealNetworks成立后，流媒體開始在互聯(lián)網(wǎng)上應(yīng)用。1997年該公司相繼發(fā)布了多款應(yīng)用非常廣泛的流媒體播放器---realplayer,之后微軟也推出了自己全新格式的流媒體產(chǎn)品WindowsMedia,并開始了和RealNetworks的競爭。

隨著市場(chǎng)激烈的競爭，微軟不斷進(jìn)行技術(shù)改進(jìn)，將WindowsMedia9series捆綁到2003年發(fā)布的Wserves,在編碼和解碼方面都做了不小的改進(jìn)。

1.1.3流媒體的發(fā)展歷史(2)

目前，流媒體技術(shù)在國內(nèi)逐步擴(kuò)大應(yīng)用，諸如中央電視臺(tái)采用RealNetworks公司的流媒體技術(shù)實(shí)現(xiàn)了在線視聽、網(wǎng)上現(xiàn)場(chǎng)直播；湖南衛(wèi)視、中國大飯店、望京地區(qū)等采用Oracle公司的系統(tǒng)實(shí)現(xiàn)視頻點(diǎn)播；流媒體技術(shù)在電子商務(wù)、產(chǎn)品發(fā)布、信息廣播、遠(yuǎn)程教育、遠(yuǎn)程醫(yī)療、遠(yuǎn)程監(jiān)控等方面都有很成功的應(yīng)用實(shí)例媒體系統(tǒng)結(jié)構(gòu)現(xiàn)存流媒體解決方案采用的技術(shù)是多樣的，但其體系結(jié)構(gòu)的本質(zhì)是相近的。流媒體的體系構(gòu)成：①編碼工具：用于創(chuàng)建、捕捉和編輯多媒體數(shù)據(jù)，形成流媒體格式；②流媒體數(shù)據(jù)；③服務(wù)器：存放和控制流媒體的數(shù)據(jù)；④網(wǎng)絡(luò)：適合多媒體傳輸協(xié)議甚至實(shí)時(shí)傳輸協(xié)議的網(wǎng)絡(luò)；⑤播放器：供客戶端瀏覽流媒體文件（通常是獨(dú)立的播放器和ActiveX方式的插件）。1.1.4流媒體體系結(jié)構(gòu)RealPlayer播放器1.1.5流媒體的播放器（常見）WindowsMedia媒體播放器Apple公司的QuickTime播放軟件（1）采用視頻捕獲裝置對(duì)事件進(jìn)行錄制；（2）對(duì)獲取的內(nèi)容進(jìn)行編輯，然后利用視頻編輯硬件和軟件對(duì)它進(jìn)行數(shù)字化處理；（3）經(jīng)數(shù)字化的視頻和音頻內(nèi)容被編碼為流媒體（如.rm）格式。（4）媒體文件或?qū)崨r數(shù)據(jù)流被保存在安裝了流媒體服務(wù)器軟件的宿主計(jì)算機(jī)上；（5）用戶點(diǎn)擊網(wǎng)頁請(qǐng)求視頻流或訪問流內(nèi)容的數(shù)據(jù)庫；（6）宿主服務(wù)器通過網(wǎng)絡(luò)向最終用戶提交數(shù)字化內(nèi)容；（7）最終用戶利用桌面或移動(dòng)終端上的顯示媒體內(nèi)容的播放程序（如Realplayer）進(jìn)行回放和觀看。1.1.6流媒體技術(shù)的實(shí)現(xiàn)過程1.2流式傳輸?shù)幕A(chǔ)主要指通過網(wǎng)絡(luò)傳送媒體（如音頻、視頻）的技術(shù)總稱。其特定含義為通過Internet將影視節(jié)目傳送到PC機(jī)。1.2.1流式傳輸?shù)亩x1.2.2支持流媒體傳輸?shù)木W(wǎng)絡(luò)協(xié)議實(shí)時(shí)傳輸協(xié)議RTP實(shí)時(shí)傳輸控制協(xié)議RTCP實(shí)時(shí)流協(xié)議RTSP資源預(yù)留協(xié)議RSVP多用途Internet郵件擴(kuò)展協(xié)議MIME(MultipurposeInternetMailExtensions)——識(shí)別流媒體類型的途徑1.2.3流式傳輸?shù)姆绞?.順序流式傳輸順序下載，并在下載文件的同時(shí)播放在線媒體；在給定時(shí)刻，用戶只能播放已下載的部分，而不能跳到還未下載的部分HTTP流式傳輸文件播放的部分是無損下載點(diǎn)播技術(shù)2.實(shí)時(shí)流式傳輸實(shí)時(shí)傳送，特別適合現(xiàn)場(chǎng)事件；支持隨機(jī)訪問，用戶可快進(jìn)或后退，以觀看前面或后面的內(nèi)容需要專用的流媒體服務(wù)器與傳輸協(xié)議匹配連接寬帶實(shí)時(shí)流式傳輸：視頻為實(shí)時(shí)廣播，或使用流式傳輸媒體服務(wù)器，或應(yīng)用如RTSP的實(shí)時(shí)協(xié)議順序流式傳輸：使用HTTP服務(wù)器1.3流媒體工作原理

由于目前的存儲(chǔ)容量和網(wǎng)絡(luò)帶寬還不能完全滿足巨大的A/V，3D等多媒體數(shù)據(jù)流量的要求，所以對(duì)A/V，3D等多媒體數(shù)據(jù)一般要進(jìn)行預(yù)處理后才能進(jìn)行存儲(chǔ)或傳輸。預(yù)處理主要包括采用先進(jìn)高效的壓縮算法和降低質(zhì)量（有損壓縮）兩個(gè)方面。同樣，在流媒體技術(shù)中，進(jìn)行流式傳輸?shù)亩嗝襟w數(shù)據(jù)應(yīng)首先經(jīng)過特殊的壓縮，然后分成一個(gè)個(gè)壓縮數(shù)據(jù)包，由服務(wù)器向用戶計(jì)算機(jī)連續(xù)、實(shí)時(shí)傳送。1.3.1流式傳輸?shù)湫徒Y(jié)構(gòu)WebBrowserWebServerA/VPlayerA/VServerRTSP(RTP)/TCP(UDP)HTTP/TCPMetaFileOrientation流程：（1）Web瀏覽器與Web服務(wù)器之間使用HTTP/TCP交換控制信息,以便把需要傳輸?shù)膶?shí)時(shí)數(shù)據(jù)從原始信息中檢索出來。（2）用HTTP從Web服務(wù)器檢索相關(guān)數(shù)據(jù)，A/V播放器進(jìn)行初始化。（3）從Web服務(wù)器檢索出來的相關(guān)服務(wù)器的地址定位A/V服務(wù)器。（4）A/V播放器與A/V服務(wù)器之間交換A/V傳輸所需要的實(shí)時(shí)控制協(xié)議。（5）一旦A/V數(shù)據(jù)抵達(dá)客戶端,A/V播放器就可以播放了。1.3.2流媒體應(yīng)用系統(tǒng)的關(guān)鍵技術(shù)1）音視頻壓縮編碼多速率編碼與碼流的切換可伸縮編碼（ScalableCoding或LayeredCoding)2)應(yīng)用層Qos控制擁塞控制

*結(jié)合傳輸層TCP的擁塞控制*基于速率的擁塞控制*擁塞檢測(cè)*媒體流的速率調(diào)整差錯(cuò)控制

*結(jié)合傳輸層差錯(cuò)控制*編碼層差錯(cuò)控制3）媒體同步技術(shù)流內(nèi)同步（利用接受緩沖器同步）*緩存器容量的設(shè)計(jì)*自適應(yīng)微調(diào)播放速率流間同步

*基于全局時(shí)鐘的時(shí)間戳法*基于反饋的主從同步法4）流服務(wù)器操作系統(tǒng)有關(guān)技術(shù)*任務(wù)調(diào)度*資源管理*磁盤調(diào)度存儲(chǔ)子系統(tǒng)有關(guān)技術(shù)*數(shù)據(jù)分布存儲(chǔ)方式*層次化存儲(chǔ)結(jié)構(gòu)*其他5）內(nèi)容分發(fā)服務(wù)在IP網(wǎng)絡(luò)上提供服務(wù)和傳輸媒體數(shù)據(jù)基于IP網(wǎng)構(gòu)建內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）1.4流媒體的網(wǎng)絡(luò)播放方式單播組播點(diǎn)播廣播客戶端與服務(wù)器之間的點(diǎn)到點(diǎn)連接，在客戶端與媒體服務(wù)器之間建立一個(gè)單獨(dú)的數(shù)據(jù)通道。通過啟用組播網(wǎng)絡(luò)傳遞內(nèi)容流，網(wǎng)絡(luò)中的所有客戶端共享同一流。用戶被動(dòng)接收流?？蛻舳伺c服務(wù)器之間的主動(dòng)的連接。1.4流媒體的網(wǎng)絡(luò)播放方式（cont’d）點(diǎn)播單播廣播單播廣播組播客戶端連接到服務(wù)器以接收特定內(nèi)容，該內(nèi)容也只傳往一個(gè)客戶端?？蛻舳送ㄟ^發(fā)布點(diǎn)上的別名訪問流。被動(dòng)的用戶通過監(jiān)視特定的IP地址接收組播ASF流。1.5流式技術(shù)的主要解決方案組成：RealProducer,RealServer,ClientSoftware流媒體文件：RealAudio,RealVideo,RealPresentation,RealFlashSureStream技術(shù)：自動(dòng)地并持續(xù)地調(diào)整數(shù)據(jù)流的流量以適應(yīng)實(shí)際應(yīng)用中的各種不同網(wǎng)絡(luò)帶寬需求；在網(wǎng)上實(shí)現(xiàn)音頻、視頻和三維動(dòng)畫的回放1.5.1RealSystem1.5.2WindowsMediaTechnologyASF是一種數(shù)據(jù)格式，音頻、視頻、圖像以及控制命令腳本等多媒體信息通過這種格式，以網(wǎng)絡(luò)數(shù)據(jù)包的形式傳輸，實(shí)現(xiàn)流式多媒體內(nèi)容發(fā)布。組成：MediaTools,MediaServer,MediaPlayer保證文件的保密性，不被未授權(quán)下載，使每個(gè)使用者都能以最佳的影片品質(zhì)瀏覽網(wǎng)頁，具有多種文件發(fā)布形式和監(jiān)控管理功能。提供流信息的播放功能1.5.3QuickTime組成：QuickTimeStreamingServer,QuickTimePlayer,QuickTimePro,PictureViewer,QuickTimePlug-inUnit支持流類型：實(shí)時(shí)流和快速啟動(dòng)流RTP傳輸數(shù)據(jù)HTTP/FTP傳輸數(shù)據(jù)Macromedia的Shockwave技術(shù)在Web頁面中加入圖像、動(dòng)畫以及交互式界面等操作產(chǎn)品：Flash,ShockwaveforAuthorware,ShockwaveforDirectorMeataCreation的MetaStream技術(shù)在網(wǎng)上創(chuàng)建、發(fā)布及瀏覽被縮放的3D圖形eg.游戲開發(fā)廠商、頁面設(shè)計(jì)者、電子商務(wù)補(bǔ)：1.5.4FMS（AdobeFlashMediaServer）Adobe的FMS是一個(gè)多媒體應(yīng)用平臺(tái)，在這個(gè)平臺(tái)上，可以實(shí)現(xiàn)多媒體流的點(diǎn)播、直播、交互等多種應(yīng)用，由于Adobe公司在網(wǎng)絡(luò)多媒體應(yīng)用上的雄厚實(shí)力，以及AdobeFlashPlayer在網(wǎng)絡(luò)上應(yīng)用的廣泛性，因此，F(xiàn)MS成為諸多多媒體應(yīng)用的服務(wù)器端主要應(yīng)用平臺(tái)。如Youtube、tudou等。FMS是一個(gè)應(yīng)用平臺(tái)，同時(shí)更是一個(gè)二次開發(fā)平臺(tái)，在這個(gè)平臺(tái)上，可以實(shí)現(xiàn)多種網(wǎng)絡(luò)多媒體內(nèi)容的傳播和交互應(yīng)用。MacromediaFlashMediaServer與傳統(tǒng)的媒體平臺(tái)相比有哪些優(yōu)勢(shì)?通過Flash平臺(tái)并借助FlashMediaServer交付音頻和視頻能使發(fā)布者創(chuàng)建各種體驗(yàn)。通過無所不在的FlashPlayer實(shí)現(xiàn)跨平臺(tái)和瀏覽器的一致性。無縫集成到播放器中的網(wǎng)站上,并保留該網(wǎng)站的外觀和品牌。進(jìn)行深入的交互式體驗(yàn)。有哪些可用的應(yīng)用?已構(gòu)建了各種富媒體應(yīng)用,包括視頻點(diǎn)播、網(wǎng)上直播、音頻/視頻消息、音頻/視頻博客、實(shí)時(shí)音頻/視頻、文本聊天室、實(shí)時(shí)數(shù)據(jù)廣播、多用戶游戲以及更多應(yīng)用。1.6流媒體文件格式1.6.1壓縮媒體文件格式常用視頻、音頻壓縮文件類型文件壓縮過程1.6.2流式文件格式常用流式文件格式流式文件編碼過程1.6.3媒體發(fā)布格式常用媒體發(fā)布格式1.7流媒體系統(tǒng)的構(gòu)成包括媒體采集與編碼轉(zhuǎn)檔/轉(zhuǎn)碼軟件：可將普通格式的音頻、視頻或動(dòng)畫媒體文件通過壓縮轉(zhuǎn)換為流服務(wù)器進(jìn)行流式傳輸?shù)牧鞲袷轿募?。（RealProducer,WindowsMediaEncoder）流媒體編輯軟件：對(duì)流媒體文件進(jìn)行編輯，常與轉(zhuǎn)檔/轉(zhuǎn)碼軟件捆綁在一起。合成軟件：可將各類圖片、聲音、文字、視頻、幻燈片或網(wǎng)頁同步，并合成為一個(gè)流媒體文件。（RealSlideShow,RealPresenter,WindowsMediaAuthor）編程軟件：可開發(fā)流式傳輸?shù)男聰?shù)據(jù)類型，創(chuàng)建客戶端應(yīng)用，自定義流媒體系統(tǒng)。（SDK）1.7.1媒體內(nèi)容制作1.7.2媒體內(nèi)容管理包括流媒體文件的存儲(chǔ)、查詢及節(jié)目管理、創(chuàng)建和發(fā)布。視頻業(yè)務(wù)管理媒體發(fā)布系統(tǒng)：包括廣播和點(diǎn)播的管理，節(jié)目管理，創(chuàng)建、發(fā)布及計(jì)費(fèi)認(rèn)證服務(wù)，提供定時(shí)按需錄制、直播、傳送節(jié)目的解決方案，管理用戶訪問及多服務(wù)器系統(tǒng)負(fù)載均衡調(diào)度的服務(wù)。媒體存儲(chǔ)系統(tǒng)：必須配備大容量的磁盤陣列，具有高性能的數(shù)據(jù)讀寫能力，訪問共享數(shù)據(jù)，高速傳輸外界請(qǐng)求數(shù)據(jù)，并具有高度的可擴(kuò)展性、兼容性，支持標(biāo)準(zhǔn)的接口。媒體內(nèi)容自動(dòng)索引檢索系統(tǒng)：對(duì)媒體源進(jìn)行標(biāo)記，捕捉音頻、視頻文件并建立索引，建立高分辨率媒體的低分辨率代理文件。1.7.3用戶管理涉及用戶的登記、授權(quán)、計(jì)費(fèi)和認(rèn)證用戶身份驗(yàn)證：限制非法用戶使用系統(tǒng)計(jì)費(fèi)系統(tǒng)：根據(jù)用戶訪問的內(nèi)容或時(shí)間進(jìn)行相應(yīng)的費(fèi)用統(tǒng)計(jì)媒體數(shù)字版權(quán)加密系統(tǒng)（DRM）：允許內(nèi)容提供商在其發(fā)布的媒體或節(jié)目中對(duì)指定的時(shí)間段、觀看次數(shù)及其內(nèi)容進(jìn)行加密和保護(hù)。1.7.4視頻服務(wù)器網(wǎng)絡(luò)視頻的核心采用時(shí)間片調(diào)度算法存儲(chǔ)量大，數(shù)據(jù)率高，具備接納控制、請(qǐng)求處理、數(shù)據(jù)檢索、按流傳送等功能存儲(chǔ)設(shè)備多采用SCSI接口，以確保高速、并行、多重I/O總線能力流媒體系統(tǒng)通常支持多服務(wù)器協(xié)同工作，服務(wù)器之間能自動(dòng)進(jìn)行負(fù)載均衡1.7.5客戶端系統(tǒng)支持實(shí)時(shí)音頻、視頻直播和點(diǎn)播可嵌入到流行的瀏覽器中可播放多種流行的媒體格式支持流媒體中的多種媒