圖像視頻編碼與表達(dá)的理論與方法-Read課件

網(wǎng)絡(luò)流媒體

主講教師：霍龍社北京大學(xué)數(shù)字媒體研究所2008.5.29網(wǎng)絡(luò)流媒體1重要通知期末考試安排時(shí)間6月13日（周五）上午8點(diǎn)～10點(diǎn)地點(diǎn)待定課程作業(yè)提交時(shí)間本周五（5月30日）晚上12點(diǎn)之前請沒有提交作業(yè)的同學(xué)注意截至?xí)r間2重要通知期末考試安排2什么是網(wǎng)絡(luò)流媒體？流媒體以“流”的方式來傳送和消費(fèi)音視頻等多媒體數(shù)據(jù)類似于自來水…傳統(tǒng)的廣播電視就是流媒體的一個(gè)很好的例子網(wǎng)絡(luò)流媒體本課程主要關(guān)注基于互聯(lián)網(wǎng)（IP網(wǎng)絡(luò)）的流媒體技術(shù)和系統(tǒng)從使用上目前尚未達(dá)到像自來水這樣開關(guān)自如的程度但是技術(shù)的發(fā)展應(yīng)該朝這個(gè)方向努力3什么是網(wǎng)絡(luò)流媒體？流媒體3網(wǎng)絡(luò)流媒體應(yīng)用分類流媒體點(diǎn)播流化預(yù)編碼存儲(chǔ)的音視頻媒體數(shù)據(jù)流媒體廣播現(xiàn)場直播流化實(shí)時(shí)采集編碼的音視頻媒體數(shù)據(jù)文件輪播將預(yù)編碼存儲(chǔ)的音視頻媒體數(shù)據(jù)按照一定的播出時(shí)間進(jìn)行編排，以播放列表的形式定時(shí)循環(huán)播出實(shí)時(shí)交互式流媒體應(yīng)用視頻電話視頻會(huì)議…4網(wǎng)絡(luò)流媒體應(yīng)用分類流媒體點(diǎn)播4網(wǎng)絡(luò)流媒體的特性端到端延時(shí)約束流媒體點(diǎn)播起始延時(shí)：<10s類VCR操作（例如拖動(dòng)進(jìn)度條）：<1~2s流媒體直播可容忍幾十秒的延時(shí)交互式會(huì)話<150msgood<400msOK時(shí)序性約束流媒體數(shù)據(jù)必須按照一定的順序連續(xù)播放一定程度的容錯(cuò)性5網(wǎng)絡(luò)流媒體的特性端到端延時(shí)約束5網(wǎng)絡(luò)流媒體面臨的問題由流媒體數(shù)據(jù)及其承載這些數(shù)據(jù)的傳輸網(wǎng)絡(luò)兩方面的特性所決定流媒體數(shù)據(jù)數(shù)據(jù)量龐大，必須經(jīng)過壓縮編碼后才能在網(wǎng)絡(luò)上進(jìn)行傳輸和存儲(chǔ)壓縮的視頻數(shù)據(jù)在解碼時(shí)存在數(shù)據(jù)依賴性問題幀內(nèi)依賴幀間依賴I，P，B壓縮的視頻數(shù)據(jù)，其碼率可能隨視頻場景的變化而動(dòng)態(tài)波動(dòng)實(shí)時(shí)性約束6網(wǎng)絡(luò)流媒體面臨的問題由流媒體數(shù)據(jù)及其承載這些數(shù)據(jù)的傳輸網(wǎng)絡(luò)兩網(wǎng)絡(luò)流媒體面臨的問題IP網(wǎng)絡(luò)基于分組交換的無連接網(wǎng)絡(luò)IP分組在一系列的路由器之間進(jìn)行存儲(chǔ)轉(zhuǎn)發(fā)可能因?yàn)槁酚善骶彌_區(qū)溢出而發(fā)生分組丟失盡力而為端到端帶寬、時(shí)延等均不能保證常用傳輸協(xié)議UDPTCP慢啟動(dòng)擁塞避免TCP友好7網(wǎng)絡(luò)流媒體面臨的問題IP網(wǎng)絡(luò)7網(wǎng)絡(luò)流媒體面臨的問題假定一客戶機(jī)與服務(wù)器之間具有足夠大的帶寬客戶機(jī)中具有足夠大的緩存空間則任何時(shí)候用戶提出播放請求時(shí)，相應(yīng)的媒體內(nèi)容都能夠立即傳遞到客戶機(jī)的緩存中來從用戶體驗(yàn)的角度能夠達(dá)到流媒體的效果但是上述假設(shè)是不現(xiàn)實(shí)的8網(wǎng)絡(luò)流媒體面臨的問題假定一8網(wǎng)絡(luò)流媒體面臨的問題假定二客戶機(jī)與服務(wù)器之間的帶寬有限客戶機(jī)中具有足夠大的緩存空間則壓縮音視頻數(shù)據(jù)的解碼需要一定的緩存空間和時(shí)延IP網(wǎng)絡(luò)中帶寬的波動(dòng)和隨機(jī)丟包等也需要通過增加緩沖區(qū)來進(jìn)行控制但是流媒體端到端的延時(shí)約束使得多余的緩存空間失去利用價(jià)值9網(wǎng)絡(luò)流媒體面臨的問題假定二9網(wǎng)絡(luò)流媒體面臨的問題假定三客戶機(jī)與服務(wù)器之間具有足夠大的帶寬客戶機(jī)中的緩存空間有限則流媒體播放的時(shí)序性約束使得需要進(jìn)行傳輸中的流量控制，多余的帶寬資源也失去了利用價(jià)值10網(wǎng)絡(luò)流媒體面臨的問題假定三10網(wǎng)絡(luò)流媒體面臨的問題目前的實(shí)際狀況客戶機(jī)與服務(wù)器之間的帶寬有限，且存在動(dòng)態(tài)波動(dòng)和丟包等現(xiàn)象客戶機(jī)中的緩存空間有限壓縮的視頻數(shù)據(jù)在解碼時(shí)存在數(shù)據(jù)依賴性問題因此需要解決擁塞控制流量控制差錯(cuò)控制QoS自適應(yīng)音視頻同步…需要設(shè)計(jì)媒體編碼、存儲(chǔ)格式媒體描述、傳輸、控制協(xié)議…11網(wǎng)絡(luò)流媒體面臨的問題目前的實(shí)際狀況11網(wǎng)絡(luò)流媒體系統(tǒng)結(jié)構(gòu)基本系統(tǒng)流媒體服務(wù)器流媒體播放器IP網(wǎng)絡(luò)擴(kuò)展在IP網(wǎng)絡(luò)中，可加入一系列應(yīng)用層中間系統(tǒng)，例如緩存、轉(zhuǎn)碼等等流媒體服務(wù)器流媒體播放器IP網(wǎng)絡(luò)流媒體播放器…12網(wǎng)絡(luò)流媒體系統(tǒng)結(jié)構(gòu)基本系統(tǒng)流媒體服務(wù)器流媒體播放器IP流媒體細(xì)化13細(xì)化13需規(guī)范的格式和協(xié)議媒體編碼格式媒體傳輸協(xié)議媒體描述協(xié)議媒體會(huì)話控制協(xié)議媒體存儲(chǔ)格式14需規(guī)范的格式和協(xié)議媒體編碼格式14視頻編碼格式視頻編碼定義壓縮視頻碼流的格式（語法和語義）解碼器和編碼器必須就壓縮視頻碼流的格式及其解釋達(dá)成一致，因此需要制訂相應(yīng)的標(biāo)準(zhǔn)主要視頻編碼標(biāo)準(zhǔn)MPEG1、MPEG2、MPEG4、H.264、VC1、AVS…編碼器壓縮視頻碼流原始視頻數(shù)據(jù)攝像機(jī)解碼器重構(gòu)視頻數(shù)據(jù)顯示器15視頻編碼格式視頻編碼編碼器壓縮視頻碼流原始視頻數(shù)據(jù)攝像機(jī)解碼視頻編碼格式主流編碼標(biāo)準(zhǔn)壓縮視頻碼流的基本格式（以AVS為例）不同語法元素之間通過起始碼來進(jìn)行分割和標(biāo)識(shí)起始碼前綴（24比特，0x000001）＋起始碼值（8bit）16視頻編碼格式主流編碼標(biāo)準(zhǔn)壓縮視頻碼流的基本格式（以AVS為例視頻編碼格式AVS起始碼值17視頻編碼格式AVS起始碼值17編碼器的輸出編碼器輸出壓縮視頻碼流的去向以文件的形式進(jìn)行存儲(chǔ)實(shí)時(shí)通過IP網(wǎng)絡(luò)傳輸?shù)絚lient網(wǎng)絡(luò)傳輸需要相應(yīng)的傳輸層協(xié)議來支持流媒體的實(shí)時(shí)傳輸RFC3550中定義了RTP協(xié)議（實(shí)時(shí)傳輸協(xié)議）文件存儲(chǔ)可以將編碼器的輸出碼流直接存儲(chǔ)為文件，通常稱為ES流文件然而為了方便多種媒體的復(fù)用、快速檢索/定位、流化等，還需要對這些碼流進(jìn)行封裝，定義相應(yīng)的文件封裝和存儲(chǔ)格式編碼器壓縮視頻碼流IP網(wǎng)絡(luò)文件18編碼器的輸出編碼器輸出壓縮視頻碼流的去向編碼器壓縮視頻碼流I流媒體網(wǎng)絡(luò)傳輸RFC3550中實(shí)際上定義了兩個(gè)緊密相關(guān)、配合使用的協(xié)議RTP（實(shí)時(shí)傳輸協(xié)議）用于為音視頻等具有實(shí)時(shí)特性的流媒體數(shù)據(jù)提供端對端傳送服務(wù)的傳輸層協(xié)議，所提供服務(wù)主要包括：凈載類型識(shí)別、序列號、時(shí)間戳和傳輸監(jiān)控信息等。RTCP（RTP控制協(xié)議）與RTP配合使用監(jiān)控流媒體傳輸?shù)姆?wù)質(zhì)量在一次流媒體會(huì)話的多個(gè)參與者之間傳遞信息19流媒體網(wǎng)絡(luò)傳輸RFC3550中實(shí)際上定義了兩個(gè)緊密相關(guān)、配合RTP協(xié)議頭格式20RTP協(xié)議頭格式20RTP協(xié)議頭字段V版本號P凈載填充標(biāo)識(shí)X協(xié)議頭擴(kuò)展標(biāo)識(shí)CCCSRC計(jì)數(shù)SSRCthesynchronizationsourceCSRCthecontributingsourcesforthepayloadcontainedinthispacket21RTP協(xié)議頭字段V21RTP協(xié)議頭字段M含義有相應(yīng)的profile來定義通常用于標(biāo)識(shí)幀的邊界：值為1則表示當(dāng)前RTP包是組成一個(gè)視頻幀數(shù)據(jù)的最后一個(gè)分組，值為0則表示當(dāng)前幀數(shù)據(jù)還沒有完全到達(dá)PT（PayloadType，凈載類型）當(dāng)前RTP包中所承載數(shù)據(jù)的媒體類型例如：AVS-P2（AVS視頻），AVS-P3（AVS音頻），H.264視頻，MP3音頻，…RFC3551中定義了若干已知主流媒體編碼類型的PayloadType編號RTP凈載媒體類型還可以通過別的途徑來進(jìn)行協(xié)商和通知22RTP協(xié)議頭字段M22RTP協(xié)議頭字段SequencenumberRTP包序列號，按順序依次遞增接收端可使用該sequencenumber的值來檢測丟包并重新排序23RTP協(xié)議頭字段Sequencenumber23RTP協(xié)議頭字段timestamp（時(shí)間戳）當(dāng)前RTP包凈載數(shù)據(jù)中第一個(gè)字節(jié)數(shù)據(jù)的采樣時(shí)間不同類型媒體可能采用不同的時(shí)間單位，通過帶外信令或者凈載類型profile等形式進(jìn)行協(xié)商例如，多數(shù)視頻標(biāo)準(zhǔn)RTP凈載格式中規(guī)定采用1/90000秒作為RTP頭中timestamp的時(shí)間單位不同媒體流可以采用不同的隨機(jī)起始偏移，因此在呈現(xiàn)時(shí)不能通過直接比較它們的時(shí)間戳值來進(jìn)行同步，而是需要共同參考一個(gè)墻上時(shí)鐘（wallclock）來進(jìn)行同步。Wallclock通過RTCP協(xié)議中SR（源報(bào)告）的形式進(jìn)行傳遞。24RTP協(xié)議頭字段timestamp（時(shí)間戳）24RTCPRTCP是一個(gè)與RTP協(xié)同工作的控制協(xié)議RTP：傳輸協(xié)議RTCP：控制協(xié)議參與流媒體會(huì)話的成員之間通過周期性地交換RTCP分組來反饋傳輸質(zhì)量和成員信息QoS反饋以SR或RR的形式發(fā)送RTP分組丟包率累積的丟包數(shù)分組到達(dá)延時(shí)分組到達(dá)延時(shí)抖動(dòng)參與者標(biāo)識(shí)（文本形式）控制分組的比例媒體間同步Wallclock偏移值25RTCPRTCP是一個(gè)與RTP協(xié)同工作的控制協(xié)議25RTP數(shù)據(jù)的承載RTP僅提供一些與流媒體時(shí)間特性相關(guān)的字段，本身并不能為終端用戶提供QoS保證相關(guān)功能需要通過承載它的下層傳輸協(xié)議、以及上層應(yīng)用程序來完成鑒于流媒體傳輸?shù)膶?shí)時(shí)性，通常將RTP承載于UDP之上通過將不同的媒體流（例如音頻流、視頻流）RTP包分別發(fā)送至同一IP地址的不同UDP端口，來實(shí)現(xiàn)音視頻數(shù)據(jù)的復(fù)用但是也可以采用可靠傳輸協(xié)議例如TCP來承載RTP需要將來自不同媒體流的RTP包復(fù)用到同一個(gè)TCP連接的字節(jié)流之中需借助于RTSP協(xié)議來進(jìn)行控制（稍后講述）26RTP數(shù)據(jù)的承載RTP僅提供一些與流媒體時(shí)間特性相關(guān)的字段，RTP凈載格式定義如何將由編碼器輸出的壓縮碼流打包至RTP包的凈載中去不同的媒體編碼類型可以定義不同的RTP凈載格式RFC2190：RTPpayloadforH.263RFC2250：RTPpayloadforMPEG1/2RFC3016：RTPpayloadforMPEG4RFC3984：RTPpayloadforH.264…主要考慮對網(wǎng)絡(luò)的適應(yīng)能力編碼器壓縮視頻碼流RTP打包器RTP分組流IP網(wǎng)絡(luò)27RTP凈載格式定義如何將由編碼器輸出的壓縮碼流打包至RTP包RTP凈載格式舉例AVS視頻RTP凈載格式引入NAL（網(wǎng)絡(luò)抽象層）單元的概念將AVS-P2視頻比特流中每兩個(gè)相鄰的起始碼前綴之間的數(shù)據(jù)映射到一個(gè)NAL單元以NAL單元為單位進(jìn)行RTP打包，包括3種RTP包類型單NALU包一個(gè)RTP包中包含且僅包含一個(gè)NALU數(shù)據(jù)復(fù)合NALU包一個(gè)RTP包中包含多個(gè)完整的NALU數(shù)據(jù)分割NALU包一個(gè)NALU中的數(shù)據(jù)被分割并打包到多個(gè)RTP包之中一個(gè)RTP包中不能包含多個(gè)NALU的部分?jǐn)?shù)據(jù)28RTP凈載格式舉例AVS視頻RTP凈載格式28RTP凈載格式舉例AVS視頻中的NAL單元類型29RTP凈載格式舉例AVS視頻中的NAL單元類型29流媒體文件格式為什么要進(jìn)行文件封裝多種媒體流（視頻、音頻、文本）的復(fù)用媒體流管理與編輯媒體檢索和定位，支持類VCR操作快速定位并訪問到某一幀數(shù)據(jù)支持本地硬盤、光盤播放支持網(wǎng)絡(luò)流媒體播放常見流媒體文件格式AVIWMVRMMOVMP430流媒體文件格式為什么要進(jìn)行文件封裝30流媒體文件格式ISOBaseMediaFileFormat來源于于Apple的quicktime文件格式在ISO的JPEG-4和JPEG-2000系列標(biāo)準(zhǔn)中進(jìn)行了規(guī)范ISO/IEC14496-12forMPEG-4ISO/IEC15444-12forJPEG2000為流媒體文件封裝提供了一種基本格式是一種面向?qū)ο蟮奈募袷組P4、H.264、AVS等的文件格式都基于該基文件格式進(jìn)行制訂31流媒體文件格式ISOBaseMediaFileForISOBaseMediaFileFormat文件結(jié)構(gòu)有一系列的稱之為box的對象組成box內(nèi)可以嵌套box文件中所有數(shù)據(jù)都包含于某個(gè)box，沒有不在box中的數(shù)據(jù)32ISOBaseMediaFileFormat文件結(jié)構(gòu)ISOBaseMediaFileFormat典型結(jié)構(gòu)33ISOBaseMediaFileFormat典型結(jié)構(gòu)ISOBaseMediaFileFormatmoov元數(shù)據(jù)對象（box）用于描述文件中所包含的媒體數(shù)據(jù)為每一個(gè)媒體流創(chuàng)建一個(gè)媒體軌道VideotrackAudiotrack…為每一個(gè)需要打包流化（通過IP網(wǎng)絡(luò)流式傳輸）的媒體軌道創(chuàng)建一個(gè)提示軌道（hinttrack）用于指示如何對該軌道數(shù)據(jù)內(nèi)容進(jìn)行RTP打包需要了解相應(yīng)軌道媒體的RTP凈載格式34ISOBaseMediaFileFormatmoovISOBaseMediaFileFormatmdat媒體數(shù)據(jù)對象存儲(chǔ)各軌道實(shí)際的媒體數(shù)據(jù)可以是自包含的，即與moovbox位于同一個(gè)文件也可以存儲(chǔ)于不同的文件各軌道媒體數(shù)據(jù)可以分別連續(xù)存儲(chǔ)，也可以按照時(shí)間順序交織存儲(chǔ)交織有利于數(shù)據(jù)的快速訪問35ISOBaseMediaFileFormatmdatISOBaseMediaFileFormat36ISOBaseMediaFileFormat36ISOBaseMediaFileFormat37ISOBaseMediaFileFormat37ISOBaseMediaFileFormat38ISOBaseMediaFileFormat38ISOBaseMediaFileFormat39ISOBaseMediaFileFormat39流媒體服務(wù)器為什么需要流媒體服務(wù)器如果只是一個(gè)client、一個(gè)server一對一通信，則沒有必要用流媒體服務(wù)器然而事實(shí)上同一個(gè)server需要為大量的client提供服務(wù)流媒體服務(wù)器的作用接收來自client的播放請求，為其發(fā)送相應(yīng)的音視頻碼流數(shù)據(jù)緩沖數(shù)據(jù)調(diào)度流量控制QoS自適應(yīng)控制…流媒體服務(wù)器40流媒體服務(wù)器為什么需要流媒體服務(wù)器流媒體服務(wù)器40流媒體服務(wù)器基本結(jié)構(gòu)41流媒體服務(wù)器基本結(jié)構(gòu)41媒體描述協(xié)議流媒體服務(wù)器通過什么方式來發(fā)布自己擁有的媒體信息？Client靠什么來向流媒體服務(wù)器索取自己想要的媒體數(shù)據(jù)？RFC2327中定義了一個(gè)會(huì)話描述協(xié)議：SDP（SessionDescriptionProtocol）用于描述一個(gè)多媒體會(huì)話主要包括會(huì)話名稱及用途會(huì)話激活的時(shí)間會(huì)話中所包含的媒體流用于接收媒體的相關(guān)信息，如地址、端口號、格式等等…42媒體描述協(xié)議流媒體服務(wù)器通過什么方式來發(fā)布自己擁有的媒體信息SDP媒體信息媒體類型音頻視頻…傳輸協(xié)議RTP/UDP/IPRTP/TCP/IPH.320…媒體編碼格式MPEG-1/2/4H.264AVS…目的地址端口號…43SDP媒體信息43SDP體現(xiàn)為一行行的文本字符串，形式為<type>=<value>會(huì)話描述時(shí)間描述44SDP體現(xiàn)為一行行的文本字符串，形式為44SDP媒體描述45SDP媒體描述45SDP舉例一46SDP舉例一46SDP舉例二v=0o=QTSS_Play_List41626149274162633353INIP48s=C:\ProgramFiles\DarwinStreamingServer\Playlists\avsrelay\avsr@c=INIP4t=00a=x-broadcastcontrol:RTSPm=video20000RTP/AVP96a=rtpmap:96AVS1-P2/90000a=control:trackID=1a=cliprect:0,0,352,288a=fmtp:96profile-level-id=2042;sprop-parameter-sets=sCBCgsAJAAjAABgAoAAA;packetization-mode=1m=audio20002RTP/AVP97a=rtpmap:97MPA/48000a=control:trackID=2a=mpeg4-esid:347SDP舉例二47SDPSDP信息的生成對于流媒體現(xiàn)場直播在初始化實(shí)時(shí)編碼器（RTP打包器）時(shí)首先生成一個(gè)sdp文件，放置到流媒體服務(wù)器的相應(yīng)目錄之下對于文件輪播在編輯播放列表時(shí)，流媒體服務(wù)器調(diào)用相應(yīng)工具生成一個(gè)sdp文件，放置到流媒體服務(wù)器的相應(yīng)目錄之下對于流媒體點(diǎn)播在封裝流媒體文件時(shí)，在相應(yīng)的box中寫入相關(guān)的媒體描述信息在接收到來自的客戶的請求播放消息時(shí)，流媒體服務(wù)器從文件中讀取相關(guān)數(shù)據(jù)并生成SDP信息48SDPSDP信息的生成48SDP流媒體節(jié)目的訪問廣播節(jié)目在客戶端播放器中，通過輸入節(jié)目所對應(yīng)SDP文件的URL地址來進(jìn)行播放，例如RTSP:///abc.sdp點(diǎn)播節(jié)目在客戶端播放器中，通過直接輸入節(jié)目文件名對應(yīng)的URL地址來進(jìn)行播放，例如RTSP:///abc.asm當(dāng)然也可以在web頁面中直接嵌入上述URL來啟動(dòng)播放器SDP信息通常通過RTSP協(xié)議傳遞至客戶端49SDP流媒體節(jié)目的訪問49客戶端與服務(wù)器的交互尋找哪個(gè)網(wǎng)站有什么樣的媒體節(jié)目通過搜索引擎門戶網(wǎng)站…得到節(jié)目的URL：RTSP:///abc.sdp協(xié)議名：RTSP服務(wù)器地址：媒體描述：abc.sdp通過會(huì)話控制協(xié)議與流媒體服務(wù)器進(jìn)行交互獲取媒體描述信息根據(jù)媒體描述信息從服務(wù)器接收媒體數(shù)據(jù)（RTP包）類VCR操作50客戶端與服務(wù)器的交互尋找哪個(gè)網(wǎng)站有什么樣的媒體節(jié)目50流媒體會(huì)話控制協(xié)議RFC2326中定義了一個(gè)流媒體會(huì)話控制協(xié)議：RTSP（RealTimeStreamingProtocol）應(yīng)用層協(xié)議信令協(xié)議交互式問答用來建立和控制一個(gè)或多個(gè)時(shí)間同步的連續(xù)音視頻媒體流的會(huì)話協(xié)議通過在客戶機(jī)和服務(wù)器之間傳遞RTSP會(huì)話命令，可以完成諸如請求播放、開始、暫停、查找、快進(jìn)和快退等VCR控制操作。相當(dāng)于一個(gè)遠(yuǎn)程流媒體服務(wù)器控制器51流媒體會(huì)話控制協(xié)議RFC2326中定義了一個(gè)流媒體會(huì)話控制協(xié)RTSP與HTTP具有類似的語法和操作，大多數(shù)HTTP的擴(kuò)展機(jī)制都可以加入到RTSP，但也存在以下區(qū)別與HTTP的無狀態(tài)特性相反，RTSP服務(wù)器在幾乎所有情況下都缺省需要維持狀態(tài)信息。RTSP服務(wù)器和RTSP客戶機(jī)都可以主動(dòng)發(fā)起請求。通常情況下采用與數(shù)據(jù)傳輸協(xié)議不同的其它協(xié)議來傳輸RTSP會(huì)話命令，稱為帶外帶外信令方式52RTSP與HTTP具有類似的語法和操作，大多數(shù)HTTP的擴(kuò)展RTSP主要命令DESCRIBE向流媒體服務(wù)器請求SDP信息SETUP使服務(wù)器分配媒體流資源，并啟