流媒體協(xié)議介紹

1、流媒體協(xié)議初探什么是流媒體？流媒體即Streaming Media，是指視頻、聲音和數(shù)據(jù)以實(shí)時(shí)傳輸協(xié)議作為連續(xù)實(shí)時(shí)流從源端同時(shí)向目的地傳輸，在目的地接收到一定緩存數(shù)據(jù)后就可以立即播放出來(lái)的多媒體應(yīng)用。類別DownloadingStreaming點(diǎn)播內(nèi)容直播內(nèi)容最大內(nèi)容長(zhǎng)度終端容量大小無(wú)限制內(nèi)容質(zhì)量依內(nèi)容壓縮率從好到差還受限于網(wǎng)絡(luò)帶寬內(nèi)容存儲(chǔ)內(nèi)存內(nèi)容重復(fù)播放觀看延時(shí)必須全部下載完基本實(shí)時(shí)服務(wù)器Web serverStreaming server典型協(xié)議HTTP (TCP)RTP (UDP)流媒體傳輸類型流媒體傳輸分兩類：實(shí)時(shí)流媒體 和 順序流媒體實(shí)時(shí)流傳輸既可傳輸實(shí)況直播，也可傳輸完整的音視頻文

2、件（專用協(xié)議流式）。順序流媒體不可用于實(shí)況直播，僅能傳輸完整的音視頻文件（HTTP漸進(jìn)式）。區(qū)別實(shí)時(shí)流順序流音視頻數(shù)據(jù)源實(shí)時(shí)從錄制設(shè)備上采集，或（使用專用協(xié)議傳輸?shù)模┪募刹シ诺囊粢曨l文件服務(wù)器類型專用流媒體服務(wù)器普通的HTTP服務(wù)器，或FTP服務(wù)器傳輸協(xié)議專用協(xié)議HLS、RTSP或RTMP等一般的HTTP協(xié)議，與傳輸網(wǎng)頁(yè)的協(xié)議相同跳播可隨機(jī)訪問(wèn)任意片段在給定時(shí)刻，用戶只能觀看已下載的那部分，而不能跳到還未下載的部分http漸進(jìn)式下載原理 http邊下載邊播放，嚴(yán)格意義上講，不是直播協(xié)議。他的原理是先下載文件的基本信息，音頻視頻的時(shí)間戳，再下載音視頻數(shù)據(jù)，以播放mp4為例： 先下載文件頭 根據(jù)

3、文件頭指引下載文件尾 再下載文件的音視頻數(shù)據(jù)區(qū)別RTMPHLSRTSP全稱Real Time Message ProtocolHttp Live StreamReal Time Streaming Protocol上層協(xié)議TCP或HTTPHTTPRTP，RTCP軟件模型CSBSCS研發(fā)主要來(lái)自AdobeAppleMicrosoft針對(duì)客戶端支持Flash類產(chǎn)品的瀏覽器支持HTML5的瀏覽器支持HTML5的瀏覽器播放器視頻格式要求FLV， F4VMP4無(wú)服務(wù)器要求專用Flash服務(wù)器Flash Media ServerRed5普通HTTP服務(wù)器專用RTSP流媒體服務(wù)器實(shí)況直播要求專用編碼器上傳F

4、lash Media Encoder專用編碼器上傳Apple開(kāi)發(fā)工具與服務(wù)器相關(guān)，自定義上傳文件播放要求Flv ，F(xiàn)4V文件即可，服務(wù)器會(huì)自動(dòng)分解為F4f 數(shù)據(jù)文件f4x索引文件Ts數(shù)據(jù)文件，M3u8索引文件與服務(wù)器相關(guān)，與播放器相關(guān)主流的實(shí)時(shí)流媒體協(xié)議傳統(tǒng)流媒體傳輸協(xié)議RTSPRTSP協(xié)議既可以基于UDP傳輸也可以基于TCP傳輸 UDP比TCP更容易被防火墻或代理服務(wù)器阻隔； 但是TCP容易產(chǎn)生延遲。RTSP為純粹的傳輸控制協(xié)議。RTSP協(xié)議本身不與它負(fù)載的媒體數(shù)據(jù)相關(guān)。RTSP協(xié)議需要自定義客戶端向服務(wù)器發(fā)送RTSP命令。傳統(tǒng)流媒體傳輸協(xié)議RTSPRTSP為純粹的傳輸控制協(xié)議。RTSP協(xié)議

5、本身不與它負(fù)載的媒體數(shù)據(jù)相關(guān)。RTSP協(xié)議需要自定義客戶端向服務(wù)器發(fā)送RTSP命令。基于HTTP的流媒體自適應(yīng)傳輸協(xié)議 HTTP為基礎(chǔ)的流媒體自適應(yīng)傳輸是一種混合型的傳輸方式，它的傳輸動(dòng)作類似流媒體，但是實(shí)際上是基于HTTP漸序性下載。實(shí)質(zhì) 第一，它從同一個(gè)源產(chǎn)生多個(gè)不同碼率的節(jié)目流以適應(yīng)不同的帶寬和不同的設(shè)備類型。 第二.自適應(yīng)分發(fā)文件以及碼流傳輸?shù)淖兓际沁m應(yīng)有效網(wǎng)絡(luò)吞吐量和可用的CPU資源。 第三：所有的操作對(duì)用戶都是透明的，節(jié)目流的切換都在后臺(tái)進(jìn)行，用戶很難注意到節(jié)目流的變化。特點(diǎn)自適應(yīng)流媒體傳輸與傳統(tǒng)流媒體傳輸對(duì)比 （1）由于該技術(shù)方案能夠充分利用廣泛存在HTTP基礎(chǔ)環(huán)境，它實(shí)施起來(lái)

6、成本更低； （2）它具備了更好的伸縮性和可達(dá)性，減少了最后一英里帶來(lái)的問(wèn)題； （3）它能夠讓觀眾有更好的體驗(yàn)，而不需要內(nèi)容提供商或運(yùn)營(yíng)商去猜測(cè)用那種碼率傳輸更適合觀眾；技術(shù)實(shí)現(xiàn)優(yōu)勢(shì)： （1）快速播放以及拖動(dòng)，因?yàn)椴シ呕蛲蟿?dòng)節(jié)目都是在低碼率下完成，等動(dòng)作完成后客戶端會(huì)主動(dòng)切換到高碼率上去； （2）沒(méi)有緩沖等待、沒(méi)有鏈接中斷、沒(méi)用回看停頓； （3）平滑的在不同碼率節(jié)目間切換；對(duì)用戶而言它的優(yōu)勢(shì)：基于HTTP的流媒體自適應(yīng)傳輸協(xié)議RTMP必須采用Flash服務(wù)器FMS(Flash Media Server) 或 RED5 服務(wù)器將F4v 或 Flv文件轉(zhuǎn)化為RTMP流或HTTP流 客戶端獲取RTMP

7、流，提取相應(yīng)的Flv 或 F4v文件片段進(jìn)行播放。FMS的文件點(diǎn)播 設(shè)備端將數(shù)據(jù)轉(zhuǎn)化為F4v片段，通過(guò)RTMP流上傳到服務(wù)器 服務(wù)器轉(zhuǎn)發(fā)RTMP流到客戶端 客戶端獲取RTMP流，提取數(shù)據(jù)片段播放。FMS的實(shí)況直播基于HTTP的流媒體自適應(yīng)傳輸協(xié)議HLSHLS主要基于TS的視頻流或文件進(jìn)行封裝傳輸HLS類似一個(gè)容器封裝MPEG TS傳輸格式。TS是廣播電視行業(yè)中采用的節(jié)目傳輸格式。當(dāng)前HLS編解碼采用MPEG-4或H.264，音頻采用AAC。基于HTTP的流媒體自適應(yīng)傳輸協(xié)議HLS 數(shù)據(jù)經(jīng)編碼器、流分段器、文件分段器處理后為.ts文件（媒體數(shù)據(jù)）及.m3u8文件（媒體數(shù)據(jù)索引）存在于服務(wù)器之上

8、客戶端訪問(wèn).m3u8后按索引下載.ts文件進(jìn)行播放分發(fā)原理索引實(shí)例#EXTM3U#EXT-X-TARGETDURATION:30#EXTINF:30,76/sample_100k-1.ts#EXTINF:30,76/sample_100k-2.ts#EXTINF:30,76/sample_100k-3.ts#EXT-X-ENDLIST根據(jù)這個(gè)文件，播放器會(huì)依次下載sample_100k-1.ts，sample_100k-2.ts，sample_100k-3.tsHLS的主要技術(shù)特點(diǎn) 使用流切片

9、技術(shù)將一個(gè)完整的節(jié)目切成若干小片，通常是10秒每片，同時(shí)使用m3u或m3u8格式生成播放列表文件用來(lái)指導(dǎo)播放器如何播放文件切片；（1）節(jié)目源采用H.264/TS編碼格式，可變碼率； HLS技術(shù)另外一個(gè)優(yōu)勢(shì)是能夠?qū)崿F(xiàn)動(dòng)態(tài)自適應(yīng)碼率傳輸。相對(duì)于移動(dòng)流媒體RTP傳輸技術(shù)，HLS能夠根據(jù)終端用戶帶寬的可用性在終端而不是在前端視頻服務(wù)上，實(shí)現(xiàn)對(duì)碼率的切換。這種實(shí)現(xiàn)方式是為用戶在無(wú)保障的網(wǎng)絡(luò)上提供好的用戶體驗(yàn)。（2）通過(guò)HTTP Server分發(fā)節(jié)目，同時(shí)提供合適的緩存。（3）索引文件說(shuō)明了在同一個(gè)頻道或文件中不同碼率節(jié)目流的對(duì)應(yīng)性；（4）終端根據(jù)接收切變文件的時(shí)間長(zhǎng)度來(lái)選擇最合適的碼率；（5）每個(gè)切片文件最長(zhǎng)10秒，所以接收設(shè)備可以自動(dòng)適應(yīng)碼率變化；HLS在互動(dòng)電視體系的應(yīng)用CDN中心編排系統(tǒng)門(mén)戶移動(dòng)APK信令流內(nèi)容流CDN節(jié)點(diǎn)HLS回源運(yùn)營(yíng)支撐手機(jī)網(wǎng)關(guān)CDN節(jié)點(diǎn)回源STBTRSRTSPBSAAAA業(yè)務(wù)運(yùn)營(yíng)統(tǒng)一節(jié)目單改造/擴(kuò)容新建消息網(wǎng)關(guān)服務(wù)能力終端IPEPG增值業(yè)務(wù)系統(tǒng)內(nèi)容生產(chǎn)內(nèi)容分發(fā)直播源BOSS內(nèi)容生產(chǎn)直播源回放流程點(diǎn)播流程直播流程關(guān)于HLS需要知道的HLS是以點(diǎn)播的技術(shù)方式來(lái)實(shí)現(xiàn)直播由于數(shù)據(jù)通過(guò)HTTP協(xié)議傳輸，所以完全不用考慮防火墻或者代理的問(wèn)題分段文件的時(shí)長(zhǎng)很短，客戶端可以很快的選擇