HTTPLiveStreaming直播技術(shù)分析與實(shí)現(xiàn)

1、HTTPLiveStreaming直播技術(shù)分析與實(shí)現(xiàn)不經(jīng)意間發(fā)現(xiàn)，大半年沒(méi)寫(xiě)博客了，自覺(jué)汗顏。實(shí)則2012后半年，家中的事一樣接著一樣發(fā)生，實(shí)在是沒(méi)有時(shí)間。快過(guò)年了，總算忙里偷閑，把最近的一些技術(shù)成果，總結(jié)成了文章，與大家分享。前些日子，也是項(xiàng)目需要，花了一些時(shí)間研究了HTTPLiveStreaming（HLS）技術(shù)，并實(shí)現(xiàn)了一個(gè)HLS編碼器HLSLiveEncoder,當(dāng)然，C+寫(xiě)的。其功能是采集攝像頭與麥克風(fēng)，實(shí)時(shí)進(jìn)行H.264視頻編碼和AAC音頻編碼，并按照HLS的協(xié)議規(guī)范，生成分段的標(biāo)準(zhǔn)TS文件以及m3u8索引文件。通過(guò)我的HLSLiveEncoder和第三方Http服務(wù)器（例如：Ng

2、inx）,成功實(shí)現(xiàn)了HTTPLiveStreaming直播，并在iphone上測(cè)試通過(guò)。我就把這當(dāng)中的一些收獲寫(xiě)在這里。HTTPLiveStreaming（HLS）是蘋(píng)果公司（AppleInc.）實(shí)現(xiàn)的基于HTTP的流媒體傳輸協(xié)議，可實(shí)現(xiàn)流媒體的直播和點(diǎn)播,主要應(yīng)用在iOS系統(tǒng)，為iOS設(shè)備（如iPhone、iPad）提供音視頻直播和點(diǎn)播方案。HLS點(diǎn)播，基本上就是常見(jiàn)的分段HTTP點(diǎn)播，不同在于，它的分段非常小。要實(shí)現(xiàn)HLS點(diǎn)播，重點(diǎn)在于對(duì)媒體文件分段，目前有不少開(kāi)源工具可以使用，這里我就不再討論，只談HLS直播技術(shù)。相對(duì)于常見(jiàn)的流媒體直播協(xié)議，例如RTMP協(xié)議、RTSP協(xié)議、MMS協(xié)議等，

3、HLS直播最大的不同在于，直播客戶(hù)端獲取到的，并不是一個(gè)完整的數(shù)據(jù)流。HLS協(xié)議在服務(wù)器端將直播數(shù)據(jù)流存儲(chǔ)為連續(xù)的、很短時(shí)長(zhǎng)的媒體文件（MPEG-TS格式），而客戶(hù)端則不斷的下載并播放這些小文件，因?yàn)榉?wù)器端總是會(huì)將最新的直播數(shù)據(jù)生成新的小文件，這樣客戶(hù)端只要不停的按順序播放從服務(wù)器獲取到的文件，就實(shí)現(xiàn)了直播。由此可見(jiàn)，基本上可以認(rèn)為，HLS是以點(diǎn)播的技術(shù)方式來(lái)實(shí)現(xiàn)直播。由于數(shù)據(jù)通過(guò)HTTP協(xié)議傳輸，所以完全不用考慮防火墻或者代理的問(wèn)題，而且分段文件的時(shí)長(zhǎng)很短，客戶(hù)端可以很快的選擇和切換碼率，以適應(yīng)不同帶寬條件下的播放。不過(guò)HLS的這種技術(shù)特點(diǎn)，決定了它的延遲一般總是會(huì)高于普通的流媒體直播協(xié)議

4、。根據(jù)以上的了解要實(shí)現(xiàn)HTTPLiveStreaming直播，需要研究并實(shí)現(xiàn)以下技術(shù)關(guān)鍵點(diǎn)采集視頻源和音頻源的數(shù)據(jù)對(duì)原始數(shù)據(jù)進(jìn)行H264編碼和AAC編碼視頻和音頻數(shù)據(jù)封裝為MPEG-TS包HLS分段生成策略及m3u8索引文件HTTP傳輸協(xié)議其中第1點(diǎn)和第2點(diǎn)，我之前的文章中已經(jīng)提到過(guò)了，而最后一點(diǎn)，我們可以借助現(xiàn)有的HTTP服務(wù)器，所以，實(shí)現(xiàn)第3點(diǎn)和第4點(diǎn)是關(guān)鍵所在。通過(guò)以上分析，實(shí)現(xiàn)HLSLiveEncoder直播編碼器，其邏輯和流程基本上很清楚了：分別開(kāi)啟音頻與視頻編碼線(xiàn)程，通過(guò)DirectShow（或其他）技術(shù)來(lái)實(shí)現(xiàn)音視頻采集，隨后分別調(diào)用libx264和libfaac進(jìn)行視頻和音頻編碼

5、。兩個(gè)編碼線(xiàn)程實(shí)時(shí)編碼音視頻數(shù)據(jù)后，根據(jù)自定義的分片策略，存儲(chǔ)在某個(gè)MPEG-TS格式分段文件中，當(dāng)完成一個(gè)分段文件的存儲(chǔ)后，更新m3u8索引文件。如下圖所示：上圖中HLSLiveEncoder當(dāng)收到視頻和音頻數(shù)據(jù)后，需要首先判斷，當(dāng)前分片是否應(yīng)該結(jié)束，并創(chuàng)建新分片，以延續(xù)TS分片的不斷生成。需要注意的是，新的分片，應(yīng)當(dāng)從關(guān)鍵幀開(kāi)始，防止播放器解碼失敗。核心代碼如下所示：TsMuxer的接口也是比較簡(jiǎn)單的。#EXT-X-TARGETDURATION#EXT-X-TARGETDURATION每個(gè)分片TS的最大的時(shí)長(zhǎng)#EXT-X-MEDIA-SEQUENCE#EXT-X-MEDIA-SEQUENC

6、E第一個(gè)TS分片的序列號(hào)1010111213141516171嗎19：!2Q21|22學(xué)2627j2829北3132(33343536373839#ineludel,mpe：gts/n;pe=gtsenr.hN7Sdefine_USE_TS_mXEFt_LaG_9一一一-：cIassTSMuxsrpublic:explicitTSMueer(constchar*filename);-TSMuxer();std:stnngFiL&name)returnfil_ename_;初始化創(chuàng)建叩阮-丁5音頻和視頻第出流voidWnt&rMeader();/將內(nèi)存中剩余憩據(jù)寫(xiě)入文件voidWriteEncK

7、);寫(xiě)入觀窸臨voidWrite=Vide=oatacharwbuf,intbufLenFboolisKeyfrarue,unsignedint寫(xiě)人音痂碉voidWrite=AudioDatacharwbuf,intbufLenFunsignedinttinsestanp);一廢棄._voidWriteVideaSeqheaderCGharbufLen);private;std;:stringfilename_;_int64tinae_tjegin_;FILE*fp_;boolis_YideQ_begin_;MpegTSWriteKnspegt3_write_;HLS分段生成策略和m3u81.

8、分段策略HLS的分段策略，基本上推薦是10秒一個(gè)分片，當(dāng)然，具體時(shí)間還要根據(jù)分好后的分片的實(shí)際時(shí)長(zhǎng)做標(biāo)注通常來(lái)說(shuō)，為了緩存等方面的原因，在索引文件中會(huì)保留最新的三個(gè)分片地址，以類(lèi)似“滑動(dòng)窗口”的形式，進(jìn)行更新。2.m3u8文件簡(jiǎn)介m3u8，是HTTPLiveStreaming直播的索引文件。m3u8基本上可以認(rèn)為就是.m3u格式文件，區(qū)別在于，m3u8文件使用UTF-8字符編碼。#EXTM3Um3u文件頭，必須放在第一行#EXT-X-ALLOW-CACHE是否允許cache#EXT-X-ENDLISTm3u8文件結(jié)束符#EXTINFextrainfo，分片TS的信息，如時(shí)長(zhǎng)，帶寬等一個(gè)簡(jiǎn)單的m

9、3u8索引文件|#EXTM3U#EXT-X-MZDIA-SEUZNCE;EXT-X-TARGETDUItATION:10#EXTINF:10Fliv亡_2010工272：1.咼2百今ts#EXriNF:10r#EXTINF:10rlive20130127214224.ts運(yùn)行效果在Nginx工作目錄下啟動(dòng)HLSLiveEncoder，并用VLC播放器連接播放#EXT-X-MEDIA-SEQUENCE#EXT-X-MEDIA-SEQUENCE第一個(gè)TS分片的序列號(hào).50w.html_Frlmge.dI趙HLSEJveWncafIibx264-122x|jve-.m3u3Aliwfr_5013D2口fe2015020Klwe.2013020丄”httpr/L27,0.0Pl/1iye-rnSuS-VLCruedijplayer