視頻直播技術(shù) 1

賽事制作技術(shù)·視頻直播技術(shù)廣播影視節(jié)目制作專業(yè)教學(xué)資源庫一個完整的視頻直播過程，包括采集、處理、編碼、封裝、推流、傳輸、轉(zhuǎn)碼、分發(fā)、解碼、播放等。1視頻直播技術(shù)音頻采集音頻的采集過程主要通過設(shè)備將環(huán)境中的模擬信號采集成PCM編碼的原始數(shù)據(jù)，然后編碼壓縮成MP3等格式的數(shù)據(jù)分發(fā)出去。常見的音頻壓縮格式有：MP3，AAC，HE-AAC，Opus，F(xiàn)LAC，Vorbis(Ogg)，Speex和AMR等。圖像采集圖像的采集過程主要由攝像頭等設(shè)備拍攝成YUV編碼的原始數(shù)據(jù)，然后經(jīng)過編碼壓縮成H.264等格式的數(shù)據(jù)分發(fā)出去。常見的視頻封裝格式有：MP4、3GP、AVI、MKV、WMV、MPG、VOB、FLV、SWF、MOV、RMVB和WebM等。2采集視頻或者音頻完成采集之后得到原始數(shù)據(jù)，為了增強(qiáng)一些現(xiàn)場效果或者加上一些額外的效果，我們一般會在將其編碼壓縮前進(jìn)行處理。視頻——字幕/慢動作/動畫音頻：混音/音效/解說/降噪3.處理對流媒體傳輸來說，編碼非常重要，它的編碼性能、編碼速度和編碼壓縮比會直接影響整個流媒體傳輸?shù)挠脩趔w驗(yàn)和傳輸成本。常見的視頻編碼器：1)H.264/AVC2)HEVC/H.2653)VP84)VP95)FFmpeg音頻編碼器：Mp3,AAC等。4.編碼把編碼器生成的多媒體內(nèi)容(視頻，音頻，字幕，章節(jié)信息等)混合封裝在一起幾種常見的封裝格式：1)AVI格式(后綴為.avi)2)DV-AVI格式(后綴為.avi)3)QuickTimeFileFormat格式(后綴為.mov)4)MPEG格式(文件后綴可以是.mpg.mpeg.mpe.dat.vob.asf.3gp.mp4等)5)WMV格式(后綴為.wmv.asf)6)RealVideo格式(后綴為.rm.rmvb)7)FlashVideo格式(后綴為.flv）8)Matroska格式(后綴為.mkv)9)MPEG2-TS格式(后綴為.ts)目前，我們在流媒體傳輸，尤其是直播中主要采用的就是FLV和MPEG2-TS格式，分別用于RTMP/HTTP-FLV和HLS協(xié)議5封裝推流是指使用推流工具等內(nèi)容抓取軟件把直播內(nèi)容傳輸?shù)椒?wù)器的過程。推送協(xié)議主要有三種：RTSP(RealTimeStreamingProtocol)：實(shí)時流傳送協(xié)議，是用來控制聲音或影像的多媒體串流協(xié)議,由RealNetworks和Netscape共同提出的;RTMP(RealTimeMessagingProtocol)：實(shí)時消息傳送協(xié)議，是Adobe公司為Flash播放器和服務(wù)器之間音頻、視頻和數(shù)據(jù)傳輸開發(fā)的開放協(xié)議;HLS(HTTPLiveStreaming)：是蘋果公司(AppleInc.)實(shí)現(xiàn)的基于HTTP的流媒體傳輸協(xié)議;RTMP是目前主流的流媒體傳輸協(xié)議，廣泛用于直播領(lǐng)域，市面上絕大多數(shù)的直播產(chǎn)品都采用了這個協(xié)議。RTMP協(xié)議基于TCP，是一種設(shè)計用來進(jìn)行實(shí)時數(shù)據(jù)通信的網(wǎng)絡(luò)協(xié)議，主要用來在flash/AIR平臺和支持RTMP協(xié)議的流媒體/交互服務(wù)器之間進(jìn)行音視頻和數(shù)據(jù)通信。支持該協(xié)議的軟件包括AdobeMediaServer/UltrantMediaServer/red5等。6.推流它有三種變種：RTMP工作在TCP之上的明文協(xié)議，使用端口1935;RTMPT封裝在HTTP請求之中，可穿越防火墻;RTMPS類似RTMPT，但使用的是HTTPS連接;RTMP協(xié)議就像一個用來裝數(shù)據(jù)包的容器，這些數(shù)據(jù)可以是AMF格式的數(shù)據(jù),也可以是FLV中的視/音頻數(shù)據(jù)。一個單一的連接可以通過不同的通道傳輸多路網(wǎng)絡(luò)流。這些通道中的包都是按照固定大小的包傳輸?shù)摹?.推流傳輸推送出去的流媒體需要傳輸?shù)接^眾，整個鏈路就是傳輸網(wǎng)絡(luò)。轉(zhuǎn)碼視頻直播播流端的碼率是根據(jù)推流端決定的，即播流端的碼率是與推流端的碼率一致的。但是遇到以下場景會造成直播效果較差：推流端碼率與播流端帶寬不相匹配。當(dāng)推流端碼率較高而客戶端帶寬資源有限就會導(dǎo)致播放出現(xiàn)卡頓，而當(dāng)推流端碼率較低但是客戶端對于直播效率要求較高時會導(dǎo)致播放效果較差。播放器插件需要實(shí)現(xiàn)多碼率切換。前端播放器插件?？梢栽O(shè)置碼率切換，這就需要同一路推流可以同時提供多種碼率的播流地址。因此，視頻直播提供了實(shí)時轉(zhuǎn)碼功能對同一路推流地址同時提供多路不同碼率播流地址提供服務(wù)。7.傳輸、轉(zhuǎn)碼分發(fā)流媒體服務(wù)器的作用是負(fù)責(zé)直播流的發(fā)布和轉(zhuǎn)播分發(fā)功能。解碼編碼器(Encoder)：壓縮信號的設(shè)備或程序解碼器(Decoder)：解壓縮信號的設(shè)備或程序編解碼器(Codec)：編解碼器對播放器流播放主要是實(shí)現(xiàn)直