QCon北京郭再榮 移動端音視頻應(yīng)用優(yōu)化之道

1、移動端音視頻應(yīng)用優(yōu)化之道網(wǎng)易杭州研究院 / 郭再榮音視頻技術(shù)專家 背景 音視頻處理過程 端到端優(yōu)化策略 總結(jié)背景網(wǎng)絡(luò)帶寬智能硬件市場需求視頻門戶、娛樂直播、游戲直播，在線教育、遠程醫(yī)療，遠程監(jiān)控，企業(yè)協(xié)作，社交應(yīng)用等各行業(yè)存在巨大需求。網(wǎng)絡(luò)帶寬的不斷提速，同時網(wǎng)絡(luò)資費相應(yīng)地降低，視頻上行和下行所需的帶寬和流量已經(jīng)達到要求。智能硬件設(shè)備的高速發(fā)展，機器性能越來越強勁，讓移動端的視頻應(yīng)用井噴爆發(fā)，真正變得唾手可得。音視頻處理過程（推流端）預(yù)處理編碼采集音頻，視頻麥克風(fēng)，攝像頭，桌面。協(xié)議：RTMP，HLS，HTTP，RTP發(fā)送降噪，回聲抑制，混音美顏濾鏡，水印。H.264，VP8，AAC，Spee

2、x格式：FLV，MP4，TS音視頻處理過程（播放端）解碼后處理接收協(xié)議：RTMP，HLS，HTTP，RTP拉伸，裁剪，走馬燈顯示格式：FLV，MP4，TSH.264，VP8，AAC，Speex色彩增強，音量增強音視頻處理流程圖音視頻采集SDK( iOS/Android/PC )流媒體CDN跨平臺視頻播放器（iOS/Android/Web）視頻直播視頻點播視頻存儲服務(wù)（NOS）直播錄制集群（NTS）媒體轉(zhuǎn)碼集群（NTS）視頻點播集群（VOD）跨平臺視頻播放器( iOS/Android/Web )流媒體CDN推流( RTMP )拉流(RTMP/HLS/HTTP)HTTP方式文件上傳視頻轉(zhuǎn)碼錄制視頻

3、上傳視頻點播本地錄像上傳直播流錄制拉流(HTTP/HLS)點播回源視頻云直播框架流媒體CDN平臺播放器SDK應(yīng)用管理服務(wù)器視頻云管理服務(wù)器視頻云應(yīng)用服務(wù)器視頻云管理Web端網(wǎng)易云計算認證平臺推流( RTMP )拉流(RTMP/HLS/HTTP)視頻云服務(wù)端客戶端App( iOS/Android/PC /Web)推流端SDK視頻云點播框架云存儲服務(wù)應(yīng)用管理服務(wù)器視頻云管理服務(wù)器視頻云應(yīng)用服務(wù)器視頻云管理Web端網(wǎng)易云計算認證平臺上傳( HTTP )拉流(RTMP/HLS/HTTP)視頻云服務(wù)端客戶端App( iOS/Android/PC /Web)上傳SDKCDN分發(fā)平臺云轉(zhuǎn)碼系統(tǒng)視頻點播服務(wù)視頻云基礎(chǔ)服務(wù)播放器SDK端到端的優(yōu)化策略編碼模式碼率控制視頻標準H.264，HEVC/H.265，VP8/9通用性，復(fù)雜度，性能，清晰度，碼率低延時，快速啟動，主動追趕，適合直播抗抖動，加大緩沖，預(yù)加載流，適合點播緩沖策略軟件：兼容性好，性能低，耗電硬件：性能高，適配性差，省電碼率控制算法優(yōu)化，確保碼率波動小?？刂艷OP尺寸，避免碼率出現(xiàn)頻繁尖峰。端到端的優(yōu)化策略實時統(tǒng)計Qos調(diào)整鏈路優(yōu)化根據(jù)用戶出口IP，采用中心調(diào)度策略，選擇合適的網(wǎng)絡(luò)節(jié)點，找到最優(yōu)鏈路。網(wǎng)絡(luò)信息，實時網(wǎng)絡(luò)狀況，機器信息，卡頓情況，幀率，碼率，分別率。實