音視頻通信基礎知識

1、音視頻基礎知識目錄視頻分辨率和幀率視頻接口音頻接口協(xié)議標準視頻會議視頻分辨率和幀率 視頻分辨率：代表圖像靜態(tài)清晰度的參數完整表述用象素“長*寬”（1920*1080），簡要表述用寬（1080P）視頻會議常用分辨率：CIF、4CIF（DVD）、720P（HD）、1080P（FullHD）、4K視頻分辨率4K=3840*2160或=4096*21601080P=1920*1080720P=1280*7204CIF=704*576=DVDVCD=CIF=352*2881專用詞分辨率XGA1024768WXGA (Wide XGA)1280768 1280800 1366768WSXGA (Wide

2、Super-XGA)1280854Quad-VGA1280960WXGA+ (Wide XGA+)1440900SXGA (Super-XGA)12801024WXGA+ (Wide XGA+)1600900SXGA+14001050WSXGA+ (Wide Super-XGA+)16801050UXGA (Ultra-XGA)16001200WUXGA (Wide Ultra-XGA)19201200QXGA (Quad-XGA)20481536WQXGA (Wide Quad-XGA)25601600QSXGA (Quad-Super-XGA)25602048QUXGA (Quad-Ult

3、ra-XGA)320024004K2K40962048VESA標準分辨率VESA（Video Eletronics Standard Association，視頻電子標準協(xié)會）視頻會議雙流中，Content經常會遇到這些分辨率1P還是I？1080P和1080i，有什么不同呢P：逐行掃描顯示屏顯示圖像進行掃描時，從屏幕左上角的第一行開始逐行進行，整個圖像掃描一次完成。因此圖像顯示畫面閃爍小，顯示效果好。目前先進的顯示器大都采用逐行掃描方式i：隔行掃描一幅圖像分兩次掃描，即分兩場，第一場掃1、3、5(單數行)，稱為奇數場，第二場掃2、4、6(雙數行)，稱為偶數場。奇數場和偶數場組合起來，就構成一幅

4、完整的圖像。缺點當圖像上下兩行的對比度差別很大時產生行間閃爍1視頻幀率視頻幀率：代表圖像動態(tài)流暢度的參數，幀率越高越流暢視頻會議主流幀率：30/60（NTSC制）、25/50（PAL制）PAL電視標準，每秒25幀，電視掃描線為625線，奇場在前，偶場在后，標準的數字化PAL電視標準分辨率為720*576,24比特的色彩位深，畫面的寬高比為4：3,PAL電視標準用于中國、歐洲等國家和地區(qū)。NTSC電視標準，每秒29.97幀（簡化為30幀），電視掃描線為525線，偶場在前，奇場在后，標準的數字化NTSC電視標準分辨率為720*486,24比特的色彩位深，畫面的寬高比為4：3。NTSC電視標準用于美

5、、日等國家和地區(qū)中國的行貨設備 一般為PAL制，主要參數表現是25幀/50幀請注意，NTSC30幀與PAL制25幀實現效果是一樣的1視頻接口將視頻信號中的亮度信號（Y）、色度信號（C），和同步信號復合傳輸和存儲的方式復合視頻（Composite）通常采用黃色的RCA（蓮花插座）接頭 也可用BNC接頭（同軸電纜）“復合”含義是同一信道中傳輸亮度和色度信號的模擬信號PALz720*576/50i和NTSC720*480/60i 復合視頻接口（CVBS）2VGA（Video Graphics Array）也稱作D-SubVGA接口共有15針，是顯卡及顯示器上應用最為廣泛的接口它傳輸紅、綠、藍模擬信號

6、以及同步信號（水平和垂直信號）支持高清視頻信號的輸出： WUXGA（19201200）、WQXGA（25601600）由于是模擬信號，線材質量及接頭質量不好都可能引起圖像中出現虛影、拖尾VGA接口2色差分量接口色差分量（Component）接口采用YPbPr和YCbCr兩種標識 - YPbPr：逐行掃描色差輸出 - YCbCr：表示隔行掃描色差輸出用紅、綠、藍三種顏色來標注每條線纜和接口 - 綠色線纜（Y），傳輸亮度信號 - 藍色和紅色線纜（Pb/Cb 和Pr/Cr）傳輸的是顏色差別信號色差分量接口是模擬接口，支持視頻信號： - 480i/480p/576p/720p/1080i/1080p2

7、 有DVI-A、DVI-D和DVI-I三種不同的接口形式DVI-D數字接口，24+1PIN,只傳數字信號，DVI-I有數字和模擬接口， 24+5PIN,兼容DVI-D和DVI-A，兼容與VGA直接轉換是一種國際開放的接口標準，在PC、DVD、高清晰電視（HDTV）、高清投影儀等設備上有廣泛的應用DVI-D單通道： 1920 x1200,60HzDVI-D雙通道： 2560 x1600,60Hz/1920 x1080,120HzVGA： 2048x1536,60HzDVI-DDVI-IDVI接口24+1PIN24+5PINDVI（Digital Visual Interface），即數字視頻接口

8、2HDMI高清晰度多媒體接口（High Definition Multimedia Interface）傳輸全數字信號不僅能傳輸高清數字視頻信號，還可以同時傳輸高質量的音頻信號HDMI端口支持4K、1080P，720P的高清格式視頻輸出HDMI 1.4帶寬10.2Gbps,最高支持38402160（4K）30FPS幀率HDMI 2.0帶寬擴充到了18Gbps，可以支持38402160（4K） 50FPS、60FPS幀率HDMI接口2SDI接口是數字分量串行接口(serial digital interface)接口速率- 標準清晰度SD-SDI：速率分別是270Mb/s- 高清標準HD-SDI

9、： 1.485Gb/s- 3G-SDI：2.97Gb/s支持1080P，720P的高清格式視頻輸出SDI信號中嵌入數字音頻信號物理介質使用75歐姆同軸電纜SDI接口2DP接口DisplayPort也是一種高清數字顯示接口標準，20針可以同時傳輸視頻和音頻，可以連接電腦和顯示器，也可以連接電腦和家庭影院 作為HDMI的競爭對手和DVI的潛在繼任者，DisplayPort贏得了AMD、Intel、NVIDIA、戴爾、惠普、聯想、三星等業(yè)界巨頭的支持，而且它是免費使用的。最大支持10.8Gb/S的傳輸帶寬全尺寸DP接口Mini DP接口HDMI與DP對比2USB3.0接口USB 3.0是一種USB規(guī)

10、范，該規(guī)范由英特爾等公司發(fā)起USB2.0的最大傳輸帶寬為480MbpsUSB3.0的最大傳輸帶寬高達5.0GbpsUSB3.0 引入全雙工數據傳輸。新增5根線路中2根用來發(fā)送數據，另2根用來接收數據，還有1根是地線可外接高分辨率的視頻攝像機；USB接口的數碼相機、數碼攝像機；2常見視頻輸入輸出設備HD-SDIHDMIDVI-DUSB3.0VGAHDMIVGAHDMIYPbPrCVBSHD-SDIHDMIDVI-DVGAVGADVI-DHDMIHD-SDIHDMI2音頻接口XLR（卡農）插頭輸出/輸入平衡信號，高阻抗。分“公”、“母”兩種“公”用于輸出信號，比如將信號輸入給調音臺“母”用與接受信

11、號，比如接受話筒的信號等36.35mm音頻插頭TRS插頭，俗稱“大三芯”，音頻設備連接插頭用于平衡信號的傳輸（此時功能與卡農插頭一樣）或者用于不平衡的立體聲信號的傳輸TS插頭，俗稱“大二芯”，單聲道信號的傳輸比大三芯少一個環(huán)（Ring），可以直接通過芯對芯，屏蔽層對屏蔽層的焊接與RCA，BNC等用于單聲道的接頭實現轉換只能傳輸非平衡信號33.5mm音頻插頭3.5mm插頭是直徑為3.5mm的同軸音頻插頭最常見的立體聲耳機分三芯，也有兩芯的，每一層都有對應的功能31. MIC卡儂插座：連接麥克風2. Line in線路輸入端：高阻輸入部分，要用 6.35cmTRS立體聲接頭作平衡輸入小魚聲卡輸出對

12、接線路輸入端（Line）調音臺連接方法3.MAIN OUT： L-R主聲道輸出，XLR卡儂或TRS大三芯4.AUX OUT：輔助輸出，監(jiān)聽、錄音或連接輔助音箱小魚聲卡輸入接口對接AUX輸出3音頻輸入區(qū)MIC(XLR卡儂)Line in(TRS大三芯)TAPE in (RCA)音頻輸出區(qū)MAIN OUT：主輸出MONITOR：監(jiān)聽輸出AUX OUT:輔助輸出音效調節(jié)區(qū)音量調節(jié)區(qū)重要提示:需要在調音臺上小魚對應的輸入通道，將AUX的旋鈕調制0小魚聲卡輸入接口對接AUX輸出小魚聲卡輸出接口對接Line in輸入33AUX1回聲產生的機制InOut常用音頻設備及接口調音臺XLR卡儂TS大二芯TRS大三

13、芯RCA音箱RCA-3.5mm無線麥克風XLR卡儂TS大二芯TRS大三芯鵝頸麥克風XLR卡儂-TRS大三芯全向麥克風XLR卡儂-TRS大三芯麥克混音器XLR卡儂TRS大三芯3協(xié)議標準通信網絡如ISDN，E1，ATM，IP專網，互聯網等通信標準H.320,H.323,SIP,私有通信標準等系統(tǒng)設備視頻會議終端（T),多點控制單元（MCU）,多媒體網關（GW），網閘/網守（GK）視頻會議系統(tǒng)組成4通信協(xié)議：H.323和SIPH.320基于電路交換在ISDN和E1線路使用已經被H.323取代H.323ITU-T組織提出分組交換，IP網絡為視頻會議而生，由H.320發(fā)展而來定義完整嚴格細致，擴展困難成

14、熟穩(wěn)定，目前主流90%以上SIPIETF組織提出一開始是在VOIP中使用定義基礎開放，容易擴展互連互通容易，穩(wěn)定性慢慢被認可Terminal終端Gateway網關MCU多點控制單元Gatekeeper網守IP網PSTN4實時傳輸協(xié)議RTP（Real-time Transport Protocol）該協(xié)議提供的信息包括：時間戳（用于同步）、序列號（用于丟包和重排序檢測）、以及負載格式（用于說明數據的編碼格式）RTP被認為是在IP網絡中傳輸音頻和視頻的基本標準可視為傳輸層的子層，介于傳輸層及應用層之間視頻通信常用的傳輸協(xié)議4Video CodecH.264,H.263Audio CodecG.71

15、1,G.729ReceivePathDelaySystem ControlH.245 ControlCall ControlH.225.0RAS ControlH.225.0復用/解復用H.225/H.221LAN接口視頻 I/O 設備音頻 I/O 設備用戶數據應用T.120系統(tǒng)控制用戶接口 發(fā)端，從輸入接口獲取的視頻和音頻信號，經編碼器壓縮后，同步和復用處理，通過網絡發(fā)送； 收端，來自網絡的數據包首先被解復用，獲得視頻、音頻壓縮數據，經解碼后送入輸出設備，用戶數據和控制數據也得到了相應的處理。H.323終端架構4視頻編解碼算法H.261/263/263+/263+標清時代的視頻算法H.264

16、 AVC（H.264HP）高清視頻會議主流算法，其中high profile大幅降低了帶寬需求，讓高清普及H.264SVC/ H.265主流技術發(fā)展趨勢4H.264/SVC時間上可擴展一次編碼產生不同的幀速率，例如：7.5幀、15幀、30幀空間上可擴展一次編碼產生不同的分辨率，例如：180p、360p、720p、1080P視頻質量擴展一次編碼產生不同質量等級的視頻H.264 SVC（Scalable Video Coding，可分級編碼）視頻編解碼：H.264 SVC是H.264標準的一個擴展SVC的編碼復雜度要超過AVC對于DSP性能或者CPU性能 要求更高對異構系統(tǒng)的適應性更好MCU的計算

17、壓力降低，適合云服務4傳統(tǒng)視頻協(xié)議(H.264/AVC)SVC視頻協(xié)議(H.264/SVC)視頻會議可以容忍的網絡丟包率20%對網絡的要求專線共享線路視頻會議延遲:視頻會議效果400毫秒實時性一般 200毫秒實時交互異構系統(tǒng)的兼容性兼容性差兼容性極佳視頻編解碼：H.264 SVC小魚采用的是更牛一些的H.264 SVC4H.265旨在有限帶寬下傳輸更高質量的網絡視頻相比H.264,提高了壓縮率，可節(jié)省39%-44%的帶寬相比H.264提升了錯誤恢復能力，對網絡的適應性也顯著提升H.265支持4K、8K的超高清視頻。視頻編解碼：H.265/HEVC4G.711帶寬：64K采樣率：8KHZ帶寬高、

18、壓縮比小、延時短G.728帶寬：16K/8K采樣率：8KHZ延時短，算法復雜G.729/G.729A帶寬：8K采樣率：8KHZ帶寬小，低時延，運算要求高付費音頻編解碼：窄頻語音4G.722帶寬：48K-64K頻寬：7K-14KCD級音質G.722.1C來自POLYCOMG.719帶寬：64-128K頻寬：20K劇院級音效當前主流AAC帶寬：96-128 kbps采樣率：44KHZ20KHZ以上寬頻語音Opus發(fā)展趨勢音頻編解碼：寬頻語音4適用于網絡上的實時聲音傳輸低碼率下Opus完勝曾經優(yōu)勢明顯的HE AAC，中碼率就已經可以媲敵碼率高出30%左右的AAC格式，而高碼率下更接近原始音特點6 k

19、b /秒到510 kb / s的比特率采樣率從8 kHz（窄帶）到48 kHz（全頻）支持恒定比特率（CBR）和可變比特率（VBR）從窄帶到全頻段的音頻帶寬支持單聲道和立體聲可動態(tài)調節(jié)比特率，音頻帶寬和幀大小網絡適應性好音頻編解碼OPUS:互聯網工程任務組（IETF）開發(fā)，RFC 6716小魚采用OPUS音頻編解碼4視頻會議視頻會議主要解決異地之間的溝通問題利用計算技術和通信設備，通過傳輸信道在兩點或多個地域之間建立可視通信，實現數據、語音、圖像的多方互動視頻會議簡介520世紀70年代80年代90年代中期2000年以后2015年模擬視頻會議黑白圖像兩點之間會議數字視頻會議出現出現了統(tǒng)一的協(xié)議得以廣泛應用視頻會議進入中國基于E1專線鏈路H.320協(xié)議，電路交換H.323會議系統(tǒng)快速發(fā)展視頻會議在中國普遍應用主要在政府及央企使用互聯網、移動互聯網迅猛發(fā)展視頻應用已經深入各行各業(yè)Saas服務模式成為新的應用趨勢視頻會議發(fā)展歷史模擬數字H.320H.323云