視頻會(huì)議基礎(chǔ)知識(shí)課件(PPT 88頁(yè))

1、視頻通訊基礎(chǔ)知識(shí)培訓(xùn)馬朔第1頁(yè)，共88頁(yè)。視頻通訊的定義視頻通訊(視頻會(huì)議)：依托數(shù)據(jù)網(wǎng)絡(luò)，通過(guò)音頻、視頻、數(shù)據(jù)交互，為有效的溝通、協(xié)作和決策提供了一個(gè)重要的手段。使在人們無(wú)法聚集到同一個(gè)地點(diǎn)時(shí)，會(huì)議也可以照常舉行。第2頁(yè)，共88頁(yè)。視頻通訊知識(shí)組成第3頁(yè)，共88頁(yè)。第一部分視頻通訊基礎(chǔ)協(xié)議H.320協(xié)議H.323協(xié)議SIP協(xié)議摘要第4頁(yè)，共88頁(yè)。ITU-T關(guān)于N-ISDN網(wǎng)絡(luò)中會(huì)議終端設(shè)備和業(yè)務(wù)的框架協(xié)議保證服務(wù)質(zhì)量的多媒體通信和業(yè)務(wù)。適用于ISDN,DDN,E1，衛(wèi)星等電路交換網(wǎng)絡(luò)專(zhuān)網(wǎng)專(zhuān)用,呼叫不靈活視頻通訊協(xié)議 H.320協(xié)議VideoH.261H.263H.264DataT.120H

2、.239AudioG.711G.722G.728MultiplexingH.221ControlsignalingH.242H.243H.230NetworkInterfacesV.xxX.xxI.xxLineProtocolsI.361I.363I.400H.320第5頁(yè)，共88頁(yè)。視頻通訊協(xié)議 H.320設(shè)備結(jié)構(gòu)第6頁(yè)，共88頁(yè)。H.323是ITU的一個(gè)標(biāo)準(zhǔn)建議族，最新版本為V6版本基于分組交換網(wǎng)絡(luò)的多媒體通信終端系統(tǒng)針對(duì)沒(méi)有QoS保障的IP網(wǎng)絡(luò)環(huán)境中的視聽(tīng)業(yè)務(wù)而制定目前主流的視頻會(huì)議基礎(chǔ)協(xié)議視頻通訊協(xié)議 H.323協(xié)議第7頁(yè)，共88頁(yè)。視頻通訊協(xié)議 H.323協(xié)議組成第8頁(yè)，共88頁(yè)。低

3、碼率的音視頻編碼標(biāo)準(zhǔn)G.723、G.729、H.263等媒體打包和控制協(xié)議H.225.0 H.225.0標(biāo)準(zhǔn)描述了無(wú)QoS保證的LAN上媒體流的打包分組與同步傳輸機(jī)制。H.225.0對(duì)傳輸?shù)目刂屏鬟M(jìn)行格式化，以便輸出到網(wǎng)絡(luò)接口，同時(shí)從網(wǎng)絡(luò)接口輸入報(bào)文中檢索出接收到控制流。 定義在傳送層之上網(wǎng)絡(luò)層采用IP協(xié)議傳送層采用TCP/UDP通信控制和呼叫信令采用TCP實(shí)時(shí)傳輸/實(shí)時(shí)傳輸控制協(xié)議建立UDP之上視頻通訊協(xié)議 H.323標(biāo)準(zhǔn)的分層結(jié)構(gòu)第9頁(yè)，共88頁(yè)。視頻通訊協(xié)議 H.323系統(tǒng)結(jié)構(gòu)GKMCUGWTerminalTerminalendpointPSTN第10頁(yè)，共88頁(yè)。視頻通訊協(xié)議 H.32

4、3系統(tǒng)網(wǎng)元終端：基于IP的網(wǎng)絡(luò)上是一個(gè)客戶(hù)端點(diǎn)。它需要支持下面3項(xiàng)功能：支持信令和控制；支持實(shí)時(shí)通信；支持編碼，即傳前壓縮，收后進(jìn)行解壓縮網(wǎng)關(guān)：提供在包交換網(wǎng)絡(luò)和電路交換網(wǎng)絡(luò)（SCN，Switch Circuit Network）之間的一個(gè)連接。網(wǎng)守：完成地址翻譯、接納控制、帶寬控制、域管理4個(gè)必須功能。網(wǎng)守還支持呼叫控制信令、呼叫鑒權(quán)、帶寬管理和呼叫管理，以及用戶(hù)管理等可選的功能。多點(diǎn)控制單元（MCU）：多點(diǎn)控制單元支持3個(gè)以上的端用戶(hù)進(jìn)行會(huì)話(huà)。典型的MCU包括一個(gè)多點(diǎn)控制器（MC）和若干個(gè)（也可以沒(méi)有）多點(diǎn)處理器（MP）。MC提供控制功能，如終端之間的協(xié)商。MP完成會(huì)話(huà)中的媒體流的處理，如

5、話(huà)音的混合、話(huà)音視頻的交換。第11頁(yè)，共88頁(yè)。視頻設(shè)備網(wǎng)元 視頻終端的基本結(jié)構(gòu)Video CodecH.261,H.263Audio CodecG.711,G.729ReceivePathDelaySystem ControlH.245 ControlCall ControlH.225.0RAS ControlH.225.0H.225.0層LAN接口視頻 I/O 設(shè)備音頻 I/O 設(shè)備用戶(hù)數(shù)據(jù)應(yīng)用T.120系統(tǒng)控制用戶(hù)接口第12頁(yè)，共88頁(yè)。視頻設(shè)備網(wǎng)元 網(wǎng)關(guān)H.323通信節(jié)點(diǎn)設(shè)備與其他終端設(shè)備的轉(zhuǎn)換功能傳輸格式和通信規(guī)程的轉(zhuǎn)換分組交換端與電路交換端之間的接口，語(yǔ)音圖像編解碼器的轉(zhuǎn)換，呼叫建

6、立和拆除接口FXS/FXOE1VI/T1VIE&MVideo/ Audio CodecSystem ControlH.245 ControlCall ControlH.225.0RAS ControlH.225.0LAN接口PSTN/ISDN分組交換網(wǎng)絡(luò)網(wǎng)關(guān)第13頁(yè)，共88頁(yè)。視頻設(shè)備網(wǎng)元 網(wǎng)閘網(wǎng)閘（Gatekeeper）完成呼叫控制功能，改善服務(wù)質(zhì)量地址翻譯接納控制以防止壅塞限定終端所使用的帶寬、控制通化模式地址解析接入控制帶寬控制GK 域管理第14頁(yè)，共88頁(yè)。視頻設(shè)備網(wǎng)元 MCUMCU多點(diǎn)控制單元支持3個(gè)以上接點(diǎn)設(shè)備的會(huì)議MCU提供會(huì)議管理、終端能力的交換、音視頻混合與切換多點(diǎn)處理器（M

7、P)完成音視頻混合與切換功能的部分多點(diǎn)控制器（MC）處理終端間H.245控制信息MCMP(Audio)MP(Video)MP(Data)CallVideoDataAudioMCU第15頁(yè)，共88頁(yè)。視頻設(shè)備網(wǎng)元 MCU傳統(tǒng)工作模式MCU對(duì)終端進(jìn)行有限數(shù)量的視頻編解碼通常不在分屏顯示上的終端不進(jìn)行解碼音頻采用全編全解通常具有演講者模式和相同分屏模式同等硬件平臺(tái)下可實(shí)現(xiàn)的接入點(diǎn)數(shù)更多第16頁(yè)，共88頁(yè)。視頻設(shè)備網(wǎng)元 MCU全編全解模式MCU對(duì)全部的終端進(jìn)行編解碼音頻采用全編全解除具有演講者模式和相同分屏模式外可以實(shí)現(xiàn)靈活的個(gè)人分屏同等硬件平臺(tái)下可實(shí)現(xiàn)的接入點(diǎn)數(shù)少網(wǎng)絡(luò)適應(yīng)性和設(shè)備兼容性最好第17頁(yè)，

8、共88頁(yè)。視頻設(shè)備網(wǎng)元 MCU轉(zhuǎn)發(fā)模式最傳統(tǒng)的MCU工作模式對(duì)視頻碼流不做任何處理，僅做為轉(zhuǎn)發(fā)硬件消耗最小，可以實(shí)現(xiàn)海量MCU 通過(guò)SVC技術(shù)可以實(shí)現(xiàn)混速、分屏等原本需要DSP完成的功能使低成本云網(wǎng)成為可能第18頁(yè)，共88頁(yè)。視頻通訊協(xié)議 H.225.0 Q.931消息Setup Call Proceeding AlertingConnectRelease CompleteInformation第19頁(yè)，共88頁(yè)。交互RTP流Call ProceedingSetupAlerting終端 A終端 BConnect建立H.245會(huì)話(huà)Release Complete視頻通訊協(xié)議 基本H.323呼叫過(guò)

9、程第20頁(yè)，共88頁(yè)。視頻通訊協(xié)議 H.245功能H.245的主要作用是多媒體通信控制通信雙方的能力協(xié)商建立用于傳輸多媒體信息流的RTP通道主要信令消息TCS（Terminal Capability Set，能力交換）MSD（Master-Slave Determination，主從確定）OLC （Open Logical Channel，打開(kāi)邏輯通道）第21頁(yè)，共88頁(yè)。Terminal Capability Set ACK終端 A終端 BTerminal Capability Set ACKTerminal Capability SetMaster-Slave DeterminationM

10、aster-Slave Determination ACKOpen Logical ChannelTerminal Capability SetMaster-Slave DeterminationMaster-Slave Determination ACKOpen Logical ChannelOpen Logical Channel ACKOpen Logical Channel ACK交互RTP流視頻通訊協(xié)議 H.245交互過(guò)程第22頁(yè)，共88頁(yè)。視頻通訊協(xié) 網(wǎng)閘注冊(cè)過(guò)程第23頁(yè)，共88頁(yè)。 DRQ終端 AGK終端 BACFARQ ARQ ACFSetupRelease CompleteC

11、onnectAlerting交互RTP流建立H.245會(huì)話(huà)Call Proceeding DCF DRQ DCF視頻通訊協(xié)議 網(wǎng)閘交互過(guò)程第24頁(yè)，共88頁(yè)。 ARQ LRQ LCF ACF Call Proceeding ARQ Alerting Setup ACF Connect 建立H.245會(huì)話(huà) 交互RTP流 Release Complete DCF DRQ DRQ DCF終端 A終端 BGK AGK B視頻通訊協(xié)議 網(wǎng)閘域間工作流程第25頁(yè)，共88頁(yè)。視頻通訊協(xié)議 直接路由第26頁(yè)，共88頁(yè)。視頻通訊協(xié)議 GK路由 第27頁(yè)，共88頁(yè)。RTP（Real-Time Transport

12、Protocol，實(shí)時(shí)傳輸協(xié)議）是一個(gè)傳輸層的、基于UDP的協(xié)議RTP協(xié)議被用來(lái)為音視頻等實(shí)時(shí)數(shù)據(jù)提供端到端的網(wǎng)絡(luò)傳輸，傳輸?shù)哪Ｐ涂梢允菃吸c(diǎn)傳送或是多點(diǎn)傳送RTP協(xié)議是為支持實(shí)時(shí)業(yè)務(wù)而設(shè)計(jì)的，保證業(yè)務(wù)的接收和發(fā)送在很短時(shí)間內(nèi)完成視頻通訊協(xié)議 RTP協(xié)議基本概念第28頁(yè)，共88頁(yè)。V：版本P：填充標(biāo)志X：擴(kuò)展CC：貢獻(xiàn)者計(jì)數(shù)M：標(biāo)記PT：凈荷類(lèi)型VPXCCMPTsequence numbertimestampsynchronization source（SSRC）identifiercontributing source （CSRC）identifierdata01234567890123456

13、7890123456789012視頻通訊協(xié)議 RTP分組格式第29頁(yè)，共88頁(yè)。視頻通訊協(xié)議 RTP協(xié)議頭的時(shí)間戳和序列號(hào)序列號(hào)和時(shí)間戳在通信雙方進(jìn)行通信的過(guò)程中實(shí)現(xiàn)下述功能：確保業(yè)務(wù)數(shù)據(jù)包的正確順序是否有數(shù)據(jù)包被拋棄或丟失對(duì)業(yè)務(wù)流進(jìn)行同步第30頁(yè)，共88頁(yè)。視頻通訊協(xié)議 RTP消息示例第31頁(yè)，共88頁(yè)。視頻通訊協(xié)議 RTP數(shù)據(jù)流示例第32頁(yè)，共88頁(yè)。視頻通訊協(xié)議 RTCP協(xié)議的基本概念RTCP（RTP Control Protocol，實(shí)時(shí)傳輸控制協(xié)議）RTCP作用是監(jiān)控服務(wù)質(zhì)量，同時(shí)為端點(diǎn)之間提供“交互服務(wù)質(zhì)量信息”的機(jī)制RTCP和RTP一起提供流量控制和擁塞控制服務(wù)在RTP會(huì)話(huà)期間，

14、各參與者周期性地傳送RTCP包RTCP包中含有已發(fā)送的數(shù)據(jù)包的數(shù)量、丟失的數(shù)據(jù)包的數(shù)量等統(tǒng)計(jì)信息，端點(diǎn)可以利用這些信息動(dòng)態(tài)地改變傳輸速率，甚至改變有效載荷類(lèi)型第33頁(yè)，共88頁(yè)。Session Initiation Protocol -會(huì)話(huà)發(fā)起協(xié)議 是IETF制定的多媒體通信協(xié)議，它是一個(gè)基于文本的應(yīng)用層控制協(xié)議，獨(dú)立于底層協(xié)議，用于建立、修改和終止IP網(wǎng)上的雙方或多方的多媒體會(huì)話(huà)SIP協(xié)議最早由是由MMUSIC IETF工作組在1995年研究的，由IETF組織在1999年提議成為的一個(gè)標(biāo)準(zhǔn)SIP主要借鑒了Web網(wǎng)的HTTP和SMTP兩個(gè)協(xié)議SIP協(xié)議支持代理、重定向、登記定位用戶(hù)等功能，支持

15、用戶(hù)移動(dòng)（Personal Mobility），支持多媒體業(yè)務(wù)和各種特色業(yè)務(wù)視頻通訊協(xié)議 SIP協(xié)議第34頁(yè)，共88頁(yè)。視頻通訊協(xié)議 H.323協(xié)議SIP協(xié)議網(wǎng)元對(duì)比SIP ：客戶(hù)/服務(wù)器協(xié)議 H.323：多媒體通訊協(xié)議 協(xié)議消息（請(qǐng)求、響應(yīng)） - Q931 呼叫消息 邀請(qǐng)建立或終結(jié)會(huì)話(huà) 呼叫請(qǐng)求、響應(yīng)、摘機(jī)等 SDP描述 - H.245信令 交換媒體類(lèi)型和媒體參數(shù) 媒體協(xié)商、控制、管理 UAC用戶(hù)代理客戶(hù)機(jī) - H.323智能終端 UAS用戶(hù)代理服務(wù)器 - H.323網(wǎng)關(guān)/網(wǎng)守受理呼叫 路由和代理呼叫 Proxy代理服務(wù)器 - H.323網(wǎng)關(guān) RedirectServer重定向服務(wù)器 - H

16、.323網(wǎng)守 RegistServer登記服務(wù)器 - H.323用戶(hù)網(wǎng)守 LocationServer定位服務(wù)器 - H.323網(wǎng)守/頂級(jí)網(wǎng)守 對(duì)應(yīng)關(guān)系：第35頁(yè)，共88頁(yè)。視頻通訊協(xié)議 H.323協(xié)議SIP協(xié)議比較SIP是由IETF提出的IP電話(huà)信令協(xié)議，解決IP網(wǎng)中的信令控制。ITU-T制定的支持IP網(wǎng)絡(luò)多媒體通信的H.323協(xié)議族相對(duì)應(yīng)，兩者的比較如下：相同點(diǎn)：1、均為多媒體通信的應(yīng)用層控制（信令）協(xié)議，目前一般用于IP電話(huà)2、能實(shí)現(xiàn)的信令控制功能基本相同3、都利用RTP作為媒體傳輸?shù)膮f(xié)議異同點(diǎn)：SIP由IETF提出，借鑒了其他Internet標(biāo)準(zhǔn)和協(xié)議的設(shè)計(jì)思想，SIP協(xié)議簡(jiǎn)單，采用文

17、本方式，具有較好的功能擴(kuò)充性和網(wǎng)絡(luò)可擴(kuò)展性，并易于實(shí)現(xiàn)。 lH.323由ITU-T提出，采用的是傳統(tǒng)的實(shí)現(xiàn)電話(huà)信令的模式，便于與傳統(tǒng)的電話(huà)網(wǎng)互通； H.323協(xié)議發(fā)展得比較成熟，但相對(duì)復(fù)雜得多： PSTN互通， H.323吸取很多Q931信令的設(shè)定內(nèi)容，使得與傳統(tǒng)的PSTN網(wǎng)、以及H.320網(wǎng)等具備良好的互通能力； 編碼方式，H.323采用ASN.1 PER算法；使得H323協(xié)議棧在互通性、擴(kuò)展性、以及實(shí)現(xiàn)方面難度很大； 媒體協(xié)商， H.323有完善的主從、能力交互、媒體切換等規(guī)范，并具備強(qiáng)大的多媒體會(huì)議拓展、主席控制、帶寬管理等功能；第36頁(yè)，共88頁(yè)。視頻通訊協(xié)議 H.323SIP 網(wǎng)關(guān)工

18、作模式第37頁(yè)，共88頁(yè)。第二部分 編碼協(xié)議視頻編碼音頻編碼摘要第38頁(yè)，共88頁(yè)。 視頻壓縮：使用視頻壓縮算法技術(shù)將視頻中數(shù)據(jù)的冗余信息去除，降低表示原始視頻所需的數(shù)據(jù)量，以便視頻數(shù)據(jù)的傳輸時(shí)間冗余信息空間冗余信息感知冗余信息統(tǒng)計(jì)冗余信息視頻編碼基礎(chǔ) 視頻壓縮 第39頁(yè)，共88頁(yè)。視頻編碼基礎(chǔ) 第一幀畫(huà)面第40頁(yè)，共88頁(yè)。視頻編碼基礎(chǔ) 第二幀畫(huà)面第41頁(yè)，共88頁(yè)。視頻編碼基礎(chǔ) 差值畫(huà)面第42頁(yè)，共88頁(yè)。視頻編碼基礎(chǔ) 像素運(yùn)動(dòng)軌跡第43頁(yè)，共88頁(yè)。視頻編碼基礎(chǔ) 基于塊的運(yùn)動(dòng)估計(jì)與補(bǔ)償?shù)?4頁(yè)，共88頁(yè)。視頻編碼基礎(chǔ) 16x16塊第45頁(yè)，共88頁(yè)。視頻編碼基礎(chǔ) 8x8塊第46頁(yè)，共88

19、頁(yè)。視頻編碼基礎(chǔ) 4x4塊第47頁(yè)，共88頁(yè)。I幀是一種自帶全部信息的獨(dú)立幀，無(wú)需參考其它圖像便可獨(dú)立進(jìn)行解碼視頻序列中的第一個(gè)幀始終都是I幀如果所傳輸?shù)谋忍亓髟獾狡茐?，則需要將I幀用作新查看器的起始點(diǎn)或重新同步點(diǎn)I幀可以用來(lái)實(shí)現(xiàn)快進(jìn)、快退以及其它隨機(jī)訪(fǎng)問(wèn)功能I幀的會(huì)占用更多的數(shù)據(jù)位視頻編碼基礎(chǔ) I幀第48頁(yè)，共88頁(yè)。P幀（幀間預(yù)測(cè)編碼幀）需要參考前面的I幀和/或P幀的不同部分才能進(jìn)行編碼P幀可以是其后面P幀的參考幀，也可以是其前后的B幀的參考幀P幀對(duì)前面的P和I參考幀有依賴(lài)性，存在解碼錯(cuò)誤的擴(kuò)散P幀的壓縮比較高視頻編碼基礎(chǔ) P幀第49頁(yè)，共88頁(yè)。B幀（雙向預(yù)測(cè)編碼幀以前幀和后作為參考幀B

20、幀需要根據(jù)相鄰的前幀、本幀以及后幀數(shù)據(jù)參考?jí)嚎s本幀B幀壓縮率最高,可達(dá)到200:1由于參考前后兩幀,畫(huà)面精度最高由于依賴(lài)后幀,所以不適合實(shí)時(shí)傳輸使用視頻編碼基礎(chǔ) B幀第50頁(yè)，共88頁(yè)。視頻編碼基礎(chǔ) 視頻編碼發(fā)展歷史 ITU:ISO/IEC:H.261H.262H.263H.263+H.264MPEG1MPEG2MPEG4 (Part2)MPEG7MPEG21MPEG4(Part10)第51頁(yè)，共88頁(yè)。H.261是第一個(gè)實(shí)用的數(shù)字視頻編碼標(biāo)準(zhǔn)MPEG-1，MPEG-2H.262，H.263，H.264都延續(xù)了H.261的設(shè)計(jì)架構(gòu)使用了混合編碼框架，包括了基于運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)，基于離散余弦變

21、換的空域變換編碼，量化，zig-zag掃描和熵編碼設(shè)計(jì)的目的是能夠在帶寬為64kbps的倍數(shù)的綜合業(yè)務(wù)數(shù)字網(wǎng)上傳輸質(zhì)量可接受的視頻信號(hào)碼率能夠支持40kbps到2Mbps之間工作，能夠?qū)IF和QCIF進(jìn)行編碼視頻編碼協(xié)議 H.261第52頁(yè)，共88頁(yè)。H.263是由ITU-T制定的視頻會(huì)議用的低碼率視頻編碼標(biāo)準(zhǔn)H.263的性能在所有碼率下都優(yōu)于H.2611998年發(fā)布了H.263+2000年發(fā)布了H.263+H.263+最高分辨率可直到16CIF視頻編碼協(xié)議 H.263第53頁(yè)，共88頁(yè)。H.264是由ITU-T視頻編碼專(zhuān)家組（VCEG）和ISOIEC動(dòng)態(tài)圖像專(zhuān)家組聯(lián)合組成的聯(lián)合視頻組提出的

22、高度壓縮標(biāo)準(zhǔn)H.264可支持更高的像素精度、支持更高的色度抽樣系統(tǒng)支持更靈活的自定義功能相同的圖像質(zhì)量下，碼率可以減少50%除視頻會(huì)議以外，廣泛應(yīng)用與監(jiān)控、廣電等領(lǐng)域具有Baseline Profile、Main Profile、Extension Profile、High Profile視頻編碼協(xié)議 H.264第54頁(yè)，共88頁(yè)。 H.264標(biāo)準(zhǔn)的不同profile代表了針對(duì)不同應(yīng)用的算法集及技術(shù)限定。 Baseline針對(duì)低復(fù)雜度應(yīng)用，High Profile針對(duì)高效能運(yùn)算Baseline Profile：提供I/P幀，僅支持逐行掃描Extended Profile：提供I/P/B/SP/

23、SI幀，僅支持逐行掃描Main Profile提供I/P/B幀，支持逐行掃描和隔行掃描。High Profile在Main Profile基礎(chǔ)上新增8x8 幀內(nèi)預(yù)測(cè), 、自定義量化, 無(wú)損視頻編碼, 更多的yuv格式視頻編碼協(xié)議 H.264不同Profile對(duì)比第55頁(yè)，共88頁(yè)。H.264 SVC（H.264可分層編碼）作為H.264標(biāo)準(zhǔn)的一個(gè)擴(kuò)展最初由JVT在2004年開(kāi)始制定在編碼時(shí)利用對(duì)時(shí)間上（幀率）、空間上（分辨率）、視頻質(zhì) 量（分辨率）進(jìn)行分層，可產(chǎn)生不同幀速率、分辨率或質(zhì)量等級(jí)的解碼視頻視頻編碼協(xié)議 H.264 SVC第56頁(yè)，共88頁(yè)。相對(duì)與傳統(tǒng)的AVC編碼增強(qiáng)了數(shù)據(jù)包之間的關(guān)

24、聯(lián)性具有更好的網(wǎng)絡(luò)適應(yīng)性使海量MCU成為可能視頻編碼協(xié)議 H.264 SVCTemporal & Spatial Scalability第57頁(yè)，共88頁(yè)。視頻編碼協(xié)議 SVC工作效率Efficiency第58頁(yè)，共88頁(yè)。聲音是攜帶信息的極其重要的媒體（20）聲音是通過(guò)空氣傳播的一種連續(xù)的波，叫聲波，也具有反射、折射和衍射現(xiàn)象。聲音信號(hào)是由許多頻率不同的分量信號(hào)組成的復(fù)合信號(hào)。復(fù)合信號(hào)的頻率范圍稱(chēng)為帶寬。帶寬為20Hz20kHz的信號(hào)稱(chēng)為音頻（audio）信號(hào)，可以被人的耳朵感知。聲音是時(shí)基類(lèi)媒體。音頻編碼協(xié)議 聲音的本質(zhì)第59頁(yè)，共88頁(yè)。音調(diào)、音強(qiáng)、音色為聲音的三要素。音強(qiáng)（響度）取決于

25、聲音的幅度（分貝）。音調(diào)取決于聲音的頻率。音色是由混入基音的泛音所決定的。音頻編碼協(xié)議 聲音三要素第60頁(yè)，共88頁(yè)。聲音的質(zhì)量與聲音的帶寬有關(guān)，一般來(lái)說(shuō)頻率范圍越寬，聲音質(zhì)量也就越高。聲音類(lèi)型帶 寬電話(huà)語(yǔ)音200Hz3.4kHz調(diào)幅廣播50Hz7kHz調(diào)頻廣播20Hz15kHzCD20Hz20kHz音頻編碼協(xié)議 聲音的質(zhì)量第61頁(yè)，共88頁(yè)。聲音信號(hào)是典型的連續(xù)信號(hào)，不僅在時(shí)間上是連續(xù)的，而且在幅度上也是連續(xù)的。聲音進(jìn)入計(jì)算機(jī)的第一步就是數(shù)字化，數(shù)字化實(shí)際上就是采樣和量化。音頻編碼協(xié)議 聲音信號(hào)的數(shù)字化第62頁(yè)，共88頁(yè)。采樣（sampling）：將聲音信號(hào)在時(shí)間上離散化，即每隔相等的一段時(shí)

26、間抽取一個(gè)信號(hào)樣本。音頻編碼協(xié)議 聲音信號(hào)的數(shù)字化第63頁(yè)，共88頁(yè)。量化（quantization）：將連續(xù)的信號(hào)幅度離散化。如果幅度的劃分是等間隔的，稱(chēng)為線(xiàn)性量化，否則為非線(xiàn)性量化。 電壓范圍 量化(dec) 編碼(bin) 0.5 0.7 3 011 0.3 0.5 2 010 0.1 0.3 1 001 -0.1 0.1 0 000 -0.3 -0.1 -1 111 -0.5 -0.3 -2 110 -0.7 -0.5 -3 101 -0.9 -0.7 -4 100音頻編碼協(xié)議 聲音信號(hào)的數(shù)字化第64頁(yè)，共88頁(yè)。音頻編碼協(xié)議 聲音信號(hào)的數(shù)字化采樣頻率 奈奎斯特理論指出：采樣頻率不應(yīng)低

27、于聲音信號(hào)最高頻率的兩倍，這樣就能把以數(shù)字表達(dá)的聲音還原成原來(lái)的聲音，稱(chēng)為無(wú)損數(shù)字化。 fs = 2fmax 話(huà)音信號(hào)最高頻率約為3.4kHz，所以采樣頻率取為8kHz。第65頁(yè)，共88頁(yè)。音頻編碼協(xié)議 常用音頻協(xié)議指標(biāo)協(xié)議類(lèi)型最大音頻采樣范圍音頻采樣率壓縮帶寬G.7113.4kHz8KHZ64kG.7227kHz16KHZ64kbps, 56kbps,48kbpsG.722.1C/SIREN 1414 kHz24kHZ32kbps/48kbps/64kbpsG.71922 kHz48kHZ32kbps/48kbps/64kbps第66頁(yè)，共88頁(yè)。音頻編碼協(xié)議 回音產(chǎn)生原因音頻系統(tǒng)的輸出回到

28、音頻系統(tǒng)的輸入，講話(huà)人能夠從音箱中聽(tīng)見(jiàn)自己講話(huà)的回聲聲波從音箱出來(lái)又回到話(huà)筒中產(chǎn)生延時(shí)，聲音在空氣中傳播速度較慢，不同大小的會(huì)議室音箱到話(huà)筒的距離也不相同，因此產(chǎn)生的延時(shí)長(zhǎng)短也不相同第67頁(yè)，共88頁(yè)。音頻編碼協(xié)議 回音消除原理終端保留輸出聲音樣本話(huà)筒會(huì)把本地會(huì)場(chǎng)聲音與音箱聲音同時(shí)采集混合信號(hào)經(jīng)過(guò)回聲消除器時(shí)，回聲消除器開(kāi)始啟動(dòng)回音消除其將混合信號(hào)和保留的聲音樣本進(jìn)行對(duì)比如果音頻信號(hào)頻率有相同部分，那么就會(huì)切掉同保留記錄信號(hào)一樣的信號(hào)，再發(fā)送到遠(yuǎn)程第68頁(yè)，共88頁(yè)。DTMF雙音多頻:DTMF（Dual Tone Multi Frequency），一個(gè)高頻信號(hào)和一個(gè)低頻信號(hào)疊加組成一個(gè)組合信號(hào)

29、，代表一個(gè)數(shù)字第69頁(yè)，共88頁(yè)。第三部分 視頻通訊輸出設(shè)備顯示設(shè)備音頻設(shè)備摘要第70頁(yè)，共88頁(yè)。讓觀察者觀察按時(shí)間重復(fù)的亮度脈沖，如果閃爍頻率比較低，人眼就有一亮一暗的感覺(jué)。如果閃爍頻率足夠高，人眼看到的則是一個(gè)恒定的亮點(diǎn)。閃爍感剛好消失的重復(fù)頻率叫做臨界閃爍頻率，經(jīng)測(cè)定為46HZ。電影播放過(guò)程中，每秒投射24幅畫(huà)面，每幅畫(huà)面投射過(guò)程中用機(jī)械擋光閥遮擋一次，這樣就得到了48HZ的閃爍頻率。要保持畫(huà)面中物體運(yùn)動(dòng)的連續(xù)性，要求每秒鐘攝取的畫(huà)面數(shù)約為25幀左右。視頻顯示設(shè)備 視覺(jué)的時(shí)間域響應(yīng)特性第71頁(yè)，共88頁(yè)。視頻顯示設(shè)備 YUV、YIQ作用人眼對(duì)彩色細(xì)節(jié)的分辨能力遠(yuǎn)比對(duì)亮度細(xì)節(jié)的分辨能力低

30、，通常把RGB空間表示的彩色圖像變換到Y(jié)UV或者YIQ顏色空間。每一種彩色空間都產(chǎn)生一種亮度分量信號(hào)和兩種色度分量信號(hào)，而且亮度信號(hào)(Y)和色度信號(hào)(U、V)是相互獨(dú)立的，每一種變換使用的參數(shù)都是為了適應(yīng)某種類(lèi)型的顯示設(shè)備。彩色電視信號(hào)中采用YIQ或者YUV空間一是為了兼容黑白電視，二是為了實(shí)現(xiàn)壓縮。第72頁(yè)，共88頁(yè)。視頻顯示設(shè)備 PAL制倒相正交平衡調(diào)幅制PAL制式電視信號(hào)的特性： 625行(掃描線(xiàn))/幀，25幀/秒(40 ms/幀) (2) 每場(chǎng)中有25行作為場(chǎng)回掃，所以每幀中只有575行是有效行。(3) 高寬比(aspect ratio)：4:3 (4) 隔行掃描，2場(chǎng)/幀，312.5

31、行/場(chǎng)(5) 顏色模型：YUV(6) 西歐、中國(guó)和朝鮮等國(guó)家采用這種制式第73頁(yè)，共88頁(yè)。視頻顯示設(shè)備 NTSC制NTSC彩色電視制的主要特性是：(1) 525行/幀, 30幀/秒(2) 高寬比：電視畫(huà)面的長(zhǎng)寬比為4:3 (3) 隔行掃描，一幀分成2場(chǎng)(field)，262.5線(xiàn)/場(chǎng) (4) 在每場(chǎng)的開(kāi)始部分保留20掃描線(xiàn)作為控制信息，因此只有485條線(xiàn)的可視數(shù)據(jù)。 (5) 每行63.5微秒，水平回掃時(shí)間10微秒(包含5微秒的水平同步脈沖)，所以顯示時(shí)間是53.5微秒(6) 顏色模型：YIQ(7)美國(guó)、加拿大等大部分西半球國(guó)家，及日本、韓國(guó)、菲律賓和中國(guó)的臺(tái)灣采用這種制式。第74頁(yè)，共88頁(yè)。圖像基礎(chǔ)知識(shí) 標(biāo)清分辨率CIF ： Common Intermediate FormatQCIF ： Quarter CIFSQCIF：Sub-Quarter CIF第75頁(yè)，共88頁(yè)。圖像基礎(chǔ)知識(shí) SMPTE 296M-2001第76頁(yè)，共88頁(yè)。圖像基礎(chǔ)知識(shí) SMPTE 274M-2003第77頁(yè)，共88頁(yè)。過(guò)掃描就是畫(huà)面的一部份顯示在屏幕以外CRT電視通過(guò)電子束掃描的水平像素和垂直像素的點(diǎn)距加大來(lái)實(shí)現(xiàn)圖像放大避免模擬信號(hào)本身不精確，受到干擾后邊緣失真國(guó)家規(guī)定顯示面積不低于信號(hào)面積的95%圖像基礎(chǔ)知識(shí)