網(wǎng)絡(luò)多媒體視頻技術(shù)

網(wǎng)絡(luò)多媒體視頻技術(shù)金天jintian@提綱簡介網(wǎng)絡(luò)視頻傳輸關(guān)鍵技術(shù)視頻應(yīng)用工具的研制現(xiàn)狀簡介VOD系統(tǒng)（流媒體）客戶端點播遠(yuǎn)程的多媒體數(shù)據(jù)單向多媒體數(shù)據(jù)傳輸系統(tǒng)要求連貫準(zhǔn)確的視頻效果視頻交互系統(tǒng)幾個節(jié)點相互進(jìn)行多媒體交互交互多媒體數(shù)據(jù)傳輸系統(tǒng)要求高實時性PartI

視頻交互系統(tǒng)的關(guān)鍵技術(shù)視頻交互系統(tǒng)的關(guān)鍵技術(shù)傳輸協(xié)議網(wǎng)絡(luò)層的支持與挑戰(zhàn)傳輸層的支持與挑戰(zhàn)應(yīng)用網(wǎng)關(guān)的支持與挑戰(zhàn)視頻交互系統(tǒng)的傳輸協(xié)議網(wǎng)絡(luò)傳輸協(xié)議TCPUDPRTP/RTCPRTP有效載荷說明ALF技術(shù)網(wǎng)絡(luò)傳輸協(xié)議-RFCsRFC1889RTP:ATransportProtocolforReal-TimeApplicationsRFC1890RTPProfileforAudioandVideoConferenceswithMinimalControlRFC2026RTPPayloadFormatofSun'sCellBVideoEncodingRFC2032RTPPayloadFormatofH.261videostreamsRFC2190RTPPayloadFormatofH.263videostreamsRFC2250RTPPayloadFormatforMPEG1/MPEG2VideoRFC2343RTPPayloadFormatforBundledMPEGRFC2429RTPPayloadFormatforthe1998VersionofITU-TRec.H.263Video(H.263+).RFC2435RTPPayloadFormatforJPEG-compressedVideoRFC3016RTPPayloadFormatforMPEG-4Audio/VisualStreams.TCP協(xié)議盡管TCP是一個很成功的協(xié)議，但是它無法滿足視頻傳輸?shù)男枰Ｒ曨l數(shù)據(jù)是一種可丟失的數(shù)據(jù)，如果為了追求準(zhǔn)確率，那么TCP的大量確認(rèn)應(yīng)答會導(dǎo)致視頻傳輸?shù)膶崟r性受到影響，使視頻數(shù)據(jù)不得不因為等待應(yīng)答而放棄。這就會造成不必要的延遲和更大范圍的數(shù)據(jù)丟失。UDP協(xié)議相比較之下，使用UDP的效果就要好很多。只要網(wǎng)絡(luò)流量足夠，視頻數(shù)據(jù)就可以源源不斷的到達(dá)接受者。因此，在IP網(wǎng)絡(luò)上傳送視頻數(shù)據(jù)，往往采用UDP協(xié)議，而不是TCP協(xié)議。RTP/RTCP協(xié)議RTP協(xié)議在UDP協(xié)議的基礎(chǔ)上提供：時間同步信息對不同媒體類型的報文的分割丟失探測安全以及內(nèi)容標(biāo)別RTCP提供：信息源標(biāo)別應(yīng)用網(wǎng)關(guān)信息控制信息反饋QoS反饋支持同步信息網(wǎng)絡(luò)視頻傳輸圖示InternetEncoderPacketizerRTP/RTCPDecoderDepacketizerRTP/RTCPRTP有效載荷說明這些RFC說明了如何利用RTP組織具體視頻編碼格式的數(shù)據(jù)。例如，如何利用RTP協(xié)議傳輸H.261圖像的規(guī)范說明就叫做“RTPPayloadFormatofH.261videostreams”。RTP有效載荷說明DataDataDataDataDataDataDataDataDataDataDataDataDataDataDataDataDataDataDataDataDataDataDataData原始報文方法1方法2ALF技術(shù)應(yīng)用層需要根據(jù)RTP的有效載荷說明來產(chǎn)生具體網(wǎng)絡(luò)層的數(shù)據(jù)幀。這種技術(shù)成為應(yīng)用層成幀技術(shù)（ApplicationLevelFraming）視頻交互系統(tǒng)的關(guān)鍵技術(shù)傳輸協(xié)議網(wǎng)絡(luò)層的支持與挑戰(zhàn)傳輸層的支持與挑戰(zhàn)應(yīng)用網(wǎng)關(guān)的支持與挑戰(zhàn)網(wǎng)絡(luò)層支持與挑戰(zhàn)QoS技術(shù)保證視頻傳輸帶寬保證視頻傳輸延時保證視頻傳輸丟失率組播技術(shù)節(jié)省網(wǎng)絡(luò)帶寬帶來異構(gòu)問題什么是Qos(QualityofService)網(wǎng)絡(luò)為應(yīng)用程序提供的不同級別的性能需求QoS什么是組播技術(shù)(Multicast)MulticastUnicastISP2BackboneISPISP4ISP3ISP1Server1ISP5Server2ISP2BackboneISPISP4ISP3ISP1Server1ISP5Server2視頻交互系統(tǒng)的關(guān)鍵技術(shù)傳輸協(xié)議網(wǎng)絡(luò)層的支持與挑戰(zhàn)傳輸層的支持與挑戰(zhàn)應(yīng)用網(wǎng)關(guān)的支持與挑戰(zhàn)傳輸層的支持與挑戰(zhàn)擁塞控制速率控制方案視頻編碼速率自適應(yīng)方案（與編碼器相關(guān)）層次視頻編碼技術(shù)（與編碼器相關(guān)）差錯控制FEC控制延時的重傳錯誤恢復(fù)技術(shù)（與編碼器相關(guān)）錯誤隱藏技術(shù)（與編碼器相關(guān)）視頻交互系統(tǒng)的關(guān)鍵技術(shù)傳輸協(xié)議網(wǎng)絡(luò)層的支持與挑戰(zhàn)傳輸層的支持與挑戰(zhàn)應(yīng)用網(wǎng)關(guān)的支持與挑戰(zhàn)應(yīng)用層網(wǎng)關(guān)的支持與挑戰(zhàn)Web-Cache(RBN)將多媒體數(shù)據(jù)傳送到應(yīng)用網(wǎng)關(guān)用戶使用臨近的網(wǎng)關(guān)獲取數(shù)據(jù)PartII

視頻應(yīng)用工具的研制視頻交互工具的實現(xiàn)視頻交互工具的實現(xiàn)實現(xiàn)通用的視頻編解碼器接口系統(tǒng)支持所有Windows系統(tǒng)中的編解碼器，包括DivX，MPEG-4等一些低帶寬、高清晰的常用的視頻壓縮和解壓技術(shù)。這些技術(shù)的應(yīng)用使多媒體系統(tǒng)能夠更有效地利用網(wǎng)絡(luò)帶寬，達(dá)到最好的視頻效果。

利用該接口，本系統(tǒng)無需做任何更改，即可利用最新出現(xiàn)的編解碼技術(shù)。視頻交互工具的實現(xiàn)實現(xiàn)應(yīng)用級成幀傳輸技術(shù)系統(tǒng)中采用ApplicationLevelFraming的技術(shù)，根據(jù)視頻圖像的具體編碼方式組織網(wǎng)絡(luò)報文的成幀，使系統(tǒng)在高網(wǎng)絡(luò)報文丟失率的情況下，仍能夠穩(wěn)定的工作，將網(wǎng)絡(luò)報文的丟失對圖像質(zhì)量的影響降低為最小。視頻交互工具的實現(xiàn)采用DirectDraw視頻展示技術(shù)系統(tǒng)中采用DirectDraw技術(shù)進(jìn)行視頻圖像的展示，使系統(tǒng)比基于GUIAPI的函數(shù)調(diào)用的系統(tǒng)的展示速度快3～4倍，將單機(jī)上展示多路視頻的能力提高一倍。

與相關(guān)研究的比較AccessGrid(http:///)能支持多路視頻展示，但在同樣視頻流個數(shù)情況下，消耗的CPU資源較本系統(tǒng)高近一倍。不能利用Windows上最