多媒體通信第6章質(zhì)量保證資料

1、多媒體通信質(zhì)量保證主講(zhjing)：龐玉博共五十七頁第6章 多媒體通信的質(zhì)量保證多媒體通信的同步6.2通信的服務(wù)質(zhì)量 6.1視頻通信的差錯控制6.3共五十七頁6.1 通信(tng xn)的服務(wù)質(zhì)量1.服務(wù)質(zhì)量的概念(ginin) CCITT(現(xiàn)在的ITU-T)定義服務(wù)質(zhì)量（QoS），是一個綜合指標，用于衡量使用一個服務(wù)的滿意程度。RACE（Research into Advanced Communication for Europe）定義：QoS描述了關(guān)于一個服務(wù)的某些性能特點，這些性能特點是用戶可見的，它以用戶可理解的語言表述為一組參數(shù)，這些參數(shù)具有客觀值或者主觀值。Internatio

2、nal consultative committee on telecommunications and Telegraph(國際電報電話咨詢委員會) 一般按照用戶級、表現(xiàn)級和資源級等層次來描述。共五十七頁用戶(yngh)級服務(wù)質(zhì)量由于多媒體演示的最終對象是用戶，所以一些用戶所關(guān)心的數(shù)據(jù)就構(gòu)成了用戶級別的服務(wù)質(zhì)量。主要建立在以下幾個基礎(chǔ)之上：a)用戶感覺(gnju)b）用戶偏好c）任務(wù)需求共五十七頁表現(xiàn)(bioxin)級服務(wù)質(zhì)量獨立于用戶的選擇，也獨立于用于表現(xiàn)或傳送媒體的設(shè)備，只是描述輸出媒體的質(zhì)量，例如： 視頻的表現(xiàn)參數(shù)如幀速率、空間分辨率、顏色深度（就是(jish)表示顏色的位數(shù)）等。連

3、續(xù)媒體流的延時變動。包括多個媒體流的系統(tǒng)同步。共五十七頁資源(zyun)級服務(wù)質(zhì)量資源：用來表現(xiàn)多媒體的計算機系統(tǒng)及外設(shè)，用來傳送多媒體的網(wǎng)絡(luò)系統(tǒng)以及用來存取的存儲系統(tǒng)等。比如CPU的時間片、屏幕和顯示設(shè)備的分辨率，網(wǎng)絡(luò)的帶寬(di kun)、錯誤率、網(wǎng)絡(luò)延時變動情況和磁盤的數(shù)據(jù)率。多媒體網(wǎng)絡(luò)的服務(wù)質(zhì)量是一個非常重要的方面。共五十七頁補充：多媒體通信協(xié)議(xiy)與標準國際標準化組織和機構(gòu)1. 多媒體通信的標準化問題先有多媒體（單機 ），然后再有多媒體通信（多機）。多媒體通信技術(shù)的發(fā)展要求 一個統(tǒng)一的規(guī)范，即國際標準。世界(shji)上最重要的兩個標準化組織是：ITU: Internation

4、al Telecommunication Union （國際電信聯(lián)盟）ISO: International Organization for Standardization （國際標準化組織）共五十七頁補充：多媒體通信協(xié)議(xiy)與標準2. 電信和信息標準化組織1） ITU-U（1）組織機構(gòu) ITU是從事電信領(lǐng)域工作的聯(lián)合國專門機構(gòu)。ITU-U：國際電信聯(lián)盟-電信標準化部，是國際電信聯(lián)盟的常設(shè)機構(gòu)，負責研究技術(shù)、操作和資費等問題。ITU-T成員(chngyun)由成員(chngyun)國家和部門成員(chngyun)兩類組成。與多媒體通信相關(guān)的ITU-T建議A . AVMMS: 音頻/視頻多

5、媒體業(yè)務(wù)B. NGN：未來網(wǎng)絡(luò)和下一代網(wǎng)絡(luò)共五十七頁媒體對象表現(xiàn)(bioxin)的服務(wù)質(zhì)量指標媒體圖像視頻音頻服務(wù)質(zhì)量顏色深度顏色深度采樣方式分辨率采樣大小幀速率采樣速率分辨率跳動跳動出錯率出錯率黑色字體的服務(wù)質(zhì)量不依賴于時序關(guān)系，紅色字體的服務(wù)質(zhì)量 是與時間相關(guān)的，它們受展示(zhnsh)系統(tǒng)的影響有限，這是由于它們主要取決于捕獲過程所選擇的服務(wù)質(zhì)量。通常，展示(zhnsh)系統(tǒng)往往會導(dǎo)致質(zhì)量下降，紅色的服務(wù)質(zhì)量完全由潛在的展示(zhnsh)環(huán)境控制。共五十七頁6.1.2 QoS參數(shù)(cnsh) 分布式多媒體系統(tǒng)QoS分層模型為了(wi le)適應(yīng)分布式多媒體應(yīng)用的端到端的需求，通常采用分層

6、的方法把QoS管理分為5層，如圖所示共五十七頁（2）多媒體間的關(guān)系。如各種( zhn)媒體間的同步、實時關(guān)系等。各層的含義(hny)如下：1、用戶QoS。顧名思義，用戶QoS是由用戶提出的，用戶不一定是計算機專業(yè)人員，所以用戶的需求描述是比較直觀的。用戶QoS需求反映的是用戶的主觀感覺，所以一般將用戶的QoS可以分為5個等級，即非常滿意、比較滿意、基本滿意、不滿意、極不滿意。2、應(yīng)用QoS。應(yīng)用QoS是通過映射把用戶的QoS轉(zhuǎn)換為應(yīng)用QoS參數(shù)，其參數(shù)將根據(jù)多媒體質(zhì)量來描述應(yīng)用服務(wù)可能指定的需求。具體可以從以下兩個方面來描述應(yīng)用QoS的需求。（1）多媒體自身的特點和傳輸?shù)囊蟆Ｈ缍说蕉说难舆t、

7、不同多媒體聲音、靜態(tài)圖像、動態(tài)圖像和數(shù)據(jù)等。共五十七頁3、系統(tǒng)QoS。系統(tǒng)QoS是由應(yīng)用QoS映射出來的，它是描述應(yīng)用QoS對通信服務(wù)和操作系統(tǒng)服務(wù)的需求，具體可以從定性和定量兩方面來描述。所謂定量，就是從數(shù)學的角度來衡量。如帶寬(di kun)、錯誤率、任務(wù)的處理時間、包的大小等參數(shù)。定性的標準包括流間的同步、有序傳輸、糾錯機制和調(diào)度策略等。4、網(wǎng)絡(luò)QoS。具體(jt)可以從兩方面來描述。（1）網(wǎng)絡(luò)負載。主要描述網(wǎng)絡(luò)流量，如網(wǎng)絡(luò)連接的平均/最小響應(yīng)時間、包的大小、包在節(jié)點的服務(wù)時間等。（2）網(wǎng)絡(luò)性能。主要描述網(wǎng)絡(luò)服務(wù)所必須保證的、源和目的端之間的延遲、包丟失率等。共五十七頁6.1.3 QoS

8、管理(gunl)1QoS提供(tgng)機制所謂QoS管理，是指計算機網(wǎng)絡(luò)系統(tǒng)按照一定的管理策略，對用戶應(yīng)用所需要的QoS進行分類統(tǒng)計，并且調(diào)用相應(yīng)的資源分配和調(diào)度程序去保證用戶得到所需的QoS保證的過程。QoS管理的目的是充分利用網(wǎng)絡(luò)資源，確保用戶的服務(wù)質(zhì)量。2QoS控制機制3QoS管理機制共五十七頁1QoS提供(tgng)機制（1）QoS映射(yngsh)接納控制研究的問題是對于一個具有一定Q o S 要求的連接, 網(wǎng)絡(luò)是否在不影響其它連接的前提下予以接納。接納控制與網(wǎng)絡(luò)體系結(jié)構(gòu)中許多部分有關(guān)。首先, 必須明確新連接對服務(wù)類型、Qo S 的需求以及流量特性的影響, 這些內(nèi)容都必須包括在流量

9、規(guī)范中; 第二, 一旦給定流量規(guī)范, 網(wǎng)絡(luò)就要決定它是否能夠按照應(yīng)用對Q o S 的需求在兩個端系統(tǒng)間建立起連接; 這包括選路, 檢查路由上各個節(jié)點是否擁有足夠的資源, 以及確定接納新連接所要進行的資源分配或預(yù)置; 這就是所謂的Q o S 協(xié)商, 完成這些工作的協(xié)議有基于RSVP的OP-WA, 在IPtel中使用的基于RTCP（Real Time Control Protocol) 的一個簡單的方案等。（4）資源預(yù)留與分配（3）接納控制（2）QoS協(xié)商共五十七頁接納控制技術(shù)可分為確定性、統(tǒng)計性與基于測量的三種。確定性與統(tǒng)計性接納控制分別采用(，）有效帶寬(di kun)技術(shù),但存在需要事先確定

10、流量參數(shù)、需要在流量管制復(fù)雜性與模型準確性之間進行平衡等缺點。基于測量的接納控制技術(shù)MBAC (Measurement Based Admission Control )無需端系統(tǒng)為業(yè)務(wù)流指定流量規(guī)范, 而是由網(wǎng)絡(luò)對業(yè)務(wù)流的流量特性進行測量。確定性控制技術(shù)適用于Intsery 的保證服務(wù), 而基于測量的控制技術(shù)則適用于可控負載服務(wù)。一個應(yīng)用(yngyng)對Q o S 的需求通常以端到端的形式描述, 然而接納控制卻是在各個網(wǎng)絡(luò)節(jié)點上進行的, 這就需要將端到端的Q o S 需求分解到路由的各個節(jié)點( 采用WF Q 類調(diào)度算法除外). 共五十七頁3QoS管理機制 QoS管理機制和QoS控制機制類似

11、，QoS控制機制一般是實時(sh sh)的，而QoS管理機制是在一個較長的時間段內(nèi)進行的。2QoS控制(kngzh)機制（1）流調(diào)度控制機制（2）流成型（3）流監(jiān)管（4）流控制（5）流同步共五十七頁QoS管理機制為了(wi le)實現(xiàn)不同廠商設(shè)備之間互通，標準化的QoS參數(shù)定義是必須的。為此，有關(guān)國際組織制定了一系列相關(guān)的協(xié)議，它們從不同的網(wǎng)絡(luò)協(xié)議層次提供了QoS定義、分類和保證機制，為QoS的有效管理奠定了基礎(chǔ)。QoS管理實質(zhì)上反映了對網(wǎng)絡(luò)資源的最佳配置和有效管理問題。QoS管理機制應(yīng)當具有可配置性、可協(xié)商性以及動態(tài)自適應(yīng)性等管理特性。近年來，人們提供了一些QoS管理技術(shù)，其中(qzhng)

12、比較有效的是基于策略的QoS管理技術(shù)，它通過預(yù)先定義的策略規(guī)則來解決網(wǎng)絡(luò)資源的合理配置和有效管理問題，為特定的數(shù)據(jù)流提供特性化服務(wù)和資源保證。共五十七頁QoS管理機制QoS管理機制應(yīng)當(yngdng)提供如下的QoS管理機特性。2、 QoS管理應(yīng)是可協(xié)商的。一個應(yīng)用在初始啟動時，首先以適當?shù)姆绞教岢?t ch)QoS請求。系統(tǒng)根據(jù)其可用資源容量計算和分配應(yīng)用所需的資源。在該應(yīng)用運行時，系統(tǒng)動態(tài)監(jiān)測應(yīng)用的資源需求和實際的QoS。當網(wǎng)絡(luò)負載發(fā)生變化而導(dǎo)致QoS改變時，用戶與系統(tǒng)需要重新協(xié)商，使之在可用資源約束內(nèi)自適應(yīng)于該應(yīng)用的QoS請求。1、QoS管理應(yīng)是可配置的。分布式多媒體應(yīng)用是多樣化的，不同

13、應(yīng)用的QoS要求是不同的， QoS參數(shù)及其定義方法也不同。因此，應(yīng)允許用戶對系統(tǒng)的QoS管理功能進行適當?shù)募舨茫员憬⑴c應(yīng)用相適應(yīng)的QoS級。共五十七頁QoS管理機制3、 QoS管理應(yīng)是動態(tài)的。一個分布式多媒體應(yīng)用在運行過程中，應(yīng)用的資源需求和系統(tǒng)的可用資源都是動態(tài)變化的，只是在初始時說明QoS參數(shù)并要求它們在整個(zhngg)會話期間都保持不變是不現(xiàn)實的。因此，系統(tǒng)應(yīng)具有自適應(yīng)管理能力，在可用資源約束內(nèi)進行動態(tài)調(diào)節(jié)，以滿足該應(yīng)用的QoS需求，或者提供一種可視化界面，允許用戶在會話期間根據(jù)應(yīng)用實際情況動態(tài)改變QoS參數(shù)值，提供動態(tài)QoS控制能力。共五十七頁QoS管理機制4、 QoS管理應(yīng)是端

14、到端的。分布式多媒體應(yīng)用是一種(y zhn)端到端的活動，源端獲取多媒體數(shù)據(jù)并經(jīng)過壓縮后通過網(wǎng)絡(luò)傳輸系統(tǒng)傳送到目的端，目的端進行解壓并播放多媒體數(shù)據(jù)。在端到端的傳輸路徑上，任何一個中間節(jié)點未履行其QoS承諾都會影響多媒體播放的一致性。因此，允許用戶對各個環(huán)節(jié)所支持的QoS進行抽象，在會話的兩端來配置和控制QoS。5、 QoS管理應(yīng)是層次化的。一個端系統(tǒng)的QoS管理任務(wù)應(yīng)按QoS參數(shù)體系結(jié)構(gòu)分解在系統(tǒng)的各個層次上，每個層次都承擔各自的管理任務(wù)，并且應(yīng)充分考慮網(wǎng)絡(luò)鏈路層對QoS支持能力的影響。對于QoS主動鏈路層，高層負責與鏈路層協(xié)商(xishng)，使鏈路層能夠設(shè)置合適的QoS，以充分發(fā)揮這種鏈

15、路層對QoS的支持能力。共五十七頁QoS管理(gunl)的基本功能1.QoS的協(xié)商(xishng)功能當用戶和系統(tǒng)達成共識，并建立協(xié)商之后，QoS管理機制就會對QoS合同進行維護，對用戶和系統(tǒng)的行為進行必要的監(jiān)控，以便確保用戶和系統(tǒng)雙方都遵守已協(xié)商的合同。2.QoS的監(jiān)控功能多媒體通信的用戶都希望系統(tǒng)對分布式多媒體流提供一定程度的QoS保證，并通過應(yīng)用程序?qū)oS要求通知給系統(tǒng)，進行必要的協(xié)商，以便就QoS使用戶和系統(tǒng)達成共識，有一個共同遵守的協(xié)商的合同。共五十七頁3. QoS的映射(yngsh)功能QoS管理(gunl)的基本功能由于用戶對QoS的需求是變化的，而且網(wǎng)絡(luò)上資源的提供也是動態(tài)變

16、化的，因此QoS參數(shù)不是一成不變的。在傳輸過程中，要對QoS協(xié)商的結(jié)果不斷地進行調(diào)整，即這是一個重協(xié)商的過程；QoS也不斷地重新配置，以適應(yīng)不斷變化的信息需求。4.動態(tài)QoS重協(xié)商功能QoS的組成一般都采用層次結(jié)構(gòu)，每層和上下相鄰的層之間都要求對QoS參數(shù)進行轉(zhuǎn)換，以適應(yīng)本層QoS參數(shù)的需要。共五十七頁QoS管理(gunl)的實現(xiàn)原則及組成在分布式多媒體系統(tǒng)中，實現(xiàn)QoS管理(gunl)應(yīng)遵循以下原則（5）性能原則。在設(shè)計和實現(xiàn)QoS管理機制時，將采用一般認同的提高性能的原則來指導(dǎo)協(xié)議和功能的劃分。（4）異步原則。分布式多媒體系統(tǒng)中，可能有異步活動，各活動之間通過異步算法將周期性地交換與處理控

17、制信號，使系統(tǒng)達成同步。（3）透明原則。下層QoS說明和諸如QoS監(jiān)控之類的QoS管理的復(fù)雜性對應(yīng)用應(yīng)該是透明的。系統(tǒng)隱蔽了下層QoS的細節(jié)。（2）分開原則。媒體數(shù)據(jù)傳輸和控制信號應(yīng)該彼此分開。（1）集成原則。要求所有層次上都必須是可以配置的、可預(yù)測的和可維護的，以滿足端到端QoS的需求。共五十七頁QoS管理(gunl)的組成（2）資源預(yù)留。負責預(yù)定(ydng)支持給定QoS的某些資源，這些資源包括CPU，緩沖區(qū)和傳輸帶寬等。1、QoS說明和映射。QoS說明按不同的應(yīng)用和系統(tǒng)處理分層定義，將用戶的非常滿意、滿意、基本滿意、可接受、不能忍受等QoS參數(shù)分別映射到各相應(yīng)層。QoS映射在不同層次之間

18、，QoS表達具有自動轉(zhuǎn)換功能。2、QoS協(xié)商、資源預(yù)留和接納控制。（1）QoS協(xié)商。QoS協(xié)商是指用戶和系統(tǒng)以及用戶之間就所傳輸信息的服務(wù)質(zhì)量進行交互，最后根據(jù)應(yīng)用和資源協(xié)商確定QoS。（3）接納控制。將QoS產(chǎn)生的資源需求和系統(tǒng)中的可用資源進行比較，確定系統(tǒng)是否滿足所需QoS。共五十七頁QoS管理(gunl)的組成3、維護(wih)和監(jiān)視當系統(tǒng)無法滿足某一行為的QoS時， QoS要重協(xié)商及調(diào)整，最后實現(xiàn)對該行為的所有相關(guān)QoS進行全局再配置。綜上所述，可以看出， QoS管理組成中的QoS是指多媒體用戶要求網(wǎng)絡(luò)傳輸系統(tǒng)所必須保證的關(guān)于傳輸多媒體信息的質(zhì)和量的特征集。它反映服務(wù)提供者和服務(wù)使用者

19、之間能力和需求的關(guān)系?？傊?，一個良好的多媒體通信系統(tǒng)必須具有QoS支持能力，能夠按照所承諾的QoS提供網(wǎng)絡(luò)資源保證，最大限度地滿足用戶的QoS需求。4、QoS 重協(xié)商（2） QoS監(jiān)視允許系統(tǒng)各層跟蹤從低層獲得的QoS與最初的需求相比較，并采用反饋環(huán)的形式進行調(diào)整。（1）QoS維護動態(tài)的保證系統(tǒng)部件所要求的性能，維持在確定范圍內(nèi)。共五十七頁第6章 多媒體通信的質(zhì)量保證通信的服務(wù)質(zhì)量6.1多媒體通信的同步 6.2視頻通信的差錯控制6.3共五十七頁6.2 多媒體通信的同步(tngb)6.2.1 同步(tngb)的概念6.2.4 同步多媒體集成語言6.2.3 多媒體同步控制機制6.2.2 同步的類型

20、共五十七頁6.2.1 同步(tngb)的概念多媒體是在不同(b tn)應(yīng)用環(huán)境中文本、圖像、聲音和視頻等各種媒體的集成。既然需要將這些媒體安排在一起表現(xiàn)，就有一個先來后到的關(guān)系，這個關(guān)系就是同步關(guān)系，系統(tǒng)對各個媒體對象按照這個關(guān)系進行的控制過程，就是同步。一般說來，同步的過程與時間有著密切的關(guān)系，大多數(shù)的同步都建立在時間的基礎(chǔ)上。共五十七頁6.2.2 同步(tngb)的類型1應(yīng)用(yngyng)同步這里的合成指的是不同媒體對象之間的合成。前面所提到的空間合成、時間合成一般都是指的這種同步。所以合成同步又稱為“媒體之間的同步”。這種同步涉及到不同類型的媒體數(shù)據(jù)，側(cè)重于它們在合成表現(xiàn)時的時間關(guān)系的

21、描述。2.合成同步應(yīng)用層同步又稱表現(xiàn)同步，或交互同步，這一類同步是從用戶應(yīng)用的角度出發(fā)而進行的同步，重點在于表現(xiàn)與交互。這要求同步過程既能體現(xiàn)用戶的交互性，又要容易被用戶理解和使用。共五十七頁6.2.2 同步(tngb)的類型3.現(xiàn)場(xinchng)同步系統(tǒng)同步，又稱“媒體內(nèi)部的同步”。這里“系統(tǒng)”指的是該層同步如何根據(jù)各種輸入媒體對應(yīng)的實際硬件系統(tǒng)的性能參數(shù)來協(xié)調(diào)實現(xiàn)其上層合成同步所描述的各對象間的時序關(guān)系。對于通信網(wǎng)絡(luò)上分布的媒體表現(xiàn)的同步，要考慮更為復(fù)雜的傳輸延遲等問題，這引出同步協(xié)議的設(shè)計及通信網(wǎng)絡(luò)的各種同步技術(shù)。4.系統(tǒng)同步現(xiàn)場同步也屬于媒體間的同步，它與合成同步非常相像，但有本質(zhì)

22、區(qū)別。合成同步中各個媒體對象之間的同步關(guān)系是由人工定義的，它需要表現(xiàn)出設(shè)計者的主觀意識；而現(xiàn)場同步則是要表現(xiàn)出同一個應(yīng)用中數(shù)據(jù)源方與表現(xiàn)方之間存在的實際同步關(guān)系，也即端到端之間的同步關(guān)系。共五十七頁6.2.3 多媒體同步控制機制(jzh)1媒體內(nèi)同步：指時間(shjin)相關(guān)媒體的各媒體元素之間的時間(shjin)同步關(guān)系，是媒體間同步和通信的基礎(chǔ)。3.人機間交互同步：人和多媒體對象之間交互時的同步關(guān)系。2媒體間同步：指不同媒體間的時間同步關(guān)系。如音頻和視頻的同步，也叫“唇同步”。（1）基于播放時限的同步方法（2）基于緩存數(shù)據(jù)量控制的同步方法（1）時間戳同步（2）基于反饋的流間同步方法（3）基

23、于RTP/RTCP的同步機制共五十七頁6.2.4 同步(tngb)多媒體集成語言 同步(tngb)多媒體集成語言SMIL(Synchronized Multimedia Integration Language)是WWW開發(fā)并推薦的一種類似HTML的語言，它將在Internet上不同位置的媒體文件關(guān)聯(lián)到一起，媒體播放器通過載入SMIL文件，會根據(jù)文件中設(shè)置的播放順序和位置等屬性，將這些文件集成到同一窗口播放。SMIL是一種媒體組合的描述語言，其核心是用標記語言來控制多媒體片段的時間同步關(guān)系和空間布局。同步（Synchronized）意味著SMIL涉及定時等多媒體（ Multimedia ）說明

24、不僅僅是圖像或文本等。集成（Integration）要求組合Web的多種資源語言（ Language ）基于XML算法共五十七頁6.2.4 同步多媒體集成(j chn)語言主要功能(gngnng)特點（1）多媒體集成（2）時間控制（3）空間布局（4）鏈接控制（5）智能流（6）多語言選擇SMIL優(yōu)點避免使用統(tǒng)一的文件格式可以同時播放在不同地方的多媒體片段時間控制對整個演示進行布局多語言支持多寬帶支持簡化創(chuàng)作工具共五十七頁SMILHow to workSMIL文件存在于Web Server中或流媒體Server中，根據(jù)支持的層次和顯示(xinsh)中使用的數(shù)據(jù)類型，可以在很多不同的Player中播

25、放一旦Player或Browser擁有了完整的SMIL文件，它會在Header Section尋找顯示的布局。在分析完Header Section后，Player檢查Body Section，開始緩沖第一個要播放的流文件。然后Player會根據(jù)文件中指定的時間限制播放流文件。共五十七頁第6章 多媒體通信的質(zhì)量保證通信的服務(wù)質(zhì)量6.1視頻通信的差錯控制6.3多媒體通信的同步6.2共五十七頁6.3 視頻(shpn)通信的差錯控制6.3.1 視頻(shpn)差錯控制技術(shù)6.3.5 視頻編碼標準中的差錯控制機制6.3.4 基于編解碼端交互的差錯控制6.3.3 基于解碼端的差錯控制6.3.2 基于編碼端

26、的差錯控制共五十七頁6.3.1 視頻(shpn)差錯控制技術(shù) 視頻差錯控制技術(shù)(jsh)是指編碼器通過增加相應(yīng)的編碼策略或改進視頻碼流的結(jié)構(gòu)，使視頻解碼器便于檢測差錯，并利用視頻中的時間空間相關(guān)性來恢復(fù)因差錯而丟失或毀壞的數(shù)據(jù)，降低信道差錯對視頻傳輸質(zhì)量影響的技術(shù)(jsh)。隨著第三代移動通信系統(tǒng)和IP網(wǎng)絡(luò)的迅速發(fā)展,實時視頻通信正逐步成為通信的主要業(yè)務(wù)之一。但移動信道具有易錯、時變和帶限的特點以及因多徑反射和衰落引入大量的隨機誤碼和突發(fā)誤碼,使得移動信道的誤碼率比有線信道大。同時由于帶寬的限制,視頻信息在傳輸前必須進行高效的壓縮編碼目前大多數(shù)的視頻編碼標準所采用的時間和空間預(yù)測使得編碼的視頻

27、流對信道差錯更加脆弱。為了減輕信道差錯對解碼質(zhì)量的影響,必須結(jié)合實際應(yīng)用信道的傳輸特性，采用有效的差錯處理機制因此差錯控制技術(shù)便成為視頻通信的關(guān)鍵技術(shù)。共五十七頁6.3.2 基于編碼(bin m)端的差錯控制1前向糾錯編碼(bin m)2分層編碼3多描述編碼4健壯的熵編碼傳統(tǒng)編碼器的設(shè)計目標是盡最大可能去除冗余信息,以達到最大的壓縮比。如果以此作為編碼器設(shè)計的唯一準則，勢必造成解碼器不易恢復(fù)誤碼?；诰幋a器的差錯彈性技術(shù)可以有效地改善這個問題,通過在信源或信道編碼器碼中添加一定的冗余信息,提高視頻流對信道差錯的魯棒性。其設(shè)計目標是以最少的冗余信息產(chǎn)生最好的抗誤碼效果。很多方式可以在視頻流中引入

28、冗余使得視頻流的抗誤碼能力增強或給解碼器的差錯隱藏提供有用的信息來增強隱藏效果。共五十七頁1前向糾錯(ji cu)編碼前向糾錯（Forward Error Correction），簡稱FEC。FEC在編碼端發(fā)送能糾正錯誤的編碼，在解碼端根據(jù)接收到的碼和編碼規(guī)則，能自動(zdng)糾正傳輸中的錯誤。編碼端發(fā)送能糾正錯誤的編碼，在解碼端根據(jù)接收到的碼和編碼規(guī)則,能自動糾正傳輸中的錯誤。其特點是不需要反饋信道,實時性好,但是隨著糾錯能力的提高編解碼設(shè)備相對復(fù)雜。糾錯碼的種類很多，如BCH碼、RS碼以及RCPC碼。共五十七頁2分層編碼(bin m) 分層編碼是指將視頻信號分成一個基本層和一個或幾個增強

29、層，其中(qzhng)基本層包含視頻信號的基本信息，通過它可以恢復(fù)出可接收但質(zhì)量較低的視頻信號，增強層包含視頻信號的細節(jié)信息，它可以逐步提高視頻的恢復(fù)質(zhì)量。3多描述編碼 多描述編碼將同一個視頻信號編碼成多個相關(guān)的子流（稱為描述），并且分別在獨立的信道上傳輸。共五十七頁（1）通過交織(jiozh)子采樣技術(shù)（2）多描述標量量化（3）使用引入關(guān)聯(lián)的線性轉(zhuǎn)換多描述(mio sh)編碼方法:4健壯的熵編碼熵編碼方法:（1）自同步的熵編碼（2）差錯恢復(fù)熵編碼（3）可逆變長編碼（4）定長編碼共五十七頁6.3.3 基于解碼(jim)端的差錯控制1差錯(chcu)檢測2差錯隱藏在以人眼為最終信宿的視頻通信中,

30、差錯隱藏技術(shù)利用人眼的差錯遮蔽特性以及視頻信號空間和時間上的相關(guān)性,通過從先前接收到的無差錯視頻信息中提取有用信息,來頗為近似地恢復(fù)丟失或出錯數(shù)據(jù),提高解碼后的圖像質(zhì)量。該隱藏技術(shù)完全是基于解碼器的,沒有改變采用的傳輸技術(shù),而且對視頻流也沒有引入任何冗余,因此稱為零冗余差錯隱藏技術(shù)。實施任何差錯控制技術(shù)的前提是檢測是否發(fā)生了差錯以及對差錯發(fā)生位置的準確定位。因此差錯隱藏的第一步是差錯檢測。共五十七頁1差錯(chcu)檢測（1）傳輸(chun sh)編解碼器上的差錯檢測（2）視頻解碼器上的差錯檢測解碼端差錯檢測，一種方法是利用視頻信號的自然特性;另一種方法是利用同步碼:在每個塊掃描行的尾部加入同

31、步碼,當解碼器取得這個同步碼時,解碼器檢查已經(jīng)解碼的塊的數(shù)量并與同步碼比較,如果不一致就意味著發(fā)生差錯;還有一種方法是利用視頻編碼流特有的語法結(jié)構(gòu)進行差錯檢測:如果解碼結(jié)果中包含有值為零的量化步長,或者解碼結(jié)果中DCT系數(shù)多于最多可能的數(shù)目(對88DCT變換該值為64),則可以判斷差錯發(fā)生。傳輸層差錯檢測可靠性高,容易實現(xiàn)但需要增加額外的比特開銷。解碼端差錯檢測不需要分配額外的比特,但可靠性低,實現(xiàn)復(fù)雜。所以在實際系統(tǒng)中,要根據(jù)需要和使用場合相互結(jié)合使用,使用同步碼字的方法是上兩種方法的折中。共五十七頁2差錯(chcu)隱藏（1）編碼模式（2）運動(yndng)矢量MV的恢復(fù)（3）紋理信息的恢

32、復(fù)基于解碼器的差錯隱藏是指在解碼端利用先前接收的無差錯視頻信息來對差錯信息進行恢復(fù)或估計,使這些差錯信息在視覺上盡量不被察覺出來。如果編碼方法采用的是基于塊的視頻壓縮編碼,要恢復(fù)一個損壞的塊,必須對3種信息進行恢復(fù):編碼模式;運動信息,主要是運動矢量MV;紋理信息,主要是DCT變換系數(shù)。視頻信號主要由低頻分量組成,具有平滑特性,也就是除了邊緣在時間和空間上相鄰像素值的變化是平滑的,而且運動矢量的變化也是平滑的。利用這個特點,可以用插值的方法對紋理信息和運動信息進行恢復(fù)。實際運用中,差錯的隱藏通常不能靠一種方法來完成,而是使用各種技術(shù)的組合來優(yōu)化差錯隱藏。一般來說,在誤碼率低的情況下,用復(fù)雜的隱

33、藏方法,在誤碼率高的情況下,用簡單的隱藏方法,這樣就保證差錯隱藏運算開銷不至于太大。共五十七頁6.3.4 基于(jy)編解碼端交互的差錯控制1有條件的自動請求重傳（ARQ）這是一種簡單的交互式差錯控制,但會導(dǎo)致延時,可能(knng)對實時交互視頻通信產(chǎn)生較大影響。如果時延允許,可以采用ARQ,重傳損壞的信息,只要這些重傳數(shù)據(jù)在碼器使用之前到達,就能部分地消除差錯影響。在使用時,考慮到實時的需要,重傳的數(shù)據(jù)應(yīng)該是最重要的,且數(shù)據(jù)量相對較小,比如與LC編碼結(jié)合,只重傳基本層的數(shù)據(jù)。前文所述的差錯隱藏都是在編碼端或者解碼端單獨進行的。如果能建立反饋信道,則可以進行交互式的差錯隱藏,即編碼器根據(jù)解碼器

34、提供的反饋信息對編碼參數(shù)或編碼方法作相應(yīng)調(diào)整,使得解碼端的差錯隱藏實現(xiàn)更加容易、更加充分。共五十七頁2基于反饋信息的參考幀選擇RPS如果編碼器通過反饋了解到某個編碼幀n受到損壞,那么它就可以不使用n幀,而是用更前一幀(解碼器已正確接收)作為參考幀來編碼下一個p幀,這種方法稱為參考幀選擇。該方法要求編碼端和解碼端能緩存多個已編碼幀或解碼幀，它不會引入處理時延。因為對當前幀的編碼不需等待已編碼幀的信息,而是直接根據(jù)反饋信息利用受損幀的前一幀作為參考幀進行(jnxng)編碼。如果預(yù)測距離不是太遠并且沒有場景變換,使用RPS比直接使用I模式刷新編碼,效率更高。6.3.4 基于(jy)編解碼端交互的差錯

35、控制共五十七頁6.3.4 基于(jy)編解碼端交互的差錯控制3誤碼跟蹤 編碼器跟蹤第n幀中損壞的數(shù)據(jù)對其后的d幀的影響,并采用(ciyng)下列某種方法:(1)對第n+d幀中將用第n+d-1幀中損壞的像素進行預(yù)測編碼的塊,采用I模式編碼;(2)盡量避免用第n+d-1幀中的損壞塊預(yù)測第n+d幀;(3)對幀N+1到n+d-1進行與解碼器相同的錯誤隱藏,這樣編碼器中的參考幀在進行第n+d幀編碼時將與解碼器一致。通過這些處理,都能使解碼端從第n+d幀起完全從差錯中恢復(fù)過來。3種方法中,前兩種方法只要求編碼器跟蹤受損塊的位置,第三種方法要復(fù)雜一些。共五十七頁6.3.5 視頻(shpn)編碼標準中的差錯控

36、制機制A . AVMMS: 音頻/視頻多媒體業(yè)務(wù)B. NGN：未來網(wǎng)絡(luò)和下一代網(wǎng)絡(luò)不同(b tn)的建議分配的不同(b tn)字母的含義：G：有關(guān)數(shù)字傳輸系統(tǒng)和設(shè)備的建議H：是有關(guān)視聽及多媒體通信系統(tǒng)的建議補充：與多媒體通信相關(guān)的ITU-T建議共五十七頁補充(bchng)：與多媒體通信相關(guān)的ITU-T建議什么是H.263?H.263是國際電聯(lián)ITU-T的一個標準(biozhn)草案，是為低碼流通信而設(shè)計的。但實際上這個標準(biozhn)可用在很寬的碼流范圍，而非只用于低碼流應(yīng)用，它在許多應(yīng)用中可以認為被用于取代H.261。H.263的編碼算法與H.261一樣，但做了一些改善和改變，以提高性能

37、和糾錯能力。H.263標準在低碼率下能夠提供比H.261更好的圖像效果，兩者的區(qū)別有：(1)H.263的運動補償使用半象素精度，而H.261則用全象素精度和循環(huán)濾波；(2)數(shù)據(jù)流層次結(jié)構(gòu)的某些部分在H.263中是可選的，使得編解碼可以配置成更低的數(shù)據(jù)率或更好的糾錯能力；(3)H.263包含四個可協(xié)商的選項以改善性能；(4)H.263采用無限制的運動向量以及基于語法的算術(shù)編碼；(5)采用事先預(yù)測和與MPEG中的P-B幀一樣的幀預(yù)測方法；(6)H.263支持5種分辨率，即除了支持H.261中所支持的QCIF和CIF外，還支持SQCIF、4CIF和16CIF，SQCIF相當于QCIF一半的分辨率，而

38、4CIF和16CIF分別為CIF的4倍和16倍。H.263/H.264協(xié)議總結(jié)共五十七頁補充：與多媒體通信相關(guān)(xinggun)的ITU-T建議什么是H.264?JVT（Joint Video Team，視頻聯(lián)合工作組）于2001年12月在泰國Pattaya成立。它由ITU-T和ISO兩個國際標準化組織的有關(guān)視頻編碼的專家聯(lián)合組成(z chn)。JVT的工作目標是制定一個新的視頻編碼標準，以實現(xiàn)視頻的高壓縮比、高圖像質(zhì)量、良好的網(wǎng)絡(luò)適應(yīng)性等目標。目前JVT的工作已被ITU-T接納，新的視頻壓縮編碼標準稱為H.264標準，該標準也被ISO接納，稱為AVC（Advanced Video Codin

39、g）標準，是MPEG-4的第10部分。共五十七頁補充：與多媒體通信相關(guān)(xinggun)的ITU-T建議 H.264標準可分為三檔： 基本檔次（其簡單版本，應(yīng)用面廣）； 主要檔次（采用了多項提高圖像質(zhì)量和增加壓縮比的技術(shù)(jsh)措施，可用于SDTV、HDTV和DVD等）； 擴展檔次（可用于各種網(wǎng)絡(luò)的視頻流傳輸）。 H.264不僅比H.263和MPEG-4節(jié)約了50的碼率，而且對網(wǎng)絡(luò)傳輸具有更好的支持功能。它引入了面向IP包的編碼機制，有利于網(wǎng)絡(luò)中的分組傳輸，支持網(wǎng)絡(luò)中視頻的流媒體傳輸。H.264具有較強的抗誤碼特性，可適應(yīng)丟包率高、干擾嚴重的無線信道中的視頻傳輸。H.264支持不同網(wǎng)絡(luò)資源下的分級編碼傳輸，從而獲得平穩(wěn)的圖像質(zhì)量。H.264能適應(yīng)于不同網(wǎng)絡(luò)中的視頻傳輸，網(wǎng)絡(luò)親和性好。共五十七頁補充(bchng)：與多媒體通信相關(guān)的ITU-T建議H.264的特點(tdin) H.264和H.261、H.263一樣，也是采用DCT變換編碼加DPCM的差分編碼，即混合編碼結(jié)構(gòu)。同時，H.264在混合編碼的框架下引入了新的編碼方式，提高了編碼效率，更貼近實際應(yīng)用。 H.264沒有繁瑣的選項，而是力求簡潔的回歸基本，它具有比H.263+更好的壓縮性能，又具有適應(yīng)多種信道的能力。 H.264的應(yīng)用目標廣泛，可滿足各種不同速率、不同場合的視頻應(yīng)用，具有較好的抗誤碼和抗丟包的處理能力。 H.2