多媒體通信技術(shù)論文-2013

1、研究生多媒體通信技術(shù)課程報(bào)告題 目： 多媒體同步技術(shù) 學(xué) 號(hào) 姓 名 院（系、所） 一、 背景隨著網(wǎng)絡(luò)通信技術(shù)、巨容量存儲(chǔ)技術(shù)、計(jì)算機(jī)處理能力、用戶界面以及信息壓縮技術(shù)的發(fā)展和改進(jìn), 使得在用戶操作環(huán)境內(nèi)使用不同的媒體成為現(xiàn)實(shí).這些媒體可以組合在一起提供非常廣泛的應(yīng)用, 如教學(xué)、廣告、娛樂(lè)以及可視電話和會(huì)議電視等在多媒體系統(tǒng)中一個(gè)非常重要的環(huán)節(jié)是多媒體數(shù)據(jù)的表現(xiàn), 這是指將各種類型的媒體按照某種關(guān)系同時(shí)和或順序地表現(xiàn)出來(lái). 多媒體數(shù)據(jù)主要有3 種類型: 靜態(tài)、動(dòng)態(tài)和混型。靜態(tài)型是指以不同空間方位排列的文本和圖象組成的電子文件, 是與時(shí)間無(wú)關(guān)的媒體對(duì)象. 動(dòng)態(tài)型數(shù)據(jù)是指語(yǔ)音講解、視頻圖象或動(dòng)畫等

2、依賴于時(shí)間的媒體。混合型是由靜態(tài)和動(dòng)態(tài)類型數(shù)據(jù)構(gòu)成的復(fù)合表現(xiàn)形式。在多媒體應(yīng)用中, 為了加深對(duì)某一目標(biāo)對(duì)象的理解, 往往需要對(duì)某些媒體執(zhí)行諸如加速、減慢、重復(fù)或重新生成組合等交互性操作, 從而要求多媒體系統(tǒng)中不同媒體之間具有獨(dú)立性、共存性、集成性和交互性.另外, 各種媒體經(jīng)由不同傳輸路徑時(shí), 也會(huì)引起不同程度的延遲和誤差, 從而破壞了媒體間的協(xié)調(diào)性。多媒體對(duì)象的表現(xiàn)不僅包括靜態(tài)的( 即在某一時(shí)間段上表現(xiàn)保持不變) , 如以不同空間方位排列的文本、圖像或圖形, 而且包括動(dòng)態(tài)的即時(shí)變的表現(xiàn)類型, 如音頻和視頻, 動(dòng)態(tài)和靜態(tài)的復(fù)合, 如帶語(yǔ)音注解的文獻(xiàn). 這種復(fù)合表現(xiàn)形式在多媒體應(yīng)用環(huán)境中更普遍,

3、表現(xiàn)是多媒體信息系統(tǒng)的一個(gè)重要特征, 是需要一定時(shí)空的一次活動(dòng). 多媒體對(duì)象在整個(gè)表現(xiàn)過(guò)程中與時(shí)間有關(guān), 同時(shí)在每個(gè)表現(xiàn)點(diǎn)上又與空間相關(guān)。多媒體對(duì)象表現(xiàn)的基本思想是以時(shí)間為主線來(lái)安排活動(dòng)的開始、中斷、繼續(xù)、終止等操作, 僅在合成對(duì)象上附加各自的空間特性( 置、大小等) 。 可見(jiàn), 多媒體對(duì)象表現(xiàn)的關(guān)鍵是確定多媒體對(duì)象在時(shí)間上的順序, 即多媒體的時(shí)間同步。多媒體技術(shù)需要同時(shí)處理聲音、文字、圖像等多種媒體信息，在多媒體系統(tǒng)所處理的信息中，各個(gè)媒體都與時(shí)間有著或多或少的依從關(guān)系。系統(tǒng)中各媒體在不同的通信路徑上傳輸，將分別產(chǎn)生不同的延遲和損耗，造成媒體之間協(xié)同性的破壞，因此，媒體同步也是一個(gè)關(guān)鍵問(wèn)題。

4、多媒體系統(tǒng)中有一個(gè)核心系統(tǒng)（即多媒體操作系統(tǒng)）就是為了解決聲音、圖像、文字等多媒體信息的綜合處理，解決多媒體信息的時(shí)空同步問(wèn)題。二、 多媒體同步概念與要求我們一般的，稱維持一個(gè)或者多個(gè)的多媒體時(shí)間順序的過(guò)程為多媒體同步過(guò)程。多媒體通信的同步是在整個(gè)多媒體通信過(guò)程中的，而不僅僅是在多媒體顯示過(guò)程中才有的。多種媒體的相互關(guān)系可以總結(jié)為一下三種：內(nèi)容關(guān)系、空間關(guān)系、時(shí)間關(guān)系。多媒體同步主要是以上三種關(guān)系的確定。不難看出,在這3種同步關(guān)系中,時(shí)間關(guān)系是最重要的一種,在實(shí)際應(yīng)用中時(shí)間關(guān)系也是考慮得最多的一種關(guān)系。實(shí)際上,多媒體同步指的就是各類媒體在事件發(fā)生時(shí)間順序的確立。多媒體的同步類型可以分為三種：上

5、層同步，中層同步和底層同步。同步的要求主要是：多媒體通信同步、多媒體表現(xiàn)同步、多媒體交互同步、時(shí)延抖動(dòng)和時(shí)延。根據(jù)多媒體同步體系結(jié)構(gòu)中的不同層次的同步要求,在實(shí)現(xiàn)系統(tǒng)中表現(xiàn)為不同的多媒體同步。上層同步也稱為表現(xiàn)級(jí)同步或交互同步、應(yīng)用層同步，即用戶級(jí)同步。在這一級(jí)，用戶可以對(duì)各個(gè)媒體進(jìn)行編排，由此決定何種媒體何時(shí)以何種時(shí)空關(guān)系表現(xiàn)出來(lái)；中層同步是信息合成同步，即不同媒體類型的數(shù)據(jù)之間的合成，所以，合成同步又稱為“媒體之間的同步”。這層同步涉及到不同類型的媒體數(shù)據(jù)，側(cè)重于它們?cè)诤铣杀憩F(xiàn)時(shí)的時(shí)間關(guān)系的描述。媒體之間的同步，除了數(shù)據(jù)的開始點(diǎn)和結(jié)束點(diǎn)必須保證以外，從開始點(diǎn)到結(jié)束點(diǎn)的整個(gè)過(guò)程中均要求保持同

6、步；底層同步即系統(tǒng)同步，也稱為媒體內(nèi)部同步。該層同步是要完成合成同步所描述的各媒體對(duì)象內(nèi)數(shù)據(jù)流間的時(shí)序關(guān)系，要根據(jù)具體多媒體系統(tǒng)性能參數(shù)來(lái)進(jìn)行。三、 多媒體時(shí)間同步關(guān)系多媒體的同步就是指各個(gè)媒體間的發(fā)生時(shí)間順序的關(guān)聯(lián)問(wèn)題，這就不得不去面對(duì)一個(gè)時(shí)間的先后關(guān)系問(wèn)題。3.1 媒體間的時(shí)間順序關(guān)系圖3.1兩個(gè)對(duì)象中的關(guān)系媒體類型可以分為連續(xù)媒體和離散媒體。連續(xù)媒體就是在時(shí)間上是連續(xù)的占有一定的時(shí)間，并且媒體的每個(gè)單元的播放時(shí)間相同。離散媒體包括文字和靜態(tài)圖像等,它們不占有時(shí)間域,表現(xiàn)為顯示或不顯示兩種狀態(tài),它們不隨時(shí)間變化,但在具體應(yīng)用時(shí),同樣可以賦予時(shí)間特性。圖3.1表示的是兩種媒體對(duì)象中的典型的七

7、種時(shí)間關(guān)系，其他的時(shí)間關(guān)系都是由這其中關(guān)系直接或間接組合。主要關(guān)系：A在B之前無(wú)混疊；A在B之前有混疊A先結(jié)束；A和B同時(shí)發(fā)生但是A先結(jié)束；A和B同時(shí)發(fā)生同時(shí)結(jié)束；A剛完成，B接著發(fā)生；B先發(fā)生,A先結(jié)束；B先發(fā)生A和B同時(shí)結(jié)束。3.2 媒體間的時(shí)間同步媒體中的時(shí)間同步主要分為兩步：媒體對(duì)象的內(nèi)部同步和媒體對(duì)象間的同步。媒體對(duì)象內(nèi)部同步主要是指一種連續(xù)媒體各個(gè)單元之間的時(shí)間關(guān)系，比如視頻中圖像信號(hào)的發(fā)送，每個(gè)幀之間的時(shí)間關(guān)系，如圖3.2：圖3.2媒體對(duì)象間的同步指不同媒體對(duì)象之間的時(shí)間關(guān)系。如圖3.3描述的就是一種視頻（包括圖像、聲音）各個(gè)不同媒體對(duì)象間的關(guān)系。圖3.3從同步建立的時(shí)間來(lái)區(qū)分,

8、同步可以劃分為實(shí)時(shí)同步和綜合同步兩種。實(shí)時(shí)同步是指在動(dòng)態(tài)的過(guò)程中兩媒體間時(shí)刻要保持同步的關(guān)系狀態(tài)。所謂綜合同步是指將不同的信息(這些信息可能是離散的,也可能是連續(xù)的)按照人為給定的時(shí)間順序即同步關(guān)系進(jìn)行播放的過(guò)程。四、 多媒體同步模型4.1 層次同步模型層次同步模型主要由兩項(xiàng)基本操作構(gòu)成：串行同步和并行同步。層次模型的同步都是基于這兩種操作而言的。層次模型的特點(diǎn)是，并發(fā)的同步都是同時(shí)進(jìn)行的也是同時(shí)結(jié)束的，在現(xiàn)實(shí)中大部分都會(huì)不能達(dá)到這種要求，所以在層次模型中就引入了“延時(shí)”的概念。延時(shí)的對(duì)象可以解決串行同步中各個(gè)多媒體對(duì)象中不連續(xù)性，以及并行的同時(shí)開始同時(shí)結(jié)束的問(wèn)題。但是這種同步依然有無(wú)法描述的

9、情況。4.2時(shí)間間隔同步模型時(shí)間間隔同步模型考慮同步對(duì)象之間的時(shí)間延遲關(guān)系。兩個(gè)對(duì)象之間的時(shí)間關(guān)系有多種分類方法。在這種模型中,一個(gè)媒體對(duì)象播映所持續(xù)的時(shí)間稱為一個(gè)時(shí)間間隔。圖3.1表明的也是一種分類方法。在上述的七種關(guān)系基礎(chǔ)上，時(shí)間間隔模型又定義了10標(biāo)準(zhǔn)操作：四種一元操作（圖4.1），五種二元操作（圖4.2），一種三元操作（圖4.3）。一元操作：圖4.1二元操作：圖4.2三元操作：圖4.3時(shí)間間隔模型可以處理那些不能預(yù)測(cè)持續(xù)時(shí)間的情況,因此也可用于處理用戶交互操作,它對(duì)媒體對(duì)象的內(nèi)容做了一個(gè)很好的抽象。但該方法不能對(duì)偏移進(jìn)行描述,也不能對(duì)媒體對(duì)象子單元間的時(shí)間關(guān)系作直接描述。4.3 時(shí)序P

10、etri網(wǎng)模型時(shí)序Petri網(wǎng)(TimedPetriNetS)模型是由Petri網(wǎng)加上時(shí)間說(shuō)明擴(kuò)展而成的。這種同步關(guān)系模型易于集成時(shí)間獨(dú)立媒體對(duì)象和交互式對(duì)象,易于集成對(duì)偏移QOS的描述,但該方法對(duì)媒體對(duì)象內(nèi)容的抽象不好,媒體對(duì)象被分成了許多子對(duì)象,此外描述較為復(fù)雜。4.4 時(shí)間軸模型時(shí)間軸模型,所有的單個(gè)媒體對(duì)象都被放到一個(gè)代表真實(shí)的全局的時(shí)間軸上,各個(gè)對(duì)象互相獨(dú)立,刪除其中的某個(gè)對(duì)象不會(huì)影響到其他對(duì)象的同步,因而易于維護(hù)，如圖4.4所示。圖4.4 時(shí)間軸模型時(shí)間軸模型用途十分廣泛，很多系統(tǒng)都采用這種形式描述多媒體對(duì)象的同步關(guān)系。但由于同步是定義在固定的時(shí)間點(diǎn)上,因此當(dāng)對(duì)象包含有不能預(yù)測(cè)持續(xù)

11、時(shí)間的子單元時(shí),情況就會(huì)比較復(fù)雜,那么在實(shí)現(xiàn)時(shí)必須考慮以下問(wèn)題:(1)時(shí)間軸上的每個(gè)媒體單元必須保證時(shí)刻與時(shí)間軸同步,由此來(lái)保證它與其它對(duì)象之間的同步;(2)時(shí)間軸上的每個(gè)媒體單元的播放時(shí)間必須是已知的,不能出現(xiàn)媒體單元時(shí)間不可知的情況。五、 多媒體同步方法多媒體同步是多媒體通信技術(shù)中最關(guān)鍵的部分，所以國(guó)內(nèi)外有很多相關(guān)研究定義各種各樣的同步方法，在這里就不一一列舉，主要提出三類的同步方法。5.1 分層同步法在這種同步方法中,多媒體對(duì)象被看成一棵樹,而樹中的每個(gè)節(jié)點(diǎn)代表了分支的串行或并行表現(xiàn)。分層同步主要基于兩種同步操作:一種是串行同步動(dòng)作,另一種是并行同步動(dòng)作川。動(dòng)作可以是單一的也可以是復(fù)合的

12、,單一的動(dòng)作用來(lái)處理單個(gè)媒體對(duì)象的表現(xiàn),復(fù)合動(dòng)作是同步操作和單一動(dòng)作的結(jié)合。層次模型結(jié)構(gòu)清晰,在謀體對(duì)象合成后,便于更改,這有利于合成多媒體對(duì)象的編輯,正是由于其操作簡(jiǎn)單,使其得到了廣泛的應(yīng)用。然而,由分層結(jié)構(gòu)帶來(lái)的限制使得同步只能發(fā)生在起點(diǎn)和終點(diǎn)進(jìn)行同步,這就使得分層同步無(wú)法從媒體對(duì)象中進(jìn)行抽取,只能達(dá)到粗粒度的同步效果。這也決定了很多情況下無(wú)法用分層結(jié)構(gòu)來(lái)描述。5.2 時(shí)間軸同步法將所有獨(dú)立的對(duì)象都關(guān)聯(lián)到一個(gè)時(shí)間軸上進(jìn)行描述的方法稱之為時(shí)間軸同步法。去掉時(shí)間軸上的任何一個(gè)對(duì)象都不會(huì)影響其他對(duì)象的同步,這種同步方法需要維持一個(gè)整體時(shí)間,每個(gè)對(duì)象可以將整體時(shí)間映射到它的局部時(shí)間,并依據(jù)此局部時(shí)

13、間來(lái)表現(xiàn)。當(dāng)局部時(shí)間與整體時(shí)間的誤差超出一個(gè)指定限度時(shí),則需要重新與整體時(shí)間進(jìn)行比較并校準(zhǔn)。通過(guò)時(shí)間軸方法同步的對(duì)象可以較好地從單媒體對(duì)象和多媒體對(duì)象的內(nèi)部進(jìn)行抽取。然而,多媒體流之間的相關(guān)性使得基于整體時(shí)間的同步方法不能有效地表述不同流之間的同步情況。5.3 參考點(diǎn)同步法時(shí)間相關(guān)的媒體表現(xiàn)被認(rèn)為是一個(gè)具有固定時(shí)片表現(xiàn)的離散子單元序列。子單元在對(duì)象中的位置被稱為參考點(diǎn),參考點(diǎn)同步被定義為同時(shí)表現(xiàn)的兩個(gè)不同對(duì)象的子單元的關(guān)系。與基于時(shí)間軸的同步方法類似,基于參考點(diǎn)的同步可以在表現(xiàn)的任何時(shí)候?qū)崿F(xiàn)同步。但是,相對(duì)分層同步來(lái)說(shuō),基于參考點(diǎn)的同步還需要檢測(cè)媒體之間的不協(xié)調(diào),這就增加了操作的復(fù)雜性。另外,

14、單純的基于參考點(diǎn)同步不能實(shí)現(xiàn)多媒體表現(xiàn)中的延遲動(dòng)作?？偨Y(jié)起來(lái)基于參考點(diǎn)的媒體間同步法具有以下優(yōu)點(diǎn)：1) 動(dòng)態(tài)對(duì)象的表現(xiàn)可以在松散和緊密的復(fù)合同步之間進(jìn)行靈活選擇,從而使得這種方法比只使用一個(gè)絕對(duì)或虛擬的時(shí)間軸作為同步依據(jù)的方法更靈活:2) 在一些不可預(yù)測(cè)的表現(xiàn)情況下(如出現(xiàn)網(wǎng)絡(luò)阻塞的情況),該方法也能很好地處理對(duì)象之間的同步;3) 如果表現(xiàn)對(duì)象延遲了,則利用這種方法仍然能夠保持住同步點(diǎn);4) 通過(guò)改變動(dòng)態(tài)對(duì)象的表現(xiàn)周期,可以非常簡(jiǎn)單地實(shí)現(xiàn)快進(jìn)、回放以及減慢等操作,而且這些操作也不會(huì)影響同步點(diǎn)。六、 多媒體同步技術(shù)（集成語(yǔ)言SMIL）多媒體通信的關(guān)鍵問(wèn)題，是如何利用同步機(jī)制使兩個(gè)多媒體片段并行播

15、放（比如視頻配上同步的字幕和音頻）。SMIL就解決了這個(gè)問(wèn)題。SMIL是同步多媒體集成語(yǔ)言（Synchronized Multimedia Integration Language）的縮寫，念做smile.它是由W3C(World Wide Web Consortium)組織規(guī)定的多媒體操縱語(yǔ)言。SMIL與我們網(wǎng)頁(yè)上用的HTML的語(yǔ)法格式非常相似。后者主要針對(duì)普通的網(wǎng)絡(luò)媒體文件進(jìn)行操縱（文字、圖片、聲音、動(dòng)畫、視頻的機(jī)械堆砌），而前者則操縱多媒體片斷（對(duì)多媒體片斷的有機(jī)的、智能的組合）。SMIL語(yǔ)言特點(diǎn)：(1) 避免使用統(tǒng)一的包容文件格式 因?yàn)槲覀兊亩嗝襟w文件的格式的時(shí)非常多的，例如：像聲音就

16、有*.mp3、*.wav、*.ra等等；視頻的格式更是多的出奇：*.mpg、*.avi、*.mov、*.rm等等；圖片的格式就更加不用說(shuō)了。J 如果我們想在本地機(jī)器上直接播放或者在網(wǎng)絡(luò)上用流式播放的方式來(lái)播放若干個(gè)文件。當(dāng)然我們希望的是不要總讓我們自己打開文件。而是，在上一個(gè)文件播放完成以后，就播放下一個(gè)。播放列表是個(gè)辦法。但是，如果格式不一樣，并且要求多個(gè)片斷同時(shí)播放（例如：顯示圖片的同時(shí)，有解說(shuō)的聲音。圖片和聲音是兩個(gè)文件），那么以前唯一可行的辦法就是用對(duì)媒體的編輯軟件把這些多媒體文件整合成一個(gè)文件。這就必須統(tǒng)一使用某種文件格式。如果我們用SMIL來(lái)組織這些多媒體文件，那么可以在不對(duì)源文件

17、進(jìn)行任何修改的情形下，獲得我們想要的效果（從這里來(lái)看，SMIL好像是穿珍珠項(xiàng)鏈用的金絲線，只是把它們穿起來(lái)組成一個(gè)整體，而不會(huì)破會(huì)它們）。（2）同時(shí)播放在不同地方（服務(wù)器上）的多媒體片斷 如果上面第一點(diǎn)你還可以用其他的辦法做到，那么這一條恐怕你就沒(méi)轍了。考慮這樣一個(gè)實(shí)際問(wèn)題：假如我們現(xiàn)在想把一段電視采訪的實(shí)況（視頻文件）加上解說(shuō)（包括聲音解說(shuō)（音頻文件）和文字解說(shuō)）。姑且假定例子中的視頻文件是甲服務(wù)器上的A文件，音頻文件是乙服務(wù)器上的B文件，而解說(shuō)文字卻是丙服務(wù)器上的C文件。傳統(tǒng)的方法在這里就束手無(wú)策了，而SMIL可以非常輕松的做到這一點(diǎn)。 （3）時(shí)間控制 如果我們不想用整個(gè)視頻文件，而只想用

18、其中的某一部分。傳統(tǒng)的方法中唯一可行的就是用剪輯軟件來(lái)剪輯。費(fèi)時(shí)費(fèi)力不說(shuō)，弄不好就弄巧成拙，把想要的給剪掉了！而SMIL完成這件事真的是易如反掌！看這樣一個(gè)例子：設(shè)視頻文件A的時(shí)間長(zhǎng)度是10秒，我們要用的是25秒，其他部分我們不想要，只要用SMIL規(guī)定：在該視頻文件A的第二秒開始播放，播放到第五秒結(jié)束就可以了。 時(shí)間控制的另外的部分是動(dòng)畫和轉(zhuǎn)場(chǎng)效果。如果上面的時(shí)間控制是絲綢，那么這個(gè)就是在它上面的雙面刺繡！后面我們將要詳細(xì)討論這個(gè)問(wèn)題。（4）對(duì)整個(gè)演示進(jìn)行布局 我們把上面提到的那個(gè)例子拿來(lái)說(shuō)明這個(gè)問(wèn)題：由于我們有視頻、有文字我們希望什么樣的布局呢？一般的情形下在一個(gè)區(qū)域(屏幕的上部)播放視頻，

19、在另一個(gè)區(qū)域顯示文字（屏幕的底部）。當(dāng)然，如果你認(rèn)為在視頻上面顯示文字效果更好的話，那也是可以的。用SMIL實(shí)現(xiàn)這樣的效果異常容易！ （5）多語(yǔ)言選擇支持 分析這樣一個(gè)實(shí)際例子：我們要為某種產(chǎn)品作宣傳，其宣傳對(duì)象是多個(gè)國(guó)家的人，有英語(yǔ)國(guó)家的、有法語(yǔ)國(guó)家的、有德語(yǔ)國(guó)家的等等。當(dāng)然最主要是講中文的國(guó)家的人（我是中國(guó)人！）。如果我們想要所有的人都可以聽懂、看懂我們的介紹，那么我們就的準(zhǔn)備不同語(yǔ)言版本的媒體文件。傳統(tǒng)的方法是讓用戶來(lái)選擇，然后從服務(wù)器上下載相應(yīng)的版本。麻煩就不用講了。萬(wàn)一我們的選擇老外都看不懂(有時(shí)候，我到德文、日文、朝鮮文的站點(diǎn)上，就不知道他們講些什么東西L),這怎么辦？如果把他們用

20、SMIL來(lái)組織起來(lái)、規(guī)定好，那么SMIL語(yǔ)言將根據(jù)具體的語(yǔ)言設(shè)置來(lái)播放相應(yīng)版本的演示。就是方便！ （6）多帶寬選擇支持 由于各個(gè)用戶連接到Internet的方式不盡相同，所以其連接的速度差別也較大。為了讓他們都能夠看到我們的演示，我們可以制作適應(yīng)不同傳輸速度的演示。在傳統(tǒng)的方法中，往往要用戶自己選擇他的機(jī)器連接所對(duì)應(yīng)的傳輸速度，然后播放相應(yīng)得演示文件。這確實(shí)解決了一些問(wèn)題。實(shí)際上，并不是所有的用戶都知道自己的連接速度，就是知道了，還得選擇不也是非常麻煩嗎？L SMIL解決這個(gè)問(wèn)題如同吹灰！播放器檢測(cè)出用戶的連接速度后，就同服務(wù)器“協(xié)商”，要求傳輸并播放相應(yīng)的演示文件。方便乎？這也就是流技術(shù)中常常說(shuō)的智能流（Surestream）中的一種.。SMIL最大的問(wèn)題就是帶寬問(wèn)題。在internet上傳輸多媒體，就必須需要精確的同步，在通常情況下,一個(gè)瀏覽器僅僅下載流媒體文件的一部分,并且當(dāng)文件播放時(shí)下載過(guò)程仍在繼