第六章-多媒體的時間表示與同步

第六章多媒體的時間表示與同步

6.1多媒體同步的基本概念

6.1.1同步的基本概念1．多媒體數(shù)據(jù)的特點：（1） 復(fù)合信息的實體；（2） 在計算機的控制之下合成的形成過程（3） 數(shù)字化的方式表示、存儲、傳輸和處理的（描述多媒體數(shù)據(jù)的關(guān)鍵之一）（4） 這種復(fù)合的多媒體數(shù)據(jù)體中至少包含著一種非實時數(shù)據(jù)和一種實時數(shù)據(jù)實時媒體數(shù)據(jù)：有著嚴(yán)格時間關(guān)系的音頻、視頻等類型的數(shù)據(jù)（又稱為連續(xù)媒體數(shù)據(jù)）非實時媒體數(shù)據(jù)（離散媒體數(shù)據(jù)或靜態(tài)媒體數(shù)據(jù)）：其它類型的數(shù)據(jù)。2．媒體數(shù)據(jù)的成份：同步的過程與時間有密切的關(guān)系，大多數(shù)同步都建立在時間的基礎(chǔ)上。獲取數(shù)據(jù)和合成數(shù)據(jù)：隨著語音合成技術(shù)、OCR等技術(shù)的應(yīng)用，劃分的界線越來越模糊基于時間的媒體（Time-basedMedia，時基媒體）或時間依賴媒體（Time-dependent）：媒體與時間有著強烈的依賴關(guān)系，在采樣、傳輸和回放表現(xiàn)時更需要以時間為參照系進行有序的組織time-dependent（mediastream）&time-independentmediaobjects（anykindoftraditionalmedialiketextandimages）時間敏感性生成方式連續(xù)媒體（敏感）靜態(tài)媒體（不敏感）獲?。ㄔ醋袁F(xiàn)實世界）聲音、視頻信號靜止圖像合成（由計算機完成）動畫文本、圖形3.多媒體同步或合成（Orchestration）：組織時基的、非時基的多種媒體序列通過傳輸、合成并達到某種表現(xiàn)效果。同步：與統(tǒng)一的時間基準(zhǔn)（時鐘）相關(guān)聯(lián)的概念。媒體同步：由多媒體數(shù)據(jù)所具有的獨特特征而引發(fā)出的問題Synchronizationinmultimediasystemsreferstothetemporalrelationbetweenmediaobjectsinthemultimediasystem.UseSynchronizationinmultimediasystemsascomprisingcontent,spatialandtemporalrelationsbetweenmediaobjects.

內(nèi)容：媒體對象之間的相關(guān)性4．MultimediaSystems（1）Threecriteriafortheclassificationofamultimediasystemcanbedistinguished:thenumberofmedia,thetypesofsupportedmediaandthedegreeofmediaintegration.（2）Combiningallthreecriteria,weproposethefollowingdefinitionofamultimediasystem：asystemorapplicationthatsupportstheintegratedprocessingofseveralmediatypeswithatleastonetime-dependentmedium.（3）classificationofmediauseinmultimediasystemsFigureclassifiesapplicationsaccordingtothethreecriteria.Thearrowsindicatetheincreasingdegreeofmultimediacapabilityforeachcriterion.

6.1.2同步的種類

1．多媒體數(shù)據(jù)內(nèi)部約束關(guān)系：多媒體數(shù)據(jù)所包含的各種媒體對象之間存在著多種相互制約的關(guān)系Theinherentdependenciesbetweentheinformationcodedinthemediaobjectsmustbereflectedintheintegratedprocessingincludingstorage,manipulation,communication,capturingand,inparticalar,thepresentationofthemediaobjects.（1）基于內(nèi)容的約束關(guān)系：在用不同的媒體對象代表同一內(nèi)容的不同表現(xiàn)形式時，內(nèi)容與表現(xiàn)形式之間所具有的約束關(guān)系。（Contentrelationsdefineadependencyofmediaobjectsfromsomedata.)

多媒體系統(tǒng)需要解決的主要問題：在多媒體數(shù)據(jù)更新過程中確保不同媒體對象所含信息的一致性解決辦法：定義原始數(shù)據(jù)和不同類型媒體之間的轉(zhuǎn)換原則，并由系統(tǒng)完成對多媒體文檔內(nèi)容的調(diào)整（2） 空域約束關(guān)系/布局關(guān)系(spatialrelations&layoutrelationships）：在多媒體數(shù)據(jù)顯示過程中的某一時刻，不同媒體對象在輸出設(shè)備上的空間位置關(guān)系。結(jié)構(gòu)化文檔生成系統(tǒng)中需要解決的首要問題ODA(OfficeDocumentArchitecture)：定義結(jié)構(gòu)化文檔的國際標(biāo)準(zhǔn)，后更名為開放性文檔結(jié)構(gòu)采用樹狀模型對ODA定義的邏輯文檔結(jié)構(gòu)和布局文檔結(jié)構(gòu)進行了層次化描述根復(fù)合布局結(jié)構(gòu)單元復(fù)合布局結(jié)構(gòu)單元復(fù)合布局結(jié)構(gòu)單元復(fù)合布局結(jié)構(gòu)單元葉子：文檔內(nèi)容，屬性表明數(shù)據(jù)的媒體類型邏輯結(jié)構(gòu)：內(nèi)容的組織方式布局結(jié)構(gòu)：各數(shù)據(jù)之間的空域關(guān)系圖ODA的布局文檔結(jié)構(gòu)（映射關(guān)系、基本布局對象和復(fù)合布局對象）（3） 時域約束關(guān)系：媒體對象在時間上的相對依賴關(guān)系Temporalrelationsdefinethetemporaldependenciesbetweenmediaobjects.（4） 總結(jié)：時閾特征是最重要的一種，是多媒體數(shù)據(jù)語義的重要組成部分。

Contentandspatialrelationsarewell-knownfrompublishingandintegratedapplicationsystemswithdatabases,spreadsheets,graphicaltoolsandwordprocessingsystems.Thekeyaspectinmultimediasystemsisthetemporalralationderivedfromtheintegrationoftime-dependentmediaobjects.2．Time-dependentPresentationUnits

連續(xù)數(shù)據(jù)可以看成是由LDU構(gòu)成的時間序列（或稱為流）

（1）Time-dependentmediaobjectsusuallyconsistofasequenceofinformationunits.SuchinformationunitsareknownasLogicalDataUnits(LDUs)（2）Therearetwokindsofhierarchies.Thefirstisacontenthierarchythatisimpliedbythecontentofthemediaobject.ThesecondisthecodinghierarchybasedonthedataencodingtheLDUhierarchy（3）ClosedLDUshaveapredictableduration.ExamplesareLDUsthatarepartsofstoredmediaobjectsofcontinuousmedialikeaudioandvideo,orstoredmediaobjectswithafixedduration.ThedurationofopenLDUsisnotpredictablebeforetheexecutionofthepresentation.OpenLDUstypicallyrepresentinputfromalivesource,forexample,acameraoramicrophone,ormediaobjectsthatincludeauserinteraction.(4)LDU的劃分:由具體的應(yīng)用、編碼方式、數(shù)據(jù)的存儲方式和傳輸方式等因素決定。圖H.261碼流中的LDU的不同劃分3.ClassificationofLogicalDataUnits

(1)Fordigitalvideo,oftentheframesareselectedasLDUs.

(2)Inthecaseofthebasicphysicalunitbeingtoosmalltohandle,oftenLDUsareselectedthatblockthesamplesintounitsofafixedduration.FigureExampleofaudioLDUs

FigureExampleofvideoLDUs

LDUsareformedcomprising512samples,onesampleiscodedwithoneByte,andhence,eachblockcontains512Bytes.(3)Incomputer-generatedmediaobjects,thedurationofLDUsmaybeselectedbytheuser.

User-definedLDUdurationistheframesofananimationsequence.Forthepresentationofatwo-secondanimationsequence,30to60picturesmaybegenerateddependingonthenecessaryquality.ThustheLDUdurationdependsontheselectedpicturerate.(4)StreamsaremorecomplexwhentheLDUsvaryinduration.Figue

LDUsofvaryingdurationAnexampleistherecordingofeventsatagraphicaluserinterfacetoreplayauserinteraction.Inthiscase,anLDUisaneventwithadurationlastinguntilthenextevent.ThedurationofLDUsdependsontheuserinteractionanvariesaccordingly.(5)OpenLDUsofunpredictabledurationaregiveninthecasethattheLDUhasnoinherentduration.AnexampleofanopenLDUisauserinteractioninwhichthedurationoftheinteractionisnotknowninadvance.Figure AnopenLDUrepresentingauserinteraction

(6)TimerscanberegardedasstreamsofemptyLDUswithfixedduration.FigureLDUsofatimer.

LDUDurationDefinedDuringCapturingLDUDurationDefinedbytheUserFixedLDUDurationAudio,VideoAnimation,TimerVariable,UnknownLDUDurationRecordedInteractionUserInteraction(7)Table5.1givesanoverviewofthetypesofLDUsdiscussedabove.4．同步的種類媒體對象之間的時域約束關(guān)系按照確立這種關(guān)系的時間來區(qū)分

Theliveandsyntheticsynchronizationdistinctionreferstothetypeofthedeterminationoftemporalrelations（1）應(yīng)用同步（表現(xiàn)同步/交互同步）：從用戶應(yīng)用的角度出發(fā)而進行的同步，重點在于表現(xiàn)與交互。綜合同步：在分別獲取不同的信息之后，在人為指定的同步關(guān)系。Thetemporalrelationsareartificiallyspecified.

Thesyntheticsynchronizationisoftenusedinpresentationandretrieval-basedsystemswithstoreddataobjectsthatarearrangedtoprovidenewcombinedmultimediaobjects.Insynchronization,twophasescanbedistinguished:Inthespecificationphase,temporalrelationsbetweenthemediaobjectsaredefined.Inthepresentationphase,arun-timesystempresentsdatainasynchronizedmode.（2）現(xiàn)場同步（媒體間的同步）：表現(xiàn)出同一個應(yīng)用中數(shù)據(jù)源方與表現(xiàn)方之間存在的實際同步關(guān)系，也既端–端之間的同步關(guān)系。在信息獲取過程中建立的同步關(guān)系Thegoalofthelivesynchronizationistoexactlyreproduceatapresentationthetemporalrelationsastheyexistedduringthecapturingprocess.Atypicalapplicationoflivesynchronizationisconversationalservices.(Reproduceatthesinkthesignalsinthesamewayastheyappearedatthesource.)FigureLivesynchronizationwithoutintermediatelong-termstorage.FigureLivesynchronizationwithintermediatelong-termstorageanddelayedpresentation.Thecapturingandpresentationaredecoupled.Itispossibletomanipulatethepresentationofthemedia.Thepresentationspeedmaybechanged,andrandomaccessispossible.Theprimarydemandoflivesynchronizationistopresentdataaccordingtothetemporalrelationswhichexistedduringthecapturingprocessofthemediaobjects.Lipsynchronizationdemandstightcouplingofaudioandvideostreams.Synchronizaitoncanbespecifiedbydefiningamaximalskewbetweenthetwomediastreams總結(jié)Inthecaseoflivesynchronization,thesynchronizationspecificationisimplicitlydefinedduringcapturing.Inthecaseofsyntheticsynchronization,thespecificationisdoneexplicitly.Userinteractioninlivesynchronizationincludesonlytheinteractionduringcapturing.Syntheticsynchronizationcanincludeuserinteractions,forexample,fornavigation.FigureLDUviewoflipsynchronization.（3）合成同步（媒體之間的同步）：涉及到不同類型的媒體數(shù)據(jù)，側(cè)重于它們在合成表現(xiàn)時的時間關(guān)系的描述。Inter-objectSynchronizationreferstothesynchronizationbetweenmediaobjects.FigureInter-objectSynchronizationexamplethatshowstemporalrelationsinamultimediapresentationincludingaudio,video,animationandpictureobjects.（4）系統(tǒng)同步（媒體內(nèi)部的同步）：“系統(tǒng)”指的是該層同步如何根據(jù)各種輸入媒體對應(yīng)的實際硬件系統(tǒng)（設(shè)備）的性能參數(shù)來協(xié)調(diào)實現(xiàn)其上層合成同步所描述的各對象間的時序關(guān)系。Intra--objectSynchronizationreferstothetimeralationbetweenvariouspresentationunitsofonetime-dependentmediaobject.FigureIntra--objectSynchronizationbetweenframesofavideosequenceshowingajumpingball.5．多媒體數(shù)據(jù)的構(gòu)成：

（1） 主體部分是不同媒體的數(shù)據(jù)，包含所要表達的信息內(nèi)容—構(gòu)成多媒體數(shù)據(jù)的成份數(shù)據(jù)（2）成份數(shù)據(jù)之間的約束關(guān)系（同步關(guān)系）—同步規(guī)范（SynchronizationSpecifications）。在存儲和傳輸成份數(shù)據(jù)時，必須同時存儲和傳輸它們之間的同步關(guān)系。處理數(shù)據(jù)時要維持同步關(guān)系。（3）僅考慮時域同步關(guān)系時，時域同步規(guī)范由兩部分構(gòu)成：同步描述數(shù)據(jù)：媒體內(nèi)部和媒體之間的時間約束關(guān)系同步容限：約束關(guān)系所允許的偏差范圍6．多媒體同步所研究的主要問題：如何表示多媒體數(shù)據(jù)的時域特征在處理多媒體數(shù)據(jù)的過程中，如何維持時域特征。（同步機制）6.1.3 同步的分層服務(wù)模型四層模型的提出思路：通過層次化分析理解各種相關(guān)因素，找出能夠滿足要求的解決方法意義：規(guī)定了同步機制所應(yīng)有的層次以及各層所應(yīng)完成的任務(wù)，對于多媒體的應(yīng)用來說，同步是建立在不同的分層的基礎(chǔ)上的。不同層次的同步依據(jù)不同的接口機制來保證2．媒體層：針對的是單獨的媒體數(shù)據(jù)流，屬于物理層的同步，其同步的基礎(chǔ)是數(shù)據(jù)流中的一個個基本邏輯數(shù)據(jù)單元，通過對這些邏輯數(shù)據(jù)單元的操縱來保證媒體在時間上的準(zhǔn)確（1）處理對象：連續(xù)碼流的LDU（2）接口任務(wù)：向上提供與設(shè)備無關(guān)的讀、寫操作申請必要的資源（CPU時間、通信帶寬、緩沖區(qū)）和系統(tǒng)服務(wù)（服務(wù)質(zhì)量保障服務(wù)），為該層各項功能的實施提供支持訪問各類設(shè)備的接口函數(shù)，獲取或提交一個完整的LDU當(dāng)一個多媒體應(yīng)用訪問該層時，同步控制全部由應(yīng)用本身完成（媒體層是同步機制與底層服務(wù)系統(tǒng)之間的接口，其內(nèi)部不包含任何同步控制操作）

3．流層：屬于服務(wù)層，也是媒體內(nèi)的同步，其面對的是多個媒體數(shù)據(jù)流。處理的是多流之間的同步，以保證多個數(shù)據(jù)流在傳輸和表現(xiàn)過程中能夠?qū)崿F(xiàn)并行和同步。（1）處理對象：連續(xù)碼流或碼流組（2）接口任務(wù)：向用戶提供（開始、結(jié)束、創(chuàng)建組）功能函數(shù)根據(jù)同步容限決定LDU的大小以及對各LDU的處理方案向媒體層提交必要的QoS要求（媒體層處理LDU的條件，最大延時及延時抖動范圍等）流內(nèi)同步和流間同步（在執(zhí)行LDU處理方案的過程中，將對象內(nèi)的偏差和對象間的偏差保持在許可范圍之內(nèi)，既實施流內(nèi)與流間的同步控制）流內(nèi)同步和流間同步是多媒體同步的關(guān)鍵（4）當(dāng)一個多媒體應(yīng)用直接使用流層的各接口功能時，連續(xù)數(shù)據(jù)和非連續(xù)數(shù)據(jù)之間的同步控制由應(yīng)用本身完成。4．對象層：針對多媒體演示過程之中的各個多媒體對象的同步。通過相應(yīng)的時間同步方案，保證各個多媒體對象能夠按照規(guī)定的次序出現(xiàn)，并且能夠響應(yīng)用戶的輸入事件。（1）處理對象：對不同類型的媒體對象進行統(tǒng)一處理（2）接口任務(wù)：提供以一個完整多媒體對象為參數(shù)的功能函數(shù)實現(xiàn)連續(xù)媒體和非連續(xù)媒體對象之間的同步，并完成對非連續(xù)媒體對象的處理，同流層相比，該層同步控制精度較低根據(jù)規(guī)范層提供的同步描述數(shù)據(jù)，推導(dǎo)調(diào)度方案,同時還要考慮各媒體對象的統(tǒng)計特征：數(shù)據(jù)量最大最小碼率、同步容限從媒體層了解底層服務(wù)系統(tǒng)現(xiàn)有資源情況必要的初始化工作（4）當(dāng)一個多媒體應(yīng)用直接使用對象層的功能時，其內(nèi)部無需完成同步控制操作5．規(guī)范層/描述層：包括應(yīng)用程序和創(chuàng)建同步規(guī)范的工具解決多媒體表現(xiàn)中各場景的安排與對象同步的描述,是作者與系統(tǒng)的接口Thislayercontainsapplicationsandtoolsthatallowtocreatesynchronizationspecificationsandforconvertingspecificationstoanobjectlayerformat.Itisanopenlayer.Itdoesnotofferanexplicitinterface.BeresponsibleformappingQoSrequirementsoftheuserleveltothequalitiesofferedattheobjectlayerinterface.Synchronizationspecificationmethodscanbeclassifiedintothefollowingmaincategories:Interval-basedspecifications,whichallowthespecificationoftemporalrelationsbetweenthetimeintervalsofthepresentationsofmediaobjectsAxes-basedspecification,whichrelatepresentationeventstoaxesthataresharedbytheobjectsofthepresentationControlflow-basedspecifications,inwhichatgivessynchronizationpoints,theflowofthepresentationsissynchronizedEvent-basedspecification,inwhicheventsinthepresentationofmediatriggerpresentationactions.6.2時間模型

6.2.1時間依賴的定義多媒體三個層次物理層：低層的時間關(guān)系服務(wù)層：應(yīng)用媒體之間的時間關(guān)系人機接口層：用戶的隨機交互過程，瀏覽…（與時間有關(guān)，延遲不定）根據(jù)各種媒體及其表現(xiàn)特性確定時間的依賴關(guān)系Static靜態(tài)的－沒有時間依賴Discrete離散的－單一元素Transient短暫的－一時的Natural或Implied自然/蘊含的－真實世界中的時間依賴Synthetic綜合的、合成的－人工產(chǎn)生的時間依賴Continuous連續(xù)的－在時間上連續(xù)Persistant持續(xù)的－在數(shù)據(jù)庫中維持的6.2.2時間的概念模型

6.2.2.1時域場景和時域定義方案1．在表示時域特征的過程中所要完成的具體任務(wù)：對多媒體數(shù)據(jù)的時域特征進行抽象、描述以及給出必要的同步容限。抽象：忽略與時域特征不相干的細節(jié)，概括時域場景的過程時域事件：與多媒體數(shù)據(jù)在時域中發(fā)生的某個行為相對應(yīng)，可以是瞬時完成，也可是持續(xù)一段時間的。一個時域場景由若干個時域事件構(gòu)成數(shù)據(jù)對象分類：應(yīng)用生命周期：持續(xù)對象－存在于整個應(yīng)用周期非持續(xù)對象－動態(tài)建立并且用后丟棄表現(xiàn)：靜態(tài)對象－長期存在短暫對象－出現(xiàn)很短，不需操縱數(shù)據(jù)采集：自然：真實時間－記錄時間關(guān)系，存儲人工：綜合時間關(guān)系（合成）實況：不能進行時間操作2．確定性時域事件和非確定性時域事件確定性和非確定性時域場景：（a）不含任何非確定性時域事件（b）P和r需在具體播放過程中確定圖

確定性和非確定性時域場景3．將多媒體對象抽象為一個時域場景后，需利用時間模型對場景加以描述時域模型：一種數(shù)據(jù)模型，由若干基本部件及部件的使用規(guī)則構(gòu)成，時域場景建模的依據(jù)同步描述數(shù)據(jù)：建模的結(jié)果通過某種形式話語言轉(zhuǎn)化為形式化描述時域定義方案（TemporalSpecificationScheme）：時間模型及相應(yīng)的形式化語言的合成4．同步容限：用戶和同步機制之間，在應(yīng)當(dāng)以何種準(zhǔn)確程度來維持時域特征方面所達成的一種約定。同步描述數(shù)據(jù)和同步容限構(gòu)成了計算機系統(tǒng)內(nèi)部對多媒體數(shù)據(jù)時域特征的表示圖多媒體對象時域特征的表示過程5．在對同一時域場景進行描述，采用不同的時間模型，得到不同的同步描述數(shù)據(jù)時間模型1：針對事件發(fā)生的時刻時間模型2：針對事件發(fā)生的相對時刻時間模型3：針對事件對應(yīng)的時間間隔從不同的角度表示同一時域場景，得到不同的同步描述數(shù)據(jù)都能如實全面的反映該場景的時域特征，是等效的根據(jù)所需處理多媒體數(shù)據(jù)的特點和應(yīng)用的需要選擇時間模型圖一個時域場景6．時域參考框架：研究多媒體同步的基礎(chǔ)多媒體場景：對多媒體數(shù)據(jù)時、空等方面特征抽象的結(jié)果，反映多媒體數(shù)據(jù)在這些方面的語義，時域場景是其重要組成部分，時域定義方案處理對象時域定義方案：是在計算機系統(tǒng)內(nèi)為時域場景建模并對建模結(jié)果進行形式化描述的方法，由時間模型（語義部分）和形式語言（語法部分）兩部分構(gòu)成；通過其將時域場景轉(zhuǎn)化為同步描述數(shù)據(jù)（同步機制處理的對象）同步機制：是一種服務(wù)過程，能夠了解同步描述數(shù)據(jù)所定義的時域特征，并根據(jù)用戶所要求的同步容限，完成對該特征的維護定義時域參考框架的意義，組成部分及相互之間的關(guān)系6.2.2.2描述時域特征的時間模型

1.時間模型的構(gòu)成：（1） 基本時間單位：表示時域場景中的事件時刻：持續(xù)時間為零的瞬間；時間點:瞬時，時間的零長度運動間隔：有一定的持續(xù)時間；時間段:兩個時間點之間的區(qū)間(2)關(guān)聯(lián)信息：反映時域事件的組織方式定量關(guān)聯(lián)信息：場景中的各時域事件相互獨立，單獨描述各時域事件在場景中的位置，間接反映事件間的關(guān)系定性關(guān)聯(lián)信息：場景中的各時域事件彼此相關(guān)，對時域事件約束關(guān)系的描述次序信息：對各時域事件發(fā)生次序的描述，可分為全排序和部分排序信息對事件間時域關(guān)系描述的定性關(guān)聯(lián)信息兩個時刻之間的基本時域關(guān)系：對確定性時域場景任意兩時刻之間僅存在一種關(guān)系兩個間隔之間的基本時域關(guān)系：對確定性時域場景任意兩間隔之間僅存在一種關(guān)系時間關(guān)系有十三種：before,starts,meets,overlaps,during,finishes,equals圖6.5音頻、視頻及非連續(xù)性媒體的時態(tài)區(qū)間表示

用meets和equals時間關(guān)系表示同步的例非確定性時域關(guān)系：用于表示非確定性時域場景的特征—用基本時域關(guān)系的析取模式（Disjunctivenormalform）表示，不能明確描述的時域關(guān)系寬度關(guān)系：反映兩個時間間隔在時間長度上的關(guān)系（shorter&longer）連續(xù)媒體：meets區(qū)間在時間上是鄰接的不會重疊非連續(xù)媒體：before，先后關(guān)系（3） 時間表示技術(shù)：時間模型依照關(guān)聯(lián)信息定義場景中各事件與時間軸之間對應(yīng)關(guān)系的方法定期方案：根據(jù)定量關(guān)聯(lián)信息（可以是準(zhǔn)確時刻也可是時間間隔）定義場景中各事件與時間之間的對應(yīng)關(guān)系偽定期方案：根據(jù)次序信息（定性關(guān)聯(lián)信息，全排序或部分排序）定義約束傳播方案：根據(jù)時域關(guān)系等定性關(guān)聯(lián)信息定義寬度方案：根據(jù)事件的持續(xù)時間以及次序信息來定義（類似于偽定期方案）2.時間模型的分類：（1） 定量定期型：時刻、定量關(guān)聯(lián)信息、定期方案；時間軸模型：各個媒體對象向時間軸投影，將時域場景的特征記錄下來

優(yōu)點：降低了維護同步描述數(shù)據(jù)的復(fù)雜度缺點：定量關(guān)聯(lián)信息包含事件發(fā)生的準(zhǔn)確時間,難于用來表示非確定性事件（2） 定性定期型：時刻、定性關(guān)聯(lián)信息（次序信息）、偽定期方案；虛軸模型：關(guān)聯(lián)信息包含非確定性時域事件的全排序信息，時間軸模型的擴展特點：模型簡單、同步描述數(shù)據(jù)易于維護，較強的表示非確定性時域場景的能力；同步描述數(shù)據(jù)較復(fù)雜，維護難度略高引入多條時間軸：時域場景中的確定性事件映射到物理時間軸上，物理計時單位；非確定性事件利用偽定期方案映射到邏輯時間軸上，邏輯計時單位（事件發(fā)生次序的編號）（3）定性時刻型：時刻、定性關(guān)聯(lián)信息（時刻間的時域關(guān)系，也包含定量關(guān)聯(lián)信息）、約束傳播方案螢燭（firefly）模型：利用一定的時間參數(shù)對時刻之間的時域關(guān)系做進一步限定，描述事件之間固定的關(guān)聯(lián)關(guān)系不提供時間參數(shù)或提供時間區(qū)間定義時刻間不完全確定的時域關(guān)系，以描述非確定性時域場景在兩個層次上完成對時域場景的描述媒體級：虛軸模型文檔級：定性時刻時間模型特點：同步描述數(shù)據(jù)復(fù)雜，不宜維護；有利于同步機制實施同步控制（4） 定性間隔型：間隔、定性關(guān)聯(lián)信息（間隔間的時域關(guān)系，包含定量）、約束傳播方案OCPN模型：ObjectCompositionPetriNet；不具備表示非確定性時域場景的能力（定性關(guān)聯(lián)信息是對兩個間隔之間基本時域關(guān)系的描述）TIB模型：TemporalInterval-BasedModel；具備表示非確定性時域場景的能力（還包括間隔之間非確定性時域關(guān)系的定義）（5） 定量間隔型：間隔、定量信息（間隔寬度）和定性信息（間隔排序）、寬度方案（與定性定期類似，一定的表示非確定性時域場景的能力（由定性關(guān)聯(lián)信息的具體內(nèi)容決定））6.3時間的規(guī)范與表示

6.3.1時間規(guī)范

1．時間規(guī)范的目的是為了向在創(chuàng)建時和合成過程中所要求同步的數(shù)據(jù)對象提供一種時間關(guān)系的表達手段。2.表現(xiàn)的需求：對異質(zhì)的數(shù)據(jù)能夠同時地、順序地、獨立地表現(xiàn)對顯示則要求不同的元素能對有關(guān)的過程和事件進行特征描述的模型“數(shù)據(jù)表現(xiàn)、用戶交互、物理設(shè)備”同步折衷與計算系統(tǒng)中“并行、并發(fā)、多線程”的區(qū)別3．計算和多媒體兩者關(guān)鍵的區(qū)別： 時間的依賴：“處理”“表現(xiàn)” 信息流控制：“任務(wù)”控制（計算）“人”控制（多媒體）4．其它的要求：沒有絕對時間需求，時間依賴的多媒體數(shù)據(jù)對表現(xiàn)的計時要同時滿足優(yōu)先權(quán)和計時限制的需要6.3.2相對時間規(guī)范與絕對時間規(guī)范

1．時態(tài)瞬時（TemporalInstants）：將虛擬的唯一順序碼同動態(tài)圖像的每一幀關(guān)聯(lián)，將碼賦給聲音軌道和動態(tài)圖像軌道，以做到流和流之間的同步以時間軸作為參考對象，編輯時某些時間關(guān)系會丟失絕對時間參考系：圖6.6相對于絕對時間軸同步相對時間參考系：相對于絕對時間軸（WorldTime）。失步可用丟棄的方法進行校正。2．基于時態(tài)區(qū)間（TIB）可用于建立多媒體表現(xiàn)模型，每一個區(qū)間都對應(yīng)一組多媒體數(shù)據(jù)元素的表現(xiàn)TIB表示法是研究時間和時態(tài)邏輯的基礎(chǔ)層次化方法：參考點方法：系統(tǒng)只在動作流的固定參考點才檢查同步TIB可定義逆向的時間關(guān)系（支持反向和部分播放活動）3．并行與順序關(guān)系：用于時間依賴媒體的公共表示方法，可只用并行和順序的關(guān)系來表示串行和并行表示時間關(guān)系圖圖6.10非周期性區(qū)間的轉(zhuǎn)換13種時間關(guān)系的3種形式引入計時器T，將原來在時間上的許多差別都歸納進了計時器的采用要求數(shù)據(jù)元素的一致性，以消除時間上的重疊 6.4多媒體同步的表示方法

1．多媒體數(shù)據(jù)時域特征的表示包含：同步描述數(shù)據(jù)和同步容限，兩者的結(jié)合稱為同步規(guī)范。2．事件間的偏差（Skew）：在恢復(fù)后的時域場景中，時域事件間的相對位置發(fā)生變化對象內(nèi)偏差和對象間偏差，造成同步質(zhì)量的降低3．同步機制：依據(jù)同步容限，保證恢復(fù)后的時域場景中，事件間的偏差在其許可范圍內(nèi)。同步機制要完成的兩個主要任務(wù)：流內(nèi)同步與流間同步4．多媒體同步質(zhì)量的評估方式：主觀評估6.4.1基于圖形的表示法具有形象直觀地說明同步語義的優(yōu)勢，適合于可視的、基于圖形的多媒體表現(xiàn)的表示。基于圖形的表示法有：時間線、流圖、Petri網(wǎng)、時間層次法等，最著名的OCPN方法。1．Petri網(wǎng)的定義：二分有向圖（bipartitedirectedgraph），可表示為CPN={T,P,A}，其中T={t1,t2,…,tn},P={P1,P2,…,Pm},A：{T×P}Ｕ{(diào)P×T}→I，I={1,2,…}T代表變遷集合（轉(zhuǎn)移點集），P代表庫所集合（位置集），A代表有向弧集合。2．標(biāo)記Petri網(wǎng)（MarkedPetriNet:MPN）的定義：CMPN={T,P,A,M},其中T、P、A的定義同PetriNet中的定義，而M：P→I＇，I＇＝{0,1,2,…}。3．OCPN（ObjectCompositePetri-Net：對象合成網(wǎng)）定義：典型的定性間隔時間模型，Petri網(wǎng)的擴展COCPN={T,P,A,D,Re,M}其中T、P、A、M的定義同MPN中的定義，而D：P→R（實數(shù)集）Re：P→{r1,r2,r3,…,rk}該模型的基本時間單位與位置相對應(yīng)，D、R、M標(biāo)識了位置屬性：D是從庫所集合到實數(shù)（持續(xù)時間）的映射，各位置的持續(xù)時間e是從庫所集合到資源集合的映射，各位置所需的資源M各位置所含令牌的個數(shù)4．OCPN模型：能夠捕捉用于說明不同對象計時和顯示需求的任何時間關(guān)系5．統(tǒng)一OCPN模型對于任何兩個原子進程和它們的時間關(guān)系，存在相應(yīng)的OCPN模型。反過來也為真，對于任何OCPN模型能夠惟一確定相應(yīng)的時間關(guān)系為了便于存儲和檢索多媒體數(shù)據(jù)，可對形式進行簡化，采用統(tǒng)一OCPN模型，如下圖所示，這個模型用于表示任何時間關(guān)系統(tǒng)一的存儲形式，附加參數(shù)關(guān)系和總持續(xù)時間的說明，可唯一確定一種時間關(guān)系（書表）下圖是“世界報道”例子的OCPN表示法。這個OCPN捕獲了全部時間關(guān)系，可以在前向和逆向兩個方向上模擬。

6.5時間同步與系統(tǒng)支持

6.5.1分布式多媒體系統(tǒng)中的同步

1．分布式多媒體系統(tǒng)結(jié)構(gòu)多對多時：同步除媒體內(nèi)和媒體間外，還需考慮到組同步（從各個信源發(fā)出的信息是否同步的到達信宿）2．TransportoftheSynchronizationSpecificationDeliveryofthecompletesynbhronizationinformationbeforethestartofthepresentation:特點：簡單易行，適用于多信源情況，會引入附加延時Useofanadditionalsynchronizationchannel:特點：僅有一個信源，實時產(chǎn)生的時域同步關(guān)系（同步規(guī)范傳送及時，準(zhǔn)確）；需保證規(guī)范按時無誤的傳送Multiplexeddatastreams:將同步規(guī)范與成份數(shù)據(jù)復(fù)接在一起，使用一個通道傳送特點：沒有附加通道，沒有附加延時