第六章-多媒體的時(shí)間表示與同步

第六章多媒體的時(shí)間表示與同步

6.1多媒體同步的基本概念

6.1.1同步的基本概念1．多媒體數(shù)據(jù)的特點(diǎn)：（1） 復(fù)合信息的實(shí)體；（2） 在計(jì)算機(jī)的控制之下合成的形成過(guò)程（3） 數(shù)字化的方式表示、存儲(chǔ)、傳輸和處理的（描述多媒體數(shù)據(jù)的關(guān)鍵之一）（4） 這種復(fù)合的多媒體數(shù)據(jù)體中至少包含著一種非實(shí)時(shí)數(shù)據(jù)和一種實(shí)時(shí)數(shù)據(jù)實(shí)時(shí)媒體數(shù)據(jù)：有著嚴(yán)格時(shí)間關(guān)系的音頻、視頻等類型的數(shù)據(jù)（又稱為連續(xù)媒體數(shù)據(jù)）非實(shí)時(shí)媒體數(shù)據(jù)（離散媒體數(shù)據(jù)或靜態(tài)媒體數(shù)據(jù)）：其它類型的數(shù)據(jù)。2．媒體數(shù)據(jù)的成份：同步的過(guò)程與時(shí)間有密切的關(guān)系，大多數(shù)同步都建立在時(shí)間的基礎(chǔ)上。獲取數(shù)據(jù)和合成數(shù)據(jù)：隨著語(yǔ)音合成技術(shù)、OCR等技術(shù)的應(yīng)用，劃分的界線越來(lái)越模糊基于時(shí)間的媒體（Time-basedMedia，時(shí)基媒體）或時(shí)間依賴媒體（Time-dependent）：媒體與時(shí)間有著強(qiáng)烈的依賴關(guān)系，在采樣、傳輸和回放表現(xiàn)時(shí)更需要以時(shí)間為參照系進(jìn)行有序的組織time-dependent（mediastream）&time-independentmediaobjects（anykindoftraditionalmedialiketextandimages）時(shí)間敏感性生成方式連續(xù)媒體（敏感）靜態(tài)媒體（不敏感）獲取（源自現(xiàn)實(shí)世界）聲音、視頻信號(hào)靜止圖像合成（由計(jì)算機(jī)完成）動(dòng)畫文本、圖形3.多媒體同步或合成（Orchestration）：組織時(shí)基的、非時(shí)基的多種媒體序列通過(guò)傳輸、合成并達(dá)到某種表現(xiàn)效果。同步：與統(tǒng)一的時(shí)間基準(zhǔn)（時(shí)鐘）相關(guān)聯(lián)的概念。媒體同步：由多媒體數(shù)據(jù)所具有的獨(dú)特特征而引發(fā)出的問(wèn)題Synchronizationinmultimediasystemsreferstothetemporalrelationbetweenmediaobjectsinthemultimediasystem.UseSynchronizationinmultimediasystemsascomprisingcontent,spatialandtemporalrelationsbetweenmediaobjects.

內(nèi)容：媒體對(duì)象之間的相關(guān)性4．MultimediaSystems（1）Threecriteriafortheclassificationofamultimediasystemcanbedistinguished:thenumberofmedia,thetypesofsupportedmediaandthedegreeofmediaintegration.（2）Combiningallthreecriteria,weproposethefollowingdefinitionofamultimediasystem：asystemorapplicationthatsupportstheintegratedprocessingofseveralmediatypeswithatleastonetime-dependentmedium.（3）classificationofmediauseinmultimediasystemsFigureclassifiesapplicationsaccordingtothethreecriteria.Thearrowsindicatetheincreasingdegreeofmultimediacapabilityforeachcriterion.

6.1.2同步的種類

1．多媒體數(shù)據(jù)內(nèi)部約束關(guān)系：多媒體數(shù)據(jù)所包含的各種媒體對(duì)象之間存在著多種相互制約的關(guān)系Theinherentdependenciesbetweentheinformationcodedinthemediaobjectsmustbereflectedintheintegratedprocessingincludingstorage,manipulation,communication,capturingand,inparticalar,thepresentationofthemediaobjects.（1）基于內(nèi)容的約束關(guān)系：在用不同的媒體對(duì)象代表同一內(nèi)容的不同表現(xiàn)形式時(shí)，內(nèi)容與表現(xiàn)形式之間所具有的約束關(guān)系。（Contentrelationsdefineadependencyofmediaobjectsfromsomedata.)

多媒體系統(tǒng)需要解決的主要問(wèn)題：在多媒體數(shù)據(jù)更新過(guò)程中確保不同媒體對(duì)象所含信息的一致性解決辦法：定義原始數(shù)據(jù)和不同類型媒體之間的轉(zhuǎn)換原則，并由系統(tǒng)完成對(duì)多媒體文檔內(nèi)容的調(diào)整（2） 空域約束關(guān)系/布局關(guān)系(spatialrelations&layoutrelationships）：在多媒體數(shù)據(jù)顯示過(guò)程中的某一時(shí)刻，不同媒體對(duì)象在輸出設(shè)備上的空間位置關(guān)系。結(jié)構(gòu)化文檔生成系統(tǒng)中需要解決的首要問(wèn)題ODA(OfficeDocumentArchitecture)：定義結(jié)構(gòu)化文檔的國(guó)際標(biāo)準(zhǔn)，后更名為開放性文檔結(jié)構(gòu)采用樹狀模型對(duì)ODA定義的邏輯文檔結(jié)構(gòu)和布局文檔結(jié)構(gòu)進(jìn)行了層次化描述根復(fù)合布局結(jié)構(gòu)單元復(fù)合布局結(jié)構(gòu)單元復(fù)合布局結(jié)構(gòu)單元復(fù)合布局結(jié)構(gòu)單元葉子：文檔內(nèi)容，屬性表明數(shù)據(jù)的媒體類型邏輯結(jié)構(gòu)：內(nèi)容的組織方式布局結(jié)構(gòu)：各數(shù)據(jù)之間的空域關(guān)系圖ODA的布局文檔結(jié)構(gòu)（映射關(guān)系、基本布局對(duì)象和復(fù)合布局對(duì)象）（3） 時(shí)域約束關(guān)系：媒體對(duì)象在時(shí)間上的相對(duì)依賴關(guān)系Temporalrelationsdefinethetemporaldependenciesbetweenmediaobjects.（4） 總結(jié)：時(shí)閾特征是最重要的一種，是多媒體數(shù)據(jù)語(yǔ)義的重要組成部分。

Contentandspatialrelationsarewell-knownfrompublishingandintegratedapplicationsystemswithdatabases,spreadsheets,graphicaltoolsandwordprocessingsystems.Thekeyaspectinmultimediasystemsisthetemporalralationderivedfromtheintegrationoftime-dependentmediaobjects.2．Time-dependentPresentationUnits

連續(xù)數(shù)據(jù)可以看成是由LDU構(gòu)成的時(shí)間序列（或稱為流）

（1）Time-dependentmediaobjectsusuallyconsistofasequenceofinformationunits.SuchinformationunitsareknownasLogicalDataUnits(LDUs)（2）Therearetwokindsofhierarchies.Thefirstisacontenthierarchythatisimpliedbythecontentofthemediaobject.ThesecondisthecodinghierarchybasedonthedataencodingtheLDUhierarchy（3）ClosedLDUshaveapredictableduration.ExamplesareLDUsthatarepartsofstoredmediaobjectsofcontinuousmedialikeaudioandvideo,orstoredmediaobjectswithafixedduration.ThedurationofopenLDUsisnotpredictablebeforetheexecutionofthepresentation.OpenLDUstypicallyrepresentinputfromalivesource,forexample,acameraoramicrophone,ormediaobjectsthatincludeauserinteraction.(4)LDU的劃分:由具體的應(yīng)用、編碼方式、數(shù)據(jù)的存儲(chǔ)方式和傳輸方式等因素決定。圖H.261碼流中的LDU的不同劃分3.ClassificationofLogicalDataUnits

(1)Fordigitalvideo,oftentheframesareselectedasLDUs.

(2)Inthecaseofthebasicphysicalunitbeingtoosmalltohandle,oftenLDUsareselectedthatblockthesamplesintounitsofafixedduration.FigureExampleofaudioLDUs

FigureExampleofvideoLDUs

LDUsareformedcomprising512samples,onesampleiscodedwithoneByte,andhence,eachblockcontains512Bytes.(3)Incomputer-generatedmediaobjects,thedurationofLDUsmaybeselectedbytheuser.

User-definedLDUdurationistheframesofananimationsequence.Forthepresentationofatwo-secondanimationsequence,30to60picturesmaybegenerateddependingonthenecessaryquality.ThustheLDUdurationdependsontheselectedpicturerate.(4)StreamsaremorecomplexwhentheLDUsvaryinduration.Figue

LDUsofvaryingdurationAnexampleistherecordingofeventsatagraphicaluserinterfacetoreplayauserinteraction.Inthiscase,anLDUisaneventwithadurationlastinguntilthenextevent.ThedurationofLDUsdependsontheuserinteractionanvariesaccordingly.(5)OpenLDUsofunpredictabledurationaregiveninthecasethattheLDUhasnoinherentduration.AnexampleofanopenLDUisauserinteractioninwhichthedurationoftheinteractionisnotknowninadvance.Figure AnopenLDUrepresentingauserinteraction

(6)TimerscanberegardedasstreamsofemptyLDUswithfixedduration.FigureLDUsofatimer.

LDUDurationDefinedDuringCapturingLDUDurationDefinedbytheUserFixedLDUDurationAudio,VideoAnimation,TimerVariable,UnknownLDUDurationRecordedInteractionUserInteraction(7)Table5.1givesanoverviewofthetypesofLDUsdiscussedabove.4．同步的種類媒體對(duì)象之間的時(shí)域約束關(guān)系按照確立這種關(guān)系的時(shí)間來(lái)區(qū)分

Theliveandsyntheticsynchronizationdistinctionreferstothetypeofthedeterminationoftemporalrelations（1）應(yīng)用同步（表現(xiàn)同步/交互同步）：從用戶應(yīng)用的角度出發(fā)而進(jìn)行的同步，重點(diǎn)在于表現(xiàn)與交互。綜合同步：在分別獲取不同的信息之后，在人為指定的同步關(guān)系。Thetemporalrelationsareartificiallyspecified.

Thesyntheticsynchronizationisoftenusedinpresentationandretrieval-basedsystemswithstoreddataobjectsthatarearrangedtoprovidenewcombinedmultimediaobjects.Insynchronization,twophasescanbedistinguished:Inthespecificationphase,temporalrelationsbetweenthemediaobjectsaredefined.Inthepresentationphase,arun-timesystempresentsdatainasynchronizedmode.（2）現(xiàn)場(chǎng)同步（媒體間的同步）：表現(xiàn)出同一個(gè)應(yīng)用中數(shù)據(jù)源方與表現(xiàn)方之間存在的實(shí)際同步關(guān)系，也既端–端之間的同步關(guān)系。在信息獲取過(guò)程中建立的同步關(guān)系Thegoalofthelivesynchronizationistoexactlyreproduceatapresentationthetemporalrelationsastheyexistedduringthecapturingprocess.Atypicalapplicationoflivesynchronizationisconversationalservices.(Reproduceatthesinkthesignalsinthesamewayastheyappearedatthesource.)FigureLivesynchronizationwithoutintermediatelong-termstorage.FigureLivesynchronizationwithintermediatelong-termstorageanddelayedpresentation.Thecapturingandpresentationaredecoupled.Itispossibletomanipulatethepresentationofthemedia.Thepresentationspeedmaybechanged,andrandomaccessispossible.Theprimarydemandoflivesynchronizationistopresentdataaccordingtothetemporalrelationswhichexistedduringthecapturingprocessofthemediaobjects.Lipsynchronizationdemandstightcouplingofaudioandvideostreams.Synchronizaitoncanbespecifiedbydefiningamaximalskewbetweenthetwomediastreams總結(jié)Inthecaseoflivesynchronization,thesynchronizationspecificationisimplicitlydefinedduringcapturing.Inthecaseofsyntheticsynchronization,thespecificationisdoneexplicitly.Userinteractioninlivesynchronizationincludesonlytheinteractionduringcapturing.Syntheticsynchronizationcanincludeuserinteractions,forexample,fornavigation.FigureLDUviewoflipsynchronization.（3）合成同步（媒體之間的同步）：涉及到不同類型的媒體數(shù)據(jù)，側(cè)重于它們?cè)诤铣杀憩F(xiàn)時(shí)的時(shí)間關(guān)系的描述。Inter-objectSynchronizationreferstothesynchronizationbetweenmediaobjects.FigureInter-objectSynchronizationexamplethatshowstemporalrelationsinamultimediapresentationincludingaudio,video,animationandpictureobjects.（4）系統(tǒng)同步（媒體內(nèi)部的同步）：“系統(tǒng)”指的是該層同步如何根據(jù)各種輸入媒體對(duì)應(yīng)的實(shí)際硬件系統(tǒng)（設(shè)備）的性能參數(shù)來(lái)協(xié)調(diào)實(shí)現(xiàn)其上層合成同步所描述的各對(duì)象間的時(shí)序關(guān)系。Intra--objectSynchronizationreferstothetimeralationbetweenvariouspresentationunitsofonetime-dependentmediaobject.FigureIntra--objectSynchronizationbetweenframesofavideosequenceshowingajumpingball.5．多媒體數(shù)據(jù)的構(gòu)成：

（1） 主體部分是不同媒體的數(shù)據(jù)，包含所要表達(dá)的信息內(nèi)容—構(gòu)成多媒體數(shù)據(jù)的成份數(shù)據(jù)（2）成份數(shù)據(jù)之間的約束關(guān)系（同步關(guān)系）—同步規(guī)范（SynchronizationSpecifications）。在存儲(chǔ)和傳輸成份數(shù)據(jù)時(shí)，必須同時(shí)存儲(chǔ)和傳輸它們之間的同步關(guān)系。處理數(shù)據(jù)時(shí)要維持同步關(guān)系。（3）僅考慮時(shí)域同步關(guān)系時(shí)，時(shí)域同步規(guī)范由兩部分構(gòu)成：同步描述數(shù)據(jù)：媒體內(nèi)部和媒體之間的時(shí)間約束關(guān)系同步容限：約束關(guān)系所允許的偏差范圍6．多媒體同步所研究的主要問(wèn)題：如何表示多媒體數(shù)據(jù)的時(shí)域特征在處理多媒體數(shù)據(jù)的過(guò)程中，如何維持時(shí)域特征。（同步機(jī)制）6.1.3 同步的分層服務(wù)模型四層模型的提出思路：通過(guò)層次化分析理解各種相關(guān)因素，找出能夠滿足要求的解決方法意義：規(guī)定了同步機(jī)制所應(yīng)有的層次以及各層所應(yīng)完成的任務(wù)，對(duì)于多媒體的應(yīng)用來(lái)說(shuō)，同步是建立在不同的分層的基礎(chǔ)上的。不同層次的同步依據(jù)不同的接口機(jī)制來(lái)保證2．媒體層：針對(duì)的是單獨(dú)的媒體數(shù)據(jù)流，屬于物理層的同步，其同步的基礎(chǔ)是數(shù)據(jù)流中的一個(gè)個(gè)基本邏輯數(shù)據(jù)單元，通過(guò)對(duì)這些邏輯數(shù)據(jù)單元的操縱來(lái)保證媒體在時(shí)間上的準(zhǔn)確（1）處理對(duì)象：連續(xù)碼流的LDU（2）接口任務(wù)：向上提供與設(shè)備無(wú)關(guān)的讀、寫操作申請(qǐng)必要的資源（CPU時(shí)間、通信帶寬、緩沖區(qū)）和系統(tǒng)服務(wù)（服務(wù)質(zhì)量保障服務(wù)），為該層各項(xiàng)功能的實(shí)施提供支持訪問(wèn)各類設(shè)備的接口函數(shù)，獲取或提交一個(gè)完整的LDU當(dāng)一個(gè)多媒體應(yīng)用訪問(wèn)該層時(shí)，同步控制全部由應(yīng)用本身完成（媒體層是同步機(jī)制與底層服務(wù)系統(tǒng)之間的接口，其內(nèi)部不包含任何同步控制操作）

3．流層：屬于服務(wù)層，也是媒體內(nèi)的同步，其面對(duì)的是多個(gè)媒體數(shù)據(jù)流。處理的是多流之間的同步，以保證多個(gè)數(shù)據(jù)流在傳輸和表現(xiàn)過(guò)程中能夠?qū)崿F(xiàn)并行和同步。（1）處理對(duì)象：連續(xù)碼流或碼流組（2）接口任務(wù)：向用戶提供（開始、結(jié)束、創(chuàng)建組）功能函數(shù)根據(jù)同步容限決定LDU的大小以及對(duì)各LDU的處理方案向媒體層提交必要的QoS要求（媒體層處理LDU的條件，最大延時(shí)及延時(shí)抖動(dòng)范圍等）流內(nèi)同步和流間同步（在執(zhí)行LDU處理方案的過(guò)程中，將對(duì)象內(nèi)的偏差和對(duì)象間的偏差保持在許可范圍之內(nèi)，既實(shí)施流內(nèi)與流間的同步控制）流內(nèi)同步和流間同步是多媒體同步的關(guān)鍵（4）當(dāng)一個(gè)多媒體應(yīng)用直接使用流層的各接口功能時(shí)，連續(xù)數(shù)據(jù)和非連續(xù)數(shù)據(jù)之間的同步控制由應(yīng)用本身完成。4．對(duì)象層：針對(duì)多媒體演示過(guò)程之中的各個(gè)多媒體對(duì)象的同步。通過(guò)相應(yīng)的時(shí)間同步方案，保證各個(gè)多媒體對(duì)象能夠按照規(guī)定的次序出現(xiàn)，并且能夠響應(yīng)用戶的輸入事件。（1）處理對(duì)象：對(duì)不同類型的媒體對(duì)象進(jìn)行統(tǒng)一處理（2）接口任務(wù)：提供以一個(gè)完整多媒體對(duì)象為參數(shù)的功能函數(shù)實(shí)現(xiàn)連續(xù)媒體和非連續(xù)媒體對(duì)象之間的同步，并完成對(duì)非連續(xù)媒體對(duì)象的處理，同流層相比，該層同步控制精度較低根據(jù)規(guī)范層提供的同步描述數(shù)據(jù)，推導(dǎo)調(diào)度方案,同時(shí)還要考慮各媒體對(duì)象的統(tǒng)計(jì)特征：數(shù)據(jù)量最大最小碼率、同步容限從媒體層了解底層服務(wù)系統(tǒng)現(xiàn)有資源情況必要的初始化工作（4）當(dāng)一個(gè)多媒體應(yīng)用直接使用對(duì)象層的功能時(shí)，其內(nèi)部無(wú)需完成同步控制操作5．規(guī)范層/描述層：包括應(yīng)用程序和創(chuàng)建同步規(guī)范的工具解決多媒體表現(xiàn)中各場(chǎng)景的安排與對(duì)象同步的描述,是作者與系統(tǒng)的接口Thislayercontainsapplicationsandtoolsthatallowtocreatesynchronizationspecificationsandforconvertingspecificationstoanobjectlayerformat.Itisanopenlayer.Itdoesnotofferanexplicitinterface.BeresponsibleformappingQoSrequirementsoftheuserleveltothequalitiesofferedattheobjectlayerinterface.Synchronizationspecificationmethodscanbeclassifiedintothefollowingmaincategories:Interval-basedspecifications,whichallowthespecificationoftemporalrelationsbetweenthetimeintervalsofthepresentationsofmediaobjectsAxes-basedspecification,whichrelatepresentationeventstoaxesthataresharedbytheobjectsofthepresentationControlflow-basedspecifications,inwhichatgivessynchronizationpoints,theflowofthepresentationsissynchronizedEvent-basedspecification,inwhicheventsinthepresentationofmediatriggerpresentationactions.6.2時(shí)間模型

6.2.1時(shí)間依賴的定義多媒體三個(gè)層次物理層：低層的時(shí)間關(guān)系服務(wù)層：應(yīng)用媒體之間的時(shí)間關(guān)系人機(jī)接口層：用戶的隨機(jī)交互過(guò)程，瀏覽…（與時(shí)間有關(guān)，延遲不定）根據(jù)各種媒體及其表現(xiàn)特性確定時(shí)間的依賴關(guān)系Static靜態(tài)的－沒(méi)有時(shí)間依賴Discrete離散的－單一元素Transient短暫的－一時(shí)的Natural或Implied自然/蘊(yùn)含的－真實(shí)世界中的時(shí)間依賴Synthetic綜合的、合成的－人工產(chǎn)生的時(shí)間依賴Continuous連續(xù)的－在時(shí)間上連續(xù)Persistant持續(xù)的－在數(shù)據(jù)庫(kù)中維持的6.2.2時(shí)間的概念模型

6.2.2.1時(shí)域場(chǎng)景和時(shí)域定義方案1．在表示時(shí)域特征的過(guò)程中所要完成的具體任務(wù)：對(duì)多媒體數(shù)據(jù)的時(shí)域特征進(jìn)行抽象、描述以及給出必要的同步容限。抽象：忽略與時(shí)域特征不相干的細(xì)節(jié)，概括時(shí)域場(chǎng)景的過(guò)程時(shí)域事件：與多媒體數(shù)據(jù)在時(shí)域中發(fā)生的某個(gè)行為相對(duì)應(yīng)，可以是瞬時(shí)完成，也可是持續(xù)一段時(shí)間的。一個(gè)時(shí)域場(chǎng)景由若干個(gè)時(shí)域事件構(gòu)成數(shù)據(jù)對(duì)象分類：應(yīng)用生命周期：持續(xù)對(duì)象－存在于整個(gè)應(yīng)用周期非持續(xù)對(duì)象－動(dòng)態(tài)建立并且用后丟棄表現(xiàn)：靜態(tài)對(duì)象－長(zhǎng)期存在短暫對(duì)象－出現(xiàn)很短，不需操縱數(shù)據(jù)采集：自然：真實(shí)時(shí)間－記錄時(shí)間關(guān)系，存儲(chǔ)人工：綜合時(shí)間關(guān)系（合成）實(shí)況：不能進(jìn)行時(shí)間操作2．確定性時(shí)域事件和非確定性時(shí)域事件確定性和非確定性時(shí)域場(chǎng)景：（a）不含任何非確定性時(shí)域事件（b）P和r需在具體播放過(guò)程中確定圖

確定性和非確定性時(shí)域場(chǎng)景3．將多媒體對(duì)象抽象為一個(gè)時(shí)域場(chǎng)景后，需利用時(shí)間模型對(duì)場(chǎng)景加以描述時(shí)域模型：一種數(shù)據(jù)模型，由若干基本部件及部件的使用規(guī)則構(gòu)成，時(shí)域場(chǎng)景建模的依據(jù)同步描述數(shù)據(jù)：建模的結(jié)果通過(guò)某種形式話語(yǔ)言轉(zhuǎn)化為形式化描述時(shí)域定義方案（TemporalSpecificationScheme）：時(shí)間模型及相應(yīng)的形式化語(yǔ)言的合成4．同步容限：用戶和同步機(jī)制之間，在應(yīng)當(dāng)以何種準(zhǔn)確程度來(lái)維持時(shí)域特征方面所達(dá)成的一種約定。同步描述數(shù)據(jù)和同步容限構(gòu)成了計(jì)算機(jī)系統(tǒng)內(nèi)部對(duì)多媒體數(shù)據(jù)時(shí)域特征的表示圖多媒體對(duì)象時(shí)域特征的表示過(guò)程5．在對(duì)同一時(shí)域場(chǎng)景進(jìn)行描述，采用不同的時(shí)間模型，得到不同的同步描述數(shù)據(jù)時(shí)間模型1：針對(duì)事件發(fā)生的時(shí)刻時(shí)間模型2：針對(duì)事件發(fā)生的相對(duì)時(shí)刻時(shí)間模型3：針對(duì)事件對(duì)應(yīng)的時(shí)間間隔從不同的角度表示同一時(shí)域場(chǎng)景，得到不同的同步描述數(shù)據(jù)都能如實(shí)全面的反映該場(chǎng)景的時(shí)域特征，是等效的根據(jù)所需處理多媒體數(shù)據(jù)的特點(diǎn)和應(yīng)用的需要選擇時(shí)間模型圖一個(gè)時(shí)域場(chǎng)景6．時(shí)域參考框架：研究多媒體同步的基礎(chǔ)多媒體場(chǎng)景：對(duì)多媒體數(shù)據(jù)時(shí)、空等方面特征抽象的結(jié)果，反映多媒體數(shù)據(jù)在這些方面的語(yǔ)義，時(shí)域場(chǎng)景是其重要組成部分，時(shí)域定義方案處理對(duì)象時(shí)域定義方案：是在計(jì)算機(jī)系統(tǒng)內(nèi)為時(shí)域場(chǎng)景建模并對(duì)建模結(jié)果進(jìn)行形式化描述的方法，由時(shí)間模型（語(yǔ)義部分）和形式語(yǔ)言（語(yǔ)法部分）兩部分構(gòu)成；通過(guò)其將時(shí)域場(chǎng)景轉(zhuǎn)化為同步描述數(shù)據(jù)（同步機(jī)制處理的對(duì)象）同步機(jī)制：是一種服務(wù)過(guò)程，能夠了解同步描述數(shù)據(jù)所定義的時(shí)域特征，并根據(jù)用戶所要求的同步容限，完成對(duì)該特征的維護(hù)定義時(shí)域參考框架的意義，組成部分及相互之間的關(guān)系6.2.2.2描述時(shí)域特征的時(shí)間模型

1.時(shí)間模型的構(gòu)成：（1） 基本時(shí)間單位：表示時(shí)域場(chǎng)景中的事件時(shí)刻：持續(xù)時(shí)間為零的瞬間；時(shí)間點(diǎn):瞬時(shí)，時(shí)間的零長(zhǎng)度運(yùn)動(dòng)間隔：有一定的持續(xù)時(shí)間；時(shí)間段:兩個(gè)時(shí)間點(diǎn)之間的區(qū)間(2)關(guān)聯(lián)信息：反映時(shí)域事件的組織方式定量關(guān)聯(lián)信息：場(chǎng)景中的各時(shí)域事件相互獨(dú)立，單獨(dú)描述各時(shí)域事件在場(chǎng)景中的位置，間接反映事件間的關(guān)系定性關(guān)聯(lián)信息：場(chǎng)景中的各時(shí)域事件彼此相關(guān)，對(duì)時(shí)域事件約束關(guān)系的描述次序信息：對(duì)各時(shí)域事件發(fā)生次序的描述，可分為全排序和部分排序信息對(duì)事件間時(shí)域關(guān)系描述的定性關(guān)聯(lián)信息兩個(gè)時(shí)刻之間的基本時(shí)域關(guān)系：對(duì)確定性時(shí)域場(chǎng)景任意兩時(shí)刻之間僅存在一種關(guān)系兩個(gè)間隔之間的基本時(shí)域關(guān)系：對(duì)確定性時(shí)域場(chǎng)景任意兩間隔之間僅存在一種關(guān)系時(shí)間關(guān)系有十三種：before,starts,meets,overlaps,during,finishes,equals圖6.5音頻、視頻及非連續(xù)性媒體的時(shí)態(tài)區(qū)間表示

用meets和equals時(shí)間關(guān)系表示同步的例非確定性時(shí)域關(guān)系：用于表示非確定性時(shí)域場(chǎng)景的特征—用基本時(shí)域關(guān)系的析取模式（Disjunctivenormalform）表示，不能明確描述的時(shí)域關(guān)系寬度關(guān)系：反映兩個(gè)時(shí)間間隔在時(shí)間長(zhǎng)度上的關(guān)系（shorter&longer）連續(xù)媒體：meets區(qū)間在時(shí)間上是鄰接的不會(huì)重疊非連續(xù)媒體：before，先后關(guān)系（3） 時(shí)間表示技術(shù)：時(shí)間模型依照關(guān)聯(lián)信息定義場(chǎng)景中各事件與時(shí)間軸之間對(duì)應(yīng)關(guān)系的方法定期方案：根據(jù)定量關(guān)聯(lián)信息（可以是準(zhǔn)確時(shí)刻也可是時(shí)間間隔）定義場(chǎng)景中各事件與時(shí)間之間的對(duì)應(yīng)關(guān)系偽定期方案：根據(jù)次序信息（定性關(guān)聯(lián)信息，全排序或部分排序）定義約束傳播方案：根據(jù)時(shí)域關(guān)系等定性關(guān)聯(lián)信息定義寬度方案：根據(jù)事件的持續(xù)時(shí)間以及次序信息來(lái)定義（類似于偽定期方案）2.時(shí)間模型的分類：（1） 定量定期型：時(shí)刻、定量關(guān)聯(lián)信息、定期方案；時(shí)間軸模型：各個(gè)媒體對(duì)象向時(shí)間軸投影，將時(shí)域場(chǎng)景的特征記錄下來(lái)

優(yōu)點(diǎn)：降低了維護(hù)同步描述數(shù)據(jù)的復(fù)雜度缺點(diǎn)：定量關(guān)聯(lián)信息包含事件發(fā)生的準(zhǔn)確時(shí)間,難于用來(lái)表示非確定性事件（2） 定性定期型：時(shí)刻、定性關(guān)聯(lián)信息（次序信息）、偽定期方案；虛軸模型：關(guān)聯(lián)信息包含非確定性時(shí)域事件的全排序信息，時(shí)間軸模型的擴(kuò)展特點(diǎn)：模型簡(jiǎn)單、同步描述數(shù)據(jù)易于維護(hù)，較強(qiáng)的表示非確定性時(shí)域場(chǎng)景的能力；同步描述數(shù)據(jù)較復(fù)雜，維護(hù)難度略高引入多條時(shí)間軸：時(shí)域場(chǎng)景中的確定性事件映射到物理時(shí)間軸上，物理計(jì)時(shí)單位；非確定性事件利用偽定期方案映射到邏輯時(shí)間軸上，邏輯計(jì)時(shí)單位（事件發(fā)生次序的編號(hào)）（3）定性時(shí)刻型：時(shí)刻、定性關(guān)聯(lián)信息（時(shí)刻間的時(shí)域關(guān)系，也包含定量關(guān)聯(lián)信息）、約束傳播方案螢燭（firefly）模型：利用一定的時(shí)間參數(shù)對(duì)時(shí)刻之間的時(shí)域關(guān)系做進(jìn)一步限定，描述事件之間固定的關(guān)聯(lián)關(guān)系不提供時(shí)間參數(shù)或提供時(shí)間區(qū)間定義時(shí)刻間不完全確定的時(shí)域關(guān)系，以描述非確定性時(shí)域場(chǎng)景在兩個(gè)層次上完成對(duì)時(shí)域場(chǎng)景的描述媒體級(jí)：虛軸模型文檔級(jí)：定性時(shí)刻時(shí)間模型特點(diǎn)：同步描述數(shù)據(jù)復(fù)雜，不宜維護(hù)；有利于同步機(jī)制實(shí)施同步控制（4） 定性間隔型：間隔、定性關(guān)聯(lián)信息（間隔間的時(shí)域關(guān)系，包含定量）、約束傳播方案OCPN模型：ObjectCompositionPetriNet；不具備表示非確定性時(shí)域場(chǎng)景的能力（定性關(guān)聯(lián)信息是對(duì)兩個(gè)間隔之間基本時(shí)域關(guān)系的描述）TIB模型：TemporalInterval-BasedModel；具備表示非確定性時(shí)域場(chǎng)景的能力（還包括間隔之間非確定性時(shí)域關(guān)系的定義）（5） 定量間隔型：間隔、定量信息（間隔寬度）和定性信息（間隔排序）、寬度方案（與定性定期類似，一定的表示非確定性時(shí)域場(chǎng)景的能力（由定性關(guān)聯(lián)信息的具體內(nèi)容決定））6.3時(shí)間的規(guī)范與表示

6.3.1時(shí)間規(guī)范

1．時(shí)間規(guī)范的目的是為了向在創(chuàng)建時(shí)和合成過(guò)程中所要求同步的數(shù)據(jù)對(duì)象提供一種時(shí)間關(guān)系的表達(dá)手段。2.表現(xiàn)的需求：對(duì)異質(zhì)的數(shù)據(jù)能夠同時(shí)地、順序地、獨(dú)立地表現(xiàn)對(duì)顯示則要求不同的元素能對(duì)有關(guān)的過(guò)程和事件進(jìn)行特征描述的模型“數(shù)據(jù)表現(xiàn)、用戶交互、物理設(shè)備”同步折衷與計(jì)算系統(tǒng)中“并行、并發(fā)、多線程”的區(qū)別3．計(jì)算和多媒體兩者關(guān)鍵的區(qū)別： 時(shí)間的依賴：“處理”“表現(xiàn)” 信息流控制：“任務(wù)”控制（計(jì)算）“人”控制（多媒體）4．其它的要求：沒(méi)有絕對(duì)時(shí)間需求，時(shí)間依賴的多媒體數(shù)據(jù)對(duì)表現(xiàn)的計(jì)時(shí)要同時(shí)滿足優(yōu)先權(quán)和計(jì)時(shí)限制的需要6.3.2相對(duì)時(shí)間規(guī)范與絕對(duì)時(shí)間規(guī)范

1．時(shí)態(tài)瞬時(shí)（TemporalInstants）：將虛擬的唯一順序碼同動(dòng)態(tài)圖像的每一幀關(guān)聯(lián)，將碼賦給聲音軌道和動(dòng)態(tài)圖像軌道，以做到流和流之間的同步以時(shí)間軸作為參考對(duì)象，編輯時(shí)某些時(shí)間關(guān)系會(huì)丟失絕對(duì)時(shí)間參考系：圖6.6相對(duì)于絕對(duì)時(shí)間軸同步相對(duì)時(shí)間參考系：相對(duì)于絕對(duì)時(shí)間軸（WorldTime）。失步可用丟棄的方法進(jìn)行校正。2．基于時(shí)態(tài)區(qū)間（TIB）可用于建立多媒體表現(xiàn)模型，每一個(gè)區(qū)間都對(duì)應(yīng)一組多媒體數(shù)據(jù)元素的表現(xiàn)TIB表示法是研究時(shí)間和時(shí)態(tài)邏輯的基礎(chǔ)層次化方法：參考點(diǎn)方法：系統(tǒng)只在動(dòng)作流的固定參考點(diǎn)才檢查同步TIB可定義逆向的時(shí)間關(guān)系（支持反向和部分播放活動(dòng)）3．并行與順序關(guān)系：用于時(shí)間依賴媒體的公共表示方法，可只用并行和順序的關(guān)系來(lái)表示串行和并行表示時(shí)間關(guān)系圖圖6.10非周期性區(qū)間的轉(zhuǎn)換13種時(shí)間關(guān)系的3種形式引入計(jì)時(shí)器T，將原來(lái)在時(shí)間上的許多差別都?xì)w納進(jìn)了計(jì)時(shí)器的采用要求數(shù)據(jù)元素的一致性，以消除時(shí)間上的重疊 6.4多媒體同步的表示方法

1．多媒體數(shù)據(jù)時(shí)域特征的表示包含：同步描述數(shù)據(jù)和同步容限，兩者的結(jié)合稱為同步規(guī)范。2．事件間的偏差（Skew）：在恢復(fù)后的時(shí)域場(chǎng)景中，時(shí)域事件間的相對(duì)位置發(fā)生變化對(duì)象內(nèi)偏差和對(duì)象間偏差，造成同步質(zhì)量的降低3．同步機(jī)制：依據(jù)同步容限，保證恢復(fù)后的時(shí)域場(chǎng)景中，事件間的偏差在其許可范圍內(nèi)。同步機(jī)制要完成的兩個(gè)主要任務(wù)：流內(nèi)同步與流間同步4．多媒體同步質(zhì)量的評(píng)估方式：主觀評(píng)估6.4.1基于圖形的表示法具有形象直觀地說(shuō)明同步語(yǔ)義的優(yōu)勢(shì)，適合于可視的、基于圖形的多媒體表現(xiàn)的表示。基于圖形的表示法有：時(shí)間線、流圖、Petri網(wǎng)、時(shí)間層次法等，最著名的OCPN方法。1．Petri網(wǎng)的定義：二分有向圖（bipartitedirectedgraph），可表示為CPN={T,P,A}，其中T={t1,t2,…,tn},P={P1,P2,…,Pm},A：{T×P}Ｕ{(diào)P×T}→I，I={1,2,…}T代表變遷集合（轉(zhuǎn)移點(diǎn)集），P代表庫(kù)所集合（位置集），A代表有向弧集合。2．標(biāo)記Petri網(wǎng)（MarkedPetriNet:MPN）的定義：CMPN={T,P,A,M},其中T、P、A的定義同PetriNet中的定義，而M：P→I＇，I＇＝{0,1,2,…}。3．OCPN（ObjectCompositePetri-Net：對(duì)象合成網(wǎng)）定義：典型的定性間隔時(shí)間模型，Petri網(wǎng)的擴(kuò)展COCPN={T,P,A,D,Re,M}其中T、P、A、M的定義同MPN中的定義，而D：P→R（實(shí)數(shù)集）Re：P→{r1,r2,r3,…,rk}該模型的基本時(shí)間單位與位置相對(duì)應(yīng)，D、R、M標(biāo)識(shí)了位置屬性：D是從庫(kù)所集合到實(shí)數(shù)（持續(xù)時(shí)間）的映射，各位置的持續(xù)時(shí)間e是從庫(kù)所集合到資源集合的映射，各位置所需的資源M各位置所含令牌的個(gè)數(shù)4．OCPN模型：能夠捕捉用于說(shuō)明不同對(duì)象計(jì)時(shí)和顯示需求的任何時(shí)間關(guān)系5．統(tǒng)一OCPN模型對(duì)于任何兩個(gè)原子進(jìn)程和它們的時(shí)間關(guān)系，存在相應(yīng)的OCPN模型。反過(guò)來(lái)也為真，對(duì)于任何OCPN模型能夠惟一確定相應(yīng)的時(shí)間關(guān)系為了便于存儲(chǔ)和檢索多媒體數(shù)據(jù)，可對(duì)形式進(jìn)行簡(jiǎn)化，采用統(tǒng)一OCPN模型，如下圖所示，這個(gè)模型用于表示任何時(shí)間關(guān)系統(tǒng)一的存儲(chǔ)形式，附加參數(shù)關(guān)系和總持續(xù)時(shí)間的說(shuō)明，可唯一確定一種時(shí)間關(guān)系（書表）下圖是“世界報(bào)道”例子的OCPN表示法。這個(gè)OCPN捕獲了全部時(shí)間關(guān)系，可以在前向和逆向兩個(gè)方向上模擬。

6.5時(shí)間同步與系統(tǒng)支持

6.5.1分布式多媒體系統(tǒng)中的同步

1．分布式多媒體系統(tǒng)結(jié)構(gòu)多對(duì)多時(shí)：同步除媒體內(nèi)和媒體間外，還需考慮到組同步（從各個(gè)信源發(fā)出的信息是否同步的到達(dá)信宿）2．TransportoftheSynchronizationSpecificationDeliveryofthecompletesynbhronizationinformationbeforethestartofthepresentation:特點(diǎn)：簡(jiǎn)單易行，適用于多信源情況，會(huì)引入附加延時(shí)Useofanadditionalsynchronizationchannel:特點(diǎn)：僅有一個(gè)信源，實(shí)時(shí)產(chǎn)生的時(shí)域同步關(guān)系（同步規(guī)范傳送及時(shí)，準(zhǔn)確）；需保證規(guī)范按時(shí)無(wú)誤的傳送Multiplexeddatastreams:將同步規(guī)范與成份數(shù)據(jù)復(fù)接在一起，使用一個(gè)通道傳送特點(diǎn)：沒(méi)有附加通道，沒(méi)有附加延時(shí)