富媒體標(biāo)準(zhǔn)LASeR 的研究

1、富媒體標(biāo)準(zhǔn)LASeR 的研究    摘 要：本文詳細(xì)介紹一種關(guān)于富媒體新標(biāo)準(zhǔn) LASeR（輕量級應(yīng)用場景展現(xiàn)），它是由MPEG-4 part 20（ISO/IEC 14496-20)定義的富媒體新標(biāo)準(zhǔn)。LASeR 是在SVG 矢量圖形以及媒體場景擴(kuò)展的基礎(chǔ)上對場景進(jìn)行描述，它具有XML 格式和二進(jìn)制格式兩種。LASeR 能為用戶提供更好的交互性和靈活性，適用于手機(jī)等移動嵌入式消費(fèi)電子設(shè)備。接著介紹了LASeR 時域展現(xiàn)和空域展現(xiàn)。最后以一個LASeR 碼流片段為例介紹了各部分的實(shí)現(xiàn)。關(guān)鍵詞：LASeR ；SVG；RichMedia；XML中圖分類號：TN

2、919.811 引言隨著便攜式設(shè)備硬件能力的加強(qiáng)與網(wǎng)絡(luò)通信服務(wù)的發(fā)展，人們越來越不滿足于傳統(tǒng)的文字、圖片下載后瀏覽等獲取信息的方式。當(dāng)流媒體點(diǎn)播業(yè)務(wù)方興未艾，并日益成為下一個業(yè)務(wù)增長點(diǎn)時，如何對用戶終端提供更多樣、更生動、更具有交互性，更具有個性化特色的多媒體業(yè)務(wù)，成為業(yè)界關(guān)注的主要方向。而各種富媒體技術(shù)的出現(xiàn)和發(fā)展為傳統(tǒng)的網(wǎng)絡(luò)音視頻服務(wù)提供了新的機(jī)會。2 富媒體富媒體(Rich Media)是由音頻、視頻、圖形、文本、動畫等多媒體數(shù)據(jù)組成的動態(tài)可交互集合。富媒體的最大特點(diǎn)是它能夠呈現(xiàn)動態(tài)的運(yùn)動。如：一個流視頻的新聞聯(lián)播，或是一個持續(xù)自我更新的股票行情報價器（stock ticker）。富媒體

3、系統(tǒng)可以被看成是一個客戶-服務(wù)器結(jié)構(gòu)，由三個主要部分組成：富媒體服務(wù)器，傳輸機(jī)制和富媒體用戶。如圖1-1 所示。服務(wù)器端為輸入端，富媒體內(nèi)容包括場景描述，如不連續(xù)的圖像和連續(xù)的音視頻等元素。場景描述可以通過場景更新命令來動態(tài)的更新。富媒體內(nèi)容可以連同一些附加信息，如：媒體同步，解釋數(shù)據(jù)，媒體數(shù)據(jù)包追蹤信息等，封裝在一個容器格式中。然后，富媒體系統(tǒng)利用不同的傳輸機(jī)制來完成下載，最終在用戶端實(shí)現(xiàn)對富媒體內(nèi)容的播放，并允許本地和遠(yuǎn)程的對信息回饋和數(shù)據(jù)要求的互動。Rich Mediacontent (scenes,scene updates,discrete andcontinuous mediaCo

4、ntainerFormat /TransportPacketsRich Media ServerRemote InteractionMechanismsForward Transmission(Unicast, Multicast,Broadcast Downloadand StreamingProtocolsTransport MechanismsLocalInteractionMechanismsRich Media ClientRichMediaPlayerIs theplayerÕsrequestremote innature?sendrequestyesno圖1-1 富媒體

5、系統(tǒng)結(jié)構(gòu)框圖13 LASeR 標(biāo)準(zhǔn)3.1 LASeR 簡介LASeR(Lightweight Application Scene Representation) 1，輕量級應(yīng)用場景展現(xiàn)標(biāo)準(zhǔn)，是由MPEG 組織制定的MPEG-4 part 20（ISO/IEC 14496-20)中定義的新的富媒體標(biāo)準(zhǔn)。LASeR-2-可以用來編碼2D 場景并更新場景，它有XML 格式和二進(jìn)制格式兩種。其中二進(jìn)制格式和場景表示（基于SVG Tiny）適用于將富媒體業(yè)務(wù)呈現(xiàn)到資源受限的設(shè)備上，一般是輕量級嵌入式設(shè)備，例如手機(jī)等。LASeR 的目的是滿足所有富媒體在場景描述級別的服務(wù)要求：包括能夠最優(yōu)化的安排從SVG

6、3繼承來的對象，并以此來描述富媒體場景；協(xié)調(diào)一致的擴(kuò)展SVG；能夠編碼并傳輸LASeR 流，并重建SVG 內(nèi)容。能夠動態(tài)的更新場景，以此達(dá)到交互性，平滑性和連續(xù)性的服務(wù)。能夠以簡單有效的壓縮方式來減少傳輸和解析的時間，并同時增大存儲大小。具備有效的音視頻接口，并且可以幀級同步。適應(yīng)任意字體，包括OpenType 工業(yè)標(biāo)準(zhǔn)。LASeR 的基本標(biāo)準(zhǔn)包括壓縮效率，編碼，內(nèi)存，展示等等。其他的目標(biāo)包括：可分級性，對用戶內(nèi)容的適應(yīng)性，格式的擴(kuò)展性，定義小型規(guī)范（profile）的能力，實(shí)現(xiàn)J2ME 的可行性，錯誤恢復(fù)，和執(zhí)行安全等。SAF（簡單集合格式）是用來在多種傳輸通路中有效并且方便的傳輸LASeR

7、 數(shù)據(jù)和音視頻內(nèi)容的。這個多路技術(shù)設(shè)計的目的是能夠?qū)⒏幻襟w業(yè)務(wù)傳輸?shù)劫Y源受限的設(shè)備上，允許并且能夠簡單實(shí)現(xiàn)在低端設(shè)備上的有效的多路信號分離。SAF 是用來補(bǔ)充LASeR 的，以達(dá)到簡單且交互的業(yè)務(wù)。3.2 LASeR 結(jié)構(gòu)LASeR 是以抽象的接入單元定義的，它可以適應(yīng)于多種協(xié)議的傳輸。LASeR 流可以和其它相關(guān)的媒體流一起打包成基于ISO 的媒體文件格式，如mp4，并且用可靠協(xié)議傳輸。簡單集成協(xié)議SAF 是將LASeR 流和一些相關(guān)的媒體流集合到一起。SAF 流既可以用可靠協(xié)議也不可靠協(xié)議傳輸。LASeR 流也可以適用于其他傳輸協(xié)議，比如RTP，MPEG-2。圖2-1呈現(xiàn)了LASeR 和S

8、AF 的結(jié)構(gòu)：SVG Scene TreeLASeRCommandsBinary EncodingLASeRExtensionsSAFAudio Video Image Font ApplicationNetworkTransport圖2-1 LASeR 和SAF 的結(jié)構(gòu)1設(shè)計LASeR 系統(tǒng)解碼器模型的目的是提供一個抽象的方式來描述符合ISO/IEC14496-20 的終端行為。它可以被發(fā)送者使用，用來估計緩沖管理和同步，以及當(dāng)解碼數(shù)據(jù)以基本流的形式被接收時，接收終端將如何表現(xiàn)。LASeR 系統(tǒng)解碼模型包括一個計時模型和一個緩沖模型。LASeR 系統(tǒng)解碼模型詳細(xì)定義了：1（傳輸層）訪問數(shù)據(jù)流

9、的概念上的接口。2對每個基本流的已編碼數(shù)據(jù)的解碼緩沖。3基本流解碼器的行為。4從每個解碼器已解碼數(shù)據(jù)的綜合內(nèi)存。5送向合成器的綜合內(nèi)存的輸出行為。-3-DeliveryLayerDecodingLayerCompositionLayerDBDBDBSAFDeMuxDecoderDecoderDecoderRTSP/RTPDBDBDBHTTPDecoderDecoderDecoderCompositionCBCBCBCBCBCBHTTP/SAFSessionRTSP/RTPSession圖2-2 LASeR 系統(tǒng)的解碼器模型1在上圖中，發(fā)送端知道需要的解碼緩存（DB）的大小,并傳給接收終端。解碼

10、緩存以字節(jié)為單位，當(dāng)有數(shù)據(jù)傳輸時解碼緩存器以所對應(yīng)的基本流的最大比特速率填充；當(dāng)沒有數(shù)據(jù)傳輸時解碼緩存器速率為0。最大的發(fā)送比特速率由發(fā)送端決定，在每個基本流建立時，它作為部分解碼結(jié)構(gòu)信息傳輸。4 空域約束關(guān)系和時域約束關(guān)系空域約束關(guān)系和時域約束關(guān)系是富媒體中重要的兩個方面，可以通過場景來展現(xiàn)。4.1 空域約束關(guān)系LASeR 的場景描述主要基于SVG Tiny 1.1，并包含對部分SVG Tiny 1.22標(biāo)準(zhǔn)的支持。SVG 主要用于矢量圖形與動畫，使用XML 語法對場景進(jìn)行描述，具有一定動態(tài)效果的描繪。而LASeR 在此基礎(chǔ)上增加了一些對多媒體和移動終端的擴(kuò)展。LASeR 將矢量圖形，動畫和

11、包括文字、圖像、音視頻媒體流等各種媒體或媒體流對象聚合到一起，并描述了媒體元素間的空間布局，時域組織與同步機(jī)制，對象的動態(tài)變化和對象間的相互作用等，并將這些元素與屬性有序的組織在一起，構(gòu)成符合DOM 標(biāo)準(zhǔn)的場景樹。LASeR 使用一定的渲染器和渲染算法對DOM 樹進(jìn)行渲染，完成場景展示的功能。SVG 的空間布局，虛擬了嵌入式終端的屏幕，并主要使用坐標(biāo)點(diǎn)的方式，對某一對象的具體展現(xiàn)位置，大小等進(jìn)行定義，從而確定了媒體對象的空間位置。并可以動態(tài)改變空間布局的屬性，從而改變對象在空間的位置。4.2 時域約束關(guān)系LASeR 在時間模型中，定義了兩個時間軸。分別是媒體(MediaTime)時間軸和場景(

12、SceneTime)時間軸。LASeR 接入單元按mediaTime 對LASeR 數(shù)據(jù)單元進(jìn)行發(fā)送，所以媒體時間沒有一個明確的起始點(diǎn)，它的時標(biāo)(TimeScale)在傳輸層中定義。而場景時間，是相對于場景來說的。而每遇到或新建一個新的場景，場景的場景時間就重新設(shè)為0，即從0 開始，它的時標(biāo)(TimeScale)由LASeR 本身的語法定義。LASeR 中事件發(fā)生的時間，都是相對于場景時間來描述。SVG 的時域組織繼承了SMIL4時間處理和同步模型。它以對象屬性的方式，定義了對象媒體的開始結(jié)束等事件的發(fā)生時間，或相應(yīng)事件的持續(xù)時間。而時間定義分為兩種，絕對時間從當(dāng)前應(yīng)用場景的起始時間計算，和相

13、對時間相對于某一事件發(fā)生時間開始計算。這兩種時間都是相對于當(dāng)前場景的場景時間來描述的。這樣從新的場景開始算起，我們能推導(dǎo)出事件發(fā)生的時間和物體開始描繪或顯示的時間，從而獲得整個LASeR 場景的時間同步-4-關(guān)系。SVG 還擴(kuò)展了SMIL4的相關(guān)定義，使場景對象的屬性能夠隨時間進(jìn)行變化，從而達(dá)到動畫的效果。LASeR 使用SMIL4中的音視頻元素對SVG 進(jìn)行擴(kuò)展，以使SVG 場景樹支持多媒體的音視頻碼流。場景時間如圖3-1 所示：NewScene xsceneTime(x) = mediaTime(x) mediaTime(NewScene)Within a scene segmentNew

14、Scene xsceneTime(y) = Ts0With more scene segmentsy zFirst scene segmentSecond scene segmentTs0sceneTime(z) = Ts0 + mediaTime(z) mediaTime(y)圖3-1 場景時間及場景段1場景時間與媒體時間的關(guān)系為（不考慮TimeScale）：ST(r) = MT(r) - MT(ns)一個RefreshScene 命令通常情況下是可以有任意的媒體時間的，但是包含在access unit中就會有為媒體時間而定義的場景時間。這允許終端在NewScene 發(fā)送后才"tu

15、ne in"，或者在因?yàn)槟撤N原因而沒有接收到NewScene，在這樣的情況下來建立場景時間。編碼器可以計算場景時間的值，通過比較RefreshScene 的媒體體時間戳MT(rs)和前一個NewScene 的媒體時間戳MT(ns)，然后發(fā)送MT(rs) - MT(ns)。當(dāng)一個帶有NewScene 的場景片段開始的時候，場景時間被重設(shè)置為0。在這樣的場景        段中，laser access unit 的場景時間就是這個access unit 的媒體時間與鄰近的前一個NewScene的媒體時間的差

16、值。當(dāng)一個場景片斷不是從NewScene 開始的時候，場景時間不會重置為0，并設(shè)Ts0 為這個新的場景片段所接收的第一個access unit 的最開始的場景片斷的場景時間。在這樣的場景片斷中，laser access unit 的場景時間為這個access unit 的媒體時間與由在那個場景段增加Ts0后的第一個access unit 的媒體時間的差值來確定。注意：Ts0 會隨著終端之間的傳輸時間的變化而產(chǎn)生變化。時間值由ticks 來編碼。每秒鐘ticks 的數(shù)量由laser 頭的timeResolution 和 timeEncodingattributes 定義?！癱lipBegin”

17、and “clipEnd”屬性，用來保持另一條流的媒體時間，采用預(yù)先定義的每秒1000 下作為計時單位。5 LASeR 場景描述一個場景描述包括以下四個方面：1媒體元素是如何在空間上排布的。如：視覺元素在空間上是怎樣規(guī)劃的。2媒體元素是如何在時間上排布的。如：是否采用同步及如何實(shí)現(xiàn)同步，何時起止。3場景中的元素是如何交互的。如：當(dāng)用戶用鼠標(biāo)點(diǎn)擊一個圖片時。4如果場景會有變動，那么它是如何變動的。場景描述會因?yàn)閯赢嫸淖儭Ｔ谡麄€動畫過程中，場景的不同狀態(tài)可能是確定的（如：知道動畫是何時開始的），也可能是不確定的?？纱_定的指的是帶參數(shù)的動畫，不確定的指的是由服務(wù)器發(fā)送的調(diào)整信號來決定的動畫。場景描

18、述的序列順序和它的時間修改統(tǒng)一稱作-5-場景描述流。對于這些場景描述格式的規(guī)定就稱作 LASeR。一個場景描述流就叫做一個LASeR 流。對于場景的修改就叫做LASeR 命令，命令在一個確定的時間作用于場景中的元素或者元素屬性。將需要在同一時間執(zhí)行的LASeR 命令集中成組，形成LASeR 接入單元（Access Unit）。LASeR 標(biāo)準(zhǔn)中定義的二進(jìn)制的場景結(jié)構(gòu)是基于W3C 定義的SVG3標(biāo)準(zhǔn)中的元素。一個LASeR 場景就是SVG3場景附加了LASeR 擴(kuò)展。例如下面這個程序：<?xml version="1.0" encoding="UTF-8&qu

19、ot;?><saf:SAFSession xmlns:saf="urn:mpeg:mpeg4:SAF:2005" ><saf:sceneHeader><LASeRHeader /></saf:sceneHeader><saf:mediaHeader streamType="12" objectTypeIndication="6" streamID="font"/><saf:mediaUnit streamIDref="font&quo

20、t; ./><saf:sceneUnit><lsru:NewScene><svg width="480" height="360" viewBox="0 0 480 360" version="1.1"baseProfile="tiny"><defs><desc>this was a font</desc></defs><g transform="translate(165, 220)&qu

21、ot; font-family="TestComic" font-size="60" fill="black"stroke="none"><line x1="0" y1="0" x2="210" y2="0" stroke-width="1" stroke="#888888"/><text>test</text></g></svg>

22、</lsru:NewScene></saf:sceneUnit><saf:endOfSAFSession/></saf:SAFSession>在上述例子中，SVG3場景先被包在了一個NewScene 更新中，然后再被包裝在SAF 包中。字體描述采取了MPEG-4 part 18 進(jìn)行編碼，取代了SVG3本身的字體描述，并且放在了SAF mediaUnit 中。在SAF mediaHeader 中的屬性 streamType=”12” ，objectTypeIndication=”6”和streamID=”font”標(biāo)示了SAF 流的內(nèi)容。SAF

23、mediaHeader 和 SAFmediaUnit 通過streamID ”font” 連系在了一起，被編碼成了一個數(shù)字，并且對于SAF 是局部嚴(yán)格的。Font-family=”TestComic” 和在SAF mediaUnit 中的被編碼的字體通過字體名字發(fā)生聯(lián)系，該聯(lián)系是OpenType 編碼的一部分。LASeR 定義了一種將眾多場景劃分成遞增場景片段的方法，并允許針對不同場景片段建立服務(wù)。第一個場景片段包含一個NewScene 更新，擁有newSceneIndicator 比特位置位，而其他不是由NewScene 更新開始的的場景片斷就被認(rèn)為是第一個場景片段的附加部分。LASeR 頭包括LASeRHeader 和LASeRUnitHeader 兩部分。LASeRHeader 定義了LASeR 場景片段的解析和解碼結(jié)構(gòu)，它的屬性有：profile，level，resolution，useFullRequestHost，pathComponents，newSc