多媒體新技術(shù)展望

多媒體新技術(shù)展望第一頁(yè)，共四十四頁(yè)，2022年，8月28日基于分形的壓縮算法

什么是分形分形（Fractal）一詞，來(lái)自拉丁文Fractus，是曼德勃羅創(chuàng)造出來(lái)的，原意具有不規(guī)則、支離破碎等意義，分形幾何學(xué)是一門(mén)以非規(guī)則幾何形態(tài)為研究對(duì)象的幾何學(xué)。第二頁(yè)，共四十四頁(yè)，2022年，8月28日分形幾何與傳統(tǒng)幾何相比有什么特點(diǎn)從整體上看，分形幾何圖形是處處不規(guī)則的。例如，海岸線和山川形狀，從遠(yuǎn)距離觀察，其形狀是極不規(guī)則的。在不同尺度上，圖形的規(guī)則性又是相同的。上述的海岸線和山川形狀，從近距離觀察，其局部形狀又和整體形狀相似，他們從整體到局部，都是自相似的。第三頁(yè)，共四十四頁(yè)，2022年，8月28日分形壓縮的基本原理是利用分形幾何中的自相似性原理來(lái)進(jìn)行圖像壓縮。所謂自相似性就是指無(wú)論幾何尺度如何變化，景物的任何一小部分的形狀都與較大部分的形狀極其相似。分形編碼利用“自相似性”不是鄰近樣本的相關(guān)性而是大范圍的相似性，即圖像塊的相似性。對(duì)相似性的描述是通過(guò)仿射變換來(lái)確定的，而編碼的對(duì)象就是仿射變換的系數(shù)。由于仿射變換的系數(shù)的數(shù)據(jù)量小于圖像塊的數(shù)據(jù)量，因此可以實(shí)現(xiàn)壓縮的目的。第四頁(yè)，共四十四頁(yè)，2022年，8月28日《微軟電子百科全書(shū)》就是完全分形編碼方法把大量多媒體數(shù)據(jù)壓縮到600MB以內(nèi)的。在海灣戰(zhàn)爭(zhēng)中，美軍使用了分形技術(shù)，用于軍事地圖的縮放、攻擊目標(biāo)的匹配追蹤等。第五頁(yè)，共四十四頁(yè)，2022年，8月28日分形圖像壓縮的一般過(guò)程源圖像割成適當(dāng)?shù)膲K對(duì)每一塊，基于拼貼定 理求其IFS碼解碼圖各塊對(duì)隨機(jī)迭代定理重構(gòu)各塊第六頁(yè)，共四十四頁(yè)，2022年，8月28日第七頁(yè)，共四十四頁(yè)，2022年，8月28日小波變換在圖像壓縮中的應(yīng)用小波（wavelet）是定義在有限間隔且平均值為0的函數(shù)。第八頁(yè)，共四十四頁(yè)，2022年，8月28日小波分析是把一個(gè)信號(hào)分解成由原始小波經(jīng)過(guò)移位和縮放后的一些列小波，因此小波是小波變換的基礎(chǔ)函數(shù)，即小波可用作表示一些函數(shù)的基函數(shù)。小波變換的基本思想是用一組小波或基函數(shù)表示一個(gè)函數(shù)或信號(hào)，例如圖像信號(hào)。哈爾（Hear）小波基函數(shù)為例基本哈爾小波函數(shù)（Hearwaveletfunction）定義如下第九頁(yè)，共四十四頁(yè)，2022年，8月28日1，當(dāng)0≤x<1/2Ψ(x)=-1，當(dāng)1/2≤x<10，其他設(shè)有一幅分辨率只有4個(gè)像素的一維圖像，對(duì)應(yīng)像素值為：[9735]。用哈爾小波變換的過(guò)程是計(jì)算相鄰像素對(duì)的平均值（averaging，亦可稱之為近似值approximation），得到一幅分辨率為原圖像1/2的新圖像：[84]。這時(shí)圖像信息已部分丟失。第十頁(yè)，共四十四頁(yè)，2022年，8月28日為了能從2個(gè)像素組成的圖像重構(gòu)出4個(gè)像素的原圖像，必須把每個(gè)像素對(duì)的第一個(gè)像素值減這個(gè)像素的平均值作為圖像的細(xì)節(jié)系數(shù)（detailcoefficient）保存。因此，原圖像可用下面的兩個(gè)平均值和兩個(gè)細(xì)節(jié)系數(shù)表示：[841-1]。可以把第一步變換得到的圖像進(jìn)一步變換，原圖像兩級(jí)變換的過(guò)程如下表所示：第十一頁(yè)，共四十四頁(yè)，2022年，8月28日分辨率平均值細(xì)節(jié)系數(shù)4[9735]2[84][1-1]1[6][2]哈爾變換過(guò)程事實(shí)上是用求均值和差值的方法對(duì)函數(shù)或圖像進(jìn)行分解，對(duì)于f(x)=[9735]，我們可作最多2層的分解。第十二頁(yè)，共四十四頁(yè)，2022年，8月28日對(duì)于2維圖像，同樣可以用依次對(duì)行列進(jìn)行小波變換得到2維圖像的分解。這時(shí)經(jīng)過(guò)一次小波變換得到是2維圖像的近似值(CA)以及水平(CH)、垂直(CV)和對(duì)角(CD)細(xì)節(jié)分量值。顯然，從2維圖像的CA、CH、CV和CD值可以重構(gòu)出原來(lái)的2維圖像。第十三頁(yè)，共四十四頁(yè)，2022年，8月28日由于小波及小波包技術(shù)可以將信號(hào)或圖像分層次按小波基展開(kāi)，所以可以根據(jù)圖像信號(hào)的性質(zhì)及事先給定的圖像處理要求確定到底要展開(kāi)到哪一級(jí)為止，從而不僅能有效地控制計(jì)算量，滿足實(shí)時(shí)處理的需要，而且可以方便地實(shí)現(xiàn)漸進(jìn)傳輸編碼（即采取逐步浮現(xiàn)的方式傳送多媒體圖像）。利用小波變換具有放大、縮小和平移的數(shù)學(xué)顯微鏡的功能，可以方便地產(chǎn)生各種分辨率的圖像，從而適應(yīng)于不同分辨率的圖像I/O設(shè)備和不同傳輸速率的通信系統(tǒng)。第十四頁(yè)，共四十四頁(yè)，2022年，8月28日利用小波變換能夠比較精確地進(jìn)行圖像拼接，因此對(duì)較大的圖像可以進(jìn)行分塊處理，然后再進(jìn)行拼接。第十五頁(yè)，共四十四頁(yè)，2022年，8月28日小波變換-JPEG2000第十六頁(yè)，共四十四頁(yè)，2022年，8月28日MPEG-211999年，MPEG組織在墨爾本會(huì)議上提出了MPEG-21的概念。MPEG-21的最終目標(biāo)是協(xié)調(diào)不同層次間的多媒體技術(shù)標(biāo)準(zhǔn)，建立一個(gè)交互式的多媒體框架，此框架能夠支持各種不同的應(yīng)用領(lǐng)域，允許不同用戶使用和傳遞不同類型的數(shù)據(jù)，并且實(shí)現(xiàn)對(duì)知識(shí)產(chǎn)權(quán)的管理和數(shù)字媒體內(nèi)容的保護(hù)。第十七頁(yè)，共四十四頁(yè)，2022年，8月28日MPEG-21中的幾個(gè)基本概念用戶（User）：用戶是一個(gè)廣義的概念，可以是世界各地的個(gè)人、消費(fèi)者、團(tuán)體、組織、公司、政府以及其他標(biāo)準(zhǔn)化組織和主體。從技術(shù)上講，MPEG-21認(rèn)為內(nèi)容的提供者和消費(fèi)者同樣都是MPEG-21的用戶。用戶可以各種方式“使用”內(nèi)容，包括對(duì)內(nèi)容進(jìn)行發(fā)布、傳遞和消費(fèi)等。第十八頁(yè)，共四十四頁(yè)，2022年，8月28日使用（Use）：MPEG-21提供了一個(gè)多媒體框架供一個(gè)用戶與另一用戶進(jìn)行以數(shù)字信息為目標(biāo)相互作用。這里所指的相互作用即為對(duì)內(nèi)容的“使用”，它包括內(nèi)容創(chuàng)建、提供、存檔、定級(jí)、增強(qiáng)、遞送、聚集、傳輸、發(fā)表、零售、消費(fèi)、提交、管制等。數(shù)字項(xiàng)（DigitalItem）：MPEG-21的數(shù)字項(xiàng)是一個(gè)結(jié)構(gòu)化的數(shù)字對(duì)象，是按標(biāo)準(zhǔn)進(jìn)行表達(dá)、標(biāo)記并帶有描述性的數(shù)據(jù)。數(shù)字項(xiàng)是數(shù)字資源及其相關(guān)內(nèi)容(包括圖像、圖形、動(dòng)畫(huà)、數(shù)據(jù)文件、音頻、視頻等)的集合。它是MPEG-21框架中傳送和交易的最基本單元，是用戶關(guān)聯(lián)的目的。第十九頁(yè)，共四十四頁(yè)，2022年，8月28日MPEG-21多媒體框架MPEG標(biāo)準(zhǔn)第二十頁(yè)，共四十四頁(yè)，2022年，8月28日MPEG-21多媒體框架是一個(gè)結(jié)構(gòu)化的框架，從結(jié)構(gòu)上可分成以下要素?cái)?shù)字項(xiàng)聲明(Digital

Item

Declaration

)：即一種對(duì)數(shù)字項(xiàng)進(jìn)行聲明的統(tǒng)一和靈活的提取和可互方案。內(nèi)容展現(xiàn)手法(Content

Representation

)：它是不同媒體的數(shù)據(jù)展現(xiàn)方式，如音頻、視頻的播放。數(shù)字項(xiàng)的標(biāo)記和描述：這是對(duì)不同自然屬性、類型和粒度的數(shù)字項(xiàng)進(jìn)行統(tǒng)一標(biāo)記和描述的結(jié)構(gòu)。第二十一頁(yè)，共四十四頁(yè)，2022年，8月28日內(nèi)容的管理和使用：它是為以下過(guò)程提供接口和協(xié)議，經(jīng)內(nèi)容傳輸和消費(fèi)價(jià)值練創(chuàng)建、制作、存儲(chǔ)和使用的內(nèi)容。知識(shí)產(chǎn)權(quán)的管理和保護(hù)：可通過(guò)大范圍的網(wǎng)絡(luò)和設(shè)備對(duì)這些權(quán)利、興趣和認(rèn)定事項(xiàng)提供可靠的管理和保護(hù)，同時(shí)在某種程度上獲得、編輯、發(fā)布相關(guān)的政策、法規(guī)、準(zhǔn)則。終端和網(wǎng)絡(luò)(Terminals

and

Networks

):

MPEG-21通過(guò)屏蔽網(wǎng)絡(luò)和終端的安裝、管理和實(shí)現(xiàn)問(wèn)題，使用戶能夠透明地進(jìn)行操作和發(fā)布高級(jí)多媒體內(nèi)容。事件報(bào)告(Event

Reporting

):

它能使用戶精確理解框架中所有可報(bào)告事件的接口和計(jì)量。事件報(bào)告將為用戶提供特定交互的執(zhí)行方法，同樣允許大量超范圍的處理，允許其他框架和模型與MPEG-21實(shí)現(xiàn)互操作。第二十二頁(yè)，共四十四頁(yè)，2022年，8月28日MPEG-21中用戶交互作用時(shí)的“關(guān)鍵問(wèn)題”（1）關(guān)于網(wǎng)絡(luò)網(wǎng)絡(luò)部分的問(wèn)題有：a.網(wǎng)絡(luò)傳送：包括傳送帶寬和速度、網(wǎng)絡(luò)的一致性和可靠性、數(shù)據(jù)流控制、延遲、差錯(cuò)率、存取時(shí)間、移動(dòng)性、性能價(jià)格比以及連通性等問(wèn)題。b.服務(wù)和設(shè)備的易用性：涉及到智能化、綜合連接、設(shè)備兼容、魯棒性、不同平臺(tái)之間的互操作性、國(guó)際間兼容性、設(shè)備設(shè)計(jì)上對(duì)民族文化的沖擊以及設(shè)備之間的分布式智能化等問(wèn)題。第二十三頁(yè)，共四十四頁(yè)，2022年，8月28日c.物理媒體格式的互操作性：包括與內(nèi)容無(wú)關(guān)的格式、后向兼容格式、媒體的壽命、不同平臺(tái)的標(biāo)準(zhǔn)存儲(chǔ)媒質(zhì)以及媒質(zhì)間的內(nèi)容傳輸?shù)?。d.多平臺(tái)的解碼和繪制：在不同類型或不同參數(shù)的平臺(tái)(設(shè)備)上回放并保證一定質(zhì)量的內(nèi)容，另外還包括保證不同編解碼模式對(duì)用戶的透明性等問(wèn)題。第二十四頁(yè)，共四十四頁(yè)，2022年，8月28日（2）關(guān)于內(nèi)容和質(zhì)量?jī)?nèi)容和質(zhì)量方面又包括：a.服務(wù)質(zhì)量和靈活性：包括可靠性、質(zhì)量檢測(cè)、用戶感知的質(zhì)量、信息集成、評(píng)價(jià)、易用性、對(duì)用戶需求的動(dòng)態(tài)響應(yīng)、點(diǎn)播、有效平滑的繪制、可預(yù)測(cè)性和連續(xù)性，以及服務(wù)的可接入性等問(wèn)題。

b.內(nèi)容表示的質(zhì)量：包括權(quán)限和完整性、保真性和用戶感知質(zhì)量(智能質(zhì)量)檢測(cè)、價(jià)格的一致性、真實(shí)性、持續(xù)性和時(shí)效性等問(wèn)題。

第二十五頁(yè)，共四十四頁(yè)，2022年，8月28日c.內(nèi)容藝術(shù)性方面的質(zhì)量：涉及品牌、來(lái)源、豐富性、評(píng)論、一致性等問(wèn)題。d.內(nèi)容的過(guò)濾、定位、檢索和存儲(chǔ)：包括一致的內(nèi)容標(biāo)記、描述和查詢的反應(yīng)時(shí)間、在內(nèi)容選擇上的個(gè)性化服務(wù)、搜索的完整性、有效性、可信性、內(nèi)容真實(shí)性的認(rèn)證、等級(jí)與分類、更新，以及對(duì)內(nèi)容的組織管理等方面問(wèn)題。第二十六頁(yè)，共四十四頁(yè)，2022年，8月28日（3）關(guān)于消費(fèi)者消費(fèi)者方面的問(wèn)題包括：

a.付費(fèi)/訂購(gòu)：包括免費(fèi)服務(wù)、以收聽(tīng)廣告或給出個(gè)人數(shù)據(jù)的免費(fèi)服務(wù)、收費(fèi)的獎(jiǎng)賞模型、租借、分類付費(fèi)、獎(jiǎng)賞的復(fù)制件、點(diǎn)播、每項(xiàng)服務(wù)的簽署、簡(jiǎn)單明了的收費(fèi)模型、支付的驗(yàn)證等等。

b.消費(fèi)者信息發(fā)布：包括內(nèi)容的保護(hù)和管理、自創(chuàng)內(nèi)容的可存取性、版權(quán)購(gòu)買等。

c.消費(fèi)者使用權(quán)限：包括對(duì)內(nèi)容的擁有、使用、復(fù)制、編輯等權(quán)限的管理等。第二十七頁(yè)，共四十四頁(yè)，2022年，8月28日MPEG-21和電子商務(wù)之間可以看成是基礎(chǔ)與應(yīng)用的關(guān)系，電子商務(wù)是MPEG-21的巨大應(yīng)用領(lǐng)域。第二十八頁(yè)，共四十四頁(yè)，2022年，8月28日光學(xué)字符識(shí)別OCR(OpticalCharacterRecognition)是指電子設(shè)備(例如掃描儀或閱讀器)檢查紙上打印的字符，通過(guò)檢測(cè)按、亮的模式確定其形狀，然后用字符識(shí)別方法將形狀翻譯成計(jì)算機(jī)文字的過(guò)程。與傳統(tǒng)的手工錄入方式相比，OCR技術(shù)大大提高人們資料儲(chǔ)存、檢索、加工的效率。目前，在文通信息廠商的推動(dòng)下，該技術(shù)已經(jīng)廣泛應(yīng)用在金融、保險(xiǎn)、報(bào)業(yè)、稅務(wù)、工商等行業(yè)。第二十九頁(yè)，共四十四頁(yè)，2022年，8月28日OCR識(shí)別系統(tǒng)的工作流程影像輸入：欲經(jīng)OCR處理的檔案必須透過(guò)光學(xué)儀器，如影像掃描儀、傳真機(jī)或任何設(shè)想器材，將影像轉(zhuǎn)入計(jì)算機(jī)。影像前處理：影像前處理是OCR系統(tǒng)中，須解決問(wèn)題最多的一個(gè)模塊。包含了影像正規(guī)化、去除噪聲、影像矯正等的影像處理，及圖文分析、文字行與字分離的文件前處理。第三十頁(yè)，共四十四頁(yè)，2022年，8月28日第三十一頁(yè)，共四十四頁(yè)，2022年，8月28日文字特征抽?。?jiǎn)我宰R(shí)別率而言，特征抽取可說(shuō)是OCR的核心。特征簡(jiǎn)單的區(qū)分可分為兩類：一為統(tǒng)計(jì)的特征，如文字區(qū)域內(nèi)的黑/白點(diǎn)數(shù)比，當(dāng)文字區(qū)分成好幾個(gè)區(qū)域時(shí)，這一個(gè)個(gè)區(qū)域黑/白點(diǎn)數(shù)比之聯(lián)合，就成了空間的一個(gè)數(shù)值向量，在比對(duì)時(shí)，基本的數(shù)學(xué)理論就足以應(yīng)付了。而另一類特征為結(jié)構(gòu)的特征，如文字影像細(xì)線化后，取得字的筆劃端點(diǎn)、交叉點(diǎn)之?dāng)?shù)量及位置，或以筆劃段為特征，配合特殊的比對(duì)方法，進(jìn)行比對(duì)，市面上的線上手寫(xiě)輸入軟件的識(shí)別方法多以此種結(jié)構(gòu)的方法為主。第三十二頁(yè)，共四十四頁(yè)，2022年，8月28日對(duì)比數(shù)據(jù)庫(kù)：當(dāng)輸入文字運(yùn)算完特征后，不管是用統(tǒng)計(jì)或結(jié)構(gòu)的特征，都須有一比對(duì)數(shù)據(jù)庫(kù)或特征數(shù)據(jù)庫(kù)來(lái)進(jìn)行比對(duì)，數(shù)據(jù)庫(kù)的內(nèi)容應(yīng)包含所有欲識(shí)別的字集文字，根據(jù)與輸入文字一樣的特征抽取方法所得的特征群組。對(duì)比識(shí)別：根據(jù)不同的特征特性，選用不同的數(shù)字距離函數(shù)，利用各種特征比對(duì)方法的相異互補(bǔ)性，識(shí)別出結(jié)果。第三十三頁(yè)，共四十四頁(yè)，2022年，8月28日字詞后處理：由于OCR的識(shí)別率并無(wú)法達(dá)到百分之百，或想加強(qiáng)比對(duì)的正確性及信心值，一些除錯(cuò)或甚至幫忙更正的功能，也成為OCR系統(tǒng)中必要的一個(gè)模塊。字詞后處理就是一例，利用比對(duì)后的識(shí)別文字與其可能的相似候選字群中，根據(jù)前后的識(shí)別文字找出最合乎邏輯的詞，做更正的功能。第三十四頁(yè)，共四十四頁(yè)，2022年，8月28日人工校正：OCR最后的關(guān)卡，在此之前，使用者可能只是拿支鼠標(biāo)，跟著軟件設(shè)計(jì)的節(jié)奏操作或僅是觀看，而在此有可能須特別花使用者的精神及時(shí)間，去更正甚至找尋可能是OCR出錯(cuò)的地方。結(jié)果輸出：輸出需要的檔案格式。第三十五頁(yè)，共四十四頁(yè)，2022年，8月28日漢字OCR的基本方法像素統(tǒng)計(jì)法：采用統(tǒng)計(jì)黑白像素幾何分布特征方法識(shí)別。結(jié)構(gòu)分析法：提取字體比劃結(jié)構(gòu)作為特征進(jìn)行漢字識(shí)別。智能識(shí)別法：模擬人腦的智能識(shí)別機(jī)理。第三十六頁(yè)，共四十四頁(yè)，2022年，8月28日語(yǔ)音識(shí)別語(yǔ)音識(shí)別是將人發(fā)出的聲音、字或短語(yǔ)轉(zhuǎn)換成文字、符號(hào)，或給出響應(yīng)，如執(zhí)行控制，做出答案。語(yǔ)音識(shí)別系統(tǒng)的分類可按識(shí)別的詞匯量多少，語(yǔ)音識(shí)別系統(tǒng)可分為小、中、大詞匯量三種能識(shí)別詞匯小于100的，稱為小詞表語(yǔ)音識(shí)別。大于100的稱為中間詞表語(yǔ)音識(shí)別大于1000的稱為大詞表語(yǔ)音識(shí)別第三十七頁(yè)，共四十四頁(yè)，2022年，8月28日對(duì)說(shuō)話人的聲文進(jìn)行識(shí)別稱之為說(shuō)話人識(shí)別。這是研究如何根據(jù)語(yǔ)音來(lái)識(shí)別說(shuō)話人的身份、確定說(shuō)話人的姓名。第三十八頁(yè)，共四十四頁(yè)，2022年，8月28日按照語(yǔ)音的輸入方式，語(yǔ)音識(shí)別的研究集中于對(duì)孤立詞、連接詞和連接語(yǔ)音的識(shí)別。詞表中的每個(gè)條目，無(wú)論是單音節(jié)還是短語(yǔ)，發(fā)音時(shí)都是以條目為單位的，條目間有明顯的停頓，而條目?jī)?nèi)的音節(jié)要求連續(xù)，這就是孤立詞語(yǔ)音識(shí)別，如識(shí)別0~9十個(gè)數(shù)字、人民、地名、控制。命令、英語(yǔ)單詞、漢字音節(jié)或短語(yǔ)。對(duì)連呼詞表中的幾個(gè)條目，識(shí)別時(shí)進(jìn)行切分，最后給出連呼詞的識(shí)別結(jié)果，這種識(shí)別需要用到詞與詞之間的聯(lián)接信息，所以稱為連接詞識(shí)別。如連呼數(shù)字串的識(shí)別。第三十九頁(yè)，共四十四頁(yè)，2022年，8月28日自然語(yǔ)言的特點(diǎn)是使用連續(xù)自然的語(yǔ)音。語(yǔ)音識(shí)別的目標(biāo)是讓計(jì)算機(jī)能夠理解自然語(yǔ)言，這是語(yǔ)音識(shí)別中最困難的課題，如聽(tīng)寫(xiě)機(jī)、翻譯機(jī)。智能計(jì)算機(jī)中人機(jī)語(yǔ)音對(duì)話都需要連續(xù)語(yǔ)音識(shí)別。第四十頁(yè)，共四十四頁(yè)，2022年，8月28日按發(fā)音人可分為特定人、限定人和非特定人語(yǔ)音識(shí)別三種對(duì)于特定人進(jìn)行語(yǔ)音識(shí)別的系統(tǒng)，使用前需由特定人對(duì)系統(tǒng)進(jìn)行訓(xùn)練。具體