多媒體計(jì)算機(jī)的應(yīng)用技術(shù)

第7章多媒體計(jì)算機(jī)的應(yīng)用(yìngyòng)技術(shù)7.1多媒體電子出版物的創(chuàng)作(chuàngzuò)7.2多媒體會議系統(tǒng)7.3多媒體數(shù)據(jù)庫及基于內(nèi)容檢索第一頁，共四十一頁。?本章(běnzhānɡ)重點(diǎn)介紹視頻會議系統(tǒng)的結(jié)構(gòu)(jiégòu)和標(biāo)準(zhǔn)第7章多媒體計(jì)算機(jī)的應(yīng)用(yìngyòng)技術(shù)第二頁，共四十一頁。?7.2.1視頻會議系統(tǒng)的結(jié)構(gòu)(jiégòu)和標(biāo)準(zhǔn)三、視頻會議系統(tǒng)(xìtǒng)的標(biāo)準(zhǔn)一、視頻會議系統(tǒng)(xìtǒng)的分類二、視頻會議系統(tǒng)的結(jié)構(gòu)第三頁，共四十一頁。?一、視頻會議系統(tǒng)(xìtǒng)的分類點(diǎn)對點(diǎn)視頻會議系統(tǒng)(xìtǒng)多點(diǎn)視頻會議系統(tǒng)根據(jù)通信(tōngxìn)節(jié)點(diǎn)的數(shù)量，視頻會議系統(tǒng)可分為第四頁，共四十一頁。?點(diǎn)對點(diǎn)視頻會議系統(tǒng)支持兩個(gè)通信節(jié)點(diǎn)(jiédiǎn)間視頻會議通訊功能，它的主要業(yè)務(wù)是：

可視電話桌面視頻會議系統(tǒng)會議室型會議室視頻會議1.點(diǎn)對點(diǎn)的視頻會議系統(tǒng)(xìtǒng)第五頁，共四十一頁。?多點(diǎn)視頻會議系統(tǒng)允許三個(gè)或三個(gè)以上不同地點(diǎn)的參加者同時(shí)參與會議。多點(diǎn)視頻會議系統(tǒng)一個(gè)關(guān)鍵技術(shù)是多點(diǎn)控制(kòngzhì)問題，多點(diǎn)控制(kòngzhì)單元（MCU）在通訊網(wǎng)絡(luò)上控制(kòngzhì)各個(gè)點(diǎn)的視頻、音頻、通用數(shù)據(jù)和控制(kòngzhì)信號的流向，使與會者可以接收到相應(yīng)的視頻、音頻等信息，維持會議正常進(jìn)行。2.多點(diǎn)視頻會議系統(tǒng)(xìtǒng)第六頁，共四十一頁。?二、視頻會議系統(tǒng)(xìtǒng)的結(jié)構(gòu)

視頻會議終端多點(diǎn)控制器信道（網(wǎng)絡(luò)(wǎngluò)）控制管理軟件第七頁，共四十一頁。?

視頻會議系統(tǒng)結(jié)構(gòu)框圖(kuàngtú)

第八頁，共四十一頁。?完成視頻音頻信號的采集、編輯處理及輸出、視頻音頻數(shù)字信號的壓縮編碼和解碼，最后將符合國際標(biāo)準(zhǔn)的壓縮碼流經(jīng)線路接口送到信道，或從信道上將(shàngjiàng)標(biāo)準(zhǔn)壓縮碼流經(jīng)線路接口送到終端。1.視頻會議終端的主要(zhǔyào)功能第九頁，共四十一頁。?它的主要功能是對視頻、語音及數(shù)據(jù)信號進(jìn)行切換，例如(lìrú)它會把傳送到MCU某會場發(fā)言者的圖象信號切換到所有會場。對于語音信號，若同時(shí)有幾個(gè)發(fā)言，可以對它們進(jìn)行混合處理，選出最高的音頻信號，切換到其它會場。2.多點(diǎn)控制(kòngzhì)單元的功能（MCU-MultipointControlUnit）第十頁，共四十一頁。?信道(xìndào)（網(wǎng)絡(luò)）的主要功能是：保證視頻音頻數(shù)據(jù)壓縮碼流安全在信道(xìndào)上傳輸?shù)揭曨l會議系統(tǒng)的終端。3.信道(xìndào)的功能第十一頁，共四十一頁。?9、人的價(jià)值(jiàzhí)，在招收誘惑的一瞬間被決定。2023/1/52023/1/5Thursday,January5,202310、低頭要有勇氣，抬頭要有低氣。2023/1/52023/1/52023/1/51/5/20236:58:00PM11、人總是珍惜為得到。2023/1/52023/1/52023/1/5Jan-2305-Jan-2312、人亂于心，不寬余請。2023/1/52023/1/52023/1/5Thursday,January5,202313、生氣是拿別人做錯(cuò)的事來懲罰自己。2023/1/52023/1/52023/1/52023/1/51/5/202314、抱最大的希望，作最大的努力。05一月20232023/1/52023/1/52023/1/515、一個(gè)人炫耀什么，說明他內(nèi)心缺少什么。。一月232023/1/52023/1/52023/1/51/5/202316、業(yè)余生活要有意義，不要越軌。2023/1/52023/1/505January202317、一個(gè)人即使已登上頂峰，也仍要自強(qiáng)不息。2023/1/52023/1/52023/1/52023/1/5第十二頁，共四十一頁。QOS（QualityofService）安全(ānquán)保密4.控制(kòngzhì)管理軟件第十三頁，共四十一頁。?二、視頻會議系統(tǒng)(xìtǒng)的結(jié)構(gòu)終端(zhōnɡduān)多點(diǎn)控制器信道（網(wǎng)絡(luò)）控制管理軟件

QOS（QualityofService）

安全保密第十四頁，共四十一頁。?三、視頻會議系統(tǒng)(xìtǒng)的標(biāo)準(zhǔn)在20世紀(jì)80年代,國際電信聯(lián)盟(ITU)專門成立了一個(gè)小組研究(yánjiū)視頻會議,建立了一系列的建議和標(biāo)準(zhǔn).關(guān)于視頻會議最著名的標(biāo)準(zhǔn)是H.320系列和T.120系列建議.1994年以Intel為首的90多家計(jì)算機(jī)和通信公司聯(lián)合制定了一個(gè)個(gè)人會議標(biāo)準(zhǔn)PCS.第十五頁，共四十一頁。?第7章多媒體計(jì)算機(jī)的應(yīng)用(yìngyòng)技術(shù)7.1多媒體電子出版物的創(chuàng)作7.2多媒體會議系統(tǒng)7.3多媒體數(shù)據(jù)庫及基于內(nèi)容(nèiróng)檢索第十六頁，共四十一頁。?一、多媒體數(shù)據(jù)庫的關(guān)鍵技術(shù)1.多媒體數(shù)據(jù)大容量的存儲技術(shù)(1).光盤存儲子系統(tǒng)和高速大容量磁盤、光盤庫保存時(shí)間很長。(2).超媒體文檔和超媒體數(shù)據(jù)庫的隨機(jī)存取、檢索、存儲盤標(biāo)識和關(guān)系數(shù)據(jù)庫。在設(shè)計(jì)上僅支持表結(jié)構(gòu)的字母(zìmǔ)數(shù)字?jǐn)?shù)據(jù)。

第十七頁，共四十一頁。?2.多媒體應(yīng)用程序的數(shù)據(jù)庫組織多媒體系統(tǒng)數(shù)據(jù)組織：(1).數(shù)據(jù)獨(dú)立(2).通用分布式數(shù)據(jù)庫結(jié)構(gòu)(jiégòu)(3).多媒體對象管理(4).多重?cái)?shù)據(jù)服務(wù)器第十八頁，共四十一頁。?二、多媒體數(shù)據(jù)庫基于內(nèi)容檢索(jiǎnsuǒ)概述web上出現(xiàn)大量多媒體信息，例如:遙感、醫(yī)療、安全、商業(yè)(shāngyè)等部門，都會產(chǎn)生大量信息。第十九頁，共四十一頁。?1.IBM公司開發(fā)(kāifā)的QBIC是最具代表性的系統(tǒng)通過友好的界面為用戶提供顏色、紋理(wénlǐ)、草圖、形狀等多種檢索方法。系統(tǒng)以示例方式進(jìn)行查詢，查找物體的移動(dòng)，攝影機(jī)的操作。第二十頁，共四十一頁。?2.美國加州大學(xué)伯克利分校與

加州水資源部合作(hézuò)Chabot計(jì)劃，對水利資源部大量圖像提供基于內(nèi)容的有效(yǒuxiào)檢索手段。第二十一頁，共四十一頁。?3.麻省理工學(xué)院Photobook可以利用人臉Face(臉)、shape(形狀)、texture(紋理)進(jìn)行基于內(nèi)容的檢索。Virage系統(tǒng)又進(jìn)一步發(fā)展了將多種檢索特征(tèzhēng)的融合。第二十二頁，共四十一頁。?4.澳大利亞(àodàlìyà)NewSouthWales

澳大利亞NewSouthWales(新南威爾士大學(xué))已開發(fā)了NUTTAB系統(tǒng)。用于食品(shípǐn)成分?jǐn)?shù)據(jù)庫的檢索。第二十三頁，共四十一頁。?5.清華大學(xué)(qīnɡhuádàxué)計(jì)算機(jī)系清華大學(xué)計(jì)算機(jī)系結(jié)合863高技術(shù)研究發(fā)展項(xiàng)目“Web上基于內(nèi)容(nèiróng)圖像檢索”的研究。Internet/Intranet通過友好的人機(jī)界面可以對顏色、紋理或樣本圖像進(jìn)行圖像檢索。

第二十四頁，共四十一頁。?目前該系統(tǒng)已可對12000張學(xué)物照片高維特征建立了Gss—索引。采用Java語言來實(shí)現(xiàn)人機(jī)交互模塊。通過瀏覽器為用戶提供界面。檢索請求轉(zhuǎn)換為cbExpr基于內(nèi)容的檢索表達(dá)式，通過檢索引擎處理與網(wǎng)絡(luò)延遲(yánchí)相比，檢索時(shí)間基本上可以忽略，體現(xiàn)了較好的實(shí)時(shí)性。第二十五頁，共四十一頁。?基于內(nèi)容(nèiróng)檢索的系統(tǒng)結(jié)構(gòu)現(xiàn)有(xiànyǒu)的許多多媒體數(shù)據(jù)庫系統(tǒng)只提供基本媒體的描述、關(guān)鍵字一類的檢索和查詢，但很多的應(yīng)用要求數(shù)據(jù)庫系統(tǒng)能對圖像或聲音等媒體進(jìn)行內(nèi)容語義分析，已達(dá)到更深的檢索層次。因而有必要討論多媒體數(shù)據(jù)庫基于內(nèi)容的檢索與查詢方法。第二十六頁，共四十一頁。?基于內(nèi)容檢索的體系結(jié)構(gòu)第二十七頁，共四十一頁。?

用戶(yònghù)的查詢說明示例一般性描述相似性匹配(pǐpèi)返回一組候選(hòuxuǎn)結(jié)果滿意？結(jié)束修改查詢說明從候選結(jié)果中選擇一個(gè)示例YN特征調(diào)整,重新匹配的處理過程第二十八頁，共四十一頁。?(1)首先由用戶提交查詢要求，或啟用上述的查詢接口：

交互式輸入方式模板選擇輸入方式特征(tèzhēng)樣板輸入方式第二十九頁，共四十一頁。?(2)相似性匹配(pǐpèi)

將查詢的特征與數(shù)據(jù)庫中的特征按照一定的匹配算法進(jìn)行匹配。第三十頁，共四十一頁。?(3)返回候選結(jié)果滿足(mǎnzú)一定相似性的一組候選結(jié)果，按照相似度大小排列返回給用戶。第三十一頁，共四十一頁。?(4)特征調(diào)整a.用戶瀏覽一組初始特征查詢(cháxún)結(jié)果選擇滿意的結(jié)果。b.也可以從候選結(jié)果選擇一個(gè)示例，進(jìn)行特征調(diào)整。最后形成一個(gè)新的查詢，如此逐步縮小查詢范圍，直到用戶對查詢結(jié)果滿意為止。第三十二頁，共四十一頁。?基于(jīyú)內(nèi)容檢索的關(guān)鍵技術(shù)兩個(gè)關(guān)鍵技術(shù)：

多媒體特征提取技術(shù)和匹配算法(suànfǎ)相似性檢索技術(shù)。

第三十三頁，共四十一頁。?1.特征(tèzhēng)抽取

低層特征(原始特征)特征抽取

高層特征(邏輯特征)(1)語言信號的特征提取和匹配(pǐpèi)低層特征：基音、共振峰、線性預(yù)測、倒譜系數(shù)高層特征：聲紋特征、關(guān)鍵詞特征

第三十四頁，共四十一頁。?(2)靜態(tài)圖象的特征提取和匹配低層特征：紋理特征，顏色特征，幾何形狀特征，統(tǒng)計(jì)特征(立方圖)等。高層特征：人的臉部特征、表情特征、某些(mǒuxiē)物體和景物特征。第三十五頁，共四十一頁。?低層特征可用圖象處理方法自動(dòng)獲取；高層特征可以在某些約束條件下或知識(zhīshi)導(dǎo)引下，以低層特征為基礎(chǔ)推導(dǎo)得到。第三十六頁，共四十一頁。?(3)動(dòng)態(tài)視頻特征提取低層特征：鏡頭切換類型、特技效果、攝象機(jī)運(yùn)動(dòng)(yùndòng)、物體運(yùn)動(dòng)(yùndòng)軌跡、代表幀、全景圖。高層特征：描述鏡頭中的內(nèi)容或事件。第三十七頁，共四十一頁。?2.相似(xiānɡsì)索引結(jié)構(gòu)檢索：在高維空間中尋找指定(zhǐdìng)點(diǎn)距離最近的一組點(diǎn)的問題。采用順序比較法不能滿足實(shí)時(shí)檢索的要求，因此需建立一種有效索引結(jié)構(gòu)和檢索方法。第三十八頁，共四十一頁。?謝謝2023/1/52023/1/52023/1/52023/1/52023/1/52023/1/52023/1/52023/1/52023/1/52023/1/52023/1/52023/1/52023/1/5第三十九頁，共四十一頁。9、人的價(jià)值，在招收誘惑的一瞬間被決定。2023/1/52023/1/5Thursday,January5,202310、低頭要有勇氣，抬頭要有低氣。2023/1/52023/1/52023/1/51/5/20236:58:00PM11、人總是珍惜為得到。2023/1/52023/1/52023/1/5Jan-2305-Jan-2312、人亂于心，不寬余請。2023/1/52023/1/52023/1/5Thursday,January5,202313、生氣(shēngqì)是拿別人做錯(cuò)的事來懲罰自己。2023/1/52023/1/52023/1/52023/1/51/5/202314、抱最大的希望，作最大的努力。05一月20232023/1/52023/1/52023/1/515、一個(gè)人炫耀什么，說明他內(nèi)心缺少什么。。一月232023/1/52023/1/52023/1/51/5/202316、業(yè)余生活要有意義，不要越軌。2023/1/52023/1/505January202317、一個(gè)人即使已登上頂峰，也仍要自強(qiáng)不息。2023/1/52