第一講：數(shù)字媒體技術(shù)概述

1、數(shù)字媒體技術(shù)數(shù)字媒體技術(shù)課程課程 ( Digital Media Technology)第一講數(shù)字媒體技術(shù)概述(Introduction to Digital Media)蘇州大學數(shù)字媒體技術(shù)基礎課程提綱o 1.1 數(shù)字媒體的基本概念及其特點o 1.2 數(shù)字媒體技術(shù)的發(fā)展o 1.3 數(shù)字媒體的重要性o 1.4 數(shù)字媒體技術(shù)的原理o 1.5 數(shù)字媒體標準簡介o 1.6 數(shù)字媒體的傳播模式o 1.7 數(shù)字媒體處理系統(tǒng)o 1.8 數(shù)字媒體技術(shù)的應用2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程31.1 數(shù)字媒體的基本概念 蘇州大學數(shù)字媒體技術(shù)基礎課程o 什么是媒體？n 信息n 形式n 媒體o 什么是

2、數(shù)字媒體？n 模擬媒體n 數(shù)字媒體2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程中國信息技術(shù)發(fā)展o 我國信息領(lǐng)域還基本上處于模仿跟蹤、在別人的核心技術(shù)和平臺上錦上添花的階段。n 信息領(lǐng)域有數(shù)十項重大的技術(shù)發(fā)明，如集成電路、RISC體系結(jié)構(gòu)、Internet、Web瀏覽器、UNIX和Linux操作系統(tǒng)、圖形界面、鼠標等，沒有一項是中國人發(fā)明的。n 我國在信息領(lǐng)域的頂級國際學術(shù)會議上發(fā)表的重要論文還很少，申請的專利很少能形成技術(shù)跨越，多數(shù)是一些小的改進。n 以我國技術(shù)為主制定的國際技術(shù)標準還寥寥可數(shù)。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程我國在信息技術(shù)領(lǐng)域的成果n1956年的四項緊急措施（

3、計算機、電子學、半導體、自動化）；n原四機部731會議決定研制生產(chǎn)系列機（100系列、200系列）；n啟動“748工程”發(fā)展?jié)h字激光照排技術(shù)和產(chǎn)業(yè)；nCRT彩電產(chǎn)業(yè)大會戰(zhàn)取得成功；n采用多元集資方式引進人才創(chuàng)建中芯國際等芯片加工企業(yè)；n持續(xù)支持高性能計算機研制與推廣；n國家中長期科技規(guī)劃設立“核高基”和“無線通信”等重大專項等。n華為公司是我國信息領(lǐng)域發(fā)展高技術(shù)產(chǎn)業(yè)的成功案例。o 改革開放30年來，信息技術(shù)的普及，尤其是移動通信與互聯(lián)網(wǎng)技術(shù)的普及是信息化最大的成績。摘自李國杰院士2009年11月的科學時報的采訪2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程當前信息技術(shù)面臨的問題o 當前信息技術(shù)

4、面臨三座高墻n挖掘并行性和可擴展的困難挖掘并行性和可擴展的困難p要可擴展到億級并行度，惠及數(shù)十億用戶；n信息處理的高功耗信息處理的高功耗p要努力做出低功耗的信息系統(tǒng)n復雜信息系統(tǒng)安全可靠性低等復雜信息系統(tǒng)安全可靠性低等p要致力于研制高可信的信息系統(tǒng)n到到2020年左右，摩爾定律將不再有效，集成電路正在逐步進入年左右，摩爾定律將不再有效，集成電路正在逐步進入“后摩后摩爾時代爾時代”，必須更多地從，必須更多地從“Beyond CMOS”中尋找新的出路。中尋找新的出路。n計算機正逐步進入計算機正逐步進入“后后PC時代時代”，終端設備將從，終端設備將從“高大全高大全”向向“低小低小專專”（“專?！敝競€

5、性化）轉(zhuǎn)變，降低功耗是首要目標。指個性化）轉(zhuǎn)變，降低功耗是首要目標。n超級計算機的超級計算機的“千倍定律千倍定律”將失效，只在現(xiàn)有的技術(shù)基礎上作改進，將失效，只在現(xiàn)有的技術(shù)基礎上作改進，2030年肯定做不出年肯定做不出Zettaflops級（級（1021 flops）水平的計算機。進入）水平的計算機。進入“后后IP”時代是不可避免的發(fā)展過程，可能需要時代是不可避免的發(fā)展過程，可能需要20年時間才能真正突破年時間才能真正突破TCP/IP協(xié)議的局限。協(xié)議的局限。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程中國信息技術(shù)面臨的問題o 目前我國的計算機應用水平與國外相比至少相差10年以上，高性能計算機

6、的應用差距更大。o 既熟悉計算機技術(shù)又熟悉行業(yè)需求的學者太少，影響了信息技術(shù)的深入應用。o 信息科學與其他學科的交叉研究未得到足夠的重視。o 對基礎軟件和關(guān)鍵行業(yè)應用軟件缺乏高瞻遠矚和集中力量辦大事的戰(zhàn)略部署，軟件產(chǎn)業(yè)近幾年發(fā)展較快，但仍不盡如人意。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程o 截至目前，IT產(chǎn)業(yè)所長期依賴的CMOS半導體電路技術(shù)已經(jīng)遇到嚴重挑戰(zhàn)。摩爾定律如同燈塔照亮了半導體產(chǎn)業(yè)半個世紀的發(fā)展航程，到2020年左右這個燈塔將暗淡下來。不論是集成電路技術(shù)、互聯(lián)網(wǎng)絡技術(shù)，還是高性能計算機體系結(jié)構(gòu)和存儲技術(shù)，2020年前后都會在延續(xù)當前技術(shù)時遇到難以逾越的障礙。o 2020年至2

7、030年期間，芯片、計算機、互聯(lián)網(wǎng)、存儲器等都會發(fā)生革命性的變化，而換代技術(shù)的突破大概就在今后10到15年。o 我國信息技術(shù)未來的出路是下決心在選擇的重點方向上走跨越發(fā)展的道路，打造自主可控的基礎技術(shù)平臺。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程未來信息技術(shù)的發(fā)展前景o 20世紀后半葉是以信息技術(shù)發(fā)明和技術(shù)創(chuàng)新為標志的時代o 預計21世紀上半葉將興起一場以高性能計算和仿真、網(wǎng)絡科學、智能科學、計算思維為特征的信息科學革命，信息科學的突破可能會使21世紀下半葉出現(xiàn)一場新的信息技術(shù)革命2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程信息技術(shù)的尷尬信息技術(shù)的尷尬o 傳統(tǒng)的計算工具n結(jié)繩記事 沙漏

8、計時 算盤n簡單，可觸摸，易學習n觸覺和肌肉運動知覺o 現(xiàn)在的數(shù)字技術(shù)n功能強大，學習門檻高n人們必須不斷學習適應其發(fā)展n原因：生活經(jīng)驗毫無用處，界面本身就是新生事物蘇州大學數(shù)字媒體技術(shù)基礎課程信息空間和物理空間信息空間和物理空間( ( Bits & Atoms )A c to r1A c to r1POPOPOnEYPO:Physical objectEY:EntitynEYnEYMouse信息空間信息空間(Bits)物理空間物理空間(Atoms)蘇州大學數(shù)字媒體技術(shù)基礎課程信息空間和物理空間(Bits & Atoms )o 我們生活在兩個世界里：現(xiàn)實的物理世界和虛擬的信息世界 o 兩種身份

9、之間卻缺少一種無縫的、自然的轉(zhuǎn)換和交互方式 o 人們和信息空間的交互被局限于傳統(tǒng)的圖形用戶界面(GUI)中o 實際上，正是GUI把我們生活的物理世界和我們要訪問的信息世界隔離開來。蘇州大學數(shù)字媒體技術(shù)基礎課程信息空間和物理空間的融合信息空間：信息空間：存在于計算機和網(wǎng)絡中的存在于計算機和網(wǎng)絡中的數(shù)字化的信息、服務、數(shù)字化的信息、服務、計算和通信計算和通信物理空間：物理空間：真實存在的物理世界真實存在的物理世界普適計算普適計算融融 合合2、自發(fā)的交互、自發(fā)的交互1、綁定、綁定蘇州大學數(shù)字媒體技術(shù)基礎課程有人說：人類的文明史是從有文字開始的有人說：人類的文明史是從有文字開始的 但也有人講：自從有了

10、文字后文明就不再發(fā)展了但也有人講：自從有了文字后文明就不再發(fā)展了 紙業(yè)革命紙業(yè)革命蘇州大學數(shù)字媒體技術(shù)基礎課程中華文化、漢字與文字載體中華文化、漢字與文字載體 n漢字，漢文化的載體、中華文明之母漢字，漢文化的載體、中華文明之母n世界上最古老的三種文字之一世界上最古老的三種文字之一n古巴比倫楔形文字（古巴比倫楔形文字（5500年生存年生存3200年）年）n埃及圣書字（埃及圣書字（5000年生存年生存3000年）年）n中國古漢字（甲骨文）（中國古漢字（甲骨文）（3300年生存至今）年生存至今）蘇州大學數(shù)字媒體技術(shù)基礎課程造紙術(shù)發(fā)明人蔡倫造紙術(shù)發(fā)明人蔡倫火藥火藥印刷術(shù)：畢印刷術(shù)：畢昇昇 指南針指南針

11、中國四大發(fā)明中國四大發(fā)明 漢字中國人的第五大發(fā)明漢字中國人的第五大發(fā)明蘇州大學數(shù)字媒體技術(shù)基礎課程紙張的歷史作用n紙張紙張中國的四大發(fā)明之一中國的四大發(fā)明之一1800年以前，蔡倫發(fā)明紙張年以前，蔡倫發(fā)明紙張紙張譜寫人類文明紙張譜寫人類文明紙張用于書寫、印刷、閱讀紙張用于書寫、印刷、閱讀紙張是人類社會的交流工具紙張是人類社會的交流工具n政治、經(jīng)濟：政治、經(jīng)濟：社會組織、運行、記載社會組織、運行、記載n文化：文化：印刷、出版、社會的符號知識庫印刷、出版、社會的符號知識庫n紙張在出版業(yè)歷史上扮演紙張在出版業(yè)歷史上扮演關(guān)鍵角色的原因關(guān)鍵角色的原因n 價格便宜價格便宜n足夠結(jié)實足夠結(jié)實蘇州大學數(shù)字媒體技

12、術(shù)基礎課程載體與漢字的變遷載體與漢字的變遷 紙張發(fā)明紙張發(fā)明東漢末年公元東漢末年公元150150紙張使用紙張使用盛唐公元盛唐公元500500年年活字印刷活字印刷宋代公元宋代公元11001100年年古登堡機械印刷古登堡機械印刷1818世紀世紀激光照排激光照排公元公元19801980年年蘇州大學數(shù)字媒體技術(shù)基礎課程竹簡竹簡硅存儲硅存儲紙張紙張絲帛絲帛光磁光磁活字印刷活字印刷龜甲龜甲孔子孔子(公元前公元前551/479年）年）老子（春秋后期）老子（春秋后期）全息數(shù)字化全息數(shù)字化機械印刷機械印刷光電印刷光電印刷漢語拼音運動漢語拼音運動漢字簡化運動漢字簡化運動漢字信息化漢字信息化漢字中介化漢字中介化文化

13、大眾化文化大眾化穩(wěn)定、融合、創(chuàng)新是漢文化生存的法寶穩(wěn)定、融合、創(chuàng)新是漢文化生存的法寶五四新文化運動五四新文化運動載體與漢字的變遷載體與漢字的變遷 蘇州大學數(shù)字媒體技術(shù)基礎課程載體與漢字的變遷載體與漢字的變遷 真正的思想是抽象的，真正的思想是抽象的，抽象的東西只有用文字最容易表達抽象的東西只有用文字最容易表達文字是人類最需要保護的東西文字是人類最需要保護的東西保護漢字就是保護中華文明保護漢字就是保護中華文明法國總統(tǒng)希拉克：警告全世界警惕法國總統(tǒng)希拉克：警告全世界警惕InternetInternet時代的文字殖民時代的文字殖民蘇州大學數(shù)字媒體技術(shù)基礎課程發(fā)明與社會進步發(fā)明與社會進步紙的發(fā)明紙的發(fā)明

14、活字印刷術(shù)的發(fā)明活字印刷術(shù)的發(fā)明指南針的發(fā)明指南針的發(fā)明蒸汽機的發(fā)明蒸汽機的發(fā)明電的發(fā)明電的發(fā)明相機的發(fā)明相機的發(fā)明計算機計算機火火 藥藥塑塑 料料核核 能能克克 隆隆技術(shù)的極化技術(shù)的極化, , 引發(fā)失控引發(fā)失控學科的極化學科的極化, , 文理不交融文理不交融綠色科技綠色科技蘇州大學數(shù)字媒體技術(shù)基礎課程發(fā)明與社會進步發(fā)明與社會進步綠色科技綠色科技有助于人類與生態(tài)環(huán)境和諧發(fā)展的科技有助于人類與生態(tài)環(huán)境和諧發(fā)展的科技 對環(huán)境的索取與破壞最小對環(huán)境的索取與破壞最小 對人類生存與繁衍無害對人類生存與繁衍無害 自身有較好與強壯的自制力與生命力自身有較好與強壯的自制力與生命力 產(chǎn)生與消亡不會對生態(tài)與社會產(chǎn)

15、生威懾產(chǎn)生與消亡不會對生態(tài)與社會產(chǎn)生威懾蘇州大學數(shù)字媒體技術(shù)基礎課程n計算機的社會角色：計算機的社會角色： 計算計算 信息交流信息交流 智能服務智能服務信息交流信息交流(人類發(fā)展和人的成長人類發(fā)展和人的成長/計算機發(fā)展計算機發(fā)展)情感情感語言語言文字文字bits (簡單化、精確化簡單化、精確化) 情感情感語言語言文字文字bits (聲波nHigher pitches are caused by higher frequencies of vibrating molecules that reach your eardrum. nLower pitches are likewise caused

16、 by lower frequencies.o 影像-電磁波n光：在空間坐標上具有不同亮度的電磁波n顏色：波長（紅色為最長的可見波）o 波：由波長和頻率刻畫wavelengthn2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程波長/頻譜Long radio waves MicrowavesX-raysGamma raysTV, FMInfraredUltraviolet700 nm600 nm500 nm400 nm4.5x1014 Hz5x1014 Hz6x1014 Hz7x1014 Hzn2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程數(shù)字化過程o 三步驟n采樣（Sampling）n量化（Qu

17、antizing）n壓縮（Compression）與編碼（Coding）SamplerQuantizer&Coderanalog signalsampled signaldigitized signal2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程Step 1: 采樣與失真o 通過某種頻率的采樣脈沖將模擬信息的值取出，變連續(xù)的模擬信息為離散信號。o 采樣定理：采樣頻率原始信號頻率的2倍時， 采樣信號才可以保真地恢復為原始信號。n2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程Step 2:量化與失真o 將采樣樣本的幅度按照量化級別決定其取值的過程。目的是將采樣樣本的幅度值離散化。o 量化之前需要

18、規(guī)定量化級，比如8級，16級，256級等。o 量化是一個對一的映射。n2022-5-12例如：畫圖軟件的顏色級別例如：畫圖軟件的顏色級別蘇州大學數(shù)字媒體技術(shù)基礎課程為什么感知很重要？o 失真評價的基礎o http:/www.libertarian.on.ca/images/Florida%20Recount.jpg2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程Step 3:編碼與壓縮o 編碼n用相應位數(shù)的二進制代碼表示量化后的采樣樣本的量級。n如果有N個量化級為，那么對應的二進制位數(shù)就為log2N。當N16，二進制需要4位。n經(jīng)過編碼之后，每個樣本都表示為相應的二進制代碼。o 脈沖編碼調(diào)制（P

19、CM，Pulse Code Modulation）,完成模擬信號的數(shù)字化2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程為什么需要數(shù)據(jù)壓縮？o 壓縮編碼的理論基本原理n從信息論的角度來看，壓縮就是去掉信息中的冗余，即保留不確定的信息，去除確定的信息(可推知的)，也就是用一種更接近信息本質(zhì)的描述來代替原有冗余的描述。o 信息冗余的例子n你的朋友，Helen，將于明天晚上6點零5分在上海的虹橋機場接你。 (23*2+10=56個半角字符)n你的朋友將于明天晚上 6點零5分在虹橋機場接你。 (20*2+3=43個半角字符）nHelen將于明晚6點在虹橋接你。 (10*2+7=27個半角字符）n結(jié)論：只

20、要接收端不會產(chǎn)生誤解，就可以減少承載信息的數(shù)據(jù)量。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程多媒體領(lǐng)域中的冗余分類o 統(tǒng)計冗余n空間冗余規(guī)則物體的物理相關(guān)性n時間冗余視頻與動畫畫面間以及音頻幀間的相關(guān)性o 信息熵冗余n編碼冗余數(shù)據(jù)與攜帶的信息o 結(jié)構(gòu)冗余n紋理冗余規(guī)則紋理、相互重疊的結(jié)構(gòu)表面o 視/聽覺冗余n視覺、聽覺敏感度和非線性感覺o 知識冗余n憑借經(jīng)驗識別n2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程數(shù)據(jù)壓縮o 數(shù)據(jù)壓縮可分成兩種類型n無損壓縮n有損壓縮 o 無損壓縮n指使用壓縮后的數(shù)據(jù)進行重構(gòu)(或者叫做還原，解壓縮)，重構(gòu)后的數(shù)據(jù)與原來的數(shù)據(jù)完全相同n用于要求重構(gòu)的信號與原始信號

21、完全一致的場合。一個很常見的例子是磁盤文件的壓縮。o 有損壓縮n指使用壓縮后的數(shù)據(jù)進行重構(gòu)，重構(gòu)后的數(shù)據(jù)與原來的數(shù)據(jù)有所不同，但不影響人對原始資料表達的信息造成誤解。n適用于重構(gòu)信號不一定非要和原始信號完全相同的場合。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程壓縮策略o 無損壓縮(Lossless Compression)n哈夫曼編碼(Huffman Coding)n自適應哈夫曼編碼nLempel-Ziv-Welch (LZW)p 用于GIFnJPEG-LSo 有損壓縮(Lossy Compression)nJPEGnH.261, MPEG-1, MPEG-2o 無損+有損(Lossles

22、s and Lossy Together)nJPEG 20002022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程數(shù)據(jù)壓縮的性能指標o 衡量壓縮算法的三個主要性能指標（1）壓縮比；（2）壓縮質(zhì)量（失真）；（3）壓縮與解壓縮的速度。o 不能兼得時，要綜合考慮。o 壓縮質(zhì)量評價n主觀評價 ：平均意見得分（MOS）、五分制（優(yōu)良中差劣）n客觀評價：均方誤差、加權(quán)均方誤差、信噪比、峰值信噪比（圖像）、分段信噪比（音頻）、似然比、譜失真測度2210log10)(rxdBSNR22max10log10)(rxdBPSNRn2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程編碼方式舉例：哈夫曼編碼(Huffman C

23、oding)o Huffman編碼屬于信息熵編碼的方法之一，是根據(jù)信源符號出現(xiàn)概率的分布特性而進行的壓縮編碼。o 也稱為最佳編碼，平均碼長最短。o 編碼過程：n1. 初始化:將信源符號按頻率遞減順序排列,輸入L;n2. 重復如下操作直至L中只有1個結(jié)點: (a)從L中取得兩個具有最低頻率的結(jié)點，為它們創(chuàng)建一個父結(jié)點； (b)將它們的頻率和賦給父結(jié)點，并將其插入L;(c) 將樹的左右孩子賦符號“0”和“1”，并從L中刪除。 2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程哈夫曼編碼(Huffman Coding)示例o輸入： “ALOHA HAWAII”o頻率： 4A, 2H, 2I, 1L, 1

24、O, 1 space, 1Wo96 bits (8 bits * 12 characters) to 32 bits:AIHLspaceWO010000011111A=0, I=100, H=101, L=1100, space=1101, etc.例子：Java applet example at http:/www.cs.sfu.ca/CC/365/li/squeeze/index.html2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程媒體表示o 顏色模型n顏色科學nRGB顏色模型：最基本的表示模型nYUV顏色模型：用于PAL電視信號傳輸，中國采用nYCbCr色彩模型：數(shù)字視頻常用的顏色模

25、型。o 圖形和圖像的表示o 視頻的表示o 數(shù)字音頻表示2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程人眼視覺特性與顏色模型人眼視覺特性與顏色模型o 人眼的視覺特性人眼的視覺特性n可見光譜：人眼能看到的光譜范圍從可見光譜：人眼能看到的光譜范圍從380納米到納米到780納米。納米。n不同波長對應不同色彩感覺，不同強度和強度分布的光刺激人眼。不同波長對應不同色彩感覺，不同強度和強度分布的光刺激人眼。n人眼的臨界閃爍頻率為人眼的臨界閃爍頻率為46HZ。因此要求每秒鐘攝取的畫面數(shù)約為。因此要求每秒鐘攝取的畫面數(shù)約為25幀左右。幀左右。o 顏色科學顏色科學n色彩是人類視覺對可見光的感知結(jié)果，在可見光譜內(nèi)不

26、同波長的光會色彩是人類視覺對可見光的感知結(jié)果，在可見光譜內(nèi)不同波長的光會引起不同顏色感覺。引起不同顏色感覺。n三基色原理三基色原理：將紅、綠、藍三種顏色按照不同的比例進行組合，就可：將紅、綠、藍三種顏色按照不同的比例進行組合，就可以引起人眼對自然界的全部顏色感覺。以引起人眼對自然界的全部顏色感覺。顏色顏色紅色紅色橙色橙色黃色黃色綠色綠色青色青色藍色藍色紫色紫色波長波長700620580546480436380n2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程人眼視覺特性與顏色模型o 顏色模型顏色模型nRGB色彩模型色彩模型：彩色最基本模型，適合于計算機系統(tǒng)：彩色最基本模型，適合于計算機系統(tǒng);nC

27、MY(CMYK)色彩模型色彩模型：用于印刷：用于印刷;nYUV(亮度、色差亮度、色差)色彩模型色彩模型：用于：用于PAL電視信號傳輸；電視信號傳輸；nYIQ色彩模型色彩模型：用于：用于NTSC彩色電視廣播；彩色電視廣播；nYCbCr色彩模型色彩模型：數(shù)字視頻常用的顏色模型。：數(shù)字視頻常用的顏色模型。n2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程RGB顏色模型oRGB顏色模型是彩色最基本的表示模型。oRGB分別代表三種基本顏色紅(red)、綠(green)、藍(blue)三色，每種顏色的亮度大小用數(shù)字0-255表示。o通過對R、G、B三個顏色通道的變化以及它們相互之間的疊加可得到各式各樣的顏色

28、，共有1670萬種顏色。 R=G=B=0 黑色 R=G=B=255 白色 0R=G=B255 灰色2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程其他顏色模型o YUV顏色模型顏色模型nY表示亮度信號，可構(gòu)成灰色圖像，表示亮度信號，可構(gòu)成灰色圖像，U、V表示色度信號，表示色度信號，是構(gòu)成色彩的兩分量。是構(gòu)成色彩的兩分量。nYUV空間相當于對空間相當于對RGB空間做了一個解相關(guān)的線性變化。空間做了一個解相關(guān)的線性變化。nYUV的最初作為模擬電視系統(tǒng)信號編碼的最初作為模擬電視系統(tǒng)信號編碼p其亮度信號和色差信號分離，容易使彩色電視系統(tǒng)與只對亮度敏其亮度信號和色差信號分離，容易使彩色電視系統(tǒng)與只對亮度敏

29、感的黑白電視機亮度信號兼容。感的黑白電視機亮度信號兼容。pPAL制式電視系統(tǒng)就采用該空間進行傳輸，電視機接收后再轉(zhuǎn)換制式電視系統(tǒng)就采用該空間進行傳輸，電視機接收后再轉(zhuǎn)換成成RGB空間?？臻g。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程其他顏色模型o YCbCr色彩模型色彩模型nYCbCr顏色空間是由顏色空間是由YUV顏色空間派生的一種顏色空間，顏色空間派生的一種顏色空間，主要用于數(shù)字電視系統(tǒng)中。主要用于數(shù)字電視系統(tǒng)中。nY代表亮度，代表亮度，Cb和和Cr代表色差。代表色差。nYCbCr顏色模型考慮的是壓縮時可以充分取出冗余量。顏色模型考慮的是壓縮時可以充分取出冗余量。n從從RGB到到Y(jié)CbC

30、r的轉(zhuǎn)換中，輸入、輸出都是的轉(zhuǎn)換中，輸入、輸出都是8位二進制位二進制格式。格式。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程圖形和圖像的表示o 圖像的基本屬性n分辨率：組成圖像的像素數(shù)目n顏色深度(位數(shù))：存儲每個像素所用位數(shù)p如：640480256色(即8位) 300kn真彩色和偽彩色：顯示圖像時，真彩色由R、G、B直覺決定顯示設備的基色強度，而偽彩色則通過顏色查找表來決定。o 主要的圖像文件格式nJPEG (Joint Picture Expert Group)：有損壓縮；多用于照片；nGIF (Graphics Interchange Format)：無損壓縮，最多256色，可透明，可

31、動畫；多用于小圖標；nTIFF (Tag Image File Format)：未壓縮或簡單壓縮；多用于掃描及傳真；nBMP (Bitmap)：Windows中的位圖，一般未壓縮；nEPS (Encapsulated PostScript )：矢量繪圖軟件和排版軟件所使用的格式。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程圖形和圖像的表示和存儲方法o 矢量圖矢量圖(Vector)：多用于圖形：多用于圖形n用一組命令來描述圖形，這些命令給出構(gòu)成圖形的各種屬性和參數(shù)，如圓可用一組命令來描述圖形，這些命令給出構(gòu)成圖形的各種屬性和參數(shù)，如圓可以是圓心坐標、半徑以及粗細和色彩組成的。以是圓心坐標、半徑

32、以及粗細和色彩組成的。n優(yōu)點：圖形文件占用空間較少。優(yōu)點：圖形文件占用空間較少。n缺點：圖形復雜時，耗時相對較長。缺點：圖形復雜時，耗時相對較長。o 位圖位圖(Bitmap)：多用于圖像：多用于圖像n在空間和色彩上已經(jīng)離散化的圖片，通過描述畫面中每一像素的顏色或亮度在空間和色彩上已經(jīng)離散化的圖片，通過描述畫面中每一像素的顏色或亮度來表示該圖像，非常適合表現(xiàn)包含大量細節(jié)的圖片來表示該圖像，非常適合表現(xiàn)包含大量細節(jié)的圖片(如明暗、濃淡、層次和如明暗、濃淡、層次和色彩變化等色彩變化等)。 n優(yōu)點：色彩和色調(diào)變化豐富，景物逼真。優(yōu)點：色彩和色調(diào)變化豐富，景物逼真。 n缺點：縮放等處理后易失真，數(shù)據(jù)量大

33、。缺點：縮放等處理后易失真，數(shù)據(jù)量大。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程圖形和圖像的表示和存儲方法2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程視頻的概念o 視頻：動態(tài)圖像，是一組圖像按時間順序的連續(xù)展示。視頻：動態(tài)圖像，是一組圖像按時間順序的連續(xù)展示。n利用人眼視覺暫留的原理，通過播放一系列的圖片，使人眼產(chǎn)利用人眼視覺暫留的原理，通過播放一系列的圖片，使人眼產(chǎn)生運動的感覺。生運動的感覺。o 視頻的三要素：視頻的三要素：n空間分辨率（即屏幕上的點數(shù)）空間分辨率（即屏幕上的點數(shù)）n顏色分辨率（即每個點的顏色位數(shù)）顏色分辨率（即每個點的顏色位數(shù)）n時間分辨率（即每秒的幀數(shù)）時間分辨率（

34、即每秒的幀數(shù)）o 按信號組成和存儲方式的不同：按信號組成和存儲方式的不同：n模擬視頻模擬視頻：是由連續(xù)的模擬信號組成的圖像序列，像電影、電：是由連續(xù)的模擬信號組成的圖像序列，像電影、電視和錄像的畫面；視和錄像的畫面；n數(shù)字視頻數(shù)字視頻：是一系列連續(xù)的數(shù)字圖像序列。：是一系列連續(xù)的數(shù)字圖像序列。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程視頻的概念視頻的概念o 基本概念基本概念n幀幀：一段視頻中的每一幅圖像稱為一幀。根據(jù)視覺暫留原理，：一段視頻中的每一幅圖像稱為一幀。根據(jù)視覺暫留原理，要使人的視覺產(chǎn)生連續(xù)的動態(tài)感覺，每秒鐘圖像的播放幀數(shù)要要使人的視覺產(chǎn)生連續(xù)的動態(tài)感覺，每秒鐘圖像的播放幀數(shù)要在

35、在2430幀頻（每秒播放的幀數(shù)）。幀頻（每秒播放的幀數(shù)）。n掃描掃描：傳送電視圖像時，將每幅圖像分解成很多像素，按照一：傳送電視圖像時，將每幅圖像分解成很多像素，按照一個一個像素、一行一行的方式順序傳送或接收。掃描行數(shù)（掃個一個像素、一行一行的方式順序傳送或接收。掃描行數(shù)（掃描分辨率）越多，電視清晰度越高。分描分辨率）越多，電視清晰度越高。分隔行掃描隔行掃描（常用）和（常用）和逐逐行掃描行掃描。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程模擬視頻（電視）模擬視頻（電視）o采用隔行掃描技術(shù)：先掃奇數(shù)行，后掃描偶數(shù)行采用隔行掃描技術(shù)：先掃奇數(shù)行，后掃描偶數(shù)行o模擬視頻制式模擬視頻制式nNTSC(

36、美國、日本）美國、日本）30幀幀/秒，秒，525行行/幀幀nPAL (西歐、中國）西歐、中國）25幀幀/秒，秒， 625行行/幀幀nSECAM（俄、法）（俄、法）n注：電影是注：電影是24幀幀/秒秒TV制式制式NTSC PALSECAM幀頻幀頻(Hz)302525行行/幀幀525625625亮度帶寬亮度帶寬(MHz)4.26.06.0彩色幅載波彩色幅載波(MHz)3.584.434.25聲音載波聲音載波(MHz)pal: 25幀幀/秒秒 ntsc:30幀幀/秒秒不同模擬電視制式的主要技術(shù)參數(shù)不同模擬電視制式的主要技術(shù)參數(shù)n2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程數(shù)字視頻

37、數(shù)字視頻o數(shù)字視頻的優(yōu)點數(shù)字視頻的優(yōu)點n便于存儲和傳輸，適合于網(wǎng)絡應用便于存儲和傳輸，適合于網(wǎng)絡應用n抗干擾能力強，再現(xiàn)性好抗干擾能力強，再現(xiàn)性好n便于計算機編輯處理便于計算機編輯處理n增加交互性增加交互性o常見的數(shù)字視頻文件格式常見的數(shù)字視頻文件格式nMPG： 采用采用MPEG組織制定的視頻壓縮編碼算法生成的視頻文件。平均壓縮比為組織制定的視頻壓縮編碼算法生成的視頻文件。平均壓縮比為50 1，最高可達最高可達200 1。 VCD、SVCD、DVD均采用均采用MPEG視頻標準。視頻標準。nAVI：微軟公司推出的一種音頻視像交插記錄的數(shù)字視頻文件格式。：微軟公司推出的一種音頻視像交插記錄的數(shù)字視

38、頻文件格式。nMOV： Apple公司在其生產(chǎn)的公司在其生產(chǎn)的Macintosh機（后移植于機（后移植于PC/Windows環(huán)境）推出的視頻格式，環(huán)境）推出的視頻格式，可以采用不壓縮或壓縮的方式。可以采用不壓縮或壓縮的方式。 nRM： RealNetworks公司所制定的音頻視頻壓縮文件格式，根據(jù)網(wǎng)絡數(shù)據(jù)傳輸速率的不同公司所制定的音頻視頻壓縮文件格式，根據(jù)網(wǎng)絡數(shù)據(jù)傳輸速率的不同制定了不同的壓縮比率，能用于流媒體播放。制定了不同的壓縮比率，能用于流媒體播放。nWMV： Microsoft公司出品的視頻格式文件，具有本地或網(wǎng)絡回放、可伸縮的媒體類型、公司出品的視頻格式文件，具有本地或網(wǎng)絡回放、可伸

39、縮的媒體類型、流的優(yōu)先級化等特點。流的優(yōu)先級化等特點。nASM：AVS的視頻文件格式。的視頻文件格式。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程數(shù)字視頻數(shù)字視頻o 數(shù)字視頻的應用數(shù)字視頻的應用n廣播電視廣播電視 ，包括地面、衛(wèi)星電視廣播、有線電視，包括地面、衛(wèi)星電視廣播、有線電視 (CATV)、數(shù)、數(shù)字視頻廣播字視頻廣播(DVB)、交互式電視、交互式電視(ITV)、高清晰度電視、高清晰度電視(HDTV)。n通信，包括可視電話通信，包括可視電話(Videophone)、視頻會議、視頻會議(Videoconferencing)、視頻點播、視頻點播(VOD) 等。等。n個人娛樂：錄象節(jié)目、個人娛

40、樂：錄象節(jié)目、VCD 、DVD 、電視購物、家庭攝像、電視購物、家庭攝像、視頻游戲等。視頻游戲等。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程數(shù)字電視數(shù)字電視o 數(shù)字電視（數(shù)字電視（DTV）的定義：）的定義：n指從電視節(jié)目采集、錄制、播出到發(fā)射、接收全部采用數(shù)字編指從電視節(jié)目采集、錄制、播出到發(fā)射、接收全部采用數(shù)字編碼與數(shù)字傳輸技術(shù)的新一代電視技術(shù)。碼與數(shù)字傳輸技術(shù)的新一代電視技術(shù)。n它可以劃分為它可以劃分為 3大部分：信源部分（發(fā)送端）、信道部分（傳大部分：信源部分（發(fā)送端）、信道部分（傳輸輸/存儲過程）和信宿部分（接收端）。存儲過程）和信宿部分（接收端）。o 數(shù)字電視分類：根據(jù)圖像比特率

41、的大小數(shù)字電視分類：根據(jù)圖像比特率的大小n標準清晰度數(shù)字電標準清晰度數(shù)字電 視（視（SDTV）n高清晰度數(shù)字電視（高清晰度數(shù)字電視（HDTV）2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程數(shù)字電視數(shù)字電視o 數(shù)字電視的優(yōu)點數(shù)字電視的優(yōu)點:n高清晰度的電視畫面：可以可與高清晰度的電視畫面：可以可與DVD相媲美（最低：相媲美（最低：1280720，最，最高：高：19201080）。）。 n優(yōu)質(zhì)的音響效果：伴音可以達到優(yōu)質(zhì)的音響效果：伴音可以達到CD質(zhì)量。質(zhì)量。 n豐富的節(jié)目內(nèi)容，有線網(wǎng)的帶寬利用率更高。豐富的節(jié)目內(nèi)容，有線網(wǎng)的帶寬利用率更高。 n抗干擾功能力強，畫面更穩(wěn)定?？垢蓴_功能力強，畫面更穩(wěn)

42、定。 n擴展功能多：機頂盒除了一些基本功能外，還有許多擴展功能如上擴展功能多：機頂盒除了一些基本功能外，還有許多擴展功能如上網(wǎng)、點播、股票查詢、在線交易、遠程教育等。網(wǎng)、點播、股票查詢、在線交易、遠程教育等。o HDTV：由它所能提供的畫面質(zhì)量定義的。：由它所能提供的畫面質(zhì)量定義的。n分辨率分辨率：HDTV畫面水平和垂直的像素目都差不多是常規(guī)系統(tǒng)的畫面水平和垂直的像素目都差不多是常規(guī)系統(tǒng)的2倍。倍。垂直方向的高清晰度是由垂直方向的高清晰度是由1000多行的掃描線獲得的。需要大約為傳統(tǒng)多行的掃描線獲得的。需要大約為傳統(tǒng)58倍的視頻帶寬。倍的視頻帶寬。n寬高比寬高比：HDTV畫面的指定寬高比為畫面

43、的指定寬高比為16:9=1.777。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程數(shù)字音頻的概念數(shù)字音頻的概念o 聲音的基本概念聲音的基本概念n聲音是通過一定介質(zhì)傳播的一種連續(xù)波。聲音是通過一定介質(zhì)傳播的一種連續(xù)波。n主要參數(shù)包括：振幅（音量的大?。⒅芷冢ㄖ貜统霈F(xiàn)的時間主要參數(shù)包括：振幅（音量的大?。⒅芷冢ㄖ貜统霈F(xiàn)的時間間隔）、頻率（指信號每秒鐘變化的次數(shù)）。間隔）、頻率（指信號每秒鐘變化的次數(shù)）。n聲音按頻率分類聲音按頻率分類次聲波次聲波可聽聲波可聽聲波超聲波超聲波20Hz20kHzf(Hz)2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程數(shù)字音頻的概念數(shù)字音頻的概念o 數(shù)字音頻的三要素數(shù)

44、字音頻的三要素n采樣頻率采樣頻率：根據(jù)奈奎斯特理論，采樣頻率不低于聲音信號最高頻率的兩倍。：根據(jù)奈奎斯特理論，采樣頻率不低于聲音信號最高頻率的兩倍。這樣就能把數(shù)字表達的聲音還原成原來的聲音，稱為無損數(shù)字化。這樣就能把數(shù)字表達的聲音還原成原來的聲音，稱為無損數(shù)字化。 n采樣精度采樣精度：用樣本值的二進制位數(shù)來表示。位數(shù)越多精度越高，數(shù)據(jù)也越大。：用樣本值的二進制位數(shù)來表示。位數(shù)越多精度越高，數(shù)據(jù)也越大。量化等級量化等級n聲道數(shù)聲道數(shù)：使用聲音通道的個數(shù)。立體聲比單聲道的表現(xiàn)力豐富，但數(shù)據(jù)量翻：使用聲音通道的個數(shù)。立體聲比單聲道的表現(xiàn)力豐富，但數(shù)據(jù)量翻倍。倍。n數(shù)據(jù)量采樣頻率數(shù)據(jù)量采樣頻率量化位數(shù)

45、量化位數(shù)聲道數(shù)聲道數(shù)/8(字節(jié)字節(jié)/秒秒)，如，如CD音質(zhì)：音質(zhì)：44.1kHz X 16位位 X 2 =176KB/s 。o 數(shù)字音頻的常見文件格式數(shù)字音頻的常見文件格式nWAV：是：是Microsoft/IBM共同開發(fā)的共同開發(fā)的PC波形文件。因未經(jīng)壓縮，文件數(shù)據(jù)量波形文件。因未經(jīng)壓縮，文件數(shù)據(jù)量很大。特點是聲音層次豐富，還原音質(zhì)好。很大。特點是聲音層次豐富，還原音質(zhì)好。nMP3：按：按MPEG標準的音頻壓縮技術(shù)制作的音頻文件。特點是高壓縮比標準的音頻壓縮技術(shù)制作的音頻文件。特點是高壓縮比(11:1)，優(yōu)美音質(zhì)。，優(yōu)美音質(zhì)。nMIDI(樂器數(shù)字接口樂器數(shù)字接口)：是由一組聲音或樂器符號的集

46、合，特點是數(shù)據(jù)量很小，：是由一組聲音或樂器符號的集合，特點是數(shù)據(jù)量很小，缺乏重現(xiàn)自然音。缺乏重現(xiàn)自然音。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程其他數(shù)字媒體其他數(shù)字媒體o 動畫動畫n利用人的視覺殘留特性使連續(xù)的靜利用人的視覺殘留特性使連續(xù)的靜態(tài)播放的靜態(tài)畫面相互銜接而形成態(tài)播放的靜態(tài)畫面相互銜接而形成的動態(tài)效果。的動態(tài)效果。n動畫性質(zhì)動畫性質(zhì)p幀動畫：幀動畫：構(gòu)成動畫的基本單位是幀，構(gòu)成動畫的基本單位是幀，一部動畫由許多幀組成。借鑒傳統(tǒng)動畫一部動畫由許多幀組成。借鑒傳統(tǒng)動畫的概念，每幀的內(nèi)容不同，當連續(xù)播放的概念，每幀的內(nèi)容不同，當連續(xù)播放時，形成動畫視覺效果。時，形成動畫視覺效果。p矢

47、量動畫：矢量動畫：是經(jīng)過計算機計算而生成是經(jīng)過計算機計算而生成的動畫，畫面只有一幀；通常采用編程的動畫，畫面只有一幀；通常采用編程方式制作，及某些工具軟件。方式制作，及某些工具軟件。n動畫制作動畫制作p如如 Flash （二維動畫）（二維動畫） n擴展名為擴展名為.swfn閃客閃客p如如 3D MAX， Maya（三維動畫）（三維動畫）2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程其他數(shù)字媒體其他數(shù)字媒體o 數(shù)字游戲數(shù)字游戲n采用數(shù)字技術(shù)實現(xiàn)的電子游戲，包括視頻游戲、網(wǎng)絡游戲采用數(shù)字技術(shù)實現(xiàn)的電子游戲，包括視頻游戲、網(wǎng)絡游戲和移動游戲等。和移動游戲等。o 虛擬現(xiàn)實虛擬現(xiàn)實n利用計算機生成的虛擬

48、環(huán)境，具有沉浸感、交互性和構(gòu)想利用計算機生成的虛擬環(huán)境，具有沉浸感、交互性和構(gòu)想性性(I3)特性。特性。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程媒體分發(fā)和傳輸媒體分發(fā)和傳輸o為什么需要研究媒體傳輸（而不是僅僅采用傳統(tǒng)的文件傳輸方法）？為什么需要研究媒體傳輸（而不是僅僅采用傳統(tǒng)的文件傳輸方法）？n與其他數(shù)據(jù)一樣，多媒體數(shù)據(jù)存儲在文件系統(tǒng)中。與其他數(shù)據(jù)一樣，多媒體數(shù)據(jù)存儲在文件系統(tǒng)中。n但多媒體數(shù)據(jù)的訪問有特別的時限要求。例如，視頻必須以每秒但多媒體數(shù)據(jù)的訪問有特別的時限要求。例如，視頻必須以每秒24-30幀的幀率來幀的幀率來顯示，而視頻的傳輸和分發(fā)必須確保此幀率。即顯示，而視頻的傳輸和分發(fā)

49、必須確保此幀率。即視頻傳輸有視頻傳輸有QoS（服務質(zhì)量）要求。（服務質(zhì)量）要求。o媒體流化媒體流化/流媒體流媒體nStreaming is delivering a multimedia file from a server to a client such that it can be processed as a steady and continuous stream - typically the deliver occurs over a network connection.n流媒體流媒體(可流化媒體可流化媒體)：Video、Audio、PowerPoint、Flash/Shock

50、wave、VR、3DSERVERCLIENTstream2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程媒體分發(fā)和傳輸o 流化方式分類流化方式分類n持續(xù)下載持續(xù)下載(Progressive download)：當多媒體文件分發(fā)并存儲到客戶：當多媒體文件分發(fā)并存儲到客戶端后才支持媒體重放；端后才支持媒體重放；n實時流化實時流化(Real-time streaming)：多媒體文件由流媒體服務器向客戶：多媒體文件由流媒體服務器向客戶端連續(xù)、實時傳送，客戶不必等到整個文件全部下載完畢。端連續(xù)、實時傳送，客戶不必等到整個文件全部下載完畢。o 媒體分發(fā)方式媒體分發(fā)方式n單播單播(unicast)：源：源(

51、服務器服務器)和目的地和目的地(客戶端客戶端)之間進行一對一的傳輸。之間進行一對一的傳輸。如果目的地量太大，源和網(wǎng)絡的負載能力有限，會超負荷造成播放如果目的地量太大，源和網(wǎng)絡的負載能力有限，會超負荷造成播放質(zhì)量下降。質(zhì)量下降。n多播流多播流(Multicast)：源和目的地之間進行多對一的傳輸，網(wǎng)絡中的：源和目的地之間進行多對一的傳輸，網(wǎng)絡中的同一多播組中的目的地共享同一信息流，可以有效的節(jié)省網(wǎng)絡帶寬。同一多播組中的目的地共享同一信息流，可以有效的節(jié)省網(wǎng)絡帶寬。n廣播廣播(Broadcast)：流媒體從一個源：流媒體從一個源(服務器端的應用服務器端的應用)發(fā)送出去后，發(fā)送出去后，同一網(wǎng)段上的所

52、有目的地同一網(wǎng)段上的所有目的地(客戶端應用客戶端應用)均可以接收到，廣播可以看均可以接收到，廣播可以看作組播的一個特例。作組播的一個特例。2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程媒體分發(fā)和傳輸媒體分發(fā)和傳輸o 流媒體傳輸協(xié)議流媒體傳輸協(xié)議n實時傳輸協(xié)議實時傳輸協(xié)議(RealTime Transportation Protocol, RTP)n實時流協(xié)議實時流協(xié)議(RealTime Streaming Protocol, RTSP)n實施傳輸控制協(xié)議實施傳輸控制協(xié)議(RealTime Transportation Control Protocol, RTCP)n資源預約協(xié)議資源預約協(xié)議(R

53、esource Reservation Protocol, RSVP)o詳細內(nèi)容將在詳細內(nèi)容將在“第第9講：網(wǎng)絡流媒體技術(shù)講：網(wǎng)絡流媒體技術(shù)”進一步講述。進一步講述。RTSP協(xié)議2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程媒體分析與檢索o 媒體檢索方面存在的挑戰(zhàn)媒體檢索方面存在的挑戰(zhàn)n不能直接進行基于文本的查詢和檢索；不能直接進行基于文本的查詢和檢索；n怎樣分析或描述媒體怎樣分析或描述媒體(圖像圖像/視頻視頻/音頻音頻)內(nèi)容和語義；內(nèi)容和語義；n如何索引圖像如何索引圖像/視頻視頻/音頻；音頻；n快速檢索處理和準確的檢索結(jié)果；快速檢索處理和準確的檢索結(jié)果；o 基于內(nèi)容的媒體分析與檢索基于內(nèi)容的

54、媒體分析與檢索(CBR)n特征提?。禾崛》从硤D像特征提?。禾崛》从硤D像/視頻視頻/音頻內(nèi)容的顏色、紋理音頻內(nèi)容的顏色、紋理等視覺特征和音頻特征；等視覺特征和音頻特征；n語義提?。禾崛》从硤D像語義提?。禾崛》从硤D像/視頻視頻/音頻語義的描述信息；音頻語義的描述信息；n索引組織與描述：對提取的特征和描述信息進行高效索索引組織與描述：對提取的特征和描述信息進行高效索引；引；n檢索模型：支持不同類型的媒體查詢與檢索模式。檢索模型：支持不同類型的媒體查詢與檢索模式。Video segmentsStill regionsAudio segmentsMoving regions2022-5-12蘇州大學數(shù)字

55、媒體技術(shù)基礎課程媒體分析與檢索o 媒體檢索系統(tǒng)框架媒體檢索系統(tǒng)框架StorageBrowseAV DescriptionFeature extractionManual / automaticTransmissionEncoding(for transmission)Decoding(for transmission)FilterPushSearch / queryPullConf.pointsHuman or machine2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程基于內(nèi)容的圖像檢索基于內(nèi)容的圖像檢索 (CBIR)oCBIR：基于圖像顏色、紋理、形狀等特征的相似性進行檢索：基于圖像顏色、

56、紋理、形狀等特征的相似性進行檢索o示例：顏色相似的圖像示例：顏色相似的圖像2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程基于草圖(Scratch)的圖像檢索n2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程視頻檢索o 不同的檢索用線索2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程關(guān)鍵幀提取和CBVR鏡頭檢測關(guān)鍵幀提取步驟：1.視頻分割為鏡頭；2.為每個鏡頭計算關(guān)鍵幀或代表性的幀;3.基于樣例的檢索n2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程面向檢索的視頻標題文字提取n2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程基于語音識別的視頻檢索Raw AudioText ExtractionRaw V

57、ideoSILENCEMUSICelectriccarsaretheyarethejuryeverytoyownerhopestoplease2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程音頻檢索：哼唱找歌Happy BirthdayNotestartsNoteendsNotestartsNoteends 音符(note)有兩個重要屬性：音調(diào) (Pitch)持續(xù)時間 (Duration)音符可以用符號描述Do Re Mi Fa So La Si DoNote nameNote pitchStaff2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程音頻檢索o 哼唱找歌系統(tǒng)結(jié)構(gòu)o 有關(guān)媒體檢索方面的詳

58、細內(nèi)容將在“第8講：多媒體分析與檢索技術(shù)”進一步講述。Wave to SymbolsApproximateString MatchMusicDatabaseIndexingFeature ExtractionVarious Music Formats toSymbolsMusic DatabaseHumming“La, ”Wave filesMP3 filesMIDI filesRetrievalResultRecorder2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程數(shù)字版權(quán)管理(DRM)o 數(shù)字媒體：技術(shù)對媒體的挑戰(zhàn)數(shù)字媒體：技術(shù)對媒體的挑戰(zhàn)n使用戶能夠更加方便而且完美地體驗內(nèi)容使用戶能夠

59、更加方便而且完美地體驗內(nèi)容n成本的降低成本的降低p載體價值：可以逼近零成本載體價值：可以逼近零成本p復制成本：幾乎為零復制成本：幾乎為零p分發(fā)成本：邊際成本逼近零分發(fā)成本：邊際成本逼近零n版權(quán)控制的挑戰(zhàn)：版權(quán)控制的挑戰(zhàn)：DRMo DRM原理原理n使用技術(shù)手段，對數(shù)字產(chǎn)品在分發(fā)、傳輸和使用等各個環(huán)節(jié)進行控制，使用技術(shù)手段，對數(shù)字產(chǎn)品在分發(fā)、傳輸和使用等各個環(huán)節(jié)進行控制，使得數(shù)字產(chǎn)品只能被使得數(shù)字產(chǎn)品只能被授權(quán)使用的人，按照授權(quán)的方式，在授權(quán)使用授權(quán)使用的人，按照授權(quán)的方式，在授權(quán)使用的期限內(nèi)使用。的期限內(nèi)使用。o 目前應用領(lǐng)域目前應用領(lǐng)域n電子書領(lǐng)域（標準電子書領(lǐng)域（標準OEBPS）n移動通訊領(lǐng)

60、域（一般遵循移動通訊領(lǐng)域（一般遵循OMA的的DRM規(guī)范）規(guī)范）n多媒體領(lǐng)域（標準多媒體領(lǐng)域（標準: MPEG IPMP/ DMP/ AVS DRM ）2022-5-12蘇州大學數(shù)字媒體技術(shù)基礎課程DRM的主要技術(shù)手段o加密加密n對多媒體的內(nèi)容進行加密以防止非授對多媒體的內(nèi)容進行加密以防止非授權(quán)訪問權(quán)訪問o水印水印n在媒體內(nèi)容中嵌入無法移除的在媒體內(nèi)容中嵌入無法移除的“標標記記”，以進行內(nèi)容鑒別和追蹤，以進行內(nèi)容鑒別和追蹤o指紋指紋n從媒體內(nèi)容中提取的唯一標識，以進從媒體內(nèi)容中提取的唯一標識，以進行內(nèi)容鑒別和追蹤行內(nèi)容鑒別和追蹤n對同一媒體文件的不同變化具有唯一對同一媒體文件的不同變化具有唯一性