第一講：數(shù)字媒體技術(shù)概述

1、數(shù)字媒體技術(shù)數(shù)字媒體技術(shù)課程課程 ( Digital Media Technology)第一講數(shù)字媒體技術(shù)概述(Introduction to Digital Media)蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程提綱o 1.1 數(shù)字媒體的基本概念及其特點(diǎn)o 1.2 數(shù)字媒體技術(shù)的發(fā)展o 1.3 數(shù)字媒體的重要性o 1.4 數(shù)字媒體技術(shù)的原理o 1.5 數(shù)字媒體標(biāo)準(zhǔn)簡(jiǎn)介o 1.6 數(shù)字媒體的傳播模式o 1.7 數(shù)字媒體處理系統(tǒng)o 1.8 數(shù)字媒體技術(shù)的應(yīng)用2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程31.1 數(shù)字媒體的基本概念 蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程o 什么是媒體？n 信息n 形式n 媒體o 什么是

2、數(shù)字媒體？n 模擬媒體n 數(shù)字媒體2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程中國(guó)信息技術(shù)發(fā)展o 我國(guó)信息領(lǐng)域還基本上處于模仿跟蹤、在別人的核心技術(shù)和平臺(tái)上錦上添花的階段。n 信息領(lǐng)域有數(shù)十項(xiàng)重大的技術(shù)發(fā)明，如集成電路、RISC體系結(jié)構(gòu)、Internet、Web瀏覽器、UNIX和Linux操作系統(tǒng)、圖形界面、鼠標(biāo)等，沒(méi)有一項(xiàng)是中國(guó)人發(fā)明的。n 我國(guó)在信息領(lǐng)域的頂級(jí)國(guó)際學(xué)術(shù)會(huì)議上發(fā)表的重要論文還很少，申請(qǐng)的專(zhuān)利很少能形成技術(shù)跨越，多數(shù)是一些小的改進(jìn)。n 以我國(guó)技術(shù)為主制定的國(guó)際技術(shù)標(biāo)準(zhǔn)還寥寥可數(shù)。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程我國(guó)在信息技術(shù)領(lǐng)域的成果n1956年的四項(xiàng)緊急措施（

3、計(jì)算機(jī)、電子學(xué)、半導(dǎo)體、自動(dòng)化）；n原四機(jī)部731會(huì)議決定研制生產(chǎn)系列機(jī)（100系列、200系列）；n啟動(dòng)“748工程”發(fā)展?jié)h字激光照排技術(shù)和產(chǎn)業(yè)；nCRT彩電產(chǎn)業(yè)大會(huì)戰(zhàn)取得成功；n采用多元集資方式引進(jìn)人才創(chuàng)建中芯國(guó)際等芯片加工企業(yè)；n持續(xù)支持高性能計(jì)算機(jī)研制與推廣；n國(guó)家中長(zhǎng)期科技規(guī)劃設(shè)立“核高基”和“無(wú)線通信”等重大專(zhuān)項(xiàng)等。n華為公司是我國(guó)信息領(lǐng)域發(fā)展高技術(shù)產(chǎn)業(yè)的成功案例。o 改革開(kāi)放30年來(lái)，信息技術(shù)的普及，尤其是移動(dòng)通信與互聯(lián)網(wǎng)技術(shù)的普及是信息化最大的成績(jī)。摘自李國(guó)杰院士2009年11月的科學(xué)時(shí)報(bào)的采訪2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程當(dāng)前信息技術(shù)面臨的問(wèn)題o 當(dāng)前信息技術(shù)

4、面臨三座高墻n挖掘并行性和可擴(kuò)展的困難挖掘并行性和可擴(kuò)展的困難p要可擴(kuò)展到億級(jí)并行度，惠及數(shù)十億用戶；n信息處理的高功耗信息處理的高功耗p要努力做出低功耗的信息系統(tǒng)n復(fù)雜信息系統(tǒng)安全可靠性低等復(fù)雜信息系統(tǒng)安全可靠性低等p要致力于研制高可信的信息系統(tǒng)n到到2020年左右，摩爾定律將不再有效，集成電路正在逐步進(jìn)入年左右，摩爾定律將不再有效，集成電路正在逐步進(jìn)入“后摩后摩爾時(shí)代爾時(shí)代”，必須更多地從，必須更多地從“Beyond CMOS”中尋找新的出路。中尋找新的出路。n計(jì)算機(jī)正逐步進(jìn)入計(jì)算機(jī)正逐步進(jìn)入“后后PC時(shí)代時(shí)代”，終端設(shè)備將從，終端設(shè)備將從“高大全高大全”向向“低小低小專(zhuān)專(zhuān)”（“專(zhuān)專(zhuān)”指?jìng)€(gè)

5、性化）轉(zhuǎn)變，降低功耗是首要目標(biāo)。指?jìng)€(gè)性化）轉(zhuǎn)變，降低功耗是首要目標(biāo)。n超級(jí)計(jì)算機(jī)的超級(jí)計(jì)算機(jī)的“千倍定律千倍定律”將失效，只在現(xiàn)有的技術(shù)基礎(chǔ)上作改進(jìn)，將失效，只在現(xiàn)有的技術(shù)基礎(chǔ)上作改進(jìn)，2030年肯定做不出年肯定做不出Zettaflops級(jí)（級(jí)（1021 flops）水平的計(jì)算機(jī)。進(jìn)入）水平的計(jì)算機(jī)。進(jìn)入“后后IP”時(shí)代是不可避免的發(fā)展過(guò)程，可能需要時(shí)代是不可避免的發(fā)展過(guò)程，可能需要20年時(shí)間才能真正突破年時(shí)間才能真正突破TCP/IP協(xié)議的局限。協(xié)議的局限。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程中國(guó)信息技術(shù)面臨的問(wèn)題o 目前我國(guó)的計(jì)算機(jī)應(yīng)用水平與國(guó)外相比至少相差10年以上，高性能計(jì)算機(jī)

6、的應(yīng)用差距更大。o 既熟悉計(jì)算機(jī)技術(shù)又熟悉行業(yè)需求的學(xué)者太少，影響了信息技術(shù)的深入應(yīng)用。o 信息科學(xué)與其他學(xué)科的交叉研究未得到足夠的重視。o 對(duì)基礎(chǔ)軟件和關(guān)鍵行業(yè)應(yīng)用軟件缺乏高瞻遠(yuǎn)矚和集中力量辦大事的戰(zhàn)略部署，軟件產(chǎn)業(yè)近幾年發(fā)展較快，但仍不盡如人意。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程o 截至目前，IT產(chǎn)業(yè)所長(zhǎng)期依賴的CMOS半導(dǎo)體電路技術(shù)已經(jīng)遇到嚴(yán)重挑戰(zhàn)。摩爾定律如同燈塔照亮了半導(dǎo)體產(chǎn)業(yè)半個(gè)世紀(jì)的發(fā)展航程，到2020年左右這個(gè)燈塔將暗淡下來(lái)。不論是集成電路技術(shù)、互聯(lián)網(wǎng)絡(luò)技術(shù)，還是高性能計(jì)算機(jī)體系結(jié)構(gòu)和存儲(chǔ)技術(shù)，2020年前后都會(huì)在延續(xù)當(dāng)前技術(shù)時(shí)遇到難以逾越的障礙。o 2020年至2

7、030年期間，芯片、計(jì)算機(jī)、互聯(lián)網(wǎng)、存儲(chǔ)器等都會(huì)發(fā)生革命性的變化，而換代技術(shù)的突破大概就在今后10到15年。o 我國(guó)信息技術(shù)未來(lái)的出路是下決心在選擇的重點(diǎn)方向上走跨越發(fā)展的道路，打造自主可控的基礎(chǔ)技術(shù)平臺(tái)。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程未來(lái)信息技術(shù)的發(fā)展前景o 20世紀(jì)后半葉是以信息技術(shù)發(fā)明和技術(shù)創(chuàng)新為標(biāo)志的時(shí)代o 預(yù)計(jì)21世紀(jì)上半葉將興起一場(chǎng)以高性能計(jì)算和仿真、網(wǎng)絡(luò)科學(xué)、智能科學(xué)、計(jì)算思維為特征的信息科學(xué)革命，信息科學(xué)的突破可能會(huì)使21世紀(jì)下半葉出現(xiàn)一場(chǎng)新的信息技術(shù)革命2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程信息技術(shù)的尷尬信息技術(shù)的尷尬o 傳統(tǒng)的計(jì)算工具n結(jié)繩記事 沙漏

8、計(jì)時(shí) 算盤(pán)n簡(jiǎn)單，可觸摸，易學(xué)習(xí)n觸覺(jué)和肌肉運(yùn)動(dòng)知覺(jué)o 現(xiàn)在的數(shù)字技術(shù)n功能強(qiáng)大，學(xué)習(xí)門(mén)檻高n人們必須不斷學(xué)習(xí)適應(yīng)其發(fā)展n原因：生活經(jīng)驗(yàn)毫無(wú)用處，界面本身就是新生事物蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程信息空間和物理空間信息空間和物理空間( ( Bits & Atoms )A c to r1A c to r1POPOPOnEYPO:Physical objectEY:EntitynEYnEYMouse信息空間信息空間(Bits)物理空間物理空間(Atoms)蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程信息空間和物理空間(Bits & Atoms )o 我們生活在兩個(gè)世界里：現(xiàn)實(shí)的物理世界和虛擬的信息世界 o 兩種身份

9、之間卻缺少一種無(wú)縫的、自然的轉(zhuǎn)換和交互方式 o 人們和信息空間的交互被局限于傳統(tǒng)的圖形用戶界面(GUI)中o 實(shí)際上，正是GUI把我們生活的物理世界和我們要訪問(wèn)的信息世界隔離開(kāi)來(lái)。蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程信息空間和物理空間的融合信息空間：信息空間：存在于計(jì)算機(jī)和網(wǎng)絡(luò)中的存在于計(jì)算機(jī)和網(wǎng)絡(luò)中的數(shù)字化的信息、服務(wù)、數(shù)字化的信息、服務(wù)、計(jì)算和通信計(jì)算和通信物理空間：物理空間：真實(shí)存在的物理世界真實(shí)存在的物理世界普適計(jì)算普適計(jì)算融融 合合2、自發(fā)的交互、自發(fā)的交互1、綁定、綁定蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程有人說(shuō)：人類(lèi)的文明史是從有文字開(kāi)始的有人說(shuō)：人類(lèi)的文明史是從有文字開(kāi)始的 但也有人講：自從有了

10、文字后文明就不再發(fā)展了但也有人講：自從有了文字后文明就不再發(fā)展了 紙業(yè)革命紙業(yè)革命蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程中華文化、漢字與文字載體中華文化、漢字與文字載體 n漢字，漢文化的載體、中華文明之母漢字，漢文化的載體、中華文明之母n世界上最古老的三種文字之一世界上最古老的三種文字之一n古巴比倫楔形文字（古巴比倫楔形文字（5500年生存年生存3200年）年）n埃及圣書(shū)字（埃及圣書(shū)字（5000年生存年生存3000年）年）n中國(guó)古漢字（甲骨文）（中國(guó)古漢字（甲骨文）（3300年生存至今）年生存至今）蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程造紙術(shù)發(fā)明人蔡倫造紙術(shù)發(fā)明人蔡倫火藥火藥印刷術(shù)：畢印刷術(shù)：畢昇昇 指南針指南針

11、中國(guó)四大發(fā)明中國(guó)四大發(fā)明 漢字中國(guó)人的第五大發(fā)明漢字中國(guó)人的第五大發(fā)明蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程紙張的歷史作用n紙張紙張中國(guó)的四大發(fā)明之一中國(guó)的四大發(fā)明之一1800年以前，蔡倫發(fā)明紙張年以前，蔡倫發(fā)明紙張紙張譜寫(xiě)人類(lèi)文明紙張譜寫(xiě)人類(lèi)文明紙張用于書(shū)寫(xiě)、印刷、閱讀紙張用于書(shū)寫(xiě)、印刷、閱讀紙張是人類(lèi)社會(huì)的交流工具紙張是人類(lèi)社會(huì)的交流工具n政治、經(jīng)濟(jì)：政治、經(jīng)濟(jì)：社會(huì)組織、運(yùn)行、記載社會(huì)組織、運(yùn)行、記載n文化：文化：印刷、出版、社會(huì)的符號(hào)知識(shí)庫(kù)印刷、出版、社會(huì)的符號(hào)知識(shí)庫(kù)n紙張?jiān)诔霭鏄I(yè)歷史上扮演紙張?jiān)诔霭鏄I(yè)歷史上扮演關(guān)鍵角色的原因關(guān)鍵角色的原因n 價(jià)格便宜價(jià)格便宜n足夠結(jié)實(shí)足夠結(jié)實(shí)蘇州大學(xué)數(shù)字媒體技

12、術(shù)基礎(chǔ)課程載體與漢字的變遷載體與漢字的變遷 紙張發(fā)明紙張發(fā)明東漢末年公元東漢末年公元150150紙張使用紙張使用盛唐公元盛唐公元500500年年活字印刷活字印刷宋代公元宋代公元11001100年年古登堡機(jī)械印刷古登堡機(jī)械印刷1818世紀(jì)世紀(jì)激光照排激光照排公元公元19801980年年蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程竹簡(jiǎn)竹簡(jiǎn)硅存儲(chǔ)硅存儲(chǔ)紙張紙張絲帛絲帛光磁光磁活字印刷活字印刷龜甲龜甲孔子孔子(公元前公元前551/479年）年）老子（春秋后期）老子（春秋后期）全息數(shù)字化全息數(shù)字化機(jī)械印刷機(jī)械印刷光電印刷光電印刷漢語(yǔ)拼音運(yùn)動(dòng)漢語(yǔ)拼音運(yùn)動(dòng)漢字簡(jiǎn)化運(yùn)動(dòng)漢字簡(jiǎn)化運(yùn)動(dòng)漢字信息化漢字信息化漢字中介化漢字中介化文化

13、大眾化文化大眾化穩(wěn)定、融合、創(chuàng)新是漢文化生存的法寶穩(wěn)定、融合、創(chuàng)新是漢文化生存的法寶五四新文化運(yùn)動(dòng)五四新文化運(yùn)動(dòng)載體與漢字的變遷載體與漢字的變遷 蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程載體與漢字的變遷載體與漢字的變遷 真正的思想是抽象的，真正的思想是抽象的，抽象的東西只有用文字最容易表達(dá)抽象的東西只有用文字最容易表達(dá)文字是人類(lèi)最需要保護(hù)的東西文字是人類(lèi)最需要保護(hù)的東西保護(hù)漢字就是保護(hù)中華文明保護(hù)漢字就是保護(hù)中華文明法國(guó)總統(tǒng)希拉克：警告全世界警惕法國(guó)總統(tǒng)希拉克：警告全世界警惕InternetInternet時(shí)代的文字殖民時(shí)代的文字殖民蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程發(fā)明與社會(huì)進(jìn)步發(fā)明與社會(huì)進(jìn)步紙的發(fā)明紙的發(fā)明

14、活字印刷術(shù)的發(fā)明活字印刷術(shù)的發(fā)明指南針的發(fā)明指南針的發(fā)明蒸汽機(jī)的發(fā)明蒸汽機(jī)的發(fā)明電的發(fā)明電的發(fā)明相機(jī)的發(fā)明相機(jī)的發(fā)明計(jì)算機(jī)計(jì)算機(jī)火火 藥藥塑塑 料料核核 能能克克 隆隆技術(shù)的極化技術(shù)的極化, , 引發(fā)失控引發(fā)失控學(xué)科的極化學(xué)科的極化, , 文理不交融文理不交融綠色科技綠色科技蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程發(fā)明與社會(huì)進(jìn)步發(fā)明與社會(huì)進(jìn)步綠色科技綠色科技有助于人類(lèi)與生態(tài)環(huán)境和諧發(fā)展的科技有助于人類(lèi)與生態(tài)環(huán)境和諧發(fā)展的科技 對(duì)環(huán)境的索取與破壞最小對(duì)環(huán)境的索取與破壞最小 對(duì)人類(lèi)生存與繁衍無(wú)害對(duì)人類(lèi)生存與繁衍無(wú)害 自身有較好與強(qiáng)壯的自制力與生命力自身有較好與強(qiáng)壯的自制力與生命力 產(chǎn)生與消亡不會(huì)對(duì)生態(tài)與社會(huì)產(chǎn)

15、生威懾產(chǎn)生與消亡不會(huì)對(duì)生態(tài)與社會(huì)產(chǎn)生威懾蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程n計(jì)算機(jī)的社會(huì)角色：計(jì)算機(jī)的社會(huì)角色： 計(jì)算計(jì)算 信息交流信息交流 智能服務(wù)智能服務(wù)信息交流信息交流(人類(lèi)發(fā)展和人的成長(zhǎng)人類(lèi)發(fā)展和人的成長(zhǎng)/計(jì)算機(jī)發(fā)展計(jì)算機(jī)發(fā)展)情感情感語(yǔ)言語(yǔ)言文字文字bits (簡(jiǎn)單化、精確化簡(jiǎn)單化、精確化) 情感情感語(yǔ)言語(yǔ)言文字文字bits (聲波nHigher pitches are caused by higher frequencies of vibrating molecules that reach your eardrum. nLower pitches are likewise caused

16、 by lower frequencies.o 影像-電磁波n光：在空間坐標(biāo)上具有不同亮度的電磁波n顏色：波長(zhǎng)（紅色為最長(zhǎng)的可見(jiàn)波）o 波：由波長(zhǎng)和頻率刻畫(huà)wavelengthn2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程波長(zhǎng)/頻譜Long radio waves MicrowavesX-raysGamma raysTV, FMInfraredUltraviolet700 nm600 nm500 nm400 nm4.5x1014 Hz5x1014 Hz6x1014 Hz7x1014 Hzn2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程數(shù)字化過(guò)程o 三步驟n采樣（Sampling）n量化（Qu

17、antizing）n壓縮（Compression）與編碼（Coding）SamplerQuantizer&Coderanalog signalsampled signaldigitized signal2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程Step 1: 采樣與失真o 通過(guò)某種頻率的采樣脈沖將模擬信息的值取出，變連續(xù)的模擬信息為離散信號(hào)。o 采樣定理：采樣頻率原始信號(hào)頻率的2倍時(shí)， 采樣信號(hào)才可以保真地恢復(fù)為原始信號(hào)。n2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程Step 2:量化與失真o 將采樣樣本的幅度按照量化級(jí)別決定其取值的過(guò)程。目的是將采樣樣本的幅度值離散化。o 量化之前需要

18、規(guī)定量化級(jí)，比如8級(jí)，16級(jí)，256級(jí)等。o 量化是一個(gè)對(duì)一的映射。n2022-5-12例如：畫(huà)圖軟件的顏色級(jí)別例如：畫(huà)圖軟件的顏色級(jí)別蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程為什么感知很重要？o 失真評(píng)價(jià)的基礎(chǔ)o http:/www.libertarian.on.ca/images/Florida%20Recount.jpg2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程Step 3:編碼與壓縮o 編碼n用相應(yīng)位數(shù)的二進(jìn)制代碼表示量化后的采樣樣本的量級(jí)。n如果有N個(gè)量化級(jí)為，那么對(duì)應(yīng)的二進(jìn)制位數(shù)就為log2N。當(dāng)N16，二進(jìn)制需要4位。n經(jīng)過(guò)編碼之后，每個(gè)樣本都表示為相應(yīng)的二進(jìn)制代碼。o 脈沖編碼調(diào)制（P

19、CM，Pulse Code Modulation）,完成模擬信號(hào)的數(shù)字化2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程為什么需要數(shù)據(jù)壓縮？o 壓縮編碼的理論基本原理n從信息論的角度來(lái)看，壓縮就是去掉信息中的冗余，即保留不確定的信息，去除確定的信息(可推知的)，也就是用一種更接近信息本質(zhì)的描述來(lái)代替原有冗余的描述。o 信息冗余的例子n你的朋友，Helen，將于明天晚上6點(diǎn)零5分在上海的虹橋機(jī)場(chǎng)接你。 (23*2+10=56個(gè)半角字符)n你的朋友將于明天晚上 6點(diǎn)零5分在虹橋機(jī)場(chǎng)接你。 (20*2+3=43個(gè)半角字符）nHelen將于明晚6點(diǎn)在虹橋接你。 (10*2+7=27個(gè)半角字符）n結(jié)論：只

20、要接收端不會(huì)產(chǎn)生誤解，就可以減少承載信息的數(shù)據(jù)量。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程多媒體領(lǐng)域中的冗余分類(lèi)o 統(tǒng)計(jì)冗余n空間冗余規(guī)則物體的物理相關(guān)性n時(shí)間冗余視頻與動(dòng)畫(huà)畫(huà)面間以及音頻幀間的相關(guān)性o 信息熵冗余n編碼冗余數(shù)據(jù)與攜帶的信息o 結(jié)構(gòu)冗余n紋理冗余規(guī)則紋理、相互重疊的結(jié)構(gòu)表面o 視/聽(tīng)覺(jué)冗余n視覺(jué)、聽(tīng)覺(jué)敏感度和非線性感覺(jué)o 知識(shí)冗余n憑借經(jīng)驗(yàn)識(shí)別n2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程數(shù)據(jù)壓縮o 數(shù)據(jù)壓縮可分成兩種類(lèi)型n無(wú)損壓縮n有損壓縮 o 無(wú)損壓縮n指使用壓縮后的數(shù)據(jù)進(jìn)行重構(gòu)(或者叫做還原，解壓縮)，重構(gòu)后的數(shù)據(jù)與原來(lái)的數(shù)據(jù)完全相同n用于要求重構(gòu)的信號(hào)與原始信號(hào)

21、完全一致的場(chǎng)合。一個(gè)很常見(jiàn)的例子是磁盤(pán)文件的壓縮。o 有損壓縮n指使用壓縮后的數(shù)據(jù)進(jìn)行重構(gòu)，重構(gòu)后的數(shù)據(jù)與原來(lái)的數(shù)據(jù)有所不同，但不影響人對(duì)原始資料表達(dá)的信息造成誤解。n適用于重構(gòu)信號(hào)不一定非要和原始信號(hào)完全相同的場(chǎng)合。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程壓縮策略o 無(wú)損壓縮(Lossless Compression)n哈夫曼編碼(Huffman Coding)n自適應(yīng)哈夫曼編碼nLempel-Ziv-Welch (LZW)p 用于GIFnJPEG-LSo 有損壓縮(Lossy Compression)nJPEGnH.261, MPEG-1, MPEG-2o 無(wú)損+有損(Lossles

22、s and Lossy Together)nJPEG 20002022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程數(shù)據(jù)壓縮的性能指標(biāo)o 衡量壓縮算法的三個(gè)主要性能指標(biāo)（1）壓縮比；（2）壓縮質(zhì)量（失真）；（3）壓縮與解壓縮的速度。o 不能兼得時(shí)，要綜合考慮。o 壓縮質(zhì)量評(píng)價(jià)n主觀評(píng)價(jià) ：平均意見(jiàn)得分（MOS）、五分制（優(yōu)良中差劣）n客觀評(píng)價(jià)：均方誤差、加權(quán)均方誤差、信噪比、峰值信噪比（圖像）、分段信噪比（音頻）、似然比、譜失真測(cè)度2210log10)(rxdBSNR22max10log10)(rxdBPSNRn2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程編碼方式舉例：哈夫曼編碼(Huffman C

23、oding)o Huffman編碼屬于信息熵編碼的方法之一，是根據(jù)信源符號(hào)出現(xiàn)概率的分布特性而進(jìn)行的壓縮編碼。o 也稱為最佳編碼，平均碼長(zhǎng)最短。o 編碼過(guò)程：n1. 初始化:將信源符號(hào)按頻率遞減順序排列,輸入L;n2. 重復(fù)如下操作直至L中只有1個(gè)結(jié)點(diǎn): (a)從L中取得兩個(gè)具有最低頻率的結(jié)點(diǎn)，為它們創(chuàng)建一個(gè)父結(jié)點(diǎn)； (b)將它們的頻率和賦給父結(jié)點(diǎn)，并將其插入L;(c) 將樹(shù)的左右孩子賦符號(hào)“0”和“1”，并從L中刪除。 2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程哈夫曼編碼(Huffman Coding)示例o輸入： “ALOHA HAWAII”o頻率： 4A, 2H, 2I, 1L, 1

24、O, 1 space, 1Wo96 bits (8 bits * 12 characters) to 32 bits:AIHLspaceWO010000011111A=0, I=100, H=101, L=1100, space=1101, etc.例子：Java applet example at http:/www.cs.sfu.ca/CC/365/li/squeeze/index.html2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程媒體表示o 顏色模型n顏色科學(xué)nRGB顏色模型：最基本的表示模型nYUV顏色模型：用于PAL電視信號(hào)傳輸，中國(guó)采用nYCbCr色彩模型：數(shù)字視頻常用的顏色模

25、型。o 圖形和圖像的表示o 視頻的表示o 數(shù)字音頻表示2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程人眼視覺(jué)特性與顏色模型人眼視覺(jué)特性與顏色模型o 人眼的視覺(jué)特性人眼的視覺(jué)特性n可見(jiàn)光譜：人眼能看到的光譜范圍從可見(jiàn)光譜：人眼能看到的光譜范圍從380納米到納米到780納米。納米。n不同波長(zhǎng)對(duì)應(yīng)不同色彩感覺(jué)，不同強(qiáng)度和強(qiáng)度分布的光刺激人眼。不同波長(zhǎng)對(duì)應(yīng)不同色彩感覺(jué)，不同強(qiáng)度和強(qiáng)度分布的光刺激人眼。n人眼的臨界閃爍頻率為人眼的臨界閃爍頻率為46HZ。因此要求每秒鐘攝取的畫(huà)面數(shù)約為。因此要求每秒鐘攝取的畫(huà)面數(shù)約為25幀左右。幀左右。o 顏色科學(xué)顏色科學(xué)n色彩是人類(lèi)視覺(jué)對(duì)可見(jiàn)光的感知結(jié)果，在可見(jiàn)光譜內(nèi)不

26、同波長(zhǎng)的光會(huì)色彩是人類(lèi)視覺(jué)對(duì)可見(jiàn)光的感知結(jié)果，在可見(jiàn)光譜內(nèi)不同波長(zhǎng)的光會(huì)引起不同顏色感覺(jué)。引起不同顏色感覺(jué)。n三基色原理三基色原理：將紅、綠、藍(lán)三種顏色按照不同的比例進(jìn)行組合，就可：將紅、綠、藍(lán)三種顏色按照不同的比例進(jìn)行組合，就可以引起人眼對(duì)自然界的全部顏色感覺(jué)。以引起人眼對(duì)自然界的全部顏色感覺(jué)。顏色顏色紅色紅色橙色橙色黃色黃色綠色綠色青色青色藍(lán)色藍(lán)色紫色紫色波長(zhǎng)波長(zhǎng)700620580546480436380n2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程人眼視覺(jué)特性與顏色模型o 顏色模型顏色模型nRGB色彩模型色彩模型：彩色最基本模型，適合于計(jì)算機(jī)系統(tǒng)：彩色最基本模型，適合于計(jì)算機(jī)系統(tǒng);nC

27、MY(CMYK)色彩模型色彩模型：用于印刷：用于印刷;nYUV(亮度、色差亮度、色差)色彩模型色彩模型：用于：用于PAL電視信號(hào)傳輸；電視信號(hào)傳輸；nYIQ色彩模型色彩模型：用于：用于NTSC彩色電視廣播；彩色電視廣播；nYCbCr色彩模型色彩模型：數(shù)字視頻常用的顏色模型。：數(shù)字視頻常用的顏色模型。n2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程RGB顏色模型oRGB顏色模型是彩色最基本的表示模型。oRGB分別代表三種基本顏色紅(red)、綠(green)、藍(lán)(blue)三色，每種顏色的亮度大小用數(shù)字0-255表示。o通過(guò)對(duì)R、G、B三個(gè)顏色通道的變化以及它們相互之間的疊加可得到各式各樣的顏色

28、，共有1670萬(wàn)種顏色。 R=G=B=0 黑色 R=G=B=255 白色 0R=G=B255 灰色2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程其他顏色模型o YUV顏色模型顏色模型nY表示亮度信號(hào)，可構(gòu)成灰色圖像，表示亮度信號(hào)，可構(gòu)成灰色圖像，U、V表示色度信號(hào)，表示色度信號(hào)，是構(gòu)成色彩的兩分量。是構(gòu)成色彩的兩分量。nYUV空間相當(dāng)于對(duì)空間相當(dāng)于對(duì)RGB空間做了一個(gè)解相關(guān)的線性變化?？臻g做了一個(gè)解相關(guān)的線性變化。nYUV的最初作為模擬電視系統(tǒng)信號(hào)編碼的最初作為模擬電視系統(tǒng)信號(hào)編碼p其亮度信號(hào)和色差信號(hào)分離，容易使彩色電視系統(tǒng)與只對(duì)亮度敏其亮度信號(hào)和色差信號(hào)分離，容易使彩色電視系統(tǒng)與只對(duì)亮度敏

29、感的黑白電視機(jī)亮度信號(hào)兼容。感的黑白電視機(jī)亮度信號(hào)兼容。pPAL制式電視系統(tǒng)就采用該空間進(jìn)行傳輸，電視機(jī)接收后再轉(zhuǎn)換制式電視系統(tǒng)就采用該空間進(jìn)行傳輸，電視機(jī)接收后再轉(zhuǎn)換成成RGB空間。空間。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程其他顏色模型o YCbCr色彩模型色彩模型nYCbCr顏色空間是由顏色空間是由YUV顏色空間派生的一種顏色空間，顏色空間派生的一種顏色空間，主要用于數(shù)字電視系統(tǒng)中。主要用于數(shù)字電視系統(tǒng)中。nY代表亮度，代表亮度，Cb和和Cr代表色差。代表色差。nYCbCr顏色模型考慮的是壓縮時(shí)可以充分取出冗余量。顏色模型考慮的是壓縮時(shí)可以充分取出冗余量。n從從RGB到到Y(jié)CbC

30、r的轉(zhuǎn)換中，輸入、輸出都是的轉(zhuǎn)換中，輸入、輸出都是8位二進(jìn)制位二進(jìn)制格式。格式。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程圖形和圖像的表示o 圖像的基本屬性n分辨率：組成圖像的像素?cái)?shù)目n顏色深度(位數(shù))：存儲(chǔ)每個(gè)像素所用位數(shù)p如：640480256色(即8位) 300kn真彩色和偽彩色：顯示圖像時(shí)，真彩色由R、G、B直覺(jué)決定顯示設(shè)備的基色強(qiáng)度，而偽彩色則通過(guò)顏色查找表來(lái)決定。o 主要的圖像文件格式nJPEG (Joint Picture Expert Group)：有損壓縮；多用于照片；nGIF (Graphics Interchange Format)：無(wú)損壓縮，最多256色，可透明，可

31、動(dòng)畫(huà)；多用于小圖標(biāo)；nTIFF (Tag Image File Format)：未壓縮或簡(jiǎn)單壓縮；多用于掃描及傳真；nBMP (Bitmap)：Windows中的位圖，一般未壓縮；nEPS (Encapsulated PostScript )：矢量繪圖軟件和排版軟件所使用的格式。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程圖形和圖像的表示和存儲(chǔ)方法o 矢量圖矢量圖(Vector)：多用于圖形：多用于圖形n用一組命令來(lái)描述圖形，這些命令給出構(gòu)成圖形的各種屬性和參數(shù)，如圓可用一組命令來(lái)描述圖形，這些命令給出構(gòu)成圖形的各種屬性和參數(shù)，如圓可以是圓心坐標(biāo)、半徑以及粗細(xì)和色彩組成的。以是圓心坐標(biāo)、半徑

32、以及粗細(xì)和色彩組成的。n優(yōu)點(diǎn)：圖形文件占用空間較少。優(yōu)點(diǎn)：圖形文件占用空間較少。n缺點(diǎn)：圖形復(fù)雜時(shí)，耗時(shí)相對(duì)較長(zhǎng)。缺點(diǎn)：圖形復(fù)雜時(shí)，耗時(shí)相對(duì)較長(zhǎng)。o 位圖位圖(Bitmap)：多用于圖像：多用于圖像n在空間和色彩上已經(jīng)離散化的圖片，通過(guò)描述畫(huà)面中每一像素的顏色或亮度在空間和色彩上已經(jīng)離散化的圖片，通過(guò)描述畫(huà)面中每一像素的顏色或亮度來(lái)表示該圖像，非常適合表現(xiàn)包含大量細(xì)節(jié)的圖片來(lái)表示該圖像，非常適合表現(xiàn)包含大量細(xì)節(jié)的圖片(如明暗、濃淡、層次和如明暗、濃淡、層次和色彩變化等色彩變化等)。 n優(yōu)點(diǎn)：色彩和色調(diào)變化豐富，景物逼真。優(yōu)點(diǎn)：色彩和色調(diào)變化豐富，景物逼真。 n缺點(diǎn)：縮放等處理后易失真，數(shù)據(jù)量大

33、。缺點(diǎn)：縮放等處理后易失真，數(shù)據(jù)量大。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程圖形和圖像的表示和存儲(chǔ)方法2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程視頻的概念o 視頻：動(dòng)態(tài)圖像，是一組圖像按時(shí)間順序的連續(xù)展示。視頻：動(dòng)態(tài)圖像，是一組圖像按時(shí)間順序的連續(xù)展示。n利用人眼視覺(jué)暫留的原理，通過(guò)播放一系列的圖片，使人眼產(chǎn)利用人眼視覺(jué)暫留的原理，通過(guò)播放一系列的圖片，使人眼產(chǎn)生運(yùn)動(dòng)的感覺(jué)。生運(yùn)動(dòng)的感覺(jué)。o 視頻的三要素：視頻的三要素：n空間分辨率（即屏幕上的點(diǎn)數(shù)）空間分辨率（即屏幕上的點(diǎn)數(shù)）n顏色分辨率（即每個(gè)點(diǎn)的顏色位數(shù)）顏色分辨率（即每個(gè)點(diǎn)的顏色位數(shù)）n時(shí)間分辨率（即每秒的幀數(shù)）時(shí)間分辨率（

34、即每秒的幀數(shù)）o 按信號(hào)組成和存儲(chǔ)方式的不同：按信號(hào)組成和存儲(chǔ)方式的不同：n模擬視頻模擬視頻：是由連續(xù)的模擬信號(hào)組成的圖像序列，像電影、電：是由連續(xù)的模擬信號(hào)組成的圖像序列，像電影、電視和錄像的畫(huà)面；視和錄像的畫(huà)面；n數(shù)字視頻數(shù)字視頻：是一系列連續(xù)的數(shù)字圖像序列。：是一系列連續(xù)的數(shù)字圖像序列。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程視頻的概念視頻的概念o 基本概念基本概念n幀幀：一段視頻中的每一幅圖像稱為一幀。根據(jù)視覺(jué)暫留原理，：一段視頻中的每一幅圖像稱為一幀。根據(jù)視覺(jué)暫留原理，要使人的視覺(jué)產(chǎn)生連續(xù)的動(dòng)態(tài)感覺(jué)，每秒鐘圖像的播放幀數(shù)要要使人的視覺(jué)產(chǎn)生連續(xù)的動(dòng)態(tài)感覺(jué)，每秒鐘圖像的播放幀數(shù)要在

35、在2430幀頻（每秒播放的幀數(shù)）。幀頻（每秒播放的幀數(shù)）。n掃描掃描：傳送電視圖像時(shí)，將每幅圖像分解成很多像素，按照一：傳送電視圖像時(shí)，將每幅圖像分解成很多像素，按照一個(gè)一個(gè)像素、一行一行的方式順序傳送或接收。掃描行數(shù)（掃個(gè)一個(gè)像素、一行一行的方式順序傳送或接收。掃描行數(shù)（掃描分辨率）越多，電視清晰度越高。分描分辨率）越多，電視清晰度越高。分隔行掃描隔行掃描（常用）和（常用）和逐逐行掃描行掃描。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程模擬視頻（電視）模擬視頻（電視）o采用隔行掃描技術(shù)：先掃奇數(shù)行，后掃描偶數(shù)行采用隔行掃描技術(shù)：先掃奇數(shù)行，后掃描偶數(shù)行o模擬視頻制式模擬視頻制式nNTSC(

36、美國(guó)、日本）美國(guó)、日本）30幀幀/秒，秒，525行行/幀幀nPAL (西歐、中國(guó)）西歐、中國(guó)）25幀幀/秒，秒， 625行行/幀幀nSECAM（俄、法）（俄、法）n注：電影是注：電影是24幀幀/秒秒TV制式制式NTSC PALSECAM幀頻幀頻(Hz)302525行行/幀幀525625625亮度帶寬亮度帶寬(MHz)4.26.06.0彩色幅載波彩色幅載波(MHz)3.584.434.25聲音載波聲音載波(MHz)pal: 25幀幀/秒秒 ntsc:30幀幀/秒秒不同模擬電視制式的主要技術(shù)參數(shù)不同模擬電視制式的主要技術(shù)參數(shù)n2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程數(shù)字視頻

37、數(shù)字視頻o數(shù)字視頻的優(yōu)點(diǎn)數(shù)字視頻的優(yōu)點(diǎn)n便于存儲(chǔ)和傳輸，適合于網(wǎng)絡(luò)應(yīng)用便于存儲(chǔ)和傳輸，適合于網(wǎng)絡(luò)應(yīng)用n抗干擾能力強(qiáng)，再現(xiàn)性好抗干擾能力強(qiáng)，再現(xiàn)性好n便于計(jì)算機(jī)編輯處理便于計(jì)算機(jī)編輯處理n增加交互性增加交互性o常見(jiàn)的數(shù)字視頻文件格式常見(jiàn)的數(shù)字視頻文件格式nMPG： 采用采用MPEG組織制定的視頻壓縮編碼算法生成的視頻文件。平均壓縮比為組織制定的視頻壓縮編碼算法生成的視頻文件。平均壓縮比為50 1，最高可達(dá)最高可達(dá)200 1。 VCD、SVCD、DVD均采用均采用MPEG視頻標(biāo)準(zhǔn)。視頻標(biāo)準(zhǔn)。nAVI：微軟公司推出的一種音頻視像交插記錄的數(shù)字視頻文件格式。：微軟公司推出的一種音頻視像交插記錄的數(shù)字視

38、頻文件格式。nMOV： Apple公司在其生產(chǎn)的公司在其生產(chǎn)的Macintosh機(jī)（后移植于機(jī)（后移植于PC/Windows環(huán)境）推出的視頻格式，環(huán)境）推出的視頻格式，可以采用不壓縮或壓縮的方式。可以采用不壓縮或壓縮的方式。 nRM： RealNetworks公司所制定的音頻視頻壓縮文件格式，根據(jù)網(wǎng)絡(luò)數(shù)據(jù)傳輸速率的不同公司所制定的音頻視頻壓縮文件格式，根據(jù)網(wǎng)絡(luò)數(shù)據(jù)傳輸速率的不同制定了不同的壓縮比率，能用于流媒體播放。制定了不同的壓縮比率，能用于流媒體播放。nWMV： Microsoft公司出品的視頻格式文件，具有本地或網(wǎng)絡(luò)回放、可伸縮的媒體類(lèi)型、公司出品的視頻格式文件，具有本地或網(wǎng)絡(luò)回放、可伸

39、縮的媒體類(lèi)型、流的優(yōu)先級(jí)化等特點(diǎn)。流的優(yōu)先級(jí)化等特點(diǎn)。nASM：AVS的視頻文件格式。的視頻文件格式。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程數(shù)字視頻數(shù)字視頻o 數(shù)字視頻的應(yīng)用數(shù)字視頻的應(yīng)用n廣播電視廣播電視 ，包括地面、衛(wèi)星電視廣播、有線電視，包括地面、衛(wèi)星電視廣播、有線電視 (CATV)、數(shù)、數(shù)字視頻廣播字視頻廣播(DVB)、交互式電視、交互式電視(ITV)、高清晰度電視、高清晰度電視(HDTV)。n通信，包括可視電話通信，包括可視電話(Videophone)、視頻會(huì)議、視頻會(huì)議(Videoconferencing)、視頻點(diǎn)播、視頻點(diǎn)播(VOD) 等。等。n個(gè)人娛樂(lè)：錄象節(jié)目、個(gè)人娛

40、樂(lè)：錄象節(jié)目、VCD 、DVD 、電視購(gòu)物、家庭攝像、電視購(gòu)物、家庭攝像、視頻游戲等。視頻游戲等。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程數(shù)字電視數(shù)字電視o 數(shù)字電視（數(shù)字電視（DTV）的定義：）的定義：n指從電視節(jié)目采集、錄制、播出到發(fā)射、接收全部采用數(shù)字編指從電視節(jié)目采集、錄制、播出到發(fā)射、接收全部采用數(shù)字編碼與數(shù)字傳輸技術(shù)的新一代電視技術(shù)。碼與數(shù)字傳輸技術(shù)的新一代電視技術(shù)。n它可以劃分為它可以劃分為 3大部分：信源部分（發(fā)送端）、信道部分（傳大部分：信源部分（發(fā)送端）、信道部分（傳輸輸/存儲(chǔ)過(guò)程）和信宿部分（接收端）。存儲(chǔ)過(guò)程）和信宿部分（接收端）。o 數(shù)字電視分類(lèi)：根據(jù)圖像比特率

41、的大小數(shù)字電視分類(lèi)：根據(jù)圖像比特率的大小n標(biāo)準(zhǔn)清晰度數(shù)字電標(biāo)準(zhǔn)清晰度數(shù)字電 視（視（SDTV）n高清晰度數(shù)字電視（高清晰度數(shù)字電視（HDTV）2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程數(shù)字電視數(shù)字電視o 數(shù)字電視的優(yōu)點(diǎn)數(shù)字電視的優(yōu)點(diǎn):n高清晰度的電視畫(huà)面：可以可與高清晰度的電視畫(huà)面：可以可與DVD相媲美（最低：相媲美（最低：1280720，最，最高：高：19201080）。）。 n優(yōu)質(zhì)的音響效果：伴音可以達(dá)到優(yōu)質(zhì)的音響效果：伴音可以達(dá)到CD質(zhì)量。質(zhì)量。 n豐富的節(jié)目?jī)?nèi)容，有線網(wǎng)的帶寬利用率更高。豐富的節(jié)目?jī)?nèi)容，有線網(wǎng)的帶寬利用率更高。 n抗干擾功能力強(qiáng)，畫(huà)面更穩(wěn)定?？垢蓴_功能力強(qiáng)，畫(huà)面更穩(wěn)

42、定。 n擴(kuò)展功能多：機(jī)頂盒除了一些基本功能外，還有許多擴(kuò)展功能如上擴(kuò)展功能多：機(jī)頂盒除了一些基本功能外，還有許多擴(kuò)展功能如上網(wǎng)、點(diǎn)播、股票查詢、在線交易、遠(yuǎn)程教育等。網(wǎng)、點(diǎn)播、股票查詢、在線交易、遠(yuǎn)程教育等。o HDTV：由它所能提供的畫(huà)面質(zhì)量定義的。：由它所能提供的畫(huà)面質(zhì)量定義的。n分辨率分辨率：HDTV畫(huà)面水平和垂直的像素目都差不多是常規(guī)系統(tǒng)的畫(huà)面水平和垂直的像素目都差不多是常規(guī)系統(tǒng)的2倍。倍。垂直方向的高清晰度是由垂直方向的高清晰度是由1000多行的掃描線獲得的。需要大約為傳統(tǒng)多行的掃描線獲得的。需要大約為傳統(tǒng)58倍的視頻帶寬。倍的視頻帶寬。n寬高比寬高比：HDTV畫(huà)面的指定寬高比為畫(huà)面

43、的指定寬高比為16:9=1.777。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程數(shù)字音頻的概念數(shù)字音頻的概念o 聲音的基本概念聲音的基本概念n聲音是通過(guò)一定介質(zhì)傳播的一種連續(xù)波。聲音是通過(guò)一定介質(zhì)傳播的一種連續(xù)波。n主要參數(shù)包括：振幅（音量的大?。⒅芷冢ㄖ貜?fù)出現(xiàn)的時(shí)間主要參數(shù)包括：振幅（音量的大小）、周期（重復(fù)出現(xiàn)的時(shí)間間隔）、頻率（指信號(hào)每秒鐘變化的次數(shù)）。間隔）、頻率（指信號(hào)每秒鐘變化的次數(shù)）。n聲音按頻率分類(lèi)聲音按頻率分類(lèi)次聲波次聲波可聽(tīng)聲波可聽(tīng)聲波超聲波超聲波20Hz20kHzf(Hz)2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程數(shù)字音頻的概念數(shù)字音頻的概念o 數(shù)字音頻的三要素?cái)?shù)

44、字音頻的三要素n采樣頻率采樣頻率：根據(jù)奈奎斯特理論，采樣頻率不低于聲音信號(hào)最高頻率的兩倍。：根據(jù)奈奎斯特理論，采樣頻率不低于聲音信號(hào)最高頻率的兩倍。這樣就能把數(shù)字表達(dá)的聲音還原成原來(lái)的聲音，稱為無(wú)損數(shù)字化。這樣就能把數(shù)字表達(dá)的聲音還原成原來(lái)的聲音，稱為無(wú)損數(shù)字化。 n采樣精度采樣精度：用樣本值的二進(jìn)制位數(shù)來(lái)表示。位數(shù)越多精度越高，數(shù)據(jù)也越大。：用樣本值的二進(jìn)制位數(shù)來(lái)表示。位數(shù)越多精度越高，數(shù)據(jù)也越大。量化等級(jí)量化等級(jí)n聲道數(shù)聲道數(shù)：使用聲音通道的個(gè)數(shù)。立體聲比單聲道的表現(xiàn)力豐富，但數(shù)據(jù)量翻：使用聲音通道的個(gè)數(shù)。立體聲比單聲道的表現(xiàn)力豐富，但數(shù)據(jù)量翻倍。倍。n數(shù)據(jù)量采樣頻率數(shù)據(jù)量采樣頻率量化位數(shù)

45、量化位數(shù)聲道數(shù)聲道數(shù)/8(字節(jié)字節(jié)/秒秒)，如，如CD音質(zhì)：音質(zhì)：44.1kHz X 16位位 X 2 =176KB/s 。o 數(shù)字音頻的常見(jiàn)文件格式數(shù)字音頻的常見(jiàn)文件格式nWAV：是：是Microsoft/IBM共同開(kāi)發(fā)的共同開(kāi)發(fā)的PC波形文件。因未經(jīng)壓縮，文件數(shù)據(jù)量波形文件。因未經(jīng)壓縮，文件數(shù)據(jù)量很大。特點(diǎn)是聲音層次豐富，還原音質(zhì)好。很大。特點(diǎn)是聲音層次豐富，還原音質(zhì)好。nMP3：按：按MPEG標(biāo)準(zhǔn)的音頻壓縮技術(shù)制作的音頻文件。特點(diǎn)是高壓縮比標(biāo)準(zhǔn)的音頻壓縮技術(shù)制作的音頻文件。特點(diǎn)是高壓縮比(11:1)，優(yōu)美音質(zhì)。，優(yōu)美音質(zhì)。nMIDI(樂(lè)器數(shù)字接口樂(lè)器數(shù)字接口)：是由一組聲音或樂(lè)器符號(hào)的集

46、合，特點(diǎn)是數(shù)據(jù)量很小，：是由一組聲音或樂(lè)器符號(hào)的集合，特點(diǎn)是數(shù)據(jù)量很小，缺乏重現(xiàn)自然音。缺乏重現(xiàn)自然音。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程其他數(shù)字媒體其他數(shù)字媒體o 動(dòng)畫(huà)動(dòng)畫(huà)n利用人的視覺(jué)殘留特性使連續(xù)的靜利用人的視覺(jué)殘留特性使連續(xù)的靜態(tài)播放的靜態(tài)畫(huà)面相互銜接而形成態(tài)播放的靜態(tài)畫(huà)面相互銜接而形成的動(dòng)態(tài)效果。的動(dòng)態(tài)效果。n動(dòng)畫(huà)性質(zhì)動(dòng)畫(huà)性質(zhì)p幀動(dòng)畫(huà)：幀動(dòng)畫(huà)：構(gòu)成動(dòng)畫(huà)的基本單位是幀，構(gòu)成動(dòng)畫(huà)的基本單位是幀，一部動(dòng)畫(huà)由許多幀組成。借鑒傳統(tǒng)動(dòng)畫(huà)一部動(dòng)畫(huà)由許多幀組成。借鑒傳統(tǒng)動(dòng)畫(huà)的概念，每幀的內(nèi)容不同，當(dāng)連續(xù)播放的概念，每幀的內(nèi)容不同，當(dāng)連續(xù)播放時(shí)，形成動(dòng)畫(huà)視覺(jué)效果。時(shí)，形成動(dòng)畫(huà)視覺(jué)效果。p矢

47、量動(dòng)畫(huà)：矢量動(dòng)畫(huà)：是經(jīng)過(guò)計(jì)算機(jī)計(jì)算而生成是經(jīng)過(guò)計(jì)算機(jī)計(jì)算而生成的動(dòng)畫(huà)，畫(huà)面只有一幀；通常采用編程的動(dòng)畫(huà)，畫(huà)面只有一幀；通常采用編程方式制作，及某些工具軟件。方式制作，及某些工具軟件。n動(dòng)畫(huà)制作動(dòng)畫(huà)制作p如如 Flash （二維動(dòng)畫(huà)）（二維動(dòng)畫(huà)） n擴(kuò)展名為擴(kuò)展名為.swfn閃客閃客p如如 3D MAX， Maya（三維動(dòng)畫(huà)）（三維動(dòng)畫(huà)）2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程其他數(shù)字媒體其他數(shù)字媒體o 數(shù)字游戲數(shù)字游戲n采用數(shù)字技術(shù)實(shí)現(xiàn)的電子游戲，包括視頻游戲、網(wǎng)絡(luò)游戲采用數(shù)字技術(shù)實(shí)現(xiàn)的電子游戲，包括視頻游戲、網(wǎng)絡(luò)游戲和移動(dòng)游戲等。和移動(dòng)游戲等。o 虛擬現(xiàn)實(shí)虛擬現(xiàn)實(shí)n利用計(jì)算機(jī)生成的虛擬

48、環(huán)境，具有沉浸感、交互性和構(gòu)想利用計(jì)算機(jī)生成的虛擬環(huán)境，具有沉浸感、交互性和構(gòu)想性性(I3)特性。特性。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程媒體分發(fā)和傳輸媒體分發(fā)和傳輸o為什么需要研究媒體傳輸（而不是僅僅采用傳統(tǒng)的文件傳輸方法）？為什么需要研究媒體傳輸（而不是僅僅采用傳統(tǒng)的文件傳輸方法）？n與其他數(shù)據(jù)一樣，多媒體數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)中。與其他數(shù)據(jù)一樣，多媒體數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)中。n但多媒體數(shù)據(jù)的訪問(wèn)有特別的時(shí)限要求。例如，視頻必須以每秒但多媒體數(shù)據(jù)的訪問(wèn)有特別的時(shí)限要求。例如，視頻必須以每秒24-30幀的幀率來(lái)幀的幀率來(lái)顯示，而視頻的傳輸和分發(fā)必須確保此幀率。即顯示，而視頻的傳輸和分發(fā)

49、必須確保此幀率。即視頻傳輸有視頻傳輸有QoS（服務(wù)質(zhì)量）要求。（服務(wù)質(zhì)量）要求。o媒體流化媒體流化/流媒體流媒體nStreaming is delivering a multimedia file from a server to a client such that it can be processed as a steady and continuous stream - typically the deliver occurs over a network connection.n流媒體流媒體(可流化媒體可流化媒體)：Video、Audio、PowerPoint、Flash/Shock

50、wave、VR、3DSERVERCLIENTstream2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程媒體分發(fā)和傳輸o 流化方式分類(lèi)流化方式分類(lèi)n持續(xù)下載持續(xù)下載(Progressive download)：當(dāng)多媒體文件分發(fā)并存儲(chǔ)到客戶：當(dāng)多媒體文件分發(fā)并存儲(chǔ)到客戶端后才支持媒體重放；端后才支持媒體重放；n實(shí)時(shí)流化實(shí)時(shí)流化(Real-time streaming)：多媒體文件由流媒體服務(wù)器向客戶：多媒體文件由流媒體服務(wù)器向客戶端連續(xù)、實(shí)時(shí)傳送，客戶不必等到整個(gè)文件全部下載完畢。端連續(xù)、實(shí)時(shí)傳送，客戶不必等到整個(gè)文件全部下載完畢。o 媒體分發(fā)方式媒體分發(fā)方式n單播單播(unicast)：源：源(

51、服務(wù)器服務(wù)器)和目的地和目的地(客戶端客戶端)之間進(jìn)行一對(duì)一的傳輸。之間進(jìn)行一對(duì)一的傳輸。如果目的地量太大，源和網(wǎng)絡(luò)的負(fù)載能力有限，會(huì)超負(fù)荷造成播放如果目的地量太大，源和網(wǎng)絡(luò)的負(fù)載能力有限，會(huì)超負(fù)荷造成播放質(zhì)量下降。質(zhì)量下降。n多播流多播流(Multicast)：源和目的地之間進(jìn)行多對(duì)一的傳輸，網(wǎng)絡(luò)中的：源和目的地之間進(jìn)行多對(duì)一的傳輸，網(wǎng)絡(luò)中的同一多播組中的目的地共享同一信息流，可以有效的節(jié)省網(wǎng)絡(luò)帶寬。同一多播組中的目的地共享同一信息流，可以有效的節(jié)省網(wǎng)絡(luò)帶寬。n廣播廣播(Broadcast)：流媒體從一個(gè)源：流媒體從一個(gè)源(服務(wù)器端的應(yīng)用服務(wù)器端的應(yīng)用)發(fā)送出去后，發(fā)送出去后，同一網(wǎng)段上的所

52、有目的地同一網(wǎng)段上的所有目的地(客戶端應(yīng)用客戶端應(yīng)用)均可以接收到，廣播可以看均可以接收到，廣播可以看作組播的一個(gè)特例。作組播的一個(gè)特例。2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程媒體分發(fā)和傳輸媒體分發(fā)和傳輸o 流媒體傳輸協(xié)議流媒體傳輸協(xié)議n實(shí)時(shí)傳輸協(xié)議實(shí)時(shí)傳輸協(xié)議(RealTime Transportation Protocol, RTP)n實(shí)時(shí)流協(xié)議實(shí)時(shí)流協(xié)議(RealTime Streaming Protocol, RTSP)n實(shí)施傳輸控制協(xié)議實(shí)施傳輸控制協(xié)議(RealTime Transportation Control Protocol, RTCP)n資源預(yù)約協(xié)議資源預(yù)約協(xié)議(R

53、esource Reservation Protocol, RSVP)o詳細(xì)內(nèi)容將在詳細(xì)內(nèi)容將在“第第9講：網(wǎng)絡(luò)流媒體技術(shù)講：網(wǎng)絡(luò)流媒體技術(shù)”進(jìn)一步講述。進(jìn)一步講述。RTSP協(xié)議2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程媒體分析與檢索o 媒體檢索方面存在的挑戰(zhàn)媒體檢索方面存在的挑戰(zhàn)n不能直接進(jìn)行基于文本的查詢和檢索；不能直接進(jìn)行基于文本的查詢和檢索；n怎樣分析或描述媒體怎樣分析或描述媒體(圖像圖像/視頻視頻/音頻音頻)內(nèi)容和語(yǔ)義；內(nèi)容和語(yǔ)義；n如何索引圖像如何索引圖像/視頻視頻/音頻；音頻；n快速檢索處理和準(zhǔn)確的檢索結(jié)果；快速檢索處理和準(zhǔn)確的檢索結(jié)果；o 基于內(nèi)容的媒體分析與檢索基于內(nèi)容的

54、媒體分析與檢索(CBR)n特征提?。禾崛》从硤D像特征提?。禾崛》从硤D像/視頻視頻/音頻內(nèi)容的顏色、紋理音頻內(nèi)容的顏色、紋理等視覺(jué)特征和音頻特征；等視覺(jué)特征和音頻特征；n語(yǔ)義提?。禾崛》从硤D像語(yǔ)義提取：提取反映圖像/視頻視頻/音頻語(yǔ)義的描述信息；音頻語(yǔ)義的描述信息；n索引組織與描述：對(duì)提取的特征和描述信息進(jìn)行高效索索引組織與描述：對(duì)提取的特征和描述信息進(jìn)行高效索引；引；n檢索模型：支持不同類(lèi)型的媒體查詢與檢索模式。檢索模型：支持不同類(lèi)型的媒體查詢與檢索模式。Video segmentsStill regionsAudio segmentsMoving regions2022-5-12蘇州大學(xué)數(shù)字

55、媒體技術(shù)基礎(chǔ)課程媒體分析與檢索o 媒體檢索系統(tǒng)框架媒體檢索系統(tǒng)框架StorageBrowseAV DescriptionFeature extractionManual / automaticTransmissionEncoding(for transmission)Decoding(for transmission)FilterPushSearch / queryPullConf.pointsHuman or machine2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程基于內(nèi)容的圖像檢索基于內(nèi)容的圖像檢索 (CBIR)oCBIR：基于圖像顏色、紋理、形狀等特征的相似性進(jìn)行檢索：基于圖像顏色、

56、紋理、形狀等特征的相似性進(jìn)行檢索o示例：顏色相似的圖像示例：顏色相似的圖像2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程基于草圖(Scratch)的圖像檢索n2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程視頻檢索o 不同的檢索用線索2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程關(guān)鍵幀提取和CBVR鏡頭檢測(cè)關(guān)鍵幀提取步驟：1.視頻分割為鏡頭；2.為每個(gè)鏡頭計(jì)算關(guān)鍵幀或代表性的幀;3.基于樣例的檢索n2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程面向檢索的視頻標(biāo)題文字提取n2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程基于語(yǔ)音識(shí)別的視頻檢索Raw AudioText ExtractionRaw V

57、ideoSILENCEMUSICelectriccarsaretheyarethejuryeverytoyownerhopestoplease2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程音頻檢索：哼唱找歌Happy BirthdayNotestartsNoteendsNotestartsNoteends 音符(note)有兩個(gè)重要屬性：音調(diào) (Pitch)持續(xù)時(shí)間 (Duration)音符可以用符號(hào)描述Do Re Mi Fa So La Si DoNote nameNote pitchStaff2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程音頻檢索o 哼唱找歌系統(tǒng)結(jié)構(gòu)o 有關(guān)媒體檢索方面的詳

58、細(xì)內(nèi)容將在“第8講：多媒體分析與檢索技術(shù)”進(jìn)一步講述。Wave to SymbolsApproximateString MatchMusicDatabaseIndexingFeature ExtractionVarious Music Formats toSymbolsMusic DatabaseHumming“La, ”Wave filesMP3 filesMIDI filesRetrievalResultRecorder2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程數(shù)字版權(quán)管理(DRM)o 數(shù)字媒體：技術(shù)對(duì)媒體的挑戰(zhàn)數(shù)字媒體：技術(shù)對(duì)媒體的挑戰(zhàn)n使用戶能夠更加方便而且完美地體驗(yàn)內(nèi)容使用戶能夠

59、更加方便而且完美地體驗(yàn)內(nèi)容n成本的降低成本的降低p載體價(jià)值：可以逼近零成本載體價(jià)值：可以逼近零成本p復(fù)制成本：幾乎為零復(fù)制成本：幾乎為零p分發(fā)成本：邊際成本逼近零分發(fā)成本：邊際成本逼近零n版權(quán)控制的挑戰(zhàn)：版權(quán)控制的挑戰(zhàn)：DRMo DRM原理原理n使用技術(shù)手段，對(duì)數(shù)字產(chǎn)品在分發(fā)、傳輸和使用等各個(gè)環(huán)節(jié)進(jìn)行控制，使用技術(shù)手段，對(duì)數(shù)字產(chǎn)品在分發(fā)、傳輸和使用等各個(gè)環(huán)節(jié)進(jìn)行控制，使得數(shù)字產(chǎn)品只能被使得數(shù)字產(chǎn)品只能被授權(quán)使用的人，按照授權(quán)的方式，在授權(quán)使用授權(quán)使用的人，按照授權(quán)的方式，在授權(quán)使用的期限內(nèi)使用。的期限內(nèi)使用。o 目前應(yīng)用領(lǐng)域目前應(yīng)用領(lǐng)域n電子書(shū)領(lǐng)域（標(biāo)準(zhǔn)電子書(shū)領(lǐng)域（標(biāo)準(zhǔn)OEBPS）n移動(dòng)通訊領(lǐng)

60、域（一般遵循移動(dòng)通訊領(lǐng)域（一般遵循OMA的的DRM規(guī)范）規(guī)范）n多媒體領(lǐng)域（標(biāo)準(zhǔn)多媒體領(lǐng)域（標(biāo)準(zhǔn): MPEG IPMP/ DMP/ AVS DRM ）2022-5-12蘇州大學(xué)數(shù)字媒體技術(shù)基礎(chǔ)課程DRM的主要技術(shù)手段o加密加密n對(duì)多媒體的內(nèi)容進(jìn)行加密以防止非授對(duì)多媒體的內(nèi)容進(jìn)行加密以防止非授權(quán)訪問(wèn)權(quán)訪問(wèn)o水印水印n在媒體內(nèi)容中嵌入無(wú)法移除的在媒體內(nèi)容中嵌入無(wú)法移除的“標(biāo)標(biāo)記記”，以進(jìn)行內(nèi)容鑒別和追蹤，以進(jìn)行內(nèi)容鑒別和追蹤o指紋指紋n從媒體內(nèi)容中提取的唯一標(biāo)識(shí)，以進(jìn)從媒體內(nèi)容中提取的唯一標(biāo)識(shí)，以進(jìn)行內(nèi)容鑒別和追蹤行內(nèi)容鑒別和追蹤n對(duì)同一媒體文件的不同變化具有唯一對(duì)同一媒體文件的不同變化具有唯一性