第一章-多媒體技術概論

多媒體技術及應用第1頁第一章多媒體技術基礎內(nèi)容：多媒體技術概述多媒體技術與計算機發(fā)展媒體數(shù)據(jù)聲音媒體視覺媒體主要講授內(nèi)容需要掌握的工具第2頁1.1多媒體技術概述媒體第3頁1.1多媒體技術概述媒體媒體：信息載體，是信息傳遞和存儲的基本技術和手段ITU（國際電聯(lián)）對媒體的分類：感覺媒體(PerceptionMedium)：感覺器官能感覺到的信息的自然種類，如：語言、音樂、自然界的各種聲音、圖像、圖形、計算機中的數(shù)據(jù)、文本。表示媒體(RepresentationMedium)：為了加工、處理和傳輸感覺媒體而人為研究、構造出來的一種媒體，用以定義信息的特性。一般以語音編碼、圖像編碼和文本編碼等形式來描述。

表示媒體是感覺媒體數(shù)字化后的代碼。InternationalTelecommunicationUnion,總部在日內(nèi)瓦第4頁1.1多媒體技術概述媒體ITU（國際電聯(lián)）對媒體的分類：顯現(xiàn)媒體(PresentationMedium)：感覺媒體與電信號之間相互轉換用的一類媒體，即顯現(xiàn)信息或獲取信息的物理設備。如：顯示器、揚聲器、打印機；鍵盤、鼠標、掃描器、MIC、攝像機存儲媒體(StorageMedium)：存儲表示媒體的物理設備，如：光盤、硬盤、磁帶傳輸媒體(TransmissionMedium)：用于媒體傳輸?shù)奈锢磔d體，如：電纜、光纜、雙絞線、無線電鏈路交換媒體(ExchangeMedium)：系統(tǒng)間交換數(shù)據(jù)的手段和類型，可以是存儲媒體、傳輸媒體，或者是二者的組合第5頁1.1多媒體技術概述媒體根據(jù)與時間的關系對媒體的分類：靜態(tài)媒體：信息的再現(xiàn)與時間無關，如文本、圖形、圖像等等連續(xù)媒體：具有隱含的時間關系，其播放速度將影響所含信息的再現(xiàn)。如聲音、動畫、視頻等。

連續(xù)媒體的引入給傳統(tǒng)的計算機系統(tǒng)、通信系統(tǒng)和分布式應用系統(tǒng)提出了更高的要求！第6頁1.1多媒體技術概述媒體類別聲：語音、聲響、音樂等圖：圖像、圖形等像：動畫、視頻等文：文字、符號、數(shù)值等其他：動作媒體、觸覺媒體動畫制作第7頁1.1多媒體技術概述媒體分類視覺媒體分類視覺靜止信息圖像圖形文字符號抽象化抽象化動態(tài)信息圖像圖形動態(tài)影像視頻真實感三維動畫二維動畫三維動畫語言文字第8頁1.1多媒體技術概述媒體分類聽覺媒體分類觸覺媒體分類其他感覺媒體聽覺抽象化聲音聲響（自然界）語音（人類語言）音樂其它（嗅覺、味覺等）觸覺振動運動傳感/發(fā)生器第9頁1.1多媒體技術概述多媒體基本概念多媒體(Multimedia)：通常是指處理和應用多媒體信息的相應技術，稱“多媒體技術”則更準確。起源：20世紀80年代以來，計算機技術、通訊技術和廣播電視技術相互滲透相互融合而形成的一種新技術。定義：以數(shù)字化為基礎，能夠?qū)Χ喾N媒體信息進行采集、編碼、存儲、傳輸、處理和表現(xiàn)，綜合處理多種媒體信息并使之建立起有機的邏輯聯(lián)系，集成為一個系統(tǒng)并能具有良好交互性的技術。第10頁1.1多媒體技術概述多媒體的定義Multimediaistheuseofseveraldifferentmediatoconveyinformation(text,audio,graphics,animation,videoandinteractivity).Multimediaalsoreferstocomputerdatastoragedevices,especiallythoseusedtostoremultimediacontent.Astheinformationispresentedinvariousformats,multimediaenhancesuserexperienceandmakesiteasierandfastertograspinformation.Presentinginformationinvariousformatsisnothingnew,butmultimediagenerallyimpliespresentinginformationinvariousdigitalformats.Itisalsousedinvisualartstodescribeworkscreatedusingmorethanonemedium.Multimediafindsitsapplicationinvariousareasincluding,butnotlimitedto,art,education,entertainment,engineering,medicine,mathematics,andscientificresearch.第11頁1.1多媒體技術概述多媒體的定義——wikimediaMultimedia

is

media

and

content

thatusesacombinationofdifferent

contentforms.Thiscontrastswithmediathatuseonlyrudimentarycomputerdisplayssuchastext-onlyortraditionalformsofprintedorhand-producedmaterial.Multimediaincludesacombinationof

text,

audio,

stillimages,

animation,

video,or

interactivity

contentforms.Multimediaisusuallyrecordedandplayed,displayed,oraccessedby

informationcontent

processingdevices,suchascomputerizedandelectronicdevices,butcanalsobepartofaliveperformance.Multimediadevicesare

electronicmedia

devicesusedtostoreandexperiencemultimediacontent.Multimediaisdistinguishedfrom

mixedmedia

in

fineart;byincludingaudio,forexample,ithasabroaderscope.Theterm"richmedia"issynonymousfor

interactivemultimedia.

Hypermedia

canbeconsideredoneparticularmultimediaapplication.第12頁1.1多媒體技術概述多媒體特性多樣性：即信息載體的多樣性，指的就是信息媒體的多樣化，有人稱之為信息多維化。65%20%10%2%3%視覺味覺嗅覺觸覺聽覺第13頁1.1多媒體技術概述多媒體特性交互性：用戶控制和使用信息的必備手段，易于人和計算機的交互交互可以增加對信息的注意力和理解力，延長信息保留的時間當交互性引入時，“交互活動”本身作為一種媒體介入到信息的傳遞和轉換過程。即：數(shù)據(jù)轉變?yōu)樾畔ⅰ⑿畔⑥D變?yōu)橹R。當我們完全地進入到一個與信息環(huán)境一體化的虛擬信息空間自由遨游時，這才是交互式應用的高級階段，這就是虛擬現(xiàn)實（VirtualReality）。

第14頁1.1多媒體技術概述初級交互對數(shù)據(jù)的交換和提取(如數(shù)據(jù)庫檢索圖片)中級交互信息處理——能對信息進行抽象和理解高級交互虛擬現(xiàn)實第15頁1.1多媒體技術概述多媒體特性集成性（兩層含義）A)多種不同的媒體信息（文字、聲音、圖像…）有機的組合，成為完整的多媒體信息，共同表達事物；B)處理媒體的設備和工具（包括硬件和軟件）的集成1+1〉2硬件：高速并行CPU、大容量存儲設備、輸入輸出、網(wǎng)絡等軟件：多媒體操作系統(tǒng)、管理系統(tǒng)、創(chuàng)作工具、應用軟件第16頁1.1多媒體技術概述多媒體的主要特性多：多媒體表現(xiàn)：文本、聲音、視頻……多學科交匯：物理/人體工程/生物多領域應用：教學、娛樂各方面媒：人---計算機---世界體：綜合集成一體化信息碼流一體化設備控制一體化交互控制一體化第17頁1.1多媒體技術概述請根據(jù)多媒體特性判斷一下哪些屬于多媒體范疇（1）交互式視頻游戲（2）有聲圖書（3）網(wǎng)絡電視（4）彩色電視（5）視頻會議（6）彩色畫報（7）遠程教育（8）iTV（9）CMMB清華IPv6多媒體電視直播：/resource/ipv6-shi-pin-dian-bo/

/bbs/dszb.php知識鏈接：CMMB……第18頁1.1多媒體技術概述CMMB是英文ChinaMobileMultimediaBroadcasting(中國移動多媒體廣播)的簡稱。它是國內(nèi)自主研發(fā)的第一套面向手機、PDA、MP3、MP4、數(shù)碼相機、筆記本電腦多種移動終端的系統(tǒng)，利用S波段衛(wèi)星信號實現(xiàn)“天地”一體覆蓋、全國漫游，支持25套電視節(jié)目和30套廣播節(jié)目。第19頁1.1多媒體技術概述S波段

波段(frequencyband)是指無線電波的頻率范圍。其度量單位是赫茲(Hz)或周/秒(C／S)。包括甚高頻(VHF)、特高頻(UHF)、超高頻(SHF)、極高頻(EHF)4個波段。第二次世界大戰(zhàn)期間，為了保密，用大寫英文字母表示雷達波段，并一直沿用至今。其中：230—1000兆赫稱為P波段1000—2000兆赫稱為L波段2000—4000兆赫稱為S波段

4000~8000兆赫稱為C波段8000—12500兆赫稱為x波段12.5~18千兆赫稱Ku波段18~26.5千兆赫稱K波段26.5~40千兆赫稱Ka波段第20頁1.1多媒體技術概述國家廣電總局正式頒布了中國移動多媒體廣播(俗稱手機電視)行業(yè)標準，確定采用我國自主研發(fā)的移動多媒體廣播行業(yè)標準。中國移動多媒體廣播系統(tǒng)(簡稱CMMB)行業(yè)標準，規(guī)定了在廣播業(yè)務頻率范圍內(nèi)，移動多媒體廣播系統(tǒng)廣播信道傳輸信號的幀結構、信道編碼和調(diào)制該標準適用于30MHz到3000MHz頻率范圍內(nèi)的廣播業(yè)務頻率，通過衛(wèi)星和/或地面無線發(fā)射電視、廣播、數(shù)據(jù)信息等多媒體信號的廣播系統(tǒng)，可以實現(xiàn)全國漫游。第21頁1.1多媒體技術概述第十五屆中國國際廣播電視信息網(wǎng)絡展覽會(CCBN2007)上，剛剛研發(fā)成功的支持CMMB移動多媒體廣播標準的芯片IF101首次亮相。手機、PMP、MP4、GPS、筆記本電腦、數(shù)碼相機等終端安裝該芯片后，可接收到覆蓋全國20多套電視節(jié)目、30多套音頻廣播以及各類信息節(jié)目。用戶可在移動中24小時隨時隨地收看電視節(jié)目。奧運期間CMMB電視直播風靡中國國內(nèi)已有多個城市實現(xiàn)CMMB的信號覆蓋。請觀看錄像演示第22頁1.1多媒體技術概述第23頁1.1多媒體技術概述最新技術DTMB（課后自行查閱資料）請觀看演示第24頁1.1多媒體技術概述多媒體的起源和發(fā)展技術源流1839年法，達蓋爾→照相1843年蘇格蘭貝思→

fax傳真1876年貝爾→電話1893年

愛迪生→電影1925年

英，Baird機械式電視接收1936年英，BBC電視廣播1953年

彩電（NTSC制式）1956年錄像機1964年貝爾實驗室→可視電話1967年德國：彩電（PAL制式）；法、前蘇聯(lián)彩電（SECAM制式）1972年數(shù)字電視；PHILIPS→激光視盤1984年CD-ROM驅(qū)動器第25頁1.1多媒體技術概述多媒體的起源和發(fā)展多媒體技術發(fā)展階段1983，RCA公司DVI技術提出，88’被Intel收買89’推出i750芯片1984，APPLE推出Macintosh，引入位圖、視窗、圖標等界面，并集成良好的內(nèi)部音頻1985，Commodore推出Amiga專用多媒體系統(tǒng)1989，拉斯韋加斯ComdexFall展出大量專用系統(tǒng)1990，MPC規(guī)范1.0提出之后，MPC2.0MPC3.01993,美國政府正式宣布全美信息高速公路計劃（NII）1995,將NII擴展為GII（全球信息基礎設施）；1995年因而被稱為“Internet年”1997，Intel奔騰芯片加入MMX技術，多能奔騰（MultiMediaeXtension)至此，多媒體技術不再是計算機的外圍技術，成為標準配置趨勢：集成到主板上，內(nèi)置到系統(tǒng)里NationalInformationInfrastructure(國家信息基礎設施)第26頁1.1多媒體技術概述多媒體的起源和發(fā)展計算機0，1通信大眾傳媒文本圖象圖形聲音視頻MPC郵政電報電話數(shù)字網(wǎng)ISDN信息高速報紙廣播電影電視HDTVITV/CMMB多媒體時代ISDN：IntegratedServicesDigitalNetwork,綜合服務數(shù)字網(wǎng)HDTV：HighDefinitionTV高清晰電視；iTVInteractiveTV互動電視第27頁1.1多媒體技術概述多媒體計算機（MPC）定義：能夠綜合處理多種媒體（媒體信息采集、存儲、加工處理、表現(xiàn)、輸出），使多種媒體信息建立邏輯連接，集成為一個系統(tǒng)并具備交互性的計算機。組成：硬件軟件第28頁1.1多媒體技術概述多媒體計算機多媒體計算機層次結構基本計算機硬件系統(tǒng)多媒體硬件設備多媒體核心系統(tǒng)軟件(硬件驅(qū)動、操作系統(tǒng))多媒體制作平臺和工具多媒體創(chuàng)作、編輯軟件多媒體應用系統(tǒng)軟件系統(tǒng)硬件系統(tǒng)第29頁1.1多媒體技術概述多媒體計算機多媒體計算機硬件組成錄像機攝像機影碟機顯示器光盤驅(qū)動器電視機MIC音響MIDI視頻卡計算機電視卡聲卡其他：打印機、掃描儀、圖像卡IP電話、視頻會議、數(shù)

碼相機、手寫板、投影機DVD第30頁1.1多媒體技術概述多媒體計算機MPC的特點光驅(qū)——MPC的重要組件高質(zhì)量的數(shù)字音響和MIDI(MusicalInstrumentDigitalInterface，樂器數(shù)字化接口)圖文并茂的顯示裝備多媒體軟件第31頁1.1多媒體技術概述多媒體個人計算機標準MPC1（1991：Microsoft主導的MPC工作組）對個人計算機增加多媒體功能所需的軟硬件進行最低標準的規(guī)范規(guī)定多媒體個人計算機硬件設備和操作系統(tǒng)等的量化指標制定高于MPC標準的計算機部件的升級規(guī)范第32頁1.1多媒體技術概述MPC1標準設備和軟件配置標準推薦配置CPU386SX386DX或486SX系統(tǒng)時鐘16MHz內(nèi)存2MB4MB硬盤30MB80MB鼠標2鍵鍵盤101鍵接口串行接口、并行接口、游戲棒接口MIDI具備MIDI合成與混音功能的MIDI輸入輸出接口顯示模式VGA或更高等級顯示模式，分辨率為640*480，16色256色光盤驅(qū)動器單速CD-ROM，數(shù)據(jù)傳輸率150KBpa，平均訪問時間<1s聲音輸入麥克風mV級靈敏度聲音重放耳機、揚聲器聲卡模式8b/11.025kHz采樣，11.025kHz和22.050kHz輸出操作系統(tǒng)DOS3.1以上，Windows3.0帶多媒體擴展模塊Windows3.1第33頁1.1多媒體技術概述多媒體個人計算機標準MPC3（1995）進一步提高了多媒體個人計算機的軟件、硬件技術指標制訂了視頻壓縮技術（MPEG）的技術指標，使視頻播放技術更加成熟和規(guī)范化，并且指定了采用全屏幕播放、使用軟件進行視頻數(shù)據(jù)解壓縮等技術標準。第34頁1.1多媒體技術概述MPC3標準設備和軟件配置標準CPUPentium或兼容CPU系統(tǒng)時鐘75MHz內(nèi)存8MB硬盤540MB鼠標2鍵鍵盤101鍵接口串行接口、并行接口、游戲棒接口MIDI具備MIDI合成與混音功能的MIDI輸入輸出接口顯示模式VGA或更高等級顯示模式，分辨率為640*480，65536(64k)色光盤驅(qū)動器4倍速CD-ROM，數(shù)據(jù)傳輸率600KBpa，平均訪問時間<250ms600KBps傳輸時，CPU占用量≤40%，300KBps傳輸時，CPU占用量≤20%音頻16位數(shù)字聲音，波表合成功能，MIDI回放視頻回放支持MPEG1視頻文件播放（硬件或軟件）操作系統(tǒng)Windows3.11和DOS6.0第35頁1.1多媒體技術概述多媒體信息系統(tǒng)也是一種信息系統(tǒng)多媒體信息系統(tǒng)特點信息的多媒體化（文本、數(shù)值、圖形、圖像、聲音、視頻）集成的內(nèi)容豐富（計算機網(wǎng)絡、通訊網(wǎng)絡、廣播網(wǎng)絡、大眾傳播媒介、計算機及輔助硬件設備）應用領域廣泛（企業(yè)管理、教育、學習、娛樂）豐富的信息表現(xiàn)效果、極強的交互能力第36頁小結媒體媒體的分類多媒體的概念多媒體的起源和發(fā)展多媒體計算機多媒體信息系統(tǒng)第37頁1.2多媒體技術與計算機發(fā)展早期的計算機第38頁早期計算機輸入/輸出——紙帶1.2多媒體技術與計算機發(fā)展第39頁早期計算機輸入/輸出——電傳打字機TTY只能處理文字信息，操作仍然很麻煩以復制文件為例子：

C:\>COPYA.TXTB.TXT1.2多媒體技術與計算機發(fā)展第40頁現(xiàn)代計算機輸入/輸出——圖形終端圖像用戶界面的出現(xiàn)，徹底改變了計算機的使用方法樹型目錄結構管理文件非常方便彩色顯示器到液晶顯示器1.2多媒體技術與計算機發(fā)展第41頁圖像/視頻采集視頻采集卡，把高質(zhì)量視頻信號轉變?yōu)橛嬎銠C的文件可產(chǎn)生MPEG文件可產(chǎn)生AVI文件…今天的多媒體技術1.2多媒體技術與計算機發(fā)展第42頁圖像/視頻采集數(shù)碼相機的普及，使得數(shù)字化的圖像信息比過去任何時候都容易獲得。（以前需要用照片掃描）DV（數(shù)字錄像機）已經(jīng)便宜到許多家庭都能購買，數(shù)字視頻數(shù)據(jù)同樣唾手可得。手機上的攝像頭分辨率也越來越高，已經(jīng)成為一個有效的圖像信息來源1.2多媒體技術與計算機發(fā)展第43頁音頻采集目前的計算機都配備聲卡，聲卡能采集聲音信號產(chǎn)生WAV文件幾乎所有MP3都能錄音1.2多媒體技術與計算機發(fā)展第44頁CD-ROM/DVD-ROM/MP3的普及使得多媒體的存儲傳播更為方便舉例：傳統(tǒng)的24盤語音磁帶

＝20小時的聲音信息＝MP3文件約500M

＝刻錄成1

張CD-ROM

而DVD-ROM最普通的容量也有4.7G雙面雙層可達17G1.2多媒體技術與計算機發(fā)展第45頁視頻編輯軟件，使得視頻剪輯工作非常方便AdobePremiereAdobe公司推出的基于非線性編輯設備的視音頻編輯軟件Premiere已經(jīng)在影視制作領域取得了巨大的成功?，F(xiàn)在被廣泛的應用于電視臺、廣告制作、電影剪輯等領域。WindowsMovieMaker簡單易用、免費、普及。1.2多媒體技術與計算機發(fā)展第46頁聲音編輯軟件GoldWave（實驗D:\software\goldwave555_HZ）CoolEdit

Pro（實驗）AdobeAuditionFlexiMusic注意：使用FlexiMusic播放mp3格式文件時需要下載lamewin32.exe1.2多媒體技術與計算機發(fā)展第47頁多媒體課件制作MicrosoftPowerPointWindowsMovieMakerFlash8……1.2多媒體技術與計算機發(fā)展第48頁多媒體數(shù)字化，使得多媒體信息得到空前廣泛的傳播Mp3,高質(zhì)量的歌曲，不會變調(diào)和卡帶Mp4,掌上視頻設備，隨時隨地觀看影片Mp5（MPEGLayer5的簡稱，它是由國內(nèi)科技廠商自行開發(fā)出的演算法，具有聽音樂、看視頻（支持多種格式）、看文本等功能）INTERNET——最大的多媒體數(shù)據(jù)庫，本課大部分圖片都從google查到1.2多媒體技術與計算機發(fā)展第49頁iphone5、iphone6接連發(fā)布/v/b/85631635-2963341802.htmlIphone6發(fā)布會現(xiàn)場1.2多媒體技術與計算機發(fā)展第50頁多媒體技術的應用及展望語音輸入（未來的計算機可能不需要鍵盤）IBMViaVoiceWindowsXP已經(jīng)有成功的語音識別技術Iphone語音識別技術（Siri語音識別展示）/c11/OjY6JCAjIGgnaiIv.html

想象一個能跟用戶說話的計算機1.2多媒體技術與計算機發(fā)展第51頁計算機視覺交通視頻監(jiān)視系統(tǒng)（F:\00最終稿及ppt\ppt制作\匯報）高速路上監(jiān)控車輛流量超速監(jiān)測車牌識別違章盜搶車輛稽查事故場景再現(xiàn)、責任認定交通事件快速檢測1.2多媒體技術與計算機發(fā)展第52頁計算機視覺的研究領域身份識別：人臉識別、虹膜識別、指紋識別等生物識別技術。比如：人臉識別已經(jīng)能夠認識主人，男女，中國人與外國人等。3D場景構建，能夠“理解”所處的環(huán)境。智慧安防：智能視頻分析（如：行人跟蹤，多視頻協(xié)同車輛軌跡跟蹤，復雜場景事件提取，交通事件智能提取）。已經(jīng)廣泛應用于工業(yè)、農(nóng)業(yè)、服務業(yè)、教育、航空航天、國防等等幾乎所有行業(yè)，前景十分廣闊。1.2多媒體技術與計算機發(fā)展第53頁今天的多媒體技術，處處都有計算機的身影，可以說多媒體改變、豐富著計算機，同時也越來越離不開計算機，計算機已經(jīng)成為處理、存儲、傳播多媒體信息的最主要的工具。計算機技術的發(fā)展，帶給多媒體諸多好處容量、處理速度、方便程度目前計算機的角色還僅僅是存儲、編輯、傳播的工具，多媒體信息最終還是由人來理解。直接從多媒體中提取有效的信息的計算機目前還處于研究階段，但一直是學者們關注的熱點。小結1.2多媒體技術與計算機發(fā)展第54頁1.3媒體數(shù)據(jù)感覺媒體感覺媒體的分類視覺類：時基動態(tài)視覺媒體、靜止視覺媒體聽覺類：時基類連續(xù)媒體，聲音信息觸覺類：壓力、溫度、濕度、運動、振動、旋轉，也稱為環(huán)境媒體其他類嗅覺媒體、味覺媒體等活動媒體：人可以通過活動（一組行為的過程，如作試驗）得到更多的信息；抽象事實媒體：對原始數(shù)據(jù)中進行統(tǒng)計、分析、加工和挖掘等抽象操作，以視覺或聽覺媒體加以表達，獲得新信息；混合媒體：組合媒體的信息大于簡單相加第55頁1.3媒體數(shù)據(jù)感覺媒體感覺媒體的性質(zhì)不同媒體的格式不同不同媒體所表達的信息量不同媒體間的相互關系也包含豐富的信息部分媒體間可相互轉換第56頁1.3媒體數(shù)據(jù)多媒體數(shù)據(jù)的特點數(shù)據(jù)量大600MB的標準光盤能存儲：1小時44.1kHz16bit立體聲語音信號20秒N制非壓縮真彩視頻圖像（30幀/S）1小時15分壓縮視頻圖像（200:1壓縮比）數(shù)據(jù)類型多媒體類型多：文本、圖形、圖像……同一種媒體分多種格式：圖像分黑白、彩色、高分辨率、低分辨率……第57頁1.3媒體數(shù)據(jù)多媒體數(shù)據(jù)的特點不同類型數(shù)據(jù)之間差別大空間上：存儲量差別大時間上：時基媒體信息組織方法不同格式和內(nèi)容上：不同媒體不可能統(tǒng)一數(shù)據(jù)處理復雜多媒體數(shù)據(jù)處理包括：采集、編碼變換、應用等環(huán)節(jié)，每環(huán)節(jié)都有不同的處理方式。如：輸入輸出可分異步和同步兩種（下頁圖）第58頁1.3媒體數(shù)據(jù)多媒體數(shù)據(jù)的特點計算機表現(xiàn)輸出聲音圖像文字存儲合成多通道同步輸入輸出多通道輸入分解實時信息第59頁1.3媒體數(shù)據(jù)多媒體數(shù)據(jù)的特點聲音通道圖像通道文字通道計算機表現(xiàn)輸出聲音圖像文字存儲合成多通道異步輸入輸出第60頁1.4聲音媒體聲音媒體的性質(zhì)及分類聲音：運動使空氣振動產(chǎn)生聲音，其攜帶的信息量遠遠大于文字。分類：按頻率分：次聲(<20Hz)、超聲(>20kHz)、可聽聲（也稱音頻，20Hz~20kHz）音頻再按頻率范圍分：電話語音(20Hz~3.4kHz)調(diào)幅廣播(50Hz~7kHz)調(diào)頻廣播(20Hz~15kHz)寬帶音頻(20Hz~20kHz)第61頁1.4聲音媒體聲音媒體的性質(zhì)及分類分類：按用途分：語音音樂效果按處理方式分波形音頻（WaveformAudio）MIDI音頻

第62頁1.4聲音媒體聲音媒體的性質(zhì)及分類性質(zhì)隨時間變化的連續(xù)時基類媒體：處理時對時序要求高三要素：音調(diào)也稱音高（頻率決定）、音強也稱響度（振幅決定）、音色（波形的形狀，多頻混合，基音＋泛音）聲音的方向感：聲音以波形式傳播，有方向，人能分辯，因此可形成立體聲和空間效果第63頁1.4聲音媒體聲音媒體的性質(zhì)及分類樂音基本知識——三要素構成：音高、音色和響度音高（音調(diào)）：聲波的基頻（越低，聲音越沉）音色：具有固定音高和相同諧波的樂音。有時給人感覺有很大差異。比如：相同音高的鋼琴和二胡，我們很容易辨認。原因是：各階諧波比例不同，隨時間衰減程度不同，音色就不同。比如：小號高次諧波豐富，所以聲音高亢。響度（音強）和時值：人耳對聲音細節(jié)的分辨和響度有關，只有適中時，人耳辨別才最靈敏。時值（持續(xù)時間），影響旋律的行進。如：平緩、跳躍等。音階CDEFGAB簡譜1234567頻率Hz261293330349392440494第64頁1.4聲音媒體聲音媒體的性質(zhì)及分類性質(zhì)振幅（音強）周期（音調(diào)）泛音(音色)第65頁1.4聲音媒體波形音頻波形音頻：以數(shù)字方式來表示聲波波形音頻的采樣：將模擬信號變?yōu)閿?shù)字信號，即將連續(xù)的音頻信號x(t)變?yōu)闀r間上離散的序列{x1,x2,x3,…}聲音的模擬信號采樣量化編碼聲音的數(shù)字信號聲音信號數(shù)字化的過程第66頁1.4聲音媒體波形音頻采樣量化圖12345678910111213141510256272798586849097948957360100908070605040302010123456789101112131415采樣點幅度第67頁1.4聲音媒體波形音頻波形音頻采樣的參數(shù)采樣定理：當采樣頻率是信號最高頻率2倍時，可恢復原信號波形。采樣頻率：每秒采樣次數(shù)。高保真44.1kHz，音樂效果22.05kHz，語音效果11.025kHz量化精度/等級：量化二進制位數(shù)，8/16/32位聲道數(shù)：記錄聲音時產(chǎn)生聲波個數(shù)（單/雙）數(shù)據(jù)量（單位：字節(jié)）[(采樣頻率×采樣精度×聲道數(shù))/8]×時間第68頁1.4聲音媒體音樂合成技術MIDI（音樂設備數(shù)字接口）何謂MIDI：將電子樂器鍵盤的演奏信息（鍵名、力度、時間長短）記錄下來，播放時讀出這些信息，生成對應樂曲的聲音波形。

MIDI消息3字節(jié)指令——MIDI指令記錄狀態(tài)信息、數(shù)據(jù)信息、彈奏動作（鍵名、通道、力度等）相當于樂譜的數(shù)字描述，由合成器解釋，產(chǎn)生音樂可定義16個通道，同時產(chǎn)生16種音色/聲部第69頁1.4聲音媒體音樂合成技術MIDI指令?一般由3個字節(jié)組成cc,kk,vv；含義依次是：“命令+通道號”，“音符”，“力度（或速度）”命令的第一個字節(jié)的最高位是1，前4位是1000，代表關閉音符；或1001，代表開啟音符，后四位為通道，0000-1111，對應0-15個通道；第二字節(jié)即音符，最高位是0，因此，音符號為0-127，即00H-7fH；第三字符即力度，最高位也是0，即力度為0-127；舉例1：816170代表：關閉音符的速度值，70H失效，采用第2通道，按第97個鍵。舉例2：935132代表：用第4個通道，按第81鍵，演奏速度是50

95482A/f/21016841.html第70頁1.4聲音媒體音樂合成技術MIDIMIDI的技術規(guī)范（1988年國際標準）每種MIDI裝置由1個接收器、1個發(fā)送器組成，異步通訊連接，速率31250位/秒MIDI設備三種端口：MIDIIn,MIDIOut,MIDI轉送口MIDITHRUMIDI鍵盤128鍵MIDI接收器中有16個通道，類似16個樂器MIDI文件包含的MIDI消息格式定義合成器可以是單音也可以是多音DIN型5針插頭第71頁1.4聲音媒體音樂合成技術MIDIMIDI的技術規(guī)范15針聲卡中MIDI接口1針+5V4針GND地12針MIDITXDMIDI輸出15針MIDIRXDMIDI輸入第72頁1.4聲音媒體音樂合成技術MIDIMIDI設備的連接不妨把MIDI理解成一種局域網(wǎng)，網(wǎng)絡的各個部分通過專用的串行電纜(MIDI線)連接，并以31.25kbps的速度傳送數(shù)字音樂信息。

第73頁1.4聲音媒體音樂合成技術MIDI工作原理圖作曲軟件電子琴鍵盤MIDI文件處理MIDI編輯播放聲音合成器立體聲功放MIDI文件MIDI消息MIDI消息音箱MIDI音序器MIDI控制器MIDI合成器第74頁1.4聲音媒體音樂合成技術MIDIMIDI控制器（controller）制造MIDI指令的設備（電子感應器）控制器有鍵盤式、弦樂式、鼓式、管樂式最常用的是電子鍵盤第75頁1.4聲音媒體音樂合成技術MIDIMIDI音序器（sequencer）一種制譜軟件，是為MIDI作曲而設計的計算機程序用來記譜、編輯MIDI事件音序器軟件

Voyetra——SequencerPlusJunior（SPJr）AWE32——OrchestratorPlus第76頁1.4聲音媒體音樂合成技術MIDIMIDI合成器（synthesizer）制造聲音，將指令翻譯成聲音！轉換方式（1）算法方式，如YamahaFM合成；（2）波表（wavetable）方式合成器指標：聲音質(zhì)量、聲道數(shù)（同時發(fā)聲的樂器數(shù)）、發(fā)音數(shù)（同時的最大音符數(shù)）現(xiàn)在的合成器一般集成在聲卡中。第77頁1.4聲音媒體音樂合成技術MIDIMIDI的優(yōu)點存儲容量?。?0分鐘立體聲音樂，MIDI需200k而波形（無壓縮）需300M，是其1500倍MIDI文件與波形文件混合使用MIDI文件編輯方便、靈活，可任意改變速度、音調(diào)，更換樂器MIDI的缺點聲音質(zhì)量依賴于MIDI硬件設備第78頁1.4聲音媒體流行軟件

（1）MIDI作曲編輯軟件Cakewalk，CuteMIDI（2）音頻編輯軟件Vegas/CoolEdit

（3）Wav格式轉MIDI軟件

AmazingMIDI

（演示）

（4）MIDI制作軟件CuteMIDI演示第79頁1.4聲音媒體輕松一下請欣賞MIDI音樂——YesterdayOnceMore中國MIDI音樂網(wǎng):

碧海銀沙：/midi/

酷特科技：/cm.php第80頁1.4聲音媒體MP3數(shù)碼音樂全稱：MPEG-1Layer3音頻文件高壓縮比：MP1(4:1)、MP2(6～8:1)MP3(10～12:1)有損壓縮感觀編碼技術，小的損失高的壓縮比便攜設備＋網(wǎng)絡流行第81頁1.5視覺媒體視覺媒體基礎概念：通過視覺傳遞信息的媒體視覺媒體分類：位圖/點陣圖像：對圖像每一點的顏色、亮度等數(shù)字化后的圖像，分為：二值、灰度（彩色）矢量圖形：描述圖像點產(chǎn)生過程動態(tài)圖像：多幀靜態(tài)畫面序列在時間軸上變化形成的動態(tài)視覺感受。分視頻、動畫、三維動畫符號：人對信息的抽象結果，如文本、符號視覺媒體的特點：準確、直觀、具體、生動高效、應用廣、信息量大第82頁1.5視覺媒體視覺媒體基礎圖像：人類視覺系統(tǒng)所感知的信息形式或人們心目中的有形想像。圖像參數(shù)分辨率：決定圖像質(zhì)量的主要因素。（屏幕分辨率、圖像分辨率、象素分辨率/象素長寬比）顏色深度：1bit，4bits，8bits，16bits，24bits顏色深度顏色總數(shù)圖像名稱12單色圖像41616色圖像8256256色圖像（偽彩色）163276816位色圖像（增強色）2416772216真彩色圖像第83頁1.5視覺媒體視覺媒體基礎圖像參數(shù)點陣圖像的數(shù)據(jù)量（字節(jié)）調(diào)色板(colorpalette)：存放一個圖像所有顏色的表，由序號和真彩色值構成。是降低顏色深度保證足夠的顏色分辨率一種方法。第84頁1.5視覺媒體視覺媒體基礎圖形：抽象化的圖像，依據(jù)某個標準對圖像進行分析產(chǎn)生的結果，通常由點、線、弧、圓、曲線、文字等元素構成。圖形的格式是一組描述點、線、面等幾何圖形的大小、形狀及其位置、維數(shù)的指令集合，在圖形文件中只記錄生成圖的算法和圖上的某些特征點，也稱矢量圖。line（x1,y1,x2,y2,color）circle（x,y,r,color）第85頁1.5視覺媒體視覺媒體基礎圖形的分類和特征：分類：二維/三維圖形，在平面和空間進行顯示和變換對圖像抽象化得到圖形，其過程稱矢量化存儲空間小圖形中的元素可單獨控制操作顯示時需要一定的計算時間第86頁1.5視覺媒體視覺媒體基礎圖形和圖像比較：矢量圖形的構成是圖元（圖形指令）、點陣圖像的構成是像素，后者更逼真圖形的顯示過程是按圖元的順序，而圖像是按點陣的排列，與圖像內(nèi)容無關圖形縮放后無變形和失真，圖像不然圖形的編輯以圖元為單位，互不影響，圖像的編輯只能以象素或區(qū)域來進行圖形是圖像的抽象，有信息的丟失第87頁1.5視覺媒體圖形圖像圖形圖形圖形第88頁1.5視覺媒體視覺媒體基礎動態(tài)圖像：利用人眼的視覺暫留特性(約0.05～0.1秒)，將多幅畫面序列以一定的間隔連續(xù)播放，給人以真實的連續(xù)感。動態(tài)圖像特性：時間上連續(xù)的圖像可以表現(xiàn)事件的“過程”，屬時基媒體，信息豐富實時性強，必須在規(guī)定的時間更換畫面數(shù)據(jù)量大，必須壓縮才能應用到多媒體系統(tǒng)中幀間相關性大，可以利用幀間關系壓縮數(shù)據(jù)量第89頁1.5視覺媒體視覺媒體基礎動態(tài)圖像參數(shù)幀速：一般24～30幀/秒圖像質(zhì)量：由原始數(shù)據(jù)質(zhì)量以及壓縮算法有關，壓縮比太大時質(zhì)量明顯下降數(shù)據(jù)量（/秒）不壓縮時：幀速×圖像數(shù)據(jù)量

壓縮時：取決于算法減低幀速或縮小幅面也能減小數(shù)據(jù)量第90頁1.5視覺媒體視覺媒體基礎文本及特點文本是一種“流”結構形式，由具有上下文關系的字符串組成。其攜帶的信息只與其結構有關，而與其表現(xiàn)形式（如字體）無關文本顯示的改變只是屬性的改變，不影響含義對文本的處理應遵守文本內(nèi)部的結構，如斷句、結尾、分段、章節(jié)第91頁1.5視覺媒體彩色空間彩色三要素亮度Brightness：人眼對明亮程度的感覺，與對象的發(fā)光強度有關，人對不同顏色的亮度感覺是不一樣的色調(diào)Hue：色調(diào)表示光的顏色，它決定于光的波長。可見光的各色波長范圍之間的界限并不十分明顯，色調(diào)是由強度最大的彩色成分來決定的。例如自然界中的七色光就分別對應著不同的色調(diào)，而每種色調(diào)又分別對應著不同的波長飽和度Saturation：顏色的深淺程度，即各種顏色混入白光的程度，飽和度越高，顏色越純。100％飽和度表示沒有混入白光色調(diào)＋飽和度＝色度，反映顏色的類別和深淺度知識窗第92頁1.5視覺媒體彩色空間什么是對比度？屏幕上同一點最亮時（白色）與最暗時（黑色）的亮度的比值，不過通常產(chǎn)品的對比度指標是就整個屏幕而言的，例如一個屏幕在全白屏狀態(tài)時候亮度為500cd/m2（坎德拉/平方米，1cd相當于一只蠟燭的發(fā)光強度），全黑屏狀態(tài)亮度為0.5cd/m2，這樣屏幕的對比度就是1000:1。對比度和圖像質(zhì)量的關系對比度越大，圖像越清晰醒目，色彩也越鮮明艷麗；而對比度小，則會讓整個畫面都灰蒙蒙的。第93頁1.5視覺媒體彩色空間暖色調(diào)與冷色調(diào)色調(diào)取決于光的波長。頻率越高（波長越短），視覺感覺越冷，稱之為冷色調(diào)；反之頻率越低的光，視覺感覺越溫暖，稱之為暖色調(diào)。

可見光的波長范圍在770～350納米之間。770～622nm，紅色；622～597nm，橙色；597～577nm，黃色；577～492nm，綠色；492～480nm，青色；480～455nm，藍靛色；455～350nm，紫色。第94頁1.5視覺媒體彩色空間暖色調(diào)與冷色調(diào)暖色有向前的感覺，冷色則向后退；暖色有放大、分散的感覺，冷色則有收縮趨向。暖色給人以興奮、熱烈的感覺，冷色則反之給人以沉靜感。暖色使人聯(lián)想到日光、大地、泥土、干燥，顯得較沉重，有刺激感；冷色則使人聯(lián)想的月光，空氣、潮濕、水、有輕松柔和感。第95頁1.5視覺媒體彩色空間暖色調(diào)與冷色調(diào)第96頁1.5視覺媒體彩色空間三原色：紅、綠、藍紅綠藍品紅青黃白二次色：品紅、黃、青補色（兩色相加后為白）：紅－－青(Cyan)

藍－－黃綠－－品紅(Magenta)亮度方程：第97頁1.5視覺媒體彩色空間數(shù)字化彩色圖像彩色圖像可以定義為二維連續(xù)函數(shù)f(x,y)，顏色是位置的函數(shù)。數(shù)字化就是把f(x,y)的空間坐標和彩色幅度離散化坐標離散化常取128、256、512、1024，而彩色幅度離散化由彩色空間決定。第98頁1.5視覺媒體彩色空間RGB彩色空間(計算機程序設計時常用)第99頁1.5視覺媒體彩色空間YUV彩色空間(電視中用，更適合人的視覺)第100頁1.5視覺媒體彩色空間YUV彩色空間解決黑白電視和彩色電視的兼容性人眼對亮度的分辨能量高于對色彩的分辯能力，可用不同的帶寬來傳送信號（如我國的PAL/D制式中Y的帶寬6M，U、V的是1.3M)多媒體計算機中采用YUV彩色空間，數(shù)字化時各分量的位數(shù)是不一樣的，經(jīng)常取8:4:4或8:2:2，這樣，可以把24位色彩壓縮為16位或12位，而這種變化人眼感覺不到第101頁1.5視覺媒體彩色空間YIQ彩色空間(NTSC制，美國日本)Y亮度信號I、Q色差信號，色度矢量與U、V不同，坐標軸夾角33°33°UQFIV33°第102頁1.5視覺媒體彩色空間YIQ彩色空間人眼分辯紅與黃之間顏色變化的能力最強分辯藍與紫之間顏色變化的能力最弱在色度矢量圖中，紅黃之間的橙色（相角為123°）和藍紫之間的青色（相角303°）。把通過123°～0°～303°的線的色度信號定義為I軸，表示最敏感的色軸。與I軸正交的Q軸表示人眼最不敏感的色軸。傳輸時，I的帶寬取1.3~1.5MHz,而Q的帶寬只取0.5MHz第103頁1.5視覺媒體彩色空間HSI彩色空間(用于圖像快速處理)H：色調(diào)(Hue)、S：飽和度(Saturation)、I：亮度(intensity)各參數(shù)相互獨立，分別提供解釋彩色圖像的信息。色調(diào)H是顏色的屬性，描述真正的彩色，如純紅、純綠、純黃等，當關注圖像顏色時，該參數(shù)最具有代表性；飽和度S是顏色的另一屬性，描述顏色用白色沖淡的程度；亮度I是非彩色屬性，表示亮或暗，對應黑白圖像中的灰度，圖像處理中很多操作直接應用。第104頁1.5視覺媒體彩色空間彩色空間的轉換

RGB->YUV第105頁1.5視覺媒體彩色空間彩色空間的轉換RGB->YIQ第106頁1.5視覺媒體彩色空間彩色空間的轉換RGB->HSI第107頁1.5視覺媒體視覺媒體文件格式圖形圖像常見文件格式格式提出公司特點其他GIFCompuServe為圖像傳輸制定使用LZW壓縮TIFFAlaus/Microsoft為輸入輸出設計兼容好，使用廣TGATrueVision專業(yè)圖像卡用結構簡單BMP廣泛使用PCXZsoftPCPaintbrush軟件使用與特定顯示硬件相關JPG/JPEGAppleMac靜態(tài)壓縮高壓縮比PCDKodakPhotoCD專用專業(yè)攝影用第108頁1.5視覺媒體視覺媒體文件格式動畫常見文件格式格式提出公司特點其他FLICAutoDesk早期：320X200，256色新板：提高廣泛使用MMMMacromediaDirector多媒體軟件特有第109頁1.5視覺媒體視覺媒體文件格式視頻常見文件格式格式提出公司特點其他AVIMicrosoftVideoforwindows的標準格式音/視頻文件支持多種壓縮方法MOVApple質(zhì)量優(yōu)于AVIMPEG國際標準MPEG1,MPEG2,MPEG3,MPEG4VCD光盤第110頁1.6主要內(nèi)容講什么？涉及內(nèi)容太廣泛——聲音、視頻、圖形、圖像、動畫、虛擬現(xiàn)實、標準、多媒體網(wǎng)絡、數(shù)據(jù)庫、網(wǎng)頁、通信、軟件應用……講授音頻、視頻原理、壓縮算法、標準、多媒體數(shù)據(jù)庫，網(wǎng)頁，通信等基本理論方法，重點練習兩種軟件Premiere和Flash的使用。不具體講某個應用軟件的使用。第111頁1.6主要內(nèi)容課程講授內(nèi)容音頻采集、處理、標準視頻采集、處理、標準輸入輸出設備多媒體數(shù)據(jù)庫多媒體網(wǎng)絡多媒體網(wǎng)頁等第112頁1.6主要內(nèi)容多媒體信息的數(shù)字化方法編碼解碼壓縮等多媒體數(shù)據(jù)的存儲、檢索方法多媒體數(shù)據(jù)庫多媒體信息的應用展望語音識別語音合成計算機視覺第113頁1.6主要內(nèi)容編碼是指將語音或視頻模擬信號數(shù)字化的過程。解碼是指將數(shù)字信號轉換成模擬信號的過程。編解碼器是指具備了以上2種功能的裝置。調(diào)制是為了通過傳輸線路傳送這些數(shù)字號，而將數(shù)