第九章 多媒體技術(shù)基礎(chǔ)

第九章多媒體技術(shù)根底9.1多媒體技術(shù)的根本概念9.2多媒體計(jì)算機(jī)系統(tǒng)9.3多媒體信息的數(shù)字化和壓縮技術(shù)9.4多媒體素材制作9.1多媒體技術(shù)的根本概念

多媒體媒體存儲(chǔ)信息的物理實(shí)體，如磁盤(pán)、光盤(pán)等信息的表現(xiàn)形式或載體

多媒體融合兩種或兩種以上媒體的一種人機(jī)交互式信息交流和傳播媒體，使用的媒體包括文字、圖形、圖像、聲音、動(dòng)畫(huà)和視頻。多媒體技術(shù)

是一種基于計(jì)算機(jī)的綜合技術(shù)，包括數(shù)字化信息的處理技術(shù)、音頻和視頻技術(shù)、計(jì)算機(jī)硬件和軟件技術(shù)、人工智能和模式識(shí)別技術(shù)、通信和圖像技術(shù)等，是一門(mén)跨學(xué)科的綜合技術(shù)。

多媒體技術(shù)的特性多樣性媒體、處理方式集成性媒體、設(shè)備與軟件的集成交互性用戶與多媒體信息數(shù)字化媒體信息以數(shù)字的形式存儲(chǔ)和處理實(shí)時(shí)性聲音媒體和視頻媒體多媒體信息的類(lèi)型1．文本2．圖形由直線、圓、圓弧、任意曲線等組成的畫(huà)面，以矢量形式存儲(chǔ)。3．圖像通過(guò)掃描儀、數(shù)字照相機(jī)、攝像機(jī)等設(shè)備捕捉的真實(shí)場(chǎng)景的畫(huà)面，數(shù)字化后以位圖格式存儲(chǔ)。4．動(dòng)畫(huà)利用了人眼的視覺(jué)特性所得到的畫(huà)面印象。5.視頻來(lái)自視頻信號(hào)源的影像。6．音頻話語(yǔ)、音樂(lè)以及各種動(dòng)物和自然界發(fā)出的各種聲音。多媒體信息處理的關(guān)鍵技術(shù)1.多媒體數(shù)據(jù)壓縮技術(shù)節(jié)省存儲(chǔ)空間，提高通信介質(zhì)的傳輸效率，使計(jì)算機(jī)實(shí)時(shí)處理和播放視頻、音頻信息成為可能。2.多媒體數(shù)據(jù)存儲(chǔ)技術(shù)數(shù)字化數(shù)據(jù)存儲(chǔ)的介質(zhì)有：硬盤(pán)、光盤(pán)和磁帶等。CD/ROM光盤(pán)容量：650MB左右單面單密度DVD：4.7GB雙面雙密度DVD：17GB3.集成電路制作技術(shù)為多媒體技術(shù)的進(jìn)一步開(kāi)展創(chuàng)造了有力的條件。4.多媒體數(shù)據(jù)庫(kù)技術(shù)研究多媒體信息的特征、建立多媒體數(shù)據(jù)模型；有效地組織和管理多媒體信息；多媒體信息的檢索和統(tǒng)計(jì)。5.虛擬現(xiàn)實(shí)技術(shù)利用計(jì)算機(jī)生成一種模擬環(huán)境，通過(guò)多種傳感設(shè)備，使人能夠沉浸在計(jì)算機(jī)生成的虛擬境界中，并能夠通過(guò)語(yǔ)言、手勢(shì)等自然的方式與之進(jìn)行實(shí)時(shí)交互，創(chuàng)立了一種適人化的多維信息空間。6.多媒體網(wǎng)絡(luò)與通信技術(shù)多媒體通信技術(shù)支持是保證多媒體通信實(shí)施的條件。資料:虛擬現(xiàn)實(shí)多媒體技術(shù)的應(yīng)用領(lǐng)域1.多媒體教育2.電子出版物3.多媒體網(wǎng)絡(luò)應(yīng)用

互聯(lián)網(wǎng)直播

視頻點(diǎn)播遠(yuǎn)程教育

視頻會(huì)議系統(tǒng)

9.2多媒體計(jì)算機(jī)系統(tǒng)多媒體應(yīng)用系統(tǒng)多媒體計(jì)算機(jī)主機(jī)、外圍設(shè)備多媒體編輯與創(chuàng)作工具多媒體庫(kù)函數(shù)、素材制作工具多媒體操作系統(tǒng)設(shè)備驅(qū)動(dòng)軟件、接口程序多媒體系統(tǒng)層次結(jié)構(gòu)

MPC標(biāo)準(zhǔn)(多媒體計(jì)算機(jī)主機(jī)標(biāo)準(zhǔn))在普通微機(jī)的根底上增加以下4類(lèi)軟、硬件設(shè)備：①聲/像輸入設(shè)備：例如，話筒、錄音機(jī)、攝像機(jī)、光驅(qū)、掃描儀等。②聲/像輸出設(shè)備：例如，音效、投影儀、刻錄光驅(qū)等。③功能卡：例如，電視卡、視頻卡(采集、壓縮、輸出)、網(wǎng)卡等。④軟件支持：音響、視頻和通訊信息以及實(shí)時(shí)、多任務(wù)處理軟件。資料:多媒體的根本設(shè)備多媒體計(jì)算機(jī)硬件系統(tǒng)多媒體計(jì)算機(jī)硬件系統(tǒng)示意圖

光盤(pán)機(jī)掃描儀電視機(jī)揚(yáng)聲器顯示器網(wǎng)絡(luò)通信主機(jī)音頻卡話筒音響設(shè)備MIDI視頻卡影碟機(jī)錄像機(jī)攝像機(jī)打印機(jī)網(wǎng)卡多媒體接口卡1.音頻卡又稱(chēng)聲卡，是處理音頻信號(hào)的硬件2.圖形加速卡圖形加速卡擁有圖形函數(shù)加速器和顯存，專(zhuān)門(mén)用來(lái)執(zhí)行圖形加速任務(wù)，可以減少CPU處理圖形的負(fù)擔(dān)。工作在CPU和顯示器之間，控制計(jì)算機(jī)的圖形輸出?，F(xiàn)在的顯示卡上都集成有圖形處理芯片組，成為圖形加速卡。資料:圖形加速卡3.視頻采集卡視頻采集卡可以獲取數(shù)字化視頻信息，提供硬件壓縮功能Video復(fù)合視頻接口，將亮度、彩色信號(hào)和同步信號(hào)合成一個(gè)信號(hào)。S-Video別離視頻接口，將亮度和色度信號(hào)分成兩個(gè)獨(dú)立的模擬信號(hào)。連接模擬視頻設(shè)備。資料:電視信號(hào)4.IEEE1394卡標(biāo)準(zhǔn)的IEEE1394接口可以同時(shí)傳送數(shù)字視頻信號(hào)以及數(shù)字音頻信號(hào)，相對(duì)于模擬視頻接口，IEEE1394技術(shù)在采集和回錄過(guò)程中沒(méi)有任何信號(hào)的損失。現(xiàn)在的IEEE1394卡多為PCI接口，只要插入到計(jì)算機(jī)主板相應(yīng)的PCI插槽上就可以提供視頻采集功能信息獲取設(shè)備數(shù)碼照像機(jī)〔DC〕數(shù)碼照像機(jī)所拍攝到的照片是以文件形式存儲(chǔ)在相機(jī)內(nèi)的存儲(chǔ)卡中，將數(shù)碼照像機(jī)中的照片存儲(chǔ)到計(jì)算機(jī)中，先用連接線將數(shù)碼照像機(jī)與計(jì)算機(jī)連結(jié)起來(lái)。數(shù)碼照像機(jī)的驅(qū)動(dòng)程序就會(huì)將相機(jī)的存儲(chǔ)卡視為計(jì)算機(jī)的一個(gè)可移動(dòng)磁盤(pán)，存儲(chǔ)卡中的圖像會(huì)以略圖方式顯示數(shù)碼設(shè)備數(shù)碼照像機(jī)的性能指標(biāo)：分辨率：分辨率越高，所拍圖象的質(zhì)量也越高顏色深度：對(duì)色彩的分辨率，現(xiàn)在一般都可以到達(dá)24位，生成真彩色的圖象存儲(chǔ)介質(zhì)：閃速存儲(chǔ)器數(shù)據(jù)輸出方式：輸出接口為串行口、USB接口或1394接口。數(shù)碼攝像機(jī)〔DV〕數(shù)碼攝像機(jī)的優(yōu)點(diǎn)是動(dòng)態(tài)拍攝效果好，數(shù)碼攝像機(jī)使用的小尺寸電荷耦合器件CCD與其鏡頭的不匹配，在拍攝靜止圖像時(shí)的效果不如數(shù)碼照像機(jī)。使用iLink纜線連接DV與計(jì)算機(jī)，一端連接計(jì)算機(jī)上的IEEE1394卡上的接口，另一端接在DVIn/Out接口，然后翻開(kāi)DV的電源并把DV調(diào)到VCR狀態(tài)，操作系統(tǒng)會(huì)自動(dòng)識(shí)別DV設(shè)備。啟動(dòng)采集編輯軟件，將存儲(chǔ)在DV帶上的數(shù)碼影像輸入到計(jì)算機(jī)。如果要將DV上的數(shù)碼影像輸出到電視機(jī)，需要使用RCA線纜。RCA線纜包含了三個(gè)接頭：紅色代表右邊的音頻線路、白色代表左邊的音頻線路、黃色代表視頻線路，兩端的外觀都一樣。

接右聲道接左聲道接視頻多媒體計(jì)算機(jī)軟件系統(tǒng)多媒體計(jì)算機(jī)軟件系統(tǒng)多媒體應(yīng)用系統(tǒng)多媒體計(jì)算機(jī)主機(jī)、外圍設(shè)備多媒體編輯與創(chuàng)作工具多媒體庫(kù)函數(shù)、素材制作工具多媒體操作系統(tǒng)設(shè)備驅(qū)動(dòng)軟件、接口程序系統(tǒng)軟件9.3多媒體信息的數(shù)字化和壓縮技術(shù)

音頻信息復(fù)雜的聲波由許許多多具有不同振幅和頻率的正弦波組成。波形相對(duì)基線的最大位移稱(chēng)為振幅A，反映音量；波形中兩個(gè)相鄰的波峰〔或波谷〕之間的距離稱(chēng)為振動(dòng)周期T，周期的倒數(shù)1/T即為頻率f，以赫茲〔Hz〕為單位。正常人所能聽(tīng)到的聲音頻率范圍為20Hz～20kHz。振幅頻率模擬信號(hào)模擬音頻的數(shù)字化用計(jì)算機(jī)對(duì)音頻信息處理，就要將模擬信號(hào)〔如語(yǔ)音、音樂(lè)等〕轉(zhuǎn)換成數(shù)字信號(hào)。

振幅

頻率1/T

采樣點(diǎn)

T

振幅1/TT采樣:每隔一定時(shí)間間隔對(duì)模擬波形上取一個(gè)幅度值。采樣頻率為

40.1kHz可獲得原始聲音波形，高質(zhì)量聲音。量化:將每個(gè)采樣點(diǎn)得到的幅度值以數(shù)字存儲(chǔ)。編碼:將采樣和量化后的數(shù)字?jǐn)?shù)據(jù)以一定的格式記錄下來(lái)模擬信號(hào)采樣量化編碼數(shù)字信號(hào)數(shù)字音頻的技術(shù)指標(biāo)采樣頻率:

每秒鐘的采樣次數(shù)量化位數(shù)(采樣精度)：存放采樣點(diǎn)振幅值的二進(jìn)制位數(shù)。通常量化位數(shù)有8位、16位，分別表示有28、216個(gè)等級(jí)。聲道數(shù)：聲音通道的個(gè)數(shù)，立體聲為雙聲道。每秒鐘存儲(chǔ)聲音容量的公式為：采樣頻率×采樣精度×聲道數(shù)/8=字節(jié)數(shù)例如，用44.10kHz的采樣頻率，16位的精度存儲(chǔ)，那么錄制1秒鐘的立體聲節(jié)目，其WAV文件所需的存儲(chǔ)量為：44100×16×2/8=176400〔字節(jié)〕聲音文件容量大小的計(jì)算計(jì)算一首采樣頻率為22.05KHz，16位，長(zhǎng)度為3分鐘的立體聲音頻所占空間約為多少？Wave格式文件〔.Wav〕記錄了真實(shí)聲音的二進(jìn)制采樣數(shù)據(jù)，通常文件較大。MIDI格式文件〔.MID〕數(shù)字音樂(lè)的國(guó)際標(biāo)準(zhǔn).記錄的是音符數(shù)字，文件顯得更加緊湊、小。在多媒體應(yīng)用中，一般WAV文件存放的是解說(shuō)詞，MIDI文件存放的是背景音樂(lè)。

MPEG音頻文件〔.MP1/.MP2/.MP3〕采用MPEG音頻壓縮標(biāo)準(zhǔn)進(jìn)行壓縮的文件。是有損壓縮RA音頻文件〔.ra〕流媒體，壓縮的，較小，適合網(wǎng)上實(shí)時(shí)播放數(shù)字音頻的文件格式

WAV文件MIDI文件圖形和圖像圖形：矢量圖形由點(diǎn)、線等組成的有邊界畫(huà)面，由繪圖軟件繪制的，以矢量圖形文件形式存儲(chǔ)，存放的是各個(gè)圖元的大小、位置、形狀、顏色、維數(shù)等屬性的指令集合，對(duì)圖形中的各個(gè)圖元進(jìn)行縮放、移動(dòng)、旋轉(zhuǎn)而不失真，占用的存儲(chǔ)空間小。圖像：位圖圖形由圖像設(shè)備輸入的真實(shí)場(chǎng)景畫(huà)面產(chǎn)生的映像，數(shù)字化后以位圖形式存儲(chǔ)。存儲(chǔ)的是構(gòu)成圖像的每個(gè)像素點(diǎn)的亮度、顏色，文件大小與分辨率和色彩的顏色種類(lèi)有關(guān)，放大和縮小要失真，占用的空間比矢量文件大。圖形：矢量圖形由點(diǎn)、線等組成的有邊界畫(huà)面，由繪圖軟件繪制的，以矢量圖形文件形式存儲(chǔ)，存放的是各個(gè)圖元的大小、位置、形狀、顏色、維數(shù)等屬性的指令集合，對(duì)圖形中的各個(gè)圖元進(jìn)行縮放、移動(dòng)、旋轉(zhuǎn)而不失真，占用的存儲(chǔ)空間小。圖像：位圖圖形由圖像設(shè)備輸入的真實(shí)場(chǎng)景畫(huà)面產(chǎn)生的映像，數(shù)字化后以位圖形式存儲(chǔ)。存儲(chǔ)的是構(gòu)成圖像的每個(gè)像素點(diǎn)的亮度、顏色，文件大小與分辨率和色彩的顏色種類(lèi)有關(guān)，放大和縮小要失真，占用的空間比矢量文件大。矢量圖形：矢量圖形文件存儲(chǔ)的是描述生成圖形的指令，本身就是數(shù)字信息，因此不必對(duì)圖形中的每一點(diǎn)進(jìn)行數(shù)字化處理。圖像：現(xiàn)實(shí)中的圖像是一種模擬信號(hào)。圖像的數(shù)字化是指將一幅真實(shí)的圖像轉(zhuǎn)變成計(jì)算機(jī)能夠接受的數(shù)字形式。

圖像數(shù)字化過(guò)程：圖像的采樣、量化及編碼圖形和圖像的數(shù)字化〔1〕采樣：圖像的采樣就是將連續(xù)的圖像轉(zhuǎn)化成離散點(diǎn)的過(guò)程，采用的實(shí)質(zhì)是用假設(shè)干個(gè)像素點(diǎn)萊描述整幅圖像，也稱(chēng)為圖像的分辨率，用點(diǎn)的“列數(shù)×行數(shù)〞分辨率越高，圖像越清晰，存儲(chǔ)量越大。圖像數(shù)字化過(guò)程〔2〕量化：將表示圖像色彩濃淡的連續(xù)變化值離散化為整數(shù)值的過(guò)程。一般用8位、16位、24位、32位等來(lái)表示圖像的顏色，也稱(chēng)為顏色深度。24位可表示224=16777216種顏色，稱(chēng)為真彩色。1〔3〕編碼：圖像文件的分辨率和像素位的顏色深度決定了圖像文件的大小，計(jì)算圖像存儲(chǔ)大小公式：列數(shù)×行數(shù)×像素的顏色深度/8=字節(jié)數(shù)例如：分辨率為640×480的真彩色屏幕的幀存儲(chǔ)器的容量是：又如：分辨率640×480的256色屏幕的幀存儲(chǔ)器的容量是640×480×8/8=307200〔字節(jié)〕。640×480×24/8=921600〔字節(jié)〕。例：1280×1024分辨率的“真彩色〞電視圖像，按每秒30幀計(jì)算，顯示1分鐘，那么需要：

計(jì)算存儲(chǔ)視頻或電視圖像大小的公式：

列數(shù)×行數(shù)×像素的顏色深度/8×幀/秒=字節(jié)數(shù)

1280×1024×24×30×60/8≈6.6GB假設(shè)每秒播放25幀畫(huà)面，每幀影像像素?cái)?shù)為720*576的真彩方式，請(qǐng)計(jì)算半分鐘的該影視數(shù)據(jù)所占空間？視頻視頻是將一幅幅獨(dú)立圖像組成的序列按照一定的速率連續(xù)播放，利用視覺(jué)暫留現(xiàn)象在人的眼前呈現(xiàn)出連續(xù)運(yùn)動(dòng)的畫(huà)面。模擬視頻和數(shù)字視頻文件大小的計(jì)算：分辨率幀/秒采樣深度

時(shí)間秒640×480×24×30×60/8=1658880000字節(jié)常用圖像文件格式BMP和DIB格式文件與設(shè)備無(wú)關(guān)的位圖格式文件，包含的圖像信息較豐富，幾乎不壓縮，Windows環(huán)境中經(jīng)常使用.GIF格式文件Internet上的重要文件格式之一，最大不超過(guò)64KB，256色以內(nèi)，壓縮比較高。也有連續(xù)的動(dòng)畫(huà)JPEG格式文件〔.JPG〕利用JPEG方法壓縮,壓縮比高，Internet上重要文件格式之一，適用于處理256色以上、大幅面圖像。WMF格式文件位圖與矢量圖的混合體,Windows中許多剪貼畫(huà)圖像是以該格式存儲(chǔ)的。廣泛應(yīng)用于桌面出版印刷領(lǐng)域。常用視頻文件格式AVI〔Audio-VideoInterleaved〕文件將視頻與音頻信息交錯(cuò)地保存在一個(gè)文件中，較好地解決了音頻與視頻的同步問(wèn)題，已成為Windows視頻標(biāo)準(zhǔn)格式文件。未壓縮MOV文件合成視頻、音頻、動(dòng)畫(huà)、靜止圖像等多種素材。未壓縮MPG(.mpg)文件是按照MPEG標(biāo)準(zhǔn)壓縮的全屏視頻的標(biāo)準(zhǔn)文件。DAT文件是VCD專(zhuān)用的格式文件，文件結(jié)構(gòu)與MPG文件格式根本相同。流媒體概述流媒體一種可以使音頻、視頻等多媒體文件能在Internet上以實(shí)時(shí)的、無(wú)需下載等待的流式傳輸方式進(jìn)行播放的技術(shù)應(yīng)用互聯(lián)網(wǎng)直播視頻點(diǎn)播遠(yuǎn)程教育視頻會(huì)議系統(tǒng)常用流媒體文件RealMediaRA〔RealAudio〕用來(lái)傳輸接近CD音質(zhì)的音頻數(shù)據(jù)RM〔RealVideo〕在低速率的網(wǎng)絡(luò)上實(shí)時(shí)傳輸活動(dòng)視頻影像RF〔RealFlash〕一種高壓縮比的動(dòng)畫(huà)格式QuickTime是數(shù)字媒體領(lǐng)域事實(shí)上的工業(yè)標(biāo)準(zhǔn)，是創(chuàng)立3D動(dòng)畫(huà)、實(shí)時(shí)效果、虛擬現(xiàn)實(shí)、A/V和其他數(shù)字流媒體的重要根底。ASFASF是一種數(shù)據(jù)格式，音頻、視