多媒體復(fù)習(xí)資料(20210212114936)

1、第一章 多媒體技術(shù)概述一、 媒體1.含義：媒體( Media )就是指信息的載體，其本質(zhì)是信息傳播的技術(shù)和手段。2.按照媒體的發(fā)展，媒體可以分為傳統(tǒng)媒體和新媒體： 傳統(tǒng)媒體：廣播、電視、報(bào)刊雜志新媒體：基于互聯(lián)網(wǎng)、PC和移動(dòng)終端技術(shù)的數(shù)字媒體技術(shù)，包括網(wǎng)站、博客、微博、 微信、手機(jī) App 等。3.國(guó)際電信聯(lián)盟(In ternatio nal Telecommu ni cati on Un io n，ITU)對(duì)媒體進(jìn)行了詳細(xì)的分 類(lèi)：1)感覺(jué)媒體(Perception media):指直接作用于人的感覺(jué)器官、從而為人的感知系 統(tǒng)所接受的信息形態(tài)或媒體形式。舉例：文字、聲音、圖形、圖像、動(dòng)畫(huà)、視

2、頻2)表示媒體(Presentation media):指感覺(jué)媒體在電子設(shè)備、計(jì)算機(jī)、網(wǎng)絡(luò)等系統(tǒng) 內(nèi)部的存在形式，即編碼形態(tài)的媒體。舉例：計(jì)算機(jī)系統(tǒng)中的 ASCII 碼、國(guó)家標(biāo)準(zhǔn)漢字字符集的區(qū)位碼、字符的點(diǎn)陣碼、 音頻、圖像與視頻編碼。3)表現(xiàn)媒體( Representation media ) ：指將編碼形式的媒體顯示成感覺(jué)媒體的設(shè)備 或技術(shù)，實(shí)際上就是指多媒體系統(tǒng)的輸入、輸出設(shè)備。舉例：顯示器、投影儀、打印機(jī)、繪圖儀、有源或無(wú)源音箱、鍵盤(pán)、鼠標(biāo)、攝像 機(jī)、麥克風(fēng)。4)存儲(chǔ)媒體(Store media):指用于存放表示媒體(即編碼形態(tài)的媒體)的設(shè)備或 技術(shù)。舉例：內(nèi)存、寄存器、磁盤(pán)、磁帶、光

3、盤(pán)、 USB 盤(pán)。5)傳輸媒體(Transmissionmedia):指用于傳送表示媒體的設(shè)備或技術(shù)。 舉例：雙絞線(xiàn)、電纜、光纖、空氣、電磁波。二、 多媒體1.含義：多媒體就是指能夠同時(shí)處理兩種以上感覺(jué)媒體的計(jì)算機(jī)系統(tǒng)，其目標(biāo)是為用戶(hù) 提供更豐富的應(yīng)用體驗(yàn)。2.多媒體技術(shù)的特征：1)媒體類(lèi)型或媒體技術(shù)的多樣性。一個(gè)可以被稱(chēng)為多媒體的應(yīng)用系統(tǒng)，必須至少集 成了兩種不同類(lèi)型的媒體及其相關(guān)技術(shù)。該特征是多媒體系統(tǒng)的本質(zhì)特征，也是 其魅力所在。2)媒體內(nèi)容的同步性( synchronization )。在多媒體應(yīng)用系統(tǒng)中，多種媒體是融合在 一起的，它們是以一種協(xié)同的方式工作的。3)交互性( Inter

4、active )。與交互性密切相關(guān)的另外兩個(gè)概念是人機(jī)交互( HumanComputer In teraction , HCI)和人機(jī)界面(Huma n-Computer In terface, HCI)。前 者是研究、設(shè)計(jì)、評(píng)價(jià)和實(shí)現(xiàn)交互式計(jì)算系統(tǒng)的科學(xué)。人機(jī)界面則是人與計(jì)算機(jī) 之間傳遞、交換信息的媒介和對(duì)話(huà)接口，是計(jì)算機(jī)系統(tǒng)的重要組成部分。3.多媒體應(yīng)用：1)大眾傳媒領(lǐng)域大眾傳媒( m ass medi a )是指?jìng)鞑ニ俣瓤臁⒏采w范圍廣、影響效果大的媒體， 主要包括報(bào)紙、廣播、電視、電影、互聯(lián)網(wǎng)等。2)消費(fèi)電子領(lǐng)域消費(fèi)電子(consumer electronics)產(chǎn)品是指用于個(gè)人和家庭的

5、與廣播、電視有關(guān)的各類(lèi)音頻和視頻產(chǎn)品，主要包括：電視機(jī)、影碟機(jī)(VCD、SVCD、DVD)、錄像機(jī)、攝錄機(jī)、收音機(jī)、收錄機(jī)、組合音響、激光唱機(jī)(CD)、視頻游戲設(shè)備、智能電視機(jī)頂盒等。3)現(xiàn)代教育技術(shù)領(lǐng)域 現(xiàn)代教育技術(shù)是指建立在信息與網(wǎng)絡(luò)技術(shù)基礎(chǔ)之上的教育教學(xué)手段構(gòu)成的系統(tǒng)。4)多媒體通信領(lǐng)域 數(shù)字通信是用數(shù)字信號(hào)作為載體來(lái)傳輸消息，或用數(shù)字信號(hào)對(duì)載波進(jìn)行數(shù)字 調(diào)制后再傳輸?shù)耐ㄐ欧绞?。它可傳輸電?bào)、數(shù)字?jǐn)?shù)據(jù)等數(shù)字信號(hào)，也可傳輸經(jīng)過(guò) 數(shù)字化處理的語(yǔ)聲和圖像等模擬信號(hào)。數(shù)字通信系統(tǒng)通常由用戶(hù)設(shè)備、編碼與解碼、調(diào)制和解調(diào)、加密和解密、傳 輸和交換設(shè)備等組成。多媒體通信是指在一次呼叫過(guò)程中能同時(shí)提供多

6、種媒體信息如聲音、圖像、 圖形、數(shù)據(jù)、文本等的新型通信方式，所以，它是通信技術(shù)和多媒體技術(shù)相結(jié)合 的產(chǎn)物。視頻會(huì)議是最典型的多媒體通信系統(tǒng)，它由視頻會(huì)議終端、會(huì)議服務(wù)器、多點(diǎn)控制單元（MCU）等子系統(tǒng)構(gòu)成。多媒體技術(shù)在視頻會(huì)議終端中占有重要地位， 主要包括音視頻數(shù)據(jù)的采集、編碼、解碼、傳輸與呈現(xiàn)等處理。5）表演與會(huì)展6） Web 應(yīng)用Web 應(yīng)用是指基于瀏覽器 / 服務(wù)器模型的應(yīng)用系統(tǒng)，在客戶(hù)端表現(xiàn)為瀏覽器 頁(yè)面，是一種以HTTP協(xié)議為核心的網(wǎng)絡(luò)應(yīng)用。數(shù)量最多的Web應(yīng)用是各類(lèi)網(wǎng)站，如門(mén)戶(hù)網(wǎng)站（搜狐、 163、新浪等）、搜索網(wǎng)站（百度等）和各種專(zhuān)業(yè)網(wǎng)站（音樂(lè)、 視頻、軟件、行業(yè)等等）。7）物聯(lián)

7、網(wǎng)領(lǐng)域物聯(lián)網(wǎng)是通過(guò)各種信息傳感設(shè)備及系統(tǒng)（如傳感器網(wǎng)絡(luò)、射頻識(shí)別（RadioFrequency Identification, RFID）、紅外感應(yīng)器、條碼與二維碼、全球定位系統(tǒng)、激 光掃描器等）和其它基于物物通信模式的短距離無(wú)線(xiàn)傳感網(wǎng)絡(luò)，按約定的協(xié)議， 把物體接入互聯(lián)網(wǎng)所形成的一個(gè)巨大的智能網(wǎng)絡(luò)。8）軍事領(lǐng)域首先，多媒體技術(shù)在戰(zhàn)場(chǎng)信息采集和傳輸中具有重要的作用，例如通過(guò)圖像、 視頻和音頻信息的采集獲取戰(zhàn)場(chǎng)和相關(guān)地域的直觀戰(zhàn)況和態(tài)勢(shì)，能夠?yàn)橹笓]決策提供有力支持。其次，多媒體技術(shù)在軍事指揮系統(tǒng)中也扮演重要角色。目前最現(xiàn)代化的軍事 指揮系統(tǒng)被稱(chēng)為C4ISR系統(tǒng)（ C4表示Command、 Cont

8、rol、 Communication 、 Computer， I 表示 Information ， S 代表 Surveillance， R 表示 Reconnaissance） ，以美國(guó)的國(guó)家軍事指揮中心為典型代表。第三，軍事訓(xùn)練中應(yīng)用了大量多媒體技術(shù)。為了提高軍事訓(xùn)練效果、節(jié)省訓(xùn) 練成本，各國(guó)軍事訓(xùn)練系統(tǒng)都不同程度地采用了基于多媒體技術(shù)的各種模擬、仿 真訓(xùn)練方法。9）游戲與軟件 游戲軟件通常是指各種游戲規(guī)則與聲音圖像視頻相結(jié)合的軟件產(chǎn)品。目前， 在網(wǎng)絡(luò)上我們經(jīng)?？吹降拇笮?D網(wǎng)絡(luò)游戲和網(wǎng)頁(yè)游戲等都是通過(guò)用3DMAX、 MAYA、 FLASH 等多媒體軟件和 JAVA、 C+、 VB、 HT

9、ML5 等程序語(yǔ)言相結(jié)合而開(kāi)發(fā)出來(lái)的，所以叫游戲軟件。4.多媒體技術(shù)的體系結(jié)構(gòu)軸恥：川 對(duì)耐伽 購(gòu)現(xiàn)實(shí) 腳:紳 事數(shù)悴檢微一橫作SH|廿頡州澤訓(xùn)悴 現(xiàn)潁瞬惟例鑒 瓏檢n務(wù)對(duì) 網(wǎng)塔賤口編聞張口1）硬件平臺(tái)層現(xiàn)代多媒體計(jì)算平臺(tái)，從硬件配置上看，主要包括如下幾個(gè)方面:a）光盤(pán)驅(qū)動(dòng)器：包括可重寫(xiě)光盤(pán)驅(qū)動(dòng)器（CDR）、WORM光盤(pán)驅(qū)動(dòng)器和CD-ROM 驅(qū)動(dòng)器。b）音頻卡：在音頻卡上連接的音頻輸入輸出設(shè)備包括話(huà)筒、音頻播放設(shè)備、MIDI合成器、耳機(jī)、揚(yáng)聲器等。數(shù)字音頻處理的支持是多媒體計(jì)算機(jī)的重要方面，音頻卡具有 A/D和D/A音頻信號(hào)的轉(zhuǎn)換功能，可以合成音樂(lè)、混合多 種聲源，還可以外接 MIDI電子音樂(lè)

10、設(shè)備。c）圖形加速卡：圖文并茂的多媒體表現(xiàn)需要分辨率高，而且同屏顯示色彩豐富的顯示卡的支持，同時(shí)還要求具有Win dows的顯示驅(qū)動(dòng)程序，并在Windows下的像素運(yùn)算速度要快。所以現(xiàn)在帶有圖形用戶(hù)接口GUI加速器的局部總線(xiàn)顯示適配器使得 Windows的顯示速度大大加快。d）視頻卡：可細(xì)分為視頻捕捉卡、視頻處理卡、視頻播放卡以及TV編碼器等專(zhuān)用卡，其功能是連接攝像機(jī)、VCR影碟機(jī)、TV等設(shè)備，以便獲取、處理和表現(xiàn)各種動(dòng)畫(huà)和數(shù)字化視頻媒體。e）掃描卡：它是用來(lái)連接各種圖形掃描儀的，是常用的靜態(tài)照片、文字、工程 圖輸入設(shè)備。f）打印機(jī)接口：用來(lái)連接各種打印機(jī)，包括普通打印機(jī)、激光打印機(jī)、彩色打

11、印機(jī)等，打印機(jī)現(xiàn)在已經(jīng)是最常用的多媒體輸出設(shè)備之一了。g）交互控制接口：它是用來(lái)連接觸摸屏、鼠標(biāo)、光筆等人機(jī)交互設(shè)備的，這些設(shè)備將大大方便用戶(hù)對(duì) MPC的使用。h）網(wǎng)絡(luò)接口：是實(shí)現(xiàn)多媒體通信的重要MPC擴(kuò)充部件。計(jì)算機(jī)和通信技術(shù)相結(jié) 合的時(shí)代已經(jīng)來(lái)臨，這就需要專(zhuān)門(mén)的多媒體外部設(shè)備將數(shù)據(jù)量龐大的多媒體信息傳送出去或接收進(jìn)來(lái)，通過(guò)網(wǎng)絡(luò)接口相接的設(shè)備包括視頻電話(huà)機(jī)、傳真機(jī)、LAN和ISDN等。2)操作系統(tǒng)層 計(jì)算機(jī)操作系統(tǒng)是管理計(jì)算機(jī)軟硬件資源，控制其他程序運(yùn)行，并為用戶(hù)提 供操作界面的系統(tǒng)軟件的集合。操作系統(tǒng)中配置的重要多媒體組件如下：a)編解碼器( codec， coder 和 decoder

12、合成詞語(yǔ))：是系統(tǒng)中完成媒體數(shù) 據(jù)壓縮、解壓縮、格式轉(zhuǎn)換(轉(zhuǎn)碼)等操作的軟件，在多媒體操作系統(tǒng) 中居核心地位。b)媒體服務(wù)器(media server)：種通過(guò)網(wǎng)絡(luò)或平臺(tái)向用戶(hù)提供各種多媒 體業(yè)務(wù)所需的媒體資源功能的系統(tǒng)軟件，通常表現(xiàn)為操作系統(tǒng)中的媒體 服務(wù)(media service) 組件。c)多媒體編程接口：應(yīng)用編程接口是指一組數(shù)量可觀、結(jié)構(gòu)復(fù)雜的子程序、 函數(shù)、變量、常量、類(lèi)、數(shù)據(jù)結(jié)構(gòu)，是應(yīng)用系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)的軟件資源。Windows操作系統(tǒng)中常見(jiàn)的多媒體編程接口有DirectX、 DirectShow、 Media Foundation 、 SilverLight 等。 Andriod

13、 操作 系統(tǒng)下，開(kāi)發(fā)人員可以使用MediaAPIs,實(shí)現(xiàn)移動(dòng)設(shè)備上的MP3、MP4、高清視頻播放等等。3)應(yīng)用系統(tǒng)層 整個(gè)多媒體技術(shù)架構(gòu)的最上層是各類(lèi)多媒體開(kāi)發(fā)工具和應(yīng)用系統(tǒng)。最典型的 應(yīng)用系統(tǒng)是各類(lèi)多媒體著作或編輯工具,如Photoshop、 Authorware 、 Illustrator、 PowerPoint、 Premier、 3D Max 等等。5.多媒體應(yīng)用系統(tǒng)設(shè)計(jì)面臨的挑戰(zhàn)1)數(shù)據(jù)量大2)實(shí)時(shí)性要求高3)同步性要求嚴(yán)格4)數(shù)據(jù)來(lái)源繁多6.多媒體技術(shù)的核心問(wèn)題暫無(wú)第二章 數(shù)字音頻基礎(chǔ)聲音1.含義：聲音是物體振動(dòng)形成的機(jī)械波，稱(chēng)為聲波。聲波通過(guò)介質(zhì)（例如空氣、水等）傳播到聽(tīng)覺(jué)系統(tǒng)里

14、產(chǎn)生聽(tīng)覺(jué)反應(yīng)。聲音本質(zhì)上是介質(zhì)的周期振動(dòng)。2.基本屬性：頻率和振幅頻率：指振動(dòng)的快慢，通常用每秒鐘的振動(dòng)次數(shù)表示（赫茲） 。人耳可以聽(tīng)到的聲音頻 率范圍在 20 到 2 萬(wàn)赫茲之間。高于這個(gè)范圍的波動(dòng)稱(chēng)為超聲波（ Ultrasonic ），而低于 這一范圍的稱(chēng)為次聲波（Subsonic）。我們把人類(lèi)聽(tīng)覺(jué)系統(tǒng)所能聽(tīng)到的聲音稱(chēng)為音頻（ Audio ）。振幅：指聲波在某個(gè)位置上的瞬時(shí)強(qiáng)弱。3.三要素：音高、音質(zhì)（音色） 、音強(qiáng)從模擬到數(shù)字1.模擬音頻信號(hào)：用連續(xù)變化的電壓或電流表示的音頻信號(hào)。2.數(shù)字音頻信號(hào)：通過(guò)采樣和量化技術(shù)獲得的離散性（數(shù)字化）音頻數(shù)據(jù)。3.采樣：指以一定的頻率（或周期）捕獲模

15、擬音頻信號(hào)，從而得到一系列離散化音頻樣 本的過(guò)程。采樣頻率：?jiǎn)挝粫r(shí)間內(nèi)捕獲的樣本個(gè)數(shù)，是采樣周期的倒數(shù)。米樣定理：將頻帶為F的模擬音頻信號(hào)f（t ）米樣為離散化樣本序列f（tO+ ）、f（t0+2 f（t0+n 后，如果 t （即米樣頻率）大于 2F,即米樣頻率大于模擬信 號(hào)頻帶 F 的兩倍， 則可從離散樣本序列恢復(fù)原來(lái)的信號(hào)f（t）。并號(hào)匯樣頡軒(kHzJ高DVD (FID-DVD t2救年電肌TAP344.1呼組CD唱盤(pán)422.C5調(diào)噩廣桶51 1.025菽寧電話(huà)6a常見(jiàn)的采樣頻率及其應(yīng)用場(chǎng)合f4.量化：指用若干比特表示一個(gè)樣本的過(guò)程。量化深度(bit depth)：表示一個(gè)樣本所使用的比

16、特?cái)?shù)。采樣是時(shí)間上的離散化，而量化則是空間上的離散化。5.編碼：以某種格式最終生成數(shù)字音頻數(shù)據(jù)流的過(guò)程，所得到的數(shù)字音頻數(shù)據(jù)將會(huì)被存儲(chǔ)、傳輸或者進(jìn)行各種處理。模擬音頻數(shù)字化的三個(gè)步驟是采樣、量化、編碼。三、 聲卡1.結(jié)構(gòu)：2.功能模塊1)DSP Digital SignalProcessor 數(shù)字信號(hào)處理負(fù)責(zé)采樣、量化、編碼和解碼、數(shù)模轉(zhuǎn)換2） Synthesizer:合成器負(fù)責(zé)將數(shù)字音頻波形數(shù)據(jù)或MIDI消息合成為聲音。3） ROMor/and RAM:波表 /軟波表ROM存放有實(shí)際音樂(lè)設(shè)備的聲音樣本，用于合成，稱(chēng)之為波表RAM能夠被新的樣本數(shù)據(jù)更新，稱(chēng)之為軟波表。4） Mixture :混

17、聲器負(fù)責(zé)過(guò)濾以降低噪音、混合不同的聲音信號(hào)、單/雙通道轉(zhuǎn)換、音量調(diào)節(jié)四、數(shù)字音頻編碼1.含義：指將模擬音頻轉(zhuǎn)換成數(shù)字音頻并以某種格式存儲(chǔ)的技術(shù)或過(guò)程。2.種類(lèi)：1） PCM（PulseCode Modulation脈沖編碼調(diào)制）編碼：即通過(guò)脈沖編碼調(diào)制方法生成數(shù)字音頻數(shù)據(jù)的技術(shù)或格式。a）系統(tǒng)原理Ando 卵AiitFiilias4Wave tisnnPCM codetnpul.FillerC IHICT橫松&頻PCM 硝就椅潔號(hào)輸入血系統(tǒng)由三個(gè)部分構(gòu)成：防失真濾波器：它是一個(gè)低通濾波器，用來(lái)濾除音頻信號(hào)以外的信號(hào)。波形編碼器：主要完成采樣任務(wù)。量化器：負(fù)責(zé)對(duì)樣本進(jìn)行量化，即對(duì)每一個(gè)樣本賦予一

18、個(gè)對(duì)應(yīng)的二進(jìn)制數(shù)據(jù)， 從而得到 PCM樣本序列，作為系統(tǒng)的輸出。其實(shí)，量化器輸出 的PCM樣本序列還會(huì)進(jìn)一步被編制成格式化的二進(jìn)制碼流，包括幀和 通道的構(gòu)成，這個(gè)處理可以視為狹義的編碼過(guò)程。b）量化分類(lèi)均勻量化（線(xiàn)性量化）：指采用相等的量化間隔（量化階躍）進(jìn)行的量 化。量化間隔：指將整個(gè)量化空間分割成若干離散的有限狀態(tài)后，相鄰的兩 個(gè)離散狀態(tài)值之間的差值。非均勻量化（非線(xiàn)性量化）：指量化間隔在量化空間中不是一個(gè)常數(shù)的 量化。般情況下，量化間隔的大小分布服從一種非線(xiàn)性函數(shù)，對(duì)小的輸入信分類(lèi):律壓擴(kuò)（卩丄aw）:所定義的函數(shù)關(guān)系如下:(/WE即-1 w xW 1。sgn（x）:x的極性，也就是信號(hào)

19、的正負(fù)。卩:一個(gè)常量參數(shù)，由最大量化間隔和最小量化間隔之比決定, 般在100500之間取值。卩 值越大，整個(gè)對(duì)數(shù)曲線(xiàn)越往上拱，反之弄址帝加（Zx:輸入信號(hào)的幅值，其大小歸一化為-1和+1之間的一個(gè)小數(shù),號(hào)采用較小的量化間隔，大的輸入信號(hào)則采用較大的量化間隔。a)原理就越靠近45度的線(xiàn)性量化曲線(xiàn)。在具體實(shí)現(xiàn)時(shí)，卩一般取255，并把對(duì)數(shù)曲線(xiàn)變成8條折線(xiàn)以簡(jiǎn)化計(jì)算。? A 律壓擴(kuò)(A-Law):所定義的函數(shù)關(guān)系如下：(A)=sgn(x) -0U 1/1耳(X)= sgn書(shū)號(hào)心 卜| IX：為輸入信號(hào)的幅度，歸一化成為-1 x yi) / 如果實(shí)際樣本值大于預(yù)測(cè)值xi =1; / 編碼輸出等于 1El

20、sexi =0;/ 否則，編碼輸出等于 0b） 優(yōu)缺點(diǎn)優(yōu)點(diǎn) 數(shù)據(jù)量得到顯著壓縮。 DM 編碼總是用一個(gè)比特來(lái)表示一個(gè)樣本，即對(duì) 應(yīng)一個(gè)樣本的編碼不是 1 就是 0 。所以， DM 編碼被稱(chēng)為一位系統(tǒng)。缺點(diǎn)? 斜率過(guò)載如果輸入信號(hào)變化太快，那么預(yù)測(cè)信號(hào)將不能保持對(duì)輸入信號(hào)的跟蹤，因?yàn)楫?dāng)前預(yù)測(cè)值只能在前一次預(yù)測(cè)值的基礎(chǔ)上加1個(gè)（或減1個(gè)）,也就是說(shuō)，由于量化階躍固定不變，導(dǎo)致預(yù)測(cè)值 跟不上信號(hào)的變化。這種現(xiàn)象稱(chēng)為增量調(diào)制器的“斜率過(guò)載”（ slope overload ） ，即模擬信號(hào)的斜率太大，超過(guò)了量化階躍允許 的變化幅度。一般來(lái)說(shuō)，當(dāng)輸入信號(hào)的變化速度超過(guò)輸出信號(hào)的最 大變化速度時(shí)，就會(huì)出現(xiàn)

21、斜率過(guò)載。? 粒狀噪聲當(dāng)輸入信號(hào)變化比較平緩時(shí)，增量調(diào)制器的編碼輸出為交錯(cuò)出現(xiàn)的0和1,即數(shù)字信號(hào)并不平緩，而是以量化階躍的大小起伏變化，這就相當(dāng)于引入了噪聲信號(hào)。 DM 編碼器的這種噪聲是系統(tǒng)固有的， 不可能徹底消除。3） ADPCM（Adaptive Difference Pulse Code Modulation, 自適應(yīng)差分脈沖編碼調(diào)制 ）：利 用樣本與樣本之間的高度相關(guān)性和量化階自適應(yīng)來(lái)壓縮數(shù)據(jù)的一種波形編碼技術(shù)a） 原理第一,使用過(guò)去的樣本值估算下一個(gè)輸入樣本的預(yù)測(cè)值,使實(shí)際樣本值和預(yù)測(cè)值之間的差值總是最小,并對(duì)差值進(jìn)行編碼。 第二,利用自適應(yīng)的思想在時(shí)間維度上改變量化階躍的大小,

22、對(duì)小的差值使 用小的量化階躍（），對(duì)大的差值則使用大的量化階躍進(jìn)行編碼。4） SBADPCM（SubBand-ADPCM,子帶自適應(yīng)差分脈沖編調(diào)制）：是一種融合了子帶與自適應(yīng)差分脈沖編調(diào)制技術(shù)的新型編碼方法。SBC（Sub BandCod in g,子帶編碼）：子帶編碼使用一組帶通濾波器（Ban d-PassFilter，BPF）把輸入音頻信號(hào)的頻帶分成若干個(gè)連續(xù)的子頻段，子頻段又稱(chēng)為子帶。對(duì)每個(gè)子帶中的音頻信號(hào)采用獨(dú)立的編碼方案編碼。在傳輸編碼信號(hào)時(shí)，系統(tǒng)會(huì)采用復(fù)用技術(shù)，將所有子帶的編碼整合起來(lái)傳輸。在接收端解碼時(shí)，首先進(jìn)行解復(fù)用，即把各個(gè)子帶信號(hào)分解出來(lái)，然后對(duì)每個(gè)子帶的數(shù)據(jù)獨(dú)立解碼。當(dāng)然

23、，最后還原音頻信號(hào)時(shí)，系統(tǒng)會(huì)把所有子帶的解碼信號(hào)融合起來(lái)，從而還原成原來(lái)的音頻信號(hào)。這里的融合，實(shí)際上就是相加，即某一時(shí)刻的還原信號(hào)樣本等于同一時(shí)刻所有子帶樣本之和。3.數(shù)字音頻編碼國(guó)際標(biāo)準(zhǔn)序號(hào)標(biāo)準(zhǔn)名稱(chēng)編碼算法基本屬性1G.711PCM （含線(xiàn)性、卩律以及A律PCM編碼算法）采樣頻率為8kHz,每樣本8 bits，數(shù)據(jù)率為64kbps2G.721ADPCM采樣頻率為8kHz,每樣本4 bits，數(shù)據(jù)率為32kbps3G.722SBADPCM米樣頻率為8kHz,每樣本咼子帶2bits，低子帶6位，數(shù)據(jù)率為64kbps4G.723ADPCM采樣頻率為 8kHz,每樣本3或5 bits,數(shù)據(jù)率為24

24、或40kbps5G.723.1LPC提供 5.3kbps、6.3kbps兩種速率的配置第三章音頻數(shù)據(jù)處理程序設(shè)計(jì)一、波形音頻文件1.含義：波形音頻文件（WAVE文件）是存儲(chǔ)數(shù)字音頻樣本（samples）序列的格式文件， 這些樣本直接記錄了音頻的波形，故稱(chēng)波形音頻文件。2.格式標(biāo)準(zhǔn)：RIFF（ Resource Interchange File Format），個(gè) WAVE 文件的最開(kāi)頭四個(gè)字 節(jié)便是“ RIFF”。3.組成：WAVE 文件是由若干個(gè) Chunk （可以翻譯為塊）組成的。按照在文件中的出現(xiàn)位置，它們分別是RIFF WAVE Chunk、Format Chunk、Fact Chun

25、k （可選）和 DataChu nk。RIFF WAVE Chunk ID - RIFF RiltType = +WAVEfForm til ChunkID = finiILKC Chunkf optkiriAl) ID =旳旳Dm 険 CtwnkID da畑1) RIFFWAVEChu nk字段塔稱(chēng)所占字節(jié)教鼻體內(nèi)容IID4 Hytes“RIFF*Si/e4 Bytes由數(shù)據(jù)決走Eype4 BytesWAVE11size是整個(gè)wav文件大小減去ID和Size所占用的字節(jié)數(shù)，即FileLen - 8 = Size=trucl ftIFf IlFADFR1 一char szRiillDH;曠 D

26、WORD dwRtffiize;trhar/.2)Format Chunk字侵若希躋上宇節(jié)數(shù)具獻(xiàn)內(nèi)畧ID4 RytxfnirSiz?4 hiyleii然桂方“亂廿，僚迥最J&疔陽(yáng)腳信札? R 徧碼方扎，一吧卻（hOOGI：hinndii2 Hytcs聲遇掘目，It單/!. 2;址聲逍SamplFcrSfc4 H札樣*fl半AByiesPcr5ix4 BytesBlocLAlign2 Byks龍搦肚科養(yǎng)單值（壽子沆樣需黃的子節(jié)$0HihFci Sample2 B4esf母?jìng)€(gè)采聊霍婪的閒釵&忤2 fl-T -附狗淸思（可選，運(yùn)誼創(chuàng)恥眾卻斷育無(wú)）_siruct WAVR FORMATrtWORD w

27、FormaiTag:WORD Channels;7 WORD dwSa mpl esPerSec;DWORD dw/SvgByiCiiPcrSet;WORD wftlockAlin:WORD Ei-itsPcrSampk;struct FMT rtLCK Kchar szFmiID4;/T；m,/* WORD dwFmiSize;WMT FORMAT wayForniai,3) FactChu nk字段名痂所占字節(jié)雜具體內(nèi)営1D4 BytesTacFSie4 Bytes觀值為4data4 Byres用戶(hù)定楚Fact Chunk是可選字段，一般當(dāng) wav 文件由某些軟件轉(zhuǎn)化而成，則包含該Chun

28、k。struct FACT BLOCKchar旺F兀HD4;卑月上T DWORD dwFactSic;4) Data Chunk分成以下4種形式：4F+ 1樣本2樣本3懺益4羊聲道 Bbit 耋 H女逋。CA）聲適0 (A)4連Q （左）占逍0 g樣杓邨跟IRbit 量 ft玄逋仆（A）走道K右）帝逍0 (4)聲迪1（6）怦本1聊本2IE6hit童化韋道U左）（低位豐節(jié)）序逋（圭）高位字節(jié)）Xo（ tj（UChannel 0Sample 1雙聲道.每樣本16 Bits情形(doublechannels, 16 Bits per sample):Channel 1- Channel 1Chann

29、el 0Channel 0Sample 1Sample 2Sample 2struct DATA JiLOCK(char szDataID4;/,dtXT：a, DWORD dvvDataSizc;二、音頻播放程序1.利用PlaySound函數(shù)播放音頻文件1)基本介紹：PlaySound是Windows系統(tǒng)提供的基本音頻播放函數(shù)，在C/C+中使用。PlaySound函數(shù)不僅能夠播放波形音頻文件，而且可以播放系統(tǒng)事件對(duì)應(yīng)的音 頻。2)原型：BOOL PlaySoundf LPCTSTR pszSound HMODULE hmod. DWORD fdwSvund)；pszSound：字符串變量，指

30、向播放的波形音頻文件，可以為NULL，這時(shí)任何當(dāng)前播放的音頻將停止hmod :可執(zhí)行文件的句柄，該可執(zhí)行文件包含了需要加載的資源。一般情況 下，hmod被設(shè)置為 NULL。fdwSound :播放標(biāo)識(shí)，有 15種取值：? SDN_ASYNC異步播放，即調(diào)用PlaySound函數(shù)后聲音開(kāi)始播放，而調(diào)用立即返回，無(wú)需等待播放完畢。? SDN_SYNC同步播放，即調(diào)用要在播放完畢后才能返回。? SND_RESOURCE此時(shí)hmod設(shè)置為一個(gè)可執(zhí)行文件的句柄。? SND_ALIAS此時(shí)pszSound不能是文件名，而必須是注冊(cè)的事件別名。3)核心代碼：switch (wmld)case ID_DISP

31、_SOUND/ 控件 IDPlaySound(Langry_bird.wav,NULL,SND_ASYNC)/ 播放音頻break;case ID_STOP_SOUND:PlaySound(NULL,NULL,SND_ASYNC 停止播放break;i rResolverMedia SourceMedia SessionTopologyStream |Decoder1 * 1Decoder2.基于 MF Media Session的音頻播放1)基本框架：Application2)基礎(chǔ)過(guò)程：調(diào)用 MFStartup 函數(shù)進(jìn)行 Media Foundation platform 的初始化； 調(diào)用

32、MFCreateMediaSession 函數(shù)創(chuàng)建一個(gè) Media Session 對(duì)象實(shí)例； 利用Source Resolver創(chuàng)建媒體源。創(chuàng)建Topology，并將媒體源節(jié)點(diǎn)與 SAR節(jié)點(diǎn)連接起來(lái)。實(shí)際上，應(yīng)用程序 在這里只需要?jiǎng)?chuàng)建一個(gè) Partial Topology (部分拓?fù)?，然后將媒體源與輸出節(jié) 點(diǎn)SAR連接，這時(shí)，Partial Topology能夠自動(dòng)在兩者之間插入必要的解碼器，這體現(xiàn)出Media Foundation的智能性；調(diào)用 IMFMediaSession:SetTopology 將 Topology 設(shè)置到 Media Session;使用 IMFMediaEven

33、tGenerator 接口從 Media Session 取得事件；調(diào)用IMFMediaSessio n:Start啟動(dòng)播放。之后，可以調(diào)用IMFMediaSessio n:Pause、IMFMediaSession:Stop 暫停、停止播放。退出應(yīng)用程序時(shí)，需調(diào)用 IMFMediaSession:Close關(guān)閉 Media Session 該方 法是異步的，因此，當(dāng)調(diào)用完畢，Media Session發(fā)送 MESessionClosed事件，并能夠安全處理后面的操作。3.音頻轉(zhuǎn)碼程序1)功能：將 MP3、WMA以及AVI、WMV中的音頻數(shù)據(jù)轉(zhuǎn)換成 WAV文件輸出的 功能。2)函數(shù)聲明：inc

34、lude sidaf.W,include *tiy_htemplate vend Safe kc I easel T *ppT) iWppT( *ppT)-Release();*ppT = NULL;HRbSULT VVri(eWavcFiie(MhSourueKeader+. HANDLE, LONG；HRESlt I Configure Audit) Sirwi t M F Surtt： Reader*, IM IKkdiu ryjH；4); HRKSliLT WrheWavcHeadertHANDLE, IMFMedmiype*, UWORD*); DWORD CalcukicKkixAudioDataSirc(TMFMcdiaTypc DWORD, DWORD);HRESL LT WrrieWaveDatHANDLE, lMFSourceRcader*, DWORD, DWORDS ilRESULT FixUpCliLiiikSiycsfllANDLE. DWORD. DWORD);HRRSULT WrireToFiKHAMDLR,也汩=DWORDS勺 uid OnFi le