多媒體復(fù)習(xí)資料

1、第一章 多媒體技術(shù)概述一、 媒體1. 含義：媒體（Media）就是指信息的載體，其本質(zhì)是信息傳播的技術(shù)和手段。2. 按照媒體的發(fā)展，媒體可以分為傳統(tǒng)媒體和新媒體：傳統(tǒng)媒體：廣播、電視、報(bào)刊雜志新媒體：基于互聯(lián)網(wǎng)、PC和移動終端技術(shù)的數(shù)字媒體技術(shù)，包括網(wǎng)站、博客、微博、微信、手機(jī) App等。3. 國際電信聯(lián)盟（International Telecommunication Union，ITU）對媒體進(jìn)行了詳細(xì)的分類：1) 感覺媒體（Perception media）：指直接作用于人的感覺器官、從而為人的感知系統(tǒng)所接受的信息形態(tài)或媒體形式。舉例：文字、聲音、圖形、圖像、動畫、視頻2) 表示媒體（P

2、resentation media）：指感覺媒體在電子設(shè)備、計(jì)算機(jī)、網(wǎng)絡(luò)等系統(tǒng)內(nèi)部的存在形式，即編碼形態(tài)的媒體。舉例：計(jì)算機(jī)系統(tǒng)中的 ASCII 碼、國家標(biāo)準(zhǔn)漢字字符集的區(qū)位碼、字符的點(diǎn)陣碼、音頻、圖像與視頻編碼。3) 表現(xiàn)媒體（Representation media）：指將編碼形式的媒體顯示成感覺媒體的設(shè)備或技術(shù)，實(shí)際上就是指多媒體系統(tǒng)的輸入、輸出設(shè)備。舉例：顯示器、投影儀、打印機(jī)、繪圖儀、有源或無源音箱、鍵盤、鼠標(biāo)、攝像機(jī)、麥克風(fēng)。4) 存儲媒體（Store media）：指用于存放表示媒體（即編碼形態(tài)的媒體）的設(shè)備或技術(shù)。舉例：內(nèi)存、寄存器、磁盤、磁帶、光盤、USB 盤。5) 傳輸媒體

3、（Transmission media）：指用于傳送表示媒體的設(shè)備或技術(shù)。舉例：雙絞線、電纜、光纖、空氣、電磁波。二、 多媒體1. 含義：多媒體就是指能夠同時(shí)處理兩種以上感覺媒體的計(jì)算機(jī)系統(tǒng)，其目標(biāo)是為用戶提供更豐富的應(yīng)用體驗(yàn)。2. 多媒體技術(shù)的特征：1) 媒體類型或媒體技術(shù)的多樣性。一個可以被稱為多媒體的應(yīng)用系統(tǒng)，必須至少集成了兩種不同類型的媒體及其相關(guān)技術(shù)。該特征是多媒體系統(tǒng)的本質(zhì)特征，也是其魅力所在。2) 媒體內(nèi)容的同步性（synchronization）。在多媒體應(yīng)用系統(tǒng)中，多種媒體是融合在一起的，它們是以一種協(xié)同的方式工作的。3) 交互性（Interactive）。與交互性密切相關(guān)的

4、另外兩個概念是人機(jī)交互（Human-Computer Interaction，HCI）和人機(jī)界面（Human-Computer Interface，HCI） 。前者是研究、設(shè)計(jì)、評價(jià)和實(shí)現(xiàn)交互式計(jì)算系統(tǒng)的科學(xué)。人機(jī)界面則是人與計(jì)算機(jī)之間傳遞、交換信息的媒介和對話接口，是計(jì)算機(jī)系統(tǒng)的重要組成部分。3. 多媒體應(yīng)用：1) 大眾傳媒領(lǐng)域大眾傳媒（mass media）是指傳播速度快、覆蓋范圍廣、影響效果大的媒體，主要包括報(bào)紙、廣播、電視、電影、互聯(lián)網(wǎng)等。2) 消費(fèi)電子領(lǐng)域消費(fèi)電子（consumer electronics）產(chǎn)品是指用于個人和家庭的與廣播、電視有關(guān)的各類音頻和視頻產(chǎn)品，主要包括：電視機(jī)

5、、影碟機(jī)（VCD、SVCD、DVD）、錄像機(jī)、攝錄機(jī)、收音機(jī)、收錄機(jī)、組合音響、激光唱機(jī)（CD）、視頻游戲設(shè)備、智能電視機(jī)頂盒等。3) 現(xiàn)代教育技術(shù)領(lǐng)域現(xiàn)代教育技術(shù)是指建立在信息與網(wǎng)絡(luò)技術(shù)基礎(chǔ)之上的教育教學(xué)手段構(gòu)成的系統(tǒng)。4) 多媒體通信領(lǐng)域數(shù)字通信是用數(shù)字信號作為載體來傳輸消息，或用數(shù)字信號對載波進(jìn)行數(shù)字調(diào)制后再傳輸?shù)耐ㄐ欧绞健Ｋ蓚鬏旊妶?bào)、數(shù)字?jǐn)?shù)據(jù)等數(shù)字信號，也可傳輸經(jīng)過數(shù)字化處理的語聲和圖像等模擬信號。數(shù)字通信系統(tǒng)通常由用戶設(shè)備、編碼與解碼、調(diào)制和解調(diào)、加密和解密、傳輸和交換設(shè)備等組成。多媒體通信是指在一次呼叫過程中能同時(shí)提供多種媒體信息如聲音、圖像、圖形、數(shù)據(jù)、文本等的新型通信方式，所

6、以，它是通信技術(shù)和多媒體技術(shù)相結(jié)合的產(chǎn)物。 視頻會議是最典型的多媒體通信系統(tǒng)，它由視頻會議終端、會議服務(wù)器、多點(diǎn)控制單元（MCU）等子系統(tǒng)構(gòu)成。多媒體技術(shù)在視頻會議終端中占有重要地位，主要包括音視頻數(shù)據(jù)的采集、編碼、解碼、傳輸與呈現(xiàn)等處理。5) 表演與會展6) Web應(yīng)用Web 應(yīng)用是指基于瀏覽器/服務(wù)器模型的應(yīng)用系統(tǒng)，在客戶端表現(xiàn)為瀏覽器頁面， 是一種以HTTP協(xié)議為核心的網(wǎng)絡(luò)應(yīng)用。數(shù)量最多的Web應(yīng)用是各類網(wǎng)站，如門戶網(wǎng)站（搜狐、163、新浪等）、搜索網(wǎng)站（百度等）和各種專業(yè)網(wǎng)站（音樂、視頻、軟件、行業(yè)等等）。7) 物聯(lián)網(wǎng)領(lǐng)域物聯(lián)網(wǎng)是通過各種信息傳感設(shè)備及系統(tǒng)（如傳感器網(wǎng)絡(luò)、射頻識別（Ra

7、dio Frequency Identification, RFID）、紅外感應(yīng)器、條碼與二維碼、全球定位系統(tǒng)、激光掃描器等）和其它基于物物通信模式的短距離無線傳感網(wǎng)絡(luò)，按約定的協(xié)議，把物體接入互聯(lián)網(wǎng)所形成的一個巨大的智能網(wǎng)絡(luò)。8) 軍事領(lǐng)域首先，多媒體技術(shù)在戰(zhàn)場信息采集和傳輸中具有重要的作用，例如通過圖像、視頻和音頻信息的采集獲取戰(zhàn)場和相關(guān)地域的直觀戰(zhàn)況和態(tài)勢， 能夠?yàn)橹笓]決策提供有力支持。其次，多媒體技術(shù)在軍事指揮系統(tǒng)中也扮演重要角色。目前最現(xiàn)代化的軍事指揮系統(tǒng)被稱為 C4ISR 系統(tǒng)（C4 表示 Command、Control、Communication、Computer，I 表示 In

8、formation，S 代表 Surveillance，R 表示 Reconnaissance） ，以美國的國家軍事指揮中心為典型代表。第三，軍事訓(xùn)練中應(yīng)用了大量多媒體技術(shù)。為了提高軍事訓(xùn)練效果、節(jié)省訓(xùn)練成本，各國軍事訓(xùn)練系統(tǒng)都不同程度地采用了基于多媒體技術(shù)的各種模擬、仿真訓(xùn)練方法。9) 游戲與軟件游戲軟件通常是指各種游戲規(guī)則與聲音圖像視頻相結(jié)合的軟件產(chǎn)品。目前，在網(wǎng)絡(luò)上我們經(jīng)?？吹降拇笮?3D 網(wǎng)絡(luò)游戲和網(wǎng)頁游戲等都是通過用 3DMAX、MAYA、FLASH 等多媒體軟件和 JAVA、C+、VB、HTML5 等程序語言相結(jié)合而開發(fā)出來的，所以叫游戲軟件。4. 多媒體技術(shù)的體系結(jié)構(gòu)1) 硬件平

9、臺層現(xiàn)代多媒體計(jì)算平臺，從硬件配置上看，主要包括如下幾個方面：a) 光盤驅(qū)動器：包括可重寫光盤驅(qū)動器（CD-R)、WORM 光盤驅(qū)動器和 CD-ROM 驅(qū)動器。b) 音頻卡：在音頻卡上連接的音頻輸入輸出設(shè)備包括話筒、音頻播放設(shè)備、MIDI 合成器、耳機(jī)、揚(yáng)聲器等。數(shù)字音頻處理的支持是多媒體計(jì)算機(jī)的重要方面，音頻卡具有A/D和D/A音頻信號的轉(zhuǎn)換功能，可以合成音樂、混合多種聲源，還可以外接MIDI電子音樂設(shè)備。c) 圖形加速卡：圖文并茂的多媒體表現(xiàn)需要分辨率高，而且同屏顯示色彩豐富的顯示卡的支持，同時(shí)還要求具有 Windows 的顯示驅(qū)動程序，并在 Windows 下的像素運(yùn)算速度要快。所以現(xiàn)在

10、帶有圖形用戶接口 GUI 加速器的局部總線顯示適配器使得Windows的顯示速度大大加快。 d) 視頻卡：可細(xì)分為視頻捕捉卡、視頻處理卡、視頻播放卡以及TV編碼器等專用卡，其功能是連接攝像機(jī)、VCR 影碟機(jī)、TV 等設(shè)備，以便獲取、處理和表現(xiàn)各種動畫和數(shù)字化視頻媒體。 e) 掃描卡：它是用來連接各種圖形掃描儀的，是常用的靜態(tài)照片、文字、工程圖輸入設(shè)備。 f) 打印機(jī)接口：用來連接各種打印機(jī)，包括普通打印機(jī)、激光打印機(jī)、彩色打印機(jī)等，打印機(jī)現(xiàn)在已經(jīng)是最常用的多媒體輸出設(shè)備之一了。 g) 交互控制接口：它是用來連接觸摸屏、鼠標(biāo)、光筆等人機(jī)交互設(shè)備的，這些設(shè)備將大大方便用戶對 MPC 的使用。 h)

11、 網(wǎng)絡(luò)接口：是實(shí)現(xiàn)多媒體通信的重要MPC擴(kuò)充部件。計(jì)算機(jī)和通信技術(shù)相結(jié)合的時(shí)代已經(jīng)來臨，這就需要專門的多媒體外部設(shè)備將數(shù)據(jù)量龐大的多媒體信息傳送出去或接收進(jìn)來，通過網(wǎng)絡(luò)接口相接的設(shè)備包括視頻電話機(jī)、傳真機(jī)、LAN和ISDN 等。2) 操作系統(tǒng)層計(jì)算機(jī)操作系統(tǒng)是管理計(jì)算機(jī)軟硬件資源，控制其他程序運(yùn)行，并為用戶提供操作界面的系統(tǒng)軟件的集合。操作系統(tǒng)中配置的重要多媒體組件如下：a) 編解碼器（codec，coder和decoder合成詞語）：是系統(tǒng)中完成媒體數(shù)據(jù)壓縮、解壓縮、格式轉(zhuǎn)換（轉(zhuǎn)碼）等操作的軟件，在多媒體操作系統(tǒng)中居核心地位。b) 媒體服務(wù)器（media server）：一種通過網(wǎng)絡(luò)或平臺向

12、用戶提供各種多媒體業(yè)務(wù)所需的媒體資源功能的系統(tǒng)軟件，通常表現(xiàn)為操作系統(tǒng)中的媒體服務(wù)（media service）組件。c) 多媒體編程接口：應(yīng)用編程接口是指一組數(shù)量可觀、結(jié)構(gòu)復(fù)雜的子程序、函數(shù)、變量、常量、類、數(shù)據(jù)結(jié)構(gòu)，是應(yīng)用系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)的軟件資源。Windows 操作系統(tǒng)中常見的多媒體編程接口有 DirectX、DirectShow、Media Foundation、SilverLight 等。Andriod 操作系統(tǒng)下，開發(fā)人員可以使用 Media APIs，實(shí)現(xiàn)移動設(shè)備上的 MP3、MP4、高清視頻播放等等。3) 應(yīng)用系統(tǒng)層整個多媒體技術(shù)架構(gòu)的最上層是各類多媒體開發(fā)工具和應(yīng)用系統(tǒng)。最典

13、型的應(yīng)用系統(tǒng)是各類多媒體著作或編輯工具，如 Photoshop、Authorware、Illustrator、PowerPoint、Premier、3D Max等等。5. 多媒體應(yīng)用系統(tǒng)設(shè)計(jì)面臨的挑戰(zhàn)1) 數(shù)據(jù)量大2) 實(shí)時(shí)性要求高3) 同步性要求嚴(yán)格4) 數(shù)據(jù)來源繁多6. 多媒體技術(shù)的核心問題暫無第二章 數(shù)字音頻基礎(chǔ)一、 聲音1. 含義：聲音是物體振動形成的機(jī)械波，稱為聲波。聲波通過介質(zhì)（例如空氣、水等）傳播到聽覺系統(tǒng)里產(chǎn)生聽覺反應(yīng)。聲音本質(zhì)上是介質(zhì)的周期振動。2. 基本屬性：頻率和振幅頻率：指振動的快慢，通常用每秒鐘的振動次數(shù)表示（赫茲）。人耳可以聽到的聲音頻率范圍在20到2萬赫茲之間。高

14、于這個范圍的波動稱為超聲波（Ultrasonic），而低于這一范圍的稱為次聲波（Subsonic）。我們把人類聽覺系統(tǒng)所能聽到的聲音稱為音頻（Audio）。振幅：指聲波在某個位置上的瞬時(shí)強(qiáng)弱。3. 三要素：音高、音質(zhì)（音色）、音強(qiáng)二、 從模擬到數(shù)字1. 模擬音頻信號：用連續(xù)變化的電壓或電流表示的音頻信號。2. 數(shù)字音頻信號：通過采樣和量化技術(shù)獲得的離散性（數(shù)字化）音頻數(shù)據(jù)。3. 采樣：指以一定的頻率（或周期）捕獲模擬音頻信號，從而得到一系列離散化音頻樣本的過程。采樣頻率：單位時(shí)間內(nèi)捕獲的樣本個數(shù)，是采樣周期的倒數(shù)。采樣定理：將頻帶為 F 的模擬音頻信號 f(t）采樣為離散化樣本序列 f(t0+

15、t)、f(t0+2t)f(t0+nt)后，如果 1/t（即采樣頻率）大于 2F，即采樣頻率大于模擬信號頻帶 F 的兩倍， 則可從離散樣本序列恢復(fù)原來的信號 f(t)。常見的采樣頻率及其應(yīng)用場合4. 量化：指用若干比特表示一個樣本的過程。量化深度（bit depth）：表示一個樣本所使用的比特?cái)?shù)。采樣是時(shí)間上的離散化，而量化則是空間上的離散化。 5. 編碼：以某種格式最終生成數(shù)字音頻數(shù)據(jù)流的過程，所得到的數(shù)字音頻數(shù)據(jù)將會被存儲、傳輸或者進(jìn)行各種處理。模擬音頻數(shù)字化的三個步驟是采樣、量化、編碼。三、 聲卡1. 結(jié)構(gòu)：2. 功能模塊1) DSP：Digital Signal Processor 數(shù)字

16、信號處理負(fù)責(zé)采樣、量化、編碼和解碼、數(shù)模轉(zhuǎn)換2) Synthesizer : 合成器負(fù)責(zé)將數(shù)字音頻波形數(shù)據(jù)或MIDI消息合成為聲音。3) ROM or/and RAM : 波表/軟波表ROM存放有實(shí)際音樂設(shè)備的聲音樣本，用于合成，稱之為波表RAM能夠被新的樣本數(shù)據(jù)更新，稱之為軟波表。4) Mixture：混聲器負(fù)責(zé)過濾以降低噪音、混合不同的聲音信號、單/雙通道轉(zhuǎn)換、音量調(diào)節(jié)一、二、三、四、 數(shù)字音頻編碼1. 含義：指將模擬音頻轉(zhuǎn)換成數(shù)字音頻并以某種格式存儲的技術(shù)或過程。2. 種類：1) PCM(Pulse Code Modulation脈沖編碼調(diào)制)編碼：即通過脈沖編碼調(diào)制方法生成數(shù)字音頻數(shù)據(jù)

17、的技術(shù)或格式。a) 系統(tǒng)原理系統(tǒng)由三個部分構(gòu)成：l 防失真濾波器：它是一個低通濾波器，用來濾除音頻信號以外的信號。l 波形編碼器：主要完成采樣任務(wù)。l 量化器：負(fù)責(zé)對樣本進(jìn)行量化， 即對每一個樣本賦予一個對應(yīng)的二進(jìn)制數(shù)據(jù)， 從而得到 PCM樣本序列，作為系統(tǒng)的輸出。其實(shí)，量化器輸出的 PCM 樣本序列還會進(jìn)一步被編制成格式化的二進(jìn)制碼流，包括幀和通道的構(gòu)成，這個處理可以視為狹義的編碼過程。b) 量化分類l 均勻量化（線性量化）：指采用相等的量化間隔（量化階躍）進(jìn)行的量化。量化間隔：指將整個量化空間分割成若干離散的有限狀態(tài)后，相鄰的兩個離散狀態(tài)值之間的差值。l 非均勻量化（非線性量化）：指量化間

18、隔在量化空間中不是一個常數(shù)的量化。一般情況下，量化間隔的大小分布服從一種非線性函數(shù)，對小的輸入信號采用較小的量化間隔，大的輸入信號則采用較大的量化間隔。分類：Ø 律壓擴(kuò)（-Law）：所定義的函數(shù)關(guān)系如下：x: 輸入信號的幅值，其大小歸一化為-1和+1之間的一個小數(shù)， 即-1x1。sgn(x): x 的極性，也就是信號的正負(fù)。: 一個常量參數(shù)，由最大量化間隔和最小量化間隔之比決定，一般在100500之間取值。值越大，整個對數(shù)曲線越往上拱，反之就越靠近45度的線性量化曲線。在具體實(shí)現(xiàn)時(shí)，一般取255，并把對數(shù)曲線變成8條折線以簡化計(jì)算。Ø A 律壓擴(kuò)（A-Law）：所定義的函數(shù)

19、關(guān)系如下：x: 為輸入信號的幅度，歸一化成為-1 < x < 1。Sgn(x):x的極性，也就是信號的正負(fù)。A: 為確定壓縮量的參數(shù)，為最大量化間隔和最小量化間隔之比。A 律壓擴(kuò)的前一部分是線性的，以1/A為分界點(diǎn)，其余部分與律壓擴(kuò)類似，為對數(shù)函數(shù)。具體計(jì)算時(shí)，A 取87.56。為簡化計(jì)算，同樣把整個曲線變成8條折線。2) DM(Delta Modulation增量調(diào)制)編碼：通過增量起伏來記錄模擬音頻信號實(shí)際變化過程的數(shù)字音頻編碼。a) 原理xi：編碼輸出yi：yi的預(yù)測值yi：第i個采樣值 ：量化間隔連續(xù)的1表示信號在上升，每次上升一個；連續(xù)的0表示信號在下降，每次下降一個；在

20、信號的平緩部分，編碼輸出表現(xiàn)為0 和1的交錯，即數(shù)字化信號以階 的大小上下起伏，用以記錄模擬波形的平緩變化（對DM編碼來說只能這樣做）。偽代碼描述：Algorithm：DM 編碼 input：模擬信號樣本序列 output：DM 編碼比特流 x DM_coding() / 初始化階段 x0 = 1; /第一個編碼比特等于 1 y0 = 0; /第一個樣本的預(yù)測值賦 0 while(輸入第 i 個樣本) / 預(yù)測值計(jì)算階段 if (xi-1 = 1 ) /如果前一個編碼輸出是 1 yi = yi-1 + ; /則當(dāng)前樣本的預(yù)測值等于前一個預(yù)測值加 else yi = yi-1 - ; /當(dāng)前樣本

21、的預(yù)測值等于前一個預(yù)測值減 / 編碼階段 if(yi > yi) /如果實(shí)際樣本值大于預(yù)測值 xi = 1; /編碼輸出等于 1 Else xi = 0; /否則，編碼輸出等于 0 b) 優(yōu)缺點(diǎn)l 優(yōu)點(diǎn)數(shù)據(jù)量得到顯著壓縮。DM編碼總是用一個比特來表示一個樣本，即對應(yīng)一個樣本的編碼不是1就是0。所以，DM編碼被稱為一位系統(tǒng)。l 缺點(diǎn)Ø 斜率過載如果輸入信號變化太快，那么預(yù)測信號將不能保持對輸入信號的跟蹤，因?yàn)楫?dāng)前預(yù)測值只能在前一次預(yù)測值的基礎(chǔ)上加 1 個 （或減 1 個 ），也就是說，由于量化階躍固定不變，導(dǎo)致預(yù)測值跟不上信號的變化。這種現(xiàn)象稱為增量調(diào)制器的“斜率過載”（slop

22、e overload） ，即模擬信號的斜率太大，超過了量化階躍允許的變化幅度。一般來說，當(dāng)輸入信號的變化速度超過輸出信號的最大變化速度時(shí)，就會出現(xiàn)斜率過載。Ø 粒狀噪聲當(dāng)輸入信號變化比較平緩時(shí)，增量調(diào)制器的編碼輸出為交錯出現(xiàn)的 0 和1，即數(shù)字信號并不平緩，而是以量化階躍的大小起伏變化，這就相當(dāng)于引入了噪聲信號。DM編碼器的這種噪聲是系統(tǒng)固有的，不可能徹底消除。3) ADPCM(Adaptive Difference Pulse Code Modulation,自適應(yīng)差分脈沖編碼調(diào)制)：利用樣本與樣本之間的高度相關(guān)性和量化階自適應(yīng)來壓縮數(shù)據(jù)的一種波形編碼技術(shù)a) 原理第一，使用過去的

23、樣本值估算下一個輸入樣本的預(yù)測值，使實(shí)際樣本值和預(yù)測值之間的差值總是最小，并對差值進(jìn)行編碼。第二，利用自適應(yīng)的思想在時(shí)間維度上改變量化階躍的大小，對小的差值使用小的量化階躍（），對大的差值則使用大的量化階躍進(jìn)行編碼。4) SB-ADPCM(Sub Band-ADPCM,子帶自適應(yīng)差分脈沖編調(diào)制)：是一種融合了子帶與自適應(yīng)差分脈沖編調(diào)制技術(shù)的新型編碼方法。SBC(Sub Band Coding,子帶編碼)：子帶編碼使用一組帶通濾波器（Band-Pass Filter，BPF）把輸入音頻信號的頻帶分成若干個連續(xù)的子頻段，子頻段又稱為子帶。對每個子帶中的音頻信號采用獨(dú)立的編碼方案編碼。在傳輸編碼信號

24、時(shí)，系統(tǒng)會采用復(fù)用技術(shù)，將所有子帶的編碼整合起來傳輸。在接收端解碼時(shí)，首先進(jìn)行解復(fù)用，即把各個子帶信號分解出來，然后對每個子帶的數(shù)據(jù)獨(dú)立解碼。當(dāng)然，最后還原音頻信號時(shí)，系統(tǒng)會把所有子帶的解碼信號融合起來，從而還原成原來的音頻信號。這里的融合，實(shí)際上就是相加，即某一時(shí)刻的還原信號樣本等于同一時(shí)刻所有子帶樣本之和。3. 數(shù)字音頻編碼國際標(biāo)準(zhǔn)序號標(biāo)準(zhǔn)名稱編碼算法基本屬性1G.711PCM（含線性、 律以及A律PCM編碼算法）采樣頻率為8kHz，每樣本8 bits，數(shù)據(jù)率為64kbps2G.721ADPCM采樣頻率為8kHz，每樣本4 bits，數(shù)據(jù)率為32kbps3G.722SB-ADPCM采樣頻率

25、為8kHz，每樣本高子帶2 bits，低子帶6位，數(shù)據(jù)率為64kbps4G.723ADPCM采樣頻率為8kHz，每樣本3或5 bits，數(shù)據(jù)率為24或40kbps5LPC提供 5.3kbps、6.3kbps兩種速率的配置第三章 音頻數(shù)據(jù)處理程序設(shè)計(jì)一、 波形音頻文件1. 含義：波形音頻文件（WAVE文件）是存儲數(shù)字音頻樣本（samples）序列的格式文件，這些樣本直接記錄了音頻的波形，故稱波形音頻文件。2. 格式標(biāo)準(zhǔn)：RIFF（Resource Interchange File Format），一個 WAVE 文件的最開頭四個字節(jié)便是“RIFF”。3. 組成：WAVE 文件是由若干個Chunk

26、（可以翻譯為塊）組成的。按照在文件中的出現(xiàn)位置，它們分別是 RIFF WAVE Chunk、Format Chunk、 Fact Chunk（可選）和 Data Chunk。1) RIFF WAVE Chunksize 是整個wav 文件大小減去ID 和Size所占用的字節(jié)數(shù)，即 FileLen - 8 = Size。2) Format Chunk3) Fact ChunkFact Chunk 是可選字段，一般當(dāng) wav 文件由某些軟件轉(zhuǎn)化而成，則包含該 Chunk。4) Data Chunk根據(jù) Format Chunk 中的聲道數(shù)以及采樣 bit 數(shù)，wav 數(shù)據(jù)的 bit 位置可以分成以

27、下 4 種形式:二、 音頻播放程序1. 利用 PlaySound 函數(shù)播放音頻文件1) 基本介紹：PlaySound是Windows系統(tǒng)提供的基本音頻播放函數(shù)，在 C/C+中使用。PlaySound函數(shù)不僅能夠播放波形音頻文件，而且可以播放系統(tǒng)事件對應(yīng)的音頻。2) 原型：l pszSound：字符串變量，指向播放的波形音頻文件，可以為 NULL，這時(shí)任何當(dāng)前播放的音頻將停止l hmod：可執(zhí)行文件的句柄，該可執(zhí)行文件包含了需要加載的資源。一般情況下， hmod被設(shè)置為 NULL。l fdwSound：播放標(biāo)識，有 15 種取值：Ø SDN_ASYNC：異步播放，即調(diào)用 PlaySou

28、nd 函數(shù)后聲音開始播放，而調(diào)用立即返回，無需等待播放完畢。Ø SDN_SYNC：同步播放，即調(diào)用要在播放完畢后才能返回。Ø SND_RESOURCE：此時(shí)hmod設(shè)置為一個可執(zhí)行文件的句柄。Ø SND_ALIAS：此時(shí)pszSound 不能是文件名，而必須是注冊的事件別名。3) 核心代碼：switch (wmId) case ID_DISP_SOUND: /控件IDPlaySound(L"angry_bird.wav",NULL,SND_ASYNC); /播放音頻break; case ID_STOP_SOUND: PlaySound(NUL

29、L, NULL,SND_ASYNC); /停止播放break;2. 基于 MF Media Session 的音頻播放1) 基本框架：2) 基礎(chǔ)過程：l 調(diào)用 MFStartup 函數(shù)進(jìn)行 Media Foundation platform 的初始化； l 調(diào)用 MFCreateMediaSession 函數(shù)創(chuàng)建一個 Media Session 對象實(shí)例； l 利用 Source Resolver 創(chuàng)建媒體源。 l 創(chuàng)建 Topology，并將媒體源節(jié)點(diǎn)與 SAR 節(jié)點(diǎn)連接起來。實(shí)際上，應(yīng)用程序在這里只需要創(chuàng)建一個Partial Topology（部分拓?fù)洌缓髮⒚襟w源與輸出節(jié)點(diǎn) SAR 連

30、接，這時(shí)，Partial Topology 能夠自動在兩者之間插入必要的解碼器，這體現(xiàn)出 Media Foundation的智能性； l 調(diào)用 IMFMediaSession:SetTopology 將 Topology 設(shè)置到 Media Session； l 使用 IMFMediaEventGenerator 接口從 Media Session 取得事件； l 調(diào)用 IMFMediaSession:Start 啟動播放。之后，可以調(diào)用 IMFMediaSession:Pause、l IMFMediaSession:Stop 暫停、停止播放。 l 退出應(yīng)用程序時(shí)，需調(diào)用IMFMediaSession:Close關(guān)閉 Media Session。 該方法是異步的，因此，當(dāng)調(diào)用完畢，Media Session發(fā)送MESessionClosed 事件，并能夠安全處理后面的操作。3. 音頻轉(zhuǎn)碼程序1) 功能：將 MP3、WMA 以及 AVI、WMV 中的音頻數(shù)據(jù)轉(zhuǎn)換