音頻基礎(chǔ)（一）

1、音頻基礎(chǔ)（一）向輝山東大學(xué)計算機學(xué)院2003年秋季2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)2本章內(nèi)容n音頻的聲學(xué)基礎(chǔ)n聲音的數(shù)字化n聲音的存儲格式nMIDI音樂n語音信號、非語音信號2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)3音頻媒體n音頻（audio）或聲音（sound）n攜帶信息的極其重要的媒體n多媒體技術(shù)研究中的一個重要內(nèi)容n與視覺媒體相比具有特殊性n不同場合下的重要性不同nPassive viewing (e.g. film, video, etc.)nVideo conferencing2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)4聲音的概念n聲音是一種機械振動狀態(tài)的傳播現(xiàn)象，

2、它表現(xiàn)為一種機械被即聲波。n產(chǎn)生聲波的條件n有作機械振動的物體：聲源n有能傳播機械振功的彈性介質(zhì)n聲波在介質(zhì)中傳播有一定速度，稱之為聲波的傳播速度（聲速）2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)5聲波示意（L. A. Rowe ）壓縮稀薄時間幅度正弦波2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)6聲波頻率n聲壓變化可以是周期性的和非周期性n頻率概念n循環(huán)（cycle）- 壓縮/稀薄過程n頻率（frequency）：每秒cycle數(shù)，單位 hertz (Hz)n周期 cycle的持續(xù)時間 (1/frequency)n聲音信號一般由許多頻率不同的信號組成，稱為復(fù)合信號；而單一頻率的信號稱為分量

3、信號2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)7頻率范圍n頻率小于20Hz 一般稱為次聲波（subsonic)n人的聽覺器官能感知的聲音頻率范圍約為20Hz20kHz的信號稱為音頻(Audio)信號n人發(fā)音器官發(fā)聲頻率約是803400Hz，但人說話的信號頻率約為3003000Hz，即話音(speech)信號n高于20kHz的信號稱為超聲波 (ultrasonic)n超聲波及次聲波一般不能引起人聽覺器官的感覺，但可借助一些儀器設(shè)備進行觀察和測量2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)8樂音與噪音n一般樂音指具有確定的基頻以及與該基頻有較小整數(shù)倍關(guān)系的各階諧頻（harmonic tone）n

4、頻率比基音高的所有分音統(tǒng)稱泛音(over tone)，泛音的頻率不必與基音成整數(shù)倍關(guān)系n在主觀上把令人不愉快或不需要的聲音定義為噪音n噪音的頻譜較為復(fù)雜， 具有無規(guī)則的振幅和波形的連續(xù)頻譜2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)9聲音要素（一）n響度（音響）loudnessn到達人耳的聲擾動振幅所產(chǎn)生的聽覺的大小n聲振動能量是物理特性，可用聲強（sound pressure）定義，單位:帕斯卡 (Pa)n實用上通常都以對數(shù)方式的聲壓級 (sound pressure level)表示，單位:分貝(db)n響度是主觀量，不能用任何儀器正確地測量n聲音響度使用了以兩個聲強之比的對數(shù)為基礎(chǔ)的相對

5、標(biāo)度，單位：宋（sone）2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)10聲音要素（二）n音調(diào)（音高）pitch或tonen人對聲音刺激頻率的主觀判斷與估量，稱之為音調(diào) (Pitch)，單位：美（Mel）nFrequency是物理量，而音調(diào)是人的感覺n聽覺經(jīng)驗n一般女生的聲音比男生高n較大物體振動的音調(diào)較低2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)11聲音要素（三）n音色（音質(zhì)）timbern由其頻譜決定n不同樂器發(fā)出同一音高的樂音，仍然可以分辨n可以把音色描述為音的瞬時橫截面，即用諧音（泛音）的數(shù)目、強度、分布和相位來描述。n泛音的強度可使音色發(fā)生變化，音色的主觀特性比響度或音調(diào)的主觀特性

6、復(fù)雜得多。2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)12模擬信號與數(shù)字信號n在時間和幅度上連續(xù)的信號為模擬（analog）信號。n巴時間和幅度都用離散的數(shù)字表示的信號就稱為數(shù)字（digital）信號n采樣（sampling）時間n量化（quantization）幅度n數(shù)字化實際上就是采樣和量化2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)13聲音的采樣和量化兩個關(guān)鍵參數(shù)：采樣頻率與量化精度2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)14采樣頻率n每秒鐘需要采集多少個聲音樣本n根據(jù)奈奎斯特理論(Nyquist theory)和聲音信號本身的最高頻率決定的nfs = 2f 或者 Ts = T/2n

7、如果一個信號中的最高頻率為fmax，采樣頻率最低要選擇2fmax2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)15量化精度 反映度量聲音波形幅度的精度，一般用每個聲音樣本的位數(shù)(bit per sample，bps)表示 常見的量化精度有：8與16 聲音的質(zhì)量越高，需要的存儲空間越多2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)16聲音質(zhì)量等級質(zhì)量采樣頻率(kHz)樣本精度(bit/s)單道聲/立體聲數(shù)據(jù)率(未壓縮)(kb/s)頻率范圍電話88單道聲642003400 HzAM11.0258單道聲88.22015000HzFM22.05016立體聲705.6507000HzCD44.116立體聲1

8、411.22020000 HzDAT4816立體聲1536.02020000 Hz2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)17聲音質(zhì)量的度量 聲音質(zhì)量的評價目前仍然是一個很困難的問題，需要繼續(xù)研究 聲音質(zhì)量的度量有兩種基本的方法 客觀質(zhì)量度量：主要用信噪比(signal to niose ratio，SNR) 主觀質(zhì)量度量：主觀平均判分法 對于圖象等其它媒體數(shù)據(jù)的處理同樣存在兩種質(zhì)量度量 主客觀結(jié)合？2022年3月23日星期三多媒體技術(shù)音頻基礎(chǔ)18存儲格式（一） 用.wav為擴展名的文件格式稱為波形文件格式(WAVE File Format) RIFF：Resource Interchange File Format IBM和微軟公司于1991年8月聯(lián)合開發(fā) 支持存儲各種采樣頻率和樣本精度的聲音數(shù)據(jù)，并支持一定的聲音數(shù)據(jù)的壓縮