語音處理應用一

語音處理應用一第一頁，共七十五頁，編輯于2023年，星期二一、語音基礎知識音頻概述語音的特點音頻的采樣和量化語音壓縮編碼語音識別語音合成SPCE061A用于語音處理第二頁，共七十五頁，編輯于2023年，星期二1、音頻概述音頻：人耳可以感覺到的聲音頻率

20Hz~20000Hz語音和音樂是兩類特殊的音頻信號語音是語言的載體，是對聲音的抽象音樂是符號化的聲音第三頁，共七十五頁，編輯于2023年，星期二2、語音的特點語音是由人類發(fā)音器官產(chǎn)生的、具有一定意義且能起到社會交際作用的聲音。具有抽象表意性頻率通常在200Hz~4000Hz之間第四頁，共七十五頁，編輯于2023年，星期二3、語音處理技術語音處理是建立在語言學和數(shù)字信號處理基礎之上的綜合學科語音分析語音存儲與回放語音識別語音合成第五頁，共七十五頁，編輯于2023年，星期二（1）、語音分析音頻采樣和量化將模擬的（連續(xù)的）聲音波形數(shù)字化（離散化）語音信號的時域分析直接利用語音信號的時域波形進行分析語音信號的頻域分析對語音信號的頻譜、功率譜等進行分析語音信號的線性預測分析把語音信號用一個模型來表示，利用模型的參數(shù)來描述語音信號的波形和頻譜特性3、語音處理技術第六頁，共七十五頁，編輯于2023年，星期二（2）、音頻采樣和量化音頻采樣原理第七頁，共七十五頁，編輯于2023年，星期二采樣頻率采樣頻率是指采樣設備每秒鐘對聲音信號的采集次數(shù)。采樣頻率越高，聲音的還原就越真實越自然。量化位數(shù)量化位數(shù)是把模擬聲音轉(zhuǎn)換為數(shù)字信號的二進制位數(shù)。量化位數(shù)客觀地反映了數(shù)字聲音信號對輸入聲音信號描述的準確程度。（2）、音頻采樣和量化第八頁，共七十五頁，編輯于2023年，星期二（3）、語音壓縮編碼壓縮編碼的意義高效存儲高速傳輸壓縮編碼分類波形編碼參數(shù)編碼混合編碼第九頁，共七十五頁，編輯于2023年，星期二波形編碼直接將波形信號轉(zhuǎn)變?yōu)閿?shù)字代碼，盡量真實地還原波形聲音質(zhì)量好壓縮比低，碼率通常在20Kb/s以上適用于高保真音樂及語音場合（3）、語音壓縮編碼第十頁，共七十五頁，編輯于2023年，星期二參數(shù)編碼提取語音信號的特征參數(shù)進行編碼，盡量保持語音信號的可懂性，而還原后的波形可能與原波形差別很大。壓縮比很高，碼率可達2.4kb/s以下。語音質(zhì)量較差，自然度低對環(huán)境噪聲敏感（3）、語音壓縮編碼第十一頁，共七十五頁，編輯于2023年，星期二混合編碼將參數(shù)編碼和波形編碼技術結(jié)合起來，克服了兩種編碼的缺點。壓縮比高，碼率為4~16Kb/s音質(zhì)介于參數(shù)編碼和波形編碼之間（3）、語音壓縮編碼第十二頁，共七十五頁，編輯于2023年，星期二（4）、凌陽語音壓縮算法對于波形編碼、參數(shù)編碼和混合編碼，凌陽都開發(fā)了相應的壓縮算法。屬于波形編碼的有A2000、A1600等屬于參數(shù)編碼的有S240、S200等屬于混合編碼的有S480、S530等第十三頁，共七十五頁，編輯于2023年，星期二（5）、語音識別技術語音識別基本原理預處理，語音信號數(shù)字化。特征提取，抽取反應語音本質(zhì)的特征參數(shù)，形成特征矢量序列。語音模型庫，從一個或多個講話者多次重復講話中提取的語音參數(shù)模板。模式匹配，把輸入語音的特征參數(shù)與語音模型庫進行比較分析，得到識別結(jié)果第十四頁，共七十五頁，編輯于2023年，星期二語音識別的類型根據(jù)對說話人的依賴程度，分為：特定人語音識別（SD）只能辨認特定使用者的語音，訓練->使用非特定人語音識別（SI）可辨認任何人的語音，無須訓練根據(jù)對說話方式的要求，分為：孤立詞識別每次識別的單詞之間要有停頓連續(xù)語音識別使用者以正常語速說話，即可識別其中的單詞（5）、語音識別技術第十五頁，共七十五頁，編輯于2023年，星期二（6）、語音合成技術將以其他方式表示或存儲的信息轉(zhuǎn)換成語音。最常見的語音合成技術是將文本轉(zhuǎn)換為語音（TTS）。第十六頁，共七十五頁，編輯于2023年，星期二4、SPCE061A用于語音處理SPCE061A單片機的性能適合數(shù)字語音處理10位ADC和10位DAC內(nèi)置MIC放大器和自動增益功能2個16位定時/計數(shù)器CPU時鐘最高達49MHz2KWordSRAM空間16位乘法器和內(nèi)積運算第十七頁，共七十五頁，編輯于2023年，星期二完善的語音處理函數(shù)庫支持語音播放語音錄制Midi播放語音識別4、SPCE061A用于語音處理第十八頁，共七十五頁，編輯于2023年，星期二SPCE061A語音處理應用二、函數(shù)庫、凌陽音頻函數(shù)庫第十九頁，共七十五頁，編輯于2023年，星期二二、函數(shù)庫、凌陽音頻函數(shù)庫“庫”的概念創(chuàng)建自己的函數(shù)庫使用函數(shù)庫修改函數(shù)庫凌陽音頻函數(shù)庫小結(jié)和注意事項第二十頁，共七十五頁，編輯于2023年，星期二1、“庫”的概念把一組或多組函數(shù)的目標代碼（ObjectCode）集合起來，形成一個文件（Library）第二十一頁，共七十五頁，編輯于2023年，星期二1、“庫”的概念函數(shù)庫的優(yōu)點便于對函數(shù)組織管理提高內(nèi)聚，降低耦合有利于軟件交流和重利用保護代碼第二十二頁，共七十五頁，編輯于2023年，星期二函數(shù)庫的組織結(jié)構1、“庫”的概念第二十三頁，共七十五頁，編輯于2023年，星期二2、創(chuàng)建自己的函數(shù)庫第一步：組織代碼第二十四頁，共七十五頁，編輯于2023年，星期二2、創(chuàng)建自己的函數(shù)庫第二步：編譯代碼分別編譯每個代碼文件（Ctrl+F7），會在工程的Debug文件夾下生成擴展名為“.obj”的目標文件。第二十五頁，共七十五頁，編輯于2023年，星期二在彈出對話框中選“New”，新建一個庫文件。IDE的Tools菜單下，選擇“LibMaker”2、創(chuàng)建自己的函數(shù)庫第三步：新建函數(shù)庫第二十六頁，共七十五頁，編輯于2023年，星期二2、創(chuàng)建自己的函數(shù)庫第四步：向庫中添加目標文件點擊Add按鈕，在工程的Debug文件夾下找到要添加的目標文件（*.obj）第二十七頁，共七十五頁，編輯于2023年，星期二2、創(chuàng)建自己的函數(shù)庫此時，函數(shù)庫已經(jīng)創(chuàng)建完成了。點擊“Exit”按鈕退出LibMaker即可。第二十八頁，共七十五頁，編輯于2023年，星期二3、使用函數(shù)庫新建工程選擇Project菜單下的“Setting”項第二十九頁，共七十五頁，編輯于2023年，星期二3、使用函數(shù)庫選擇Link欄，點擊LibraryModules右面的文件夾按鈕。在工程所在文件夾中選擇剛剛建立的MyLib.lib文件，確定。第三十頁，共七十五頁，編輯于2023年，星期二3、使用函數(shù)庫現(xiàn)在，函數(shù)庫已經(jīng)添加到工程里了。編寫的程序可以使用函數(shù)庫中的函數(shù)。為測試函數(shù)庫的功能，在工程中新建程序文件main.c。第三十一頁，共七十五頁，編輯于2023年，星期二3、使用函數(shù)庫在main.c中編寫main()代碼，調(diào)用庫中的函數(shù)。第三十二頁，共七十五頁，編輯于2023年，星期二3、使用函數(shù)庫按F7鍵對工程進行編譯和連接，再按F8鍵下載程序。確認“ToggleWatch”按鈕處于按下狀態(tài)，激活變量觀察窗口。第三十三頁，共七十五頁，編輯于2023年，星期二3、使用函數(shù)庫在變量觀察窗口中輸入要觀察的變量a和b，按F10單步執(zhí)行程序，可以觀察a和b變量的數(shù)值變化情況是否與預想結(jié)果相符。第三十四頁，共七十五頁，編輯于2023年，星期二4、修改函數(shù)庫對于已有的函數(shù)庫，可以對其進行添加函數(shù)集和刪除函數(shù)集的操作。打開“LibMaker”，點擊“Open”按鈕，選擇一個函數(shù)庫。第三十五頁，共七十五頁，編輯于2023年，星期二4、修改函數(shù)庫注意，對函數(shù)庫的修改操作是不可恢復的，在修改之前一定要對函數(shù)庫進行備份。要從現(xiàn)有函數(shù)庫中刪除一個函數(shù)集，選中該函數(shù)集，點擊“Remove”鍵即可。第三十六頁，共七十五頁，編輯于2023年，星期二4、修改函數(shù)庫要在庫中添加函數(shù)集，可以點擊Add按鈕，選擇所需的目標文件（Obj）即可。第三十七頁，共七十五頁，編輯于2023年，星期二4、凌陽音頻函數(shù)庫Sacmv26e.lib函數(shù)庫包括語音錄制、播放，以及Midi播放函數(shù)集。A2000 ：播放A2000格式語音資源S480：播放S480格式語音資源S240：播放S240格式語音資源DVR：語音錄制與播放MS01：Midi播放第三十八頁，共七十五頁，編輯于2023年，星期二4、凌陽音頻函數(shù)庫A2000格式16Kbit/s~24Kbit/s，適用于音樂或高質(zhì)語音播放。SPCE061A內(nèi)置Flash空間最多約可存儲24秒A2000語音。S480格式4.8Kbit/s~7.2Kbit/s，適用于一般語音播放。SPCE061A內(nèi)置Flash最多約可存儲80秒S480語音。S240格式2.4Kbit/s，適用于低品質(zhì)語音播放，SPCE061A內(nèi)置Flash約可存儲160秒S240語音。第三十九頁，共七十五頁，編輯于2023年，星期二4、凌陽音頻函數(shù)庫DVR-語音錄放采用A2000壓縮算法進行語音錄制，碼率為16Kbit/s，最多約可錄制20秒語音。MS01-Midi播放最大同時發(fā)音數(shù)為6路，其中有2路為鼓點音。第四十頁，共七十五頁，編輯于2023年，星期二5、小結(jié)和注意事項函數(shù)庫是由一組或多組函數(shù)集組成的文件。函數(shù)庫是二進制文件，程序代碼是不可見的。在使用函數(shù)庫時，只有被使用的函數(shù)集才會真正與工程連接，而其他函數(shù)集不會占用硬件資源。凌陽音頻函數(shù)庫提供了為語音錄放提供了一條便捷的途徑。第四十一頁，共七十五頁，編輯于2023年，星期二SPCE061A語音處理應用三、語音播放（自動播放）第四十二頁，共七十五頁，編輯于2023年，星期二三、語音播放

語音錄放流程用SPCE061A播放語音語音播放程序示例用戶接口函數(shù)創(chuàng)建一個語音播放程序小結(jié)和注意事項疑難解答第四十三頁，共七十五頁，編輯于2023年，星期二（1）、語音錄制存儲流程語音采樣在定時中斷的控制下，以一定的速率（8KHz）進行AD轉(zhuǎn)換壓縮編碼將采集到的數(shù)據(jù)以某種算法壓縮編碼存儲將編碼后的數(shù)據(jù)保存到存儲介質(zhì)中1、語音錄放流程第四十四頁，共七十五頁，編輯于2023年，星期二（2）、語音播放流程數(shù)據(jù)提取語音數(shù)據(jù)送入解壓縮隊列數(shù)據(jù)解碼解壓縮數(shù)據(jù)并送入輸出隊列轉(zhuǎn)換為模擬信號在定時中斷的控制下進行數(shù)模轉(zhuǎn)換轉(zhuǎn)換為聲音模擬信號經(jīng)濾波、放大，通過揚聲器輸出1、語音錄放流程第四十五頁，共七十五頁，編輯于2023年，星期二2、用SPCE061A播放語音第四十六頁，共七十五頁，編輯于2023年，星期二3、語音播放程序示例第四十七頁，共七十五頁，編輯于2023年，星期二4、用戶接口函數(shù)在hardware.asm中定義的用戶API，用戶可以根據(jù)需要修改F_SP_SACM_A2000_Init_F_SP_InitQueueF_SP_ReadQueueF_SP_WriteQueueF_SP_RampUpDAC1…………第四十八頁，共七十五頁，編輯于2023年，星期二5、創(chuàng)建一個語音播放程序第1步：新建工程第四十九頁，共七十五頁，編輯于2023年，星期二5、創(chuàng)建一個語音播放程序第2步：復制語音播放需要的文件到工程所在的文件夾語音播放支持文件，在“IDE安裝目錄->Example->61_Exa->Record”文件夾下可以找到

sacmv26e.libhardware.inchardware.asmA2000格式的語音資源，在“IDE安裝目錄->Example->VoiceExa->ex1_A2000->Voice”文件夾下可以找到這里選擇了d1.24k和ww.24k兩個文件第五十頁，共七十五頁，編輯于2023年，星期二5、創(chuàng)建一個語音播放程序第3步：把剛剛復制的支持文件和語音資源添加到工程中。在Project菜單項，選擇AddtoProject->Files

找到工程所在的文件夾，選擇hardware.asm、hardware.inc兩個文件（按住Ctrl鍵點選），確定。

IDE的Project菜單項，AddtoProject->Resource

選擇兩個語音文件d1.24k和ww.24k，確定。第五十一頁，共七十五頁，編輯于2023年，星期二5、創(chuàng)建一個語音播放程序第4步：把Sacmv26e.lib語音函數(shù)庫添加到工程中。選擇Project->Setting，在左半部分的目錄樹中點選根目錄。選擇Link欄，點擊LibraryModules右面的文件夾按鈕。在工程所在文件夾中選擇sacmv26e.lib文件，確定。第五十二頁，共七十五頁，編輯于2023年，星期二5、創(chuàng)建一個語音播放程序第5步：編寫語音播放函數(shù)。在IDE的File菜單項下選擇New，在彈出對話框的左半部分選擇SPIDECFile。在右半部分的File文本框中輸入一個文件名，這里使用main.c，然后點擊OK按鈕。在main.c中編寫一個語音播放函數(shù)PlaySnd()第五十三頁，共七十五頁，編輯于2023年，星期二5、創(chuàng)建一個語音播放程序

第6步：編寫中斷服務函數(shù)在工程中新建一個asm文件，可以取名為ISR.asm。在ISR.asm中編寫FIQ中斷服務程序。第五十四頁，共七十五頁，編輯于2023年，星期二5、創(chuàng)建一個語音播放程序第7步：編寫主函數(shù)。在IDE中打開main.c文件，編寫main()函數(shù)。第五十五頁，共七十五頁，編輯于2023年，星期二5、創(chuàng)建一個語音播放程序第8步：添加語音資源索引表在IDE的Build菜單下選擇Build（或直接按F7鍵），對工程進行編譯和連接。此時會提示“ErrorL0080:Theexternalsymbol“T_SACM_A2000_SpeechTable”hasnotapublicdefinition.”錯誤信息。在工程中打開Resource.asm文件，在文件結(jié)尾處加入語音資源索引表。第五十六頁，共七十五頁，編輯于2023年，星期二5、創(chuàng)建一個語音播放程序第9步：下載試聽按F7鍵對工程重新編譯連接，途中可能會出現(xiàn)對話框提示Resource.asm文件被更改，選擇“Yes”即可。連接好硬件（下載線、電源、揚聲器等），在IDE的工具欄中點選綠色的“UseICE”按鈕。點擊紅色嘆號形的“ExecuteProgram”按鈕，下載并運行程序，就可以聽到從SPCE061A播放出的聲音了。第五十七頁，共七十五頁，編輯于2023年，星期二6、小結(jié)和注意事項語音播放需要的支持文件：

Sacmv26e.lib,Hardware.asm,Hardware.inc將支持文件加入工程中Hardware.asm加入到工程的SourceFilesHardware.inc加入到工程的HeadFilesSacmv26e.lib由Project->Setting->Link加入語音資源加入工程中Project->AddtoProject->Resource在Resource.asm里添加語音資源索引表選擇UseICE模式，將程序下載到芯片中第五十八頁，共七十五頁，編輯于2023年，星期二小結(jié)和注意事項如果播放S480格式的語音資源，只需將上述程序中所有的“A2000”改成“S480”即可。第五十九頁，共七十五頁，編輯于2023年，星期二7、疑難解答SACM_A2000_Initial(1);中的參數(shù)1是什么意思？播放初始化，參數(shù)值為1代表“自動播放”模式，0代表“手動播放”模式，“手動播放”將在下一節(jié)介紹。SACM_A2000_Play(SndIndex,DAC_Channel,3);第三個參數(shù)3是做什么用的？聲音淡入和淡出設置。0-無淡入淡出；1-僅淡入；2-僅淡出；3-淡入淡出如何制作自己的語音資源？凌陽提供了語音壓縮工具，可以把.wav格式的聲音文件壓縮成A2000或S480格式。該工具的使用方法將在后面的課程中介紹。第六十頁，共七十五頁，編輯于2023年，星期二SPCE061A語音處理應用三、語音播放（手動播放）第六十一頁，共七十五頁，編輯于2023年，星期二三、語音播放（手動播放）

什么是手動播放手動播放流程創(chuàng)建手動播放程序其他語音播放函數(shù)小結(jié)和注意事項疑難解答第六十二頁，共七十五頁，編輯于2023年，星期二1、什么是手動播放自動播放手動播放第六十三頁，共七十五頁，編輯于2023年，星期二2、手動播放流程第六十四頁，共七十五頁，編輯于2023年，星期二3、手動播放程序示例第六十五頁，共七十五頁，編輯于2023年，星期二4、設計一個手動播放函數(shù)第六十六頁，共七十五頁，編輯于2023年，星期二5、創(chuàng)建手動播放程序新建工程把Hardware.asm、Hardware.inc和Sacmv26e.lib，以及A2000格式的語音文件復制到工程所在文件夾下第六十七頁，共七十五頁，編輯于2023年，星期二5、創(chuàng)建手動播放程序把支持文件和語音資源添加到工程中。在Project菜單項，選擇AddtoProject->Files

找到工程所在的文件夾，選擇hardware.asm、hardware.inc和hardware.h三個文件（按住Ctrl鍵點選），確定。

IDE的Project菜單項，AddtoProject->Resource

選擇兩個語音文件d1.24k和ww.24k，確定。第六十八頁，共七十五頁，編輯于2023年，星期二5、創(chuàng)建手動播放程序把Sacmv26e.lib語音函數(shù)庫添加到工程中。選擇Project->