《語音識別技術(shù)》課程教學(xué)大綱

《語音識別技術(shù)》教學(xué)大綱課程名稱：語音識別技術(shù)課程編號：F062092382英文名稱：Speechrecognitiontechnology學(xué)時：40學(xué)時 學(xué)分：2.5學(xué)分開課學(xué)期：第7學(xué)期適用專業(yè)：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)課程類別：理論課+實驗課課程性質(zhì)：專業(yè)方向與拓展課先修課程：Python程序設(shè)計、時間序列分析一、課程的性質(zhì)及任務(wù)《語音識別技術(shù)》課程是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)學(xué)生的專業(yè)方向與拓展課，本課程主要介紹語音信號處理的基本理論、方法和相關(guān)的應(yīng)用領(lǐng)域，并介紹目前的研究現(xiàn)狀和學(xué)科發(fā)展的趨勢。通過本課程的學(xué)習(xí)，使學(xué)生較好地掌握語音信號處理的基本內(nèi)容和基本方法，并在一定程度上能利用信號處理的的思想、方法解決一些簡單的模式識別和人工智能問題。依據(jù)河北工程大學(xué)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)培養(yǎng)計劃，本課程需要培養(yǎng)學(xué)生的能力是：能夠?qū)?shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)相關(guān)知識用于大數(shù)據(jù)工程問題解決方案的比較與綜合（畢業(yè)要求指標(biāo)1.4）能夠針對大數(shù)據(jù)特定的任務(wù)需求，完成大數(shù)據(jù)系統(tǒng)、模塊的設(shè)計與開發(fā)（畢業(yè)要求指標(biāo)3.2）掌握基本的大數(shù)據(jù)開發(fā)環(huán)境的配置和應(yīng)用，熟練掌握軟件開發(fā)語言，并能夠運用集成開發(fā)環(huán)境進(jìn)行復(fù)雜程序設(shè)計（畢業(yè)要求指標(biāo)5.1）二、課程目標(biāo)與要求2.1課程目標(biāo)1.

PAGE16PAGE152.2課程目標(biāo)與畢業(yè)要求對應(yīng)關(guān)系畢業(yè)要求123畢業(yè)要求二級指標(biāo)畢業(yè)要求●1-4能夠?qū)?shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)相關(guān)知識用于大數(shù)據(jù)工程問題的解決方案。1.具有扎實的數(shù)學(xué)與自然科學(xué)知識和工程基礎(chǔ)，系統(tǒng)地掌握數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)領(lǐng)域的基本理論、基礎(chǔ)知識，并綜合運用所學(xué)知識解決復(fù)雜工程問題?！?-2. 能夠針對大數(shù)據(jù)特定的任務(wù)需求，完成大數(shù)據(jù)系統(tǒng)、模塊的設(shè)計與開發(fā)。3.能夠設(shè)計出大數(shù)據(jù)應(yīng)用領(lǐng)域的復(fù)雜工程問題的解決方案，具有數(shù)據(jù)采集、處理、分析、挖掘的能力，并能夠在設(shè)計環(huán)節(jié)中體現(xiàn)創(chuàng)新意識，考慮社會、健康、安全、法律、文化以及環(huán)境等多維度協(xié)同發(fā)展因素?！?-3具備使用大數(shù)據(jù)平臺以及軟件對復(fù)雜工程問題進(jìn)行仿真的能力，理解其使用要求、運用范圍和局限性。5.能夠針對大數(shù)據(jù)應(yīng)用領(lǐng)域的復(fù)雜工程問題，開發(fā)、選擇與使用恰當(dāng)?shù)募夹g(shù)、資源、現(xiàn)代信息技術(shù)工具，包括對大數(shù)據(jù)應(yīng)用領(lǐng)域的復(fù)雜工程問題的預(yù)測與仿真，并能夠理解其局限性。2.3課程目標(biāo)與培養(yǎng)環(huán)節(jié)對應(yīng)矩陣序號課程目標(biāo)理論教學(xué)課內(nèi)實驗課后作業(yè)1掌握語音識別技術(shù)的基本概念和基本理論，熟悉語音識別技術(shù)的經(jīng)典方法，培養(yǎng)學(xué)生解決計算機(jī)領(lǐng)域復(fù)雜工程問題所需專業(yè)基礎(chǔ)知識。HL2能夠運用計算思維分析問題和解決問題，針對計算機(jī)領(lǐng)域復(fù)雜工程問題，分析并抽象出語音識別技術(shù)中的問題。HML3能夠綜合運用語音識別技術(shù)的基本理論和設(shè)計方法，針對計算機(jī)領(lǐng)域復(fù)雜工程問題研究和設(shè)計可行的解決方案，并能對解決方案進(jìn)行分析和論證。HHM注：H表示該能力的在此環(huán)節(jié)重點培養(yǎng)；M表示該能力在此環(huán)節(jié)有應(yīng)用要求；L表示該能力在此環(huán)節(jié)有所涉及。并行程序設(shè)計原理課程教學(xué)大綱PAGE2PAGE12.4目標(biāo)達(dá)成度的評價課程目標(biāo)1主要通過理論教學(xué)環(huán)節(jié)進(jìn)行培養(yǎng)，在課內(nèi)實驗有所涉及。主要通過課堂測試和期末考試中概念性、原理性題目進(jìn)行考核。目標(biāo)達(dá)成綜合以上內(nèi)容進(jìn)行評價。課程目標(biāo)2主要通過理論教學(xué)環(huán)節(jié)進(jìn)行培養(yǎng)，在課內(nèi)實驗有應(yīng)用要求，課后作業(yè)有所涉及。主要通過課堂測試，課后作業(yè)和期末考試中各種語音識別技術(shù)題目進(jìn)行考核，在實驗中體現(xiàn)為能熟悉語音識別技術(shù)的基本理論和設(shè)計方法。目標(biāo)達(dá)成綜合以上內(nèi)容進(jìn)行評價。課程目標(biāo)3主要通過課內(nèi)實驗進(jìn)行培養(yǎng)，在課后作業(yè)有應(yīng)用要求。主要通過布置計算機(jī)領(lǐng)域復(fù)雜工程問題應(yīng)用案例題目進(jìn)行考核，在實驗報告中體現(xiàn)為能給出符合要求的語音識別結(jié)論。在課后作業(yè)中體現(xiàn)為基于語音識別技術(shù)，綜合運用各種語音識別技術(shù)能力；目標(biāo)達(dá)成綜合以上內(nèi)容進(jìn)行評價。三、教學(xué)方法及手段理論教學(xué)以課堂講授為主，上機(jī)實驗為輔并結(jié)合課堂討論、案例分析、師生互動等教學(xué)方法展開教學(xué)；理論教學(xué)強(qiáng)調(diào)將各種語音識別技術(shù)與實際項目案例的實際情況緊密聯(lián)系，面向知識的實際應(yīng)用；本課程教材力求內(nèi)容新穎，采用多樣化的方式進(jìn)行教學(xué)，讓學(xué)生在理論與實踐相結(jié)合的基礎(chǔ)上，對課程所要求的實際操作能力有進(jìn)一步的提高。充分利用多媒體等現(xiàn)代化教學(xué)手段，整體優(yōu)化教學(xué)過程和教學(xué)內(nèi)容，調(diào)動學(xué)生學(xué)習(xí)積極性；布置實際操作任務(wù)給學(xué)生上機(jī)操作并及時指導(dǎo)。課程強(qiáng)調(diào)學(xué)生的自主學(xué)習(xí)，強(qiáng)調(diào)通過自學(xué)的方式消化、吸收課程的龐大知識量，并在此基礎(chǔ)上舉一反三、靈活應(yīng)用。四、課程的基本內(nèi)容與教學(xué)要求第一章語音信號處理基礎(chǔ)[教學(xué)目的與要求]：理解和掌握語音處理的方法和應(yīng)用，學(xué)習(xí)語音信號的特征和聽覺的特征，對語音識別技術(shù)能夠解決的問題有初步的認(rèn)識。[本章主要內(nèi)容]：1.1什么是語音信號處理1.2語音處理的應(yīng)用1.3語音的基本特征及簡化的數(shù)字模型[本章重點]：語音的基本特征。語音處理應(yīng)用。[本章難點]：語音簡化的數(shù)字模型第二章語音信號的時域分析[教學(xué)目的與要求]：理解語音信號的時域分析和語音自相關(guān)分析。掌握基音周期估計方法。[本章主要內(nèi)容]：2.1基音周期估計2.2掌握短時自相關(guān)分析[本章重點]：1.短時自相關(guān)分析2.基音周期估計。[本章難點]：三角和的概念。第三章語音信號的變換域分析[教學(xué)目的與要求]：了解語音信號的頻域分析和意義，掌握語音信號的同態(tài)處理和非線性處理。[本章主要內(nèi)容]：3.1語音信號的頻域分析—傅立葉變換；3.2語音信號的非線性處理；3.3語音信號的同態(tài)處理。[本章重點]：1.語音信號的頻域分析2.語音信號的同態(tài)處理。[本章難點]：頻域分析—傅立葉變換第四章語音信號線性預(yù)測分析[教學(xué)目的與要求]：了解LP分析的基本原理，掌握語音信號的LSP分析方法，了解線譜對分析。[本章主要內(nèi)容]：4.1LP分析4.2LSP分析4.3線譜對分析[本章重點]：LP分析的基本原理。[本章難點]：線譜對分析及其他語音參數(shù)第五章矢量量化[教學(xué)目的與要求]：了解無記憶矢量量化器與有記憶矢量量化器的方法，掌握全搜索算法。[本章主要內(nèi)容]：5.1.特征矢量與失真測度5.2.全搜索算法5.3.失真測度[本章重點]：無記憶矢量量化器。[本章難點]：波形矢量量化與分離均值矢量量化第六章語音編碼[教學(xué)目的與要求]：掌握波形編碼的幾種方法，了解混合激勵線性預(yù)測，理解參數(shù)編碼與混合編碼。[本章主要內(nèi)容]：6.1波形編碼6.2參數(shù)編碼6.3混合編碼6.4編碼質(zhì)量的餓評估[本章重點]：波形編碼的幾種方法。[本章難點]：混合激勵線性預(yù)測。第七章語音識別[教學(xué)目的與要求]：掌握HMM的基本問題，了解HMM的相似度的比較，理解人工神經(jīng)網(wǎng)絡(luò)。[本章主要內(nèi)容]：7.1HMM概念7.2HMM相關(guān)內(nèi)容。[本章重點]：HMM的基本問題。[本章難點]：隱馬爾可夫模型。第八章語音合成[教學(xué)目的與要求]：掌握語音生成的幾種方法，了解共振峰合成法，理解波形拼接合成法。[本章主要內(nèi)容]：8.1語音合成的方法8.2共振峰合成法8.3波形拼接合成法[本章重點]：語音生成的幾種方法[本章難點]：信號子空間的概念。第九章語音增強(qiáng)[教學(xué)目的與要求]：掌握語音生成模型的增強(qiáng)算法，了解語音增強(qiáng)的新發(fā)展，理解信號子空間的概念。[本章主要內(nèi)容]：9.1語音增強(qiáng)的方法9.2語音增強(qiáng)的新發(fā)展[本章重點]：語音生成模型的增強(qiáng)算法。[本章難點]：信號子空間的概念。五、課內(nèi)實驗5.1本課程實驗教學(xué)的地位和作用語音識別技術(shù)實驗是鞏固和擴(kuò)展課程理論知識的必要環(huán)節(jié)。通過實驗教學(xué)，使學(xué)生掌握語音信息處理的基本方法。了解語音信息處理的實際過程，并具有分析、整理實驗數(shù)據(jù)和編寫實驗報告的能力。5.2教學(xué)基本要求通過實驗預(yù)習(xí)及設(shè)計，理解語音識別技術(shù)的基本原理，要求學(xué)生通過實驗環(huán)節(jié)運用專業(yè)理論知識與技能，利用TLAB軟件方正工具，通過實驗使學(xué)生掌握語音信號的特點和處理的實際過程，掌握語音信號特征提取有關(guān)工程算法，并通過對實驗數(shù)據(jù)和結(jié)果的解析得到正確的結(jié)論，并具有分析、整理實驗數(shù)據(jù)和編寫實驗報告的能力，有助于提高學(xué)生的實際動手能力和分析解決問題的能力。5.3實驗內(nèi)容及要求大綱基本內(nèi)容包括四個實驗項目，在8個學(xué)時內(nèi)完成。實驗一語音信號的預(yù)處理實驗?zāi)康模?1)掌握趨勢項、直流項的方法。(2)掌握語音信號預(yù)加重的原理及方法。(3)掌握語音信號預(yù)濾波的目的和方法。(4)編程實現(xiàn)上述方法，并測試。實驗設(shè)備：計算機(jī)（安裝好TLAB軟件）實驗內(nèi)容及步驟：內(nèi)容：(1)測試TLAB的去線性趨勢函數(shù)detrend的作用：(2)設(shè)計低通濾波器：(3)編寫預(yù)加重函數(shù)。步驟：(1)運行TLAB,新建m文件，編寫m程序。(2)編譯并調(diào)試程序，觀察仿真效果圖。實驗二語音分幀與加窗實驗?zāi)康模?1)了解語音信號分幀與加窗的重要性和必要性。(2)掌握常用的窗函數(shù)和加窗分幀處理的原理。(3)能編程實現(xiàn)分幀函數(shù)，并恢復(fù)。實驗設(shè)備：計算機(jī)（安裝好TLAB軟件）實驗內(nèi)容及步驟：內(nèi)容：根據(jù)語音分幀的思想，編寫分幀函數(shù)；(2)編程實現(xiàn)矩形窗，漢明窗和漢寧窗。步驟：(1)運行TLAB,新建m文件，編寫m程序。(2)編譯并調(diào)試程序，觀察仿真效果圖。實驗三線性預(yù)測分析實驗?zāi)康模?1)了解線性預(yù)測分析在語音信號處理中的重要性和必要性。(2)掌握線性預(yù)測分析的基本思想。(3)掌握TLAB進(jìn)行線性預(yù)測分析的流程。實驗設(shè)備：計算機(jī)（安裝好TLAB軟件）實驗內(nèi)容及步驟：內(nèi)容：(1)根據(jù)萊文遜-杜賓自相關(guān)發(fā)求線性預(yù)測系數(shù)的原理，編寫TLAB函數(shù)，并與TLAB自帶的LPC函數(shù)進(jìn)行比較；(2)編寫求取LPC預(yù)測系數(shù)的復(fù)頻譜函數(shù)，并與FFT頻譜進(jìn)行對比。步驟：(1)運行TLAB,新建m文件，編寫m程序。(2)編譯并調(diào)試程序，觀察仿真效果圖。實驗四共振峰估計實驗實驗?zāi)康模?1)了解共振峰估計的意義。(2)了解共振峰估計預(yù)處理的方法與意義。(3)掌握基于倒譜法和線性預(yù)測法的共振峰檢測原理。(4)編寫基于倒譜法和線性預(yù)測法的共振峰檢測函數(shù)，并仿真驗證。實驗設(shè)備：計算機(jī)（安裝好TLAB軟件）實驗內(nèi)容及步驟：內(nèi)容：(1)根據(jù)基于倒譜法的共振峰估計原理，編寫基于倒譜法的共振峰估計的TLAB函數(shù)，并仿真：(2)根據(jù)基于LPC內(nèi)插法的共振峰估計原理，編寫基于LPC的共振峰估計的TLAB函數(shù)，并仿真。步驟：(1)運行TLAB,新建m文件，編寫m程序。(2)編譯并調(diào)試程序，觀察仿真效果圖。5.4教學(xué)文件及教學(xué)形式教學(xué)文件：《語音信號處理實驗教程》。教學(xué)形式主要包括：預(yù)習(xí)、課堂指導(dǎo)與實驗操作、撰寫實驗報告。實驗報告學(xué)生自擬。實驗報告包括：實驗?zāi)康摹⒕幊陶Z言，描述方法原理，詳細(xì)敘述編程步驟，要有完整的數(shù)據(jù)和編程、圖表表示的實驗結(jié)果，以理論聯(lián)系實際為出發(fā)點，調(diào)整參數(shù)并分析與實際數(shù)據(jù)之間的誤差，總結(jié)實驗中出現(xiàn)的問題及解決方法。5.5實驗項目及學(xué)時分配序號實驗項目實驗學(xué)時實驗類型實驗類別實驗性質(zhì)1語音信號的預(yù)處理2驗證性專業(yè)必修2語音分幀與加密2驗證性專業(yè)必修3線性預(yù)測分析2綜合性專業(yè)必修4共振峰估計實驗2綜合性專業(yè)必修5.6本課程實驗用到的場地和儀器大數(shù)據(jù)實驗中心機(jī)房、多功能多媒體設(shè)備、智慧黑板。六、課程學(xué)時分配教學(xué)課次教學(xué)內(nèi)容教學(xué)環(huán)節(jié)與計劃時數(shù)教學(xué)環(huán)節(jié)計劃時數(shù)1緒論理論課22語音信號處理基礎(chǔ)理論課23語音信號的時域分析--語音信號的時域分析，語音自相關(guān)分析，理論課2４語音信號的時域分析--基音周期估計理論課25語音信號的頻域分析—傅立葉變換理論課26語音信號的非線性處理理論課27語音信號的同態(tài)處理理論課28語音信號的線性預(yù)測--LP分析理論課29語音信號的線性預(yù)測--線譜對分析理論課210矢量量化理論課211波形編碼方法理論課212參數(shù)編碼與混合編碼理論課213語音識別-HMM的基本問題理論課214HMM相似度的比較理論課215語音合成理論課216語音增強(qiáng)理論課217實驗1數(shù)據(jù)預(yù)處理實驗課218實驗2分類模型：決策樹和KNN分類實驗實驗課219實驗3分類模型：貝葉斯分類器和支持向量機(jī)實驗課220實驗4關(guān)聯(lián)規(guī)則實驗課2注：實驗課由任課教師負(fù)責(zé)協(xié)調(diào)安排時間。七、課程考核與成績評定7.1考核方式考核環(huán)節(jié)包括課程學(xué)習(xí)過程考核和期末考核，其中課程過程考核占總成績的40%，分別由課堂表現(xiàn)、課后作業(yè)、實驗情況進(jìn)行評定；期末考核占總成績的60%。各環(huán)節(jié)的比重如下?？己谁h(huán)節(jié)比重合計過程考核（平時成績）課堂表現(xiàn)10%40%作業(yè)10%實驗20%期末考核（課程論文）大作業(yè)的報告30%60%答辯30%總計100%100%7.2考核內(nèi)容及要求本課程為考查課?？己藘?nèi)容及分值分配如下?？己朔绞娇己藘?nèi)容分值課程目標(biāo)總分值期末考核60%語音信號的時域分析5~10目標(biāo)1100分語音信號的時域分析5~10目標(biāo)1語音信號的非線性處理10~15目標(biāo)1語音信號的同態(tài)處理5~10目標(biāo)1,2語音信號的線性預(yù)測10～20目標(biāo)1,2矢量量化10～15目標(biāo)1,2波形編碼方法5～10目標(biāo)1,2語音合成2~5目標(biāo)2,3語音增強(qiáng)2～5目標(biāo)2,3過程考核40%課堂表現(xiàn)課堂測試、出勤情況10目標(biāo)1,210分課后作業(yè)作業(yè)完成情況10目標(biāo)1,210分實驗實驗出勤、實驗表現(xiàn)及實驗報告20目標(biāo)2,320分7.3成績評定1.課堂表現(xiàn)課堂表現(xiàn)總分10分，由課堂測試與課堂出勤情況評定。其中，課堂測試滿分6分，以客觀題（填空、選擇、判斷）為主，每學(xué)期隨堂測試15~20次，每次測試1~2道題目，每答錯一道題目扣0.5分（直到扣滿6分為止）；課堂出勤滿分4分，缺勤一次扣1分，遲到或請假扣0.5分。2.課后作業(yè)課后作業(yè)總分10分，由作業(yè)完成情況評定。每學(xué)期布置作業(yè)5次，每次作業(yè)占2分，評分標(biāo)準(zhǔn)如下；評分標(biāo)準(zhǔn)分值標(biāo)準(zhǔn)描述課后作業(yè)3能夠按時認(rèn)真完成作業(yè)、作業(yè)態(tài)度認(rèn)真、書寫清楚、分析計算正確。2能夠按時完成作業(yè)、作業(yè)態(tài)度較好、書寫較清楚、分析計算基本正確1能夠按時完成作業(yè)、作業(yè)態(tài)度一般、書寫不清楚、分析計算錯誤較多0不交作業(yè)或作業(yè)態(tài)度不認(rèn)真、抄襲他人作業(yè)3.實驗成績實驗成績占所學(xué)課程的20%，即20分。根據(jù)學(xué)生的實驗表現(xiàn)及實驗報告結(jié)果，進(jìn)行綜合評定。具體評分標(biāo)準(zhǔn)如下表所示。評分標(biāo)準(zhǔn)分值標(biāo)準(zhǔn)描述實驗表現(xiàn)（10）10無遲到、早退現(xiàn)象，態(tài)度端正，與同組同學(xué)配合認(rèn)真完成編寫及調(diào)試程序，運行結(jié)束后，按要求整理實驗報告。8有遲到、早退現(xiàn)象或編程過程不夠認(rèn)真。6有遲到、早退現(xiàn)象且編程過程不認(rèn)真。4有遲到、早退現(xiàn)象，編程過程不動手，渾水摸魚。0曠課實驗報告（10）10有完整正確的程序，過程敘述內(nèi)容完整，正確分析數(shù)據(jù)，圖形繪制清晰合理，結(jié)論正確，書寫認(rèn)真。8有相應(yīng)程序，過程敘述內(nèi)容較完整，正確分析實驗數(shù)據(jù)，圖形繪制清晰較合理，結(jié)論正確，書寫較認(rèn)真。6過程敘述內(nèi)容較完整，分析數(shù)據(jù)有較少錯誤，圖形