《語(yǔ)音技術(shù)及其應(yīng)用》教學(xué)大綱

《語(yǔ)音技術(shù)及其應(yīng)用》教學(xué)大綱適用范圍：202X版本科人才培養(yǎng)方案課程代碼：22150261課程性質(zhì)：專業(yè)選修課學(xué)分：2學(xué)分學(xué)時(shí)：32學(xué)時(shí)（理論26學(xué)時(shí)，實(shí)驗(yàn)6學(xué)時(shí)）先修課程：高等數(shù)學(xué)C、復(fù)變函數(shù)與積分變換、大學(xué)物理等等后續(xù)課程：機(jī)器人感知與交互、人工智能導(dǎo)論等適用專業(yè)：機(jī)器人工程專業(yè)開(kāi)課單位：智能工程學(xué)院一、課程說(shuō)明《語(yǔ)音技術(shù)及其應(yīng)用》是機(jī)器人工程專業(yè)的一門(mén)專業(yè)選修課，主要講授語(yǔ)音信號(hào)的基本概念、采集分析、編碼及識(shí)別的基本理論與應(yīng)用。通過(guò)本課程的學(xué)習(xí)，使學(xué)生掌握語(yǔ)音識(shí)別技術(shù)的基本理論和基本應(yīng)用方法，提高學(xué)生的邏輯推理能力、分析計(jì)算能力、實(shí)驗(yàn)研究能力、總結(jié)歸納能力及自學(xué)新知識(shí)的能力，同時(shí)為學(xué)習(xí)后續(xù)課程打下必要的基礎(chǔ)。二、課程目標(biāo)通過(guò)本課程的學(xué)習(xí)，使學(xué)生達(dá)到如下目標(biāo)：課程目標(biāo)1：掌握語(yǔ)音技術(shù)及應(yīng)用的基本概念、聲學(xué)基礎(chǔ)及簡(jiǎn)單語(yǔ)音信號(hào)產(chǎn)生模型模型。課程目標(biāo)2：掌握對(duì)語(yǔ)音信號(hào)進(jìn)行簡(jiǎn)單分析處理、編碼、合成以及識(shí)別的基本能力。課程目標(biāo)3：培養(yǎng)學(xué)生利用現(xiàn)代工具獲取、分析、處理信息，解決工程問(wèn)題的能力；培養(yǎng)學(xué)生的自主學(xué)習(xí)能力、創(chuàng)新意識(shí)、工匠精神、愛(ài)國(guó)情懷和勞動(dòng)熱情。三、課程目標(biāo)與畢業(yè)要求《語(yǔ)音技術(shù)及其應(yīng)用》課程教學(xué)目標(biāo)對(duì)機(jī)器人工程專業(yè)畢業(yè)要求的支撐見(jiàn)表1。表1課程教學(xué)目標(biāo)與畢業(yè)要求關(guān)系畢業(yè)要求指標(biāo)點(diǎn)課程目標(biāo)支撐強(qiáng)度1.工程知識(shí)1.3掌握信號(hào)處理、控制理論、機(jī)器人工程等專業(yè)理論知識(shí)，用于解決分析機(jī)器人工程領(lǐng)域的復(fù)雜工程問(wèn)題。課程目標(biāo)1：掌握語(yǔ)音技術(shù)及應(yīng)用的基本概念、聲學(xué)基礎(chǔ)及簡(jiǎn)單語(yǔ)音信號(hào)產(chǎn)生模型模型。M3.設(shè)計(jì)/開(kāi)發(fā)解決方案3.3能夠通過(guò)單元集成和優(yōu)化，進(jìn)行機(jī)械電子結(jié)構(gòu)、智能算法、系統(tǒng)集成等部件的應(yīng)用與設(shè)計(jì)。課程目標(biāo)2：掌握對(duì)語(yǔ)音信號(hào)進(jìn)行簡(jiǎn)單分析處理、編碼、合成以及識(shí)別的基本能力。M5.使用現(xiàn)代工具5.2能夠運(yùn)用MATLAB、Proteus、PLC、ROS等工具對(duì)機(jī)器人領(lǐng)域的復(fù)雜工程問(wèn)題進(jìn)行設(shè)計(jì)、開(kāi)發(fā)和仿真分析，并理解其局限性。課程目標(biāo)3：培養(yǎng)學(xué)生利用現(xiàn)代工具獲取、分析、處理信息，解決工程問(wèn)題的能力；培養(yǎng)學(xué)生的自主學(xué)習(xí)能力、創(chuàng)新意識(shí)、工匠精神、愛(ài)國(guó)情懷和勞動(dòng)熱情。M注：表中“H（高）、M（中）”表示課程與相關(guān)畢業(yè)要求的關(guān)聯(lián)度。四、教學(xué)內(nèi)容、基本要求與學(xué)時(shí)分配1.理論部分理論部分的教學(xué)內(nèi)容、基本要求與學(xué)時(shí)分配見(jiàn)表2。表2教學(xué)內(nèi)容、基本要求與學(xué)時(shí)分配教學(xué)內(nèi)容教學(xué)要求，教學(xué)重點(diǎn)難點(diǎn)理論學(xué)時(shí)實(shí)驗(yàn)學(xué)時(shí)對(duì)應(yīng)的課程目標(biāo)1.語(yǔ)音技術(shù)發(fā)展概述1.1語(yǔ)音信號(hào)處理的發(fā)展1.2語(yǔ)音信號(hào)處理的應(yīng)用1.3語(yǔ)音信號(hào)處理的總體結(jié)構(gòu)思政元素：我國(guó)語(yǔ)音技術(shù)發(fā)展之路教學(xué)要求：了解語(yǔ)音信號(hào)處理的發(fā)展和歷史；了解語(yǔ)音信號(hào)處理的應(yīng)用領(lǐng)域；理解語(yǔ)音信號(hào)處理系統(tǒng)的總體結(jié)構(gòu)。重點(diǎn):語(yǔ)音信號(hào)處理的應(yīng)用和總體結(jié)構(gòu)。難點(diǎn):語(yǔ)音信號(hào)處理的應(yīng)用和總體結(jié)構(gòu)。21、32.語(yǔ)音信號(hào)的聲學(xué)基礎(chǔ)及產(chǎn)生模型2.1語(yǔ)音信號(hào)的產(chǎn)生2.2語(yǔ)音信號(hào)的感知2.3語(yǔ)音信號(hào)的線性產(chǎn)生模型2.4語(yǔ)音信號(hào)的非線性產(chǎn)生模型思政元素：國(guó)產(chǎn)AI主播的聲音來(lái)源教學(xué)要求：了解語(yǔ)音信號(hào)的產(chǎn)生過(guò)程；掌握語(yǔ)音信號(hào)在時(shí)域和頻域的表示方法；了解語(yǔ)音信號(hào)的感知方式；理解掩蔽效應(yīng)；理解并掌握語(yǔ)音信號(hào)的線性和非線性產(chǎn)生模型。重點(diǎn)：語(yǔ)音信號(hào)在時(shí)域和頻域的表示方法；掩蔽效應(yīng)；語(yǔ)音信號(hào)線性產(chǎn)生模型、語(yǔ)音信號(hào)的非線性產(chǎn)生模型。難點(diǎn)：語(yǔ)音信號(hào)的非線性產(chǎn)生模型。621、33.語(yǔ)音信號(hào)分析3.1語(yǔ)音信號(hào)數(shù)字化3.2語(yǔ)音信號(hào)時(shí)域分析3.3語(yǔ)音信號(hào)頻域分析3.4語(yǔ)音信號(hào)特征應(yīng)用3.5語(yǔ)音信號(hào)線性預(yù)測(cè)分析思政元素：工匠精神—表征與誤差教學(xué)要求：掌握語(yǔ)音信號(hào)數(shù)字化的方法和過(guò)程；掌握短時(shí)能量分析、短時(shí)平均過(guò)零率等語(yǔ)音信號(hào)在時(shí)域分析的方法；掌握濾波器組方法、傅里葉頻譜分析等語(yǔ)音信號(hào)在頻域分析的方法；掌握基音周期估計(jì)等語(yǔ)音信號(hào)特征的應(yīng)用方法；理解語(yǔ)音信號(hào)線性預(yù)測(cè)的基本原理和方法。重點(diǎn)：語(yǔ)音信號(hào)的數(shù)字化；短時(shí)能量分析、短時(shí)平均過(guò)零率；傅里葉頻譜分析；語(yǔ)音信號(hào)線性預(yù)測(cè)的原理。難點(diǎn)：傅里葉頻譜分析；語(yǔ)音信號(hào)線性預(yù)測(cè)的原理。622、34.語(yǔ)音編碼4.1波形編碼4.2參數(shù)編碼、混合編碼4.3極低速率語(yǔ)音編碼技術(shù)4.4語(yǔ)音編碼器的性能指標(biāo)和質(zhì)量評(píng)測(cè)方法4.5感知音頻編碼思政元素：我國(guó)語(yǔ)音信息處理的佼佼者—科大訊飛教學(xué)要求：理解并掌握波形編碼、參數(shù)編碼和混合編碼方法；理解極低速率語(yǔ)音編碼原理；理解編碼器的性能指標(biāo)和質(zhì)量評(píng)測(cè)方法；了解感知音頻編碼方法。重點(diǎn)：波形編碼；參數(shù)編碼；混合編碼；編碼器的性能指標(biāo)和質(zhì)量評(píng)測(cè)方法。難點(diǎn)：參數(shù)編碼；混合編碼；極低速率語(yǔ)音編碼原理。62、35.語(yǔ)音識(shí)別、合成5.1基于矢量量化的識(shí)別技術(shù)5.2動(dòng)態(tài)時(shí)間歸正的識(shí)別技術(shù)5.3隱馬爾可夫模型5.4連接詞語(yǔ)音識(shí)別技術(shù)5.5語(yǔ)音合成的基本原理5.6參數(shù)合成法與波形拼接技術(shù)思政元素：華為語(yǔ)音助手教學(xué)要求：了解語(yǔ)音識(shí)別和語(yǔ)音合成的原理；理解常見(jiàn)語(yǔ)音識(shí)別技術(shù)和語(yǔ)音拼接技術(shù)。重點(diǎn)：基于矢量量化的識(shí)別技術(shù)、動(dòng)態(tài)實(shí)踐歸正的識(shí)別技術(shù)、隱馬爾可夫模型技術(shù)、語(yǔ)音合成的基本原理、參數(shù)合成方法、波形拼接合成技術(shù)。難點(diǎn)：基于矢量量化的識(shí)別技術(shù)、動(dòng)態(tài)實(shí)踐歸正的識(shí)別技術(shù)、隱馬爾可夫模型技術(shù)、參數(shù)合成方法、波形拼接合成技術(shù)。622、3合計(jì)2662.實(shí)驗(yàn)部分實(shí)驗(yàn)部分的教學(xué)內(nèi)容、基本要求與學(xué)時(shí)分配見(jiàn)表3。表3實(shí)驗(yàn)項(xiàng)目、實(shí)驗(yàn)內(nèi)容與學(xué)時(shí)實(shí)驗(yàn)項(xiàng)目實(shí)驗(yàn)內(nèi)容和要求實(shí)驗(yàn)學(xué)時(shí)對(duì)應(yīng)的課程目標(biāo)1.語(yǔ)音信號(hào)生成實(shí)驗(yàn)實(shí)驗(yàn)內(nèi)容：根據(jù)語(yǔ)音信號(hào)產(chǎn)生模型編程生成相應(yīng)語(yǔ)音信號(hào)。實(shí)驗(yàn)要求：理解語(yǔ)音信號(hào)產(chǎn)生的基本原理；掌握常見(jiàn)的語(yǔ)音信號(hào)產(chǎn)生模型。21、32.語(yǔ)音信號(hào)處理與分析實(shí)驗(yàn)實(shí)驗(yàn)內(nèi)容：采集語(yǔ)音信號(hào)并進(jìn)行短時(shí)時(shí)域分析和短時(shí)頻域分析。實(shí)驗(yàn)要求：掌握語(yǔ)音信號(hào)采集的過(guò)程；理解語(yǔ)音信號(hào)短時(shí)時(shí)域分析、短時(shí)頻域分析的基本原理。22、33.基于DTW的孤立字語(yǔ)音識(shí)別實(shí)驗(yàn)實(shí)驗(yàn)內(nèi)容：對(duì)給定的孤立阿拉伯?dāng)?shù)字語(yǔ)音信號(hào)進(jìn)行識(shí)別。實(shí)驗(yàn)要求：掌握語(yǔ)音識(shí)別的模板匹配法的原理和過(guò)程；掌握DTW技術(shù)的基本原理。22、3合計(jì)6五、教學(xué)方法及手段本課程注重講授語(yǔ)音信號(hào)處理的基本理論和技術(shù)，以教師課堂講授為主，同時(shí)引入課堂討論并輔以案例分析，激發(fā)學(xué)生興趣，培養(yǎng)學(xué)生獨(dú)立思考問(wèn)題、分析問(wèn)題和解決問(wèn)題的能力；教學(xué)過(guò)程以精講多練、理實(shí)結(jié)合為原則，安排適當(dāng)?shù)陌咐治鼍毩?xí)題。在實(shí)驗(yàn)教學(xué)環(huán)節(jié)中，以討論、演示為主，注意培養(yǎng)學(xué)生自主學(xué)習(xí)和實(shí)踐動(dòng)手能力。六、課程資源1.推薦教材：（1）韓紀(jì)慶等.《語(yǔ)音信號(hào)處理》（第3版）[M].北京:清華大學(xué)出版社.2019.2.參考書(shū)：（1）梁瑞宇.《語(yǔ)音信號(hào)處理實(shí)驗(yàn)教程》[M].北京:機(jī)械工業(yè)出版社.2016.03．（2）張雪英.《數(shù)字語(yǔ)音處理及MATLAB仿真》（第2版）[M].北京:電子工業(yè)出版社.2016.04．（3）宋知用.《MATLAB語(yǔ)音信號(hào)分析與合成》[M].北京:北京航空航天大學(xué)出版社.2018.01．（4）張賢達(dá).《現(xiàn)代語(yǔ)音信號(hào)處理》.北京:清華大學(xué)出版社.2015.123.期刊：（1）雷杰,趙宏亮,艾寧智等.基于BN-SGMM-HMM模型的低資源語(yǔ)音識(shí)別系統(tǒng)[J].合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2021,44(12):1627-1632.（2）朱方圓,馬志強(qiáng),陳艷等.語(yǔ)音識(shí)別中說(shuō)話人自適應(yīng)方法研究綜述[J].計(jì)算機(jī)科學(xué)與探索,2021,15(12):2241-2255.（3）魚(yú)昆,張紹陽(yáng),侯佳正等.語(yǔ)音識(shí)別及端到端技術(shù)現(xiàn)狀及展望[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2021,30(03):14-23.DOI:10.15888/ki.csa.007852.（4）崔陽(yáng),劉長(zhǎng)紅.基于PIFA的語(yǔ)音識(shí)別系統(tǒng)評(píng)測(cè)平臺(tái)[J].計(jì)算機(jī)科學(xué),2020,47(S2):638-641.（5）唐海桃,薛嘉賓,韓紀(jì)慶.一種多尺度前向注意力模型的語(yǔ)音識(shí)別方法[J].電子學(xué)報(bào),2020,48(07):1255-1260.（6）王子龍,李俊峰,張劭韡等.基于遞歸神經(jīng)網(wǎng)絡(luò)的端到端語(yǔ)音識(shí)別[J].計(jì)算機(jī)與數(shù)字工程,2019,47(12):3099-3106.（7）唐美麗,胡瓊,馬廷淮.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別研究[J].現(xiàn)代電子技術(shù),2019,42(14):152-156.DOI:10.16652/j.issn.1004-373x.2019.14.035.（8）孫可,劉忠武,吳雨洽等.基于Python的深度學(xué)習(xí)語(yǔ)音識(shí)別[J].沈陽(yáng)師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2019,37(03):274-277.4.網(wǎng)絡(luò)資源：（1）基于HMM的語(yǔ)音識(shí)別.中國(guó).CSDN.2018./jie8895010/article/details/52389157．（2）語(yǔ)音識(shí)別的技術(shù)原理是什么.中國(guó).CSDN.2018./jie8895010/article/details/52389157．七、課程考核對(duì)課程目標(biāo)的支撐課程成績(jī)由過(guò)程性考核成績(jī)和期末考核成績(jī)兩部分構(gòu)成，具體考核/評(píng)價(jià)細(xì)則及對(duì)課程目標(biāo)的支撐關(guān)系見(jiàn)表4。表4課程考核對(duì)課程目標(biāo)的支撐考核環(huán)節(jié)占比考核/評(píng)價(jià)細(xì)則課程目標(biāo)123過(guò)程性考核課堂表現(xiàn)10（1）根據(jù)參與課堂活動(dòng)情況進(jìn)行考核，滿分100分。（2）以平時(shí)考核成績(jī)乘以其在總評(píng)成績(jī)中所占的比例計(jì)入課程總評(píng)成績(jī)?！獭獭?42實(shí)驗(yàn)20（1）根據(jù)每個(gè)實(shí)驗(yàn)的實(shí)驗(yàn)操作完成情況和實(shí)驗(yàn)報(bào)告質(zhì)量單獨(dú)評(píng)分，滿分100分。（2）每次實(shí)驗(yàn)單獨(dú)評(píng)分，取各次實(shí)驗(yàn)成績(jī)的平均值作為此環(huán)節(jié)的最終成績(jī)。（3）以實(shí)驗(yàn)成績(jī)乘以其在總評(píng)成績(jī)中所占的比例計(jì)入課程總評(píng)成績(jī)?！獭獭?84作業(yè)10（1）主要考核學(xué)生對(duì)各章節(jié)知識(shí)點(diǎn)的復(fù)習(xí)、理解和掌握程度，滿分100分。（2）每次作業(yè)單獨(dú)評(píng)分，取各次成績(jī)的平均值作為此環(huán)節(jié)的最終成績(jī)。（3）以作業(yè)成績(jī)乘以其在總評(píng)成績(jī)中所占的比例計(jì)入課程總評(píng)成績(jī)?！獭獭?42期末考核60（1）期末考核要求學(xué)生完成一項(xiàng)綜合性大作業(yè)。（2）綜合性大作業(yè)以綜合性設(shè)計(jì)和應(yīng)用為主，主要考查學(xué)生對(duì)該課程的整體掌握程度和應(yīng)用實(shí)踐能力。（3）學(xué)生課分組完成。√√√252510合計(jì)：100分414118八、考核與成績(jī)?cè)u(píng)定1.考核方式及成績(jī)?cè)u(píng)定考核方式：本課程主要以課堂表現(xiàn)、實(shí)驗(yàn)、作業(yè)、期末考試等方式對(duì)學(xué)生進(jìn)行考核評(píng)價(jià)?？己嘶疽螅嚎己丝偝煽?jī)由期末試卷成績(jī)和過(guò)程性考核成績(jī)組成。其中：期末考核成績(jī)?yōu)?00分（權(quán)重60%），期末考核要求學(xué)生完成一項(xiàng)以綜合性設(shè)計(jì)和應(yīng)用為主的大作業(yè)，學(xué)生可分組完成；課堂表現(xiàn)、實(shí)驗(yàn)、作業(yè)等過(guò)程性考核成績(jī)?yōu)?00分（權(quán)重40%）。2.過(guò)程性考核成績(jī)的標(biāo)準(zhǔn)過(guò)程性考核方式重點(diǎn)考核內(nèi)容、評(píng)價(jià)標(biāo)準(zhǔn)、所占比重見(jiàn)表5。表5過(guò)程性考核方式評(píng)價(jià)標(biāo)準(zhǔn)考核方式所占比重(%)100>x≥9090>x≥8080>x≥7070>x≥60x<60課堂表現(xiàn)25積極參與教學(xué)活動(dòng)，踴躍回答問(wèn)題，多次累計(jì)平均得分100>x≥90。認(rèn)真參與各項(xiàng)教學(xué)活動(dòng)，多次累計(jì)平均得分90>x≥80