單片機(jī)的C語言應(yīng)用程序設(shè)計(jì)

1、School of Computer & Information 語音信號(hào)處理 Speech Signal Processing 2021/6/30 語音信號(hào)處理 基礎(chǔ)知識(shí)以及分析、處理技術(shù)（語音信號(hào)處理 趙力編著） 隱馬爾可夫模型（Fundamentals of Speech Recognition L.Rabiner 著） 專題報(bào)告 語音信號(hào)處理（參考文獻(xiàn)） 語音信號(hào)處理 趙力編著 語音信號(hào)處理 韓紀(jì)慶編著 Fundamentals of Speech Recognition L.Rabiner 著 現(xiàn)代語音技術(shù)基礎(chǔ)與應(yīng)用 蔡蓮紅編著 音頻信息處理 韓紀(jì)慶編著 國際會(huì)議（ICASSP），國

2、際期刊（speech communication） 基礎(chǔ)知識(shí)以及分析、處理技術(shù) 語音信號(hào)處理的基礎(chǔ)知識(shí) 語音信號(hào)的短時(shí)時(shí)域分析 線性預(yù)測分析和倒譜分析 隱馬爾可夫模型 專題報(bào)告 語音信號(hào)處理 基礎(chǔ)知識(shí)以及分析、處理技術(shù) 語音信號(hào)處理的基礎(chǔ)知識(shí) 1.1 概述： 發(fā)音語音學(xué)、聲學(xué)語音學(xué)和聽覺語音學(xué)三大分支 音高、音強(qiáng)、音長、音色四種要素 1.2 語音生成系統(tǒng)及語音信號(hào)產(chǎn)生模型： 語音發(fā)音系統(tǒng)圖 激勵(lì)+聲道+輻射模型 1.3 語音聽覺系統(tǒng)（簡略） 1.4 語音信號(hào)的語譜圖（里程碑，1941，貝爾實(shí)驗(yàn)室） 寬帶語譜圖：良好的時(shí)間分辨率，頻率分辨率較差； 窄帶語譜圖：良好的頻率分辨率，時(shí)間分辨率較差。

3、基礎(chǔ)知識(shí)以及分析、處理技術(shù) 語音信號(hào)的短時(shí)時(shí)域分析 2.1 語音信號(hào)的數(shù)字化和預(yù)處理： 分幀、加窗、預(yù)加重 2.2 語音信號(hào)的時(shí)域分析： 短時(shí)能量、短時(shí)平均幅度、短時(shí)過零率 短時(shí)自相關(guān)函數(shù)、短時(shí)平均幅度差函數(shù) 2.3 語音信號(hào)時(shí)域分析的應(yīng)用 端點(diǎn)檢測 基音周期的估計(jì) 基礎(chǔ)知識(shí)以及分析、處理技術(shù) 倒譜分析和線性預(yù)測分析 3.1 短時(shí)傅里葉譜 3.2 同態(tài)信號(hào)處理的基本原理 3.3 線性預(yù)測分析的基本原理 基礎(chǔ)知識(shí)以及分析、處理技術(shù) 隱馬爾可夫模型（HMM） HMM的基本思想 HMM的三大算法 HMM實(shí)現(xiàn)中的問題 專題報(bào)告 語音信號(hào)處理 隱馬爾可夫模型 HMM的基本思想 4.1 HMM的基本思想

4、l 馬爾可夫鏈（Markov Chain） l 離散隱馬爾可夫模型（Extension，urn-and-ball） l 隱馬爾可夫模型的定義和元素（Definition and Elements） 隱馬爾可夫模型 HMM的三大算法 4.2 HMM的三大算法 l Forward-Backward算法（Probability Evaluation） l Viterbi 算法 （Optimal State Sequence） l Baum- Welch 重估算法 （Parameter Estimation） 隱馬爾可夫模型 HMM實(shí)現(xiàn)中的問題 l 初始模型的選?。↖nitial Estimates

5、of HMM） l 多個(gè)觀察值序列訓(xùn)練（Multiple Observation Sequences） l 數(shù)據(jù)下溢問題（Underflow，Scaling） l 訓(xùn)練數(shù)據(jù)的不足（Insufficient Training Data, Adaptation） 4.3 HMM實(shí)現(xiàn)中的問題 基礎(chǔ)知識(shí)以及分析、處理技術(shù) 隱馬爾可夫模型 專題報(bào)告 語音識(shí)別 說話人識(shí)別（聲紋識(shí)別） 情感語音 音視頻雙模態(tài) 語音檢索 語音數(shù)據(jù)庫設(shè)計(jì)與建立 語音信號(hào)處理 l 動(dòng)態(tài)時(shí)間規(guī)整（DTW）算法 動(dòng)態(tài)規(guī)劃（Dynamic Programming）的思想 l Level-Building 算法 和 One-Pass 算

6、法 （難點(diǎn)） 參考L.Rabiner的書，但中文講授，借助多媒體較直觀地顯示 前向-反向搜索的過程 專題報(bào)告 語音識(shí)別 l Mel頻率倒譜系數(shù)（MFCC特征參數(shù)） 主要英文講授，包括：主要英文講授，包括： 專題報(bào)告 說話人識(shí)別（聲紋識(shí)別） l 應(yīng)用背景及基本術(shù)語 Speaker-verification & Speaker-identification Text-dependent & Text-independent l 模型框架 GMM（Gaussian Mixture Model）模型 GMM-UBM 以及 GMM-MAP-UBM 框架 l 評價(jià)指標(biāo)及美國NIST比賽的實(shí)驗(yàn)結(jié)果 情感計(jì)算

7、是近年來研究的一個(gè)熱門話題。讓計(jì)算機(jī)帶有情感情感計(jì)算是近年來研究的一個(gè)熱門話題。讓計(jì)算機(jī)帶有情感, , 這是人工智能與人機(jī)交互追求的目標(biāo)。作為表達(dá)信息的最自然這是人工智能與人機(jī)交互追求的目標(biāo)。作為表達(dá)信息的最自然 和最直接的方式之一和最直接的方式之一, , 語音也是傳遞情緒的最重要媒介之一。語音也是傳遞情緒的最重要媒介之一。 從語音中識(shí)別出說話人的情感狀態(tài)是一個(gè)模式識(shí)別問題, 包括: 專題報(bào)告 情感語音 l 情感語音特征 能量、基音 時(shí)長、共振峰 l 情感分類 ANN SVM HMM / HCRF 視覺和聽覺是人類感知的兩種重要方式，包括：視覺和聽覺是人類感知的兩種重要方式，包括： 專題報(bào)告

8、音視頻雙模態(tài)（Audio-Visual） l 應(yīng)用背景 語音識(shí)別和說話人識(shí)別的魯棒性問題（Visual Speech, Viseme） 情感語音識(shí)別 l 雙模態(tài)的融合 特征級(jí)融合 決策級(jí)融合 模型級(jí)融合（DBN） l 美國錄制的雙模態(tài)數(shù)據(jù)庫 （錄像） 語音檢索是一個(gè)重要的分支，用于大規(guī)模數(shù)據(jù)庫的語聲檢索。語音檢索是一個(gè)重要的分支，用于大規(guī)模數(shù)據(jù)庫的語聲檢索。 關(guān)鍵分為：切分（關(guān)鍵分為：切分（SegmentationSegmentation）和聚類（）和聚類（ClusteringClustering）。）。 漢語語音音節(jié)切分漢語語音音節(jié)切分 評價(jià)機(jī)制評價(jià)機(jī)制 基于說話人的語音切分基于說話人的語音切分語音數(shù)據(jù)流語音數(shù)據(jù)流 專題報(bào)告 語音檢索 數(shù)據(jù)庫建立是研究基礎(chǔ)：數(shù)據(jù)庫建立是研究基礎(chǔ)： 專題報(bào)告 語音數(shù)據(jù)庫設(shè)計(jì)與建立 實(shí)驗(yàn)設(shè)計(jì)（偽裝、誘發(fā)、自然） 錄制環(huán)境 注釋、評估（離散、維度） 四個(gè)人一組，分工協(xié)作： 檢索文獻(xiàn)（至少檢索文獻(xiàn)（至少1 1篇英文）篇英文） 理解文獻(xiàn)內(nèi)容（列出的文獻(xiàn)在報(bào)告中有對應(yīng)的內(nèi)容）理解文獻(xiàn)內(nèi)容（列出的文獻(xiàn)在報(bào)告中有對應(yīng)的內(nèi)容） 寫報(bào)告（一組一份）寫報(bào)告（一組一份） 做陳述（可選。中英文均