大創(chuàng)申請(qǐng)書終稿

1、 第十批“大學(xué)生創(chuàng)新訓(xùn)練計(jì)劃”項(xiàng)目申請(qǐng)書項(xiàng)目名稱：面向家庭服務(wù)機(jī)器人的語音交互系統(tǒng)設(shè)計(jì)項(xiàng)目負(fù)責(zé)人： 孫兆輿學(xué)院年級(jí)專業(yè)： 信息學(xué)院14級(jí)自動(dòng)化 聯(lián)系電話：電子信箱：401530733 學(xué)生創(chuàng)新中心項(xiàng)目部填表日期：2016年1月填表須知一、項(xiàng)目申請(qǐng)表要按照東北大學(xué)“國(guó)家大學(xué)生創(chuàng)新性實(shí)驗(yàn)計(jì)劃”項(xiàng)目管理辦法和第十批“大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃”項(xiàng)目申報(bào)通知的相關(guān)要求，逐項(xiàng)認(rèn)真填寫，填寫內(nèi)容必須實(shí)事求是，表達(dá)明確嚴(yán)謹(jǐn)，可另行附頁(yè)。二、格式要求：表格中的正文字體應(yīng)為小四號(hào)宋體，22磅行距，打印輸出；需簽字部分由相關(guān)人員以黑色鋼筆或水筆簽名。均用A4紙正反面打印，于左側(cè)裝訂成冊(cè)。三、

2、項(xiàng)目申請(qǐng)表由項(xiàng)目負(fù)責(zé)人填寫，經(jīng)學(xué)院或創(chuàng)新基地評(píng)審匯總后統(tǒng)一上報(bào)創(chuàng)新創(chuàng)業(yè)學(xué)院，創(chuàng)新創(chuàng)業(yè)學(xué)院組織 “大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃”專家指導(dǎo)委員評(píng)審確定。學(xué)生申請(qǐng)課題須自行聯(lián)系確定指導(dǎo)教師。四、團(tuán)隊(duì)申報(bào)的成員由核心成員和預(yù)備成員組成，其中核心成員由1-2人組成，預(yù)備成員1-3人。五、項(xiàng)目申請(qǐng)表填寫內(nèi)容應(yīng)言簡(jiǎn)意賅，思路清晰，論證充分，字跡清楚，一律用計(jì)算機(jī)輸入打印。六、以學(xué)院為單位上交此申報(bào)表。（電子檔傳到neu83690117和紙質(zhì)材料一式五份）七、如填表有不明事宜，請(qǐng)致電創(chuàng)新創(chuàng)業(yè)學(xué)院項(xiàng)目部83690117。項(xiàng)目基本情況項(xiàng)目名稱申請(qǐng)團(tuán)隊(duì)情況核心成員姓名學(xué)號(hào)所在學(xué)院專業(yè)聯(lián)系電話孫兆輿20144217信息學(xué)院

3、自動(dòng)興20144291信息學(xué)院自動(dòng)備成員黃雨佳20144142信息學(xué)院電氣工程及其自動(dòng)導(dǎo)教師姓名職稱/職務(wù)所在學(xué)院聯(lián)系電話王斐副教授信目來源自主選題 交叉學(xué)科項(xiàng)目競(jìng)賽前期研究 教師子課題示范性學(xué)生創(chuàng)新團(tuán)隊(duì)選題學(xué)科類別（ B5 ）項(xiàng)目學(xué)科類別請(qǐng)從A-K中選擇，如A3、FA機(jī)械與控制（A1機(jī)械、A2儀器儀表、A3工程、A4交通、A5建筑等）B信息技術(shù)（B1計(jì)算機(jī)、B2電信、B3通訊、B4電子、B5自動(dòng)化控制等）C數(shù)理（C1數(shù)學(xué)、C2物理、C3地球空間科學(xué)）D生命科學(xué)（D1生物、D2農(nóng)學(xué)、D3藥學(xué)

4、、D4醫(yī)學(xué)、D5食品、D6生態(tài)）E能源化工（E1能源、E2材料、E3化學(xué)、E4化工、E5環(huán)境工程）F哲學(xué) G經(jīng)濟(jì)H社會(huì) I法律J教育 K管理申請(qǐng)經(jīng)費(fèi)15,000元起止時(shí)間2016年3月-2017年5月一、申請(qǐng)理由（內(nèi)容應(yīng)包括成員學(xué)習(xí)情況、獲得獎(jiǎng)學(xué)金情況，知識(shí)條件、參加過的科研訓(xùn)練和創(chuàng)新活動(dòng)情況）現(xiàn)在全國(guó)都在議論萬眾創(chuàng)新，但是如何創(chuàng)新，如何出彩，身為大學(xué)生的我們都應(yīng)該去仔細(xì)思考。大一期間，我們團(tuán)隊(duì)三人看到了機(jī)器人行業(yè)正在悄然崛起，隨著工業(yè)4.0時(shí)代的到來，我國(guó)更是將機(jī)器人產(chǎn)業(yè)列為重要的工業(yè)產(chǎn)業(yè)。中國(guó)“十三五”規(guī)劃中對(duì)機(jī)器人的發(fā)展及其對(duì)我國(guó)經(jīng)濟(jì)增長(zhǎng)等方面都提出擬定規(guī)劃。本著對(duì)機(jī)器人的喜愛，更是對(duì)語

5、音識(shí)別方面的熱愛，我們選擇了面向家庭服務(wù)機(jī)器人的語音識(shí)別系統(tǒng)作為我們的課題。本團(tuán)隊(duì)三名成員累計(jì)獲得四次獎(jiǎng)學(xué)金，其中包括三次校級(jí)三等獎(jiǎng)學(xué)金，還有一次勵(lì)志獎(jiǎng)學(xué)金。團(tuán)隊(duì)成員中有一名優(yōu)秀團(tuán)員、一名優(yōu)秀團(tuán)干部和一名優(yōu)秀學(xué)生干部，團(tuán)隊(duì)成員均通過了英語四級(jí)考試，三名同學(xué)通過了計(jì)算機(jī)二級(jí)（C語言）。孫兆輿具有極好的鉆研能力和動(dòng)手能力，刻苦好學(xué)，在大一期間獲得全國(guó)數(shù)學(xué)競(jìng)賽國(guó)家二等獎(jiǎng)，大二期間參加學(xué)校的科普知識(shí)競(jìng)賽并斬獲一等獎(jiǎng)，積極參加各種學(xué)?？茀f(xié)舉辦的競(jìng)賽活動(dòng)，是科學(xué)競(jìng)賽的活躍分子，無動(dòng)力滑翔機(jī)、紙橋承重大賽均榮獲優(yōu)秀獎(jiǎng)。與此同時(shí)，他還參加過類似的科研訓(xùn)練，大一時(shí)常去智能車實(shí)驗(yàn)室，實(shí)踐操作能力強(qiáng)，是難得的硬件好

6、手。張興具備較強(qiáng)的學(xué)習(xí)能力和鉆研能力，大一學(xué)年內(nèi)平均績(jī)點(diǎn)位于自動(dòng)化類前50名，榮獲校級(jí)優(yōu)秀學(xué)生三等獎(jiǎng)學(xué)金，國(guó)家勵(lì)志獎(jiǎng)學(xué)金，并獲得東北大學(xué)優(yōu)秀團(tuán)員稱號(hào)。張興同學(xué)以良好的成績(jī)通過了英語四級(jí)和計(jì)算機(jī)二級(jí)C語言等級(jí)考試。在大一寒假期間參加了遼寧省電子設(shè)計(jì)競(jìng)賽培訓(xùn)，對(duì)單片機(jī)編程及多種仿真軟件如Matlab、Labview等均有一定掌握。同時(shí)具備較強(qiáng)的創(chuàng)新能力，大一期間在信息學(xué)院科技節(jié)競(jìng)賽中獲得三等獎(jiǎng)，并積極參與2016年國(guó)際大學(xué)生數(shù)學(xué)建模競(jìng)賽。黃雨佳具有較強(qiáng)的學(xué)習(xí)能力和團(tuán)隊(duì)協(xié)作能力，大一學(xué)年獲得校三等獎(jiǎng)學(xué)金，并積極參與全國(guó)和國(guó)際大學(xué)生數(shù)學(xué)建模競(jìng)賽，勇于探索和創(chuàng)新。黃雨佳具有較高水平的編程和軟件運(yùn)用能力，

7、學(xué)習(xí)成績(jī)穩(wěn)居年級(jí)前十，經(jīng)常與老師交流問題，提升自己個(gè)人能力。成員對(duì)模式識(shí)別方面知識(shí)有一定的了解，均具備相當(dāng)強(qiáng)的編程能力和系統(tǒng)仿真能力，具有較強(qiáng)的創(chuàng)新意識(shí)和學(xué)習(xí)能力，對(duì)本項(xiàng)目所涉及到的相關(guān)領(lǐng)域有一定涉獵，并在項(xiàng)目開始前做了踏實(shí)的知識(shí)儲(chǔ)備。成員學(xué)習(xí)成績(jī)穩(wěn)定，在合理的時(shí)間規(guī)劃下，我們保證項(xiàng)目圓滿完成。 二、立項(xiàng)背景（包括國(guó)內(nèi)外研究現(xiàn)狀、趨勢(shì)、研究意義、參考文獻(xiàn)和其他有關(guān)背景材料）2.1背景材料本項(xiàng)目依托單位為東北大學(xué)信息科學(xué)與工程學(xué)院“智能機(jī)器人實(shí)驗(yàn)室”，項(xiàng)目指導(dǎo)教師是信息科學(xué)與工程學(xué)院人工智能與機(jī)器人研究所副教授王斐，“智能機(jī)器人實(shí)驗(yàn)室”負(fù)責(zé)人。2000-2005年期間在日本學(xué)習(xí)和工作，主要研究方

8、向?yàn)橹悄芸刂萍翱祻?fù)機(jī)器人；2010年7月以訪問學(xué)者身份赴美國(guó)MSU進(jìn)行學(xué)術(shù)交流，與對(duì)方教授在腦控遙操作機(jī)器人領(lǐng)域開展了為期一年的合作研究。近年來在智能控制、模式識(shí)別和機(jī)器人學(xué)等領(lǐng)域開展研究工作，具有豐富的教學(xué)科研實(shí)踐經(jīng)驗(yàn)，作為項(xiàng)目負(fù)責(zé)人完成國(guó)家自然科學(xué)基金、高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金（新教師）和機(jī)器人技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室開放課題（重點(diǎn)）及流程工業(yè)綜合自動(dòng)化教育部重點(diǎn)實(shí)驗(yàn)室開放課題、中國(guó)博士后科學(xué)基金和中央高?；A(chǔ)科研基金、廣東省汽車工程重點(diǎn)實(shí)驗(yàn)室開放課題各1項(xiàng)；作為主要參加人完成國(guó)家級(jí)、省部級(jí)及日本文部省科研基金8項(xiàng)；作為指導(dǎo)教師完成國(guó)家大學(xué)生創(chuàng)新計(jì)劃項(xiàng)目3項(xiàng)（2項(xiàng)優(yōu)秀，1項(xiàng)良好），進(jìn)

9、展中1項(xiàng)。目前，作為項(xiàng)目負(fù)責(zé)人主持中國(guó)人民解放軍總裝預(yù)研課題、遼寧省自然科學(xué)基金和中央基礎(chǔ)科研基金（重點(diǎn)）各1項(xiàng)，作為主要參加人參與863子課題1項(xiàng)，其他省部級(jí)項(xiàng)目3項(xiàng)?，F(xiàn)為“中國(guó)自動(dòng)化學(xué)會(huì)機(jī)器人專業(yè)委員會(huì)”委員，為在校的本科和碩士研究生開設(shè)機(jī)器人技術(shù)基礎(chǔ)、機(jī)械學(xué)基礎(chǔ)和神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用三門課程。目前機(jī)器人產(chǎn)業(yè)正在快速崛起，國(guó)家高度重視發(fā)展機(jī)器人產(chǎn)業(yè)，在已有的科大訊飛語音識(shí)別產(chǎn)品硬件上做出實(shí)用、有效的服務(wù)機(jī)器人的語音識(shí)別系統(tǒng)，對(duì)原有的單一命令識(shí)別進(jìn)行改進(jìn)。2.2研究意義2014-2018年中國(guó)語音機(jī)器人行業(yè)投資潛力分析及風(fēng)險(xiǎn)與預(yù)測(cè)指導(dǎo)報(bào)告分析了語音機(jī)器人的行業(yè)市場(chǎng)規(guī)模、發(fā)展前景和投資前景，可見

10、，語音機(jī)器人的發(fā)展正在逐步深入。從另外一個(gè)方面來講，我們國(guó)家正在步入老齡化的人口結(jié)構(gòu)，目前我國(guó)60歲以上人口已超過總?cè)丝诘?0%【1】，人口的老齡化問題將成為中國(guó)面臨的前所未有的新挑戰(zhàn)；此外，我國(guó)的殘疾人占總?cè)丝诒戎匚痪尤澜巛^高國(guó)家之列?？梢灶A(yù)見，在不遠(yuǎn)的未將來，老年人和殘疾人的護(hù)理將會(huì)是社會(huì)的一個(gè)重要負(fù)擔(dān)，需要一大批家庭服務(wù)機(jī)器人幫助和照顧老年人和殘疾人的日常生活，提高他們的生活質(zhì)量，從而減少整個(gè)社會(huì)對(duì)護(hù)理人員的數(shù)量和質(zhì)量的需求。大多數(shù)服務(wù)型機(jī)器人都需要語音識(shí)別的功能，而語音識(shí)別是人與機(jī)器進(jìn)行交流的關(guān)鍵。近二十年來，語音識(shí)別技術(shù)取得很大進(jìn)步，逐漸從實(shí)驗(yàn)室走進(jìn)市場(chǎng)。在日常生活中，語音技術(shù)在控

11、制服務(wù)機(jī)器人領(lǐng)域得到很大的應(yīng)用和發(fā)展。語音控制替代繁瑣的鍵盤輸入，能為家庭服務(wù)機(jī)器人提供高效、準(zhǔn)確、快捷的控制，真正實(shí)現(xiàn)人機(jī)交互。語音識(shí)別的研究已經(jīng)得到了全世界范圍的重視，是引領(lǐng)未來科學(xué)發(fā)展的關(guān)鍵技術(shù)之一。因此，研究機(jī)器人的語音識(shí)別，開發(fā)實(shí)用的面向家庭機(jī)器人的語音識(shí)別系統(tǒng)，對(duì)于家庭服務(wù)機(jī)器人的普及與應(yīng)用意義重大。此外，項(xiàng)目的研究和開發(fā)過程，可以加深對(duì)所學(xué)專業(yè)知識(shí)的理解，深化學(xué)習(xí)的效果，增強(qiáng)自我的創(chuàng)新能力，為今后的科研創(chuàng)新奠定理論基礎(chǔ)。同時(shí)，可以培養(yǎng)我們刻苦鉆研的素養(yǎng)，使我們理性的分析客觀世界，更好地利用科技的優(yōu)勢(shì)，不會(huì)在科技中迷失自我。有助于我們綜合素質(zhì)和能力的全面提高，提早接觸社會(huì)實(shí)際，接觸

12、科研工作還可以為今后的學(xué)習(xí)深造和走向工作崗位提供堅(jiān)實(shí)的基礎(chǔ)。2.3研究現(xiàn)狀時(shí)至今日，機(jī)器人已從第一代示教再現(xiàn)型機(jī)器人，第二代帶感覺的機(jī)器人發(fā)展到第三代智能機(jī)器人，而家庭服務(wù)機(jī)器人正是第三代機(jī)器人的典型代表。在我們國(guó)家，服務(wù)機(jī)器人的研發(fā)相對(duì)比較晚，尤其是家庭機(jī)器人技術(shù)的研發(fā)還需要很大的關(guān)注和資金投入。國(guó)家一直在加大支持機(jī)器人產(chǎn)業(yè)的力度，2012年4月份科技部印發(fā)的服務(wù)機(jī)器人科技發(fā)展“十二五”專項(xiàng)規(guī)劃指出，全球的家庭服務(wù)機(jī)器人的市場(chǎng)將發(fā)生巨大的變化，市場(chǎng)規(guī)模從2009年的870萬臺(tái)增加到2013年的1140萬臺(tái)；服務(wù)機(jī)器人產(chǎn)值將由2011年的約172億美元，增加到2025年的517億美元【2】。由

13、于政府重視科技研發(fā)，我國(guó)的語音識(shí)別技術(shù)依托于其他學(xué)科的發(fā)展也取得很大的進(jìn)步，目前國(guó)內(nèi)許多重點(diǎn)高校都紛紛加入語音識(shí)別的研究隊(duì)伍中，像清華大學(xué)、哈爾濱工業(yè)大學(xué)、中國(guó)科技大學(xué)等，另外也有一些科研機(jī)構(gòu)如中科聲學(xué)研究所、自動(dòng)化研究所等。在國(guó)內(nèi)也有一些專注于語音開發(fā)的公司，像科大訊飛開發(fā)的語音產(chǎn)品占領(lǐng)語音市場(chǎng)相當(dāng)大的份額。從整個(gè)過程考慮，該語音交互系統(tǒng)主要包括語音識(shí)別處理、嵌入式語音識(shí)別平臺(tái)的搭建及人機(jī)交互系統(tǒng)三部分。 對(duì)于語音信號(hào)的準(zhǔn)確的聲源定位，主要采用基于麥克風(fēng)陣列的聲源定位系統(tǒng)?，F(xiàn)有的麥克風(fēng)聲源定位方法主要分三類：基于最大輸出功率的可控波束形成技術(shù)、基于高分辨率譜估計(jì)技術(shù)、基于聲波到達(dá)時(shí)間差技術(shù)（

14、TDOA）5。近些年，國(guó)內(nèi)學(xué)者對(duì)聲源定位技術(shù)的研究非?；钴S，多數(shù)是基于麥克風(fēng)陣列的聲源定位理論研究。其中，陳可、王增福提出一種聲壓幅度比進(jìn)行聲源定位的方法，可以極大縮小系統(tǒng)檢測(cè)到的聲源位置與聲源的實(shí)際位置之間的偏差。國(guó)內(nèi)在聲源定位方面的研究不夠深入，很多結(jié)果只能提供仿真試驗(yàn)支持，可在實(shí)際環(huán)境中實(shí)驗(yàn)或應(yīng)用的定位系統(tǒng)很少【9】。在語音識(shí)別方面，近年來， DNN（深度神經(jīng)網(wǎng)絡(luò)）被廣泛應(yīng)用于語音識(shí)別，與GMM（高斯混合模型）相比，其結(jié)構(gòu)更符合于語音的感知機(jī)制，更加適用于海量聲學(xué)特征的建模。DNN直接進(jìn)行聲學(xué)建模時(shí)，仍然與HMM（隱馬爾科夫模型）混合使用， DNN的輸出結(jié)點(diǎn)試圖直接對(duì)所有綁定的三音素HM

15、M狀態(tài)的后驗(yàn)概率進(jìn)行直接建模。這樣更加精細(xì)的建模粒度與DNN更加強(qiáng)大的建模能力一起帶來了DNN-HMM語音識(shí)別系統(tǒng)巨大的性能提升【14】。毫無疑問，這是近十年以來在語音識(shí)別技術(shù)方面所取得的第一次真正意義上的突破。DNN做為一種非常有前景的語音識(shí)別聲學(xué)建模方法正在吸引著越來越多的研究興趣，成為語音識(shí)別領(lǐng)域的研究熱點(diǎn)。應(yīng)用層面上，以手機(jī)語音助手以及語音互動(dòng)工具等為主的移動(dòng)終端應(yīng)用不斷融入人們的日常生活中。國(guó)際市場(chǎng)上包括蘋果公司的Siri、Nuance的聲龍移動(dòng)助手等，國(guó)內(nèi)包括科大訊飛、云知聲、百度語音等公司【12】都在相應(yīng)產(chǎn)品如語音輸入法等采取了以上最新的語音識(shí)別技術(shù)，并取得了良好效果。語音識(shí)別識(shí)

16、別技術(shù)與語音合成技術(shù)的結(jié)合能使人們甩掉鍵盤，通過語音命令進(jìn)行操作，語音技術(shù)的應(yīng)用已經(jīng)成為一個(gè)具有競(jìng)爭(zhēng)性的新興高技術(shù)產(chǎn)業(yè)。近幾年來，雖然國(guó)內(nèi)的語音識(shí)別商業(yè)化與國(guó)外基本同步，但仍有一些欠缺：對(duì)環(huán)境依賴性強(qiáng)，經(jīng)過某一環(huán)境的訓(xùn)練學(xué)習(xí)后 ，在別的環(huán)境下性能急劇下降；商業(yè)化語音識(shí)別的背景往往比較干凈，在噪音環(huán)境下識(shí)別比較困難。而家庭服務(wù)機(jī)器人工作于綜合的復(fù)雜系統(tǒng)，處于多語音事件中，噪聲環(huán)境下的語音準(zhǔn)確識(shí)別問題無疑是當(dāng)下需要解決的問題和研究熱點(diǎn)。 國(guó)家語音識(shí)別處理嵌入式語音識(shí)別平臺(tái)的搭建中國(guó)1科大訊飛2凌聲芯語音科技3凌陽4上海華鎮(zhèn)電子5 ICRoute1 ESR2.0、InterReco2.0Aitalk

17、3.02Uni-Speech.Uni-Lite語音專用芯片3SPCE061A4WS-1175 LD332X美國(guó)1蘋果2 Google1NovaLit2Android語音識(shí)別日本1京都大學(xué)、IPA2本田1Julius2ViaVoice法國(guó)Aldebaran公司NAO機(jī)器人語音技術(shù)德國(guó)Infineon公司、Unilite芯片、2.4主要參考文獻(xiàn)12014-2018年中國(guó)語音機(jī)器人行業(yè)投資潛力分析及風(fēng)險(xiǎn)與預(yù)測(cè)指導(dǎo)報(bào)告,20142 服務(wù)機(jī)器人科技發(fā)展“十二五”專項(xiàng)規(guī)劃,科技部，20123E.Bocchieri and B.K-W.Mak,”SubSpace Distribution Clusterin

18、g Hidden MarKov Model,”IEEE Trans.Speech and Audio Processing,vol.9,no3.pp.264-275,March20014S.J.Young,N.H.Russell and J.H.S.Thornton,”Token Passing :A Simple Conceptual Model for Connected Speech Recognition Systems”,Technical Report CUED/F-INFENG/TR38,Cambridge University Engineering Dept,19895韓紀(jì)慶

19、，張磊，鄭鐵然，語音信號(hào)處理北京：清華大學(xué)出版社20046田斌，易克初一種用于噪聲環(huán)境下語音識(shí)別的含噪Lombard及Loud語音補(bǔ)償方法聲學(xué)學(xué)報(bào)，2003，28(1)：28327Boll S. Supp ression of acoustic noise in speech using spec2tral subtraction J . IEEE Trans on Acoustic Speech andSignal Processing, 1979, 27 (2) : 1132120.8NingpingFan.Low distortion speechDenoising using An a

20、2daptive parametric WienerfilterA.IEEE InternationalConference on Acoustics, Speech and Signal Processing( ICASSP) C . 2014, 1: 122309.9王利平.基于麥克風(fēng)陣列的聲源定位技術(shù)研究D.燕山大學(xué).201210趙力.語音信號(hào)處理M . 北京: 機(jī)械工業(yè)出版社,201311高鷹,謝勝利.一種變步長(zhǎng)LMS自適應(yīng)濾波算法及分析 J . 電子學(xué)報(bào), 2013, 29 (8) : 109421097.12Jax P Vary P. Artificial bandwidth ex

21、tension of speechsignals usingMMSE estimation based on a hidden Markov model A . IEEE International Conference on Acoustics,Speech, and Signal Processing ( ICASSP) C . 2013. 6802683 13劉幺和，宋庭新.語音識(shí)別與控制應(yīng)用技術(shù)，北京科學(xué)出版社，201114徐利軍.基于HMM和神經(jīng)網(wǎng)絡(luò)的語音識(shí)別研究D.湖北工業(yè)大學(xué)，201215D L Donoho and IM Johnstone. Adap ting to unkn

22、ownsmoothness via wavelet shrinkage J . Journal of the A2 merican StatisticalAssociation, 2009, 90: 120021224.16艾山.智能機(jī)器人結(jié)構(gòu)設(shè)計(jì)與控制研究D.哈爾濱工程大學(xué)，201317Jiang Xiaop ing, Fu Hua, Yao Tianren. A single channelspeech enhancement method based On masking propertiesand minimum statisticsA . 2002 6 th Internationa

23、l Confer2ence on Signal ProcessingC . 2012. 4602463.18裴文江,劉文波,于盛林.基于分形理論的混沌信號(hào)與噪聲分離方法 J . 南京航空航天大學(xué)學(xué)報(bào), 2009, 29(5). 4832487.19Virag N. Single channel speech enhancement based onmasking p roperties of human auditory system J . IEEE Trans on Speech Audio Process, 1999, 7 (2) : 1262137.三、項(xiàng)目的特色與創(chuàng)新之處本課題最大的

24、創(chuàng)新點(diǎn)是帶噪語音識(shí)別及如何將用戶的自然語言所要表達(dá)的意圖轉(zhuǎn)化為相應(yīng)的機(jī)器人控制指令。此外，創(chuàng)新性地搭建服務(wù)機(jī)器人嵌入式混合語音識(shí)別平臺(tái)。通過互補(bǔ)設(shè)計(jì)，采用云語音識(shí)別技術(shù)克服基于本地語音識(shí)別無法處理復(fù)雜語音指令的問題，而由本地語音識(shí)別克服云語音識(shí)別短句的多義性及高延時(shí)問題，并設(shè)計(jì)多場(chǎng)景語音指令切換系統(tǒng)，及動(dòng)態(tài)語音識(shí)別指令庫(kù)以擴(kuò)展混合語音識(shí)別系統(tǒng)性能。同時(shí)運(yùn)用仿生學(xué)的方法，利用音頻聽覺、攝像頭視覺和超聲裝置等多個(gè)傳感器信息的綜合來提高聽覺定位的精度和魯棒性，根據(jù)項(xiàng)目的需要，這里可以通過“視-聽”融合共同辨識(shí)到目標(biāo)。本課題最大的優(yōu)點(diǎn)是在噪聲環(huán)境下和自然環(huán)境下分離聲音，優(yōu)化語音識(shí)別算法，改善不同環(huán)境下

25、多種聲源的識(shí)別率。本課題采用DNN-HMM聲學(xué)模型,實(shí)現(xiàn)對(duì)整個(gè)語音識(shí)別系統(tǒng)性能的提高。本課題擬將語音識(shí)別利用分布式計(jì)算框架搭建在云平臺(tái)上，將語音識(shí)別中復(fù)雜的計(jì)算、海量的識(shí)別特征庫(kù)放在服務(wù)器中處理，嵌入式設(shè)備只做簡(jiǎn)單的語音信號(hào)采集及語音識(shí)別結(jié)果接收，從而搭建服務(wù)機(jī)器人LD3320和百度混合語音識(shí)別系統(tǒng)。同時(shí)收集大量的語料來建立一個(gè)語音庫(kù)，并設(shè)計(jì)一套有效的機(jī)器人控制指令體系，利用最大熵分類器進(jìn)行分類，實(shí)現(xiàn)用戶自然語言到機(jī)器人控制指令的映射，完整地實(shí)現(xiàn)面向家庭服務(wù)機(jī)器人的語音交互系統(tǒng)設(shè)計(jì)。四、實(shí)施方案4.1申請(qǐng)課題的預(yù)期目標(biāo)、主要研究?jī)?nèi)容 4.1.1 預(yù)期目標(biāo)（1）將聲源定位技術(shù)應(yīng)用于家庭服務(wù)機(jī)器人

26、，進(jìn)一步優(yōu)化算法，提高語音識(shí)別的準(zhǔn)確率，實(shí)現(xiàn)在復(fù)雜環(huán)境下和多聲源下的語音識(shí)別。（2）設(shè)計(jì)服務(wù)機(jī)器人嵌入式混合語音識(shí)別平臺(tái)，達(dá)到高精度、快速度的語音識(shí)別效果，并具備一定的口音抗拒能力，滿足嵌入式平臺(tái)語音識(shí)別的應(yīng)用需求。（3）在機(jī)器人語音識(shí)別、云平臺(tái)搭建的基礎(chǔ)上，完成服務(wù)機(jī)器人語音系統(tǒng)的自主功能和語音交互功能的設(shè)計(jì)，搭建人機(jī)交互平臺(tái)。4.1.2 研究?jī)?nèi)容1.語音處理與識(shí)別 服務(wù)機(jī)器人控制系統(tǒng)中語音識(shí)別的目的就是讓機(jī)器通過識(shí)別和理解過程把語音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令，使得人機(jī)可以進(jìn)行交流，其中包括人的意圖理解、特殊需求的自主功能實(shí)現(xiàn)、以及對(duì)周圍環(huán)境的判斷。語音識(shí)別系統(tǒng)本質(zhì)上是一個(gè)模式識(shí)別系統(tǒng)，系統(tǒng)

27、首先對(duì)外界傳入的訓(xùn)練語音信號(hào)進(jìn)行分析并提取能反映語音特征的特征參數(shù)，而后對(duì)這些特征參數(shù)進(jìn)行相關(guān)處理(訓(xùn)練和學(xué)習(xí))形成參考模型庫(kù)；在形成參考模型庫(kù)之后，進(jìn)行語音信號(hào)的識(shí)別，系統(tǒng)同樣先將這部分語音信號(hào)進(jìn)行分析并提取特征參數(shù)，而后對(duì)訓(xùn)練過程形成的參考模型庫(kù)進(jìn)行模式匹配，最終決定匹配結(jié)果是否為識(shí)別結(jié)果。語音處理與識(shí)別的方框圖如下圖1所示。預(yù)處理特征處理參考模式模式匹配判決規(guī)則識(shí)別結(jié)果語音信號(hào)圖1 語音處理與識(shí)別方框圖 然而要保證機(jī)器人在各種復(fù)雜環(huán)境中，識(shí)別并理解出各種語言信息的語義，還面臨很大挑戰(zhàn)。這需要研究解決語音信息變化較大、語音的模糊性影響問題、環(huán)境的噪音干擾問題、非特定人語音識(shí)別問題、以及識(shí)別

28、的實(shí)時(shí)性問題等。本課題將重點(diǎn)對(duì)語音識(shí)別技術(shù)中的語音信號(hào)處理、提取和訓(xùn)練識(shí)別做深入研究，這部分內(nèi)容主要包括為：（1）語音信號(hào)的預(yù)處理，包括語音信號(hào)的模數(shù)轉(zhuǎn)換和濾波、預(yù)加重、分幀加窗及端點(diǎn)檢測(cè)等。（2）語音特征參數(shù)提取及提取方法的選擇；利用深度學(xué)習(xí)中深度神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)方法提取語音的高層特征。（3）語音的訓(xùn)練與識(shí)別，分類器的選取和分類決策的設(shè)計(jì)；（4）構(gòu)建合理的深度學(xué)習(xí)模型，并結(jié)合隱馬爾科夫模型建立聲學(xué)模型；利用深度學(xué)習(xí)中有限的監(jiān)督信息來提高網(wǎng)絡(luò)整體的魯棒性，增強(qiáng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)建模能力，提高語音識(shí)別準(zhǔn)確率。（5）通過聲源定位估計(jì)聲源位置，在噪聲環(huán)境下和自然環(huán)境下分離聲音，得到語音段和非語音段，語音數(shù)

29、據(jù)通過算法完成多源語音的辨識(shí)。優(yōu)化語音識(shí)別算法，改善不同環(huán)境下多種聲源的識(shí)別率。2.服務(wù)機(jī)器人嵌入式語音識(shí)別平臺(tái)的搭建（1）服務(wù)機(jī)器人本地語音識(shí)別平臺(tái)的搭建服務(wù)機(jī)器人本地語音識(shí)別主要是指不依賴網(wǎng)絡(luò)，從語音信號(hào)采集、預(yù)處理、特征提取、匹配搜索等均是在本地實(shí)現(xiàn)的快速語音識(shí)別方案。受嵌入式平臺(tái)特點(diǎn)所限，本地語音識(shí)別方案不能占用嵌入式系統(tǒng)大量計(jì)算資源、存儲(chǔ)空間，識(shí)別速度還要盡可能快，而且整個(gè)識(shí)別過程是在本地完成的。這部分包括的主要研究?jī)?nèi)容：a)專用語音識(shí)別模塊的設(shè)計(jì),用于編程控制專用語音識(shí)別芯片工作流程的核心控制器的設(shè)計(jì)；b)專用語音識(shí)別芯片的選擇,語音識(shí)別芯片工作原理和通信的學(xué)習(xí)，語音識(shí)別芯片列表的

30、設(shè)計(jì)；c)用來存儲(chǔ)本地語音識(shí)別系統(tǒng)所有可能的語音列表的識(shí)別指令庫(kù)的設(shè)計(jì)；d)本地語音識(shí)別各模塊之間連接的設(shè)計(jì)，根據(jù)專用語音識(shí)別芯片工作流程設(shè)計(jì)出軟件流程。（2）服務(wù)機(jī)器人云平臺(tái)語音識(shí)別平臺(tái)的搭建這里我們將語音識(shí)別利用分布式計(jì)算框架搭建在云平臺(tái)上，將語音識(shí)別中復(fù)雜的計(jì)算、海量的識(shí)別特征庫(kù)放在服務(wù)器中處理，嵌入式設(shè)備只做簡(jiǎn)單的語音信號(hào)采集及語音識(shí)別結(jié)果接收。主要內(nèi)容包括：云服務(wù)器的選擇、語音采集；對(duì)語音數(shù)據(jù)進(jìn)行音頻壓縮、編碼、封裝成音頻文件的設(shè)計(jì)；數(shù)據(jù)傳輸協(xié)議的設(shè)計(jì)；云語音識(shí)別接口的設(shè)計(jì)；數(shù)據(jù)的解析。（3）服務(wù)機(jī)器人嵌入式混合語音識(shí)別平臺(tái)的搭建搭建服務(wù)機(jī)器人混合語音識(shí)別系統(tǒng)，通過互補(bǔ)設(shè)計(jì)，采用云語

31、音識(shí)別技術(shù)克服基于本地語音識(shí)別無法處理復(fù)雜語音指令的問題，而由本地語音識(shí)別克服云語音識(shí)別短句的多義性及高延時(shí)問題，并設(shè)計(jì)多場(chǎng)景語音指令切換系統(tǒng)，及動(dòng)態(tài)語音識(shí)別指令庫(kù)以擴(kuò)展混合語音識(shí)別系統(tǒng)性能。主要內(nèi)容包括：底層 Linux I0驅(qū)動(dòng)設(shè)計(jì)，其中包括SPI驅(qū)動(dòng)設(shè)計(jì)、GPIO驅(qū)動(dòng)設(shè)計(jì)、WIFI驅(qū)動(dòng)設(shè)計(jì)、聲卡驅(qū)動(dòng)設(shè)計(jì)；本地及云語音識(shí)別驅(qū)動(dòng)設(shè)計(jì)；系統(tǒng)邏輯控制應(yīng)用設(shè)計(jì)。服務(wù)機(jī)器人嵌入式語音識(shí)別平臺(tái)系統(tǒng)框圖如下圖2所示。 圖2 服務(wù)機(jī)器人嵌入式語音識(shí)別平臺(tái)系統(tǒng)框圖3.人-機(jī)器人交互與服務(wù)系統(tǒng)在實(shí)際應(yīng)用中，用戶和機(jī)器人的交互方式也多種多樣，例如手勢(shì)動(dòng)作、觸摸、語音等。在多種交互方式中，通過語音與機(jī)器人交互對(duì)用

32、戶來說是最直接也是最方便的方式。語音交互可以讓用戶直接使用日常的自然語言把信息傳遞給機(jī)器人，來獲得相應(yīng)的服務(wù)。特別是對(duì)于老齡用戶或者其他肢體活動(dòng)不方便的用戶，語音交互更加便利。因此，對(duì)于自然語言的理解，是人-服務(wù)機(jī)器人語音交互的重要研究?jī)?nèi)容。關(guān)于自然語言理解的方法，比較實(shí)用有效的方法是關(guān)鍵詞匹配。這種關(guān)鍵詞匹配的方法簡(jiǎn)單實(shí)用，但是需要用戶進(jìn)行一定的訓(xùn)練，熟悉了服務(wù)機(jī)器人的控制方法之后才能很好地與機(jī)器人交互?，F(xiàn)在比較普遍的是基于語料庫(kù)的機(jī)器學(xué)習(xí)方法。如今進(jìn)入大數(shù)據(jù)時(shí)代，基于語料庫(kù)的自然語言理解研究將有廣闊的發(fā)展前景。與關(guān)鍵詞匹配的方法比，基于語料庫(kù)的方法更加具有擴(kuò)展性和非受限性?；谝陨蠁栴}提出

33、了人-機(jī)器人語音交互的系統(tǒng)框架，繼而重點(diǎn)研究了如何利用家庭服務(wù)機(jī)器人相關(guān)的控制指令語料庫(kù)進(jìn)行學(xué)習(xí)建模，進(jìn)而幫助機(jī)器人更好地理解用戶的自然語言指令整個(gè)人-機(jī)器人交互與服務(wù)系統(tǒng)的框架如圖3所示。用戶輸入層交互層輸出層語音信息語音識(shí)別用戶意圖理解用戶機(jī)器人多媒體服務(wù)信息服務(wù)家用電器服務(wù) 圖3 人-機(jī)器人交互與服務(wù)系統(tǒng)框圖該框架結(jié)構(gòu)為 3 層串聯(lián)方式：輸入層，交互層和輸出層。在輸入層機(jī)器人的任務(wù)是獲取用戶的信息，主要是語音信息。并將獲取的信息交給交互層處理。交互層主要包含兩個(gè)模塊：語音識(shí)別，意圖理解。其中，語音識(shí)別模塊是將用戶的語音指令轉(zhuǎn)化為自然語言文本。意圖理解模塊將接收到的文本信息進(jìn)行處理，將用戶

34、的語言意圖轉(zhuǎn)化為相應(yīng)的機(jī)器人控制指令。最后，輸出層將接收到的機(jī)器人控制指令轉(zhuǎn)化為相應(yīng)的機(jī)器人服務(wù)，然后將此服務(wù)提供給用戶。這部分的研究?jī)?nèi)容主要包括：（1）需要建立完善的控制指令語料庫(kù)；（2）需要設(shè)計(jì)一套有效的機(jī)器人控制指令；（3）如何將用戶的自然語言所要表達(dá)的意圖轉(zhuǎn)化為相應(yīng)的機(jī)器人控制指令。4.2技術(shù)路線（包括關(guān)鍵技術(shù)、研究方案、技術(shù)方法及可行性分析）4.2.1關(guān)鍵技術(shù)（1）麥克風(fēng)陣列通道數(shù)和維數(shù)的選擇；麥克風(fēng)陣列校驗(yàn)、訓(xùn)練序列、干擾和噪聲的分析處理；建立準(zhǔn)確率高和實(shí)時(shí)性能好的聲源定位和聲源分離算法；（2）語音特征參數(shù)的提??；語音的訓(xùn)練識(shí)別中分類器的選取和分類決策的設(shè)計(jì)；噪聲環(huán)境下語音識(shí)別的準(zhǔn)

35、確率；（3）本地平臺(tái)和云平臺(tái)的混合設(shè)計(jì)；云平臺(tái)接口的設(shè)計(jì)；URL、HTTP、JSON數(shù)據(jù)格式的應(yīng)用；（4）控制指令語料庫(kù)的建立和完善；控制指令體系的設(shè)計(jì)；自然語言指令理解算法；自然語言指令和對(duì)應(yīng)機(jī)器人控制指令之間的映射關(guān)系的建立。4.2.2研究方案(1) 認(rèn)真總結(jié)前期研究已取得的理論成果和實(shí)踐經(jīng)驗(yàn)，細(xì)致檢索和學(xué)習(xí)相關(guān)參考文獻(xiàn)，提高研發(fā)起點(diǎn)，理論聯(lián)系實(shí)際，做好總體設(shè)計(jì)與任務(wù)安排；(2) 先從整體入手，確定服務(wù)機(jī)器人語音識(shí)別研究的主要內(nèi)容，再?gòu)木植砍霭l(fā)，分別從聲源定位、語音識(shí)別、嵌入式語音識(shí)別平臺(tái)搭建、人機(jī)交互開始研究，掌握其中關(guān)鍵技術(shù)，最后組建一個(gè)完整的家庭服務(wù)機(jī)器人的語音交互系統(tǒng)；(3) 研究

36、聲源定位、語音識(shí)別算法，并在原有的基礎(chǔ)上進(jìn)行改進(jìn)，完成傳感器的設(shè)計(jì)并編寫程序；(4) 從平臺(tái)搭建角度，先搭建本地語音識(shí)別平臺(tái)，再搭建云語音識(shí)別平臺(tái)，最后把兩者混合搭建在一起，設(shè)計(jì)硬件連接和程序編寫，完成本地語音與在線語音的共同識(shí)別；(5)從服務(wù)機(jī)器人與人交互的角度出發(fā)，完成服務(wù)機(jī)器人語音系統(tǒng)的自主功能和語音交互功能的設(shè)計(jì)，搭建人機(jī)交互平臺(tái)，完成整個(gè)系統(tǒng)的聯(lián)調(diào)；(6）總結(jié)研發(fā)過程，撰寫技術(shù)報(bào)告。4.2.3 關(guān)鍵技術(shù)路線可行性分析（1）聲源定位關(guān)鍵技術(shù)分析 聲源信號(hào)的合理采集是目標(biāo)定位、語音分離和識(shí)別的基礎(chǔ)，采用何種技術(shù)對(duì)信號(hào)進(jìn)行采集使之獲得高質(zhì)量的語音信號(hào)直接影響后期目標(biāo)定位的精度和效率。在一定

37、理論基礎(chǔ)和以前的實(shí)踐基礎(chǔ)上，決定通過直接操縱底層的聲音API利用聲卡采集語音信號(hào)，利用多線程技術(shù)實(shí)現(xiàn)多麥克風(fēng)工作線程的控制，同時(shí)可以采用定時(shí)器功能來實(shí)現(xiàn)麥克風(fēng)多次反復(fù)定位中的信號(hào)采集異步問題，利用雙緩存技術(shù)實(shí)現(xiàn)采集信號(hào)的完整性。考慮到語音信號(hào)可能含有大量的干擾信號(hào)，我們可以對(duì)信號(hào)進(jìn)行加權(quán)、分幀、加窗等預(yù)處理獲得有效信號(hào)，語音信號(hào)中可能摻雜的環(huán)境噪聲，可以用平移不變小波變換和塊閾值的小波變換消噪。聲源定位主要是基礎(chǔ)傳聲器陣列的方法，通過分析處理傳聲器陣列接收的聲信號(hào)估計(jì)出空間聲源目標(biāo)的位置，考慮到既要滿足精度要求，又要避免麥克風(fēng)過多而使定位算法過于復(fù)雜的問題，設(shè)計(jì)出一種四元三維的正四面體結(jié)構(gòu)的麥

38、克風(fēng)傳聲器陣列是可行的，比較分析高分辨率頻譜估計(jì)、最大輸出功率的可控波束形成、時(shí)間延遲估計(jì)幾種聲源定位方法，結(jié)合項(xiàng)目實(shí)際要求，選擇延時(shí)估計(jì)聲源定位方法是可行的，并在此基礎(chǔ)上對(duì)廣義互相關(guān)(GCC) 時(shí)延算法進(jìn)行改進(jìn)，在計(jì)算機(jī)上對(duì)其仿真，最后在硬件上進(jìn)行實(shí)現(xiàn)。根據(jù)項(xiàng)目要求，若單一的聽覺定位系統(tǒng)滿足不了精度要求，可以將多傳感器融合進(jìn)行目標(biāo)定位，在服務(wù)機(jī)器人上安裝視覺傳感器和聲音傳感器，將聽覺、視覺傳感器信息按照一定準(zhǔn)則進(jìn)行融合，再依據(jù)融合后的信息進(jìn)行決策，這里可以采用有D-S證據(jù)理論、卡爾曼濾波、空間似然函數(shù)（SLF）、人工神經(jīng)網(wǎng)絡(luò)、模糊推理等將視覺與聽覺信息進(jìn)行融合，理論上這種策略是可行的。（2）

39、語音識(shí)別關(guān)鍵技術(shù)分析語音信號(hào)的預(yù)處理：語音信號(hào)是非平穩(wěn)隨機(jī)復(fù)雜信號(hào)，為了消除或減小采集的語音樣本之間由于聲音大小的不同而對(duì)識(shí)別結(jié)果產(chǎn)生的影響，對(duì)語音信號(hào)進(jìn)行幅值歸一化處理，并通過預(yù)加重?cái)?shù)字濾波器解決高頻有效信息衰減問題。對(duì)語音信號(hào)進(jìn)行加窗和分幀可得到短時(shí)的語音信號(hào)，以便進(jìn)行分析和處理。而面對(duì)語音信號(hào)中的噪聲影響，需采用基于短時(shí)能量的端點(diǎn)檢測(cè)加以區(qū)分。語音信號(hào)預(yù)處理框圖如下圖4所示。預(yù)加重分幀加窗端點(diǎn)檢測(cè)量化采樣預(yù)處理結(jié)果圖4 語音信號(hào)預(yù)處理框圖特征參數(shù)提?。侯A(yù)處理之后的數(shù)據(jù)仍包含與語音識(shí)別無關(guān)的冗余信息，因此對(duì)特征參數(shù)提取問題將更為關(guān)鍵，初步討論利用深度神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)方法提取語音的高層特征

40、。從特征數(shù)據(jù)的處理、特征輸入的維度、隱含層層數(shù)及單元數(shù)的配置、網(wǎng)絡(luò)訓(xùn)練過程中學(xué)習(xí)率及預(yù)訓(xùn)練過程中迭代次數(shù)的設(shè)定等多方面研究深度神經(jīng)網(wǎng)絡(luò)的搭建訓(xùn)練以及其在語音特征提取方面的應(yīng)用性；用MFCC特征做輸入數(shù)據(jù)，通過中間隱藏層擴(kuò)展數(shù)據(jù)維度，對(duì)應(yīng)的三音素標(biāo)簽做監(jiān)督，訓(xùn)練一個(gè)深度神經(jīng)網(wǎng)絡(luò)，對(duì)新生成的網(wǎng)絡(luò)選用一些固定層的輸出作為新的語音特征，用這些新的語音特征去訓(xùn)練聲學(xué)模型，通過語音的識(shí)別解碼驗(yàn)證基于深度神經(jīng)網(wǎng)絡(luò)提取特征的有效性。語音的訓(xùn)練與識(shí)別：所設(shè)計(jì)的服務(wù)機(jī)器人語音識(shí)別應(yīng)為連續(xù)語音識(shí)別，可以通過建立特定的語音識(shí)別模型來對(duì)語音信號(hào)本質(zhì)進(jìn)行描述。GMM是目前主流的對(duì)HMM輸出概率進(jìn)行建模的方法，基于GMM-

41、HMM的聲學(xué)模型被廣泛應(yīng)用于現(xiàn)有的連續(xù)語音識(shí)別系統(tǒng)當(dāng)中；但是考慮到所研究的家庭服務(wù)機(jī)器人面對(duì)更加復(fù)雜的語音識(shí)別環(huán)境時(shí)，GMM逐漸顯示出建模能力不足的問題，因此可嘗試采用DNN代替GMM，建立DNN-HMM聲學(xué)模型，模型如圖5所示。圖5 基于DNN-HMM的聲學(xué)模型DNN與HMM的結(jié)合原理：在基于DNN-HMM混合的聲學(xué)建模中，DNN的作用在于替換原先的GMM模型，估算HMM狀態(tài)的后驗(yàn)概率。對(duì)于給定時(shí)刻t的特征觀察矢量，在DNN中釆用Softmax函數(shù)計(jì)算HMM狀態(tài)出現(xiàn)的概率，狀態(tài)為：其中，為輸出層狀態(tài)s的激活概率（輸出值）。式中，P(S)表示訓(xùn)練數(shù)據(jù)中狀態(tài)S出現(xiàn)的先驗(yàn)概率。網(wǎng)絡(luò)釆用標(biāo)準(zhǔn)誤差反向

42、傳播算法，通過最優(yōu)化給定的目標(biāo)函數(shù)來完成訓(xùn)練。對(duì)于深度神經(jīng)網(wǎng)絡(luò)，通常以交叉熵作為目標(biāo)函數(shù)，優(yōu)化過程通過隨機(jī)梯度下降算法實(shí)現(xiàn)。DNN的輸入一般采用傳統(tǒng)頻譜特征及其改進(jìn)特征(如MFCC、PLP、Filter-bank等)經(jīng)過幀拼接得到，拼接長(zhǎng)度一般選擇9-15幀之間，時(shí)間上約10ms左右。而輸出則一般釆用各種粒度的音素聲學(xué)單元，常見的有單音子音素(Monophone)、單音子音素的狀態(tài)以及三音子音素(Triphone)綁定狀態(tài)等。輸出層的標(biāo)注一般采用GMM-HMM基線系統(tǒng)經(jīng)強(qiáng)對(duì)齊(Force-alignment)得到。DNN-HMM聲學(xué)建模步驟（1）生成監(jiān)督信息DNN的訓(xùn)練需要有監(jiān)督信息參與網(wǎng)絡(luò)訓(xùn)

43、練，因此，獲取每一幀所對(duì)應(yīng)的音素狀態(tài)作為DNN網(wǎng)絡(luò)調(diào)諧時(shí)的標(biāo)簽信息。（2）網(wǎng)絡(luò)參數(shù)設(shè)定設(shè)定整個(gè)DNN網(wǎng)絡(luò)包含的輸入層、輸出層及隱含層個(gè)數(shù)和各層包含的節(jié)點(diǎn)數(shù)。具體數(shù)目的確定需要根據(jù)實(shí)驗(yàn)結(jié)果來調(diào)整。（3）網(wǎng)絡(luò)訓(xùn)練預(yù)訓(xùn)練：采用DBN預(yù)訓(xùn)練方法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行初始化；網(wǎng)絡(luò)調(diào)諧：DNN聲學(xué)建模使用隨機(jī)梯度下降的方法以誤差反向傳播的過程進(jìn)行權(quán)重的更新:和代表隱含層l的權(quán)重矩陣和偏置向量，代表學(xué)習(xí)速率以最小化交叉熵為目標(biāo)函數(shù)L，進(jìn)行參數(shù)調(diào)整。（4）DNN-HMM結(jié)合的識(shí)別系統(tǒng)結(jié)合DNN輸出層節(jié)點(diǎn)的輸出值計(jì)算狀態(tài)輸出的后驗(yàn)概率。DNN生成的狀態(tài)后驗(yàn)概率需要按照貝葉斯公式，除以每個(gè)狀態(tài)各自的先驗(yàn)概率，轉(zhuǎn)化成規(guī)整的

44、似然值。用DNN的輸出層直接對(duì)HMM各個(gè)綁定狀態(tài)建模，估計(jì)出每個(gè)狀態(tài)后驗(yàn)概率分布，得到相應(yīng)的規(guī)整似然值進(jìn)行解碼。通過設(shè)計(jì)DNN模型參數(shù)的稀疏性簡(jiǎn)化模型結(jié)構(gòu)來提高訓(xùn)練效率實(shí)現(xiàn)大語音數(shù)據(jù)下對(duì)DNN-HMM聲學(xué)模型的訓(xùn)練；利用目標(biāo)說話人的數(shù)據(jù)直接訓(xùn)練更新已收斂的說話人無關(guān)DNN模型參數(shù)來提高DNN-HMM聲學(xué)模型的說話人的自適應(yīng)性，實(shí)現(xiàn)對(duì)整個(gè)語音識(shí)別系統(tǒng)性能的提高；整個(gè)語音識(shí)別的方框圖如下圖6所示。圖6 語音識(shí)別方框圖（3）服務(wù)機(jī)器人嵌入式語音識(shí)別平臺(tái)的搭建關(guān)鍵技術(shù)分析設(shè)計(jì)本地語音識(shí)別平臺(tái)，系統(tǒng)框圖如下圖7所示語音采集識(shí)別指令當(dāng)前識(shí)別列表識(shí)別指令庫(kù)S3C6410核心板LD3320模塊關(guān)聯(lián)圖7本地語音

45、識(shí)別框圖經(jīng)初步研究，采用以ARM11處理器的S3C6410為開發(fā)板，以Linux-2.3為內(nèi)核，設(shè)計(jì)LD3320芯片的專用語音識(shí)別系統(tǒng)，與控制器的通信方式設(shè)計(jì)為串行SPI方式，并設(shè)計(jì)LD3320語音識(shí)別列表，根據(jù)各模塊搭建硬件連接平臺(tái)，編寫相應(yīng)的測(cè)試程序，測(cè)試其能否滿足要求。設(shè)計(jì)百度云語音識(shí)別平臺(tái)，系統(tǒng)框圖如下圖8所示經(jīng)初步研究決定，對(duì)語音信號(hào)進(jìn)行AD采樣、音頻編碼，獲得WAV文件，再向百度語音識(shí)別API發(fā)送HTTP請(qǐng)求，接收提取JSON數(shù)據(jù)中語音識(shí)別內(nèi)容及其匹配度，完成在線語音識(shí)別。說話語音音PMC數(shù)據(jù)語音內(nèi)容JSON數(shù)據(jù)WAV文件 百度 ASRAD采樣音頻編碼HTTP POSTRWSPOO

46、NSE解析 圖8 百度語音識(shí)別系統(tǒng)圖設(shè)計(jì)LD3320和百度混合語音識(shí)別平臺(tái)，系統(tǒng)框圖如圖9所示混合語音識(shí)別系統(tǒng)軟件框架分三層實(shí)現(xiàn)，上層為邏輯控制程序和語音指令列表，中間層為L(zhǎng)D3320 ASR、百度 ASR和指令執(zhí)行，底層為SPI驅(qū)動(dòng)、GPIO驅(qū)動(dòng)、WIFI驅(qū)動(dòng)和聲卡驅(qū)動(dòng)。搭建硬件連接和編寫軟件程序，測(cè)試語音識(shí)別效果。LD3320模塊服務(wù)機(jī)器人(linux內(nèi)核）百度云語音識(shí)別InternetWIFI模塊SPI通信圖9 LD3320和百度的混合語音識(shí)別平臺(tái)（4）人機(jī)交互關(guān)鍵技術(shù)分析控制指令體系及控制指令語料庫(kù)的建立。人-機(jī)器人交互系統(tǒng)中，為了設(shè)計(jì)機(jī)器人控制指令，首先對(duì)所收集的家庭服務(wù)機(jī)器人控制指令語料庫(kù)進(jìn)行了分析。當(dāng)想要獲取某種服務(wù)時(shí)，用戶表達(dá)的意圖可以通過引入屬性變量來設(shè)計(jì)機(jī)器人控制指令。通過屬性值定義和描述機(jī)器人控制指令，使得指令更加體系化，而且也方便機(jī)器人執(zhí)行，避免產(chǎn)生歧義。測(cè)試語料訓(xùn)練語料分類器最大熵統(tǒng)一模型組合指令輸出測(cè)試過程訓(xùn)練過程要建立自然語言指令和對(duì)應(yīng)機(jī)器人控制指令之間的映射關(guān)系，這可以看作是