通信類中英文翻譯、外文文獻(xiàn)翻譯

美國(guó)科羅拉多州大學(xué)關(guān)于在噪聲環(huán)境下對(duì)大量連續(xù)語音識(shí)別系統(tǒng)的改進(jìn) 噪聲環(huán)境下說話聲音的識(shí)別工作簡(jiǎn)介在本文中，我們報(bào)道美國(guó)科羅拉多州大學(xué)關(guān)于噪聲環(huán)境下海軍研究語音詞匯系統(tǒng)方面的最新改進(jìn)成果。特別地,我們介紹在有限語音數(shù)據(jù)的前提下，為了了解不確定觀察者和變化的環(huán)境的任務(wù)（或調(diào)查方法），我們必須在提高聽覺和語言模式方面努力下工夫。在大量連續(xù)詞匯語音識(shí)別系統(tǒng)中，我們將展開MAPLR自適應(yīng)方法研究。它包括單個(gè)或多重最大可能線形回歸。當(dāng)前噪聲環(huán)境下語音識(shí)別系統(tǒng)使用了大量聲音詞匯識(shí)別的聲音識(shí)別引擎。這種引擎在美國(guó)科羅拉多州大學(xué)目前得到了飛速的發(fā)展，本系統(tǒng)在噪聲環(huán)境下說話聲音系統(tǒng)（SPINE-2）評(píng)價(jià)數(shù)據(jù)中單詞錯(cuò)識(shí)率表現(xiàn)為30.5%，比起2001年的SPINE-2來，在相關(guān)詞匯錯(cuò)識(shí)率減少16%。介紹為獲得噪聲環(huán)境下的有活力的連續(xù)聲音系統(tǒng)的聲音,我們?cè)噲D在藝術(shù)的領(lǐng)域做出計(jì)算和提出改善，這個(gè)工作有幾方面的難點(diǎn)：依賴訓(xùn)練的有限數(shù)據(jù)工作；在訓(xùn)練和測(cè)試中各種各樣的軍事噪聲存在；在每次識(shí)別適用性階段中，不可想象的聽覺溪流和有限數(shù)量的聲音。在2000年11月的SPIN-1和2001年11月SPIN-2中，海軍研究詞匯通過DARPT在工作上給了很大的幫助。在2001年參加評(píng)估的種類有：SPIIBM,華盛頓大學(xué)，美國(guó)科羅拉多州大學(xué)，AT&T奧瑞哥研究所，和梅隆卡內(nèi)基大學(xué)。它們中的許多先前已經(jīng)報(bào)道了SPINE-1和SPLNE-2工作的結(jié)果。在這方面的工作中不乏表現(xiàn)最好的系統(tǒng)我們?cè)谔匦院椭髂Ｊ街惺褂昧俗赃m應(yīng)系統(tǒng)，同時(shí)也使用了被用于訓(xùn)練各種參數(shù)類型的多重聲音平行理論（例如MFCC、PCP等）。其中每種識(shí)別系統(tǒng)的輸出通常通過一個(gè)假定的熔合的方法來結(jié)合。這種方法能提供一個(gè)單獨(dú)的結(jié)果，這個(gè)結(jié)果的錯(cuò)誤率將比任何一個(gè)單獨(dú)的識(shí)別系統(tǒng)的結(jié)果要低。美國(guó)科羅拉多州大學(xué)參加了SPIN-2和SPIN-1的兩次評(píng)估工作。我們2001年11月的SPIN-2是美國(guó)科羅拉多州大學(xué)識(shí)別系統(tǒng)基礎(chǔ)上第一次被命名為SONIC（大量連續(xù)語音識(shí)別系統(tǒng)）的。在那次評(píng)估中，我們單獨(dú)的最好的系統(tǒng)在9x的實(shí)時(shí)性的解碼速率下，有37.5%的錯(cuò)誤率，在那篇論文中，我們描述了當(dāng)前在通常識(shí)別系統(tǒng)發(fā)展的形式和工作依靠模式方面的改進(jìn)?我們之所以關(guān)心這些問題，是因?yàn)檫@些問題是關(guān)系到在單獨(dú)識(shí)別系統(tǒng)下降低噪聲環(huán)境下說話聲音的錯(cuò)識(shí)率，而不考慮那些工作中的識(shí)別融合問題。噪聲環(huán)境下說話者工作任務(wù).這個(gè)在噪聲環(huán)境下的語音工作任務(wù)采用了ARCON通信實(shí)踐，本實(shí)踐的發(fā)展是源于測(cè)試通信系統(tǒng)和在戰(zhàn)略航中偽裝工作的說話音之間的合作，一個(gè)起發(fā)射辦公者的作用（例中，武器控制系統(tǒng)，一個(gè)激光火炮和能源）；另一個(gè)起接受辦公者的作用（例如雷達(dá)和聲納裝置）。每個(gè)角色在隔離房間中單獨(dú)發(fā)聲，使用軍事設(shè)備和一個(gè)適當(dāng)?shù)挠糜谀７碌穆曇粞b置設(shè)備。在這次訓(xùn)練中，兩個(gè)參與者通過查清和證實(shí)柵欄（格子）的位置（X軸,y軸坐標(biāo)）去搜索和破壞目標(biāo)。這種位于SPINE—2中的格子能從診斷測(cè)試中組成含糊的句子。SPINE—2工作需要，這個(gè)格子位置的作用是組成了最小含糊軍事用語（對(duì)話）。在每次過程中，通過典型的大聲說話者,軍事的噪聲環(huán)境被描述。這個(gè)SPINE—1的評(píng)估數(shù)據(jù)包括六個(gè)噪聲環(huán)境：1.飛機(jī)攜帶控制決定中心2.AWACS飛機(jī)3.—個(gè)軍事工具（媒體）4.一個(gè)軍事領(lǐng)域5.—個(gè)辦公環(huán)境6.—個(gè)安靜環(huán)境。SPINE—2通過考慮增加到軍用坦克和直生機(jī)環(huán)境下的各種噪聲類型擴(kuò)展了SPINE—1的數(shù)據(jù)。當(dāng)通過一個(gè)類似通信通道的環(huán)境中時(shí),每一種類型中來的噪聲被通過頭部損壞的麥克風(fēng)記錄。在本文中,我們僅考慮沒有編碼的聲音頻道中的說話聲識(shí)別系統(tǒng)。這個(gè)大量連續(xù)語音識(shí)別系統(tǒng)的ASR引擎.3.1當(dāng)前ASR的體系設(shè)計(jì)我們當(dāng)前用于實(shí)踐的2001年11月的SPINE--2是應(yīng)用了SONIC而設(shè)計(jì)的。即美國(guó)科羅多州大學(xué)大量連續(xù)說話聲系統(tǒng)。SONIC是基于連續(xù)密度的隱馬爾可夫聲音模式。背景依靠三角電話，聲音模式是依靠決定樹的。每種模式有三個(gè)發(fā)射地域（空間），用倫琴可能密度功能作為過度模式。特征參數(shù)被提取，（例如12個(gè)MFCC參數(shù)，能量和這些參數(shù)第一?第二方面的不同點(diǎn)）從而得到一個(gè)39維的特征向量（參數(shù)）。這個(gè)網(wǎng)絡(luò)的研究工作落在重構(gòu)一個(gè)穩(wěn)態(tài)樹。這個(gè)識(shí)別器包含一項(xiàng)兩個(gè)通往研究的目標(biāo)。其中第一個(gè)過程包含時(shí)間同步。被用于研究的迭代的修剪梁。允許通過的聲音模式和3.4種語法?語言模型（用一個(gè)大概的有效的方式）在第一個(gè)過度模式中被引用。第一個(gè)過程給出了句子結(jié)束點(diǎn)的框架。在第二個(gè)過程中,這個(gè)句子格子結(jié)果被改變成一個(gè)句子表/串。先進(jìn)的語言模式（例如活動(dòng)句子和基礎(chǔ)概念）能被用作重新劃分使用A*算法的句子表或?yàn)楂@得滿意的結(jié)果去計(jì)算.預(yù)測(cè)句子的后驗(yàn)概率。SONIC提供了一個(gè)整體的環(huán)境。這個(gè)環(huán)境包括合成語音活動(dòng)搜索，說話聲增加和各種特征及模式基礎(chǔ)適應(yīng)的一般方法。這個(gè)識(shí)別設(shè)計(jì)為快速通往新的語言環(huán)境提供支持。在2002年里，SONIC從英語識(shí)別中被推廣到西班牙語和日語等等語言中去了。3.2當(dāng)前意義上的提咼我們2001年的SPINE—2系統(tǒng)代表（象征）了我們?cè)诖罅窟B續(xù)語音識(shí)別系統(tǒng)方面的最初成就。這個(gè)系統(tǒng)目前使用一個(gè)廣闊的字典結(jié)構(gòu)。它包括三點(diǎn)基礎(chǔ)等級(jí)語法語言模式組成的人類決定的復(fù)合性詞匯，單回歸梅爾模式和全球廣泛的各種變體以及通常意義上的三點(diǎn)式聲

音模式。自從2001年11月后，我們開始研究更加高效的詞匯樹。這種詞匯樹將拼湊聲音模式，支持四種語法輸入，完成數(shù)據(jù)引導(dǎo)語言合成，重組外加特征參數(shù)（例如對(duì)數(shù)頻譜聲碼器,VTLN等）和說話人自適應(yīng)模式。4.SPINE系統(tǒng)概述如表1所示，我們的SPINE體系包括一個(gè)高度完整的語言感應(yīng)器和多路識(shí)別通路。在每次識(shí)別過程中，聲音感應(yīng)器根據(jù)當(dāng)前的自適應(yīng)聲音模式重新劃分結(jié)構(gòu)。這個(gè)語音感應(yīng)器將產(chǎn)生的噪音視頻轉(zhuǎn)化為聲音單元，并且每個(gè)聲音感應(yīng)器的識(shí)別單元中的LVCSR被應(yīng)用。這時(shí)，這個(gè)輸出結(jié)果（一個(gè)可信的格子或聲音串）被用于聲音自適應(yīng)模式和一個(gè)非監(jiān)督方式下的類型。那時(shí)，這個(gè)自適應(yīng)聲音模式被再次應(yīng)用到一個(gè)被提高的分割，識(shí)別假想和一系列新的適應(yīng)體系參數(shù)。為了提高識(shí)別和識(shí)別假想兩個(gè)方面，這個(gè)完整的自適應(yīng)程序被多次重復(fù)使用。SpeechZ'1 .(0??1TSpeechZ'1 .(0??1TVAD|ModelsLVCSRAdaptationFigure1:DiagramofSPINEmulti-parecognirionsearch.當(dāng)SPINE工作時(shí)，我們會(huì)發(fā)現(xiàn)分割和識(shí)別器之間的緊密的組成部分是識(shí)別器的最關(guān)鍵組成部分。進(jìn)一步說，我們認(rèn)為這個(gè)完整的方式是在噪音環(huán)境下如何將一些簡(jiǎn)單的方式應(yīng)用到語音的識(shí)別活動(dòng)中來的。以下的部分將從細(xì)節(jié)上描述我們的識(shí)別體系。4.1訓(xùn)練數(shù)據(jù)作為SPINE—2系統(tǒng)評(píng)估的聲音和語言訓(xùn)練數(shù)據(jù)不僅保留了先前SPINE—1的訓(xùn)練和測(cè)試，而且為了SPINE—2系統(tǒng)的提高，還發(fā)展了訓(xùn)練和測(cè)試的部分。對(duì)于SPINE—2的評(píng)估，在將數(shù)據(jù)和識(shí)別設(shè)備載入我們最終的系統(tǒng)時(shí)，我們的識(shí)別裝置以1.1小時(shí)的發(fā)展測(cè)試數(shù)據(jù)。表格1總結(jié)了本課題中所用于實(shí)驗(yàn)的訓(xùn)練數(shù)據(jù)。TrainingDataSourceNumberofUtterancesTotalHours(Talk-Time)SPINE-1train'' 11.973SPINE-1eval.12,0797.3SPINELtrain6.1293.4SPINE-2dev.1.941L1Total '' 32,122' 20.5Table1:SPEME-2evaluarious^teintrainingdataa）聲音模式這個(gè)大量連續(xù)聲音識(shí)別系統(tǒng)的聲音訓(xùn)練是基于對(duì)使用了被迫排成直線的迭代和位于堆的決定樹的足夠估計(jì)。在華爾街旅行的聲音模式中最初使用了將某物排成直線的方式。在被迫排成直線的迭代中，我們?cè)谝揽啃湍Ｊ街惺褂昧艘粋€(gè)單獨(dú)的最大可能線形回歸方式和各種變體來提高每個(gè)說話部分的直線排列的質(zhì)量。直線排列完后，模式被決定樹估計(jì)，程序被重復(fù)用于提高隊(duì)列和模式參數(shù)的估計(jì)。在第一個(gè)聲音模式過程中，我們使用了標(biāo)準(zhǔn)的39維MFCC參數(shù)的有依靠性的（進(jìn)入語和通過語）三角電話。在第二個(gè)階段（自適應(yīng)過程）聲音模式是通過對(duì)數(shù)到頻譜聲碼器類型和聲音道束長(zhǎng)度使其正?；?。4.3語言模式對(duì)于2001年11月的SPINE—2的評(píng)估工作，正如表格1所示的，從32千赫茲的聲音中，我們提高發(fā)展了一級(jí)種語法的語言模式。這個(gè)工作是基于這樣的事實(shí)而進(jìn)展的。從SPINE—1到SPINE—2的轉(zhuǎn)變主要是電報(bào)和在戰(zhàn)場(chǎng)環(huán)境下用于完成目標(biāo)搜索的特征任務(wù)。我們的語言等級(jí)模式是基于3種語言等級(jí)的：行（X坐標(biāo)）列（Y坐標(biāo)）和名字（用戶名）。SPINE—2的訓(xùn)練數(shù)據(jù)通過檢測(cè)被分成行和列。在這項(xiàng)任務(wù)中，這里有被分成多重等級(jí)模式的句子。例如，被拼作VOX（奧斯卡女性勝利者）有基本的行格的因素。（在SPINE—2中“勝利”和“奧斯卡”時(shí)行等級(jí)的組成部分）。為了處理這些含糊不清的事情，我們?cè)O(shè)置了一個(gè)半自動(dòng)化的系統(tǒng)，這種系統(tǒng)源于為DARPA通信任務(wù)而發(fā)展訓(xùn)練的N種語法等級(jí)模式。為了提高識(shí)別力，這個(gè)語言工作模式同樣包括復(fù)合詞。在2001年11月的語言模式中包括115個(gè)復(fù)合詞。這些復(fù)合詞被人類視察的訓(xùn)練數(shù)據(jù)所決定。在本文中，我們考慮到通過使用決定詞匯復(fù)合的引導(dǎo)數(shù)據(jù)方法來提高SPINE的語言模式。這種方法使用了直接的和間接的幾何平均去決定候選詞匯的復(fù)合。當(dāng)前，我們的語言模式使用的被聚類的語言數(shù)據(jù)有1664個(gè)詞匯量，同時(shí)包括180個(gè)復(fù)合詞。4.4語言分割在自適應(yīng)過程中我們的語言分割方法是估計(jì)分割邊界,并且在決定性工作中使用自適應(yīng)語音模式系統(tǒng)。這個(gè)分割包括（有聲的和無聲的）兩種狀態(tài)的隱馬爾可夫模型。隱馬爾可夫模型是每個(gè)ASR（自適應(yīng)系統(tǒng)）所具有的動(dòng)力學(xué)結(jié)構(gòu)。通過不依賴于決定樹聚類模式的語言狀態(tài)，一個(gè)語言狀態(tài)由高四種復(fù)合物所構(gòu)成。（0）一個(gè)無聲的狀態(tài)通過所有的無聲的不依賴的狀態(tài)所復(fù)合構(gòu)成（例如呼吸笑?沉默等）。隱馬爾可夫模型（有關(guān)于語言的600個(gè)混合復(fù)合詞和關(guān)于無聲的288個(gè)混合復(fù)合詞）是正常的。例如這個(gè)混合體將總體的總量看成一。一個(gè)迭代的研究表現(xiàn)為每個(gè)會(huì)議中使用兩個(gè)隱馬爾可夫模式。通過最好的有軌道的網(wǎng)絡(luò)通道，有聲和無聲的分界點(diǎn)被決定。通過使用被隔離少于0.25的兩個(gè)富有啟發(fā)性的語言分割，使分割被提高，同時(shí)少于0.1秒的語言分割被刪除。最終，為了避免摩擦產(chǎn)生的中斷的或其他低能量的聲音的干擾，我們將所有語言分割被0.25秒的時(shí)隙所加寬。我們需要指出的是：這個(gè)語言分割方法（手段）避免了訓(xùn)練分割有聲和無聲的必要，同時(shí)也避免了聲音在VAD和部分滿足自適應(yīng)聲音模式過程之間的不匹配現(xiàn)象。4.5聲音自適應(yīng)在SPINE工作中，說話者和環(huán)境都是十分廣泛的。所以，這個(gè)聲音自適應(yīng)識(shí)別系統(tǒng)能與測(cè)試條件相適應(yīng)時(shí)至關(guān)重要的。為處理這些情況，我們已經(jīng)引進(jìn)了幾種技術(shù)，能在兩個(gè)較寬的等級(jí)（特征基礎(chǔ)和模式基礎(chǔ)）技術(shù)上被考慮。在特征基礎(chǔ)技術(shù)中，觀察者例如特征矢量輸入到語音識(shí)別系統(tǒng)中和模式基礎(chǔ)的特征參數(shù)（例如HMM和各種類型）被修改。通常情況下，特征提取的例子有：對(duì)數(shù)倒頻譜聲碼器，通常地域的聲音長(zhǎng)度和通常的倒譜種類。在CMS中，對(duì)數(shù)倒頻譜特征向量的周期平均值被估計(jì)，同時(shí)，（1）從對(duì)數(shù)頻譜特征參數(shù)中被計(jì)算。在VTLN中，最好的因素通過識(shí)別的手抄本給出的，由最大可能線性自適應(yīng)數(shù)據(jù)所決定。這些過程伴隨著通常的特征類型。在SPINE的訓(xùn)練和解碼體系中，這些方法已經(jīng)被引用。模式及出資適應(yīng)方式能被進(jìn)一步分類成兩個(gè)大的等級(jí)：直接的和間接的。在直接的自適應(yīng)中，隱馬爾可夫模式參數(shù)被直接引用。然而，在間接的方式中，一系列共享的變體首先被估計(jì)，然后被應(yīng)用到隱馬爾可夫模式中。通常，最大后驗(yàn)性估計(jì)被用作直接方式，通過許多知識(shí)的確組合使?jié)M溢的數(shù)據(jù)稀疏。在間接方式中，這種變體通常在最大可能狀態(tài)下估計(jì)。當(dāng)前，在最大后驗(yàn)性方面，同時(shí)應(yīng)用了這兩種方法，并且證明提高了結(jié)果。一些自適應(yīng)模式是可行的：監(jiān)督的戰(zhàn)勝非監(jiān)督的。在非監(jiān)督的情形下，這個(gè)抄本是不可知的，并且應(yīng)該不估計(jì)成一些形式，或者作為一個(gè)單獨(dú)的最好的串，或者是一個(gè)句子格子。在增加性的自適應(yīng)系統(tǒng)中，模式去適應(yīng)充足的數(shù)據(jù)而變得可用，并且新的模式被用作對(duì)即將來臨的數(shù)據(jù)的解碼。反過來說，就是即將來臨的數(shù)據(jù)被用作（再次）適應(yīng)模式。在阻止的自適應(yīng)系統(tǒng)中，當(dāng)所有數(shù)據(jù)可行（就緒）時(shí)，自適應(yīng)才開始工作。我們來考慮下面幾個(gè)自適應(yīng)列表：最大可能線形回歸（MLLR）（1）增加的/區(qū)間（2）單極的/多極的（3）最好的串/單詞格子最大后驗(yàn)線性回歸（MAPLR）（1）區(qū)間（2）最好的串/單詞格子（3）回歸等級(jí)樹我們最初的SPINE—2系統(tǒng)使用了一個(gè)等級(jí)，阻止性的最大可能線性回歸方式和各種變體能從一段話中得知語音識(shí)別的單詞后驗(yàn)概率。盡管在Hub--5工作方面取得了一些成就，但是在SPINE—2工作中從單一級(jí)的回歸到六等級(jí)的回歸的擴(kuò)展起了關(guān)鍵作用。我們認(rèn)為這是由于在SPINE的工作中，比起Hub--5來說，使用了較小數(shù)量的自適應(yīng)數(shù)據(jù)。這將激勵(lì)我們?nèi)橐粋€(gè)物力學(xué)的多種的使用回歸等級(jí)樹的MAP自適應(yīng)系統(tǒng)去奮斗。在下一階段中，我們將報(bào)道擁有更多自適應(yīng)性的技術(shù)。5.評(píng)估工作用于2001年11月的SPINE—2的評(píng)估數(shù)據(jù)包括64對(duì)說話者3.5小時(shí)的立體錄音（其中2.8小時(shí)用于真正意義上的說話）。按平均值計(jì)算，128個(gè)會(huì)議的每個(gè)邊界包括1.3分鐘（78秒）的說話準(zhǔn)備活動(dòng)。5.1分割對(duì)于我們的SPINE—2來說，當(dāng)自動(dòng)的和手動(dòng)的語言分割被使用時(shí)，通過計(jì)算分類框架和單詞錯(cuò)誤率來評(píng)估聲音分割。我們最初的系統(tǒng)是使用單回歸類的梅爾方式和對(duì)角線協(xié)方差變換。結(jié)果如表格一所示。我們可以看到，在收集聲音的活動(dòng)中，有一個(gè)最初的以7.44%為比率的分類框架。第一個(gè)自適應(yīng)過程結(jié)束后，分割提供較少的錯(cuò)誤率（最初分類框架的錯(cuò)誤率是6.93%）,并且這個(gè)識(shí)別系統(tǒng)能更好地重新鑒定已經(jīng)被誤認(rèn)為是說話聲的安靜環(huán)境。（例如，插入語句的數(shù)量從172下降到108）。在自動(dòng)和手動(dòng)的分割之間，單詞錯(cuò)誤率有明顯的不同（純粹的0.5%）。ProcessingStageAutomaticHand(a)忙）何F■irst-Pass7.44%17241.8%41.0%MLLR-16.95%10833.9%33.4%MLLR-26.93%11233.2%32.7%表格2：分割的演示總結(jié)。結(jié)果被用作（a）說話聲/安靜環(huán)境框架分類的錯(cuò)誤率；（b）在安靜的環(huán)境下插入語音的數(shù)目。（c）自動(dòng)分割的單詞的錯(cuò)誤率。（d）手動(dòng)電報(bào)分割的單詞錯(cuò)誤率。5.2單詞錯(cuò)誤分析表格3通過迭代的自適應(yīng)過程和對(duì)于各種SPINE—2的完全實(shí)時(shí)性的結(jié)構(gòu)的分析總結(jié)了單詞的錯(cuò)誤率。在表格3中，反復(fù)地說“0”是第一個(gè)識(shí)別過程。實(shí)時(shí)性因素在1.7GHz的英特兒奔騰4的單獨(dú)過程中被測(cè)試（計(jì)算）。實(shí)時(shí)性因素包括在自動(dòng)分割中的過程時(shí)間。在設(shè)有自適應(yīng)性的基礎(chǔ)的系統(tǒng)下，我們發(fā)現(xiàn)在1.8x實(shí)時(shí)性的條件下錯(cuò)誤率為41.8%，更進(jìn)一步說，僅基于梅爾方式的變換的增加性自適應(yīng)系統(tǒng)，在說話過程中，以模式為代價(jià)能減少將近10%的錯(cuò)誤率。事實(shí)上，如表3所示是基于通常意義上的提高。這個(gè)一種通道增加的自適應(yīng)系統(tǒng)于我們的多通道的自適應(yīng)系統(tǒng)進(jìn)行了比較，在9x的實(shí)時(shí)性下，2001年11月的系統(tǒng)有37.5%的錯(cuò)誤率。在第二個(gè)自適應(yīng)通道中，但回歸梅爾方式和對(duì)角線協(xié)方差變換的使用，使單詞的錯(cuò)誤率下降（叢41.8%下降到33.2%），然而，正如許多在方面2報(bào)道的，在2000年和2001的創(chuàng)作中，可能是由于缺少足夠的自適應(yīng)數(shù)據(jù)（新增加的多于一個(gè)的變換通常降低了系統(tǒng)的功能。在表格3中，33.8%的單詞錯(cuò)誤率比33.2%的單詞錯(cuò)誤率）。最終，使用了單級(jí)的輸出最佳比重的單詞后驗(yàn)概率，比起單獨(dú)基線的MELL回歸方式和不一致的變換來說，提供了一個(gè)減少錯(cuò)誤率的方法。進(jìn)一步地說，這種用于單詞格子標(biāo)志的綜合技術(shù)提高了純粹的0.4%。但是，我們要指明，這個(gè)提高以較高的計(jì)算頻率為代價(jià)的。（例如：16.4x的實(shí)時(shí)性比6.4x的實(shí)時(shí)性）。SystemDescriptionWordErrorRate(%)RealTimeIterOEter1Iter2何Baseline,NoAdapt.41.8亠--1.8(b)SinglePassInc.Adapt37.7——20(c)1Reg.ChssMLLR41.833.933.25.29)6Reg.ChssMLLR41.834.233.846⑹Single-BestMAPLR41.833.331.96.4（0LatticeMAPLR41.83Z731.516.4表格3：SPINE—2評(píng)估系統(tǒng)的單詞錯(cuò)誤率和實(shí)時(shí)性因素：（a）：沒有說話人適應(yīng)的基礎(chǔ)系統(tǒng);（b）：在單級(jí)過程中有增加性的體系合作；（c）：沒有全球范圍的單級(jí)梅爾回歸；（d）：使用6個(gè)等級(jí)的梅爾回歸體系；（e）：6結(jié)論這篇論文說明了當(dāng)前美國(guó)科羅拉多州大學(xué)的SPINE—2評(píng)估系統(tǒng)的幾方面的改進(jìn)。當(dāng)前,我們使用了CU最新發(fā)展的Sonic的ASR體系。目前在16.4的實(shí)時(shí)性條件下，我們最好的單級(jí)識(shí)別系統(tǒng)的單詞錯(cuò)誤率大約是31.5%。比較而言，在相同的條件下，基于MFCC特征參數(shù)的最好單機(jī)識(shí)別系統(tǒng)的錯(cuò)誤率是32.5%。我們需要指出的是這兩個(gè)最好的系統(tǒng)有各自的88和121的實(shí)時(shí)性因素。基于上面這些比較，我們認(rèn)為本論文中提到系統(tǒng)再次象征了SPINE—2的單級(jí)識(shí)別的藝術(shù)性區(qū)域。RECENTIMPROVEMENTSINTHECL：SONICASRSYSTEM

FORXOISYSPEECH:THESPINETASKBjyanPellomandKadriHaciogluCenterforSpokenLanguageResearch

UniversityofColoradoatBoulder

{pellom^hacloglu}?cslr.Colorado?eduABSTRACTInthispaperwereportonrecentimprovementsmtheUniversityofColoradosystemibitheDARPA.,rNRLSpeechinNoisyEmironments(SPINE)task.Inparticular,wedescribeoureffortsonimprovingacousticandlanguagemodelingforthetaskBudinvestigatemethodsforonsnpemsedspeakerandenvironmentadaptationfromliimteddata.WeshowthatrheMAPLRadaptationmethodontperfbnnssingleandmultipleregressionclassMLLRontheSPINEtask.OurcurrentSPINEsystemusestheSonicspeechrecogniiionenginethatwasrecentlydevelopedattheUniversityofColorado.Thisswtemisshowntohaveawordenorrateof31.5%ontheSPINE-2evaluationdata.Theseiniproveinentsamounttoa16%reducrioninrelativeworderrorratecomparedtoourpreviousSPINE-2systemfieldedintheNov.2001DARPA/NRLevaluation.INTRODUCTIONTheSpeechinNoisyEnvironments(SPINE)taskattemptstomeasureandinspireiiiiproveinentsinstate■血亡processingforrobustcontinuonsspeechlecognilion[1].Thetaskhasseveralchallenges:limitedtask-dependenttrailingdata(~20hours),multiplemilitarvrnoiseenvironmentsitibothtrainingandtesting.UDsegmentedaudiostreamsaswellasalimitedamountofspeechpertasksessionforrecognizeradaptation.InNovembeiof2000(SPINE-1)andNovember2001(SPIKES')theNavalResearchLaboratory7(NRL)evaluatedsystemsonthetaskwithsupp-ortbyDAKPA.Pairicipatrngsitesinthe2001evaluationincluded:SRI:EBM,University7ofWasiiington:UniversityofColorado(CU):AT&T,theOregonGraduateInstitute(OGI)：MississippiState,ATR,andCarnegieMellonUniversity(C'MU).SianyofthesesiteshavepreviouslyreportedresultsonSPINE-1[2-4]andSPINE-2tasks[5-8].Thebestperformingswtemsonthattasku^edadaptationineitherthefearureofmodel?domamandalsoincludedtheuseofmultipleparallelspeechfecognizeistrainedfromseveralfeaturetyp<es(e.g.?MFCC:PLP,rootcepstrum).Outputfromeachrecognizerisgenerallycombinedthroughah^othesisfiisionmethodtoproduceasingl￡outputthatislowerthanth￡enorratesofanysinglerecognizer(e.g.?se?[5,6]).TheUniversityofColoiadoparticipatedinbothSPINE-1[4]BudSPINE-2evaluations.OurNaveniber2001systemwa&foithefirsttimebasedontheUniversityofColoradospeechrecognizernamedSome[9].Duringthatevaluationoursinglebestlecognizeioutputhadanofficialerrorrateof37.5%atadecodingspeedof9timesreal-rime.Inthispaper,wedescriberecentimprovementsbothmtennsofgenerallecogxiizerdevelopmentandtask-dependentmodeling.Wefocusonissu亡￡relatedtoloweringtheerrorrateofoursingle-bestrecognizerfieldedontheSPINEtaskanddonotconsidertheissueofrecognizerfiisioninthiswork.THESPINETASKTheSPINEtaskusestheARCONComniimicabiliWExercise(ACE)thatwasoriginallydevelopedtotestconmiuiiicaticinsystems[10]andconsistsofcollaborationbetweenapairoftalkerswhoparticipatemabattleshipsimulation.OneparticipantplaystheroleofaFiringOfficer(e.g.^controllingweapon5>vstem^suchasalasercannonandmines)whiletheotherparticipantpbystheroleofaSearchOfficer(e.g..mamiingtheradarandsonarequipment).Eachplayerissituatedina.separatedsoundisolatedroomandusemilitaryhandsetsandheadsetstharareappropriateforthesimulatedacousticconditions.Duringrheexercise,thetwoparticipantscollaboratetosearchanddestroytargetsbydeclaringandconfirminggridlocations(x-axis&y-ax:iscoordinares)tofireupon.ThegridlocationsinSPINE-1consistedofconfiisablewordsftomtheDiagnosticRhym亡Test(DRT).ForSPINE-2.thegridpointsconsistedoflessconftisablemilitmiywords.Foreachbooth,noiseindicativeoftypicalmilitaryenvironmentsisplayedtliiougliloudspeakers.TheSPINE-1evaluationdataconsideredsixnoiseetwironnients:aircraftcarriercontroldecisioncenter,AWACSairplane；amilitaryvehicle,amilitaryfieldshelter,anofficeenvironmentandaquietenviiomnent.SPINE-2extendsonSPINE-1databyconsideringthesixnoiseinadditiontomilirai>rtankandhelicoptereuvironmeDts.Theresultingnoisyspeechfromeachboorhisrecordedthroughhead-wornniicfophonesbeforebeingpassedthroughasimulatedconmiunicatioDSchannel.Inthispaperweconsideronlyspeechrecognitiononthenou-codedspeechchannel.THESONICASRENGESE3.LCurrentASRSystemArchitectureOurmostrecentfieldedevaluations^teminNovember2001(SPINE-2)wasdesignedusingSoni.c:TheUniversityofColoradolargevoca.bulai^rcontinuousspeechrecognitionsystem[9].SonicisbasedoncontinuousdimityhiddenMarkov(CDHMM)acousticmodels.Contextdependenttripboneacousticmodelsareclusteredusingdecisiontre^s.Eachmodelhasthreeemittingstateswithgammaprobabilitydensityfimetionsfordurationmodeling.Featuresareextracted曲12NfFCCs.energy;andthefirstandseconddiSerencesoftheseparameters,resultingmaieaturevectorofdimension39.Tliesearchnem-orkisareentrantstatictree-lexicon.Therecognizerimplementsatwo-passsearchstrategy.Thefirstpassconsistsofatime-s^Tichronous,beain-pronedViterbitoken-passingsearch.Crosswordacousticmodelsand3-gramor4-gramlanguagemodels(inanapproximateandefficientway)areappliedinthefirstpassofsearch.Thefirstpasscreatesalatticeofwordends.Duringthesecondpass,theresulringword-latticeisconvertedmtoaword-graph.Advancedlanguagemodels(e.g.dialog-actandconceptbased,longspan)canbeusedtorescorethewordgraphusinganA搟algorithmortocomputeword-posteriorprobabilitiestoprovideword-levelconfidencescores.Sonicprovidesanintegratedenviroiuneiitthatincorporatesvoiceactivitydetectio口(VAD):speechenliancementaswellasvariousfeatureandmodel-basedadaptationandDormalizationmethods.Therecognitionarcliitecnweprovidessupportforrapidportabilitytonewlanguages.In2002?Sonicwasport亡d&omEnglishtotheSpanish,'Turkish,andJapaneselanguages.GeneralRecentImprovementsOurSPINE-2systeminNov.2001representedominitialmiplementationoftheSonicspeechrecognizer.Thefieldedsystemusedaflatstnicturedlexicon,class-basedtrigramlanguagemodelconsistingofmanuallydeterminedwordcomponndEi.smglelegressioniterativeMLLRmeanandglobalvariancescalingtransform：andgeneralizedtriphoneacousticmodels.SinceNov2001.weincludedanefficientlexicaltreesearch,integratedadecisiontriphoneacousticmodeltraineraddedsupportfor斗-gramsintoourfirst-passsearch,miplementeddata?dni/￡iLwordcompounding,andincorporatedadditionalfeaturenoimaJizarioii(cepstralvariancenomiahzation,VTL-N)andspeakeradaptation(MAPL-Radaptation)methods.SPINESYSTEMOVERATE科OurSPINEsystemconsistsofanovelinregratedspeechdetectionandmultiplepassrecognitionsearchasshowninFigure1.Duringeachrecognitionpass,avoiceactivity'detector(VAD)isd\Tiaffiicallyconstmcted&omtheaurenradaptedsystemacousticmodels.TheVADgeneratesasegmentationofthenoisyaudiomtoutteianceunitsandLVCSRisperfomiedoneachdetectedspeechregion.Theresultingoutput(aconiidencetaggedlatticeorwordstring)isthenusedtoadapttheacousticmodelmeansandvariancesinanunsupeni^edfashion.Theadaptedacousticmodelsarethenreappliedtoobtainanimprovedseginentation,recognitionh^othesi^,andnewsetofadaptedsj^stemparamerers.Theintegratedadaptationprocedurecanberepeatedseveraltimesresultinginsequentialmiprovementstobothsegmentationandrecognitionhypotheses.Figure1:DiagramofSPINEmulti-passrecognirionsearch.FortheSPINEtask:wehavefoundthattightcouplingbetweenthesegmentationandfecognirionsystemisessentialforrobustperformance.Furthermoreweillustratehowthisintegratedapproachleadstosimplermethodsforvoiceactivitydetectionfornoisyenvifonments.ThefollowingsectionsdescribeourcurrentswtemfortheSPINEtaskindetail.4?LTrainingDataAcousticandlanguagemodeltrainingdatafortheSPINE-2evaluationconsistedofconversationsthatwereusedforbothtrainingandtestinginrhepreviousSPINE-1evaluationandconversationsideslistedastrainingsnddevelopmenttestfortheSPINE-2evaluation.FortheSPINE-2evaluationweoptimizedourrecognizersettingsontheprovided1.1-hourdevelopmenttestdatabeforeiucarporatmgboththedataandrecognizeriugsmtoourfinals^tem.Table1sumniaiizesthetramuigdatausedinrheespeiimentsdescribedinthispaper.TrainingDataSourceNumberofUtterancesTotalHours仃alk-Time)SPINE-1train11.9738.7SPINE-1evat.12,0797.3SPINE-2train6,129加SPINE-2dev.1,9411.1Total32,12220.5Table1:SPESE-2evaluationsystemtrainingdata4J.AcousticModelTheacoustictrainerforSonicisbasedonsequentialestimationusingViterbiforcedalignmentandphoneticdecisiontreestateclustering[12].Alignmentswereinitiallyboot-strappedosmgWallStreetJournalacousticmodels.DuringViterbiforcedahgnmenrweusedssingleMLLRmeanandvariancetransfofinonrhegendei-dependentmodelstoimproverhealignnienrqualityforeachspeakersession.Afteralignment,themodelsareestimatedusingdecisiontreestateclostenngandtheprocedureisrepeatedtoobtainimprovedalignmentsandmodelparameterestimates.Ourfirst-passacousticmodelsconsistofgendei-dependenc(mthin-wordandcross-word)tnphone^osmgstandard39-dimeDsionalMFCCfeatnies.Oursecond-pass(adaptationpass)acousticmodelsarenormalizedbybothcqistralvarianceandvocaltractlength[13].LanguageModelFortheSPINE-2evaluationinNov.2001wedevelopedaclassN-gramlanguagemodeltrainedfromthe32kutterancessho\minTable1.Thisworkwasmotivatedbythefactthatthegrid-pointlabelswerechanged&omSPEME-1toSPINE-2andclasslanguagemodelsprovidedaconvenientmeansforcaprurmgthetaskspecificwordusagefortargetingobjectsinthebattlesMpgame.Ourclasslanguagemodelwasbasedon3wordclasses:row(x-axis),colunrn(\r-axis)?andname(username).WordsweregroupedintorowandcolumnclassesthroughmspechonoftherrainingdataforSPINE-2.Inthista^kthereareseveralwordsthatcanbemodeledasbelongingtomultipleclasses.Forexample,thespokenwordsinthespellingof"'VON"(readas"VictorOscarNancyjoverlapwithelementsoftherowgridaxisclass('Victor'and"Oscar"arepartoftherowclassinSPINE-2).Todealwiththeseambiguities,weutilizedasenii-automaredtaggingswtenioriginallydevelopedfortrainingclassN-grammodelsfortheDARPAC^oniniiMiicatortask.Thetasklanguagemodelalsocontainswordcompoundsforimprovedrecognition.OurlanguagemodelfieldedinNov.2001contained115compoundsdeterminedbymanualinspectionofthetrainingdata.InthispaperweconsideredimprovingtheexistingSPINElanguagemodelbyusingthedatadrivenmethodproposedin[14]fordetemiiuiugwordcompounds.Thismethodusesrhegeometricalaverageofthedirectandreverse-bigranstodeteniiinecandidatewordcompounds.Ourcurrentlanguagemodelusingdatadrivenwordcompoimdclusteringhasavocabularyof1664wordsandincludes180wordcompounds.AudioSegmeutfHiouOuraudioseginentarionmethodirerarivelyestimatessegmentboundariesbetw>eenadaprationpassesandusestheadaptedsystemacousticmodelsindecision-making.Thesegmenterconsistsofa2-stafe(speedi/non-speecli)hiddenMarkovmodelthatisd^TiamicallyconstnictedoneachASKadaptationpass.Aspeechstateisconstmctedbycombiningthetop4mixturecomponents(bymixtureweight)fromthecontext-independentspeechstatesofourdecisiontreeclusteredmodels.Asilencestateisconstructedfromallmixtuiecomponentsofnon亡tchcontext-independentstates(e.g.3breath,laughter,garbage^silence).TheresultingHMMstates(600mixturecomponentsforspeech,288mixturecomponentsforsilence)arenormalizedsuchthatthemixtureweightssumtoone.AViterbisearchisperformedovereachsessioniismgthe2-stateHMMmodel.Thespeech/silenceboundariesaredeterminedthroughback-traciiigthebestpartthroughrhenetwork.Tliesegmentationsareimprovedusing2heuristics:(i)speechsegmentsseparatedbylessthan0.25aremerged,(ii)speech^egment^thatarelessthan0.10secondsindurationaredeleted.Finally,allspeechsegmentsaredilatedby0.25secondstoavoidcutoffofweakfticativesandotherlow-energy7sounds.Wepointoutthatthisaudiosegmentationapproachavoidsthe口ecessityofminingseparatespeech'non-speechmodelsandalsoavoidsacousticmismatchbetweenVADandsystemacousticmodelsinsubsequentadaptationpasses.4丘.AcousticAdaptationIntheSPIKEtaskbothspeakerandenvironmentvariabilityarequitelarge.So,theadaptationofthespeechrecognizertobettermatchthetestconditioniscrucial.Tocopewhsuchvariabilitywehaveiinplemeutedseveralteclmiquesthatcanbeconsideredmtwobroadclasses:feature-basedandmodel-basedtechniques.Infeatuie-basedmethodstheobsei\rations,i.e.thefeaturevectorsinputtothespeechrecognizer,andinmodel-basedmethodstheparametersoftheacousticmodels；i.e.HMMmean^andvariances,aremodified.Examplesoffeatine-basednomiahzationarecepstralmeauisubtraction(CMS),vocaltractlengthnormalization(VTLN)andcepstralvariancenoimahzation.InCX1Sthelong-teniiaverageofcepstralfeaturevectorsisestimatedandsubtractedfromthecomputedcepstralfeaturevectors.InVTLN?thebestwarpingfactorisderernunedbylinesearchingoverarangeofvaluestomaximizethelikelihoodoftheadaptationdata,giventherecognizedtranscription.The^eprocessesarefollowedbyffeatmevariancenomiaJization.ThesemethodshavebeenappliedduringbotbtraininganddecodinginourSPINEsystem.Model-basedadaptationmethodscanbefiinhercategorizedintotwobroadclasses:directandindirect.Indirectadaptation,theHMMmodelparametersaredirectlyadapted.However^intheindirectmethodasetofsharedrransfonnationsarefirstestimaredandthenappliedtotherespectiveHMMmodels.Usuallythemaximum3posteriori(MAP)estiinarionisusedforthedirectmethodbyincorporating^omea.priori,knowledgetoovercomedatasparseness.Intheindirectmethodthetiansfomiationsareosuallyestimatedmtheniaximunilikelihood(ML)sense.Arecentworkin[15,16]untfiesbothmethodsmtheMAPsenseanddemonstratesimprovedperformance.Severalmodesofadaptationarepossible;supen-isedvs.,unsiipenisedandblockvs.mcremental.Intheunsupendsedcase,thetranscriptionisnotkncrwnandshouldbeestimatedmsomefomi;eitherasasinglebeststringorawordlattice.Inincrementaladaptationthemodelsareadaptedasenoughdata,becomesavailable,andthenewmodelsareu^edtod亡cod亡theincomingdata=which,inturn,isusedtoreadaptthemodels.Inblockadaptation,theadaptationisstartedafteralldataisavailable.Weconsiderseveraladaptationschemes:likelihoodlinear代gr亡昭ionChfLLR):mcreniental/block,(ii)singleclassmultipleclasE>:(iii)beststring/wordlatticehlax血wma Im旳i代g代mon(hlAPLR):(i)block(ii)be^tstring/wordlattice(iii)regressionclasstree.OurinitialSPINE-2systemusedasingleclass,blockMLLRmeanandvariancetfansfomiusingthebeststringiromthespeechrecognizertaggedwithconfidencescores(wordposteriorprobabilities)derivedfromawordgraph.DespitesomeimprovementmtheHub-5task,extendingfromasingleregressionclassto6classesdegradesperfbimanceintheSPINEtask.WebelievethiskduetothesmalleramountofadaptationdatainSPINEcomparedwithHub-5.Thismotivatedustoworkwithadynamic卞亡rsionofmultipleclassMAPadaptationusingregressionclasstrees.Inthenextsection,wereportperformancegainsobtainedwithmoresophisticatedadaptationtechniques.EK4LUATIONTheNovember2001SPINE-2evaluationdataconsistedof64talker-pairconversationstotaling3.5hoursofstereoaudio(2.8hoursoftalk-time).Onaverage,eachofthe128conversationsidescontains1.3minutes(78seconds)ofspeechacthiw.5.L..SegmentationAudiosegmentationwasevaluatedbymeasuringtheframeclassificationandworderrorratesforourbaselineSPINEsystemwhenautoinaricandhand-labeledspeechsegmentswereused.Ourbaselines^temusessingleregressionclas^MLLRmeananddiagonalcovariancetransform.ResultsareshowninTable1.Weseethatthevoiceactivitydetectionmethodhasaninitialframeclassificationrateof7.44%(Tablela).Afterthefirstadaptationpassthesegmenterproducesfewererrors(finalframeclassificationerrorrateof6.93%)andth￡recognizerisbetterabletorejectsilenceregionsthathavebeenmisclassifiedasspeech(e.g.?thenumberofinsertedwordsdropsfrom172to108).Theworderrorratedifferencebetweenautomaticandhand-segmenteddataisnegligible(0.5%absolute).ProcessingStageAuiofnaticHand(a)(b)(C)(d)First*Pass7.44%17241.8%41.0%MLLR-16.95%10833.9%334%MLLR-26.93%11233.2%32.7%Table2:SegmentationperbrrnancesuniniarvrResultsareshounfor(a)speech-silencefemeclassificationerrorrate;(b)numberofinsertedwordsduringsilenceregions;(c)worderrorrateforautomatic$￡ginentation;(d)worderrorrateforhand-labeledsegmentation.AVordErrorAualyshTable3summarizesworderrorrates(WER)acrossiterativeadaptationpassesandtotalreal-timeprocessingfactorsforseveralSPINE-2systemconfigurations.Iteration"(FjnTable3reierstofirst-passrecognition.Real-timefoctorsaremeasuredonasingleprocessor1.7GHzIntelPentium4andincludeprocessingtimeincurredthroughautomaticEegnientariou.Ourbaselinesystemwithoutadaptationwasfoundtohavea41.8%WERat1.8xreal-time.FurthermoreincrementalonlineadaptationbasedonlyonMLLR.meantransformationprovidesnearlya10%relativereductioninerrorwithamodestcostintermsofprocessingspeed.Iniact?basedonthegeneralmiprovemenrslistedmSection3.1.thus1-passincremenraladaptationgystemcomparesfavorablywithourmultiplepassNov.2001systemwhichhasa37.5%WEKatreal-time.Theuseofsingleregressioncla^sMLLRmeananddiagonalcovariancetransformsiteratedover2adaptationpassespiovidegaconsiderablereductioninerror(errordropsfrom41.8%to33.2%).However,asmanysitesreportedinboththe2000and2001workshops,increasingtomorethanonetransformgenerallydegradesswtemperformanceperhapsduetolackofsufficientadaptationdata.(33.8%WERcomparedwith33.2%WERinT^ible3d).Finally,theNIAPLRalgorithmusingthesiugle-bestword-posteriorprobabilityweightedoutputprovidesameasurablereductionitierrorcomparedtothebaselineofasingleregressionMLL-R.meanandvariancetransfonn.Further,thegeneralizationofthetechniquetooperateontheword-htticerepresentarionprovidesanadditionalgainof0.4%absolute.Howeve匚wepomroutthatthisimpro^remeiitconiesatahighercompotationalcost(e.g.?lfi.4xreal-timecomparedwith6.4x).SystemDescriptionWordEnrorRate(