大數(shù)據(jù)管理與應(yīng)用概論 課件 6.5 基于音頻大數(shù)據(jù)的管理決策

6.5基于音頻大數(shù)據(jù)的管理決策音頻大數(shù)據(jù)處理技術(shù)音頻大數(shù)據(jù)是指由大量音頻數(shù)據(jù)組成的數(shù)據(jù)集合。這些音頻數(shù)據(jù)可以來(lái)自各種渠道，例如音樂(lè)網(wǎng)站、語(yǔ)音助手、電話錄音等等。由于音頻數(shù)據(jù)具有大規(guī)模、高維度、非結(jié)構(gòu)化等特點(diǎn)，因此對(duì)音頻大數(shù)據(jù)的處理需要使用到一些音頻分析、語(yǔ)音識(shí)別等技術(shù)，以從中提取有用的信息。音頻大數(shù)據(jù)處理技術(shù)語(yǔ)音識(shí)別技術(shù)語(yǔ)音合成技術(shù)語(yǔ)音增強(qiáng)技術(shù)音頻大數(shù)據(jù)處理技術(shù)語(yǔ)音識(shí)別技術(shù)語(yǔ)音識(shí)別是指將語(yǔ)音片段輸入轉(zhuǎn)化為文本輸出的過(guò)程。聲音本質(zhì)上是一種波，這種波可作為一種信號(hào)來(lái)處理，所以語(yǔ)音識(shí)別的輸入是一段隨時(shí)間播放的信號(hào)序列，而輸出是一段文本序列。語(yǔ)音識(shí)別系統(tǒng)模塊一個(gè)完整的語(yǔ)音識(shí)別系統(tǒng)通常包括信號(hào)處理和特征提取、聲學(xué)模型、語(yǔ)音模型和解碼搜索這四個(gè)模塊，如右圖所示。音頻大數(shù)據(jù)處理技術(shù)語(yǔ)音識(shí)別技術(shù)信號(hào)處理和特征提取可以視作音頻數(shù)據(jù)的預(yù)處理部分，即通過(guò)消除噪聲和信道增強(qiáng)等預(yù)處理技術(shù)，將信號(hào)從時(shí)間域轉(zhuǎn)化到頻率域，為聲學(xué)模型提供有效的特征向量。然后聲學(xué)模型將預(yù)處理部分得到的特征向量轉(zhuǎn)化為聲學(xué)模型得分，與此同時(shí)，語(yǔ)言模型會(huì)得到一個(gè)語(yǔ)言模型得分。最后解碼搜索階段會(huì)綜合聲學(xué)模型得分和語(yǔ)言模型得分，將得分最高的詞序列作為最后的識(shí)別結(jié)構(gòu)。音頻大數(shù)據(jù)處理技術(shù)語(yǔ)音識(shí)別技術(shù)語(yǔ)音識(shí)別相較于一般自然語(yǔ)言處理任務(wù)的特殊之處就在于聲學(xué)模型，所以語(yǔ)音識(shí)別的關(guān)鍵也就是信號(hào)與處理技術(shù)和聲學(xué)模型部分。在深度學(xué)習(xí)興起前，聲學(xué)模型已有非常成熟的模型體系，如高斯混合模型和隱馬爾可夫模型等，并可成功應(yīng)用到實(shí)際系統(tǒng)中。深度學(xué)習(xí)興起后，循環(huán)神經(jīng)網(wǎng)絡(luò)、LSTM、編碼-解碼框架、注意力機(jī)制等基于深度學(xué)習(xí)的聲學(xué)模型將此前各項(xiàng)基于傳統(tǒng)聲學(xué)模型的識(shí)別案例錯(cuò)誤率降低了一個(gè)層次。音頻大數(shù)據(jù)處理技術(shù)語(yǔ)音合成技術(shù)-波形編碼合成，直接把要合成的語(yǔ)音發(fā)音波形進(jìn)行存儲(chǔ)，或進(jìn)行波形編碼壓縮后存儲(chǔ)，合成重放時(shí)再解碼組合輸出。-波形編輯合成，通過(guò)選取音庫(kù)中采取自然語(yǔ)言的合成單元的波形，對(duì)這些波形進(jìn)行編輯拼接后輸出。比較復(fù)雜的方法。為了節(jié)約存儲(chǔ)容量，先對(duì)語(yǔ)音信號(hào)進(jìn)行分析，提取出語(yǔ)音的參數(shù)，以壓縮存儲(chǔ)量，然后由人工控制這些參數(shù)的合成。通過(guò)語(yǔ)音學(xué)規(guī)則產(chǎn)生語(yǔ)音。合成的詞匯表不是事先確定，系統(tǒng)存儲(chǔ)最小語(yǔ)音單位的聲學(xué)參數(shù)，以及由音素、音節(jié)、音調(diào)等韻律規(guī)則。給出待合成的文本數(shù)據(jù)后，合成系統(tǒng)利用規(guī)則自動(dòng)地將它們轉(zhuǎn)換成連續(xù)的語(yǔ)音聲波。波形合成法參數(shù)合成法規(guī)則合成法語(yǔ)音合成是用機(jī)器來(lái)模擬發(fā)出人的自然語(yǔ)言音頻大數(shù)據(jù)處理技術(shù)語(yǔ)音合成技術(shù)深度語(yǔ)言合成策略。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)興起后，基于深度學(xué)習(xí)的語(yǔ)言合成技術(shù)也逐漸成為語(yǔ)音合成領(lǐng)域的核心技術(shù)，主流語(yǔ)音合成方法有WaveNet（原始音頻生成模型）、Tacotron（端到端的語(yǔ)音合成模型）、DeepVoice1/2/3（實(shí)時(shí)神經(jīng)文本語(yǔ)音轉(zhuǎn)換模型、多說(shuō)話人神經(jīng)文本語(yǔ)音轉(zhuǎn)換模型、帶有卷積序列學(xué)習(xí)的尺度文本語(yǔ)音轉(zhuǎn)換模型）、ParallelWaveNet（快速高保真語(yǔ)音合成）等。音頻大數(shù)據(jù)處理技術(shù)語(yǔ)音增強(qiáng)技術(shù)指從帶噪語(yǔ)音信號(hào)中提取盡可能純凈的原始語(yǔ)音信號(hào)，提高語(yǔ)音信號(hào)的質(zhì)量、清晰度和可懂度。語(yǔ)音增強(qiáng)方法可按其運(yùn)用方法的不同分成數(shù)字信號(hào)處理方法和基于機(jī)器學(xué)習(xí)的方法。其中，數(shù)字信號(hào)處理的語(yǔ)音增強(qiáng)方法是主流方法，已有多年發(fā)展歷史，是目前工程界進(jìn)行語(yǔ)音降噪的主要思路。語(yǔ)音增強(qiáng)方法分類音頻大數(shù)據(jù)處理技術(shù)語(yǔ)音增強(qiáng)技術(shù)單通道語(yǔ)音增強(qiáng)方法麥克風(fēng)陣列的語(yǔ)音增強(qiáng)方法基于機(jī)器學(xué)習(xí)的語(yǔ)音增強(qiáng)方法對(duì)數(shù)字信號(hào)處理的知識(shí)運(yùn)用較多，時(shí)域和頻域的方法都有，以頻域處理為主，其中基于短時(shí)譜估計(jì)的語(yǔ)音增強(qiáng)方法是目前應(yīng)用最為廣泛的語(yǔ)音增強(qiáng)方法。由于利用了更多的麥克風(fēng)，考慮了信號(hào)的空間信息，因此在抑制特定方向的干擾、進(jìn)行語(yǔ)音分離等方面，比單通道的語(yǔ)音增強(qiáng)更有優(yōu)勢(shì)。麥克風(fēng)陣列的語(yǔ)音增強(qiáng)方法目前在智能音箱、機(jī)器人等領(lǐng)域應(yīng)用較多?；谏疃壬窠?jīng)網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)方法可利用深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)強(qiáng)大的非線性映射能力，訓(xùn)練出一個(gè)非線性模型進(jìn)行語(yǔ)音增強(qiáng)。在實(shí)踐中，華為手機(jī)已成功地將該技術(shù)應(yīng)用到復(fù)雜聲學(xué)環(huán)境中的語(yǔ)音通話中，開(kāi)辟了將深度學(xué)習(xí)應(yīng)用于語(yǔ)音增強(qiáng)的先河?；谝纛l大數(shù)據(jù)的管理決策語(yǔ)音識(shí)別技術(shù)在軍事斗爭(zhēng)領(lǐng)域有著極為重要的應(yīng)用價(jià)值。目前，語(yǔ)音識(shí)別技術(shù)已在軍事指揮和控制自動(dòng)化方面得以應(yīng)用。比如，將語(yǔ)音識(shí)別技術(shù)應(yīng)用于航空飛行控制管理決策，可快速提高作戰(zhàn)效率和減輕飛行員的工作負(fù)擔(dān)。飛行員利用語(yǔ)音輸人來(lái)代替?zhèn)鹘y(tǒng)的手動(dòng)操作和控制各種開(kāi)關(guān)。軍事應(yīng)用對(duì)語(yǔ)音識(shí)別系統(tǒng)的識(shí)別精度、響應(yīng)時(shí)間、惡劣環(huán)境下的頑健性都提出了更高的要求。基于音頻大數(shù)據(jù)的管理決策語(yǔ)音合成技術(shù)在教育領(lǐng)域里有著極其廣闊的應(yīng)用空間。在教育領(lǐng)域，尤其是語(yǔ)言教育，模仿與交互是必不可少的鍛煉方式。語(yǔ)音合成技術(shù)通過(guò)合成足夠標(biāo)準(zhǔn)和自然的語(yǔ)音，大大增加有聲教育素材，用于語(yǔ)言學(xué)習(xí)中的發(fā)音示例，有效緩解口語(yǔ)學(xué)習(xí)中教師發(fā)音水平參差不齊、教師資源嚴(yán)重不足的問(wèn)題?；谝纛l大數(shù)據(jù)的管理決策語(yǔ)音增強(qiáng)技術(shù)在醫(yī)療保健領(lǐng)域也有重要的應(yīng)用價(jià)值。聲音是人類獲取外界信息最為便捷可靠的方法之一，聽(tīng)力損失患者由于自身聽(tīng)覺(jué)系統(tǒng)存在缺陷或遭到損傷，所能獲取到的語(yǔ)音信息十分有限，因此需要憑借助聽(tīng)器等醫(yī)療器械來(lái)彌補(bǔ)其聽(tīng)覺(jué)系統(tǒng)上的缺失。語(yǔ)音增強(qiáng)技術(shù)可使得數(shù)字助聽(tīng)器在多噪聲源等復(fù)雜聲學(xué)環(huán)境下依然具有良好空間分辨率和抗干擾能力，增強(qiáng)語(yǔ)音質(zhì)量，提升用戶體驗(yàn)。案例分析滾動(dòng)軸承作為各類旋轉(zhuǎn)機(jī)械中最常用的通用零部件之一，也是旋轉(zhuǎn)機(jī)械易損件之一。滾動(dòng)軸承的主要故障按其產(chǎn)生的部位可分為四類：內(nèi)圈故障、外圈故障、滾動(dòng)體故障及保持架故障。軸承音頻數(shù)據(jù)包含其運(yùn)行狀態(tài)的重要信息，通過(guò)分析這些信息就能對(duì)軸承故障進(jìn)行有效診斷，而且音頻數(shù)據(jù)能夠非接觸式采集，具有使用方便、成本低廉等優(yōu)點(diǎn)。運(yùn)用音頻數(shù)據(jù)進(jìn)行滾動(dòng)軸承故障診斷具有重要和實(shí)際的應(yīng)用價(jià)值和意義。案例分析理論建模音頻數(shù)據(jù)的特征提取在故障軸承診斷中具有舉足輕重的作用。本部分選用的特征參數(shù)為線性預(yù)測(cè)倒譜系數(shù)(LinerPredicitionCepstrumCoefficients,LPCC)。LPCC提取的主要思想是利用音頻數(shù)據(jù)采樣點(diǎn)之間的相關(guān)性，針對(duì)一個(gè)音頻數(shù)據(jù)抽樣，用過(guò)去若干個(gè)音頻抽樣或者它們的線性組合來(lái)逼近。通過(guò)使實(shí)際的音頻數(shù)據(jù)抽樣值與線性預(yù)測(cè)抽樣值的均方誤差達(dá)到最小，確定出唯一的一組線性預(yù)測(cè)系數(shù)。案例分析理論建模步驟1：將預(yù)處理后的分析幀進(jìn)行復(fù)倒譜計(jì)算，提取LPC步驟2：用LPC推導(dǎo)出LPCC特征參數(shù)。p為L(zhǎng)PC階數(shù)，m為L(zhǎng)PCC階數(shù)根據(jù)神經(jīng)網(wǎng)絡(luò)中BP神經(jīng)網(wǎng)絡(luò)模型高度非線性、并行處理機(jī)制、信息的分布存儲(chǔ)性、自學(xué)習(xí)性及容錯(cuò)性等特點(diǎn)，基于提取的特征參數(shù)LPCC，運(yùn)用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)基于音頻數(shù)據(jù)的滾動(dòng)軸承故障診斷。案例分析實(shí)際應(yīng)用對(duì)于各類軸承運(yùn)行狀態(tài)，內(nèi)圈異音、外圈異音、保持架異音、滾動(dòng)體異音及正常音分別取LPCC特征參數(shù)各100組作為樣本訓(xùn)練模型，各類故障數(shù)據(jù)與正常數(shù)據(jù)中再分別取100組不同于樣本相應(yīng)特征參數(shù)作為測(cè)試數(shù)據(jù)，以檢驗(yàn)參數(shù)的診斷效果。對(duì)內(nèi)圈故障、外圈故障、滾動(dòng)體故障、保持架故障以及正常狀態(tài)等五種類型的數(shù)據(jù)通過(guò)Matlab仿真系統(tǒng)進(jìn)行滾動(dòng)軸承故障診斷實(shí)驗(yàn)。案例分析實(shí)際應(yīng)用首先使用LPCC特征參數(shù)進(jìn)行實(shí)驗(yàn)，結(jié)果表明，12個(gè)輸入節(jié)點(diǎn)時(shí)，單隱層節(jié)點(diǎn)數(shù)取27網(wǎng)絡(luò)可達(dá)到最佳性能。因此BP網(wǎng)絡(luò)設(shè)置1個(gè)隱層，輸入層12個(gè)節(jié)點(diǎn)，隱層27個(gè)節(jié)點(diǎn)，輸出為5個(gè)節(jié)點(diǎn)。學(xué)習(xí)率初始值設(shè)為0.5，誤差值設(shè)定為0.0001?；贚PCC特征參數(shù)的網(wǎng)絡(luò)模型的診斷結(jié)果如下表所示。故障類型診斷數(shù)據(jù)正確率內(nèi)圈外