中國(guó)聲紋識(shí)別產(chǎn)業(yè)發(fā)展白皮書（2023年）

I1.4無障礙環(huán)境建設(shè)立法實(shí)施2.1聲紋識(shí)別算法研究進(jìn)展32.2音頻防偽算法研究進(jìn)展2.3工程化難點(diǎn)及技術(shù)進(jìn)展52.3.2提升超大規(guī)模聲紋辨認(rèn)性能52.3.3多模態(tài)多任務(wù)聯(lián)合識(shí)別62.4前沿挑戰(zhàn)及技術(shù)進(jìn)展72.5研究型數(shù)據(jù)集建設(shè)102.5.2研究型聲紋數(shù)據(jù)集建設(shè)現(xiàn)狀122.6相關(guān)賽事綜述133.3公共安全3.4政務(wù)民生4.3語音助手類335.3數(shù)據(jù)標(biāo)準(zhǔn)38V以我建議就上面幾個(gè)問題進(jìn)行深入研究，希望關(guān)注聲紋識(shí)別研究和開發(fā)的相關(guān)人員能夠多多關(guān)CCF語音對(duì)話與聽覺專委會(huì)副主任1明確要求“深度合成服務(wù)提供者和技術(shù)支持者提供人臉、人聲等生物識(shí)別信息編輯功能的，應(yīng)所以利用生物識(shí)別技術(shù)進(jìn)行身份認(rèn)定相對(duì)其他身份認(rèn)證技術(shù)是安全且準(zhǔn)確的。但也正是由于生2如在用戶視圖方面應(yīng)結(jié)合用戶特殊需求提供“關(guān)懷模式”“語音模式”“民族語言模式”等便捷3量進(jìn)行降維并提取出能代表說話人信息的低維總變化因子（i-vector然后在低維的i-vector空模型的本質(zhì)就是一種線性降維模型。首先需要做的就是將原始錄音文件轉(zhuǎn)換成聲學(xué)特征，一般選擇傳統(tǒng)的聲學(xué)特征梅爾頻譜倒因此我們需要基于目標(biāo)用戶的數(shù)據(jù)在這個(gè)混合GMM上進(jìn)行參數(shù)的微調(diào)即可實(shí)現(xiàn)目標(biāo)用戶參數(shù)一種更好的非線性變換方法來將高維的高斯超向量降維得到說話人的低維總變化因子。由此基近年來，深度學(xué)習(xí)在語音識(shí)別領(lǐng)域中的成功應(yīng)用鼓勵(lì)著研究者將它運(yùn)用到聲紋識(shí)別中去。這套架構(gòu)的最終得到接受和拒絕損失loss來訓(xùn)練整個(gè)網(wǎng)絡(luò)。TDNN來自1989年的論文。原理假設(shè)整個(gè)結(jié)構(gòu)簡(jiǎn)化為輸入層、2個(gè)隱藏層、輸出層為識(shí)別出452024年1月，由清華大學(xué)與得意音通聯(lián)合研發(fā)的基于類腦感知和決策的偽造語音檢測(cè)方法2.3工程化難點(diǎn)及技術(shù)進(jìn)展實(shí)時(shí)音頻流的聲紋識(shí)別技術(shù)需要進(jìn)一步攻關(guān)?；陔娫捫诺赖穆暭y識(shí)別目前還面臨著許多挑戰(zhàn)近些年，公安部正在規(guī)劃將聲紋識(shí)別技術(shù)納入公共安全防治舉措的方案，并開展聲紋采集62.3.3多模態(tài)多任務(wù)聯(lián)合識(shí)別在有多個(gè)說話人的場(chǎng)景，如何運(yùn)用人工智能技術(shù)把不同說話人甄別并分類出來，此類需求一般被叫做“話者分離”或者“說話人分離”，所用到的核心技術(shù)，學(xué)術(shù)界一般稱為多說話人分割聚類或說話人日志（SpeakerDiarisation該技術(shù)包含兩個(gè)過程，說話人分割（Speaker72.4前沿挑戰(zhàn)及技術(shù)進(jìn)展在公安刑偵等領(lǐng)域，大規(guī)模聲紋檢索系統(tǒng)也進(jìn)入實(shí)戰(zhàn)應(yīng)用，對(duì)聲紋識(shí)別的精度和響應(yīng)速度提出8*SNR-dependentmixtureofPLDA0*DNN-basedbinarymasking0*invariantrepresentationlearning(IRL)00*within-samplevariability-invariantloss09(MarginLoss)*AM-Softmax0*AAM-Softmax0*AngularPrototypical(AP)loss0*Feature-baseddomainadaptation*Model-baseddomainadaptation*AM-Softmax0*AAM-Softmax0(MarginLoss)*AngularPrototypical(AP)loss02.5研究型數(shù)據(jù)集建設(shè)針對(duì)采集的音頻數(shù)據(jù)進(jìn)行標(biāo)注處理，需依據(jù)不同的指標(biāo)要求規(guī)范做數(shù)據(jù)標(biāo)注。以數(shù)據(jù)標(biāo)注即建設(shè)聲紋數(shù)據(jù)集管理平臺(tái)來進(jìn)行科學(xué)有效的數(shù)據(jù)安全管理，保證數(shù)據(jù)的安全性、模型應(yīng)快速迭代聲紋模型的優(yōu)化和測(cè)試能力。因聲紋數(shù)據(jù)需滿足聲紋識(shí)別技術(shù)應(yīng)用的匹配性和高合格率，聲紋數(shù)據(jù)的質(zhì)量管理是構(gòu)建準(zhǔn)備份數(shù)據(jù)并定期檢查數(shù)據(jù)質(zhì)量。2.5.2研究型聲紋數(shù)據(jù)集建設(shè)現(xiàn)狀據(jù)集是一個(gè)復(fù)雜且持續(xù)的過程，說話人生理體征的變化對(duì)聲紋識(shí)別的性能也會(huì)產(chǎn)生影響，為提高聲紋識(shí)別的準(zhǔn)確性，數(shù)據(jù)集的多樣性和代表性非常重要，因此收集具有廣泛覆蓋性的樣本非隨著人們對(duì)聲紋識(shí)別技術(shù)的需求不斷增加，聲紋數(shù)據(jù)集的規(guī)模也在不斷擴(kuò)大。這些大規(guī)模為了促進(jìn)聲紋識(shí)別技術(shù)的交流和發(fā)展，聲紋數(shù)據(jù)集的標(biāo)準(zhǔn)化和公開化趨勢(shì)也越在研究和學(xué)術(shù)界，聲紋數(shù)據(jù)集的建設(shè)和發(fā)展是推動(dòng)聲紋識(shí)別技術(shù)進(jìn)一步發(fā)展的重要說話者識(shí)別的研究。態(tài)聲紋模型技術(shù)研究。一個(gè)在真實(shí)家居場(chǎng)景下錄制，跨時(shí)間域并針對(duì)不同年齡的說話人進(jìn)行多設(shè)備同時(shí)采集的聲紋數(shù)聲紋數(shù)據(jù)集的建設(shè)和發(fā)展正處于積極的發(fā)展階段。隨著聲紋識(shí)別技術(shù)的廣泛應(yīng)用以及對(duì)數(shù)2.6相關(guān)賽事綜述旨在研究現(xiàn)有的說話人識(shí)別方法在“inthewild”場(chǎng)景下的識(shí)別性能。競(jìng)賽所提供的官方數(shù)據(jù)集該競(jìng)賽共設(shè)定了四個(gè)賽道。前兩個(gè)賽道統(tǒng)稱為有監(jiān)督的說話人識(shí)別（FullySupervisedDomainAdaptation它是2022年新引入的一個(gè)賽道，賽事數(shù)據(jù)包括一個(gè)大規(guī)模帶標(biāo)簽的源領(lǐng)域數(shù)據(jù)集、一個(gè)大規(guī)模無標(biāo)簽的目標(biāo)領(lǐng)域數(shù)據(jù)集和一個(gè)少量帶有標(biāo)簽的目標(biāo)領(lǐng)域數(shù)據(jù)集，模擬2.6.3FFSVC2022競(jìng)賽聚焦在遠(yuǎn)場(chǎng)單通道場(chǎng)景下的說話人識(shí)別任務(wù)。該賽事所提供的官方數(shù)據(jù)集FFSVC2020是說話人標(biāo)簽的FFSVC2020和VoxCeleb1&2數(shù)據(jù)集來構(gòu)建遠(yuǎn)場(chǎng)說話人識(shí)別系統(tǒng)。第二個(gè)賽道是模擬更貼合實(shí)際的數(shù)據(jù)條件。方法，進(jìn)一步提升說話人識(shí)別系統(tǒng)應(yīng)對(duì)闖入攻擊的魯棒性。該賽事所提供的數(shù)據(jù)集是VoxCeleb2.6.5CSSD2022CSSD2022全稱ConversationalSho賽事所提供的數(shù)據(jù)集是由MagicData-RAMC開源的中文對(duì)話語音數(shù)據(jù)集。3.1從技術(shù)到場(chǎng)景安全訪問驗(yàn)證，確保只有聲紋信息匹配的個(gè)體才能進(jìn)行某些敏感操作或訪問特定資源。這為金和識(shí)別大量聲紋數(shù)據(jù)庫(kù)中的特定聲紋。例如，語音助手能夠通過聲紋辨認(rèn)迅速識(shí)別并響應(yīng)用戶給定一段只含一名說話人的語音和一個(gè)說話給定一段語音和一組候選說話人的聲紋模型，判斷該段語音是哪位說話人所說的聲紋識(shí)別表2聲紋識(shí)別技術(shù)信道類型于16kHz。手機(jī)銀行等各類APP表3聲紋識(shí)別技術(shù)應(yīng)用模式紋認(rèn)證時(shí)需用戶說出與注冊(cè)時(shí)完全相同的內(nèi)同等錄音有效時(shí)長(zhǎng)情況下聲紋比對(duì)準(zhǔn)確率同等錄音有效時(shí)長(zhǎng)情況下聲紋比對(duì)準(zhǔn)確率用戶可以通過任意的內(nèi)容的聲紋來進(jìn)行聲紋同等錄音有效時(shí)長(zhǎng)情況下聲紋比對(duì)準(zhǔn)確率與傳統(tǒng)靜態(tài)密碼100%精確比較后判斷是否匹配成功的方式不同，聲紋識(shí)別技術(shù)是通過判3.2金融科技金融科技創(chuàng)新給移動(dòng)端身份認(rèn)證帶來了新的思路和途徑，目前各種解決方案呈現(xiàn)出爆發(fā)式顧便捷和安全的同時(shí)進(jìn)行精準(zhǔn)客戶身份識(shí)別、如何驗(yàn)證用戶反映的是本人真實(shí)意愿和真實(shí)操作表4部分銀行聲紋識(shí)別技術(shù)應(yīng)用場(chǎng)景電話銀行信用卡申請(qǐng)使用聲紋識(shí)別進(jìn)行反欺詐建設(shè)銀行1.手機(jī)銀行使用聲紋技2.利用聲紋技術(shù)在手機(jī)銀行轉(zhuǎn)賬、ATM二維碼取款上進(jìn)輔助身份認(rèn)證手機(jī)銀行利用聲紋識(shí)別進(jìn)行信用卡臨時(shí)調(diào)額時(shí)手機(jī)銀行使用聲紋技術(shù)1.手機(jī)銀行使用聲紋技2.利用聲紋技術(shù)在手機(jī)銀行進(jìn)行本人本行同名手機(jī)銀行使用聲紋技術(shù)語音識(shí)別與轉(zhuǎn)錄功能的基礎(chǔ)。高性能的聲紋數(shù)據(jù)采集系統(tǒng)則是獲取高質(zhì)量聲紋數(shù)據(jù)的關(guān)鍵，對(duì)提高聲紋識(shí)別的準(zhǔn)確性起著至關(guān)重要的作用?，F(xiàn)有的聲紋數(shù)據(jù)采集系統(tǒng)能實(shí)現(xiàn)自適應(yīng)降噪，多基于音素檢索技術(shù)、聲紋識(shí)別技術(shù)及關(guān)鍵詞檢索技術(shù)的聲紋鑒定平臺(tái)，結(jié)合公共安全及司法鑒定領(lǐng)域身份鑒定業(yè)務(wù)需求，提供一套完整的軟硬件一體的解決方案。該方案利用人工智能如某公司“聲紋+”政企服務(wù)解決方案可為政府機(jī)構(gòu)及企業(yè)提供智能可信的遠(yuǎn)程身份認(rèn)證服反向追查能力。依托于清華大學(xué)語音和語言技術(shù)中心及得意音通信息技術(shù)研究院強(qiáng)大的技術(shù)支身份核驗(yàn)。3.5.2游戲防沉迷場(chǎng)景3.5.3智慧醫(yī)療場(chǎng)景和缺乏身份驗(yàn)證。到工業(yè)質(zhì)檢領(lǐng)域。3)水輪機(jī)狀態(tài)監(jiān)測(cè)：水輪機(jī)是水電站中的關(guān)鍵設(shè)備，其運(yùn)行對(duì)周圍環(huán)境造成損害。工業(yè)聲紋技術(shù)可以用于管道泄漏的監(jiān)測(cè)和定位。通過采集管道沿線的聲隨著技術(shù)的不斷進(jìn)步和市場(chǎng)的日益成熟，工業(yè)聲紋技術(shù)在設(shè)備故障檢測(cè)與預(yù)測(cè)性維護(hù)、安全監(jiān)控與入侵檢測(cè)和工業(yè)自動(dòng)化和智能制造等具體領(lǐng)域場(chǎng)景得到了廣泛的應(yīng)用。通過對(duì)設(shè)備運(yùn)聲音進(jìn)行語音識(shí)別并將識(shí)別的內(nèi)容與發(fā)出的動(dòng)態(tài)碼數(shù)