中國聲紋識別產(chǎn)業(yè)發(fā)展白皮書（2023年）

I1.4無障礙環(huán)境建設(shè)立法實施2.1聲紋識別算法研究進展32.2音頻防偽算法研究進展2.3工程化難點及技術(shù)進展52.3.2提升超大規(guī)模聲紋辨認性能52.3.3多模態(tài)多任務(wù)聯(lián)合識別62.4前沿挑戰(zhàn)及技術(shù)進展72.5研究型數(shù)據(jù)集建設(shè)102.5.2研究型聲紋數(shù)據(jù)集建設(shè)現(xiàn)狀122.6相關(guān)賽事綜述133.3公共安全3.4政務(wù)民生4.3語音助手類335.3數(shù)據(jù)標準38V以我建議就上面幾個問題進行深入研究，希望關(guān)注聲紋識別研究和開發(fā)的相關(guān)人員能夠多多關(guān)CCF語音對話與聽覺專委會副主任1明確要求“深度合成服務(wù)提供者和技術(shù)支持者提供人臉、人聲等生物識別信息編輯功能的，應(yīng)所以利用生物識別技術(shù)進行身份認定相對其他身份認證技術(shù)是安全且準確的。但也正是由于生2如在用戶視圖方面應(yīng)結(jié)合用戶特殊需求提供“關(guān)懷模式”“語音模式”“民族語言模式”等便捷3量進行降維并提取出能代表說話人信息的低維總變化因子（i-vector然后在低維的i-vector空模型的本質(zhì)就是一種線性降維模型。首先需要做的就是將原始錄音文件轉(zhuǎn)換成聲學特征，一般選擇傳統(tǒng)的聲學特征梅爾頻譜倒因此我們需要基于目標用戶的數(shù)據(jù)在這個混合GMM上進行參數(shù)的微調(diào)即可實現(xiàn)目標用戶參數(shù)一種更好的非線性變換方法來將高維的高斯超向量降維得到說話人的低維總變化因子。由此基近年來，深度學習在語音識別領(lǐng)域中的成功應(yīng)用鼓勵著研究者將它運用到聲紋識別中去。這套架構(gòu)的最終得到接受和拒絕損失loss來訓(xùn)練整個網(wǎng)絡(luò)。TDNN來自1989年的論文。原理假設(shè)整個結(jié)構(gòu)簡化為輸入層、2個隱藏層、輸出層為識別出452024年1月，由清華大學與得意音通聯(lián)合研發(fā)的基于類腦感知和決策的偽造語音檢測方法2.3工程化難點及技術(shù)進展實時音頻流的聲紋識別技術(shù)需要進一步攻關(guān)?；陔娫捫诺赖穆暭y識別目前還面臨著許多挑戰(zhàn)近些年，公安部正在規(guī)劃將聲紋識別技術(shù)納入公共安全防治舉措的方案，并開展聲紋采集62.3.3多模態(tài)多任務(wù)聯(lián)合識別在有多個說話人的場景，如何運用人工智能技術(shù)把不同說話人甄別并分類出來，此類需求一般被叫做“話者分離”或者“說話人分離”，所用到的核心技術(shù)，學術(shù)界一般稱為多說話人分割聚類或說話人日志（SpeakerDiarisation該技術(shù)包含兩個過程，說話人分割（Speaker72.4前沿挑戰(zhàn)及技術(shù)進展在公安刑偵等領(lǐng)域，大規(guī)模聲紋檢索系統(tǒng)也進入實戰(zhàn)應(yīng)用，對聲紋識別的精度和響應(yīng)速度提出8*SNR-dependentmixtureofPLDA0*DNN-basedbinarymasking0*invariantrepresentationlearning(IRL)00*within-samplevariability-invariantloss09(MarginLoss)*AM-Softmax0*AAM-Softmax0*AngularPrototypical(AP)loss0*Feature-baseddomainadaptation*Model-baseddomainadaptation*AM-Softmax0*AAM-Softmax0(MarginLoss)*AngularPrototypical(AP)loss02.5研究型數(shù)據(jù)集建設(shè)針對采集的音頻數(shù)據(jù)進行標注處理，需依據(jù)不同的指標要求規(guī)范做數(shù)據(jù)標注。以數(shù)據(jù)標注即建設(shè)聲紋數(shù)據(jù)集管理平臺來進行科學有效的數(shù)據(jù)安全管理，保證數(shù)據(jù)的安全性、模型應(yīng)快速迭代聲紋模型的優(yōu)化和測試能力。因聲紋數(shù)據(jù)需滿足聲紋識別技術(shù)應(yīng)用的匹配性和高合格率，聲紋數(shù)據(jù)的質(zhì)量管理是構(gòu)建準備份數(shù)據(jù)并定期檢查數(shù)據(jù)質(zhì)量。2.5.2研究型聲紋數(shù)據(jù)集建設(shè)現(xiàn)狀據(jù)集是一個復(fù)雜且持續(xù)的過程，說話人生理體征的變化對聲紋識別的性能也會產(chǎn)生影響，為提高聲紋識別的準確性，數(shù)據(jù)集的多樣性和代表性非常重要，因此收集具有廣泛覆蓋性的樣本非隨著人們對聲紋識別技術(shù)的需求不斷增加，聲紋數(shù)據(jù)集的規(guī)模也在不斷擴大。這些大規(guī)模為了促進聲紋識別技術(shù)的交流和發(fā)展，聲紋數(shù)據(jù)集的標準化和公開化趨勢也越在研究和學術(shù)界，聲紋數(shù)據(jù)集的建設(shè)和發(fā)展是推動聲紋識別技術(shù)進一步發(fā)展的重要說話者識別的研究。態(tài)聲紋模型技術(shù)研究。一個在真實家居場景下錄制，跨時間域并針對不同年齡的說話人進行多設(shè)備同時采集的聲紋數(shù)聲紋數(shù)據(jù)集的建設(shè)和發(fā)展正處于積極的發(fā)展階段。隨著聲紋識別技術(shù)的廣泛應(yīng)用以及對數(shù)2.6相關(guān)賽事綜述旨在研究現(xiàn)有的說話人識別方法在“inthewild”場景下的識別性能。競賽所提供的官方數(shù)據(jù)集該競賽共設(shè)定了四個賽道。前兩個賽道統(tǒng)稱為有監(jiān)督的說話人識別（FullySupervisedDomainAdaptation它是2022年新引入的一個賽道，賽事數(shù)據(jù)包括一個大規(guī)模帶標簽的源領(lǐng)域數(shù)據(jù)集、一個大規(guī)模無標簽的目標領(lǐng)域數(shù)據(jù)集和一個少量帶有標簽的目標領(lǐng)域數(shù)據(jù)集，模擬2.6.3FFSVC2022競賽聚焦在遠場單通道場景下的說話人識別任務(wù)。該賽事所提供的官方數(shù)據(jù)集FFSVC2020是說話人標簽的FFSVC2020和VoxCeleb1&2數(shù)據(jù)集來構(gòu)建遠場說話人識別系統(tǒng)。第二個賽道是模擬更貼合實際的數(shù)據(jù)條件。方法，進一步提升說話人識別系統(tǒng)應(yīng)對闖入攻擊的魯棒性。該賽事所提供的數(shù)據(jù)集是VoxCeleb2.6.5CSSD2022CSSD2022全稱ConversationalSho賽事所提供的數(shù)據(jù)集是由MagicData-RAMC開源的中文對話語音數(shù)據(jù)集。3.1從技術(shù)到場景安全訪問驗證，確保只有聲紋信息匹配的個體才能進行某些敏感操作或訪問特定資源。這為金和識別大量聲紋數(shù)據(jù)庫中的特定聲紋。例如，語音助手能夠通過聲紋辨認迅速識別并響應(yīng)用戶給定一段只含一名說話人的語音和一個說話給定一段語音和一組候選說話人的聲紋模型，判斷該段語音是哪位說話人所說的聲紋識別表2聲紋識別技術(shù)信道類型于16kHz。手機銀行等各類APP表3聲紋識別技術(shù)應(yīng)用模式紋認證時需用戶說出與注冊時完全相同的內(nèi)同等錄音有效時長情況下聲紋比對準確率同等錄音有效時長情況下聲紋比對準確率用戶可以通過任意的內(nèi)容的聲紋來進行聲紋同等錄音有效時長情況下聲紋比對準確率與傳統(tǒng)靜態(tài)密碼100%精確比較后判斷是否匹配成功的方式不同，聲紋識別技術(shù)是通過判3.2金融科技金融科技創(chuàng)新給移動端身份認證帶來了新的思路和途徑，目前各種解決方案呈現(xiàn)出爆發(fā)式顧便捷和安全的同時進行精準客戶身份識別、如何驗證用戶反映的是本人真實意愿和真實操作表4部分銀行聲紋識別技術(shù)應(yīng)用場景電話銀行信用卡申請使用聲紋識別進行反欺詐建設(shè)銀行1.手機銀行使用聲紋技2.利用聲紋技術(shù)在手機銀行轉(zhuǎn)賬、ATM二維碼取款上進輔助身份認證手機銀行利用聲紋識別進行信用卡臨時調(diào)額時手機銀行使用聲紋技術(shù)1.手機銀行使用聲紋技2.利用聲紋技術(shù)在手機銀行進行本人本行同名手機銀行使用聲紋技術(shù)語音識別與轉(zhuǎn)錄功能的基礎(chǔ)。高性能的聲紋數(shù)據(jù)采集系統(tǒng)則是獲取高質(zhì)量聲紋數(shù)據(jù)的關(guān)鍵，對提高聲紋識別的準確性起著至關(guān)重要的作用?，F(xiàn)有的聲紋數(shù)據(jù)采集系統(tǒng)能實現(xiàn)自適應(yīng)降噪，多基于音素檢索技術(shù)、聲紋識別技術(shù)及關(guān)鍵詞檢索技術(shù)的聲紋鑒定平臺，結(jié)合公共安全及司法鑒定領(lǐng)域身份鑒定業(yè)務(wù)需求，提供一套完整的軟硬件一體的解決方案。該方案利用人工智能如某公司“聲紋+”政企服務(wù)解決方案可為政府機構(gòu)及企業(yè)提供智能可信的遠程身份認證服反向追查能力。依托于清華大學語音和語言技術(shù)中心及得意音通信息技術(shù)研究院強大的技術(shù)支身份核驗。3.5.2游戲防沉迷場景3.5.3智慧醫(yī)療場景和缺乏身份驗證。到工業(yè)質(zhì)檢領(lǐng)域。3)水輪機狀態(tài)監(jiān)測：水輪機是水電站中的關(guān)鍵設(shè)備，其運行對周圍環(huán)境造成損害。工業(yè)聲紋技術(shù)可以用于管道泄漏的監(jiān)測和定位。通過采集管道沿線的聲隨著技術(shù)的不斷進步和市場的日益成熟，工業(yè)聲紋技術(shù)在設(shè)備故障檢測與預(yù)測性維護、安全監(jiān)控與入侵檢測和工業(yè)自動化和智能制造等具體領(lǐng)域場景得到了廣泛的應(yīng)用。通過對設(shè)備運聲音進行語音識別并將識別的內(nèi)容與發(fā)出的動態(tài)碼數(shù)