(高清版)GBT 41813.1-2022 信息技術(shù) 智能語(yǔ)音交互測(cè)試方法 第1部分：語(yǔ)音識(shí)別

信息技術(shù)智能語(yǔ)音交互測(cè)試方法2022-10-12發(fā)布IGB/T41813.1—2022前言 2規(guī)范性引用文件 13術(shù)語(yǔ)和定義 14概述 25測(cè)試準(zhǔn)備和執(zhí)行 25.1測(cè)試數(shù)據(jù)集 25.2測(cè)試工具 35.3測(cè)試設(shè)備 35.4測(cè)試環(huán)境 45.5測(cè)試執(zhí)行 45.6測(cè)試結(jié)果 46功能測(cè)試方法 46.1語(yǔ)音信號(hào)采集 46.2語(yǔ)音轉(zhuǎn)文字 56.3語(yǔ)音喚醒 56.4前端信號(hào)處理 56.5說(shuō)話人分離 56.6語(yǔ)言信息識(shí)別 66.7語(yǔ)音識(shí)別后處理 67性能測(cè)試方法 67.1語(yǔ)音識(shí)別效果 67.2語(yǔ)音識(shí)別效率 77.3語(yǔ)音喚醒效果 87.4前端信號(hào)處理效果 97.5說(shuō)話人分離效果 7.6語(yǔ)言信息識(shí)別效果 7.7系統(tǒng)穩(wěn)定性 參考文獻(xiàn) Ⅲ本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本文件是GB/T41813《信息技術(shù)智能語(yǔ)音交互測(cè)試方法》的第1部分。GB/T41813已經(jīng)發(fā)布了以下部分：——第1部分：語(yǔ)音識(shí)別；——第2部分：語(yǔ)義理解。請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專(zhuān)利的責(zé)任。本文件由全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)(SAC/TC28)提出并歸口。本文件起草單位：中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、科大訊飛股份有限公司、小米通訊技術(shù)有限公司、華為終端有限公司、深圳市優(yōu)必選科技股份有限公司、中國(guó)電信集團(tuán)有限公司、思必馳科技股份有限公司、中國(guó)科學(xué)院自動(dòng)化研究所、中國(guó)醫(yī)學(xué)科學(xué)院生物醫(yī)學(xué)工程研究所、哈爾濱工業(yè)大學(xué)、海信視像科技股份有限公司、馬上消費(fèi)金融股份有限公司、騰訊科技(北京)有限公司、沈陽(yáng)新松機(jī)器人自動(dòng)化股份有限公司、深圳市人馬互動(dòng)科技有限公司、平安科技(深圳)有限公司、安徽咪鼠科技有限公司、涇豐科技(深圳)有限公司、北京捷通華聲科技股份有限公司、北京百度網(wǎng)訊科技有限公司、深圳市北科瑞聲科技股份有限公司、阿里云計(jì)算有限公司、云從科技集團(tuán)股份有限公司、網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司、南京云問(wèn)網(wǎng)絡(luò)技術(shù)有限公司、聯(lián)想(北京)有限公司、福州數(shù)據(jù)技術(shù)研究院有限公司、國(guó)家網(wǎng)絡(luò)軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心(濟(jì)南)、中汽研(天津)汽車(chē)工程研究院有限公司、華南理工大學(xué)、山東省計(jì)算中心(國(guó)家超級(jí)計(jì)算濟(jì)南中心)、中科極限元(杭州)智能科技股份有限公司、神思電子技術(shù)股份有限公司、鄭州中業(yè)科技股份有限公司、中汽數(shù)據(jù)(天津)有限公司、中國(guó)電器科學(xué)研究院有限公司、上海計(jì)算機(jī)軟件技術(shù)開(kāi)發(fā)中心、北京愛(ài)數(shù)智慧科技有限公司。本文件主要起草人：董建、徐洋、吳國(guó)綱、馬萬(wàn)鐘、朱亞軍、賈一君、周立君、宋文林、袁杰、楊震、機(jī)器人等諸多領(lǐng)域應(yīng)用廣泛，已成為當(dāng)前人機(jī)交互的重要方式之一。隨著智能語(yǔ)音交互越來(lái)越深入到生產(chǎn)生活的方方面面，需要對(duì)智能語(yǔ)音交互的系統(tǒng)參考框架、基礎(chǔ)技術(shù)要求、互聯(lián)網(wǎng)接口要求等進(jìn)行統(tǒng)一規(guī)范。在這方面，國(guó)家已制定了支撐智能語(yǔ)音交互系統(tǒng)的基礎(chǔ)性國(guó)家標(biāo)準(zhǔn)。在此基礎(chǔ)上，也需要用統(tǒng)一的測(cè)試方法和評(píng)價(jià)標(biāo)準(zhǔn)來(lái)對(duì)智能語(yǔ)音交互系統(tǒng)的能力進(jìn)行評(píng)測(cè)，為智能語(yǔ)音交互相關(guān)的產(chǎn)品和服務(wù)提供評(píng)測(cè)的基礎(chǔ)方法和依據(jù)。GB/T41813《信息技術(shù)智能語(yǔ)音交互測(cè)試方法》為GB/T36464(所有部分)《信息技術(shù)智能語(yǔ)音交互系統(tǒng)》提供基礎(chǔ)通用的測(cè)試方法。智能語(yǔ)音交互包括語(yǔ)音識(shí)別、語(yǔ)義理解和語(yǔ)音合成三個(gè)基本環(huán)節(jié)，各環(huán)節(jié)所涉及的測(cè)試對(duì)象、測(cè)試項(xiàng)目、測(cè)試環(huán)境和測(cè)試方法均有所不同。GB/T41813《信息技術(shù)智能語(yǔ)音交互測(cè)試方法》旨在確立和描述適用于智能語(yǔ)音交互各環(huán)節(jié)的通用測(cè)試項(xiàng)和通用測(cè)試方法，擬由三個(gè)部分構(gòu)成?！?部分：語(yǔ)音識(shí)別。目的在于為智能語(yǔ)音交互應(yīng)用中的語(yǔ)音識(shí)別環(huán)節(jié)提供通用測(cè)試項(xiàng)和通用測(cè)試方法?！?部分：語(yǔ)義理解。目的在于為智能語(yǔ)音交互應(yīng)用中的語(yǔ)義理解環(huán)節(jié)提供通用測(cè)試項(xiàng)和通用測(cè)試方法?！?部分：語(yǔ)音合成。目的在于為智能語(yǔ)音交互應(yīng)用中的語(yǔ)音合成環(huán)節(jié)提供通用測(cè)試項(xiàng)和通用測(cè)試方法。1信息技術(shù)智能語(yǔ)音交互測(cè)試方法1范圍本文件描述了智能語(yǔ)音交互測(cè)試中語(yǔ)音識(shí)別系統(tǒng)的通用測(cè)試項(xiàng)和通用測(cè)試方法。本文件適用于智能語(yǔ)音服務(wù)提供商、用戶(hù)和第三方檢測(cè)機(jī)構(gòu)對(duì)智能語(yǔ)音交互應(yīng)用的語(yǔ)音識(shí)別系統(tǒng)測(cè)試的設(shè)計(jì)和實(shí)施。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T21023中文語(yǔ)音識(shí)別系統(tǒng)通用技術(shù)規(guī)范GB/T36464(所有部分)信息技術(shù)智能語(yǔ)音交互系統(tǒng)3術(shù)語(yǔ)和定義GB/T36464(所有部分)界定的以及下列術(shù)語(yǔ)和定義適用于本文件。語(yǔ)音識(shí)別speechrecognition將人類(lèi)的聲音信號(hào)轉(zhuǎn)化為文字或者指令的過(guò)程。說(shuō)話人分離speakerdiarization對(duì)包含有效語(yǔ)音信號(hào)的音頻流中的多個(gè)說(shuō)話人進(jìn)行說(shuō)話人分割和說(shuō)話人聚類(lèi)的過(guò)程。注：說(shuō)話人分離的目的一般是對(duì)空間中存在的多個(gè)說(shuō)話人進(jìn)行分類(lèi)和追蹤。說(shuō)話人分割speakersegmentation在多個(gè)說(shuō)話人中找出說(shuō)話人改變的時(shí)間邊界，并根據(jù)這些邊界將音頻流切分成多個(gè)語(yǔ)音片段。將屬于同一個(gè)說(shuō)話人的一個(gè)或多個(gè)語(yǔ)音片段進(jìn)行歸類(lèi)。語(yǔ)音編碼speechcoding;speechencoding語(yǔ)音波形編碼speechwaveformcoding按照一組能合理重構(gòu)語(yǔ)音信號(hào)的規(guī)劃，由經(jīng)數(shù)字化的語(yǔ)音信號(hào)到離散的數(shù)據(jù)元序列的轉(zhuǎn)換。注：語(yǔ)音數(shù)字化可與用于語(yǔ)音壓縮的某一編碼相結(jié)合。因此，“語(yǔ)音編碼”這一術(shù)語(yǔ)常指這種組合運(yùn)算。2漢語(yǔ)中跟普通話有區(qū)別，只在特定地區(qū)使用的語(yǔ)言。智能語(yǔ)音交互測(cè)試中的語(yǔ)音識(shí)別測(cè)試主要包括功能測(cè)試與性能測(cè)試，具體如下：——功能測(cè)試用于檢查被測(cè)系統(tǒng)是否提供了語(yǔ)音識(shí)別相關(guān)的各項(xiàng)功能，具體包括：語(yǔ)音信號(hào)采集、語(yǔ)音轉(zhuǎn)文字、語(yǔ)音喚醒、前端信號(hào)處理、說(shuō)話人分離、語(yǔ)言信息識(shí)別及語(yǔ)音識(shí)別后處理；——性能測(cè)試用于檢測(cè)被測(cè)系統(tǒng)中語(yǔ)音識(shí)別相關(guān)的各項(xiàng)性能，具體包括：語(yǔ)音識(shí)別效果、語(yǔ)音識(shí)別效率、語(yǔ)音喚醒效果、前端信號(hào)處理效果、說(shuō)話人分離效果、語(yǔ)言信息識(shí)別效果，及系統(tǒng)穩(wěn)定性。測(cè)試過(guò)程中，依據(jù)被測(cè)系統(tǒng)技術(shù)規(guī)范進(jìn)行在線/離線的功能和性能測(cè)試。本文件所列測(cè)試項(xiàng)可用于對(duì)GB/T36464(所有部分)中語(yǔ)音識(shí)別相關(guān)的功能和性能要求進(jìn)行測(cè)試。注：本文件對(duì)所列出的功能測(cè)試項(xiàng)選擇不做要求，測(cè)試方根據(jù)被測(cè)系統(tǒng)的功能要求和測(cè)試需求選擇測(cè)試項(xiàng)。5測(cè)試準(zhǔn)備和執(zhí)行5.1測(cè)試數(shù)據(jù)集在測(cè)試開(kāi)始前，應(yīng)通過(guò)提前錄制或采集的方式制作測(cè)試數(shù)據(jù)集。可根據(jù)不同測(cè)試項(xiàng)劃分出多個(gè)測(cè)試數(shù)據(jù)集，在實(shí)際測(cè)試時(shí)可根據(jù)需要選擇測(cè)試數(shù)據(jù)集。測(cè)試數(shù)據(jù)集類(lèi)型和要求應(yīng)符合表1的要求。表1測(cè)試數(shù)據(jù)集類(lèi)型和要求語(yǔ)音音頻類(lèi)型語(yǔ)音種類(lèi)男聲普通話女聲普通話兒童普通話老人普通話男聲漢語(yǔ)方言女聲漢語(yǔ)方言無(wú)有效語(yǔ)音內(nèi)容語(yǔ)音系統(tǒng)支持的語(yǔ)言信息類(lèi)型語(yǔ)音混合語(yǔ)言信息類(lèi)型語(yǔ)音空音頻無(wú)噪聲正常A類(lèi)A類(lèi)A類(lèi)A類(lèi)B類(lèi)B類(lèi)C類(lèi)C類(lèi)D類(lèi)D類(lèi)弱噪聲正常A類(lèi)A類(lèi)B類(lèi)B類(lèi)B類(lèi)B類(lèi)D類(lèi)強(qiáng)噪聲正常B類(lèi)B類(lèi)C類(lèi)C類(lèi)C類(lèi)C類(lèi)D類(lèi)大音量°B類(lèi)B類(lèi)B類(lèi)B類(lèi)D類(lèi)D類(lèi)D類(lèi)快語(yǔ)速B類(lèi)B類(lèi)C類(lèi)C類(lèi)D類(lèi)D類(lèi)D類(lèi)截?cái)嘁纛lC類(lèi)C類(lèi)—————測(cè)試數(shù)據(jù)滿足以下要求。a)測(cè)試語(yǔ)音應(yīng)至少2000條，其中，各類(lèi)測(cè)試語(yǔ)音數(shù)量要求如下：1)A類(lèi)的總量不宜小于測(cè)試總量的70%;2)B類(lèi)的總量不宜小于測(cè)試總量的15%,不宜大于測(cè)試總量的20%;3)C類(lèi)的總量不宜小于測(cè)試總量的5%,不宜大于測(cè)試總量的10%;4)D類(lèi)為可選，總量不宜大于測(cè)試總量的5%。b)各種語(yǔ)音種類(lèi)的發(fā)音人，不應(yīng)少于30名。c)3s～5s時(shí)長(zhǎng)的測(cè)試語(yǔ)音應(yīng)占測(cè)試總量的80%以上。d)測(cè)試語(yǔ)音可包括中文和外文等，測(cè)試方可根據(jù)系統(tǒng)任務(wù)和應(yīng)用場(chǎng)景設(shè)定測(cè)試語(yǔ)音內(nèi)容。語(yǔ)音信噪比大于或等于20dB?！闭Z(yǔ)音信噪比小于5dB。在16bit量化比特下，波形采樣點(diǎn)數(shù)值大于或等于10000。語(yǔ)音輸入速度大于每秒5字。35.2測(cè)試工具語(yǔ)音識(shí)別測(cè)試工具包括可編程測(cè)試工具、測(cè)試統(tǒng)計(jì)工具和資源監(jiān)測(cè)工具符合下列要求。a)可編程測(cè)試工具要求如下：●應(yīng)能調(diào)用被測(cè)系統(tǒng)開(kāi)放接口；●應(yīng)能對(duì)工具配置文件進(jìn)行定制；●應(yīng)能接收語(yǔ)音數(shù)據(jù)并將其輸入至被測(cè)系統(tǒng)；●應(yīng)能進(jìn)行功能測(cè)試及其相應(yīng)的性能測(cè)試；●應(yīng)能以文本形式獲取被測(cè)系統(tǒng)運(yùn)行結(jié)果。b)測(cè)試統(tǒng)計(jì)工具要求如下：●應(yīng)能自動(dòng)對(duì)不同測(cè)試項(xiàng)的系統(tǒng)運(yùn)行結(jié)果進(jìn)行統(tǒng)計(jì)和分析；●應(yīng)能自動(dòng)對(duì)系統(tǒng)運(yùn)行結(jié)果和標(biāo)準(zhǔn)結(jié)果對(duì)比文件進(jìn)行比對(duì)。c)資源監(jiān)測(cè)工具應(yīng)能監(jiān)測(cè)內(nèi)存、中央處理單元(CPU)、圖形處理單元(GPU)、句柄數(shù)等系統(tǒng)資源參數(shù)。5.3測(cè)試設(shè)備音頻采樣設(shè)備：音頻采樣設(shè)備參數(shù)應(yīng)符合表2的要求。表2音頻采樣設(shè)備參數(shù)要求設(shè)備名稱(chēng)參數(shù)要求可移動(dòng)的聲卡支持44.1kHz及以上的采樣頻率，16bit及以上的模數(shù)轉(zhuǎn)換器和數(shù)模轉(zhuǎn)換器錄音軟件支持16bit量化比特下的波形采樣計(jì)算機(jī)支持錄音軟件的安裝和使用聲壓計(jì)支持環(huán)境聲壓確認(rèn)傳聲器設(shè)備：傳聲器設(shè)備參數(shù)應(yīng)符合表3的要求。表3傳聲器設(shè)備參數(shù)要求參數(shù)名稱(chēng)符號(hào)和單位測(cè)試條件最小值典型值最大值靈敏度信噪比—輸出阻抗總諧波失真1指向性全指向性回放設(shè)備：回放設(shè)備參數(shù)應(yīng)符合表4的要求。4表4回放設(shè)備參數(shù)要求設(shè)備名稱(chēng)參數(shù)要求其他要求計(jì)算機(jī)支持音頻播放軟件的安裝和使用回放外部環(huán)境外界噪聲不超過(guò)55dB(A)情況下，室內(nèi)本底噪聲小于或等于20dB(A)(周?chē)鸁o(wú)明顯振動(dòng)源，關(guān)閉通風(fēng)) 播放器頻率響應(yīng)(士2.5dB):74Hz～18kHz最大聲壓級(jí)：102dB(A)可在無(wú)人工嘴的條件下使用功率放大器和人工嘴信噪比：90dB(A)增益控制：0dB～25dB功率放大器頻率響應(yīng)：20Hz～20kHz,人工嘴頻率響應(yīng)：100Hz～10kHz最大聲壓級(jí)：110dB(A)具體場(chǎng)景按照GB/T36464(所有部分)執(zhí)行噪聲播放音箱功率：70W(峰值125W)頻率響應(yīng)：50Hz～21kHz聲壓：≤113dBSPL@1m(對(duì))輸入阻抗：10kΩ最大輸入電平：22dBu背景噪聲播放音箱應(yīng)經(jīng)過(guò)頻率響應(yīng)均衡處理，被測(cè)系統(tǒng)麥克風(fēng)(陣列)位置的回放噪聲與原始噪聲頻率響應(yīng)差異滿足+3dB(100Hz～10kHz)仿真人體根據(jù)播放器或人工嘴的尺寸和安裝位置定制5.4測(cè)試環(huán)境應(yīng)根據(jù)被測(cè)系統(tǒng)的功能和性能要求，以及應(yīng)用場(chǎng)景配置相應(yīng)的軟硬件環(huán)境。5.5測(cè)試執(zhí)行應(yīng)使用可編程測(cè)試工具和測(cè)試統(tǒng)計(jì)工具將測(cè)試數(shù)據(jù)集輸入到在線/離線狀態(tài)的被測(cè)系統(tǒng)中并獲取運(yùn)行結(jié)果。5.6測(cè)試結(jié)果應(yīng)根據(jù)被測(cè)系統(tǒng)技術(shù)要求對(duì)系統(tǒng)在各測(cè)試項(xiàng)上的運(yùn)行結(jié)果進(jìn)行記錄和分析，形成測(cè)試結(jié)果。6功能測(cè)試方法6.1語(yǔ)音信號(hào)采集測(cè)試內(nèi)容：檢查被測(cè)系統(tǒng)是否提供給定拾音距離下的語(yǔ)音信號(hào)采集功能。測(cè)試方法：按照表1的要求和測(cè)試功能制作測(cè)試數(shù)據(jù)集，按照給定的拾音距離，放置被測(cè)系統(tǒng)和回放設(shè)備(播放器或人工嘴),使用可編程測(cè)試工具和測(cè)試統(tǒng)計(jì)工具將測(cè)試數(shù)據(jù)集輸入到被測(cè)系統(tǒng)并獲取運(yùn)行結(jié)果。拾音距離應(yīng)根據(jù)被測(cè)系統(tǒng)的主要用途和應(yīng)用場(chǎng)景進(jìn)行設(shè)置，在實(shí)際測(cè)試中可根據(jù)需要進(jìn)行區(qū)間劃分，例如，按照1m、3m和5m劃分為4個(gè)區(qū)間。56.2語(yǔ)音轉(zhuǎn)文字測(cè)試內(nèi)容：檢查被測(cè)系統(tǒng)是否提供將所接收到的有效語(yǔ)音信號(hào)轉(zhuǎn)化為與語(yǔ)音內(nèi)容相符的文字結(jié)果，并將其輸出的功能。測(cè)試方法：按照表1的要求和測(cè)試功能制作測(cè)試數(shù)據(jù)集，使用可編程測(cè)試工具和測(cè)試統(tǒng)計(jì)工具將測(cè)試數(shù)據(jù)集輸入到被測(cè)系統(tǒng)并獲取運(yùn)行結(jié)果。6.3語(yǔ)音喚醒測(cè)試內(nèi)容：檢查被測(cè)系統(tǒng)是否提供語(yǔ)音喚醒的功能，包括但不限于以下具體功能。a)命令字(詞)喚醒：能使用預(yù)定義喚醒命令字(詞)喚醒被測(cè)系統(tǒng)。b)自定義喚醒命令字(詞):能自定義喚醒命令字(詞)。c)多命令字(詞)喚醒：能使用不同的喚醒命令字(詞)喚醒被測(cè)系統(tǒng)。d)多音頻流監(jiān)聽(tīng)：被測(cè)系統(tǒng)在執(zhí)行語(yǔ)音喚醒的同時(shí)能監(jiān)聽(tīng)多個(gè)音頻流。e)語(yǔ)音打斷喚醒：能使用語(yǔ)音打斷的方式喚醒被測(cè)系統(tǒng)。f)協(xié)同喚醒：使用相同命令字(詞)的多個(gè)設(shè)備在同一場(chǎng)景中出現(xiàn)，一次喚醒操作有且僅有一個(gè)設(shè)備應(yīng)答。測(cè)試方法：按照表1的要求和測(cè)試功能制作包含預(yù)定義喚醒命令字(詞)、非喚醒命令字(詞)、自定義喚醒命令字(詞)、多個(gè)喚醒命令字(詞)和語(yǔ)音打斷喚醒命令字(詞)的測(cè)試數(shù)據(jù)集，使用可編程測(cè)試工具和測(cè)試統(tǒng)計(jì)工具將測(cè)試數(shù)據(jù)集輸入到被測(cè)系統(tǒng)并獲取運(yùn)行結(jié)果。6.4前端信號(hào)處理測(cè)試內(nèi)容：檢查被測(cè)系統(tǒng)是否提供前端信號(hào)處理的功能，包括但不限于以下具體功能。a)語(yǔ)音編解碼：被測(cè)系統(tǒng)能設(shè)置語(yǔ)音編碼算法的壓縮等級(jí)，能支持不同音頻編碼格式下的語(yǔ)音音頻的壓縮和解壓縮，并確保語(yǔ)音內(nèi)容不變。b)端點(diǎn)檢測(cè)：被測(cè)系統(tǒng)能從連續(xù)音頻流中檢測(cè)出第一個(gè)或多個(gè)語(yǔ)音片段的起始點(diǎn)和結(jié)束點(diǎn)，能設(shè)置端點(diǎn)檢測(cè)靈敏度，即設(shè)置語(yǔ)音等待超時(shí)時(shí)長(zhǎng)和尾部靜音長(zhǎng)度。c)語(yǔ)音增強(qiáng)：被測(cè)系統(tǒng)能自動(dòng)對(duì)輸入語(yǔ)音的信噪比進(jìn)行改善，能對(duì)輸入語(yǔ)音中的背景噪聲和晚期混響進(jìn)行抑制。d)聲源定位：被測(cè)系統(tǒng)能自動(dòng)對(duì)發(fā)聲源的空間位置進(jìn)行定位。e)格式轉(zhuǎn)換：被測(cè)系統(tǒng)能自動(dòng)對(duì)輸入音頻的格式進(jìn)行轉(zhuǎn)換，并確保語(yǔ)音內(nèi)容不變。f)重采樣：被測(cè)系統(tǒng)能改變數(shù)字語(yǔ)音信號(hào)的采樣率，并確保語(yǔ)音內(nèi)容不變。g)音頻質(zhì)量判斷：被測(cè)系統(tǒng)能對(duì)輸入音頻質(zhì)量進(jìn)行自動(dòng)判斷。h)聲學(xué)回聲消除：被測(cè)系統(tǒng)能對(duì)輸入音頻進(jìn)行回聲消除。測(cè)試方法：按照表1的要求和測(cè)試功能制作包含多種音頻質(zhì)量的測(cè)試數(shù)據(jù)集，包括前截?cái)嘁纛l、后截?cái)嘁纛l、音量小音頻、信噪比低音頻等，使用可編程測(cè)試工具和測(cè)試統(tǒng)計(jì)工具將測(cè)試數(shù)據(jù)集輸入到被測(cè)系統(tǒng)并獲取運(yùn)行結(jié)果。6.5說(shuō)話人分離測(cè)試內(nèi)容：檢查被測(cè)系統(tǒng)是否提供說(shuō)話人分離的功能，包括但不限于以下具體功能。a)說(shuō)話人分割：被測(cè)系統(tǒng)能自動(dòng)進(jìn)行說(shuō)話人分割，分割后的語(yǔ)音片段只包含一個(gè)說(shuō)話人的語(yǔ)音內(nèi)容。b)說(shuō)話人聚類(lèi)：被測(cè)系統(tǒng)能自動(dòng)進(jìn)行說(shuō)話人聚類(lèi)，聚類(lèi)后的語(yǔ)音片段分別對(duì)應(yīng)不同的說(shuō)話人。6測(cè)試方法：按照表1的要求和測(cè)試功能制作包含多個(gè)說(shuō)話人交替對(duì)話的測(cè)試數(shù)據(jù)集，對(duì)話時(shí)長(zhǎng)宜20min,使用可編程測(cè)試工具和測(cè)試統(tǒng)計(jì)工具將測(cè)試數(shù)據(jù)集輸入到被測(cè)系統(tǒng)并獲取運(yùn)行結(jié)果。6.6語(yǔ)言信息識(shí)別測(cè)試內(nèi)容：檢查被測(cè)系統(tǒng)是否提供語(yǔ)言信息識(shí)別的功能，包括但不限于以下具體功能。a)(多)語(yǔ)種識(shí)別：被測(cè)系統(tǒng)能自動(dòng)對(duì)輸入語(yǔ)音所屬的某個(gè)或多個(gè)(2個(gè)及以上)語(yǔ)種進(jìn)行判斷并輸出(多)語(yǔ)種識(shí)別結(jié)果。b)多語(yǔ)種混讀識(shí)別：在多個(gè)語(yǔ)種混讀的情況下，被測(cè)系統(tǒng)能自動(dòng)對(duì)不同語(yǔ)種進(jìn)行判斷并輸出多語(yǔ)種混讀識(shí)別結(jié)果。c)(多)漢語(yǔ)方言識(shí)別：被測(cè)系統(tǒng)能自動(dòng)對(duì)輸入語(yǔ)音所屬的某個(gè)或多個(gè)(2個(gè)及以上)漢語(yǔ)方言進(jìn)行判斷并輸出(多)漢語(yǔ)方言識(shí)別結(jié)果。d)語(yǔ)言信息端點(diǎn)識(shí)別：被測(cè)系統(tǒng)能自動(dòng)對(duì)不同的語(yǔ)種、漢語(yǔ)方言的音頻片段端點(diǎn)進(jìn)行判斷并輸出語(yǔ)言信息端點(diǎn)識(shí)別結(jié)果。測(cè)試方法：按照表1的要求和測(cè)試功能制作包含一個(gè)或多個(gè)語(yǔ)音信息的測(cè)試數(shù)據(jù)集，使用可編程測(cè)試工具和測(cè)試統(tǒng)計(jì)工具將測(cè)試數(shù)據(jù)集輸入到被測(cè)系統(tǒng)并獲取運(yùn)行結(jié)果。6.7語(yǔ)音識(shí)別后處理測(cè)試內(nèi)容：檢查被測(cè)系統(tǒng)是否提供對(duì)語(yǔ)音識(shí)別結(jié)果進(jìn)行后處理的功能，包括但不限于以下具體功能。a)數(shù)字規(guī)整：按照需求將漢字表示的數(shù)字規(guī)整為符合閱讀習(xí)慣的格式。b)字母規(guī)整：按照需求將識(shí)別結(jié)果規(guī)整為更易閱讀的格式。示例2:對(duì)“三W點(diǎn)”進(jìn)行字母規(guī)整后的結(jié)果為“www.”。c)繁簡(jiǎn)體規(guī)整：按照需求將識(shí)別結(jié)果規(guī)整為繁體或簡(jiǎn)體。d)標(biāo)點(diǎn)預(yù)測(cè)：根據(jù)語(yǔ)音內(nèi)容對(duì)識(shí)別結(jié)果添加中文或者英文標(biāo)點(diǎn)。e)文本順滑：根據(jù)語(yǔ)音內(nèi)容過(guò)濾識(shí)別結(jié)果文本中無(wú)意義的字或詞。f)文本替換：根據(jù)語(yǔ)音內(nèi)容動(dòng)態(tài)替換或修改識(shí)別結(jié)果文本中的某些字或詞。示例6:對(duì)“它們做出了很大的犧牲”進(jìn)行文本替換后的結(jié)果為“他們作出了很大的犧牲”。測(cè)試方法：按照表1的要求和測(cè)試功能制作測(cè)試數(shù)據(jù)集，使用可編程測(cè)試工具和測(cè)試統(tǒng)計(jì)工具將測(cè)試數(shù)據(jù)集輸入到被測(cè)系統(tǒng)并獲取運(yùn)行結(jié)果。7性能測(cè)試方法7.1語(yǔ)音識(shí)別效果測(cè)試內(nèi)容：語(yǔ)音識(shí)別效果測(cè)試項(xiàng)包括對(duì)字識(shí)別效果和句識(shí)別正確率的測(cè)試。a)字識(shí)別效果：字識(shí)別效果由字匹配率等參數(shù)表征，它們共同顯示被測(cè)系統(tǒng)的字識(shí)別能力。參數(shù)值按GB/T21023描述的方法計(jì)算：77GB/T41813.1—2022b)句識(shí)別正確率：此參數(shù)顯示被測(cè)系統(tǒng)的句識(shí)別能力，參數(shù)值計(jì)算方法為被測(cè)系統(tǒng)正確識(shí)別的句子數(shù)量除以標(biāo)注的總句子數(shù)量。——測(cè)試數(shù)據(jù)：按照表1的要求制作測(cè)試數(shù)據(jù)集，對(duì)各測(cè)試數(shù)據(jù)集所有的語(yǔ)音內(nèi)容進(jìn)行人工標(biāo)注，并制作成標(biāo)準(zhǔn)結(jié)果對(duì)比文件。——測(cè)試工具：符合5.2的要求?！獪y(cè)試環(huán)境：符合5.4的要求。——測(cè)試執(zhí)行：按照5.5的要求對(duì)被測(cè)系統(tǒng)進(jìn)行測(cè)試?！獪y(cè)試結(jié)果：按照測(cè)試內(nèi)容描述的方法得出系統(tǒng)運(yùn)行結(jié)果并生成結(jié)果文件，包括測(cè)試數(shù)據(jù)集名7.2語(yǔ)音識(shí)別效率測(cè)試內(nèi)容：語(yǔ)音識(shí)別效率測(cè)試項(xiàng)用語(yǔ)音識(shí)別平均響應(yīng)時(shí)間、語(yǔ)音識(shí)別平均子句響應(yīng)時(shí)間、語(yǔ)音識(shí)別響應(yīng)時(shí)間分布和語(yǔ)音識(shí)別吞吐率等參數(shù)表征。a)語(yǔ)音識(shí)別平均響應(yīng)時(shí)間：語(yǔ)音識(shí)別響應(yīng)時(shí)間指的是接收到一條語(yǔ)音后，被測(cè)系統(tǒng)給出該條語(yǔ)音識(shí)別結(jié)果的時(shí)間；語(yǔ)音識(shí)別平均響應(yīng)時(shí)間是測(cè)試數(shù)據(jù)集上所有語(yǔ)音識(shí)別響應(yīng)時(shí)間與輸入語(yǔ)音總條數(shù)的比值。參數(shù)值計(jì)算方法見(jiàn)公式(1): (1)式中：Tw——語(yǔ)音識(shí)別平均響應(yīng)時(shí)間；t——得到第i條語(yǔ)音識(shí)別結(jié)果的時(shí)刻；t。——第i條語(yǔ)音輸入結(jié)束的時(shí)刻；N——輸入語(yǔ)音總條數(shù)。b)語(yǔ)音識(shí)別平均子句響應(yīng)時(shí)間：語(yǔ)音識(shí)別子句響應(yīng)時(shí)間指的是接收到一條語(yǔ)音后，被測(cè)系統(tǒng)給出該條語(yǔ)音中某一子句識(shí)別結(jié)果的時(shí)間；語(yǔ)音識(shí)別平均子句響應(yīng)時(shí)間是測(cè)試數(shù)據(jù)集上所有語(yǔ)音識(shí)別子句響應(yīng)時(shí)間與輸入語(yǔ)音總條數(shù)的比值。參數(shù)值計(jì)算方法見(jiàn)公式(2): (2)t?——得到第i條語(yǔ)音中第j個(gè)子句識(shí)別結(jié)果的時(shí)刻；t——第i條語(yǔ)音中第j個(gè)子句輸入結(jié)束的時(shí)刻；N——輸入語(yǔ)音總條數(shù)。c)語(yǔ)音識(shí)別響應(yīng)時(shí)間分布：此參數(shù)顯示測(cè)試數(shù)據(jù)集上所有語(yǔ)音識(shí)別響應(yīng)時(shí)間分布及其占比情況。實(shí)際測(cè)試時(shí)可根據(jù)需要?jiǎng)澐植煌憫?yīng)時(shí)間區(qū)間。8d)語(yǔ)音識(shí)別吞吐率：此參數(shù)描述一次性輸入包含錄制好的(長(zhǎng)時(shí)間)語(yǔ)音并一次性給出整體語(yǔ)音識(shí)別結(jié)果的效率，即被測(cè)系統(tǒng)在單位響應(yīng)時(shí)間內(nèi)識(shí)別語(yǔ)音音頻的時(shí)間長(zhǎng)度。參數(shù)值計(jì)算方法為測(cè)試數(shù)據(jù)集上語(yǔ)音音頻總時(shí)長(zhǎng)除以測(cè)試數(shù)據(jù)集上語(yǔ)音識(shí)別響應(yīng)時(shí)間總時(shí)長(zhǎng)。測(cè)試方法：語(yǔ)音識(shí)別效率測(cè)試方法如下?！獪y(cè)試數(shù)據(jù)：按照表1的要求制作測(cè)試數(shù)據(jù)集，此外，制作語(yǔ)音時(shí)長(zhǎng)為10s±0.1s、語(yǔ)音結(jié)束后無(wú)靜音的測(cè)試數(shù)據(jù)集用于語(yǔ)音識(shí)別平均響應(yīng)時(shí)間和語(yǔ)音識(shí)別響應(yīng)時(shí)間分布測(cè)試；制作語(yǔ)音時(shí)長(zhǎng)大于10h的測(cè)試數(shù)據(jù)集用于語(yǔ)音識(shí)別吞吐率測(cè)試。 ——測(cè)試設(shè)備：符合5.3的要求?！獪y(cè)試環(huán)境：符合5.4的要求?！獪y(cè)試執(zhí)行：按照5.5的要求對(duì)被測(cè)系統(tǒng)進(jìn)行測(cè)試。——測(cè)試結(jié)果：按照測(cè)試內(nèi)容描述的方法得出系統(tǒng)運(yùn)行結(jié)果并生成結(jié)果文件，包括測(cè)試數(shù)據(jù)集名稱(chēng)、測(cè)試數(shù)據(jù)集數(shù)量、測(cè)試項(xiàng)結(jié)果等。系統(tǒng)運(yùn)行結(jié)果符合被測(cè)系統(tǒng)技術(shù)要求或相關(guān)標(biāo)準(zhǔn)規(guī)范則7.3語(yǔ)音喚醒效果測(cè)試內(nèi)容：語(yǔ)音喚醒效果測(cè)試項(xiàng)包括喚醒率、誤喚醒頻度、語(yǔ)音打斷成功率、語(yǔ)音打斷喚醒率、語(yǔ)音打斷誤喚醒頻度、協(xié)同喚醒成功率和協(xié)同喚醒正確率等參數(shù)，具體參數(shù)描述如下。a)喚醒率：檢測(cè)被測(cè)系統(tǒng)的語(yǔ)音喚醒能力，即某段時(shí)間內(nèi)的語(yǔ)音喚醒操作中，成功喚醒被測(cè)系統(tǒng)的比率。參數(shù)值計(jì)算方法為成功語(yǔ)音喚醒次數(shù)除以語(yǔ)音喚醒操作總次數(shù)。b)誤喚醒頻度：檢測(cè)被測(cè)系統(tǒng)的語(yǔ)音喚醒能力，即單位時(shí)間內(nèi)被測(cè)系統(tǒng)被誤喚醒的次數(shù)。參數(shù)值計(jì)算方法為誤喚醒次數(shù)除以測(cè)試總時(shí)長(zhǎng)。c)語(yǔ)音打斷成功率：檢測(cè)被測(cè)系統(tǒng)的語(yǔ)音打斷能力，即被測(cè)系統(tǒng)成功被語(yǔ)音打斷的比率。參數(shù)值計(jì)算方法為語(yǔ)音打斷成功次數(shù)除以語(yǔ)音打斷操作總次數(shù)。d)語(yǔ)音打斷喚醒率：檢測(cè)被測(cè)系統(tǒng)的語(yǔ)音喚醒能力，即某段時(shí)間內(nèi)的語(yǔ)音喚醒操作中，成功打斷并喚醒被測(cè)系統(tǒng)的比率。參數(shù)值計(jì)算方法為成功打斷喚醒次數(shù)除以語(yǔ)音打斷喚醒操作總e)語(yǔ)音打斷誤喚醒頻度：檢測(cè)被測(cè)系統(tǒng)的語(yǔ)音喚醒能力，即單位時(shí)間內(nèi)被測(cè)系統(tǒng)語(yǔ)音打斷誤喚醒的次數(shù)。參數(shù)值計(jì)算方法為語(yǔ)音打斷誤喚醒次數(shù)除以測(cè)試總時(shí)長(zhǎng)。f)協(xié)同喚醒成功率：檢測(cè)同一場(chǎng)景多個(gè)設(shè)備的語(yǔ)音喚醒能力，即對(duì)多個(gè)設(shè)備進(jìn)行喚醒操作，有且僅有一個(gè)設(shè)備被成功喚醒的比率。參數(shù)值計(jì)算方法為有且僅有一個(gè)設(shè)備被成功喚醒的次數(shù)除以語(yǔ)音喚醒操作總次數(shù)。g)協(xié)同喚醒正確率：檢測(cè)同一場(chǎng)景多個(gè)設(shè)備的語(yǔ)音喚醒能力，即對(duì)多個(gè)設(shè)備進(jìn)行喚醒操作，用戶(hù)意圖中的設(shè)備被正確喚醒的比率。參數(shù)值計(jì)算方法為用戶(hù)意圖中的設(shè)備被正確喚醒的次數(shù)除以語(yǔ)音喚醒操作總次數(shù)。測(cè)試方法：語(yǔ)音喚醒效果測(cè)試方法如下?！獪y(cè)試數(shù)據(jù)：按照表1的要求制作包含預(yù)定義喚醒命令字(詞)、非喚醒命令字(詞)、自定義喚醒命令字(詞)、多個(gè)喚醒命令字(詞)和語(yǔ)音打斷喚醒命令字(詞)的測(cè)試數(shù)據(jù)集，宜選取不少于200條測(cè)試語(yǔ)音。 ——測(cè)試設(shè)備：符合5.3的要求。——測(cè)試環(huán)境：符合5.4的要求，其中，測(cè)試場(chǎng)景類(lèi)型見(jiàn)表5。9表5語(yǔ)音喚醒效果測(cè)試場(chǎng)景場(chǎng)景編號(hào)場(chǎng)景描述信噪比場(chǎng)景1安靜場(chǎng)景場(chǎng)景2低噪場(chǎng)景場(chǎng)景3高噪場(chǎng)景場(chǎng)景4自定義噪聲場(chǎng)景具體場(chǎng)景按照GB/T36464(所有部分)執(zhí)行——測(cè)試執(zhí)行：按照5.5的要求對(duì)被測(cè)系統(tǒng)進(jìn)行測(cè)試?！獪y(cè)試結(jié)果：按照測(cè)試內(nèi)容描述的方法得出系統(tǒng)運(yùn)行結(jié)果并生成結(jié)果文件，包括測(cè)試數(shù)據(jù)集名稱(chēng)、測(cè)試數(shù)據(jù)集數(shù)量、測(cè)試項(xiàng)結(jié)果等。系統(tǒng)運(yùn)行結(jié)果符合被測(cè)系統(tǒng)技術(shù)要求或相關(guān)標(biāo)準(zhǔn)規(guī)范則測(cè)試通過(guò)，否則不通過(guò)。7.4前端信號(hào)處理效果測(cè)試內(nèi)容：前端信號(hào)處理效果測(cè)試項(xiàng)包括語(yǔ)音編解壓縮率、端點(diǎn)檢測(cè)準(zhǔn)確率、信噪比改善率、噪聲抑制量、聲源定位正確率和回聲返回衰減增益等參數(shù)，具體參數(shù)描述如下。a)語(yǔ)音編解壓縮率：檢測(cè)被測(cè)系統(tǒng)的語(yǔ)音編解碼能力，參數(shù)值計(jì)算方法為語(yǔ)音編碼后輸出的壓縮音頻碼流率除以語(yǔ)音編碼前音頻碼流率。b)端點(diǎn)檢測(cè)準(zhǔn)確率：檢測(cè)被測(cè)系統(tǒng)的端點(diǎn)檢測(cè)能力，參數(shù)值計(jì)算方法見(jiàn)公式(3): 式中：Av?p——端點(diǎn)檢測(cè)準(zhǔn)確率；Talia——有效語(yǔ)音音頻時(shí)長(zhǎng)；Tsitne——無(wú)效音頻時(shí)長(zhǎng)；Tay——檢測(cè)誤差音頻時(shí)長(zhǎng)。c)信噪比改善率：檢測(cè)被測(cè)系統(tǒng)的語(yǔ)音增強(qiáng)能力，參數(shù)值計(jì)算方法為輸出語(yǔ)音的信噪比除以輸入語(yǔ)音的信噪比。d)噪聲抑制量：檢測(cè)被測(cè)系統(tǒng)的語(yǔ)音增強(qiáng)能力，即被測(cè)系統(tǒng)輸出信號(hào)的噪聲振幅相對(duì)于輸入信號(hào)的噪聲振幅的減少量。參數(shù)值計(jì)算方法見(jiàn)公式(4):式中：Dxr——噪聲抑制量；N——輸入信號(hào)頻譜頻率分量的總數(shù)量；Vn(n)——輸入信號(hào)中第n個(gè)噪聲信號(hào)的振幅；Vou(n)——輸出信號(hào)中第n個(gè)噪聲信號(hào)的振幅。e)聲源定位正確率：檢測(cè)被測(cè)系統(tǒng)的聲源定位能力，參數(shù)值計(jì)算方法為聲源定位正確次數(shù)除以聲源定位請(qǐng)求總次數(shù)。f)回聲返回衰減增益：檢測(cè)被測(cè)系統(tǒng)的回聲消除能力，參數(shù)值計(jì)算方法見(jiàn)公式(5):式中：ERLE——回聲返回衰減增益，單位為分貝[dB(A)];y(n)——期望回聲信號(hào)；e(n)——誤差信號(hào)。測(cè)試方法：前端信號(hào)處理效果測(cè)試方法如下?！獪y(cè)試數(shù)據(jù)：按照表1的要求制作測(cè)試數(shù)據(jù)集，此外，制作前、后靜音段時(shí)長(zhǎng)不少于3s的測(cè)試數(shù)據(jù)集，宜不少于200條測(cè)試語(yǔ)音，用于端點(diǎn)檢測(cè)準(zhǔn)確率測(cè)試?！獪y(cè)試工具：符合5.2的要求?！獪y(cè)試設(shè)備：符合5.3的要求。——測(cè)試環(huán)境：符合5.4的要求。——測(cè)試執(zhí)行：按照5.5的要求對(duì)被測(cè)系統(tǒng)進(jìn)行測(cè)試。——測(cè)試結(jié)果：按照測(cè)試內(nèi)容描述的方法得出系統(tǒng)運(yùn)行結(jié)果并生成結(jié)果文件，包括測(cè)試數(shù)據(jù)集名稱(chēng)、測(cè)試數(shù)據(jù)集數(shù)量、測(cè)試項(xiàng)結(jié)果等。系統(tǒng)運(yùn)行結(jié)果符合被測(cè)系統(tǒng)技術(shù)要求或相關(guān)標(biāo)準(zhǔn)規(guī)范則7.5說(shuō)話人分離效果測(cè)試內(nèi)容：說(shuō)話人分離效果測(cè)試項(xiàng)包括分離錯(cuò)誤率參數(shù)，檢測(cè)被測(cè)系統(tǒng)的說(shuō)話人分離能力，即被測(cè)系統(tǒng)分離錯(cuò)誤的語(yǔ)音片段時(shí)長(zhǎng)占整個(gè)有效語(yǔ)音片段時(shí)長(zhǎng)的比率。參數(shù)值計(jì)算方法見(jiàn)公式(6):式中：DER——分離錯(cuò)誤率；S——實(shí)際結(jié)果和系統(tǒng)輸出結(jié)果都包含同一個(gè)說(shuō)話人(對(duì))的說(shuō)話人片段數(shù)量；dur(s)—-片段s的時(shí)長(zhǎng)；Nre(s)——片段s中實(shí)際結(jié)果的數(shù)量；Nhyp(s)——片段s中系統(tǒng)輸出結(jié)果的數(shù)量；Norree(s)——片段s中系統(tǒng)輸出結(jié)果與實(shí)際結(jié)果正確對(duì)應(yīng)的數(shù)量。測(cè)試方法：說(shuō)