TISC 0034-2023 連續(xù)語(yǔ)音識(shí)別測(cè)評(píng)指南

Testandassessmentguidelinesforcontinuous-speechrecog中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)發(fā)布 III 1 1 1 1 2 2 2 2 3 3 3 3 3 4 4 4 4 4 6 7請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專(zhuān)利的責(zé)任。（上海）股份有限公司、小沃科技有限公司、車(chē)智互聯(lián)（北京）科技有限公司、本文件主要起草人：劉美辰、韓晗、計(jì)哲、王魯華、張夏、寶軍、馬金龍、崔婷婷、孫艷慶、周維、李成飛、劉根華、張超、劉玉星、T/ISC0034—20231連續(xù)語(yǔ)音識(shí)別測(cè)評(píng)指南本文件提供了連續(xù)語(yǔ)音識(shí)別測(cè)試集、測(cè)評(píng)方法、測(cè)評(píng)指標(biāo)和測(cè)評(píng)報(bào)告的指本文件適用于連續(xù)語(yǔ)音識(shí)別系統(tǒng)開(kāi)發(fā)者、運(yùn)營(yíng)者及第三方測(cè)評(píng)機(jī)構(gòu)對(duì)語(yǔ)音識(shí)別系統(tǒng)的連續(xù)語(yǔ)音識(shí)GB/T21023-2007中文語(yǔ)音識(shí)別系統(tǒng)通T/ISC0034—2023CER字錯(cuò)誤率（CharacterErCSR連續(xù)語(yǔ)音識(shí)別（ContinuousSpeechRWCR詞正確率（WordCorrecMER混合錯(cuò)誤率（MixedError4概述錄制、基于語(yǔ)音識(shí)別標(biāo)準(zhǔn)庫(kù)和現(xiàn)場(chǎng)口呼的測(cè)試方法以及測(cè)評(píng)指標(biāo)和報(bào)告等提出相關(guān)建5測(cè)試集5.1測(cè)試語(yǔ)料設(shè)計(jì)b)對(duì)于中小詞匯量（系統(tǒng)所能識(shí)別的詞匯量在128~1023之間的系統(tǒng)c)對(duì)于大中詞匯量（系統(tǒng)所能識(shí)別的詞匯量大），d)對(duì)在詞匯、語(yǔ)法、語(yǔ)義等受到限制的連續(xù)語(yǔ)音，宜充分考慮句型、詞匯、語(yǔ)義等的覆蓋性；T/ISC0034—202335.2測(cè)試語(yǔ)音錄制宜建立語(yǔ)音識(shí)別標(biāo)準(zhǔn)庫(kù)。標(biāo)準(zhǔn)庫(kù)建立宜參考GB/T21023-2007的要求開(kāi)展，通過(guò)專(zhuān)業(yè)錄音麥克風(fēng)在消音室環(huán)境下組織錄制人員錄制，測(cè)試語(yǔ)音a)說(shuō)話人的選擇宜在符合系統(tǒng)對(duì)說(shuō)話人限制的條件下，盡可能選擇具有代表性和統(tǒng)計(jì)分布規(guī)律b)測(cè)試語(yǔ)音的發(fā)音人宜為30個(gè)人以上，每人發(fā)音測(cè)試語(yǔ)料中的一組或多組語(yǔ)料，不同發(fā)音人宜）；語(yǔ)音識(shí)別標(biāo)準(zhǔn)庫(kù)被測(cè)系統(tǒng)測(cè)評(píng)指標(biāo)計(jì)算識(shí)別結(jié)果導(dǎo)出被測(cè)系統(tǒng)連續(xù)語(yǔ)音識(shí)別的測(cè)評(píng)可采用基于語(yǔ)音識(shí)別標(biāo)準(zhǔn)庫(kù)或基于現(xiàn)場(chǎng)口呼的方式進(jìn)行。基于語(yǔ)音識(shí)別標(biāo)準(zhǔn)測(cè)試和基于現(xiàn)場(chǎng)口呼的測(cè)試環(huán)境為混響環(huán)境。測(cè)評(píng)時(shí)依實(shí)際情況選擇語(yǔ)音識(shí)別標(biāo)準(zhǔn)庫(kù)或現(xiàn)場(chǎng)口呼的方相關(guān)測(cè)評(píng)指標(biāo)并輸出測(cè)評(píng)報(bào)告。連續(xù)語(yǔ)音識(shí)別測(cè)評(píng)基本流程如圖1語(yǔ)音識(shí)別標(biāo)準(zhǔn)庫(kù)被測(cè)系統(tǒng)測(cè)評(píng)指標(biāo)計(jì)算識(shí)別結(jié)果導(dǎo)出被測(cè)系統(tǒng)提取語(yǔ)音文件高保真設(shè)備回放測(cè)評(píng)報(bào)告輸出現(xiàn)場(chǎng)口呼基于語(yǔ)音識(shí)別標(biāo)準(zhǔn)庫(kù)測(cè)試指采用錄制的語(yǔ)音數(shù)據(jù)對(duì)被測(cè)系統(tǒng)進(jìn)行直接或間接的測(cè)試，被測(cè)系統(tǒng)至a)直接測(cè)試指利用被測(cè)系統(tǒng)帶有的應(yīng)用程序輸入/輸出接口，直接利用語(yǔ)音識(shí)別標(biāo)準(zhǔn)庫(kù)中的語(yǔ)音b)間接測(cè)試指測(cè)評(píng)系統(tǒng)利用高保真回放設(shè)備把語(yǔ)音識(shí)別標(biāo)準(zhǔn)庫(kù)中的語(yǔ)音通過(guò)雙方認(rèn)可的方式輸T/ISC0034—20234現(xiàn)場(chǎng)口呼測(cè)試在參考5.1和5.2的基礎(chǔ)上，還宜對(duì)現(xiàn)場(chǎng)操作b)全部發(fā)音人測(cè)試結(jié)束后，統(tǒng)一按照性能標(biāo)準(zhǔn)進(jìn)行指標(biāo)評(píng)估，評(píng)估至少有兩個(gè)人以上參與；ErrorRate:WER），類(lèi)似的語(yǔ)種還有俄語(yǔ)、維語(yǔ)等。中文存在分詞歧義的問(wèn)題，因此一般統(tǒng)計(jì)字），T/ISC0034—2023語(yǔ)音識(shí)別測(cè)評(píng)后提交標(biāo)準(zhǔn)測(cè)評(píng)報(bào)告。報(bào)告宜由以下幾部1)被測(cè)系統(tǒng)所能處理的詞匯量等2)被測(cè)系統(tǒng)所能識(shí)別的說(shuō)話人人群的具體限制及適用范圍；3)被測(cè)系統(tǒng)所屬領(lǐng)域及應(yīng)用場(chǎng)景相關(guān)說(shuō)明，包括特定領(lǐng)域和應(yīng)用場(chǎng)景的語(yǔ)料設(shè)計(jì)說(shuō)明；4)被測(cè)系統(tǒng)麥克風(fēng)與說(shuō)話人的距離限制，麥克風(fēng)性能要求，支持的A/D轉(zhuǎn)換精度和采樣率b)按照GB/T21023-2007語(yǔ)音識(shí)別標(biāo)準(zhǔn)庫(kù)c)按照第7章定義的指標(biāo)，給出各測(cè)試語(yǔ)音識(shí)別d)測(cè)評(píng)過(guò)程的情況記錄，采用的測(cè)試方法及運(yùn)行過(guò)程的流暢性；T/ISC0034—2023當(dāng)語(yǔ)音錄制無(wú)法滿足各領(lǐng)域測(cè)評(píng)需求時(shí)，可通過(guò)對(duì)真實(shí)業(yè)務(wù)語(yǔ)音數(shù)據(jù)進(jìn)行采集和標(biāo)注來(lái)建立測(cè)試集。測(cè)試集內(nèi)容需要保證一定的詞匯量覆蓋和領(lǐng)域覆蓋，常見(jiàn)領(lǐng)域示例a)智能家電：包含智能音箱、智能電視、掃地機(jī)器人、陪伴機(jī)器人、可視門(mén)鈴、智能門(mén)鎖、智含“啟動(dòng)”，“打開(kāi)”，“關(guān)閉”，“返回”，“確認(rèn)”，“調(diào)大”，“調(diào)小”等；b)娛樂(lè)直播：包含游戲直播，帶貨直播，線上KTV，語(yǔ)聊房，短/長(zhǎng)視頻等泛娛樂(lè)內(nèi)容審核和語(yǔ)e)智能教育：包含一對(duì)一&一對(duì)多在線或線下課堂，涉及ASR的場(chǎng)景主要集中在口語(yǔ)測(cè)評(píng)和跟放”，“搜索”，“天氣”，“地址”，