GB/T 41813.2-2022 信息技術(shù) 智能語音交互測試方法 第2部分：語義理解（正式版）

ICS35.240.01GB/T41813.2—2022信息技術(shù)智能語音交互測試方法2022-10-12發(fā)布國家市場監(jiān)督管理總局國家標(biāo)準(zhǔn)化管理委員會IGB/T41813.2—2022 Ⅲ 1 1 1 1 25.1測試數(shù)據(jù)集 2 35.3測試環(huán)境 35.4測試執(zhí)行 35.5結(jié)果判定 3 36.1意圖理解 36.2命名實體識別 36.3敏感信息辨別 46.4語義拒識 46.5信息檢索 46.6文本相似度計算 46.7文本修改 46.8語義修正 4 56.10邏輯推理 56.11對話引導(dǎo) 56.12上下文相關(guān)的多輪會話 5 5 5 8 9附錄A(規(guī)范性)主觀體驗測試 A.1概述 A.2測試項 A.3測試方法 ⅢGB/T41813.2—2022本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本文件是GB/T41813《信息技術(shù)智能語音交互測試方法》的第2部分。GB/T41813已經(jīng)發(fā)布了以下部分：——第1部分：語音識別；——第2部分：語義理解。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(SAC/TC28)提出并歸口。為終端有限公司、深圳市優(yōu)必選科技股份有限公司、中國電信集團有限公司、思必馳科技股份有限公司、中國科學(xué)院自動化研究所、中國醫(yī)學(xué)科學(xué)院生物醫(yī)學(xué)工程研究所、哈爾濱工業(yè)大學(xué)、海信視像科技股份有限公司、馬上消費金融股份有限公司、騰訊科技(北京)有限公司、沈陽新松機器人自動化股份有限公有限公司、北京捷通華聲科技股份有限公司、北京百度網(wǎng)訊科技有限公司、深圳市北科瑞聲科技股份有網(wǎng)絡(luò)軟件產(chǎn)品質(zhì)量監(jiān)督檢驗中心(濟南)、華南理工大學(xué)、山東省計算中心(國家超級計算濟南中心)、神思電子技術(shù)股份有限公司、鄭州中業(yè)科技股份有限公司、中汽數(shù)據(jù)(天津)有限公司、中國電器科學(xué)研究院有限公司、中汽研(天津)汽車工程研究院有限公司、中科極限元(杭州)智能科技股份有限公司、北京愛數(shù)智慧科技有限公司。GB/T41813.2—2022了支撐智能語音交互系統(tǒng)的基礎(chǔ)性國家標(biāo)準(zhǔn)。在此基礎(chǔ)上，也需要用統(tǒng)一的測試方法和評價標(biāo)準(zhǔn)來對智能語音交互系統(tǒng)的能力進行評測，為智能語音交互相關(guān)的產(chǎn)品和服務(wù)提供評測GB/T41813《信息技術(shù)智能語音交互測試方法》為GB/T36464(所有部分)《信息技術(shù)智能語由三個部分構(gòu)成?！?部分：語音識別。目的在于為智能語音交互應(yīng)用中的語音識別環(huán)節(jié)提供通用測試項和通——第2部分：語義理解。目的在于為智能語音交互應(yīng)用中的語義理解環(huán)節(jié)提供通用測試項和通——第3部分：語音合成。目的在于為智能語音交互應(yīng)用中的語音合成環(huán)節(jié)提供通用測試項和通用測試方法。IN1信息技術(shù)智能語音交互測試方法第2部分：語義理解本文件描述了智能語音交互測試中語義理解系統(tǒng)的通用測試項和通用測試方法。本文件適用于智能語音服務(wù)提供商、用戶和第三方檢測機構(gòu)對智能語音交互應(yīng)用的語義理解系統(tǒng)測試的設(shè)計和實施。下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T36464(所有部分)信息技術(shù)智能語音交互系統(tǒng)3術(shù)語和定義GB/T36464(所有部分)界定的以及下列術(shù)語和定義適用于本文件。命名實體namedentity具有特指或唯一含義的指稱名字的實體。語音交互過程中需要系統(tǒng)執(zhí)行的任務(wù)或達成目標(biāo)。智能語音交互測試中的語義理解測試主要包括功能測試與性能測試，具體如下：——性能測試用于檢查被測系統(tǒng)中語義理解相關(guān)的各項性能，包括：語義理解效果、語義理解效率和系統(tǒng)穩(wěn)定性。測試過程中，應(yīng)依據(jù)被測系統(tǒng)技術(shù)規(guī)范進行在線/離線的功能和性能測試?？墒褂弥饔^體驗的方法進行測試，主觀體驗測試應(yīng)按照附錄A描述的測試項和測試方法執(zhí)行。本文件所列測試項可用于對2GB/T41813.2—2022GB/T36464(所有部分)中語義理解相關(guān)的功能和性能要求進行測試。5測試準(zhǔn)備和執(zhí)行在測試開始前，應(yīng)通過人工編寫或采集的方式制作測試數(shù)據(jù)集?？筛鶕?jù)不同測試項劃分出多個測試數(shù)據(jù)集，在實際測試時可根據(jù)需要選擇測試數(shù)據(jù)集。測試數(shù)據(jù)集類型和要求應(yīng)符合表1和表2的要求。序號文本分類數(shù)量1常用文本具有意圖表示的單字、詞語文本每類不少于5條2短語文本3單句文本4對話文本5段落文本6文章文本7特殊文本敏感信息文本每類不少于1000條8命名實體文本，如：人名、地名等，覆蓋已定義業(yè)務(wù)相關(guān)命名實體9特殊格式文本，如：數(shù)字、日期時間、英文大小寫等每類不少于5條特定語種文本，如：中文、英文、韓文等特殊字符集編碼文本特殊符號文本，如：逗號、句號、問號等異常文本亂碼文本每類不少于5條不支持語種文本序號測試數(shù)據(jù)分類文本要求數(shù)量1已定義場景或業(yè)務(wù)文本數(shù)據(jù)已定義場景或業(yè)務(wù)的文本數(shù)據(jù)應(yīng)在數(shù)據(jù)較多情況下，統(tǒng)計文本長度分布，根據(jù)此分布來控制文本長度數(shù)量分布；否則應(yīng)根據(jù)常用文本長度平均值的正態(tài)分布，控制不同文本長度數(shù)量分布文本類型應(yīng)符合表1的要求文本內(nèi)容宜為語音識別的輸出結(jié)果每個業(yè)務(wù)不少于200條人工編寫數(shù)據(jù)，可直接使用已有真實數(shù)據(jù)2已定義場景或業(yè)務(wù)的常用文本數(shù)據(jù)每個業(yè)務(wù)至少覆蓋3條已有真實數(shù)據(jù)，可持續(xù)收集3未定義場景或業(yè)務(wù)文本數(shù)據(jù)同領(lǐng)域，未定義場景或業(yè)務(wù)的一般文本數(shù)據(jù)每個業(yè)務(wù)至少覆蓋3條真實數(shù)據(jù)，可持續(xù)收集4同領(lǐng)域，未定義場景或業(yè)務(wù)的常用文本數(shù)據(jù)每個業(yè)務(wù)至少覆蓋3條真實數(shù)據(jù)，可持續(xù)收集5閑聊平均不少于5個字符不少于1000條人工編寫數(shù)據(jù)6異常文本數(shù)據(jù)每一條均不少于5個字符不少于100條人工編寫數(shù)據(jù)3GB/T41813.2—2022a)可編程測試工具要求如下：●應(yīng)能調(diào)用被測系統(tǒng)開放接口；●應(yīng)能接收文本數(shù)據(jù)并將其輸入至被測系統(tǒng)；●應(yīng)能進行功能測試及其相應(yīng)的性能測試；●應(yīng)能以文本形式獲取被測系統(tǒng)運行結(jié)果。b)測試統(tǒng)計工具要求如下：●應(yīng)能自動對系統(tǒng)運行結(jié)果和標(biāo)準(zhǔn)結(jié)果對比文件進行比對。c)資源監(jiān)測工具應(yīng)能監(jiān)測內(nèi)存、中央處理單元(CPU)、圖形處理單元(GPU)、句柄數(shù)等系統(tǒng)資源應(yīng)使用可編程測試工具和測試統(tǒng)計工具將測試數(shù)據(jù)集輸入到在線/離線狀態(tài)的被測系統(tǒng)中并獲取運行結(jié)果。6功能測試方法●關(guān)鍵詞抽取，被測系統(tǒng)能自動對文本中表達意圖的關(guān)鍵詞進行抽取；測試方法：按照表2中的已定義場景或業(yè)務(wù)文本數(shù)據(jù)的要求制作和測試統(tǒng)計工具將測試數(shù)據(jù)集輸入到被測系統(tǒng)并獲取運行結(jié)果，4GB/T41813.2—2022測試方法：按照表1中的中命名實體文本的要求制作測試數(shù)據(jù)集，使用可編程測試工具和測試統(tǒng)計工具將測試數(shù)據(jù)集輸入到被測系統(tǒng)并獲取運行結(jié)果，按照測試內(nèi)容的描述對結(jié)果6.3敏感信息辨別測試內(nèi)容：檢查被測系統(tǒng)是否提供根據(jù)上下文對測試方法：按照表1中的敏感信息文本的要求制作測試數(shù)據(jù)集，使用可編程測試工具和測試統(tǒng)計工6.4語義拒識測試內(nèi)容：檢查被測系統(tǒng)是否提供對無法處理或不應(yīng)當(dāng)處理的無效文本輸入內(nèi)容進行分辨和拒識的功能。測試方法：按照表2中的未定義場景或業(yè)務(wù)文本數(shù)據(jù)的要求制作測試數(shù)據(jù)集，使用可編程測試工具和測試統(tǒng)計工具將測試數(shù)據(jù)集輸入到被測系統(tǒng)并獲取運行結(jié)果，按照測試內(nèi)容的描述對結(jié)果進行判定。6.5信息檢索c)自定義知識庫檢索。測試方法：按照表2中的已定義場景或業(yè)務(wù)文本數(shù)據(jù)的要求制作測試數(shù)據(jù)集，使用可編程測試工具和測試統(tǒng)計工具將測試數(shù)據(jù)集輸入到被測系統(tǒng)并獲取運行結(jié)果，按照測試內(nèi)容的描述對結(jié)果進行判定。的功能。語義信息一致性類型包括但不限于以下具體方面。測試方法：按照表2中的已定義場景或業(yè)務(wù)文本數(shù)據(jù)的要求制作測試數(shù)據(jù)集，使用可編程測試工具和測試統(tǒng)計工具將測試數(shù)據(jù)集輸入到被測系統(tǒng)并獲取運行結(jié)果，按照測試內(nèi)容的描述對結(jié)果進行判定。6.7文本修改測試方法：按照表2中的已定義場景或業(yè)務(wù)文本數(shù)據(jù)的要求制作測試數(shù)據(jù)集，使用可編程測試工具和測試統(tǒng)計工具將測試數(shù)據(jù)集輸入到被測系統(tǒng)并獲取運行結(jié)果，按照測試內(nèi)容的描述對結(jié)果進行判定。6.8語義修正測試方法：按照表2中的已定義場景或業(yè)務(wù)文本數(shù)據(jù)的要求制作測試數(shù)據(jù)集，使用可編程測試工具和測試統(tǒng)計工具將測試數(shù)據(jù)集輸入到被測系統(tǒng)并獲取運行結(jié)果，按照測試內(nèi)容的描述對結(jié)果進行判定。5GB/T41813.2—2022a)簡單答復(fù)文本；c)理解和符合說話人的意圖的答復(fù)文本；d)說話人的意圖不明確時給出的合理的引導(dǎo)或推薦的答復(fù)文本。測試方法：按照表2中的已定義場景或業(yè)務(wù)文本數(shù)據(jù)的要求制作測試數(shù)據(jù)集，使用可編程測試工具和測試統(tǒng)計工具將測試數(shù)據(jù)集輸入到被測系統(tǒng)6.10邏輯推理測試方法：按照表2中的已定義場景或業(yè)務(wù)文本數(shù)據(jù)的要求制作測試數(shù)據(jù)集，使用可編程測試工具和測試統(tǒng)計工具將測試數(shù)據(jù)集輸入到被測系統(tǒng)6.11對話引導(dǎo)對其最終目的進行陳述的功能。引導(dǎo)提示用語包含但不限于以下具體內(nèi)容：a)個性化詞典；b)根據(jù)用戶行為習(xí)慣挖掘歸類的信息；c)已定義知識庫內(nèi)的知識；e)海量數(shù)據(jù)的檢索得到的關(guān)聯(lián)信息；f)拒識提示。測試方法：按照表2中的已定義場景或業(yè)務(wù)文本數(shù)據(jù)的要求制作測試數(shù)據(jù)集，使用可編程測試工具和測試統(tǒng)計工具將測試數(shù)據(jù)集輸入到被測系統(tǒng)6.12上下文相關(guān)的多輪會話a)對話狀態(tài)跟蹤；b)對話策略管理；d)歷史信息繼承。測試方法：按照表2中的已定義場景或業(yè)務(wù)文本數(shù)據(jù)的要求制作測試數(shù)據(jù)集，使用可編程測試工具和測試統(tǒng)計工具將測試數(shù)據(jù)集輸入到被測系統(tǒng)7性能測試方法6GB/T41813.2—2022折損累計增益等參數(shù)表征，具體參數(shù)描述和計算方法如下。a)精確率：檢測被測系統(tǒng)的語義理解能力，即被測系統(tǒng)對有效文本實際響應(yīng)正確的次數(shù)占所有文本響應(yīng)正確的總次數(shù)的比率。參數(shù)值計算方法見公式(1): (1)式中：Pss——語義理解精確率；Nss——有效文本實際響應(yīng)正確的次數(shù)；Ns——所有文本響應(yīng)正確的總次數(shù)。b)召回率：檢測被測系統(tǒng)的語義理解能力，即被測系統(tǒng)對有效文本實際響應(yīng)正確的次數(shù)占應(yīng)響應(yīng)正確的總次數(shù)的比率。參數(shù)值計算方法見公式(2):式中：Rss——語義理解召回率；Nss——有效文本實際響應(yīng)正確的次數(shù)；Nsc——有效文本應(yīng)響應(yīng)正確的總次數(shù)。c)拒識率：檢測被測系統(tǒng)的語義拒識能力，即被測系統(tǒng)對無效文本實際響應(yīng)正確的次數(shù)占無效文本輸入的總次數(shù)的比率。其中，無效文本包括被測系統(tǒng)不支持的或業(yè)務(wù)無關(guān)的文本數(shù)據(jù)和完全無意義的噪音數(shù)據(jù)。參數(shù)值計算方法見公式(3):式中：SR——語義拒識率；NsR——無效文本實際響應(yīng)正確的次數(shù)；NR——無效文本輸入的總次數(shù)。d)準(zhǔn)確率：檢測被測系統(tǒng)的語義理解能力，即被測系統(tǒng)對所有文本實際響應(yīng)正確次數(shù)占所有文本響應(yīng)的總次數(shù)的比率。參數(shù)值計算方法見公式(4):式中：Ass——語義理解準(zhǔn)確率；Nss———有效文本實際響應(yīng)正確的次數(shù)；NsR——無效文本實際響應(yīng)正確的次數(shù)；N——所有文本響應(yīng)的總次數(shù)。e)F?值：檢測被測系統(tǒng)的語義理解能力，即被測系統(tǒng)的語義理解精確率和語義理解召回率的加權(quán)調(diào)和平均值。參數(shù)值計算方法見公式(5):式中：F?——語義理解F?值；Pss——語義理解精確率；Rss——語義理解召回率?！璮)平均排序倒數(shù)：檢測被測系統(tǒng)的信息檢索能力，即正確結(jié)果在被測系統(tǒng)給出結(jié)果中的排序位置7GB/T41813.2—2022倒數(shù)的平均值。參數(shù)值計算方法見公式(6):…………(6)式中：MRR——平均排序倒數(shù)；Q——信息檢索的總次數(shù)；i——第i次信息檢索；rank;——在第i次信息檢索中正確結(jié)果出現(xiàn)的排序位置。g)歸一化折損累計增益：檢測被測系統(tǒng)的信息檢索能力，即被測系統(tǒng)給出結(jié)果的排序相關(guān)性評分與理想結(jié)果的排序相關(guān)性評分的比值。參數(shù)值計算方法見公式(7)、公式(8)和公式(9):DCG——-—折損累計增益；j——第j個檢索結(jié)果；rel;———第j個檢索結(jié)果的相關(guān)性評分。…………IDCG——理想結(jié)果折損累計增益；|RELkl——信息檢索結(jié)果個數(shù)按照相關(guān)性評分從大到小排序；j——第j個檢索結(jié)果；rel;——第j個檢索結(jié)果的相關(guān)性評分。NDCG=DCG/IDCG…………(9)NDCG——歸一化折損累計增益；DCG——折損累計增益；IDCG——理想結(jié)果折損累計增益。測試方法：語義理解效果測試可根據(jù)不同功能選擇適用測試指標(biāo)進行測試，不同功能及其適用的效果測試指標(biāo)對應(yīng)情況見表3。表3不同功能及其適用的效果測試指標(biāo)功能精確率召回率拒識率準(zhǔn)確率平均排序倒數(shù)歸一化折損累計增益意圖理解必選必選可選可選可選命名實體識別必選必選可選可選可選 敏感信息辨別必選必選可選可選可選語義拒識必選信息檢索可選可選可選可選必選文本修改可選必選可選可選可選語義修正必選必選可選可選可選8表3不同功能及其適用的效果測試指標(biāo)(續(xù))功能精確率召回率拒識率準(zhǔn)確率F1值平均排序倒數(shù)歸一化折損累計增益邏輯推理必選必選可選可選可選——上下文相關(guān)的多輪對話可選可選可選必選可選—只測語義抽取功能，語義信息抽取正確即為正確，不關(guān)注意圖理解是否正確。只測命名實體識別功能，命名實體識別正確即為正確，不關(guān)注意圖理解是否正確。c多輪對話測試中，應(yīng)選擇對話是否最終達成說話人的意圖來判斷是否正確。語義理解效果測試方法如下：——測試數(shù)據(jù)：按照表2的要求制作測試數(shù)據(jù)集，對各測試數(shù)據(jù)集所有的文本內(nèi)容進行人工標(biāo)注，并制作成標(biāo)準(zhǔn)結(jié)果對比文件；——測試工具：符合5.2的要求；——測試環(huán)境：符合5.3的要求；——測試執(zhí)行：按照5.4的要求對被測系統(tǒng)進行測試；——結(jié)果判定：按照表3給出的適用關(guān)系和測試內(nèi)容描述的方法得出系統(tǒng)運行結(jié)果并生成結(jié)果文件，包括測試數(shù)據(jù)集名稱、測試數(shù)據(jù)集數(shù)量、指標(biāo)項結(jié)果等。系統(tǒng)運行結(jié)果符合被測系統(tǒng)技術(shù)要求或相關(guān)標(biāo)準(zhǔn)規(guī)范則測試通過，否則不通過。7.2語義理解效率測試內(nèi)容：語義理解效率測試項用語義理解平均響應(yīng)時間、語義理解響應(yīng)時間分布和語義理解吞吐率等參數(shù)，具體參數(shù)描述如下。a)語義理解平均響應(yīng)時間：語義理解響應(yīng)時間指的是在輸入一條文本后，被測系統(tǒng)給出該條文本的語義理解結(jié)果的時間；語義理解平均響應(yīng)時間是測試數(shù)據(jù)集上所有語義理解響應(yīng)時間與輸入測試文本總條數(shù)的比值。參數(shù)值計算方法見公式(10): (10)式中：T;——測試樣本i對應(yīng)的語義理解時長；N——輸入測試文本總條數(shù)。b)語義理解響應(yīng)時間分布：此參數(shù)顯示測試數(shù)據(jù)集上所有語義理解響應(yīng)時間分布及其占比情況。宜統(tǒng)計100ms以下占比，100ms～200ms占比和200ms以上占比情況，實際測試時可根據(jù)需要劃分不同響應(yīng)時間區(qū)間。c)語義理解吞吐率：此參數(shù)描述一次性輸入包含大量(業(yè)務(wù)相關(guān))的測試文本數(shù)據(jù)集并一次性給出語義理解結(jié)果的效率，即被測系統(tǒng)在單位響應(yīng)時間內(nèi)語義理解的文本大小。參數(shù)值計算方法見公式(11):式中：TP——語義理解吞吐率；9GB/T41813.2—2022W——測試集；S;——測試集上樣本i對應(yīng)文本的大小，單位為千字節(jié)；T,——測試樣本i對應(yīng)的語義理解時長?！獪y試數(shù)據(jù)：按照表2的要求制作測試數(shù)據(jù)集。-—測試執(zhí)行：按照5.4的要求對被測系統(tǒng)進行測試?！Y(jié)果判定：按照測試內(nèi)容描述的方法得出系統(tǒng)運行結(jié)果并生成結(jié)果文件，包括測試數(shù)據(jù)集名統(tǒng)并發(fā)路數(shù)需滿足被測系統(tǒng)正常運行的能力。b)資源使用：檢測在給定的軟硬件配置和系統(tǒng)并發(fā)路數(shù)的條件下，被測系統(tǒng)運行6.1～6.12描述穩(wěn)的能力。給定的軟硬件配置和系統(tǒng)并發(fā)路數(shù)需滿足被測系統(tǒng)正常運行的能力。續(xù)不間斷向被測系統(tǒng)循環(huán)輸入測試文本，連續(xù)監(jiān)測系統(tǒng)運行情況和物理內(nèi)存、虛擬內(nèi)存、GB/T41813.2—2022(規(guī)范性)