《智能語音交互質(zhì)量評價測試數(shù)據(jù)集要求》編制說明

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會

團體標(biāo)準(zhǔn)《智能語音交互質(zhì)量評價測試數(shù)據(jù)集要求》

（征求意見稿）編制說明

一、工作簡況

根據(jù)中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會2023年第一批團體標(biāo)準(zhǔn)制修訂項目通知，

中國電子技術(shù)標(biāo)準(zhǔn)化研究院負(fù)責(zé)《智能語音交互質(zhì)量評價測試數(shù)據(jù)集要求》（中

電標(biāo)通【2023】002號，項目編號：CESA-2023-002）標(biāo)準(zhǔn)的制定工作。本標(biāo)準(zhǔn)

由中國電子技術(shù)標(biāo)準(zhǔn)化研究院提出，由中國電子技術(shù)標(biāo)準(zhǔn)化研究院、中國電子工

業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會歸口。標(biāo)準(zhǔn)起草單位為中國電子技術(shù)標(biāo)準(zhǔn)化研究院、北京小米

移動軟件有限公司、北京百度網(wǎng)訊科技有限公司、思必馳科技股份有限公司、科

大訊飛股份有限公司、美的集團（上海）有限公司、中國移動通信集團有限公司、

華為終端有限公司、馬上消費金融股份有限公司、中國科學(xué)院軟件研究所、中科

南京軟件技術(shù)研究院等。

本標(biāo)準(zhǔn)的起草過程簡述如下：

2022年8月～2022年9月，中國電子技術(shù)標(biāo)準(zhǔn)化研究院牽頭組織有關(guān)單

位，在北京召開了本標(biāo)準(zhǔn)的立項籌備會。會議共有來自北京小米移動軟件有限公

司、美的集團（上海）有限公司、科大訊飛股份有限公司、思必馳科技股份有限

公司等4家單位的8位專家，對該標(biāo)準(zhǔn)的立項達(dá)成共識，共同收集相關(guān)資料，形

成標(biāo)準(zhǔn)草案大綱。

2022年10月～2022年12月，標(biāo)準(zhǔn)編制組成員多次組織專家進行討論，對

標(biāo)準(zhǔn)草案的技術(shù)內(nèi)容和格式進行修改完善，同時向相關(guān)單位和專家發(fā)送郵件，征

求相關(guān)單位的意見和建議。針對搜集到的意見和建議，起草組成員進行了深入細(xì)

致的研討，形成了《智能語音交互質(zhì)量評價測試數(shù)據(jù)集要求》標(biāo)準(zhǔn)草案。

2022年12月28日，中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會組織有關(guān)單位，在北

京召開了本標(biāo)準(zhǔn)的立項論證會。本次會議共有來自中國科學(xué)院聲學(xué)研究所、中國

科學(xué)院自動化研究所、青島海爾科技有限公司、上海小度技術(shù)有限公司等5家單

位的5名專家，對本標(biāo)準(zhǔn)進行了立項論證。專家組一致建議標(biāo)準(zhǔn)發(fā)起單位完善

標(biāo)準(zhǔn)立項建議書，盡快報請協(xié)會立項。該標(biāo)準(zhǔn)于2023年1月正式立項。

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會

會后，標(biāo)準(zhǔn)起草工作組多次召開了標(biāo)準(zhǔn)討論會，對專家提出的意見、建議進

行了認(rèn)真分析和總結(jié)，并進一步修改和完善標(biāo)準(zhǔn)草案，于2023年9月形成標(biāo)準(zhǔn)

征求意見稿。

二、標(biāo)準(zhǔn)編制原則和確定主要內(nèi)容的論據(jù)及解決的主要問題

本標(biāo)準(zhǔn)的制定工作遵循“統(tǒng)一性、協(xié)調(diào)性、適用性、一致性、規(guī)范性”的原

則，本著先進性、科學(xué)性、合理性和可操作性的原則，按照GB/T1.1-2020《標(biāo)

準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》給出的規(guī)則編寫。

本標(biāo)準(zhǔn)規(guī)定了智能語音交互服務(wù)在喚醒、語音識別、全雙工、意圖滿足、語

音合成等方面的測試集構(gòu)建的規(guī)范和要求。

本標(biāo)準(zhǔn)適用于對智能語音交互服務(wù)的整體或部分方面的評價。

本標(biāo)準(zhǔn)中主要內(nèi)容是語音交互質(zhì)量評價測試數(shù)據(jù)集要求，主要依據(jù)是電子標(biāo)

準(zhǔn)院已開展的智能語音交互系統(tǒng)產(chǎn)品測試過程和測試數(shù)據(jù)。

本標(biāo)準(zhǔn)解決的主要問題是，由于智能語音交互的評價涉及到多個維度，每個

評價維度的要求和測試方法不盡相同，因此需要對不同的測試數(shù)據(jù)集制定規(guī)范化

的構(gòu)建準(zhǔn)則和方法。測試數(shù)據(jù)集直接影響智能語音交互技術(shù)指標(biāo)的測試結(jié)果。大

部分智能語音交互的實施效果，需要通過成功率來評價，需要足夠多樣化及數(shù)量

的測試集才能保證評價的客觀性和準(zhǔn)確性。

三、主要試驗[或驗證]情況分析

本標(biāo)準(zhǔn)研制過程中，編制組結(jié)合電子標(biāo)準(zhǔn)院已開展的語音交互系統(tǒng)產(chǎn)品測試

總體水平數(shù)據(jù)，以及行業(yè)內(nèi)語音技術(shù)和產(chǎn)品發(fā)展現(xiàn)狀，論證技術(shù)要求的合理性。

四、知識產(chǎn)權(quán)情況說明

本標(biāo)準(zhǔn)不涉及知識產(chǎn)權(quán)。

五、產(chǎn)業(yè)化情況、推廣應(yīng)用論證和預(yù)期達(dá)到的經(jīng)濟效果

隨著語音技術(shù)的不斷發(fā)展，對語音數(shù)據(jù)集的需求也在逐步增加。為了提高語

音識別的準(zhǔn)確性和魯棒性，需要采集更大規(guī)模、更多元化的語音數(shù)據(jù)集。

智能語音交互技術(shù)廣泛使用了人工智能算法和模型，測試數(shù)據(jù)集直接影響智

能語音交互技術(shù)指標(biāo)的測試結(jié)果。語音測試數(shù)據(jù)集是智能語音交互質(zhì)量評價的基

礎(chǔ)和關(guān)鍵，對于不同的評價維度和測試方法，需要匹配相應(yīng)的測試數(shù)據(jù)集。

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會

本標(biāo)準(zhǔn)旨在規(guī)定喚醒、語音識別、全雙工、意圖滿足、語音合成等方面的測

試數(shù)據(jù)集要求，為智能語音交互質(zhì)量評價過程中測試數(shù)據(jù)集規(guī)范化構(gòu)建和選取提

供技術(shù)指引。

六、轉(zhuǎn)化國際標(biāo)準(zhǔn)和國外先進標(biāo)準(zhǔn)情況

無。

七、與現(xiàn)行相關(guān)法律、法規(guī)、規(guī)章及相關(guān)標(biāo)準(zhǔn)的協(xié)調(diào)性

本標(biāo)準(zhǔn)遵循現(xiàn)行法律、法規(guī)、規(guī)章及標(biāo)準(zhǔn)，與現(xiàn)有標(biāo)準(zhǔn)協(xié)調(diào)配套。

已有國家標(biāo)準(zhǔn)GB/T41813.1規(guī)定了語音測試集的分類方法，本標(biāo)準(zhǔn)將予以

參考和引用，但該國標(biāo)對智能語音交互質(zhì)量不同評價維度的測試數(shù)據(jù)集沒有明確

的詳細(xì)規(guī)定。

八、重大分歧意見的處理經(jīng)過和依據(jù)

無。

九、貫徹標(biāo)準(zhǔn)的要求和措施建議

該標(biāo)準(zhǔn)的有效實施將有助于為智能語音交互質(zhì)量評價提供依據(jù)支撐，有效提

升智能語音交互質(zhì)量評價的科學(xué)性和客觀性，從而帶動智能語音產(chǎn)業(yè)的高質(zhì)量發(fā)

展，建議盡快實施。

十、替代或廢止現(xiàn)行相關(guān)標(biāo)準(zhǔn)的建議

無。

十一、其它應(yīng)予說明的事項

無。

《智能語音交互質(zhì)量評價測試數(shù)據(jù)集要求》