《企業(yè)級(jí)人工智能應(yīng)用產(chǎn)品體驗(yàn)驗(yàn)收指南》

T/CAS1.1—2017

企業(yè)級(jí)人工智能應(yīng)用產(chǎn)品體驗(yàn)驗(yàn)收指南

1范圍

本標(biāo)準(zhǔn)提供了企業(yè)級(jí)人工智能應(yīng)用產(chǎn)品體驗(yàn)驗(yàn)收指南，給出以用戶(hù)體驗(yàn)為導(dǎo)向的人工智能應(yīng)用產(chǎn)品

體驗(yàn)驗(yàn)收的維度、驗(yàn)收的方法以及驗(yàn)收實(shí)施流程，旨在幫助人工智能應(yīng)用產(chǎn)品提升產(chǎn)品可用性、易用性

等產(chǎn)品質(zhì)量。

本標(biāo)準(zhǔn)適用于企業(yè)級(jí)人工智能應(yīng)用產(chǎn)品或集成人工智能模型于企業(yè)業(yè)務(wù)系統(tǒng)的應(yīng)用產(chǎn)品，其他同類(lèi)

具有高度業(yè)務(wù)屬性的應(yīng)用產(chǎn)品可參考使用；

本標(biāo)準(zhǔn)暫不適用于以個(gè)體用戶(hù)為主的個(gè)人用戶(hù)產(chǎn)品。

2規(guī)范性引用文件

下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

WCAG2.0Web內(nèi)容無(wú)障礙指南

GB/T29799-2013網(wǎng)頁(yè)內(nèi)容可訪(fǎng)問(wèn)性指南

GB/T25000.51-2016系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評(píng)價(jià)（SQuaRE）

GB/T29836.3-2013系統(tǒng)與軟件易用性第3部分：測(cè)評(píng)方法

3術(shù)語(yǔ)和定義

下列術(shù)語(yǔ)和定義適用于本文件。

3.1人工智能企業(yè)級(jí)服務(wù)應(yīng)用產(chǎn)品EnterpriseServiceApplicationProduct

人工智能企業(yè)級(jí)服務(wù)應(yīng)用產(chǎn)品是利用人工智能為底層技術(shù)，并面向商業(yè)和組織需求設(shè)計(jì)的業(yè)務(wù)應(yīng)用

產(chǎn)品。

注：企業(yè)級(jí)服務(wù)通常指面向企業(yè)的服務(wù)，服務(wù)范圍涵蓋企業(yè)發(fā)展過(guò)程中以再生產(chǎn)為目標(biāo)的方方面面。

產(chǎn)品的購(gòu)買(mǎi)者通常為正式機(jī)構(gòu)、組織。

3.2目標(biāo)用戶(hù)targetusers

目標(biāo)用戶(hù)是指在產(chǎn)品、服務(wù)、應(yīng)用設(shè)計(jì)中，開(kāi)發(fā)者或設(shè)計(jì)團(tuán)隊(duì)明確定義的特定用戶(hù)群體。

3.3核心任務(wù)coretasks

4

T/CAS1.1—2017

核心任務(wù)是指在特定工作中，最為關(guān)鍵和高頻的任務(wù)或活動(dòng)，它們對(duì)于實(shí)現(xiàn)成功和達(dá)成目標(biāo)至關(guān)重

要。如果它們沒(méi)有得到有效執(zhí)行，將會(huì)對(duì)工作流程產(chǎn)生顯著的不利影響。

其中任務(wù)沿用

4體驗(yàn)驗(yàn)收指標(biāo)體系與評(píng)價(jià)標(biāo)準(zhǔn)

體驗(yàn)驗(yàn)收指標(biāo)體系希望建立一套能夠保障用戶(hù)在使用人工智能企業(yè)級(jí)服務(wù)應(yīng)用產(chǎn)品時(shí)順利高效完

整核心任務(wù)的產(chǎn)品體驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)，進(jìn)而達(dá)成業(yè)務(wù)目標(biāo)。指標(biāo)體系由6個(gè)一級(jí)評(píng)價(jià)維度、20個(gè)二級(jí)考察指

標(biāo)以及指標(biāo)優(yōu)先級(jí)劃分標(biāo)準(zhǔn)，共同組合成一套體驗(yàn)驗(yàn)收指標(biāo)體系。請(qǐng)見(jiàn)表1.體驗(yàn)驗(yàn)收指標(biāo)體系

評(píng)估重要性級(jí)別具體檢查項(xiàng)

類(lèi)型

實(shí)用Block(P0)1.總的來(lái)說(shuō)，使用該產(chǎn)品/功能可以使用戶(hù)達(dá)成上述所定義的目

性標(biāo)

可學(xué)Block(P0)2.在使用該產(chǎn)品/功能時(shí)，用戶(hù)可以時(shí)刻明確當(dāng)前界面的任務(wù)

習(xí)性Critical(P1)3.在使用該產(chǎn)品/功能時(shí)，當(dāng)用戶(hù)感到迷惑時(shí)，可通過(guò)產(chǎn)品內(nèi)提供

的解釋說(shuō)明或幫助手冊(cè)解決

Major(P2)4.在使用該產(chǎn)品/功能時(shí)，用戶(hù)所接觸到的現(xiàn)有概念符合其認(rèn)知

Major(P2)5.在使用該產(chǎn)品/功能時(shí)，對(duì)所接觸到的產(chǎn)品獨(dú)特概念，用戶(hù)可

以在產(chǎn)品中找到其清晰的解釋

Major(P2)6.在使用該產(chǎn)品/功能時(shí)，用戶(hù)認(rèn)為產(chǎn)品的導(dǎo)航劃分方式是合理

的

Critical(P1)7.在使用該產(chǎn)品/功能時(shí)，用戶(hù)所需操作是能夠被用戶(hù)找到的

Major(P2)8.在使用該產(chǎn)品/功能時(shí)，用戶(hù)認(rèn)為產(chǎn)品所用的色彩、圖標(biāo)、插

圖可被辨識(shí)且符合其認(rèn)知

效率Major(P2)9.在使用該產(chǎn)品/功能時(shí)，用戶(hù)不必進(jìn)行任何大量的、重復(fù)性的

操作即可完成任務(wù)

Major(P2)10.在使用該產(chǎn)品/功能時(shí)，用戶(hù)不必進(jìn)行任何有難度的精確控制

即完成任務(wù)

Major(P2)11.在使用該產(chǎn)品/功能時(shí)，涉及多角色、不同權(quán)限的任務(wù)符合用

戶(hù)的協(xié)作模式

5

T/CAS1.1—2017

評(píng)估重要性級(jí)別具體檢查項(xiàng)

類(lèi)型

可記Major(P2)12.在使用該產(chǎn)品/功能時(shí)，用戶(hù)不必記憶任何不屬于當(dāng)前操作界

憶性面的信息

Major(P2)13.在使用該產(chǎn)品/功能時(shí)，用戶(hù)應(yīng)隨時(shí)感知他操作的對(duì)象所處的

狀態(tài)

防錯(cuò)Major(P2)14.在使用該產(chǎn)品/功能時(shí)，除非在操作前向用戶(hù)提供告警，否則

性所有關(guān)鍵操作均允許用戶(hù)撤銷(xiāo)

Critical(P1)15.在使用該產(chǎn)品/功能時(shí)，用戶(hù)可以隨時(shí)返回上一個(gè)層級(jí)/來(lái)源

頁(yè)

Major(P2)16.在使用該產(chǎn)品/功能時(shí)，用戶(hù)每次在執(zhí)行有風(fēng)險(xiǎn)的命令前，均

會(huì)接收到二次確認(rèn)，以便其了解操作風(fēng)險(xiǎn)

Critical(P1)17.在使用該產(chǎn)品/功能時(shí)，如發(fā)生錯(cuò)誤，用戶(hù)可以獲取到易于理

解的錯(cuò)誤原因說(shuō)明及解決錯(cuò)誤的方法

視覺(jué)Critical(P1)18.該產(chǎn)品/功能中所使用的品牌及Logo符合公司規(guī)范

品牌Major(P2)19.該產(chǎn)品/功能中所使用的字體、圖標(biāo)、圖片等設(shè)計(jì)元素?zé)o版

權(quán)風(fēng)險(xiǎn)

Critical(P1)20.該產(chǎn)品/功能中，與客戶(hù)定制化相關(guān)的品牌、Logo、文案等信

息沒(méi)有錯(cuò)誤

表1.體驗(yàn)驗(yàn)收指標(biāo)體系

4.1評(píng)價(jià)維度說(shuō)明

一級(jí)維度基于用戶(hù)任務(wù)視角，強(qiáng)調(diào)用戶(hù)目標(biāo)達(dá)成與系統(tǒng)的可學(xué)習(xí)型，具體如下：

評(píng)價(jià)維度維度說(shuō)明

實(shí)用性關(guān)注的是用戶(hù)目標(biāo)能否通過(guò)產(chǎn)品達(dá)成。

可學(xué)習(xí)性從界面呈現(xiàn)內(nèi)容角度，圍繞產(chǎn)品的信息結(jié)構(gòu)、視覺(jué)元素、功能概念等方面建立指標(biāo)，關(guān)

注用戶(hù)對(duì)產(chǎn)品理解的容易程度。

效率從功能操作角度，圍繞完成任務(wù)的操作步驟是否便捷無(wú)冗余、提供多角色協(xié)同支持等方

面建立指標(biāo)，關(guān)注用戶(hù)完成任務(wù)的效率。

可記憶性將時(shí)間維度加入可用性度量，在用戶(hù)長(zhǎng)期使用過(guò)程中確保產(chǎn)品提供一定記憶性。

防錯(cuò)性對(duì)于用戶(hù)使用期間的容錯(cuò)性功能進(jìn)行評(píng)價(jià)。

6

T/CAS1.1—2017

視覺(jué)品牌主要圍繞品牌視覺(jué)使用的規(guī)范性、版權(quán)問(wèn)題、定制化合規(guī)等角度進(jìn)行評(píng)價(jià)。

表2.評(píng)價(jià)維度說(shuō)明

4.2指標(biāo)優(yōu)先級(jí)劃分標(biāo)準(zhǔn)

在指標(biāo)體系建立的過(guò)程中我們緊密聚焦用戶(hù)目標(biāo)任務(wù)，因此20個(gè)二級(jí)指標(biāo)的優(yōu)先級(jí)劃分主要以其對(duì)

任務(wù)的完成的影響作為依據(jù)，按印象的嚴(yán)重程度由大到小，優(yōu)先級(jí)劃分為以下5種：

優(yōu)先級(jí)優(yōu)先級(jí)對(duì)應(yīng)問(wèn)題嚴(yán)重程度說(shuō)明

Block(P0)用戶(hù)要執(zhí)行的核心任務(wù)完全不可用的問(wèn)題。如不修復(fù)這類(lèi)問(wèn)題，用戶(hù)將認(rèn)為自己無(wú)法通過(guò)產(chǎn)品

完成目標(biāo)

Critical(P1)導(dǎo)致某些核心功能不可用的問(wèn)題。如不修復(fù)這類(lèi)問(wèn)題，用戶(hù)將認(rèn)為產(chǎn)品令其感到氣憤或痛苦

Major(P2)可以正常使用、但極大影響用戶(hù)使用效率的問(wèn)題。如不修復(fù)這類(lèi)問(wèn)題，用戶(hù)將認(rèn)為產(chǎn)品體驗(yàn)是

不友好的

Minor(P3)非體驗(yàn)行業(yè)專(zhuān)業(yè)用戶(hù)可察覺(jué)的界面樣式、交互動(dòng)效等問(wèn)題。如不修復(fù)這類(lèi)問(wèn)題，用戶(hù)認(rèn)為產(chǎn)品

設(shè)計(jì)品質(zhì)較低

Trivial(P4)僅體驗(yàn)行業(yè)專(zhuān)業(yè)用戶(hù)可察覺(jué)的微小的界面問(wèn)題。如不修復(fù)這類(lèi)問(wèn)題，將不會(huì)影響用戶(hù)對(duì)產(chǎn)品的

整體滿(mǎn)意度

表3.指標(biāo)優(yōu)先級(jí)

4.3分級(jí)評(píng)價(jià)標(biāo)準(zhǔn)

為了能夠適用于不同發(fā)版產(chǎn)品的情況，我們基于產(chǎn)品可售賣(mài)客戶(hù)數(shù)為不同版本分別制定評(píng)審標(biāo)準(zhǔn)，

評(píng)審范圍。產(chǎn)品版本分級(jí)評(píng)價(jià)標(biāo)準(zhǔn)具體如下：

版本類(lèi)別最大可支持客戶(hù)數(shù)版本標(biāo)準(zhǔn)

概念版11、無(wú)block級(jí)體驗(yàn)問(wèn)題（預(yù)案支持）

體驗(yàn)版51、無(wú)block級(jí)體驗(yàn)問(wèn)題

2、無(wú)critical級(jí)體驗(yàn)問(wèn)題

3、其余交互體驗(yàn)部分（預(yù)案支持）

搶鮮版101、無(wú)block級(jí)體驗(yàn)問(wèn)題

2、無(wú)critical級(jí)體驗(yàn)問(wèn)題

3、其余交互體驗(yàn)部分（預(yù)案支持）

7

T/CAS1.1—2017

版本類(lèi)別最大可支持客戶(hù)數(shù)版本標(biāo)準(zhǔn)

預(yù)覽版301、無(wú)block級(jí)體驗(yàn)問(wèn)題

2、無(wú)critical級(jí)體驗(yàn)問(wèn)題

3、Major級(jí)體驗(yàn)問(wèn)題（預(yù)案支持）

正式版30以上1、無(wú)block級(jí)體驗(yàn)問(wèn)題

2、無(wú)critical級(jí)體驗(yàn)問(wèn)題

3、無(wú)major級(jí)體驗(yàn)問(wèn)題

表4.產(chǎn)品版本分級(jí)評(píng)價(jià)標(biāo)準(zhǔn)

說(shuō)明1：“預(yù)案”需保證公司品牌不受影響，“預(yù)案支持”即產(chǎn)品出現(xiàn)對(duì)應(yīng)問(wèn)題有對(duì)應(yīng)方案保障

說(shuō)民2:發(fā)布的版本售賣(mài)客戶(hù)數(shù)越多，相應(yīng)的度量指標(biāo)也會(huì)越嚴(yán)格，評(píng)審標(biāo)準(zhǔn)增加一定靈活性與適

用度。

5驗(yàn)收流程

5.1驗(yàn)收小組人員選定

驗(yàn)收小組成員包括：主持人、評(píng)審專(zhuān)家、測(cè)試用戶(hù)、業(yè)務(wù)方代表。其中各成員應(yīng)具備以下相關(guān)條件

如下：

1）主持人：具有公平公正、合理溝通的基本素養(yǎng)；熟悉驗(yàn)收流程和相關(guān)文件信息；了解驗(yàn)收產(chǎn)品

的產(chǎn)品架構(gòu)、用戶(hù)需求和判定條件。

2）評(píng)審專(zhuān)家：具有客觀(guān)公正的基本素質(zhì)；熟悉用戶(hù)體驗(yàn)、人工智能的基本知識(shí)和相關(guān)業(yè)務(wù)知識(shí)；

接受過(guò)相關(guān)培訓(xùn)，清楚了解測(cè)試的目標(biāo)、范圍和標(biāo)準(zhǔn)，以便能夠評(píng)估測(cè)試文檔的一致性。評(píng)審專(zhuān)家除了

在用戶(hù)測(cè)試過(guò)程中進(jìn)行評(píng)估外，自身也要進(jìn)行啟發(fā)式評(píng)估，以熟悉測(cè)試功能，和提供專(zhuān)業(yè)視角，對(duì)于用

戶(hù)忽略的問(wèn)題，以及難以界定的情形會(huì)給出專(zhuān)業(yè)視角的補(bǔ)充。

3）測(cè)試用戶(hù)：應(yīng)該代表產(chǎn)品或服務(wù)的潛在最終用戶(hù)。技能、知識(shí)儲(chǔ)備等需要與最終用戶(hù)畫(huà)像一致，

測(cè)試前會(huì)評(píng)估用戶(hù)的角色定位、角色權(quán)限、使用場(chǎng)景、行為特點(diǎn)/規(guī)律，與目標(biāo)用戶(hù)畫(huà)像的匹配度偏差

不能超過(guò)50%，以確保他們的反饋和行為能夠代表實(shí)際用戶(hù)的需求和期望；不能與測(cè)試結(jié)果有相關(guān)的利

益沖突，以確保他們能夠提供客觀(guān)的反饋。參與測(cè)試的用戶(hù)要求不少于2名。

測(cè)試用戶(hù)人數(shù)說(shuō)明：企業(yè)服務(wù)產(chǎn)品中的用戶(hù)代表的是一種組織中的某個(gè)角色。無(wú)論性別、年齡、地

區(qū)有何差異，他們都是一類(lèi)角色，具有相對(duì)一致的職業(yè)屬性。因此產(chǎn)品的功能設(shè)計(jì)的主要依據(jù)就是企業(yè)

對(duì)角色的業(yè)務(wù)定位和考核目標(biāo)，因此在外部用戶(hù)數(shù)量上我們?cè)贜ielsen提出的測(cè)試5人就能發(fā)現(xiàn)85%的

可用性問(wèn)題的理論基礎(chǔ)上進(jìn)行了進(jìn)一步縮減，因此要求測(cè)試用戶(hù)至少2名。

4）業(yè)務(wù)方代表：具有實(shí)事求是的基本素養(yǎng)；熟悉驗(yàn)收產(chǎn)品的產(chǎn)品架構(gòu)、需求背景、業(yè)務(wù)方向和用

戶(hù)信息；可以負(fù)責(zé)組織產(chǎn)品后續(xù)的迭代。

8

T/CAS1.1—2017

5.2驗(yàn)收實(shí)施流程

5.2.1籌備階段

1）業(yè)務(wù)方明確產(chǎn)品相關(guān)的背景、測(cè)試邊界與協(xié)助形式、產(chǎn)品版本與分級(jí)信息；

2）業(yè)務(wù)方確定測(cè)試用戶(hù)。業(yè)務(wù)方在測(cè)試執(zhí)行前要為評(píng)審小組明確產(chǎn)品的目標(biāo)用戶(hù)用戶(hù)畫(huà)像，并負(fù)

責(zé)聯(lián)系真實(shí)用戶(hù)作為測(cè)試對(duì)象。

3）業(yè)務(wù)方確定評(píng)估邊界。業(yè)務(wù)方需明確本次測(cè)試任務(wù)，任務(wù)范圍與發(fā)版材料中的主干任務(wù)一致。

此外業(yè)務(wù)方還需明確測(cè)試時(shí)為用戶(hù)提供的預(yù)設(shè)情景。

4）業(yè)務(wù)方提供穩(wěn)定的測(cè)試環(huán)境、賬號(hào)等必要信息

5）業(yè)務(wù)方/產(chǎn)品設(shè)計(jì)師根據(jù)主干任務(wù)以及以上信息完成驗(yàn)收信息收集，表中除了包括用戶(hù)信息、環(huán)

境、驗(yàn)收時(shí)間時(shí)間、目標(biāo)等基本信息外，還需要寫(xiě)出每項(xiàng)用戶(hù)任務(wù)可以判定成功的標(biāo)準(zhǔn)，后續(xù)專(zhuān)家會(huì)結(jié)

合此判定標(biāo)準(zhǔn)對(duì)任務(wù)通過(guò)情況進(jìn)行判斷。詳情請(qǐng)見(jiàn)：表5.驗(yàn)收信息收集

產(chǎn)品版本產(chǎn)品分級(jí)驗(yàn)收時(shí)間

對(duì)應(yīng)級(jí)別重要性程

度級(jí)別要求

邊界/協(xié)助范圍

目標(biāo)用戶(hù)

角色定位角色權(quán)限業(yè)務(wù)熟練度

行為特點(diǎn)/規(guī)律使用場(chǎng)景

待測(cè)用戶(hù)

姓名職位是否為真實(shí)用戶(hù)匹配

度偏

差

可驗(yàn)收時(shí)間驗(yàn)收?qǐng)鏊?yàn)收環(huán)境

輔助工具錄像設(shè)備音頻設(shè)備驗(yàn)收設(shè)備其他：

產(chǎn)品目標(biāo)

序號(hào)目標(biāo)簡(jiǎn)介（根據(jù)此版本項(xiàng)目需求轉(zhuǎn)換成用戶(hù)可理解的任務(wù)目標(biāo)）

1

2

驗(yàn)收指標(biāo)體系判斷條件表

9

T/CAS1.1—2017

任務(wù)一名稱(chēng)

步驟補(bǔ)充材料判定標(biāo)準(zhǔn)結(jié)果反饋反饋備注

表5.驗(yàn)收信息收集表

5.2.2信息審核

1）專(zhuān)家評(píng)審根據(jù)產(chǎn)品的立項(xiàng)材料確認(rèn)其版本分級(jí)對(duì)應(yīng)的驗(yàn)收評(píng)審要求。

2）專(zhuān)家評(píng)審根據(jù)產(chǎn)品的立項(xiàng)材料確認(rèn)其需求范圍及需求等級(jí)，以此判斷業(yè)務(wù)方給出的任務(wù)流程是

否合理。

3）專(zhuān)家評(píng)審測(cè)試前確認(rèn)任務(wù)流程與了解版本功能，各自獨(dú)立模擬用戶(hù)完成特定任務(wù)，給出基于任

務(wù)的指標(biāo)達(dá)成情況判定。

4）表格審核后確定最終測(cè)試執(zhí)行時(shí)間、地點(diǎn)。

5.2.3執(zhí)行階段

測(cè)試執(zhí)行階段參考標(biāo)準(zhǔn)

1）為避免真實(shí)用戶(hù)臨場(chǎng)緊張或受到干擾，評(píng)審組成員不與測(cè)試用戶(hù)在一個(gè)空間，通常通過(guò)共享屏

幕查看真實(shí)用戶(hù)操作。

2）主持人提供任務(wù)書(shū)給測(cè)試用戶(hù)，簡(jiǎn)述背景任務(wù)以及注意事項(xiàng)。

3）在測(cè)試過(guò)程中允許用戶(hù)按照發(fā)版計(jì)劃接受一定程度的幫助。例如如果產(chǎn)品本身承諾為客戶(hù)提供

了使用手冊(cè)、電話(huà)咨詢(xún)等協(xié)助，那在測(cè)試過(guò)程中，允許測(cè)試用戶(hù)進(jìn)行該范圍內(nèi)的支持。

4）測(cè)試過(guò)程中評(píng)審小組觀(guān)察用戶(hù)使用情況，發(fā)現(xiàn)問(wèn)題點(diǎn)后，比照表格查看是否在考察項(xiàng)范圍，如

果在考察范圍內(nèi)，則將其記錄在對(duì)應(yīng)問(wèn)題點(diǎn)后。結(jié)合用戶(hù)完成任務(wù)情況和走查結(jié)果給出各個(gè)指標(biāo)的判定

結(jié)果，并綜合版本可用性要求，經(jīng)過(guò)幾位專(zhuān)家溝通給出最終一致的評(píng)審結(jié)果。

5.2.4統(tǒng)計(jì)復(fù)盤(pán)

1）在統(tǒng)計(jì)復(fù)盤(pán)階段，評(píng)審小組統(tǒng)計(jì)每個(gè)指標(biāo)項(xiàng)中問(wèn)題的數(shù)量。根據(jù)各檢查項(xiàng)重要性級(jí)別，得到各

級(jí)別下問(wèn)題的數(shù)量，并根據(jù)整體的質(zhì)量標(biāo)準(zhǔn)進(jìn)行判定。

2）完成驗(yàn)收?qǐng)?bào)告。報(bào)告重點(diǎn)用于梳理和記錄驗(yàn)收過(guò)程中發(fā)現(xiàn)的問(wèn)題，例如任務(wù)范圍、內(nèi)容、驗(yàn)收

結(jié)果、指標(biāo)統(tǒng)計(jì)和各項(xiàng)指標(biāo)的達(dá)成結(jié)果以及改進(jìn)意見(jiàn)等，具體報(bào)告請(qǐng)見(jiàn)表格6.驗(yàn)收?qǐng)?bào)告。

3）如未通過(guò)測(cè)試，需由業(yè)務(wù)方與相關(guān)人員同步問(wèn)題，闡述失敗原因，修改后由項(xiàng)目經(jīng)理重新預(yù)約

新一輪測(cè)試。

10

T/CAS1.1—2017

產(chǎn)品名稱(chēng)：測(cè)試用戶(hù)：

產(chǎn)品對(duì)應(yīng)分級(jí)及體驗(yàn)要求：用戶(hù)角色：

標(biāo)準(zhǔn)說(shuō)明問(wèn)題統(tǒng)計(jì)

體驗(yàn)檢查項(xiàng)的重要性程度的級(jí)別劃分：

Block(P0)問(wèn)題數(shù)量

Block(P0)：

用戶(hù)要執(zhí)行的核心任務(wù)完全不可用的問(wèn)題。如不修復(fù)這類(lèi)問(wèn)題，

用戶(hù)將認(rèn)為自己無(wú)法通過(guò)產(chǎn)品完成目標(biāo)Critical(P1)問(wèn)題數(shù)量

Critical(P1)：

導(dǎo)致某些核心功能不可用的問(wèn)題。如不修復(fù)這類(lèi)問(wèn)題，用戶(hù)將認(rèn)

Major(P2)問(wèn)題數(shù)量

為產(chǎn)品令其感到氣憤或痛苦

Major(P2)：

可以正常使用、但極大影響用戶(hù)使用效率的問(wèn)題。如不修復(fù)這類(lèi)

Minor(P3)問(wèn)題數(shù)量

問(wèn)題，用戶(hù)將認(rèn)為產(chǎn)品體驗(yàn)是不友好的

Minor(P3)：

非體驗(yàn)行業(yè)專(zhuān)業(yè)用戶(hù)可察覺(jué)的界面樣式、交互動(dòng)效等問(wèn)題。如不Trivial(P4)問(wèn)題數(shù)量

修復(fù)這類(lèi)問(wèn)題，用戶(hù)認(rèn)為產(chǎn)品設(shè)計(jì)品質(zhì)較低

Trivial(P4)：

總計(jì)問(wèn)題數(shù)

僅體驗(yàn)行業(yè)專(zhuān)業(yè)用戶(hù)可察覺(jué)的微小的界面問(wèn)題。如不修復(fù)這類(lèi)問(wèn)

題，將不會(huì)影響用戶(hù)對(duì)產(chǎn)品的整體滿(mǎn)意度

任務(wù)評(píng)估

評(píng)估類(lèi)別重要級(jí)別具體檢查項(xiàng)是否通過(guò)存在的問(wèn)題

1.總的來(lái)說(shuō)，使用該產(chǎn)品/功能可以使用戶(hù)達(dá)

實(shí)用性Block（0）

成上述所定義的目標(biāo)

2.在使用該產(chǎn)品/功能時(shí)，用戶(hù)可以時(shí)刻明確

可學(xué)習(xí)性Block（0）

當(dāng)前界面的任務(wù)

Critical(P1)3.在使用該產(chǎn)品/功能時(shí)，當(dāng)用戶(hù)感到迷惑時(shí)，

可通過(guò)產(chǎn)品內(nèi)提供的解釋說(shuō)明或幫助手冊(cè)解

決

Major(P2)4.在使用該產(chǎn)品/功能時(shí)，用戶(hù)所接觸到的現(xiàn)

有概念符合其認(rèn)知

Major(P2)5.在使用該產(chǎn)品/功能時(shí)，對(duì)所接觸到的產(chǎn)品

獨(dú)特概念，用戶(hù)可以在產(chǎn)品中找到其清晰的解

釋

Major(P2)6.在使用該產(chǎn)品/功能時(shí)，用戶(hù)認(rèn)為產(chǎn)品的導(dǎo)

航劃分方式是合理的

Critical(P1)7.在使用該產(chǎn)品/功能時(shí)，用戶(hù)所需操作是能

夠被用戶(hù)找到的

1

T/CAS1.1—2017

Major(P2)8.在使用該產(chǎn)品/功能時(shí)，用戶(hù)認(rèn)為產(chǎn)品所用

的色彩、圖標(biāo)、插圖可被辨識(shí)且符合其認(rèn)知

Major(P2)9.在使用該產(chǎn)品/功能時(shí)，用戶(hù)不必進(jìn)行任何

效率

大量的、重復(fù)性的操作即可完成任務(wù)

Major(P2)10.在使用該產(chǎn)品/功能時(shí)，用戶(hù)不必進(jìn)行任何

有難度的精確控制即完成任務(wù)

Major(P2)11.在使用該產(chǎn)品/功能時(shí)，涉及多角色、不同

權(quán)限的任務(wù)符合用戶(hù)的協(xié)作模式

Major(P2)12.在使用該產(chǎn)品/功能時(shí)，用戶(hù)不必記憶任何

可記憶性

不屬于當(dāng)前操作界面的信息

Major(P2)13.在使用該產(chǎn)品/功能時(shí)，用戶(hù)應(yīng)隨時(shí)感知他

操作的對(duì)象所處的狀態(tài)

Major(P2)14.在使用該產(chǎn)品/功能時(shí)，除非在操作前向用

出錯(cuò)

戶(hù)提供告警，否則所有關(guān)鍵操作均允許用戶(hù)撤

銷(xiāo)

Critical(P1)15.在使用該產(chǎn)品/功能時(shí)，用戶(hù)可以隨時(shí)返回

上一個(gè)層級(jí)/來(lái)源頁(yè)

Major(P2)16.在使用該產(chǎn)品/功能時(shí)，用戶(hù)每次在執(zhí)行有

風(fēng)險(xiǎn)的命令前，均會(huì)接收到二次確認(rèn)，以便其

了解操作風(fēng)險(xiǎn)

Critical(P1)17.在使用該產(chǎn)品/功能時(shí)，如發(fā)生錯(cuò)誤，用戶(hù)

可以獲取到易于理解的錯(cuò)誤原因說(shuō)明及解決

錯(cuò)誤的方法

Critical(P1)18.該產(chǎn)品/功能中所使用的品牌及Logo符合

視覺(jué)品牌

公司規(guī)范

Major(P2)19.該產(chǎn)品/功能中所使用的字體、圖標(biāo)、圖

片等設(shè)計(jì)元素?zé)o版權(quán)風(fēng)險(xiǎn)

Critical(P1)20.該產(chǎn)品/功能中，與客戶(hù)定制化相關(guān)的品

牌、Logo、文案等信息沒(méi)有錯(cuò)誤

表格.6驗(yàn)收?qǐng)?bào)告

_________________________________

2

ICS

A00T/

團(tuán)體標(biāo)準(zhǔn)

T/CIDADS—

企業(yè)級(jí)人工智能應(yīng)用產(chǎn)品體驗(yàn)驗(yàn)收指南

Artificialintelligenceenterpriseserviceapplicationproductexperienceacceptance

processandevaluationguide

點(diǎn)擊此處添加與國(guó)際標(biāo)準(zhǔn)一致性程度的標(biāo)識(shí)

（征求意見(jiàn)稿）

（本稿完成日期：2024-03-07）

2024-××-××發(fā)布2024-××-××實(shí)施

中國(guó)工業(yè)設(shè)計(jì)協(xié)會(huì)發(fā)布

T/CAS1.1—2017

企業(yè)級(jí)人工智能應(yīng)用產(chǎn)品體驗(yàn)驗(yàn)收指南

1范圍

本標(biāo)準(zhǔn)提供了企業(yè)級(jí)人工智能應(yīng)用產(chǎn)品體驗(yàn)驗(yàn)收指南，給出以用戶(hù)體驗(yàn)為導(dǎo)向的人工智能應(yīng)用產(chǎn)品

體驗(yàn)驗(yàn)收的維度、驗(yàn)收的方法以及驗(yàn)收實(shí)施流程，旨在幫助人工智能應(yīng)用產(chǎn)品提升產(chǎn)品可用性、易用性

等產(chǎn)品質(zhì)量。

本標(biāo)準(zhǔn)適用于企業(yè)級(jí)人工智能應(yīng)用產(chǎn)品或集成人工智能模型于企業(yè)業(yè)務(wù)系統(tǒng)的應(yīng)用產(chǎn)品，其他同類(lèi)

具有高度業(yè)務(wù)屬性的應(yīng)用產(chǎn)品可參考使用；

本標(biāo)準(zhǔn)暫不適用于以個(gè)體用戶(hù)為主的個(gè)人用戶(hù)產(chǎn)品。

2規(guī)范性引用文件

下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

WCAG2.0Web內(nèi)容無(wú)障礙指南

GB/T29799-2013網(wǎng)頁(yè)內(nèi)容可訪(fǎng)問(wèn)性指南

GB/T25000.51-2016系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評(píng)價(jià)（SQuaRE）

GB/T29836.3-2013系統(tǒng)與軟件易用性第3部分：測(cè)評(píng)方法

3術(shù)語(yǔ)和定義

下列術(shù)語(yǔ)和定義適用于本文件。

3.1人工智能企業(yè)級(jí)服務(wù)應(yīng)用產(chǎn)品EnterpriseServiceApplicationProduct

人工智能企業(yè)級(jí)服務(wù)應(yīng)用產(chǎn)品是利用人工智能為底層技術(shù)，并面向商業(yè)和組織需求設(shè)計(jì)的業(yè)務(wù)應(yīng)用

產(chǎn)品。

注：企業(yè)級(jí)服務(wù)通常指面向企業(yè)的服務(wù)，服務(wù)范圍涵蓋企業(yè)發(fā)展過(guò)程中以再生產(chǎn)為目標(biāo)的方方面面。

產(chǎn)品的購(gòu)買(mǎi)者通常為正式機(jī)構(gòu)、組織。

3.2目標(biāo)用戶(hù)targetusers

目標(biāo)用戶(hù)是指在產(chǎn)品、服務(wù)、應(yīng)用設(shè)計(jì)中，開(kāi)發(fā)者或設(shè)計(jì)團(tuán)隊(duì)明確定義的特定用戶(hù)群體。

3.3核心任務(wù)coretasks