CESA-2022-029-《人工智能 智能服務(wù) 智能微服務(wù)保障技術(shù)要求》團(tuán)體標(biāo)準(zhǔn)（征求意見稿）

ICS35.240

CCSL70

團(tuán)體標(biāo)準(zhǔn)

T/CESAXXXX—202X

人工智能智能服務(wù)智能微服務(wù)保障技

術(shù)要求

Artificialintelligence–Intelligentservice-Technicalrequirements

forintelligentmicro-serviceguarantee

（征求意見稿）

在提交反饋意見時，請將您知道的相關(guān)專利連同支持性文件一并附上。

已授權(quán)的專利證明材料為專利證書復(fù)印件或扉頁，已公開但尚未授權(quán)的專利申請

證明材料為專利公開通知書復(fù)印件或扉頁，未公開的專利申請的證明材料為專利申請

號和申請日期。

202X-XX-XX發(fā)布202X-XX-XX實(shí)施

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會發(fā)布

T/CESAXXXX—202X

前言

本文件按照GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)

定起草。

本文件由中國科學(xué)院軟件研究所提出。

本文件由中國電子技術(shù)標(biāo)準(zhǔn)化研究院、中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會歸口。

本文件起草單位：

本文件主要起草人：

IV

T/CESAXXXX—202X

人工智能智能服務(wù)智能微服務(wù)保障技術(shù)要求

1范圍

本文件規(guī)定了智能微服務(wù)適配保障的服務(wù)監(jiān)測、資源監(jiān)測、保障方法和效果驗(yàn)證四部分的技術(shù)要求。

本文件適用于人工智能領(lǐng)域多種智能服務(wù)產(chǎn)品和應(yīng)用的研發(fā)、運(yùn)維和使用。

2規(guī)范性引用文件

本文件沒有規(guī)范性引用文件。

3術(shù)語和定義

T/CESAXXXX-202X中界定的以及下列術(shù)語和定義適用于本文件。

3.1服務(wù)適配保障serviceadaptationandguarantee

在智能微服務(wù)長期運(yùn)行時，通過多種手段保障已適配服務(wù)的正常、穩(wěn)定和高效運(yùn)行。

3.2服務(wù)質(zhì)量qualityofservice

通過每秒鐘支持的用戶數(shù)、每秒鐘處理的用戶請求數(shù)來表示的指標(biāo)。

3.3啟發(fā)式方法heuristics

根據(jù)歷史服務(wù)保障經(jīng)驗(yàn)，通過人工方法設(shè)置若干條服務(wù)質(zhì)量保障原則。

3.4學(xué)習(xí)方法learningbasedmethod

不進(jìn)行顯式的服務(wù)保障原則設(shè)置，使用AI模型自主學(xué)習(xí)出特定服務(wù)質(zhì)量的設(shè)置。

3.5服務(wù)負(fù)載serviceworkload

單位時間內(nèi)服務(wù)的訪問數(shù)量，用于評估服務(wù)適配保障后的真實(shí)可用效果。

3.6服務(wù)資源serviceresources

服務(wù)適配保障時，智能微服務(wù)所使用的各類軟硬件資源。

4縮略語

下列縮略語適用于本文件。

AI：人工智能（ArtificialIntelligence）

CPU：中央處理器（CentralProcessingUnit）

GPU：圖形處理器（GraphicProcessingUnit）

1

T/CESAXXXX—202X

I/O：輸入/輸出（Input/Output）

5智能微服務(wù)適配保障流程

智能微服務(wù)適配保障依托于智能服務(wù)適配平臺（標(biāo)準(zhǔn)CESA/XXXX），在智能微服務(wù)適配演化（標(biāo)準(zhǔn)

CESA/XXXX）后的長期運(yùn)維階段，使用本適配保障流程，及時發(fā)現(xiàn)并解決智能微服務(wù)的相關(guān)異常，保障

智能化微服務(wù)的穩(wěn)定、正常運(yùn)行。智能微服務(wù)適配保障流程包含以下四個步驟：

a)服務(wù)監(jiān)測:使用軟件方法收集智能微服務(wù)長期運(yùn)行時的服務(wù)數(shù)據(jù)，所有數(shù)據(jù)按照固定的數(shù)據(jù)格

式存儲，并提供查詢，檢索，統(tǒng)計(jì)等功能，為服務(wù)保障方法提供基本的適配保障輸入，主要包

括:智能微服務(wù)元數(shù)據(jù)，提供該服務(wù)的開放商和用戶等信息；業(yè)務(wù)處理軌跡，給出服務(wù)代碼的

運(yùn)行過程和調(diào)用關(guān)系描述，以及運(yùn)行過程中相應(yīng)的性能數(shù)據(jù)；資源使用情況，記錄一次請求服

務(wù)的資源開銷；

b)資源監(jiān)測：使用軟件方法收集智能微服務(wù)運(yùn)行所處軟硬件環(huán)境的資源數(shù)據(jù)，所有數(shù)據(jù)按照固定

的數(shù)據(jù)格式存儲，并提供查詢，檢索，統(tǒng)計(jì)等功能，也為服務(wù)保障方法提供基本的輸入，其具

體包括：物理機(jī)、虛擬機(jī)、容器資源等，提供計(jì)算、存儲、網(wǎng)絡(luò)和I/O等方面當(dāng)前可用、已用

資源信息；多種資源按照一定條件聚合后的數(shù)據(jù)，提供按照分區(qū)等條件下的整體資源使用情況

以及各部分資源使用占比等；多種資源之間的關(guān)聯(lián)性數(shù)據(jù)，提供資源間之間的使用順序和關(guān)聯(lián)

關(guān)系；

c)保障方法:根據(jù)上述服務(wù)、資源監(jiān)測流程中收集到的服務(wù)和軟硬件監(jiān)測數(shù)據(jù)，保障方法配置相

關(guān)的保障規(guī)則和學(xué)習(xí)模型，能夠得到滿足一定負(fù)載需求的智能微服務(wù)以及其需要的資源配置，

其通過基于特定的規(guī)則和學(xué)習(xí)的兩類保障方法實(shí)現(xiàn)：基于規(guī)則的保障方法包括是否類、數(shù)值類、

閾值類和自定義規(guī)則，用于明確是否強(qiáng)制使用某些資源以及使用資源的具體容量；基于學(xué)習(xí)的

保障方法包括待學(xué)習(xí)數(shù)據(jù)、參數(shù)、模型和輸出結(jié)果，用于滿足學(xué)習(xí)方法正常運(yùn)行所需的的所有

要素；

d)效果驗(yàn)證：根據(jù)保障方法的具體選型，效果驗(yàn)證能夠運(yùn)行智能微服務(wù)，并將保障方法作用于服

務(wù)運(yùn)行，其提供監(jiān)測數(shù)據(jù)的收集和日志導(dǎo)出能力，用于驗(yàn)證服務(wù)運(yùn)行時的監(jiān)測結(jié)果是否符合保

障方法的要求，并驗(yàn)證是否達(dá)到相應(yīng)服務(wù)質(zhì)量的需求。

2

T/CESAXXXX—202X

服務(wù)監(jiān)測

服務(wù)自身元數(shù)據(jù)

服務(wù)請求業(yè)務(wù)處理軌跡

保障方法效果驗(yàn)證

服務(wù)資源使用變化度量

是否類規(guī)則待學(xué)習(xí)數(shù)據(jù)

負(fù)載發(fā)生

監(jiān)測數(shù)據(jù)數(shù)值類規(guī)則學(xué)習(xí)參數(shù)

方法監(jiān)測收集服務(wù)運(yùn)行

資源監(jiān)測閾值類規(guī)則學(xué)習(xí)模型試用

物理機(jī)資源使用監(jiān)測日志導(dǎo)出

自定義規(guī)則學(xué)習(xí)輸出

虛擬機(jī)/容器資源監(jiān)測

異構(gòu)資源聚合監(jiān)測

異構(gòu)資源關(guān)聯(lián)性監(jiān)測

圖1智能微服務(wù)適配保障

6功能要求

6.1服務(wù)、資源監(jiān)測要求

服務(wù)、資源監(jiān)測包含但不限于以下要求：

a)應(yīng)支持智能微服務(wù)的可用資源、已用資源等的數(shù)值類型符合Bool、Float32、Float64，Int32，

Int64，Double32、Double64、TimeStamp、Blob這幾種，與主流數(shù)據(jù)庫數(shù)據(jù)類型相符；

b)應(yīng)支持智能微服務(wù)運(yùn)行時主流的軟件平臺的資源監(jiān)測，包括容器（Docker、Containerd等），

虛擬機(jī)等軟件的運(yùn)行資源監(jiān)測；

c)應(yīng)支持智能微服務(wù)運(yùn)行所需的硬件資源監(jiān)測，包括CPU、GPU等計(jì)算資源，以及磁盤、網(wǎng)絡(luò)、

I/O等資源；

d)應(yīng)支持智能服務(wù)運(yùn)行時業(yè)務(wù)處理軌跡的監(jiān)測，包括調(diào)用關(guān)系，執(zhí)行時間以及調(diào)用是否成功等信

息；

e)應(yīng)支持服務(wù)調(diào)用軌跡等非數(shù)值型監(jiān)測數(shù)據(jù)以Json、Yaml格式保存，包括前驅(qū)、后繼節(jié)點(diǎn)、邊

連通性、時間權(quán)重等信息；

f)應(yīng)支持服務(wù)監(jiān)測數(shù)據(jù)的查詢，檢索以及分析的功能，包括數(shù)據(jù)聚合，平均，計(jì)算極值和方差等

統(tǒng)計(jì)功能；

g)應(yīng)支持資源監(jiān)測的整個過程以非侵入的探針、鉤子函數(shù)或數(shù)據(jù)推送方式實(shí)現(xiàn)，避免與原有服務(wù)

或相關(guān)治理框架的沖突；

h)應(yīng)支持監(jiān)測時間間隔、監(jiān)測協(xié)議、監(jiān)測數(shù)據(jù)存放等監(jiān)測配置項(xiàng)提取為獨(dú)立的配置文件，提升監(jiān)

測的適用范圍；

i)應(yīng)支持監(jiān)測結(jié)果的存放、可視化展示、安裝等環(huán)節(jié)符合云原生要求，保障監(jiān)測框架能快速與已

有監(jiān)測框架的快速整合。

6.2保障方法要求

3

T/CESAXXXX—202X

保障方法的要求包含但不限于以下要求：

a)應(yīng)支持來自主流AI框架（Tensorflow、Pytorch、Onnx）的AI模型作為保障方法中的學(xué)習(xí)模

型，其使用的算子、控制語句等具有一定的通用性；

b)應(yīng)支持保障方法中的數(shù)據(jù)集符合一般的數(shù)據(jù)集規(guī)范，形成相關(guān)說明文檔，包括數(shù)據(jù)量大小、單

條監(jiān)測數(shù)據(jù)的格式、數(shù)據(jù)集標(biāo)準(zhǔn)等；

c)應(yīng)支持保障方法中的保障規(guī)則以是否、數(shù)值、閾值或其他自定義形式來準(zhǔn)確描述服務(wù)保障的行

為、使用條件和預(yù)期效果；

d)應(yīng)支持保障規(guī)則中的自定義形式符合一定的規(guī)范，形成相關(guān)的說明文檔，包括規(guī)則的數(shù)據(jù)輸入，

輸出以及可用的范例等。

e)應(yīng)支持某一特定的保障方法以虛擬機(jī)容器鏡像方法進(jìn)行封裝，可獨(dú)立運(yùn)行；

j)應(yīng)支持保障方法以非侵入的方式實(shí)現(xiàn)，對智能微服務(wù)和異構(gòu)資源管控時避免與原有服務(wù)和其他

治理框架的沖突。

f)應(yīng)支持某一特定的保障方法遵循通用的監(jiān)測協(xié)議和配置生效方式，支持Http、Https，TCP/UDP

等幾種主流的配置方式；

g)應(yīng)支持服務(wù)保障方法明確對智能微服務(wù)的管控能力邊界，如增加、減少資源使用，遷移分配異

構(gòu)資源等；

h)應(yīng)支持服務(wù)保障方法明確對異構(gòu)資源的管控能力邊界，如CPU、GPU的容量、線程分配，異構(gòu)

資源的更新、刪除，資源間的動態(tài)拓?fù)潢P(guān)系等。

6.3效果驗(yàn)證要求

效果驗(yàn)證的要求包含但不限于以下要求：

a)應(yīng)支持效果驗(yàn)證關(guān)鍵功能組件不少于負(fù)載發(fā)生、服務(wù)運(yùn)行、日志導(dǎo)出和監(jiān)測收集四項(xiàng)，以保證

驗(yàn)證效果真實(shí)可信；

b)應(yīng)支持監(jiān)測收集支持標(biāo)簽或注解機(jī)制，以區(qū)分服務(wù)保障的測試或真實(shí)運(yùn)行環(huán)境；

c)應(yīng)支持日志導(dǎo)出環(huán)節(jié)包含對保障效果的總結(jié)性評價：在使用多少資源時能對多少服務(wù)負(fù)載達(dá)到

多少的吞吐量，以量化保障后的服務(wù)質(zhì)量。

d)應(yīng)支持服務(wù)運(yùn)行環(huán)節(jié)的啟動指定與Kubernetes、VMware、KVM啟動兼容的啟動腳本，避免和特

定研發(fā)語言、業(yè)務(wù)的耦合。

e)應(yīng)支持負(fù)載發(fā)生支持泊松分布、隨機(jī)分布等若干種特定的負(fù)載特點(diǎn)，以模擬真實(shí)智能微服務(wù)的

使用場景。

4

T/CESAXXXX—202X

目次

前言.................................................................錯誤!未定義書簽。

1范圍................................................................................1

2規(guī)范性引用文件......................................................................1

3術(shù)語和定義..........................................................................1

4縮略語..............................................................................1

5智能微服務(wù)適配保障流程..............................................................2

6功能要求............................................................................3

6.1服務(wù)、資源監(jiān)測要求..............................................錯誤!未定義書簽。

6.2保障方法要求....................................................錯誤!未定義書簽。

6.3效果驗(yàn)證要求....................................................................4

III

T/CESAXXXX—202X

人工智能智能服務(wù)智能微服務(wù)保障技術(shù)要求

1范圍

本文件規(guī)定了智能微服務(wù)適配保障的服務(wù)監(jiān)測、資源監(jiān)測、保障方法和效果驗(yàn)證四部分的技術(shù)要求。

本文件適用于人工智能領(lǐng)域多種智能服務(wù)產(chǎn)品和應(yīng)用的研發(fā)、運(yùn)維和使用。

2規(guī)范性引用文件

本文件沒有規(guī)范性引用文件。

3術(shù)語和定義

T/CESAXXXX-202X中界定的以及下列術(shù)語和定義適用于本文件。

3.1服務(wù)適配保障serviceadaptationandguarantee

在智能微服務(wù)長期運(yùn)行時，通過多種手段保障已適配服務(wù)的正常、穩(wěn)定和高效運(yùn)行。

3.2服務(wù)質(zhì)量qualityofservice

通過每秒鐘支持的用戶數(shù)、每秒鐘處理的用戶請求數(shù)來表示的指標(biāo)。

3.3啟發(fā)式方法heuristics

根據(jù)歷史服務(wù)保障經(jīng)驗(yàn)，通過人工方法設(shè)置若干條服務(wù)質(zhì)量保障原則。

3.4學(xué)習(xí)方法learningbasedmethod

不進(jìn)行顯式的服務(wù)保障原則設(shè)置，使用AI模型自主學(xué)習(xí)出特定服務(wù)質(zhì)量的設(shè)置。

3.5服務(wù)負(fù)載serviceworkload

單位時間內(nèi)服務(wù)的訪問數(shù)量，用于評估服務(wù)適配保障后的真實(shí)可用效果。

3.6服務(wù)資源serviceresources

服務(wù)適配保障時，智能微服務(wù)所使用的各類軟硬件資源。

4縮略語

下列縮略語適用于本文件。

AI：人工智能（ArtificialIntelligence）

CPU：中央處理器（CentralProcessingUnit）

GPU：圖形處理器（GraphicProcessingUnit）

1

T/CESAXXXX—202X

I/O：輸入/輸出（Input/Output）

5智能微服務(wù)適配保障流程

智能微服務(wù)適配保障依托于智能服務(wù)適配平臺（標(biāo)準(zhǔn)CESA/XXXX），在智能微服務(wù)適配演化（標(biāo)準(zhǔn)

CESA/XXXX）后的長期運(yùn)維階段，使用本適配保障流程，及時發(fā)現(xiàn)并解決智能微服務(wù)的相關(guān)異常，保障

智能化微服務(wù)的穩(wěn)定、正常運(yùn)行。智能微服務(wù)適配保障流程包含以下四個步驟：

a)服務(wù)監(jiān)測:使用軟件方法收集智能微服務(wù)長期運(yùn)行時的服務(wù)數(shù)據(jù)，所有數(shù)據(jù)按照固定的數(shù)據(jù)格

式存儲，并提供查詢，檢索，統(tǒng)計(jì)等功能，為服務(wù)保障方法提供基本的適配保障輸入，主要包

括:智能微服務(wù)元數(shù)據(jù)，提供該服務(wù)的開放商和用戶等信息；業(yè)務(wù)處理軌跡，給出服務(wù)代碼的

運(yùn)行過程和調(diào)用關(guān)系描述，以及運(yùn)行過程中相應(yīng)的性能數(shù)據(jù)；資源使用情況，記錄一次請求服

務(wù)的資源開銷；

b)資源監(jiān)測：使用軟件方法收集智能微服務(wù)運(yùn)行所處軟硬件環(huán)境的資源數(shù)據(jù)，所有數(shù)據(jù)按照固定

的數(shù)據(jù)格式存儲，并提供查詢，檢索，統(tǒng)計(jì)等功能，也為服務(wù)保障方法提供基本的輸入，其具

體包括：物理機(jī)、虛擬機(jī)、容器資源等，提供計(jì)算、存儲、網(wǎng)絡(luò)和I/O等方面當(dāng)前可用、已用

資源信息；多種資源按照一定條件聚合后的數(shù)據(jù)，提供按照分區(qū)等條件下的整體資源使用情況

以及各部分資源使用占比等；多種資源之間的關(guān)聯(lián)性數(shù)據(jù)，提供資源間之間的使用順序和關(guān)聯(lián)

關(guān)系；

c)保障方法:根據(jù)上述服務(wù)、資源監(jiān)測流程中收集到的服務(wù)和軟硬件監(jiān)測數(shù)據(jù)，保障方法配置相

關(guān)的保障規(guī)則和學(xué)習(xí)模型，能夠得到滿足一定負(fù)載需求的智能微服務(wù)以及其需要的資源配置，

其通過基于特定的規(guī)則和學(xué)習(xí)的兩類保障方法實(shí)現(xiàn)：基于規(guī)則的保障方法包括是否類、數(shù)值類、

閾值類和自定義規(guī)則，用于明確是否強(qiáng)制使用某些資源以及使用資源的具體容量；基于學(xué)習(xí)的

保障方法包括待學(xué)習(xí)數(shù)據(jù)、參數(shù)、模型和輸出結(jié)果，用于滿足學(xué)習(xí)方法正常運(yùn)行所需的的所有

要素；

d)效果驗(yàn)證：根據(jù)保障方法的具體選型，效果驗(yàn)證能夠運(yùn)行智能微服務(wù)，并將保障方法作用于服

務(wù)運(yùn)行，其提供監(jiān)測數(shù)據(jù)的收集和日志導(dǎo)出能力，用于驗(yàn)證服務(wù)運(yùn)行時的監(jiān)測結(jié)果是否符合保

障方法的要求，并驗(yàn)證是否達(dá)到相應(yīng)服務(wù)質(zhì)量的需求。

2

T/CESAXXXX—202X

服務(wù)監(jiān)測

服務(wù)自身元數(shù)據(jù)

服務(wù)請求業(yè)務(wù)處理軌跡

保障方法效果驗(yàn)證

服務(wù)資源使用變化度量

是否類規(guī)則待學(xué)習(xí)數(shù)據(jù)

負(fù)載發(fā)生

監(jiān)測數(shù)據(jù)數(shù)值類規(guī)則學(xué)習(xí)參數(shù)

方法監(jiān)測收集服務(wù)運(yùn)行

資源監(jiān)測閾值類規(guī)則學(xué)習(xí)模型試用

物理機(jī)資源使用監(jiān)測日志導(dǎo)出

自定義規(guī)則學(xué)習(xí)輸出