《AI轉(zhuǎn)型咨詢服務(wù)系統(tǒng)技術(shù)規(guī)范》征求意見(jiàn)稿

1T/CASMESXXXX—2023AI轉(zhuǎn)型咨詢服務(wù)系統(tǒng)技術(shù)規(guī)范本文件規(guī)定了AI轉(zhuǎn)型咨詢服務(wù)系統(tǒng)的術(shù)語(yǔ)和定義、縮略語(yǔ)、服務(wù)流程、功能要求、性能要求、審核與合規(guī)、修訂與更新。本文件適用于涉及AI大模型研究和應(yīng)用的機(jī)構(gòu)與個(gè)人，包括但不限于科研機(jī)構(gòu)、高校、企業(yè)、政府部門(mén)等，同時(shí)適用于具備一定AI技術(shù)基礎(chǔ)和應(yīng)用經(jīng)驗(yàn)的組織和個(gè)人對(duì)AI轉(zhuǎn)型咨詢服務(wù)系統(tǒng)的構(gòu)建、評(píng)估、驗(yàn)收。2規(guī)范性引用文件本文件沒(méi)有規(guī)范性引用文件。3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1人工智能artificialintelligence共同構(gòu)建、優(yōu)化和應(yīng)用模型的一組方法或自動(dòng)化實(shí)體，使系統(tǒng)能針對(duì)一系列預(yù)定義任務(wù)實(shí)現(xiàn)預(yù)測(cè)、推薦或決策。3.2機(jī)器學(xué)習(xí)machinelearning通過(guò)計(jì)算技術(shù)優(yōu)化模型參數(shù)的過(guò)程，使模型的行為反映數(shù)據(jù)或經(jīng)驗(yàn)。3.3模型部署modeldeployment將管理的模型，按照與推理環(huán)境相匹配的方式部署到指定環(huán)境中，并以指定的接口形式與其他業(yè)務(wù)應(yīng)用集成。4縮略語(yǔ)AI：人工智能ArtificialIntelligenceFTP：文件傳輸協(xié)議FileTransferProtocolURL：統(tǒng)一資源定位符UniformResourceLocatorRTSP：實(shí)時(shí)流傳輸協(xié)議RealTimeStreamingProtocolGAN：生成式對(duì)抗網(wǎng)絡(luò)GenerativeAdversarialNetworksSDK：軟件開(kāi)發(fā)工具包SoftwareDevelopmentKit、OCR：光學(xué)字符識(shí)別OpticalCharacterRecognition5服務(wù)流程5.1項(xiàng)目啟動(dòng)2T/CASMESXXXX—2023在項(xiàng)目啟動(dòng)階段，應(yīng)進(jìn)行初步需求分析，明確項(xiàng)目目標(biāo)和范圍，制定項(xiàng)目計(jì)劃，并分配資源。內(nèi)應(yīng)主要包括下列步驟：a)了解客戶需求和期望；b)分析現(xiàn)有系統(tǒng)和數(shù)據(jù)；c)確定項(xiàng)目目標(biāo)和范圍；d)制定詳細(xì)的項(xiàng)目計(jì)劃和時(shí)間表；e)分析項(xiàng)目資源和人員。5.2數(shù)據(jù)收集與預(yù)處理在數(shù)據(jù)收集階段，應(yīng)確定數(shù)據(jù)來(lái)源，收集數(shù)據(jù)，并進(jìn)行數(shù)據(jù)清洗和預(yù)處理，保證數(shù)據(jù)的準(zhǔn)確性和完整性。應(yīng)主要包括下列步驟：a)確定數(shù)據(jù)來(lái)源和收集方法；b)進(jìn)行數(shù)據(jù)清洗和預(yù)處理；c)構(gòu)建數(shù)據(jù)集并進(jìn)行驗(yàn)證。5.3模型開(kāi)發(fā)與訓(xùn)練在模型開(kāi)發(fā)與訓(xùn)練階段，應(yīng)進(jìn)行模型設(shè)計(jì)和開(kāi)發(fā)，并進(jìn)行訓(xùn)練和優(yōu)化。應(yīng)主要包括下列步驟：a)選擇適合的模型和算法；b)進(jìn)行特征工程和模型設(shè)計(jì)；c)對(duì)模型進(jìn)行訓(xùn)練和優(yōu)化；d)進(jìn)行模型評(píng)估和選擇。5.4模型部署與集成在模型部署與集成階段，應(yīng)將模型部署到實(shí)際應(yīng)用場(chǎng)景中，并與現(xiàn)有系統(tǒng)進(jìn)行集成。應(yīng)主要包括下列步驟：a)選擇適合的部署方法和平臺(tái)；b)將模型集成到現(xiàn)有系統(tǒng)中；c)進(jìn)行模型部署和測(cè)試；d)更新和維護(hù)模型。5.5模型監(jiān)控與維護(hù)在模型監(jiān)控與維護(hù)階段，應(yīng)對(duì)已部署的模型進(jìn)行監(jiān)控和維護(hù)，保證其穩(wěn)定性和安全性。應(yīng)主要包括下列步驟：a)建立模型監(jiān)控系統(tǒng)；b)監(jiān)測(cè)模型性能和異常情況；c)進(jìn)行模型維護(hù)和更新；d)處理模型錯(cuò)誤和異常情況。6功能要求6.1數(shù)據(jù)接入6.1.1應(yīng)根據(jù)項(xiàng)目需求，按照不同方式接入不同類(lèi)型的數(shù)據(jù)，并在此基礎(chǔ)上開(kāi)展后續(xù)環(huán)節(jié)。該能力項(xiàng)可設(shè)置但不限于以下考察面：接入數(shù)據(jù)類(lèi)型、接入數(shù)據(jù)方式、接入數(shù)據(jù)的參數(shù)配置等。3T/CASMESXXXX—20236.1.2應(yīng)包括以下基本功能：a)支持接入結(jié)構(gòu)化數(shù)據(jù)，如庫(kù)表等格式；b)支持接入多種半結(jié)構(gòu)化數(shù)據(jù)，包括但不限于csv、xls、xlsx等格式；c)支持接入多種文本類(lèi)非結(jié)構(gòu)化數(shù)據(jù)，包括但不限于txt、doc、docx等格式；d)支持接入多種圖片類(lèi)非結(jié)構(gòu)化數(shù)據(jù)，包括但不限于png、jpg、jpeg、bmp等格式；e)支持接入多種音頻類(lèi)非結(jié)構(gòu)化數(shù)據(jù)，包括但不限于mp3、wav等格式；f)支持接入視頻類(lèi)非結(jié)構(gòu)化數(shù)據(jù)，如mp4、avi、mov等格式；g)支持接入多種標(biāo)簽數(shù)據(jù)，包括但不限于JSON、XML等格式；h)支持接入壓縮包文件，如zip、rar、tar等格式；i)支持本地文件接入數(shù)據(jù)，如本地單個(gè)上傳、批量上傳等；j)支持網(wǎng)絡(luò)協(xié)議接入數(shù)據(jù)，如FTP、URL、RTSP、共享存儲(chǔ)等；k)支持通過(guò)用戶界面配置數(shù)據(jù)接入的參數(shù)，如數(shù)據(jù)源、數(shù)據(jù)類(lèi)型、接入方式等。6.1.3可包含以下高級(jí)功能：a)支持接入實(shí)時(shí)數(shù)據(jù)流，如結(jié)構(gòu)化數(shù)據(jù)流、非結(jié)構(gòu)化數(shù)據(jù)流等；b)支持周期性地?cái)?shù)據(jù)接入，如按照設(shè)置的時(shí)間間隔定期接入數(shù)據(jù)。6.2數(shù)據(jù)預(yù)處理6.2.1經(jīng)過(guò)清洗、轉(zhuǎn)換等操作，數(shù)據(jù)預(yù)處理部分應(yīng)能解決數(shù)據(jù)可能存在的質(zhì)量問(wèn)題（如不一致、無(wú)效、缺失、重復(fù)等），將數(shù)據(jù)加工為模型開(kāi)發(fā)能夠直接使用的形式。該能力項(xiàng)可設(shè)置但不限于以下考察面：數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)增強(qiáng)等。6.2.2應(yīng)包含以下基本功能：a)支持結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)的清洗，如數(shù)據(jù)去重、異常值檢測(cè)、缺失值填充等；b)支持非結(jié)構(gòu)化數(shù)據(jù)的清洗，如根據(jù)特定規(guī)則剔除不符合要求的非結(jié)構(gòu)化數(shù)據(jù)；c)支持不同格式數(shù)據(jù)標(biāo)簽之間的轉(zhuǎn)換，如XML標(biāo)簽與JSON標(biāo)簽之間的轉(zhuǎn)換；d)支持集成腳本語(yǔ)言進(jìn)行數(shù)據(jù)加工，如Python、PySpark、SQL等；e)支持自定義數(shù)據(jù)預(yù)處理功能，如用戶自定義預(yù)處理算法邏輯。6.2.3可包含以下高級(jí)功能：a)支持結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)的自動(dòng)預(yù)處理；b)支持非結(jié)構(gòu)化數(shù)據(jù)的自動(dòng)預(yù)處理，如圖像數(shù)據(jù)的自動(dòng)預(yù)處理；c)支持有監(jiān)督數(shù)據(jù)增強(qiáng)技術(shù)，也即基于現(xiàn)有樣本的單樣本數(shù)據(jù)增強(qiáng)、多樣本數(shù)據(jù)增強(qiáng)，如圖像的翻轉(zhuǎn)、縮放、裁剪等；d)支持無(wú)監(jiān)督數(shù)據(jù)增強(qiáng)技術(shù)，也即基于深度學(xué)習(xí)等算法的數(shù)據(jù)增強(qiáng)，如基于GAN的數(shù)據(jù)增強(qiáng)、神經(jīng)風(fēng)格轉(zhuǎn)換等。6.3模型開(kāi)發(fā)6.3.1模型開(kāi)發(fā)旨在提供方便、系統(tǒng)、專(zhuān)業(yè)的開(kāi)發(fā)工具和環(huán)境，通過(guò)更加人性化的操作接口展示，幫助不同層次的開(kāi)發(fā)者開(kāi)發(fā)算法，該部分尤其關(guān)注對(duì)主流機(jī)器學(xué)習(xí)框架的集成和支持。該能力項(xiàng)可設(shè)置但不限于以下考察面：開(kāi)發(fā)庫(kù)(AI框架等）、建模方式等。6.3.2應(yīng)包括以下基本功能：a)支持多種（兩種或以上）傳統(tǒng)機(jī)器學(xué)習(xí)框架，如Spark、Scikit-learn、XGBoost等；b)支持多種（兩種或以上）深度學(xué)習(xí)框架，如TensorFlow、PyTorch、PaddlePaddle等；c)支持提供預(yù)訓(xùn)練模型，如自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等領(lǐng)域的預(yù)訓(xùn)練模型；4T/CASMESXXXX—2023d)支持Python等開(kāi)發(fā)語(yǔ)言；e)支持交互式編碼建模，如Notebook等；f)支持可視化建模，如拖拽組件等；g)支持本地IDE開(kāi)發(fā)，如通過(guò)集成SDK訪問(wèn)平臺(tái)服務(wù)；h)支持自定義開(kāi)發(fā)環(huán)境，如以鏡像方式提供可自定義的開(kāi)發(fā)環(huán)境。6.3.3可包括支持對(duì)建模任務(wù)進(jìn)行封裝，如封裝為SDK等形式的高級(jí)功能。6.4模型訓(xùn)練6.4.1應(yīng)能為用戶提供多維度的訓(xùn)練支持，包括，包括訓(xùn)練資源的調(diào)度、訓(xùn)練操作的支持、訓(xùn)練優(yōu)化的支持等，系統(tǒng)應(yīng)為用戶屏蔽底層算力設(shè)施的復(fù)雜組網(wǎng)和配置，通過(guò)簡(jiǎn)易設(shè)置實(shí)現(xiàn)不同的訓(xùn)練模式。該能力項(xiàng)可設(shè)置但不限于以下考察面：訓(xùn)練類(lèi)型、訓(xùn)練操作、訓(xùn)練優(yōu)化等。6.4.2應(yīng)包括以下基本功能：a)支持多種CPU訓(xùn)練方式，包括但不限于：?jiǎn)螜C(jī)訓(xùn)練、分布式訓(xùn)練；b)支持多種GPU訓(xùn)練方式，包括但不限于：?jiǎn)慰ㄓ?xùn)練、單機(jī)多卡、多機(jī)多卡訓(xùn)練；c)支持設(shè)置訓(xùn)練資源規(guī)格，如CPU核數(shù)、GPU個(gè)數(shù)、內(nèi)存等；d)支持自定義訓(xùn)練參數(shù)，包括但不限于：算法參數(shù)、運(yùn)行參數(shù)、訓(xùn)練數(shù)據(jù)、驗(yàn)證數(shù)據(jù)等；e)支持訓(xùn)練任務(wù)的多種操作，包括但不限于：創(chuàng)建、查詢、開(kāi)啟、終止、刪除、修改等；f)支持對(duì)正在執(zhí)行訓(xùn)練任務(wù)的多種操作，包括但不限于：中止、斷點(diǎn)恢復(fù)、斷點(diǎn)重做等；g)支持訓(xùn)練任務(wù)的信息查看，包括但不限于：訓(xùn)練狀態(tài)、訓(xùn)練進(jìn)度、訓(xùn)練結(jié)果、訓(xùn)練失敗原因等信息；h)支持模型的微調(diào)(fine-tune)，如基于預(yù)訓(xùn)練模型、自動(dòng)訓(xùn)練模型的二次訓(xùn)練；i)支持模型訓(xùn)練過(guò)程的可視化，如訓(xùn)練參數(shù)和指標(biāo)、模型圖等的可視化。6.4.3可包括以下高級(jí)功能：a)支持異構(gòu)計(jì)算資源訓(xùn)練，如不同架構(gòu)芯片、加速卡用于異構(gòu)加速訓(xùn)練任務(wù)；b)提供自動(dòng)調(diào)參工具，可根據(jù)模型及數(shù)據(jù)量設(shè)定合適的參數(shù)；c)支持訓(xùn)練優(yōu)化技術(shù)，如混合精度訓(xùn)練、編譯優(yōu)化等；d)支持分布式計(jì)算框架的優(yōu)化，如顯存優(yōu)化、線性加速比的提升、通信優(yōu)化等。6.5自動(dòng)學(xué)習(xí)6.5.1自動(dòng)學(xué)習(xí)可以將超參數(shù)調(diào)優(yōu)、模型選擇等環(huán)節(jié)進(jìn)行自動(dòng)化處理，同時(shí)通過(guò)模板化、可視化、向?qū)降慕９ぞ?，降低用戶所需的技術(shù)門(mén)檻。該能力項(xiàng)可設(shè)置但不限于以下考察面：超參數(shù)搜索、模型結(jié)構(gòu)設(shè)計(jì)、自動(dòng)學(xué)習(xí)模板等。6.5.2應(yīng)包含以下基本功能：a)支持自動(dòng)數(shù)據(jù)增強(qiáng)，如遺傳進(jìn)化、可微分等技術(shù)；b)支持多種（兩種或以上）超參數(shù)搜索技術(shù)，如網(wǎng)絡(luò)搜索、隨機(jī)搜索、貝葉斯優(yōu)化等；c)支持模型結(jié)構(gòu)的自動(dòng)設(shè)計(jì)，如神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索；d)支持通過(guò)向?qū)降牟僮鲙椭脩敉瓿赡Ｐ陀?xùn)練，如模式定義、模型選擇、參數(shù)/超參數(shù)設(shè)置等操作；e)支持自動(dòng)化建模任務(wù)的信息查看，如模型指標(biāo)、資源消耗、訓(xùn)練時(shí)長(zhǎng)等。6.5.3可包含以下高級(jí)功能：a)支持小樣本學(xué)習(xí)，在小樣本的情況下訓(xùn)練出較高精度模型；5T/CASMESXXXX—2023b)支持多個(gè)模型融合，如AveragingEnsemble（平均法融合）、GreedyEnsemble（貪婪法融合）、StackingEnsemble（堆疊法融合）等集成方法；c)支持多種（兩種或以上）圖像類(lèi)自動(dòng)建模場(chǎng)景模板，如圖像分類(lèi)、物體檢測(cè)、圖像分割、文字識(shí)別等；d)支持多種（兩種或以上）文本類(lèi)自動(dòng)建模場(chǎng)景模板，如文本分類(lèi)、文本匹配、序列標(biāo)注等；e)支持多種（兩種或以上）語(yǔ)音類(lèi)自動(dòng)建模場(chǎng)景模板，如語(yǔ)音識(shí)別、聲音分類(lèi)等；f)支持多種（兩種或以上）視頻類(lèi)自動(dòng)建模場(chǎng)景模板，如目標(biāo)跟蹤、視頻分類(lèi)等；g)在明確標(biāo)注數(shù)據(jù)和業(yè)務(wù)場(chǎng)景的情況下，支持自動(dòng)學(xué)習(xí)生成模型，自動(dòng)完成特征工程、模型選擇、超參數(shù)調(diào)優(yōu)、模型訓(xùn)練等環(huán)節(jié)。6.6模型部署6.6.1意根據(jù)具體業(yè)務(wù)需求，將模型部署在云端、邊緣端、終端等不同的位置。該能力項(xiàng)可設(shè)置但不限于以下考察面：部署測(cè)試、部署模式、部署資源、部署管理等。6.6.2應(yīng)包括以下基本功能：a)支持用戶自定義推理服務(wù)使用的資源規(guī)格，如計(jì)算資源類(lèi)型、資源數(shù)量等；b)支持以容器鏡像的方式部署模型；c)支持將模型部署為在線服務(wù)；d)支持將模型部署為批量服務(wù)；e)支持以SDK的方式部署模型；f)支持多種模型部署及測(cè)試策略，包括但不限于：滾動(dòng)更新、灰度測(cè)試、A/B測(cè)試等；g)支持面向業(yè)務(wù)場(chǎng)景的多模型編排，將多模型編排后以統(tǒng)一接口提供模型推理服務(wù)；h)支持查看模型部署的信息，如部署狀態(tài)、失敗信息、離線日志等。6.6.3可包括以下高級(jí)功能：a)支持推理加速框架模型的部署，如TensorRT、openVINO、TVM等；b)支持邊緣端、終端設(shè)備的模型部署；c)支持面向業(yè)務(wù)場(chǎng)景的可視化模型編排；d)支持模型熱更新，如根據(jù)預(yù)設(shè)的條件（如模型評(píng)估結(jié)果）更新模型版本；e)支持端云協(xié)同的服務(wù)部署管理，如云端支持對(duì)邊緣端、終端設(shè)備的模型下發(fā)和更新；f)支持提供模型適配云端等多種異構(gòu)硬件、多種操作系統(tǒng)的能力；g)支持提供模型適配邊緣端、終端等多種異構(gòu)硬件、多種操作系統(tǒng)的能力。6.7日志管理6.7.1日志管理應(yīng)對(duì)各個(gè)關(guān)鍵環(huán)節(jié)設(shè)置日志記錄，有助于及時(shí)發(fā)現(xiàn)、預(yù)防故障隱患，避免系統(tǒng)運(yùn)行事故的發(fā)生。該能力項(xiàng)可設(shè)置但不限于以下考察面：日志類(lèi)型、日志操作等。6.7.2應(yīng)包括以下基本功能：a)支持平臺(tái)多個(gè)環(huán)節(jié)的日志采集及存儲(chǔ)，包括但不限于：數(shù)據(jù)處理部分、模型構(gòu)建部分、模型部署部分、資源使用部分、用戶操作部分等；b)支持日志的基本操作，包括但不限于：日志的查詢、篩選、備份等。6.7.3可包括支持對(duì)系統(tǒng)任務(wù)日志進(jìn)行分析的高級(jí)功能。6.8監(jiān)控告警6.8.1監(jiān)控告警可以感知平臺(tái)資源的使用情況，并對(duì)潛在的風(fēng)險(xiǎn)及時(shí)發(fā)出告警。該能力項(xiàng)可設(shè)置但不6T/CASMESXXXX—2023限于以下考察面：平臺(tái)資源監(jiān)控、告警策略設(shè)置、監(jiān)控告警自定義等。6.8.2應(yīng)包括以下基本功能：a)支持對(duì)平臺(tái)資源的監(jiān)控，包括但不限于：全局基礎(chǔ)資源、訓(xùn)練資源、推理資源等；b)支持不同維度的監(jiān)控，如任務(wù)、用戶、租戶等；c)支持告警自定義，包括但不限于：告警規(guī)則、告警方式（郵件、短信、電話等）等的自定義。6.8.3可包括告警時(shí)支持提供參考意見(jiàn)和處理方法，方便用戶快速定位和解決問(wèn)題的高級(jí)功能。7性能要求7.1數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)應(yīng)包括：a)數(shù)據(jù)準(zhǔn)確性：數(shù)據(jù)與實(shí)際相符的程度；b)數(shù)據(jù)完整性：數(shù)據(jù)沒(méi)有缺失或重復(fù)的程度；c)數(shù)據(jù)一致性：不同數(shù)據(jù)源之間的數(shù)據(jù)一致程度；d)數(shù)據(jù)可用性：數(shù)據(jù)可被正確訪問(wèn)和使用的程度。7.2模型質(zhì)量模型質(zhì)量指標(biāo)應(yīng)包括：a)準(zhǔn)確性：模型預(yù)測(cè)結(jié)果與實(shí)際結(jié)果相符的比例；b)精確度：模型預(yù)測(cè)為正例的正確率；c)召回率：模型預(yù)測(cè)為正例的真實(shí)陽(yáng)性率；d)F1分?jǐn)?shù)：準(zhǔn)確率和召回率的調(diào)和平均數(shù)，綜合評(píng)價(jià)模型性能；e)魯棒性：模型對(duì)于輸入數(shù)據(jù)的變動(dòng)和擾動(dòng)的承受能力；f)可解釋性：模型結(jié)構(gòu)和預(yù)測(cè)結(jié)果的解釋性，便于人類(lèi)理解和應(yīng)用。7.3安全性與隱私保護(hù)安全性和隱私保護(hù)的最佳實(shí)踐應(yīng)包括：a)數(shù)據(jù)安全：采用加密技術(shù)和其他安全措施保護(hù)數(shù)據(jù)不被非法獲取或使用；b)模型安全：防止惡意攻擊和