《AI轉(zhuǎn)型咨詢服務(wù)系統(tǒng)技術(shù)規(guī)范》征求意見稿

1T/CASMESXXXX—2023AI轉(zhuǎn)型咨詢服務(wù)系統(tǒng)技術(shù)規(guī)范本文件規(guī)定了AI轉(zhuǎn)型咨詢服務(wù)系統(tǒng)的術(shù)語和定義、縮略語、服務(wù)流程、功能要求、性能要求、審核與合規(guī)、修訂與更新。本文件適用于涉及AI大模型研究和應(yīng)用的機構(gòu)與個人，包括但不限于科研機構(gòu)、高校、企業(yè)、政府部門等，同時適用于具備一定AI技術(shù)基礎(chǔ)和應(yīng)用經(jīng)驗的組織和個人對AI轉(zhuǎn)型咨詢服務(wù)系統(tǒng)的構(gòu)建、評估、驗收。2規(guī)范性引用文件本文件沒有規(guī)范性引用文件。3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1人工智能artificialintelligence共同構(gòu)建、優(yōu)化和應(yīng)用模型的一組方法或自動化實體，使系統(tǒng)能針對一系列預(yù)定義任務(wù)實現(xiàn)預(yù)測、推薦或決策。3.2機器學習machinelearning通過計算技術(shù)優(yōu)化模型參數(shù)的過程，使模型的行為反映數(shù)據(jù)或經(jīng)驗。3.3模型部署modeldeployment將管理的模型，按照與推理環(huán)境相匹配的方式部署到指定環(huán)境中，并以指定的接口形式與其他業(yè)務(wù)應(yīng)用集成。4縮略語AI：人工智能ArtificialIntelligenceFTP：文件傳輸協(xié)議FileTransferProtocolURL：統(tǒng)一資源定位符UniformResourceLocatorRTSP：實時流傳輸協(xié)議RealTimeStreamingProtocolGAN：生成式對抗網(wǎng)絡(luò)GenerativeAdversarialNetworksSDK：軟件開發(fā)工具包SoftwareDevelopmentKit、OCR：光學字符識別OpticalCharacterRecognition5服務(wù)流程5.1項目啟動2T/CASMESXXXX—2023在項目啟動階段，應(yīng)進行初步需求分析，明確項目目標和范圍，制定項目計劃，并分配資源。內(nèi)應(yīng)主要包括下列步驟：a)了解客戶需求和期望；b)分析現(xiàn)有系統(tǒng)和數(shù)據(jù)；c)確定項目目標和范圍；d)制定詳細的項目計劃和時間表；e)分析項目資源和人員。5.2數(shù)據(jù)收集與預(yù)處理在數(shù)據(jù)收集階段，應(yīng)確定數(shù)據(jù)來源，收集數(shù)據(jù)，并進行數(shù)據(jù)清洗和預(yù)處理，保證數(shù)據(jù)的準確性和完整性。應(yīng)主要包括下列步驟：a)確定數(shù)據(jù)來源和收集方法；b)進行數(shù)據(jù)清洗和預(yù)處理；c)構(gòu)建數(shù)據(jù)集并進行驗證。5.3模型開發(fā)與訓練在模型開發(fā)與訓練階段，應(yīng)進行模型設(shè)計和開發(fā)，并進行訓練和優(yōu)化。應(yīng)主要包括下列步驟：a)選擇適合的模型和算法；b)進行特征工程和模型設(shè)計；c)對模型進行訓練和優(yōu)化；d)進行模型評估和選擇。5.4模型部署與集成在模型部署與集成階段，應(yīng)將模型部署到實際應(yīng)用場景中，并與現(xiàn)有系統(tǒng)進行集成。應(yīng)主要包括下列步驟：a)選擇適合的部署方法和平臺；b)將模型集成到現(xiàn)有系統(tǒng)中；c)進行模型部署和測試；d)更新和維護模型。5.5模型監(jiān)控與維護在模型監(jiān)控與維護階段，應(yīng)對已部署的模型進行監(jiān)控和維護，保證其穩(wěn)定性和安全性。應(yīng)主要包括下列步驟：a)建立模型監(jiān)控系統(tǒng)；b)監(jiān)測模型性能和異常情況；c)進行模型維護和更新；d)處理模型錯誤和異常情況。6功能要求6.1數(shù)據(jù)接入6.1.1應(yīng)根據(jù)項目需求，按照不同方式接入不同類型的數(shù)據(jù)，并在此基礎(chǔ)上開展后續(xù)環(huán)節(jié)。該能力項可設(shè)置但不限于以下考察面：接入數(shù)據(jù)類型、接入數(shù)據(jù)方式、接入數(shù)據(jù)的參數(shù)配置等。3T/CASMESXXXX—20236.1.2應(yīng)包括以下基本功能：a)支持接入結(jié)構(gòu)化數(shù)據(jù)，如庫表等格式；b)支持接入多種半結(jié)構(gòu)化數(shù)據(jù)，包括但不限于csv、xls、xlsx等格式；c)支持接入多種文本類非結(jié)構(gòu)化數(shù)據(jù)，包括但不限于txt、doc、docx等格式；d)支持接入多種圖片類非結(jié)構(gòu)化數(shù)據(jù)，包括但不限于png、jpg、jpeg、bmp等格式；e)支持接入多種音頻類非結(jié)構(gòu)化數(shù)據(jù)，包括但不限于mp3、wav等格式；f)支持接入視頻類非結(jié)構(gòu)化數(shù)據(jù)，如mp4、avi、mov等格式；g)支持接入多種標簽數(shù)據(jù)，包括但不限于JSON、XML等格式；h)支持接入壓縮包文件，如zip、rar、tar等格式；i)支持本地文件接入數(shù)據(jù)，如本地單個上傳、批量上傳等；j)支持網(wǎng)絡(luò)協(xié)議接入數(shù)據(jù)，如FTP、URL、RTSP、共享存儲等；k)支持通過用戶界面配置數(shù)據(jù)接入的參數(shù)，如數(shù)據(jù)源、數(shù)據(jù)類型、接入方式等。6.1.3可包含以下高級功能：a)支持接入實時數(shù)據(jù)流，如結(jié)構(gòu)化數(shù)據(jù)流、非結(jié)構(gòu)化數(shù)據(jù)流等；b)支持周期性地數(shù)據(jù)接入，如按照設(shè)置的時間間隔定期接入數(shù)據(jù)。6.2數(shù)據(jù)預(yù)處理6.2.1經(jīng)過清洗、轉(zhuǎn)換等操作，數(shù)據(jù)預(yù)處理部分應(yīng)能解決數(shù)據(jù)可能存在的質(zhì)量問題（如不一致、無效、缺失、重復(fù)等），將數(shù)據(jù)加工為模型開發(fā)能夠直接使用的形式。該能力項可設(shè)置但不限于以下考察面：數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)增強等。6.2.2應(yīng)包含以下基本功能：a)支持結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)的清洗，如數(shù)據(jù)去重、異常值檢測、缺失值填充等；b)支持非結(jié)構(gòu)化數(shù)據(jù)的清洗，如根據(jù)特定規(guī)則剔除不符合要求的非結(jié)構(gòu)化數(shù)據(jù)；c)支持不同格式數(shù)據(jù)標簽之間的轉(zhuǎn)換，如XML標簽與JSON標簽之間的轉(zhuǎn)換；d)支持集成腳本語言進行數(shù)據(jù)加工，如Python、PySpark、SQL等；e)支持自定義數(shù)據(jù)預(yù)處理功能，如用戶自定義預(yù)處理算法邏輯。6.2.3可包含以下高級功能：a)支持結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)的自動預(yù)處理；b)支持非結(jié)構(gòu)化數(shù)據(jù)的自動預(yù)處理，如圖像數(shù)據(jù)的自動預(yù)處理；c)支持有監(jiān)督數(shù)據(jù)增強技術(shù)，也即基于現(xiàn)有樣本的單樣本數(shù)據(jù)增強、多樣本數(shù)據(jù)增強，如圖像的翻轉(zhuǎn)、縮放、裁剪等；d)支持無監(jiān)督數(shù)據(jù)增強技術(shù)，也即基于深度學習等算法的數(shù)據(jù)增強，如基于GAN的數(shù)據(jù)增強、神經(jīng)風格轉(zhuǎn)換等。6.3模型開發(fā)6.3.1模型開發(fā)旨在提供方便、系統(tǒng)、專業(yè)的開發(fā)工具和環(huán)境，通過更加人性化的操作接口展示，幫助不同層次的開發(fā)者開發(fā)算法，該部分尤其關(guān)注對主流機器學習框架的集成和支持。該能力項可設(shè)置但不限于以下考察面：開發(fā)庫(AI框架等）、建模方式等。6.3.2應(yīng)包括以下基本功能：a)支持多種（兩種或以上）傳統(tǒng)機器學習框架，如Spark、Scikit-learn、XGBoost等；b)支持多種（兩種或以上）深度學習框架，如TensorFlow、PyTorch、PaddlePaddle等；c)支持提供預(yù)訓練模型，如自然語言處理、計算機視覺等領(lǐng)域的預(yù)訓練模型；4T/CASMESXXXX—2023d)支持Python等開發(fā)語言；e)支持交互式編碼建模，如Notebook等；f)支持可視化建模，如拖拽組件等；g)支持本地IDE開發(fā)，如通過集成SDK訪問平臺服務(wù)；h)支持自定義開發(fā)環(huán)境，如以鏡像方式提供可自定義的開發(fā)環(huán)境。6.3.3可包括支持對建模任務(wù)進行封裝，如封裝為SDK等形式的高級功能。6.4模型訓練6.4.1應(yīng)能為用戶提供多維度的訓練支持，包括，包括訓練資源的調(diào)度、訓練操作的支持、訓練優(yōu)化的支持等，系統(tǒng)應(yīng)為用戶屏蔽底層算力設(shè)施的復(fù)雜組網(wǎng)和配置，通過簡易設(shè)置實現(xiàn)不同的訓練模式。該能力項可設(shè)置但不限于以下考察面：訓練類型、訓練操作、訓練優(yōu)化等。6.4.2應(yīng)包括以下基本功能：a)支持多種CPU訓練方式，包括但不限于：單機訓練、分布式訓練；b)支持多種GPU訓練方式，包括但不限于：單卡訓練、單機多卡、多機多卡訓練；c)支持設(shè)置訓練資源規(guī)格，如CPU核數(shù)、GPU個數(shù)、內(nèi)存等；d)支持自定義訓練參數(shù)，包括但不限于：算法參數(shù)、運行參數(shù)、訓練數(shù)據(jù)、驗證數(shù)據(jù)等；e)支持訓練任務(wù)的多種操作，包括但不限于：創(chuàng)建、查詢、開啟、終止、刪除、修改等；f)支持對正在執(zhí)行訓練任務(wù)的多種操作，包括但不限于：中止、斷點恢復(fù)、斷點重做等；g)支持訓練任務(wù)的信息查看，包括但不限于：訓練狀態(tài)、訓練進度、訓練結(jié)果、訓練失敗原因等信息；h)支持模型的微調(diào)(fine-tune)，如基于預(yù)訓練模型、自動訓練模型的二次訓練；i)支持模型訓練過程的可視化，如訓練參數(shù)和指標、模型圖等的可視化。6.4.3可包括以下高級功能：a)支持異構(gòu)計算資源訓練，如不同架構(gòu)芯片、加速卡用于異構(gòu)加速訓練任務(wù)；b)提供自動調(diào)參工具，可根據(jù)模型及數(shù)據(jù)量設(shè)定合適的參數(shù)；c)支持訓練優(yōu)化技術(shù)，如混合精度訓練、編譯優(yōu)化等；d)支持分布式計算框架的優(yōu)化，如顯存優(yōu)化、線性加速比的提升、通信優(yōu)化等。6.5自動學習6.5.1自動學習可以將超參數(shù)調(diào)優(yōu)、模型選擇等環(huán)節(jié)進行自動化處理，同時通過模板化、可視化、向?qū)降慕９ぞ撸档陀脩羲璧募夹g(shù)門檻。該能力項可設(shè)置但不限于以下考察面：超參數(shù)搜索、模型結(jié)構(gòu)設(shè)計、自動學習模板等。6.5.2應(yīng)包含以下基本功能：a)支持自動數(shù)據(jù)增強，如遺傳進化、可微分等技術(shù)；b)支持多種（兩種或以上）超參數(shù)搜索技術(shù)，如網(wǎng)絡(luò)搜索、隨機搜索、貝葉斯優(yōu)化等；c)支持模型結(jié)構(gòu)的自動設(shè)計，如神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索；d)支持通過向?qū)降牟僮鲙椭脩敉瓿赡Ｐ陀柧?，如模式定義、模型選擇、參數(shù)/超參數(shù)設(shè)置等操作；e)支持自動化建模任務(wù)的信息查看，如模型指標、資源消耗、訓練時長等。6.5.3可包含以下高級功能：a)支持小樣本學習，在小樣本的情況下訓練出較高精度模型；5T/CASMESXXXX—2023b)支持多個模型融合，如AveragingEnsemble（平均法融合）、GreedyEnsemble（貪婪法融合）、StackingEnsemble（堆疊法融合）等集成方法；c)支持多種（兩種或以上）圖像類自動建模場景模板，如圖像分類、物體檢測、圖像分割、文字識別等；d)支持多種（兩種或以上）文本類自動建模場景模板，如文本分類、文本匹配、序列標注等；e)支持多種（兩種或以上）語音類自動建模場景模板，如語音識別、聲音分類等；f)支持多種（兩種或以上）視頻類自動建模場景模板，如目標跟蹤、視頻分類等；g)在明確標注數(shù)據(jù)和業(yè)務(wù)場景的情況下，支持自動學習生成模型，自動完成特征工程、模型選擇、超參數(shù)調(diào)優(yōu)、模型訓練等環(huán)節(jié)。6.6模型部署6.6.1意根據(jù)具體業(yè)務(wù)需求，將模型部署在云端、邊緣端、終端等不同的位置。該能力項可設(shè)置但不限于以下考察面：部署測試、部署模式、部署資源、部署管理等。6.6.2應(yīng)包括以下基本功能：a)支持用戶自定義推理服務(wù)使用的資源規(guī)格，如計算資源類型、資源數(shù)量等；b)支持以容器鏡像的方式部署模型；c)支持將模型部署為在線服務(wù)；d)支持將模型部署為批量服務(wù)；e)支持以SDK的方式部署模型；f)支持多種模型部署及測試策略，包括但不限于：滾動更新、灰度測試、A/B測試等；g)支持面向業(yè)務(wù)場景的多模型編排，將多模型編排后以統(tǒng)一接口提供模型推理服務(wù)；h)支持查看模型部署的信息，如部署狀態(tài)、失敗信息、離線日志等。6.6.3可包括以下高級功能：a)支持推理加速框架模型的部署，如TensorRT、openVINO、TVM等；b)支持邊緣端、終端設(shè)備的模型部署；c)支持面向業(yè)務(wù)場景的可視化模型編排；d)支持模型熱更新，如根據(jù)預(yù)設(shè)的條件（如模型評估結(jié)果）更新模型版本；e)支持端云協(xié)同的服務(wù)部署管理，如云端支持對邊緣端、終端設(shè)備的模型下發(fā)和更新；f)支持提供模型適配云端等多種異構(gòu)硬件、多種操作系統(tǒng)的能力；g)支持提供模型適配邊緣端、終端等多種異構(gòu)硬件、多種操作系統(tǒng)的能力。6.7日志管理6.7.1日志管理應(yīng)對各個關(guān)鍵環(huán)節(jié)設(shè)置日志記錄，有助于及時發(fā)現(xiàn)、預(yù)防故障隱患，避免系統(tǒng)運行事故的發(fā)生。該能力項可設(shè)置但不限于以下考察面：日志類型、日志操作等。6.7.2應(yīng)包括以下基本功能：a)支持平臺多個環(huán)節(jié)的日志采集及存儲，包括但不限于：數(shù)據(jù)處理部分、模型構(gòu)建部分、模型部署部分、資源使用部分、用戶操作部分等；b)支持日志的基本操作，包括但不限于：日志的查詢、篩選、備份等。6.7.3可包括支持對系統(tǒng)任務(wù)日志進行分析的高級功能。6.8監(jiān)控告警6.8.1監(jiān)控告警可以感知平臺資源的使用情況，并對潛在的風險及時發(fā)出告警。該能力項可設(shè)置但不6T/CASMESXXXX—2023限于以下考察面：平臺資源監(jiān)控、告警策略設(shè)置、監(jiān)控告警自定義等。6.8.2應(yīng)包括以下基本功能：a)支持對平臺資源的監(jiān)控，包括但不限于：全局基礎(chǔ)資源、訓練資源、推理資源等；b)支持不同維度的監(jiān)控，如任務(wù)、用戶、租戶等；c)支持告警自定義，包括但不限于：告警規(guī)則、告警方式（郵件、短信、電話等）等的自定義。6.8.3可包括告警時支持提供參考意見和處理方法，方便用戶快速定位和解決問題的高級功能。7性能要求7.1數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量標準應(yīng)包括：a)數(shù)據(jù)準確性：數(shù)據(jù)與實際相符的程度；b)數(shù)據(jù)完整性：數(shù)據(jù)沒有缺失或重復(fù)的程度；c)數(shù)據(jù)一致性：不同數(shù)據(jù)源之間的數(shù)據(jù)一致程度；d)數(shù)據(jù)可用性：數(shù)據(jù)可被正確訪問和使用的程度。7.2模型質(zhì)量模型質(zhì)量指標應(yīng)包括：a)準確性：模型預(yù)測結(jié)果與實際結(jié)果相符的比例；b)精確度：模型預(yù)測為正例的正確率；c)召回率：模型預(yù)測為正例的真實陽性率；d)F1分數(shù)：準確率和召回率的調(diào)和平均數(shù)，綜合評價模型性能；e)魯棒性：模型對于輸入數(shù)據(jù)的變動和擾動的承受能力；f)可解釋性：模型結(jié)構(gòu)和預(yù)測結(jié)果的解釋性，便于人類理解和應(yīng)用。7.3安全性與隱私保護安全性和隱私保護的最佳實踐應(yīng)包括：a)數(shù)據(jù)安全：采用加密技術(shù)和其他安全措施保護數(shù)據(jù)不被非法獲取或使用；b)模型安全：防止惡意攻擊和