人工智能 風險管理能力評估 征求意見稿

1GB/TXXXXX—XXXX人工智能風險管理能力評估本文件提出了組織的人工智能風險管理能力評級與劃分規(guī)則，規(guī)定了組織對于人工智能風險管理的能力框架和評估方法。本文件適用于對組織級利益相關方所提供的人工智能風險管理能力的評估。2規(guī)范性引用文件下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T24353-2022風險管理指南GB/T23694-2013風險管理術語GB/T41867-2022信息技術人工智能術語ISO/IEC22989:2022信息技術人工智能概念和術語（Informationtechnology—Artificialintelligence—Artificialintelligenceconceptsandterminology）ISO/IEC23894:2023信息技術人工智能風險管理指南（Informationtechnology—Artificialintelligence—Guidanceonriskmanagement）ISO/IEC31000:2018風險管理指南（Riskmanagement-Guidelines）ISO/IEC42001:2023信息技術人工智能管理體系（Informationtechnology—Artificialintelligence—Managementsystem）3術語和定義GB/T41867-2022與ISO/IEC22989:2022、ISO/IEC31000:2018界定的以及下列術語和定義適用于本文件。3.1人工智能artificialintelligence人工智能系統(tǒng)的機制和應用的研究與開發(fā)。[來源：GB/T41867-2022，3.1.2]3.2人工智能系統(tǒng)artificialintelligencesystem針對人類定義的給定目標，產生諸如內容、預測、推薦或決策等輸出的一類工程系統(tǒng)。2GB/TXXXXX—XXXX[來源：GB/T41867-2022，3.1.8]3.3風險risk不確定性對目標的影響。[來源：GB/T23694-2023，2.1]3.4風險管理riskmanagement在風險方面指導和控制組織的協(xié)調活動。[來源：GB/T23694-2023，3.1]3.5風險源riskresource單獨或組合有可能產生風險的元素。[來源：GB/T23694-2023，4.5.1.2]3.6能力主域capabilitydomain風險管理過程框架中相關過程的集合。3.7能力子域capabilitysub-domain能力主域中相關風險管理活動的集合。3.8能力子項capabilitysub-item能力子域中構成能力模型的若干特性指標單項。3.9能力子項權重factorofcapabilitysub-item對應能力子項在所述能力子域評估中的權重因子。4人工智能風險管理能力評級4.1人工智能風險管理能力等級人工智能風險管理能力等級分為初始級、規(guī)范級、全面級、量化級、卓越級共5級，見圖1。3GB/TXXXXX—XXXX圖1人工智能風險管理能力等級每個能力等級表明人工智能風險管理能力所達到的水平。較高的能力等級涵蓋了低于其能力等級的全部要求。4.2人工智能風險管理能力等級劃分規(guī)則人工智能風險管理能力等級劃分可采用評分量化的方式進行，風險管理能力等級的評分可參考如下公式。其中，各能力主域和能力子域的評分可分別適用相關公式進行評估：能力等級得分的計算公式如公式（1）所示：Capa_level=Σk(capa_domaink×factork)………（1）式中：Capa_level——能力等級得分；capa_domaink——第k個能力主域的得分；factork——第k個能力主域的權重。能力主域得分的計算公式如公式（2）所示：Capa_domain=Σj(sub_domainj×factorj)………（2）式中：Capa_domain——能力主域得分；sub_domainj——第j個能力子域的得分；factorj——第j個能力子域的權重。能力子域得分的計算公式如公式（3）所示：Sub_domain=Σi(sub_itemi×factori)………（3）式中：Sub_domain——能力子域得分；sub_itemi——第i個能力子項的得分；factori——第i個能力子項的權重。公式（1）、（2）、（3）中的權重設置宜參考附錄A。人工智能風險管理能力、各能力主域、能力子域的能力等級劃分規(guī)則見表1表5，可根據(jù)風險管理能力評估得分確定組織的風險管理能力等級。表1人工智能風險管理能力等級劃分參考規(guī)則組織具備基本的人工智能風險管理能力。組織會建立系統(tǒng)的人工智能風險管理機制。風險管理往往以4GB/TXXXXX—XXXX風險管理結果不可預測且難以復制，通常更多地依賴于組織具備可拓展的人工智能風險管理能力。組織要性，建立了基本的風險管理流程和機制。風險管理責明確、有足夠資源的人員，但多數(shù)風險管理活動還組織具備穩(wěn)定的人工智能風險管理能力。組織建制，風險管理活動可以被標準化、協(xié)調和一致地推理視為組織運作的關鍵要素，在決策和資源分配中組織具備優(yōu)秀的人工智能風險管理能力。組織建制，且持續(xù)根據(jù)內外環(huán)境變化進行更新。組織應用定量和評估風險管理過程，風險管理被納入到組織的戰(zhàn)組織具備卓越的人工智能風險管理能力。組織建流程和機制，且持續(xù)根據(jù)內外環(huán)境變化進行更新。過程中使用先進的技術工具，風險管理完全嵌入到風險管理能力已成為行業(yè)標桿，可以在整個行業(yè)內分享最注：風險管理能力等級是對組織的風險管理策劃能力、風險溝通能力、風險評估能力、風險處理能力、風險監(jiān)控4.3人工智能風險管理過程面向人工智能的風險管理過程包括風險管理策劃、風險溝通、風險評估、風險處理、風險監(jiān)控、風險回顧等六個過程域，見圖2。其中：——風險管理策劃，是風險管理的起始環(huán)節(jié)，涉及確定風險管理的范圍、環(huán)境和準則，旨在有針對性地設計風險管理過程。風險管理策劃包括確定領導作用、制定風險政策等過程。——風險評估，是在風險管理策劃的基礎上進行，是對風險進行定性或量化分析的過程，旨在確定風險發(fā)生的可能性和影響程度。風險評估包括風險識別、風險分析和風險評價三個步驟，為風險處理提供決策依據(jù)。——風險處理，是組織根據(jù)風險評估的結果，制定并執(zhí)行風險應對策略和措施。風險處理旨在降低風險發(fā)生的可能性或減輕風險造成的損失?！L險溝通，貫穿于風險管理的全過程，涉及組織內部各級別之間以及組織與外部利益相關者之間的信息交流?！L險監(jiān)控，是對風險管理活動進行持續(xù)跟蹤和監(jiān)測的過程，旨在及時發(fā)現(xiàn)并應對新的風險或原有風險的變化。風險監(jiān)控貫穿于風險管理的全過程?！L險回顧，是對風險管理策劃、風險評估、風險處理、風險溝通與風險監(jiān)控等其他五個過程域的風險管理活動與結果進行傳達，從而為組織提供決策信息，以改進其風險管理活動。5GB/TXXXXX—XXXX圖2人工智能風險管理過程4.4人工智能風險管理能力框架人工智能風險管理能力框架的能力主域分為風險管理策劃能力、風險溝通能力、風險評估能力、風險處理能力、風險監(jiān)控能力以及風險回顧能力。各能力主域的能力子域和能力子項按照衡量相關能力所需維度進行規(guī)定，其框架見表2。6GB/TXXXXX—XXXX表2風險管理能力框架4.5人工智能風險管理能力子項4.5.1風險管理策劃能力4.5.1.1確定領導作用確定領導作用能力包括：a)確定組織方針：組織需要了解其內部和外部環(huán)境，包括其在人工智能系統(tǒng)中的角色，以及這些角色如何影響其實現(xiàn)人工智能管理體系目標的能力，以確定風險管理框架的設計原則；b)確定人工智能風險管理目標：組織確定人工智能風險管理目標，確保風險管理目標與組織的戰(zhàn)略目標一致；c)進行資源協(xié)調：領導確保提供所需的資源，建立并維護過程所需的組織機構和崗位的職責，包括人力、技能、經驗和能力，以及風險管理所需的過程、方法和工具，以支撐風險管理的實施與改進；7GB/TXXXXX—XXXXd)指派職責：領導確保負責風險管理的相關角色的權力、責任、決策流程和問責機制，確保風險管理的有效實施和持續(xù)改進。4.5.1.2制定風險政策制定風險政策能力包括：a)定義人工智能風險管理活動范圍：組織確定其風險管理活動的范圍，并與組織的戰(zhàn)略目標和運營需求相一致；b)定義風險參數(shù)：定義用于風險管理的參數(shù)，包括用于風險分析、分類和排序的參數(shù)，以及用于控制和管理風險的參數(shù)。如：風險發(fā)生的可能性、風險發(fā)生的時間段、影響程度等度量參數(shù)；c)定義風險準則：組織規(guī)定其可能承擔或不承擔的風險的數(shù)量和類型，以及評估風險重要性和支持決策過程的標準；d)確定風險管理策略：確定人工智能風險管理活動的時機、方法和管理要求；e)確定風險儲備：確定人工智能相關風險的應急儲備和管理儲備。4.5.2風險溝通能力4.5.2.1溝通與咨詢溝通與咨詢能力包括：a)風險溝通1）透明溝通：確保與人工智能相關的決策過程、風險評估結果和風險管理策略對內外部利益相關者保持透明。包括清晰地傳達人工智能系統(tǒng)的預期用途、潛在風險、已采取的緩解措施以及在發(fā)生風險時的應對計劃。2）及時溝通：信息應在風險管理過程的關鍵時刻及時傳達，以確保利益相關者能夠做出基于最新信息的決策。3）全面溝通：確保向利益相關者傳達信息同時收集和整合利益相關者的反饋和意見。溝通內容包括風險識別、評估、處理策略和結果，以及任何更新或變更。b)風險咨詢1）利益相關方識別：識別所有可能受人工智能系統(tǒng)影響的內外部利益相關方，確保這些利益相關方的觀點和利益在后續(xù)的風險管理流程中得到考慮。2）反饋機制：確保具備系統(tǒng)化的反饋流程，能夠收集利益相關者的意見及其對風險管理的建3）多元化視角：確保咨詢過程中包含多樣化的觀點，增加風險管理的深度和廣度，組織能夠從多角度審視風險。4.5.3風險評估能力4.5.3.1風險識別風險識別能力包括：a)選擇風險識別工具/技術/方法：組織應根據(jù)人工智能系統(tǒng)的特點和組織管理需求，建立風險識別的工具/技術/方法庫，并選擇適合的工具/技術/方法來識別風險；b)識別人工智能風險源：組織識別與人工智能的開發(fā)或使用相關的風險源；c)識別風險后果：組織識別風險可能帶來的直接和間接后果，評估這些后果對組織目標、利益相關者以及社會環(huán)境的潛在影響。8GB/TXXXXX—XXXX4.5.3.2風險分析風險分析能力包括：a)進行人工智能風險分類：組織根據(jù)不同維度明確風險分類準則，并進行分類。如：按內部/外部分類，按技術、資源、管理等方面分類；b)進行風險概率分析：基于定性或定量方法，進行風險概率分析，如：使用歷史數(shù)據(jù)、專家判斷、模擬等手段；c)進行風險影響分析：基于定性或定量方法，進行風險影響分析，如：財務、聲譽、運營等方面的影響。4.5.4風險處理能力4.5.4.1風險應對風險應對能力包括：a)選擇風險應對方案：基于風險評估結果和風險管理目標，根據(jù)風險優(yōu)先等級，選擇適合的風險應對方案，如避免、轉移、緩解、接受等；b)制定和實施風險處理計劃：1）制定風險處理計劃：計劃內容可包括風險應對方案的理由、預期收益、涉及的實施及批準人員、具體活動、所需資源（包括財務預算和人力資源）、績效指標、時間限制、監(jiān)控和審查機制等。2）實施風險處理計劃：按照風險處理計劃執(zhí)行風險應對措施，確保計劃的實施與組織目標和風險管理策略一致。定期監(jiān)控風險處理措施的效果，評估是否達到預期的降低風險的目標?；诒O(jiān)控結果和業(yè)務環(huán)境的變化，定期審查，在必要時調整風險處理計劃。4.5.5風險監(jiān)控能力4.5.5.1風險評價風險評價能力包括：a)建立風險概率影響矩陣：根據(jù)風險概率分析和風險影響分析的結果，基于定性或定量方法，建立風險概率影響矩陣；b)確定風險優(yōu)先級：根據(jù)風險參數(shù)劃分等級（如高、中、低）并根據(jù)參數(shù)進行風險排序。4.5.5.2監(jiān)督與檢查風險監(jiān)督與檢查能力包括：a)風險監(jiān)督：收集風險管理信息、監(jiān)督風險處理措施的實施情況、記錄監(jiān)督過程中發(fā)生的問題和結果，并提供有利于促進風險管理過程持續(xù)改進的反饋；b)風險檢查：對風險管理效果進行檢查，將檢查結果納入整個組織的績效管理中。4.5.6風險回顧能力4.5.6.1記錄與報告風險記錄與報告能力包括：a)風險記錄：確定風險記錄的信息需求、要求、方法、頻率，為風險管理決策提供信息；9GB/TXXXXX—XXXXb)風險報告：確定報告的方法、成本、頻率和及時性，傳達整個組織的風險管理活動和結果，從而改進風險管理活動。5人工智能風險管理能力評估5.1人工智能風險管理策劃能力評估5.1.1確定領導作用確定領導作用能力子域的能力子項能力評估分值見表3。表3確定領導作用能力評估描述及分值整的風險管理策略和風險應對方案，并明確組織的最高管注：本文件涉及的人工智能系統(tǒng)生命周期的各個階段應符合ISO/IEC42001:2023《信息技術-人工智能-管理系統(tǒng)》（Informationtechnology—Artificialintelligence—Managementsystem）等標準文件的相關規(guī)定。53153153GB/TXXXXX—XXXX15組織設置至少1名具備獨立性的專職風險管理人員，明確其31注：以上能力未達到最低評分要求或完全不具備該能力項5.1.2制定風險政策制定風險政策能力子域的能力子項評估分值見表4。表4制定風險政策能力評估描述及分值考慮到所有相關部門的協(xié)作和配合，確保全53GB/TXXXXX—XXXX1531），5），3），1GB/TXXXXX—XXXX531531注：以上能力未達到最低評分要求或完全不具備該能力項5.2人工智能風險溝通能力評估溝通與咨詢能力子域的能力子項能力評估分值見表5。表5溝通與咨詢能力評估描述及分值GB/TXXXXX—XXXX531能夠整合來自內外部利益相關方的反饋和建議531注：以上能力未達到最低評分要求或完全不具備該能力項5.3人工智能風險評估能力評估5.3.1風險識別風險識別能力子域的能力子項能力評估分值見表6。表6風險識別能力評估描述及分值錄C以確保涵蓋所有相關領域。能夠在現(xiàn)有工具/技術/方法的基礎上進行整合與（2）運用能力：能夠根據(jù)實際場景，運用已53GB/TXXXXX—XXXX（3）匹配度和有效性：選擇的工具/技術/方（2）運用能力：能夠簡單了解人工智能風（3）匹配度和有效性：選擇的工具/技術/方1531（1）風險后果影響對象：能夠全面識別風險5（1）風險后果影響對象：能夠基本識別風險31注：以上能力未達到最低評分要求或完全不具備該5.3.2風險分析風險分析能力子域的能力子項評估分值見表7。表7風險分析能力評估描述及分值GB/TXXXXX—XXXX5一般的分類能力：能夠將面臨的風險進行基本的分類，類3有限的分類能力：能夠將面臨的風險進行大致的分類，類別達到1析和影響，進行多因素綜合分析，增強概率預測的全面性53），1析（1）分析方法：以定量分析為主，能夠熟練運用先進的統(tǒng)計方法和數(shù)據(jù)分析算法，5GB/TXXXXX—XXXX（2）分析維度：能夠綜合考慮財務、聲譽、（3）分析結果：能夠得到量化的風險事件概（1）分析方法：定性與定量方法相結合，能（2）分析維度：能夠分析部分影響維度，大3），（2）分析維度：能夠分析有限的影響維度，對風險事件的負面影響（3）分析結果：僅能夠關注最顯而易見的風1注：以上能力未達到最低評分要求或完全不具備該5.3.3風險評價風險評價能力子域的能力子項評估分值見表8。表8風險評價能力評估描述及分值度在矩陣中定位各風險的對應位置，支持對風險概率（2）更新：能夠實時、動態(tài)地更新風險概率5315GB/TXXXXX—XXXX概率影響評估：基于定性-定量分析，對風險概率3概率影響評估：基于定性分析，對風險概率影1注：以上能力未達到最低評分要求或完全不具備該能力項5.4人工智能風險處理能力評估風險應對能力子域的能力子項能力評估分值見表9。表9風險應對能力評估描述及分值案具體，并能根據(jù)實際情況靈活選擇，并考慮了應對（3）決策質量：決策過程嚴謹、科學、透明、可追溯，能夠避免重大遺漏或誤判，5（1）基本的應對方案：針對高風險，能夠提312）明確了具體的時間節(jié)點、活動優(yōu)先級排序、活動依賴5GB/TXXXXX—XXXX2）執(zhí)行流程清晰、高效，監(jiān)控機制完善，能夠及3）應對措施能夠按時、高效執(zhí)行，并能夠在必要時進行靈2）明確了風險處理的具體時間節(jié)點，能夠保障2）有明確的執(zhí)行流程，但執(zhí)行中可能存在小31注：以上能力未達到最低評分要求或完全不具備該5.5人工智能風險監(jiān)控能力評估監(jiān)督與檢查能力子域的能力子項評估分值見表10。表10監(jiān)督與檢查能力評估描述及分值80%或以上的人工智能風險源，并能夠動態(tài)、實時地擴充或更新53GB/TXXXXX—XXXX50%-80%的人工智能風險源，能夠定期擴充153GB/TXXXXX—XXXX1注：以上能力未達到最低評分要求或完全不具備該能力項5.6人工智能風險回顧能力評估記錄與報告能力子域的能力子項評估分值見表11。表11記錄與報告能力評估描述及分值（1）記錄工具：通過智能化項目管理系統(tǒng)建蹤表，制定統(tǒng)一的風險記錄格式，確保所有