人工智能 風(fēng)險管理能力評估 征求意見稿

1GB/TXXXXX—XXXX人工智能風(fēng)險管理能力評估本文件提出了組織的人工智能風(fēng)險管理能力評級與劃分規(guī)則，規(guī)定了組織對于人工智能風(fēng)險管理的能力框架和評估方法。本文件適用于對組織級利益相關(guān)方所提供的人工智能風(fēng)險管理能力的評估。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T24353-2022風(fēng)險管理指南GB/T23694-2013風(fēng)險管理術(shù)語GB/T41867-2022信息技術(shù)人工智能術(shù)語ISO/IEC22989:2022信息技術(shù)人工智能概念和術(shù)語（Informationtechnology—Artificialintelligence—Artificialintelligenceconceptsandterminology）ISO/IEC23894:2023信息技術(shù)人工智能風(fēng)險管理指南（Informationtechnology—Artificialintelligence—Guidanceonriskmanagement）ISO/IEC31000:2018風(fēng)險管理指南（Riskmanagement-Guidelines）ISO/IEC42001:2023信息技術(shù)人工智能管理體系（Informationtechnology—Artificialintelligence—Managementsystem）3術(shù)語和定義GB/T41867-2022與ISO/IEC22989:2022、ISO/IEC31000:2018界定的以及下列術(shù)語和定義適用于本文件。3.1人工智能artificialintelligence人工智能系統(tǒng)的機(jī)制和應(yīng)用的研究與開發(fā)。[來源：GB/T41867-2022，3.1.2]3.2人工智能系統(tǒng)artificialintelligencesystem針對人類定義的給定目標(biāo)，產(chǎn)生諸如內(nèi)容、預(yù)測、推薦或決策等輸出的一類工程系統(tǒng)。2GB/TXXXXX—XXXX[來源：GB/T41867-2022，3.1.8]3.3風(fēng)險risk不確定性對目標(biāo)的影響。[來源：GB/T23694-2023，2.1]3.4風(fēng)險管理riskmanagement在風(fēng)險方面指導(dǎo)和控制組織的協(xié)調(diào)活動。[來源：GB/T23694-2023，3.1]3.5風(fēng)險源riskresource單獨或組合有可能產(chǎn)生風(fēng)險的元素。[來源：GB/T23694-2023，4.5.1.2]3.6能力主域capabilitydomain風(fēng)險管理過程框架中相關(guān)過程的集合。3.7能力子域capabilitysub-domain能力主域中相關(guān)風(fēng)險管理活動的集合。3.8能力子項capabilitysub-item能力子域中構(gòu)成能力模型的若干特性指標(biāo)單項。3.9能力子項權(quán)重factorofcapabilitysub-item對應(yīng)能力子項在所述能力子域評估中的權(quán)重因子。4人工智能風(fēng)險管理能力評級4.1人工智能風(fēng)險管理能力等級人工智能風(fēng)險管理能力等級分為初始級、規(guī)范級、全面級、量化級、卓越級共5級，見圖1。3GB/TXXXXX—XXXX圖1人工智能風(fēng)險管理能力等級每個能力等級表明人工智能風(fēng)險管理能力所達(dá)到的水平。較高的能力等級涵蓋了低于其能力等級的全部要求。4.2人工智能風(fēng)險管理能力等級劃分規(guī)則人工智能風(fēng)險管理能力等級劃分可采用評分量化的方式進(jìn)行，風(fēng)險管理能力等級的評分可參考如下公式。其中，各能力主域和能力子域的評分可分別適用相關(guān)公式進(jìn)行評估：能力等級得分的計算公式如公式（1）所示：Capa_level=Σk(capa_domaink×factork)………（1）式中：Capa_level——能力等級得分；capa_domaink——第k個能力主域的得分；factork——第k個能力主域的權(quán)重。能力主域得分的計算公式如公式（2）所示：Capa_domain=Σj(sub_domainj×factorj)………（2）式中：Capa_domain——能力主域得分；sub_domainj——第j個能力子域的得分；factorj——第j個能力子域的權(quán)重。能力子域得分的計算公式如公式（3）所示：Sub_domain=Σi(sub_itemi×factori)………（3）式中：Sub_domain——能力子域得分；sub_itemi——第i個能力子項的得分；factori——第i個能力子項的權(quán)重。公式（1）、（2）、（3）中的權(quán)重設(shè)置宜參考附錄A。人工智能風(fēng)險管理能力、各能力主域、能力子域的能力等級劃分規(guī)則見表1表5，可根據(jù)風(fēng)險管理能力評估得分確定組織的風(fēng)險管理能力等級。表1人工智能風(fēng)險管理能力等級劃分參考規(guī)則組織具備基本的人工智能風(fēng)險管理能力。組織會建立系統(tǒng)的人工智能風(fēng)險管理機(jī)制。風(fēng)險管理往往以4GB/TXXXXX—XXXX風(fēng)險管理結(jié)果不可預(yù)測且難以復(fù)制，通常更多地依賴于組織具備可拓展的人工智能風(fēng)險管理能力。組織要性，建立了基本的風(fēng)險管理流程和機(jī)制。風(fēng)險管理責(zé)明確、有足夠資源的人員，但多數(shù)風(fēng)險管理活動還組織具備穩(wěn)定的人工智能風(fēng)險管理能力。組織建制，風(fēng)險管理活動可以被標(biāo)準(zhǔn)化、協(xié)調(diào)和一致地推理視為組織運作的關(guān)鍵要素，在決策和資源分配中組織具備優(yōu)秀的人工智能風(fēng)險管理能力。組織建制，且持續(xù)根據(jù)內(nèi)外環(huán)境變化進(jìn)行更新。組織應(yīng)用定量和評估風(fēng)險管理過程，風(fēng)險管理被納入到組織的戰(zhàn)組織具備卓越的人工智能風(fēng)險管理能力。組織建流程和機(jī)制，且持續(xù)根據(jù)內(nèi)外環(huán)境變化進(jìn)行更新。過程中使用先進(jìn)的技術(shù)工具，風(fēng)險管理完全嵌入到風(fēng)險管理能力已成為行業(yè)標(biāo)桿，可以在整個行業(yè)內(nèi)分享最注：風(fēng)險管理能力等級是對組織的風(fēng)險管理策劃能力、風(fēng)險溝通能力、風(fēng)險評估能力、風(fēng)險處理能力、風(fēng)險監(jiān)控4.3人工智能風(fēng)險管理過程面向人工智能的風(fēng)險管理過程包括風(fēng)險管理策劃、風(fēng)險溝通、風(fēng)險評估、風(fēng)險處理、風(fēng)險監(jiān)控、風(fēng)險回顧等六個過程域，見圖2。其中：——風(fēng)險管理策劃，是風(fēng)險管理的起始環(huán)節(jié)，涉及確定風(fēng)險管理的范圍、環(huán)境和準(zhǔn)則，旨在有針對性地設(shè)計風(fēng)險管理過程。風(fēng)險管理策劃包括確定領(lǐng)導(dǎo)作用、制定風(fēng)險政策等過程。——風(fēng)險評估，是在風(fēng)險管理策劃的基礎(chǔ)上進(jìn)行，是對風(fēng)險進(jìn)行定性或量化分析的過程，旨在確定風(fēng)險發(fā)生的可能性和影響程度。風(fēng)險評估包括風(fēng)險識別、風(fēng)險分析和風(fēng)險評價三個步驟，為風(fēng)險處理提供決策依據(jù)。——風(fēng)險處理，是組織根據(jù)風(fēng)險評估的結(jié)果，制定并執(zhí)行風(fēng)險應(yīng)對策略和措施。風(fēng)險處理旨在降低風(fēng)險發(fā)生的可能性或減輕風(fēng)險造成的損失?！L(fēng)險溝通，貫穿于風(fēng)險管理的全過程，涉及組織內(nèi)部各級別之間以及組織與外部利益相關(guān)者之間的信息交流?！L(fēng)險監(jiān)控，是對風(fēng)險管理活動進(jìn)行持續(xù)跟蹤和監(jiān)測的過程，旨在及時發(fā)現(xiàn)并應(yīng)對新的風(fēng)險或原有風(fēng)險的變化。風(fēng)險監(jiān)控貫穿于風(fēng)險管理的全過程。——風(fēng)險回顧，是對風(fēng)險管理策劃、風(fēng)險評估、風(fēng)險處理、風(fēng)險溝通與風(fēng)險監(jiān)控等其他五個過程域的風(fēng)險管理活動與結(jié)果進(jìn)行傳達(dá)，從而為組織提供決策信息，以改進(jìn)其風(fēng)險管理活動。5GB/TXXXXX—XXXX圖2人工智能風(fēng)險管理過程4.4人工智能風(fēng)險管理能力框架人工智能風(fēng)險管理能力框架的能力主域分為風(fēng)險管理策劃能力、風(fēng)險溝通能力、風(fēng)險評估能力、風(fēng)險處理能力、風(fēng)險監(jiān)控能力以及風(fēng)險回顧能力。各能力主域的能力子域和能力子項按照衡量相關(guān)能力所需維度進(jìn)行規(guī)定，其框架見表2。6GB/TXXXXX—XXXX表2風(fēng)險管理能力框架4.5人工智能風(fēng)險管理能力子項4.5.1風(fēng)險管理策劃能力4.5.1.1確定領(lǐng)導(dǎo)作用確定領(lǐng)導(dǎo)作用能力包括：a)確定組織方針：組織需要了解其內(nèi)部和外部環(huán)境，包括其在人工智能系統(tǒng)中的角色，以及這些角色如何影響其實現(xiàn)人工智能管理體系目標(biāo)的能力，以確定風(fēng)險管理框架的設(shè)計原則；b)確定人工智能風(fēng)險管理目標(biāo)：組織確定人工智能風(fēng)險管理目標(biāo)，確保風(fēng)險管理目標(biāo)與組織的戰(zhàn)略目標(biāo)一致；c)進(jìn)行資源協(xié)調(diào)：領(lǐng)導(dǎo)確保提供所需的資源，建立并維護(hù)過程所需的組織機(jī)構(gòu)和崗位的職責(zé)，包括人力、技能、經(jīng)驗和能力，以及風(fēng)險管理所需的過程、方法和工具，以支撐風(fēng)險管理的實施與改進(jìn)；7GB/TXXXXX—XXXXd)指派職責(zé)：領(lǐng)導(dǎo)確保負(fù)責(zé)風(fēng)險管理的相關(guān)角色的權(quán)力、責(zé)任、決策流程和問責(zé)機(jī)制，確保風(fēng)險管理的有效實施和持續(xù)改進(jìn)。4.5.1.2制定風(fēng)險政策制定風(fēng)險政策能力包括：a)定義人工智能風(fēng)險管理活動范圍：組織確定其風(fēng)險管理活動的范圍，并與組織的戰(zhàn)略目標(biāo)和運營需求相一致；b)定義風(fēng)險參數(shù)：定義用于風(fēng)險管理的參數(shù)，包括用于風(fēng)險分析、分類和排序的參數(shù)，以及用于控制和管理風(fēng)險的參數(shù)。如：風(fēng)險發(fā)生的可能性、風(fēng)險發(fā)生的時間段、影響程度等度量參數(shù)；c)定義風(fēng)險準(zhǔn)則：組織規(guī)定其可能承擔(dān)或不承擔(dān)的風(fēng)險的數(shù)量和類型，以及評估風(fēng)險重要性和支持決策過程的標(biāo)準(zhǔn)；d)確定風(fēng)險管理策略：確定人工智能風(fēng)險管理活動的時機(jī)、方法和管理要求；e)確定風(fēng)險儲備：確定人工智能相關(guān)風(fēng)險的應(yīng)急儲備和管理儲備。4.5.2風(fēng)險溝通能力4.5.2.1溝通與咨詢溝通與咨詢能力包括：a)風(fēng)險溝通1）透明溝通：確保與人工智能相關(guān)的決策過程、風(fēng)險評估結(jié)果和風(fēng)險管理策略對內(nèi)外部利益相關(guān)者保持透明。包括清晰地傳達(dá)人工智能系統(tǒng)的預(yù)期用途、潛在風(fēng)險、已采取的緩解措施以及在發(fā)生風(fēng)險時的應(yīng)對計劃。2）及時溝通：信息應(yīng)在風(fēng)險管理過程的關(guān)鍵時刻及時傳達(dá)，以確保利益相關(guān)者能夠做出基于最新信息的決策。3）全面溝通：確保向利益相關(guān)者傳達(dá)信息同時收集和整合利益相關(guān)者的反饋和意見。溝通內(nèi)容包括風(fēng)險識別、評估、處理策略和結(jié)果，以及任何更新或變更。b)風(fēng)險咨詢1）利益相關(guān)方識別：識別所有可能受人工智能系統(tǒng)影響的內(nèi)外部利益相關(guān)方，確保這些利益相關(guān)方的觀點和利益在后續(xù)的風(fēng)險管理流程中得到考慮。2）反饋機(jī)制：確保具備系統(tǒng)化的反饋流程，能夠收集利益相關(guān)者的意見及其對風(fēng)險管理的建3）多元化視角：確保咨詢過程中包含多樣化的觀點，增加風(fēng)險管理的深度和廣度，組織能夠從多角度審視風(fēng)險。4.5.3風(fēng)險評估能力4.5.3.1風(fēng)險識別風(fēng)險識別能力包括：a)選擇風(fēng)險識別工具/技術(shù)/方法：組織應(yīng)根據(jù)人工智能系統(tǒng)的特點和組織管理需求，建立風(fēng)險識別的工具/技術(shù)/方法庫，并選擇適合的工具/技術(shù)/方法來識別風(fēng)險；b)識別人工智能風(fēng)險源：組織識別與人工智能的開發(fā)或使用相關(guān)的風(fēng)險源；c)識別風(fēng)險后果：組織識別風(fēng)險可能帶來的直接和間接后果，評估這些后果對組織目標(biāo)、利益相關(guān)者以及社會環(huán)境的潛在影響。8GB/TXXXXX—XXXX4.5.3.2風(fēng)險分析風(fēng)險分析能力包括：a)進(jìn)行人工智能風(fēng)險分類：組織根據(jù)不同維度明確風(fēng)險分類準(zhǔn)則，并進(jìn)行分類。如：按內(nèi)部/外部分類，按技術(shù)、資源、管理等方面分類；b)進(jìn)行風(fēng)險概率分析：基于定性或定量方法，進(jìn)行風(fēng)險概率分析，如：使用歷史數(shù)據(jù)、專家判斷、模擬等手段；c)進(jìn)行風(fēng)險影響分析：基于定性或定量方法，進(jìn)行風(fēng)險影響分析，如：財務(wù)、聲譽(yù)、運營等方面的影響。4.5.4風(fēng)險處理能力4.5.4.1風(fēng)險應(yīng)對風(fēng)險應(yīng)對能力包括：a)選擇風(fēng)險應(yīng)對方案：基于風(fēng)險評估結(jié)果和風(fēng)險管理目標(biāo)，根據(jù)風(fēng)險優(yōu)先等級，選擇適合的風(fēng)險應(yīng)對方案，如避免、轉(zhuǎn)移、緩解、接受等；b)制定和實施風(fēng)險處理計劃：1）制定風(fēng)險處理計劃：計劃內(nèi)容可包括風(fēng)險應(yīng)對方案的理由、預(yù)期收益、涉及的實施及批準(zhǔn)人員、具體活動、所需資源（包括財務(wù)預(yù)算和人力資源）、績效指標(biāo)、時間限制、監(jiān)控和審查機(jī)制等。2）實施風(fēng)險處理計劃：按照風(fēng)險處理計劃執(zhí)行風(fēng)險應(yīng)對措施，確保計劃的實施與組織目標(biāo)和風(fēng)險管理策略一致。定期監(jiān)控風(fēng)險處理措施的效果，評估是否達(dá)到預(yù)期的降低風(fēng)險的目標(biāo)。基于監(jiān)控結(jié)果和業(yè)務(wù)環(huán)境的變化，定期審查，在必要時調(diào)整風(fēng)險處理計劃。4.5.5風(fēng)險監(jiān)控能力4.5.5.1風(fēng)險評價風(fēng)險評價能力包括：a)建立風(fēng)險概率影響矩陣：根據(jù)風(fēng)險概率分析和風(fēng)險影響分析的結(jié)果，基于定性或定量方法，建立風(fēng)險概率影響矩陣；b)確定風(fēng)險優(yōu)先級：根據(jù)風(fēng)險參數(shù)劃分等級（如高、中、低）并根據(jù)參數(shù)進(jìn)行風(fēng)險排序。4.5.5.2監(jiān)督與檢查風(fēng)險監(jiān)督與檢查能力包括：a)風(fēng)險監(jiān)督：收集風(fēng)險管理信息、監(jiān)督風(fēng)險處理措施的實施情況、記錄監(jiān)督過程中發(fā)生的問題和結(jié)果，并提供有利于促進(jìn)風(fēng)險管理過程持續(xù)改進(jìn)的反饋；b)風(fēng)險檢查：對風(fēng)險管理效果進(jìn)行檢查，將檢查結(jié)果納入整個組織的績效管理中。4.5.6風(fēng)險回顧能力4.5.6.1記錄與報告風(fēng)險記錄與報告能力包括：a)風(fēng)險記錄：確定風(fēng)險記錄的信息需求、要求、方法、頻率，為風(fēng)險管理決策提供信息；9GB/TXXXXX—XXXXb)風(fēng)險報告：確定報告的方法、成本、頻率和及時性，傳達(dá)整個組織的風(fēng)險管理活動和結(jié)果，從而改進(jìn)風(fēng)險管理活動。5人工智能風(fēng)險管理能力評估5.1人工智能風(fēng)險管理策劃能力評估5.1.1確定領(lǐng)導(dǎo)作用確定領(lǐng)導(dǎo)作用能力子域的能力子項能力評估分值見表3。表3確定領(lǐng)導(dǎo)作用能力評估描述及分值整的風(fēng)險管理策略和風(fēng)險應(yīng)對方案，并明確組織的最高管注：本文件涉及的人工智能系統(tǒng)生命周期的各個階段應(yīng)符合ISO/IEC42001:2023《信息技術(shù)-人工智能-管理系統(tǒng)》（Informationtechnology—Artificialintelligence—Managementsystem）等標(biāo)準(zhǔn)文件的相關(guān)規(guī)定。53153153GB/TXXXXX—XXXX15組織設(shè)置至少1名具備獨立性的專職風(fēng)險管理人員，明確其31注：以上能力未達(dá)到最低評分要求或完全不具備該能力項5.1.2制定風(fēng)險政策制定風(fēng)險政策能力子域的能力子項評估分值見表4。表4制定風(fēng)險政策能力評估描述及分值考慮到所有相關(guān)部門的協(xié)作和配合，確保全53GB/TXXXXX—XXXX1531），5），3），1GB/TXXXXX—XXXX531531注：以上能力未達(dá)到最低評分要求或完全不具備該能力項5.2人工智能風(fēng)險溝通能力評估溝通與咨詢能力子域的能力子項能力評估分值見表5。表5溝通與咨詢能力評估描述及分值GB/TXXXXX—XXXX531能夠整合來自內(nèi)外部利益相關(guān)方的反饋和建議531注：以上能力未達(dá)到最低評分要求或完全不具備該能力項5.3人工智能風(fēng)險評估能力評估5.3.1風(fēng)險識別風(fēng)險識別能力子域的能力子項能力評估分值見表6。表6風(fēng)險識別能力評估描述及分值錄C以確保涵蓋所有相關(guān)領(lǐng)域。能夠在現(xiàn)有工具/技術(shù)/方法的基礎(chǔ)上進(jìn)行整合與（2）運用能力：能夠根據(jù)實際場景，運用已53GB/TXXXXX—XXXX（3）匹配度和有效性：選擇的工具/技術(shù)/方（2）運用能力：能夠簡單了解人工智能風(fēng)（3）匹配度和有效性：選擇的工具/技術(shù)/方1531（1）風(fēng)險后果影響對象：能夠全面識別風(fēng)險5（1）風(fēng)險后果影響對象：能夠基本識別風(fēng)險31注：以上能力未達(dá)到最低評分要求或完全不具備該5.3.2風(fēng)險分析風(fēng)險分析能力子域的能力子項評估分值見表7。表7風(fēng)險分析能力評估描述及分值GB/TXXXXX—XXXX5一般的分類能力：能夠?qū)⒚媾R的風(fēng)險進(jìn)行基本的分類，類3有限的分類能力：能夠?qū)⒚媾R的風(fēng)險進(jìn)行大致的分類，類別達(dá)到1析和影響，進(jìn)行多因素綜合分析，增強(qiáng)概率預(yù)測的全面性53），1析（1）分析方法：以定量分析為主，能夠熟練運用先進(jìn)的統(tǒng)計方法和數(shù)據(jù)分析算法，5GB/TXXXXX—XXXX（2）分析維度：能夠綜合考慮財務(wù)、聲譽(yù)、（3）分析結(jié)果：能夠得到量化的風(fēng)險事件概（1）分析方法：定性與定量方法相結(jié)合，能（2）分析維度：能夠分析部分影響維度，大3），（2）分析維度：能夠分析有限的影響維度，對風(fēng)險事件的負(fù)面影響（3）分析結(jié)果：僅能夠關(guān)注最顯而易見的風(fēng)1注：以上能力未達(dá)到最低評分要求或完全不具備該5.3.3風(fēng)險評價風(fēng)險評價能力子域的能力子項評估分值見表8。表8風(fēng)險評價能力評估描述及分值度在矩陣中定位各風(fēng)險的對應(yīng)位置，支持對風(fēng)險概率（2）更新：能夠?qū)崟r、動態(tài)地更新風(fēng)險概率5315GB/TXXXXX—XXXX概率影響評估：基于定性-定量分析，對風(fēng)險概率3概率影響評估：基于定性分析，對風(fēng)險概率影1注：以上能力未達(dá)到最低評分要求或完全不具備該能力項5.4人工智能風(fēng)險處理能力評估風(fēng)險應(yīng)對能力子域的能力子項能力評估分值見表9。表9風(fēng)險應(yīng)對能力評估描述及分值案具體，并能根據(jù)實際情況靈活選擇，并考慮了應(yīng)對（3）決策質(zhì)量：決策過程嚴(yán)謹(jǐn)、科學(xué)、透明、可追溯，能夠避免重大遺漏或誤判，5（1）基本的應(yīng)對方案：針對高風(fēng)險，能夠提312）明確了具體的時間節(jié)點、活動優(yōu)先級排序、活動依賴5GB/TXXXXX—XXXX2）執(zhí)行流程清晰、高效，監(jiān)控機(jī)制完善，能夠及3）應(yīng)對措施能夠按時、高效執(zhí)行，并能夠在必要時進(jìn)行靈2）明確了風(fēng)險處理的具體時間節(jié)點，能夠保障2）有明確的執(zhí)行流程，但執(zhí)行中可能存在小31注：以上能力未達(dá)到最低評分要求或完全不具備該5.5人工智能風(fēng)險監(jiān)控能力評估監(jiān)督與檢查能力子域的能力子項評估分值見表10。表10監(jiān)督與檢查能力評估描述及分值80%或以上的人工智能風(fēng)險源，并能夠動態(tài)、實時地擴(kuò)充或更新53GB/TXXXXX—XXXX50%-80%的人工智能風(fēng)險源，能夠定期擴(kuò)充153GB/TXXXXX—XXXX1注：以上能力未達(dá)到最低評分要求或完全不具備該能力項5.6人工智能風(fēng)險回顧能力評估記錄與報告能力子域的能力子項評估分值見表11。表11記錄與報告能力評估描述及分值（1）記錄工具：通過智能化項目管理系統(tǒng)建蹤表，制定統(tǒng)一的風(fēng)險記錄格式，確保所有