2023人工智能模型風(fēng)險(xiǎn)管理能力成熟度模型

人工智能模型風(fēng)險(xiǎn)管理能力成熟度模型PAGEPAGE1目次前言 II引言 III1范圍 12規(guī)范性引用文件 13術(shù)語和定義 13.113.213.313.423.524人工智能模型風(fēng)險(xiǎn)管理 2風(fēng)險(xiǎn)管理目標(biāo) 2風(fēng)險(xiǎn)管理框架 25能力成熟度模型 3能力成熟度等級 3風(fēng)險(xiǎn)管理能力 5人工智能模型風(fēng)險(xiǎn)管理能力成熟度模型范圍行監(jiān)控、持續(xù)驗(yàn)證、模型修正、模型下線等關(guān)鍵活動過程中進(jìn)行風(fēng)險(xiǎn)管理的建議。本文件適用于管理、研發(fā)、供應(yīng)、使用人工智能模型的相關(guān)機(jī)構(gòu)。規(guī)范性引用文件（包括所有的修改單適用于本文件。GB/T25069—2022信息安全技術(shù)術(shù)語GB/T24353—2022風(fēng)險(xiǎn)管理指南（ISO31000—2018,IDT）術(shù)語和定義GB/T25069—2022和GB/T24353—2022界定的以及下列術(shù)語和定義適用于本文件。3.1模型 model系統(tǒng)、實(shí)體、現(xiàn)象或過程的物理、數(shù)學(xué)或其他邏輯表示。[來源：ISO/IEC18023-1:2006,3.1.11]3.2人工智能模型 artificialintelligencemodel使用一種或多種人工智能技術(shù)和方法構(gòu)建的模型（3.1）。注：人工智能模型可以針對一組給定的人類定義的目標(biāo)生成輸出，例如內(nèi)容、預(yù)測、建議或影響他們互動環(huán)境的決策。3.3風(fēng)險(xiǎn) risk不確定性對目標(biāo)的影響。注1：影響是指偏離預(yù)期，偏離可以是正面的和/或負(fù)面的，可能帶來機(jī)會和威脅。注2：目標(biāo)可有不同維度和類型，可應(yīng)用在不同層級。注3：通常風(fēng)險(xiǎn)可以用風(fēng)險(xiǎn)源、潛在事件及其后果和可能性來描述。[來源：GB/T24353—2022,3.1]3.4模型風(fēng)險(xiǎn) modelrisk基于不正確的模型（3.1）、亂用模型輸出和報(bào)告進(jìn)行決策可能產(chǎn)生的風(fēng)險(xiǎn)（3.3）。3.5能力成熟度模型capabilitymaturitymodel到具有改進(jìn)的質(zhì)量和有效性的、受到訓(xùn)練的、成熟的過程的進(jìn)化改進(jìn)路徑。[來源：ISO/IEC/IEEE24765:2017，3.472]人工智能模型風(fēng)險(xiǎn)管理風(fēng)險(xiǎn)管理目標(biāo)保障人工智能模型的完整性和魯棒性。發(fā)揮作用，建立理解和信任。公平公正：應(yīng)保障利益相關(guān)者的權(quán)益，促進(jìn)機(jī)會均等。尊重隱私：應(yīng)尊重和保護(hù)個(gè)人隱私，充分保障個(gè)人的知情權(quán)和選擇權(quán)。監(jiān)督、控制能力，留存足夠的記錄以支持審計(jì)和取證活動。風(fēng)險(xiǎn)管理框架圖1人工智能模型風(fēng)險(xiǎn)管理框架人工智能模型風(fēng)險(xiǎn)管理框架包括以下模塊：注組織策略方針和管理制度。T/ISC0028T/ISC0028—2023PAGEPAGE10和控制人工智能模型風(fēng)險(xiǎn)管理效率和效果，確定組織的風(fēng)險(xiǎn)偏好等。驗(yàn)證、模型部署、運(yùn)行監(jiān)控、持續(xù)驗(yàn)證、模型修正、模型下線九個(gè)關(guān)鍵環(huán)節(jié)。及時(shí)消減風(fēng)險(xiǎn)事件的影響，保證業(yè)務(wù)連續(xù)性。決策透明度：指對人工智能模型如何工作和決策的過程進(jìn)行解釋。相關(guān)方的權(quán)益。自主知識產(chǎn)權(quán)進(jìn)行保護(hù)。并采取相應(yīng)解決方案。和獨(dú)立審計(jì)。能力成熟度模型能力成熟度等級能力成熟度等級特征詳細(xì)說明第一級（基礎(chǔ)級）/業(yè)務(wù)線/項(xiàng)目為了經(jīng)營管理正常運(yùn)行，對人工智能模型風(fēng)險(xiǎn)活動進(jìn)行自發(fā)管理。各部門/業(yè)務(wù)線/項(xiàng)目為了經(jīng)營管理正常運(yùn)行，對該項(xiàng)活動進(jìn)行自發(fā)管理。管理范圍僅限于項(xiàng)目/部門/業(yè)務(wù)線，由各業(yè)務(wù)條線各項(xiàng)目/部門各自管理。（賴于約定俗成、個(gè)人經(jīng)驗(yàn)。管理活動不一定可重復(fù)。的、組織級的制度。沒有系統(tǒng)工具支持管理活動。第二級（增強(qiáng)級）安全合規(guī)，在第一級/業(yè)務(wù)線/項(xiàng)目為了人工智能模型風(fēng)險(xiǎn)管理活動滿足外部行業(yè)監(jiān)管或自身增強(qiáng)性的風(fēng)險(xiǎn)管理要求。在第一級的基礎(chǔ)上，各部門/業(yè)務(wù)線/項(xiàng)目為了該項(xiàng)活動滿足外部行業(yè)監(jiān)管或自身增強(qiáng)性的風(fēng)險(xiǎn)管理要求。管理范圍僅限于項(xiàng)目/部門/業(yè)務(wù)線，各業(yè)務(wù)條線/項(xiàng)目/管理活動已在項(xiàng)目/部門/使用簡單的工具支持管理活動。第三級（優(yōu)秀級）規(guī)范有序，在第二級的基礎(chǔ)上，實(shí)現(xiàn)組織級、標(biāo)準(zhǔn)化的管理活動，管理活動覆蓋關(guān)鍵環(huán)節(jié)，以達(dá)到行業(yè)優(yōu)秀水平為目標(biāo)。行業(yè)優(yōu)秀水平。組織范圍內(nèi)實(shí)現(xiàn)統(tǒng)一管理。能夠?qū)﹃P(guān)鍵的、常見的人工智能風(fēng)險(xiǎn)進(jìn)行應(yīng)對。一般情況下設(shè)置了專崗人員。和處置，但管理手段較為單一。使用系統(tǒng)工具支撐關(guān)鍵的管理活動。參與國家、行業(yè)相關(guān)標(biāo)準(zhǔn)制定。第四級（卓越級）全面高效，在第三級的基礎(chǔ)上，實(shí)現(xiàn)高效的、平衡的管理，管理活動具有全面性，以達(dá)到業(yè)界最佳實(shí)踐為目標(biāo)，且能被充分借鑒。先水平。人工智能技術(shù)應(yīng)用與相關(guān)方利益均達(dá)到較好的平衡。且能被充分借鑒。使用系統(tǒng)工具實(shí)現(xiàn)全面的管理自動化。建立指標(biāo)體系，實(shí)現(xiàn)可量化的管理。和處置，并預(yù)先建立了對可預(yù)見風(fēng)險(xiǎn)的應(yīng)對措施。風(fēng)險(xiǎn)管理活動能夠持續(xù)改進(jìn)和優(yōu)化。牽頭/技術(shù)和理念。第五級（引領(lǐng)級）前瞻引領(lǐng)，在第四級的基礎(chǔ)上，實(shí)現(xiàn)智能化的管理，能夠應(yīng)對未知風(fēng)險(xiǎn)，前沿性地探索，引領(lǐng)行業(yè)。領(lǐng)行業(yè)。使用系統(tǒng)工具實(shí)現(xiàn)自洽的智能化管理。實(shí)現(xiàn)實(shí)時(shí)、動態(tài)的管理。將人工智能風(fēng)險(xiǎn)管理作為企業(yè)主要戰(zhàn)略或核心競爭力，持續(xù)探索、嘗試該領(lǐng)域前沿技術(shù)和理念并具備引領(lǐng)性和話語權(quán)。牽頭/主導(dǎo)國際相關(guān)標(biāo)準(zhǔn)制定。風(fēng)險(xiǎn)管理能力策略第一級本級能力如下：具備基本的人工智能模型風(fēng)險(xiǎn)管理活動，管理活動可依賴于約定俗成、個(gè)人經(jīng)驗(yàn)。第二級本級能力如下：前一級的全部內(nèi)容。組織高級管理層分配適當(dāng)?shù)馁Y源以支持人工智能模型風(fēng)險(xiǎn)管理工作。c）d）業(yè)務(wù)團(tuán)隊(duì)制定人工智能模型相關(guān)管理規(guī)范和流程。第三級本級能力如下：前兩級的全部內(nèi)容。組織高級管理層制定、審批、發(fā)布人工智能模型風(fēng)險(xiǎn)管理策略方針。風(fēng)險(xiǎn)管理活動應(yīng)覆蓋的關(guān)鍵環(huán)節(jié)等內(nèi)容。通。理制度進(jìn)行審閱和更新。第四級本級能力如下：前三級的全部內(nèi)容。c）風(fēng)險(xiǎn)管理活動在系統(tǒng)工具的支持下實(shí)現(xiàn)自動化和可量化。組織宜積極收集相關(guān)信息和最佳實(shí)踐，不斷完善現(xiàn)有的策略方陣、制度和流程。第五級本級能力如下：前四級的全部內(nèi)容。組織高級管理層前瞻性地部署策略方針，實(shí)現(xiàn)對未知風(fēng)險(xiǎn)的管理。險(xiǎn)管理前沿技術(shù)和理念并具備引領(lǐng)性和話語權(quán)。管理活動實(shí)現(xiàn)自洽的智能化，能夠?qū)θ斯ぶ悄苣Ｐ惋L(fēng)險(xiǎn)進(jìn)行實(shí)時(shí)、動態(tài)的管理。組織第一級本級能力如下：a）職責(zé)范圍。第二級本級能力如下：前一級的全部內(nèi)容。組織設(shè)置人員或團(tuán)隊(duì)對人工智能模型的開發(fā)、實(shí)施和使用進(jìn)行管理。智能模型相關(guān)風(fēng)險(xiǎn)（如操作風(fēng)險(xiǎn)、科技風(fēng)險(xiǎn)等）納入組織風(fēng)險(xiǎn)管理體系。組織明確了管理層以及執(zhí)行層面在上述風(fēng)險(xiǎn)領(lǐng)域的權(quán)責(zé)范圍。實(shí)相關(guān)制度和流程（如數(shù)據(jù)安全部門、內(nèi)控合規(guī)部門等）。第三級本級能力如下：前兩級的全部內(nèi)容。組織將人工智能作為組織整體業(yè)務(wù)發(fā)展戰(zhàn)略的一部分。員對人工智能模型具有要求解釋和拒絕使用的權(quán)力。管理層需對人工智能模型風(fēng)險(xiǎn)管理框架進(jìn)行審批。處置、監(jiān)控與審計(jì)，形成完整的風(fēng)險(xiǎn)管理閉環(huán)。第四級本級能力如下：前三級的全部內(nèi)容。組織建立專門的治理委員會并定期實(shí)現(xiàn)向董事會和組織高級管理層匯報(bào)和披露人工智能發(fā)展估與處置管理，則也可以滿足該要求。通過量化手段實(shí)現(xiàn)風(fēng)險(xiǎn)計(jì)量，實(shí)現(xiàn)監(jiān)控與審計(jì)的部分自動化。建立人工智能相關(guān)人才激勵政策，并將人工智能風(fēng)險(xiǎn)管理與考核機(jī)制結(jié)合。第五級本級能力如下：前四級的全部內(nèi)容。對組織人工智能模型風(fēng)險(xiǎn)進(jìn)行及時(shí)的了解。組織實(shí)現(xiàn)風(fēng)險(xiǎn)應(yīng)對決策的自動化，以提高改進(jìn)計(jì)劃制定的效率。組織借助系統(tǒng)支持改進(jìn)計(jì)劃的執(zhí)行和跟蹤，以達(dá)到更有效的持續(xù)管理改善。模型生命周期需求分析第一級本級能力如下：相關(guān)人員和人員可基于經(jīng)驗(yàn)開展基本的需求分析活動。拆解、資源投入等相關(guān)內(nèi)容，具備模型需求提出、記錄、流轉(zhuǎn)、跟蹤的渠道。第二級本級能力如下：前一級的全部內(nèi)容。制定模型需求管理流程規(guī)范。涵蓋行業(yè)監(jiān)管要求、組織風(fēng)險(xiǎn)管理與安全相關(guān)要求。全人員、合規(guī)人員、風(fēng)險(xiǎn)管理人員。根據(jù)需求分析內(nèi)容形成需求說明文檔，并經(jīng)過需求評審相關(guān)方確認(rèn)。第三級本級能力如下：前兩級的全部內(nèi)容。保障。響應(yīng)機(jī)制、對利益相關(guān)方可能產(chǎn)生的不利影響等。在模型存在的高風(fēng)險(xiǎn)缺陷或問題的情況下，應(yīng)制定風(fēng)險(xiǎn)緩釋措施降低風(fēng)險(xiǎn)。構(gòu)建及應(yīng)用所需的資源和時(shí)間，模型風(fēng)險(xiǎn)評估。具備自動化工具支持模型需求管理。第四級本級能力如下：前三級的全部內(nèi)容。針對需求的執(zhí)行情況進(jìn)行周期性評估，并檢查需求執(zhí)行效果。證平臺或工具。第五級本級能力如下：前四級的全部內(nèi)容。等情況對需求分析的范圍、目標(biāo)、內(nèi)容進(jìn)行自動調(diào)整。針對需求分析變化能夠自動調(diào)整資源變更的流程，并完成對于執(zhí)行效果的完整性檢查。數(shù)據(jù)準(zhǔn)備第一級本級能力如下：a）相關(guān)部門和人員可基于經(jīng)驗(yàn)進(jìn)行基本的數(shù)據(jù)準(zhǔn)備活動，產(chǎn)出模型構(gòu)建所需的數(shù)據(jù)集。第二級本級能力如下：前一級的全部內(nèi)容。規(guī)要求。等。數(shù)據(jù)開發(fā)人員實(shí)際有效地落實(shí)數(shù)據(jù)開發(fā)相關(guān)管理要求和流程。對數(shù)據(jù)集的數(shù)據(jù)質(zhì)量進(jìn)行管理，保障數(shù)據(jù)的準(zhǔn)確性、完整性、有效性、時(shí)效性。f）第三級本級能力如下：前兩級的全部內(nèi)容。建立數(shù)據(jù)開發(fā)管理制度，規(guī)范數(shù)據(jù)處理流程，管控?cái)?shù)據(jù)處理各環(huán)節(jié)相關(guān)風(fēng)險(xiǎn)。針對模型的預(yù)期用途進(jìn)行專有的數(shù)據(jù)開發(fā)，考慮特定的應(yīng)用環(huán)境所特有的特征或要素。d）識、采樣方法。整性、一致性及隱私保護(hù)。注：涉及生物識別、醫(yī)療健康、金融賬戶、行蹤軌跡等敏感個(gè)人信息的數(shù)據(jù)處理活動應(yīng)符合《中華人民共和國個(gè)人信息保護(hù)法》的要求。確保數(shù)據(jù)開發(fā)環(huán)境中使用的數(shù)據(jù)與生產(chǎn)環(huán)境的一致性。具備數(shù)據(jù)開發(fā)工具，通常宜支持?jǐn)?shù)據(jù)集成、數(shù)據(jù)清洗和數(shù)據(jù)加工等操作。要。第四級本級能力如下：前三級的全部內(nèi)容。用戶歧視、用戶隱私侵犯等情況，針對評估所識別出的風(fēng)險(xiǎn)應(yīng)及時(shí)制定相應(yīng)的解決方案。數(shù)據(jù)，擴(kuò)展數(shù)據(jù)維度。第五級本級能力如下：前四級的全部內(nèi)容。險(xiǎn)進(jìn)行預(yù)測，制定有效的風(fēng)險(xiǎn)應(yīng)對方案，實(shí)現(xiàn)數(shù)據(jù)準(zhǔn)備活動風(fēng)險(xiǎn)管理的前瞻性部署。模型構(gòu)建第一級本級能力如下：a）構(gòu)建活動。第二級本級能力如下：前兩級的全部內(nèi)容。制定模型構(gòu)建管理流程，明確代碼安全等相關(guān)要求。模型開發(fā)人員實(shí)際有效地落實(shí)模型構(gòu)建相關(guān)管理要求和流程。模型開發(fā)人員對模型的有效性、準(zhǔn)確性、魯棒性進(jìn)行自測，確保模型滿足業(yè)務(wù)需求。建的科學(xué)合理性。選擇和決策結(jié)果、建模人員、建模時(shí)間、版本迭代等。第三級本級能力如下：a）前三級的全部內(nèi)容。b）制定模型構(gòu)建管理制度。（如有能比較以驗(yàn)證模型穩(wěn)定性，提供和基準(zhǔn)模型(如有)性能的比較以說明新模型的優(yōu)越性。對目標(biāo)函數(shù)進(jìn)行說明，目標(biāo)函數(shù)設(shè)計(jì)上不應(yīng)存在針對特殊群體的偏見歧視。e）訪問次數(shù)、引入隨機(jī)性、添加模型水印等措施。使用代碼掃描工具和人工代碼檢查方式對代碼進(jìn)行評審，發(fā)現(xiàn)安全缺陷并修復(fù)。獨(dú)立于模型開發(fā)人員，評估模型效果、模型性能等影響模型應(yīng)用的關(guān)鍵內(nèi)容。j）建立模型構(gòu)建的環(huán)境或平臺，并設(shè)置完善的訪問控制、安全控制等措施。k）要。第四級本級能力如下：前三級的全部內(nèi)容。型威脅建模和攻擊面分析，模型開源風(fēng)險(xiǎn)，模型安全漏洞等。建模等。絡(luò)拓?fù)?、?jié)點(diǎn)名稱、數(shù)據(jù)維度等關(guān)鍵信息進(jìn)行檢測校驗(yàn)，避免加載惡意模型文件。概率。保障模型的差分隱私性，確保無法根據(jù)模型結(jié)果反向計(jì)算出用戶的敏感特征。全性。第五級本級能力如下：前四級的全部內(nèi)容。實(shí)時(shí)評估、監(jiān)控模型構(gòu)建過程的可預(yù)見風(fēng)險(xiǎn)，并自動化地實(shí)施風(fēng)險(xiǎn)處置措施。c）檢驗(yàn)驗(yàn)證第一級本級能力如下：俗成的方式開展檢驗(yàn)驗(yàn)證活動。絕使用該模型。第二級本級能力如下：前兩級的全部內(nèi)容。據(jù)安全管理要求等，確保模型與行業(yè)監(jiān)管要求及業(yè)務(wù)應(yīng)用方面的符合程度。設(shè)置負(fù)責(zé)模型檢驗(yàn)驗(yàn)證的人員和崗位。輸入的正確轉(zhuǎn)換、特征選擇的標(biāo)準(zhǔn)、特征對應(yīng)的業(yè)務(wù)邏輯等。全隱私的敏感數(shù)據(jù)。進(jìn)行模型結(jié)果有效性驗(yàn)證和分析，即對模型輸出與相應(yīng)的實(shí)際結(jié)果進(jìn)行比較。果進(jìn)行進(jìn)一步分析。對檢驗(yàn)驗(yàn)證過程中發(fā)現(xiàn)的問題制定解決方案并持續(xù)跟進(jìn)。對模型檢驗(yàn)驗(yàn)證過程進(jìn)行記錄，通常宜包括驗(yàn)證方式、驗(yàn)證人員、驗(yàn)證結(jié)果等。第三級本級能力如下：前三級的全部內(nèi)容。制定模型檢驗(yàn)驗(yàn)證管理制度。設(shè)置專職負(fù)責(zé)模型檢驗(yàn)驗(yàn)證的人員和崗位，檢驗(yàn)驗(yàn)證人員崗位須具備適當(dāng)?shù)臋?quán)限和獨(dú)立性。d）模型檢驗(yàn)驗(yàn)證內(nèi)容宜包括數(shù)據(jù)穩(wěn)定性、模型的魯棒性和模型效果檢驗(yàn)等。性、權(quán)重比例的科學(xué)性等問題。會均等、幾率均等、人群無關(guān)性等標(biāo)準(zhǔn)，并對其進(jìn)行公平性測試，必要時(shí)進(jìn)行修正。升級至適當(dāng)?shù)墓芾韺舆M(jìn)行風(fēng)險(xiǎn)決策。制定檢驗(yàn)驗(yàn)證報(bào)告。第四級本級能力如下：前三級的全部內(nèi)容。的方式以核驗(yàn)?zāi)Ｐ偷耐暾院蜏?zhǔn)確性。模型數(shù)據(jù)的竊取行為。實(shí)現(xiàn)模型驗(yàn)證關(guān)鍵環(huán)節(jié)可量化。恰當(dāng)范圍和嚴(yán)格程度的驗(yàn)證。輸入和參數(shù)值的微小變化對模型輸出的影響，確保結(jié)果在預(yù)期范圍內(nèi)。i）等措施。第五級本級能力如下：前四級的全部內(nèi)容。支持智能化地評估檢驗(yàn)驗(yàn)證模型關(guān)鍵假設(shè)和變量選擇，并分析其對模型輸出地影響。c）估、檢查。d）調(diào)整后的模型沒有優(yōu)于原始模型，需對于模型進(jìn)行額外的更改或重新設(shè)計(jì)。模型部署第一級本級能力如下：a）第二級本級能力如下：a）前一級的全部內(nèi)容。b）制定模型部署管理流程。制定模型部署實(shí)施計(jì)劃和方案，確定部署策略和步驟。模型部署活動一般宜涵蓋生產(chǎn)數(shù)據(jù)接入、模型校驗(yàn)、上線審核和后評估等。和部署結(jié)果等。模型部署前需開展模型上線評審，評審應(yīng)包括適當(dāng)?shù)睦嫦嚓P(guān)方。g）第三級本級能力如下：a）前兩級的全部內(nèi)容。b）制定模型部署管理制度。對準(zhǔn)備部署的模型文件進(jìn)行完整性校驗(yàn)。通過模型灰度發(fā)布對模型的業(yè)務(wù)效果進(jìn)行評價(jià)，確保模型性能符合業(yè)務(wù)需求。才能上線。模型部署模型上線需經(jīng)過恰當(dāng)?shù)膶徟褪跈?quán)，未完成審批的模型不應(yīng)部署上線。g）h）建立模型部署和運(yùn)行的安全環(huán)境或平臺，并設(shè)置完善的安全檢測和訪問控制等措施。i）要。第四級本級能力如下：前三級的全部內(nèi)容。模型部署的環(huán)境或平臺能夠支持自動化、精細(xì)化、多樣化的模型部署方式。c）e）模型的存儲數(shù)據(jù)庫應(yīng)能夠支持審計(jì)和安全風(fēng)險(xiǎn)的自動告警。第五級本級能力如下：前四級的全部內(nèi)容。并能夠智能地應(yīng)對部署過程風(fēng)險(xiǎn)，提供預(yù)測、決策、解決問題和觸發(fā)操作。被攻擊者影響而改變結(jié)果或泄漏數(shù)據(jù)。運(yùn)行監(jiān)控第一級本級能力如下：a）b）模型監(jiān)控和評價(jià)主要基于線下方式進(jìn)行，定期發(fā)布模型監(jiān)控評價(jià)信息。c）能夠?qū)δＰ瓦\(yùn)行過程中的重大風(fēng)險(xiǎn)、決策異常進(jìn)行識別和風(fēng)險(xiǎn)提示。第二級本級能力如下：a）前一級的全部內(nèi)容。b）制定模型監(jiān)控管理流程。根據(jù)各自的目標(biāo)和職責(zé)設(shè)置模型運(yùn)行監(jiān)控和評價(jià)指標(biāo)。模型監(jiān)控和評價(jià)維度包含數(shù)據(jù)監(jiān)控和模型運(yùn)行監(jiān)控。注：數(shù)據(jù)監(jiān)控主要監(jiān)控模型所需數(shù)據(jù)的提取、加工和數(shù)據(jù)分布的變化；模型運(yùn)行監(jiān)控主要監(jiān)控模型運(yùn)行在正常與否、模型運(yùn)行的資源消耗、模型運(yùn)行響應(yīng)的性能等。定期識別和量化模型效果或風(fēng)險(xiǎn)，能夠?qū)τ赡Ｐ托Ч档蛶淼娘L(fēng)險(xiǎn)進(jìn)行預(yù)警。定期出具模型監(jiān)控報(bào)告，報(bào)告涵蓋的信息應(yīng)足夠支持做出模型修正、模型下線等決策。g）h）定期開展監(jiān)控策略的合理性評估工作，按照需要及時(shí)調(diào)整運(yùn)行監(jiān)控策略。第三級本級能力如下：前兩級的全部內(nèi)容。相關(guān)部門和人員應(yīng)形成完善的風(fēng)險(xiǎn)處置協(xié)同機(jī)制。過人工審核，中風(fēng)險(xiǎn)模型決策結(jié)果突破風(fēng)險(xiǎn)閾值后由人工進(jìn)行處置。型穩(wěn)定性、區(qū)分性能、準(zhǔn)確性、同質(zhì)異質(zhì)性等指標(biāo)。注：PSI、IV、WOE、KS、ROC、AUC、GINI、卡方檢驗(yàn)、F檢驗(yàn)、T檢驗(yàn)、秩和檢驗(yàn)等常見模型指標(biāo)監(jiān)控。對相關(guān)方反饋進(jìn)行持續(xù)監(jiān)測。模型（自動）更新等。模型監(jiān)控工具或平臺能夠及時(shí)輸出模型監(jiān)測評價(jià)報(bào)告。模型監(jiān)控工具或平臺支持系統(tǒng)自動處置，也支持人工進(jìn)行部分或全部干預(yù)和處置。h）i）保留和備份運(yùn)行監(jiān)控過程中產(chǎn)生的關(guān)鍵日志信息，日志內(nèi)容和保存時(shí)長應(yīng)滿足組織審計(jì)需要。第四級本級能力如下：前三級的全部內(nèi)容。握模型資產(chǎn)的整體價(jià)值和收益、風(fēng)險(xiǎn)等信息。構(gòu)建適當(dāng)?shù)墓ぞ呋蚱脚_對模型業(yè)務(wù)成效進(jìn)行監(jiān)控。和評估。相關(guān)處置措施。相應(yīng)的資源投入。第五級本級能力如下：前四級的全部內(nèi)容。通過模型監(jiān)控和評價(jià)信息實(shí)現(xiàn)自動化的模型審計(jì)。會價(jià)值觀的變化，智能地識別潛在風(fēng)險(xiǎn)并執(zhí)行風(fēng)險(xiǎn)處置。持續(xù)驗(yàn)證第一級本級能力如下：的驗(yàn)證活動、對以前的驗(yàn)證活動進(jìn)行更新、或者要求額外的驗(yàn)證活動。模型持續(xù)驗(yàn)證設(shè)定一定的頻次或驗(yàn)證周期。模型下線。第二級本級能力如下：前一級的全部內(nèi)容。c）d）模型持續(xù)驗(yàn)證周期符合行業(yè)監(jiān)管要求和組織風(fēng)險(xiǎn)管理要求。e）持續(xù)驗(yàn)證需結(jié)合模型運(yùn)行監(jiān)控內(nèi)容進(jìn)行驗(yàn)證檢查。f）對持續(xù)驗(yàn)證過程進(jìn)行記錄。第三級本級能力如下：前兩級的全部內(nèi)容。制定模型持續(xù)驗(yàn)證管理制度。否進(jìn)行階段性調(diào)整、重新開發(fā)或更換，以及驗(yàn)證超出模型原始范圍的任何擴(kuò)展是否有效。持續(xù)驗(yàn)證的頻次和周期保證能夠應(yīng)對及時(shí)性風(fēng)險(xiǎn)。持續(xù)使用最新數(shù)據(jù)，以及前期階段所發(fā)現(xiàn)的模型局限性。形式對外部信息進(jìn)行收集整理，并采取相應(yīng)的模型迭代調(diào)整策略。要。第四級本級能力如下：前三級的全部內(nèi)容。險(xiǎn)。輸出的影響。第五級本級能力如下：前四級的全部內(nèi)容。求和新變化。能夠自動執(zhí)行模型驗(yàn)證，且模型在持續(xù)驗(yàn)證中能夠自動化、智能化的進(jìn)行調(diào)整和優(yōu)化。模型修正第一級本級能力如下：a）b）在模型部署或運(yùn)行監(jiān)控過程中發(fā)現(xiàn)模型存在異常，及時(shí)開模型修正活動。c）模型修正后同步開展檢驗(yàn)驗(yàn)證及運(yùn)行監(jiān)控活動。第二級本級能力如下：a）前一級的全部內(nèi)容。b）制定模型修正管理流程。設(shè)置負(fù)責(zé)模型修正的人員和崗位。定期進(jìn)行模型修正，保證模型的準(zhǔn)確性。侵害用戶權(quán)益、違反監(jiān)管要求及社會價(jià)值觀等方面的情況。在模型修正過程中，避免引入新的安全合規(guī)問題。第三級本級能力如下：a）前兩級的全部內(nèi)容。b）制定模型修正管理制度。況下，應(yīng)開展模型修正。確保部署的模型滿足隨著時(shí)間推移的需求變換，根據(jù)更新的訓(xùn)練數(shù)據(jù)集更新模型。e）模型版本的效果差異。注：模型越控指模型輸出結(jié)果基于模型使用者的專家判斷被忽略、更改或被反轉(zhuǎn)的情況。第四級本級能力如下：前三級的全部內(nèi)容。重建和自刷新；支持模型自動修正后的檢驗(yàn)驗(yàn)證、自動部署和自動監(jiān)控。通過系統(tǒng)自動防御模型變更過程中的操作風(fēng)險(xiǎn)。d）第五級本級能力如下：前四級的全部內(nèi)容。能夠智能化地對模型修正進(jìn)行執(zhí)行和改進(jìn)。持續(xù)改進(jìn)模型修正流程，以應(yīng)對未來可能發(fā)生的未知風(fēng)險(xiǎn)。模型下線第一級本級能力如下：a）相關(guān)部門和人員可依據(jù)通用系統(tǒng)下線管理機(jī)制或基于經(jīng)驗(yàn)開展模型下線活動。b）在模型新版本迭代或目前線上版本存在重大問題無法使用時(shí)，執(zhí)行模型下線處置。c）模型下線前評估其影響范圍。第二級本級能力如下：前一級的全部內(nèi)容。制定模型下線管理流程，一般宜涵蓋模型下線影響分析、下線確認(rèn)、下線后評價(jià)等。c）d）第三級本級能力如下：a）前兩級的全部內(nèi)容。b）制定模型下線管理制度。模型回滾和下線后評估，并形成相應(yīng)的報(bào)告文檔。下線，確保模型下線結(jié)果符合預(yù)期。模型下線符合預(yù)期。定期排查、下線不符合業(yè)務(wù)預(yù)期的、無效的或存在重大問題的模型。理要求。第四級本級能力如下：前三級的全部內(nèi)容。通過自動化的方式管理模型下線，能夠具備自動化、精細(xì)化、多樣化的模型下線方式。c）存滿足審計(jì)需要。d）通過模型下游血緣穿透，自動將下線信息通知到下游使用方，根據(jù)下線反饋推進(jìn)下線流程。第五級本級能力如下：前四級的全部內(nèi)容。檔。應(yīng)急響應(yīng)第一級本級能力如下：的應(yīng)急響應(yīng)機(jī)制，但未建立人工智能模型風(fēng)險(xiǎn)事件應(yīng)急響應(yīng)機(jī)制。能夠執(zhí)行模型下線等應(yīng)急處理措施。第二級本級能力如下：前一級的全部內(nèi)容。在相關(guān)制度中設(shè)置有模型相關(guān)應(yīng)急響應(yīng)條款。制。識和能力。明確各相關(guān)方在模型應(yīng)急處理方面的責(zé)任。能夠執(zhí)行精細(xì)化的應(yīng)急處理措施，一般宜包括模型降級、隔離、標(biāo)記等。g）第三級本級能力如下：前兩級的全部內(nèi)容。制定針對人工智能模型的應(yīng)急響應(yīng)制度。明確模型應(yīng)急響應(yīng)專人專崗，負(fù)責(zé)統(tǒng)籌模型應(yīng)急響應(yīng)工作。人。根據(jù)梳理的人工智能模型相關(guān)業(yè)務(wù)指標(biāo)和性能指標(biāo)，應(yīng)建立模型應(yīng)急事件分級標(biāo)準(zhǔn)。根據(jù)梳理的模型應(yīng)急事件分級標(biāo)準(zhǔn)，設(shè)置適當(dāng)?shù)臎Q策機(jī)制。根據(jù)模型應(yīng)急事件分級標(biāo)準(zhǔn)細(xì)化應(yīng)急響應(yīng)流程，如明確響應(yīng)時(shí)效、同步時(shí)效、止血時(shí)效等。g）程及熔斷機(jī)制、提前準(zhǔn)備常規(guī)解釋說明文件等。改方案。對模型應(yīng)急響應(yīng)相關(guān)的人員進(jìn)行針對性的培訓(xùn)，提升應(yīng)急處置能力。第四級本級能力如下：前三級的全部內(nèi)容。術(shù)團(tuán)隊(duì)相關(guān)人員。通過紅藍(lán)攻防、白帽測試、模型入?yún)⒏蓴_等方式進(jìn)行專項(xiàng)或?qū)崙?zhàn)演練。d）e）應(yīng)急響應(yīng)工具或平臺應(yīng)實(shí)現(xiàn)模型應(yīng)急監(jiān)控、定級、預(yù)警、處置、復(fù)盤、預(yù)案演練等功能。f）傳，提升應(yīng)急處置能力。g）法、處置效能進(jìn)行迭代。第五級本級能力如下：前四級的全部內(nèi)容。限，優(yōu)化應(yīng)急響應(yīng)時(shí)效。關(guān)聯(lián)，基于智能監(jiān)控的結(jié)果實(shí)現(xiàn)風(fēng)險(xiǎn)應(yīng)急自動化。置進(jìn)展自動同步、決策自動升級。牽頭建立人工智能模型應(yīng)急響應(yīng)標(biāo)準(zhǔn)體系，推動在行業(yè)內(nèi)復(fù)用。決策透明度第一級本級能力如下：a）對于提取的每一單一維度特征實(shí)現(xiàn)自我解釋。能夠給出每一單一特征的具體物理含義。第二級本級能力如下：前一級的全部內(nèi)容。該輸出最為相關(guān)的輸入特征中。第三級本級能力如下：前兩級的全部內(nèi)容。示有關(guān)聯(lián)的特征如何共同作用于模型輸出結(jié)果。第四級本級能力如下：前三級的全部內(nèi)容。特征作為解釋外，解釋結(jié)果應(yīng)針對每一個(gè)輸出的結(jié)果給出對應(yīng)的訓(xùn)練數(shù)據(jù)。第五級本級能力如下：前四級的全部內(nèi)容。解釋模型在決策過程中的因果關(guān)系邏輯，該因果關(guān)系邏輯應(yīng)能夠使模型使用者理解（用人的認(rèn)知邏輯）。交互與溝通第一級本級能力如下：a）第二級本級能力如下：前一級的全部內(nèi)容。建立與外部利益相關(guān)方（如監(jiān)管部門、合作方、用戶等）電話或郵箱、信息反饋功能等。第三級本級能力如下：前兩級的全部內(nèi)容。設(shè)置具體人員負(fù)責(zé)人工智能交互與溝通工作。制定標(biāo)準(zhǔn)化的說明文件模板對人工智能模型進(jìn)行信息披露，內(nèi)容應(yīng)包括但不限于：人工智能模型的責(zé)任主體和聯(lián)系方式；人工智能模型的預(yù)期用途；可能對相關(guān)方構(gòu)成的危害或產(chǎn)生的不利影響；為了確保人工智能模型的公平性、安全性和可靠性，以及數(shù)據(jù)的安全性，責(zé)任主體所采取的措施。以非技術(shù)的通俗語言進(jìn)行說明。第四級本級能力如下：前三級的全部內(nèi)容。設(shè)置專職負(fù)責(zé)與人工智能模型交互與溝通的人員和崗位，專職人員具有相關(guān)的專業(yè)能力。c）c)的基礎(chǔ)上包括但不限于：模型所涉及的人工智能技術(shù)的介紹，在包含“黑箱”技術(shù)的情況下宜補(bǔ)充說明；人工智能模型所使用的數(shù)據(jù)以及具體使用方式；人工智能模型的決策機(jī)制和邏輯；人工智能模型決策面對的對象（是否涉及特殊人群）。e）第五級本級能力如下：前四級的全部內(nèi)容。與外部相關(guān)方對接。景，采用適當(dāng)?shù)慕换シ绞剑寒?dāng)相關(guān)方需要獲取人工智能系統(tǒng)或模型相關(guān)信息時(shí)，能夠提供說明文件；為用戶提供選擇退出或服務(wù)中止的渠道，渠道應(yīng)便捷易觸達(dá)；當(dāng)利益相關(guān)方對人工智能決策機(jī)制產(chǎn)生質(zhì)疑時(shí)，宜采用人工講解、演示、可視化媒體、圖形展示等手段進(jìn)行說明。與溝通機(jī)制。外部合作第一級本級能力如下：a）第二級本級能力如下：前一級的全部內(nèi)容。求。對外部合作方開展盡職調(diào)查和定期的風(fēng)險(xiǎn)評估。險(xiǎn)管理、行業(yè)監(jiān)管要求及組織要求方面的符合程度。雙方聯(lián)動演練。定期評價(jià)模型相關(guān)的外部合作。第三級本級能力如下：前兩級的全部內(nèi)容。建立針對人工智能模型外部合作的評估機(jī)制，并設(shè)置準(zhǔn)入條件。三方機(jī)構(gòu)出具的評估報(bào)告?；蛱崆敖Y(jié)束、用戶權(quán)益糾紛等情況時(shí)雙方的溝通渠道和響應(yīng)機(jī)制。第四級本級能力如下：前三級的全部內(nèi)容。機(jī)制、模型開發(fā)流程、質(zhì)量管理體系等方面符合組織的風(fēng)險(xiǎn)管理要求。對外部合作方提供的人工智能模型進(jìn)行實(shí)時(shí)監(jiān)控。第五級本級能力如下：前四級的全部內(nèi)容。態(tài)環(huán)境進(jìn)行持續(xù)監(jiān)控，關(guān)注變化可能給外部合作方帶來的影響，及時(shí)調(diào)整合作處理方案。專利保護(hù)第一級本級能力如下：a）產(chǎn)權(quán)，進(jìn)而引發(fā)訴訟及公司聲譽(yù)風(fēng)險(xiǎn)。第二級本級能力如下：前一