2024人工智能模型風險治理能力成熟度模型

人工智能模型風險治理能力成熟度模型目??次前言 II引言 III1范圍 12規(guī)范性引用文件 13術(shù)語和定義 13.1 13.2 13.3 13.4 24縮略語 25人工智能模型風險治理架構(gòu) 25.1人工智能模型風險治理框架 25.2能力成熟度等級 35.3風險領(lǐng)域維度 5人工智能模型風險治理能力成熟度模型范圍本標準規(guī)定了各類組織開展人工智能模型需求分析、數(shù)據(jù)準備、模型構(gòu)建、檢驗驗證、模型部署、持續(xù)驗證、模型修正、模型下線等活動應(yīng)遵循的原則和風險治理要求，以及從策略制度、組織架構(gòu)、資源配置、技術(shù)手段等方面保障風險治理活動的有效執(zhí)行。本標準適用于規(guī)范各類組織人工智能模型風險治理活動，指導(dǎo)組織建設(shè)和評價風險治理能力，也適用于主管監(jiān)管部門、第三方評估機構(gòu)等組織對人工智能模型開發(fā)、實施和使用進行監(jiān)督、管理和評估。規(guī)范性引用文件下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T25069-2010信息安全技術(shù)術(shù)語GB/T35273-2020信息安全技術(shù)個人信息安全規(guī)范GB/T5271.28-2001信息技術(shù)詞匯術(shù)語和定義界定的下列術(shù)語和定義適用于本標準。人工智能ArtificialIntelligence一門交叉學(xué)科，通常視為計算機科學(xué)的分支，研究表現(xiàn)出與人類智能（如推理和學(xué)習(xí)）相關(guān)的各種功能的模型和系統(tǒng)；表現(xiàn)出與人類智能（如推理和學(xué)習(xí)）相關(guān)的各種功能的功能單元的能力。[來源：GB/T5271.28-2001信息技術(shù)詞匯]模型Model模型是應(yīng)用統(tǒng)計、經(jīng)濟、金融或數(shù)學(xué)理論、技術(shù)和假設(shè)將輸入數(shù)據(jù)處理為定量估計的量化方法、系統(tǒng)或途徑。人工智能模型ArtificialIntelligenceModel人工智能模型是指使用一種或多種人工智能技術(shù)和方法構(gòu)建的模型，可以針對一組給定的人類定義的目標生成輸出，例如內(nèi)容、預(yù)測、建議或影響他們互動環(huán)境的決策。模型風險ModelRisk模型風險是基于不正確的模型或亂用模型輸出和報告進行決策可能產(chǎn)生的不利后果。能力成熟度CapabilityMaturity對一個組織有條理的持續(xù)改進能力以及實現(xiàn)特定過程的連續(xù)性、可持續(xù)性、有效性和可信度的水平。[來源：GB/T37988-2019信息安全技術(shù)數(shù)據(jù)安全能力成熟度模型]能力成熟度模型CapabilityMaturityModel對一個組織的能力成熟度進行度量的模型，包括一系列代表能力和進展的特征、屬性、指示或者模式。注：能力成熟度為組織衡量其當前的實踐、流程、方法的能力水平提供參考基準，并設(shè)置明確的提升目標。[來源：GB/T37988-2019信息安全技術(shù)數(shù)據(jù)安全能力成熟度模型]能力成熟度模型CapabilityMaturityModel對一個組織的能力成熟度進行度量的模型，包括一系列代表能力和進展的特征、屬性、指示或者模式。注：能力成熟度為組織衡量其當前的實踐、流程、方法的能力水平提供參考基準，并設(shè)置明確的提升目標。[來源：GB/T37988-2019信息安全技術(shù)數(shù)據(jù)安全能力成熟度模型]縮略語下列縮略語適用于本文件。AIArtificialIntelligence人工智能人工智能模型風險治理架構(gòu)人工智能模型風險治理框架圖1人工智能模型風險治理框架人工智能模型風險治理框架包括11個子模型：策略：指組織為實現(xiàn)人工智能模型風險治理而采取的策略，涵蓋規(guī)劃、執(zhí)行及控制過程。主要關(guān)注組織策略方針和管理制度。組織：指管理層對人工智能模型風險治理的職責，確保組織業(yè)務(wù)戰(zhàn)略和重大策略的一致性，評估和控制人工智能模型風險治理效率和效果，確定組織的風險偏好等。模型安全影響評估：指識別、評估、處置和持續(xù)監(jiān)控在開發(fā)、實施和使用人工智能模型對組織自身、用戶權(quán)益、公共利益等造成不利的影響，以及風險控制措施的有效性等風險的管理機制。模型生命周期：指對模型整個生命周期進行風險管理的機制，主要涵蓋需求分析、數(shù)據(jù)準備、模型構(gòu)建、檢驗驗證、部署和存儲、運行監(jiān)控、持續(xù)驗證、模型修正、模型下線。應(yīng)急響應(yīng)：指在開發(fā)、實施和使用人工智能模型過程中，針對由于模型缺陷或不當使用可能會發(fā)生損害組織利益、用戶權(quán)益，或影響業(yè)務(wù)正常運營的風險事件進行響應(yīng)、跟蹤和處置，及時消減風險事件的影響，保證業(yè)務(wù)連續(xù)性。透明可解釋：指對部署的人工智能模型如何工作和決策過程進行解釋。交互與溝通：指與監(jiān)管機構(gòu)、合作方、用戶等相關(guān)方建立交互溝通機制，以及采取措施保障利益相關(guān)方的知情權(quán)和選擇權(quán)。外部合作：指在開發(fā)、實施和使用人工智能模型的過程中涉及與合作伙伴、第三方服務(wù)商等外部機構(gòu)交互，對由于外部因素導(dǎo)致的業(yè)務(wù)中斷、結(jié)果不可靠、責任不清、安全事件等風險進行管理。專利保護：指對開發(fā)、實施和使用人工智能模型可能涉及的知識產(chǎn)權(quán)侵權(quán)風險進行治理，以及對自主知識產(chǎn)權(quán)進行保護。環(huán)境保護與社會責任：指在開發(fā)、實施和使用人工智能模型的過程中，組織應(yīng)考慮對環(huán)境和社會產(chǎn)生的影響并采取解決方案。管理層監(jiān)控何審計：指人工智能模型開發(fā)、實施和使用相關(guān)部門對現(xiàn)有制度流程的自我監(jiān)控評估和獨立審計職能對組織人工智能模型風險治理進行評估。能力成熟度等級能力成熟度等級特征詳細說明第一級（初始級）基本運行，各部門/業(yè)務(wù)線/項目為了經(jīng)營管理正常運行，對人工智能模型風險活動進行自發(fā)管理。各部門/業(yè)務(wù)線/項目為了經(jīng)營管理正常運行，對該項活動進行自發(fā)管理。（1）管理范圍僅限于項目/部門/業(yè)務(wù)線，由各業(yè)務(wù)條線/各項目/部門各自管理。（2）有基本的管理活動（部分環(huán)節(jié)、零散的），但一般依賴于約定俗成、個人經(jīng)驗。管理活動不一定可重復(fù)。（3）管理要求有可能落于紙面，但缺少規(guī)范化的、正式發(fā)布的、組織級的制度。（4）管理活動以符合法律要求、避免影響業(yè)務(wù)運營的重大風險為主目標。（5）一般情況下沒有專崗人員，由其他職能的人員自發(fā)進行。（6）基于風險事件的被動應(yīng)對，僅基于個人經(jīng)驗和臨時反應(yīng)。（7）沒有系統(tǒng)工具支持管理活動。第二級（基礎(chǔ)級）安全合規(guī)，在第一級的基礎(chǔ)上，各部門/業(yè)務(wù)線/項目為了人工智能模型風險治理活動滿足外部行業(yè)監(jiān)管或自身增強性的風險治理要求。在第一級的基礎(chǔ)上，各部門/業(yè)務(wù)線/項目為了該項活動滿足外部行業(yè)監(jiān)管或自身增強性的風險治理要求。（1）管理范圍僅限于項目/部門/業(yè)務(wù)線，各業(yè)務(wù)條線/各項目/部門各自管理?；蚱渌F(xiàn)有的管理體系和機制（并非針對人工智能模型風險治理）來實現(xiàn)（如安全管理、法律合規(guī)等現(xiàn)有職能和制度要求）。（2）有較成熟的管理活動，但主要以符合行業(yè)監(jiān)管要求和組織自身提出的增強性風險治理要求為目標。（3）管理要求已在項目/部門/業(yè)務(wù)線內(nèi)形成規(guī)范、流程。（4）一般情況下沒有專崗人員，但已明確其他職能或兼崗人員的職責（如數(shù)據(jù)安全管理人員開展人工智能模型風險相關(guān)的數(shù)據(jù)安全風險治理）。（5）基于風險事件的被動應(yīng)對，但具備一定的事件響應(yīng)能力。（6）可能使用簡單的工具支持管理活動第三級（增強級）標準規(guī)范，在第二級的基礎(chǔ)上，實現(xiàn)組織級、標準化的管理活動，管理活動覆蓋關(guān)鍵環(huán)節(jié)，以達到行業(yè)最佳實踐為目標且充分借鑒。在第二級的基礎(chǔ)上，實現(xiàn)組織級、標準化的管理活動，達到行業(yè)領(lǐng)先水平。（1）組織范圍內(nèi)實現(xiàn)統(tǒng)一管理。（2）建立了標準化的管理制度和流程，且管理質(zhì)量可控。能夠?qū)﹃P(guān)鍵的、常見的AI風險進行應(yīng)對。（3）管理活動覆蓋關(guān)鍵環(huán)節(jié)，以達到行業(yè)最佳實踐為目標且充分借鑒。（4）一般情況下設(shè)置了專崗人員。（5）主動進行風險治理，可以對已知風險進行識別、評估和處置，但治理手段較為單一。（6）使用系統(tǒng)工具支撐關(guān)鍵的管理活動。（7）參與國家、行業(yè)相關(guān)標準制定。第四級（優(yōu)秀級）全面高效，在第三級的基礎(chǔ)上，實現(xiàn)高效的、平衡的管理，管理活動具有全面性，以達到國際最佳實踐為目標且充分借鑒。在第三級的基礎(chǔ)上，實現(xiàn)高效的、平衡的管理，達到國際領(lǐng)先水平。（1）較第三級管理效率大幅提升，風險治理與運營效率達到較好的平衡，人工智能技術(shù)應(yīng)用與相關(guān)方利益達到較好地平衡。（2）管理活動具有全面性，以達到國際最佳實踐為目標且充分借鑒。（3）使用系統(tǒng)工具實現(xiàn)全面的管理自動化。（4）建立指標體系，實現(xiàn)可量化的管理。（5）主動進行風險治理，可以對已知風險進行識別、評估和處置，并預(yù)先建立了對可預(yù)見風險的應(yīng)對措施。（6）牽頭/主導(dǎo)國家、行業(yè)相關(guān)標準制定，或參與國際相關(guān)標準制定。（7）在相應(yīng)領(lǐng)域部署了研發(fā)資源，探索、嘗試該領(lǐng)域前沿技術(shù)和理念。第五級（卓越級）前瞻引領(lǐng)，在第四級的基礎(chǔ)上，實現(xiàn)智能化的管理，能夠應(yīng)對未知風險，前沿性地探索，引領(lǐng)行業(yè)。在第四級的基礎(chǔ)上，實現(xiàn)智能化的管理，前沿性地探索，引領(lǐng)行業(yè)。（1）使用系統(tǒng)工具實現(xiàn)自洽的智能化管理。（2）實現(xiàn)實時、動態(tài)的管理。（3）實現(xiàn)前瞻性的風險治理部署。可以對未知風險進行識別，并預(yù)先建立了相應(yīng)的應(yīng)對措施。（4）將人工智能風險治理作為企業(yè)主要戰(zhàn)略或核心競爭力，持續(xù)探索、嘗試該領(lǐng)域前沿技術(shù)和理念并具備引領(lǐng)性和話語權(quán)。（5）牽頭/主導(dǎo)國際相關(guān)標準制定。人工智能模型風險治理框架與能力成熟度等級的關(guān)系如下：將人工智能模型風險治理框架中的每個模塊劃分為五級，針對每個模塊下的每個等級提出具體的風險治理要求。組織在各模塊的能力成熟度匯總形成組織整體的能力成熟度。對于人工智能模型風險治理框架中的每個模塊中針對某一具體能力，如高等級是在低等級的基礎(chǔ)上針對同一關(guān)鍵能力提出更高要求，則應(yīng)滿足高等級要求。如高等級要求是在低等級基礎(chǔ)上提出新增的要求，則應(yīng)包含所有低等級能力要求。風險領(lǐng)域維度治理原則安全可靠：應(yīng)具備與所面臨的安全風險相匹配的安全能力，并采取足夠的管理措施和技術(shù)手段，保障人工智能模型的完整性、保密性和魯棒性。透明可解釋：應(yīng)能夠解釋人工智能模型如何工作以及如何達到特定的預(yù)測，或如何在決策過程中發(fā)揮作用，建立理解和信任。公平公正：應(yīng)保障利益相關(guān)者的權(quán)益，促進機會均等。尊重隱私：應(yīng)尊重和保護個人隱私，充分保障個人的知情權(quán)和選擇權(quán)?？杀O(jiān)督、可問責、可審計：應(yīng)保障人工智能模型生命周期中利益相關(guān)方職責清晰，并具備足夠的監(jiān)督、控制能力，留存足夠的記錄以支持審計和取證活動。策略組織通過建立和完善風險治理策略方針來指導(dǎo)、管理和監(jiān)控組織內(nèi)的人工智能模型相關(guān)風險，并基于風險治理策略方針制定風險管理制度，用以明確組織涉及人工智能模型開發(fā)、實施和使用相關(guān)各流程的管理目標、職責分工和要求。第一級該等級的能力描述如下：應(yīng)具備基本的管理活動，管理活動一般依賴于約定俗成、個人經(jīng)驗或其他現(xiàn)有的管理體系和機制來實現(xiàn)。管理要求有可能落于紙面，但缺少規(guī)范化的、正式發(fā)布的、組織級的制度。管理活動以符合法律要求、避免影響業(yè)務(wù)運營的重大風險為主要目標。第二級該等級的能力描述如下：組織最高管理層應(yīng)明確以滿足外部行業(yè)監(jiān)管要求為主要目標，分配了適當?shù)馁Y源支持合規(guī)所需的工作。組織應(yīng)建立合規(guī)機制，能夠確保人工智能模型管理活動遵循行業(yè)監(jiān)管要求。業(yè)務(wù)團隊應(yīng)制定人工智能模型相關(guān)管理規(guī)范和流程。第三級該等級的能力描述如下：組織最高管理層應(yīng)制定、審批、發(fā)布風險治理策略方針，對關(guān)鍵的、常見的人工智能模型風險進行管理。組織最高管理層應(yīng)基于風險治理策略方針，制定、審批和發(fā)布人工智能模型風險管理制度。管理制度應(yīng)符合法律法規(guī)相關(guān)要求和人工智能風險治理原則，明確組織涉及人工智能模型開發(fā)、實施和使用相關(guān)的管理目標、職責分工、具體流程、過程文檔等內(nèi)容。組織制定的管理制度應(yīng)涵蓋人工智能模型開發(fā)、實施和使用的關(guān)鍵環(huán)節(jié)，并且應(yīng)利用系統(tǒng)工具對管理活動進行支持。組織內(nèi)部應(yīng)對風險治理策略方針和管理制度進行充分宣貫并與外部機構(gòu)和利益相關(guān)方進行適當溝通。組織最高管理層應(yīng)定期或在組織戰(zhàn)略、外部環(huán)境、相關(guān)技術(shù)等發(fā)生重大變化時，對風險治理策略方針進行審閱和更新。第四級該等級的能力描述如下：組織制定的管理制度能夠全面涵蓋人工智能模型開發(fā)、實施和使用的各個環(huán)節(jié)。在系統(tǒng)工具的支持下，管理過程實現(xiàn)自動化和可量化。組織的風險治理策略方針應(yīng)涵蓋針對可預(yù)見的人工智能模型風險，并且與外部機構(gòu)和相關(guān)利益方的溝通應(yīng)更加充分。組織應(yīng)積極收集相關(guān)信息和最佳實踐，并不斷完善現(xiàn)有的人工智能模型風險治理策略、制度和流程。第五級該等級的能力描述如下：組織前瞻性地部署風險治理策略方針，實現(xiàn)對未知風險的管理。組織將人工智能模型風險治理作為組織主要戰(zhàn)略或核心競爭力，持續(xù)探索、嘗試風險治理前沿技術(shù)和理念并具備引領(lǐng)性和話語權(quán)。組織的管理活動已經(jīng)實現(xiàn)自洽的智能化，可以對人工智能模型風險進行實時、動態(tài)的管理。組織建立管理層對人工智能模型風險治理的管理職責。遵守并貫徹執(zhí)行國家有關(guān)信息科技管理的法律、法規(guī)和技術(shù)標準，落實相關(guān)行業(yè)監(jiān)管部門的監(jiān)管要求、行業(yè)以及團隊標準要求。審查批準人工智能戰(zhàn)略，確保其與組織的總體業(yè)務(wù)戰(zhàn)略和重大策略相一致。評估人工智能及其風險管理工作的總體效果和效率。掌握主要的人工智能相關(guān)風險，確定可接受的風險級別，確保相關(guān)風險能夠被識別、計量、監(jiān)測和控制。第一級該等級的能力描述如下：尚未將人工智能納入整體業(yè)務(wù)戰(zhàn)略，尚未將人工智能相關(guān)風險納入組織整體風險管理和管理層職責范圍。第二級該等級的能力描述如下：應(yīng)設(shè)置人員或團隊對人工智能模型的開發(fā)、實施和使用進行管理。組織應(yīng)根據(jù)自身業(yè)務(wù)戰(zhàn)略和技術(shù)要求，基于國家相關(guān)法律法規(guī)及行業(yè)標準等監(jiān)管的要求將與人工智能模型相關(guān)風險（如操作風險、科技風險等）納入組織風險管理體系。應(yīng)明確管理層以及執(zhí)行層面在上述風險領(lǐng)域的權(quán)責范圍。制定與人工智能模型相關(guān)的風險治理要求，并在組織風險治理相關(guān)職能部門實際工作中有效落實相關(guān)制度和流程（如數(shù)據(jù)安全部門、內(nèi)控合規(guī)部門等）。第三級該等級的能力描述如下：組織應(yīng)將人工智能作為組織整體業(yè)務(wù)發(fā)展戰(zhàn)略的一部分。應(yīng)明確管理層，人工智能開發(fā)、實施和使用相關(guān)部門和團隊在人工智能模型風險治理方面的職責職能與授權(quán)。應(yīng)從組織架構(gòu)上保障人工智能模型風險管理活動具備獨立性，應(yīng)確保適當?shù)娜藛T對人工智能模型具有要求解釋和拒絕使用的權(quán)力。管理層應(yīng)審批人工智能模型風險治理框架。應(yīng)建立與人工智能模型風險治理框架配套的風險治理機制，包括風險識別、風險評估、風險處置、監(jiān)控與審計，形成完整的風險治理閉環(huán)。第四級該等級的能力描述如下：應(yīng)建立專門的治理委員會并定期實現(xiàn)向董事會和組織最高管理層匯報和披露人工智能發(fā)展與風險治理情況。如組織內(nèi)部已經(jīng)形成了如風險管理委員會、信息科技委員會等機構(gòu)，且將與該人工智能模型相關(guān)的風險治理納入到組織整體風險治理領(lǐng)域并開展專門的業(yè)務(wù)決策、風險評估與處置管理，則也可以滿足該要求。通過量化手段實現(xiàn)風險計量，實現(xiàn)監(jiān)控與審計的部分自動化。應(yīng)建立人工智能相關(guān)人才激勵政策，并將人工智能風險治理與考核機制結(jié)合。第五級該等級的能力描述如下：組織應(yīng)實現(xiàn)對組織不同層面及不同人工智能模型面對的風險的實時監(jiān)控，以幫助組織最高管理層對組織人工智能模型風險進行及時的了解。組織應(yīng)實現(xiàn)風險應(yīng)對決策的自動化，以提高改進計劃制定的效率。組織應(yīng)借助系統(tǒng)支持改進計劃的執(zhí)行和跟蹤，以達到更有效的持續(xù)管理改善。組織應(yīng)實現(xiàn)對未知風險的識別，并據(jù)此評估現(xiàn)有人工智能模型風險治理策略方針和管理制度的適用性，制定相應(yīng)的管理策略調(diào)整和風險應(yīng)對方案，以確保人工智能模型風險治理具有前瞻性。模型安全影響評估識別、評估、處置和持續(xù)監(jiān)控在開發(fā)、實施和使用人工智能模型對組織自身、用戶權(quán)益、公共利益等造成不利的影響，以及風險控制措施的有效性。第一級該等級的能力描述如下：業(yè)務(wù)部門針對高風險人工智能模型執(zhí)行偶然的、基于個人經(jīng)驗的風險評估，評估以符合法律要求、避免影響業(yè)務(wù)運營的重大風險為主要目標。風險應(yīng)對方式以基于風險事件的被動應(yīng)對為主，僅基于個人經(jīng)驗和臨時反應(yīng)。第二級該等級的能力描述如下：相關(guān)部門建立了風險評估流程，執(zhí)行分散的、局部的風險管理活動。風險評估目標涵蓋符合行業(yè)監(jiān)管要求和組織自身風險治理要求。組織應(yīng)建立了風險事件響應(yīng)機制，能夠?qū)θ斯ぶ悄苣Ｐ拖嚓P(guān)風險事件進行響應(yīng)。第三級該等級的能力描述如下：應(yīng)建立模型安全影響評估流程，對已知模型風險進行識別、評估和處置。執(zhí)行評估的人員或團隊應(yīng)與人工智能模型開發(fā)、實施和使用團隊存在適當?shù)穆氊煼蛛x，負責模型安全影響評估制度流程的制定和維護、評估開展以及改進跟蹤。評估流程應(yīng)嵌入到現(xiàn)有模型生命周期管理活動中，在人工智能模型需求分析、部署、模型修正（模型發(fā)生重大變更）和確定模型安全事件處置方案等關(guān)鍵環(huán)節(jié)進行評估。評估內(nèi)容應(yīng)涵蓋但不限于與人工智能風險治理原則的符合性、與組織風險治理策略方針的符合性、安全控制措施的有效性，以及發(fā)生安全事件時對利益相關(guān)方可能產(chǎn)生的不利影響等。針對模型存在的高風險缺陷或問題，須完成適當改進后才能進行后續(xù)環(huán)節(jié)。評估結(jié)果應(yīng)以模型安全影響評估報告形式進行匯總，其中包括評估過程中識別的風險、風險級別、風險處置應(yīng)對方法及對應(yīng)改進建議等。該評估報告應(yīng)妥善保管確?？晒┫嚓P(guān)方查閱，并以適當?shù)男问綄ν夤_。宜借助技術(shù)手段實現(xiàn)模型安全影響評估部分自動化。第四級該等級的能力描述如下：組織應(yīng)實現(xiàn)對可預(yù)見的風險的評估并預(yù)置適當?shù)娘L險響應(yīng)方案。建立模型安全影響評估指標體系，實現(xiàn)定性與定量結(jié)合的風險評估。風險評估維度應(yīng)較第三級更全面，從不同層面、不同顆粒度、以不同的方式進行風險評估，實現(xiàn)交叉驗證和縱深分析。宜借助技術(shù)手段實現(xiàn)模型安全影響評估自動化，提升了評估效率和效果。第五級該等級的能力描述如下：組織的風險治理活動已經(jīng)實現(xiàn)自洽的智能化，可以對人工智能模型風險進行實時、動態(tài)的管理。風險的治理范圍也能涵蓋未知風險。模型生命周期模型生命周期風險治理指對模型需求分析、數(shù)據(jù)準備、模型構(gòu)建、檢驗驗證、部署和存儲、運行監(jiān)控、持續(xù)驗證、模型修正、模型下線環(huán)節(jié)進行風險管控。需求分析應(yīng)建立有效的需求分析機制，調(diào)研并理解業(yè)務(wù)需求，將業(yè)務(wù)需求轉(zhuǎn)化為目標數(shù)據(jù)內(nèi)容人工智能模型構(gòu)建問題。第一級該等級的能力描述如下：未建立模型需求管理機制，相關(guān)人員基于經(jīng)驗開展基本的需求分析活動。需求分析活動一般涵蓋問題輸入、目標拆解、資源投入等相關(guān)內(nèi)容，明確模型構(gòu)建的業(yè)務(wù)背景、業(yè)務(wù)目標和應(yīng)用場景。應(yīng)具備模型需求提出、記錄、流轉(zhuǎn)、跟蹤的渠道。需求分析應(yīng)考慮模型涉及的法律法規(guī)要求。第二級該等級的能力描述如下：人工智能模型開發(fā)、實施和使用相關(guān)部門應(yīng)制定了模型需求管理流程規(guī)范。應(yīng)建立需求分析溝通與評審機制，關(guān)鍵相關(guān)方應(yīng)至少包括業(yè)務(wù)人員、模型開發(fā)人員、安全人員、合規(guī)人員等。應(yīng)評估業(yè)務(wù)可行性和技術(shù)可行性，模型應(yīng)用目標和預(yù)期效果與組織戰(zhàn)略的符合性，潛在的業(yè)務(wù)價值等。需求分析應(yīng)涵蓋行業(yè)監(jiān)管、組織風險治理與安全等相關(guān)要求。應(yīng)根據(jù)需求分析內(nèi)容形成需求說明文檔并經(jīng)過相關(guān)方評審確認。第三級該等級的能力描述如下：組織應(yīng)制定了模型需求管理制度，涵蓋需求評審、需求變更、緊急需求等關(guān)鍵的管理機制以及資源保障。明確相關(guān)方崗位職責，確保關(guān)鍵崗位職責分離。應(yīng)評估模型業(yè)務(wù)應(yīng)用場景風險、威脅和脆弱性等。應(yīng)開展模型安全影響評估，主要關(guān)注人工智能風險治理原則的符合性、與組織風險治理策略方針的符合性、安全控制措施的有效性、風險事件應(yīng)急響應(yīng)機制、對利益相關(guān)方可能產(chǎn)生的不利影響等。針對模型存在的高風險缺陷或問題，應(yīng)制定風險緩釋措施降低風險。需求說明文檔中應(yīng)對需求范圍和邊界有具體描述，明確人工智能模型業(yè)務(wù)目標以及模型構(gòu)建和應(yīng)用成功與否的衡量標準。并評估模型構(gòu)建及應(yīng)用所需的資源、時間等。需求說明文檔中應(yīng)對模型風險和安全需求有詳細的描述。應(yīng)具備自動化的工具支持模型需求管理。第四級該等級的能力描述如下：針對需求的執(zhí)行情況進行周期性評估，檢查需求執(zhí)行效果。需求評估應(yīng)具備可量化的指標，為進一步提升服務(wù)效能、質(zhì)量、安全等目的，宜建設(shè)需求執(zhí)行驗證平臺或工具。第五級該等級的能力描述如下：應(yīng)能夠?qū)δＰ托枨蠓治鲞^程進行自適應(yīng)的調(diào)整，如需求分析的范圍、目標、內(nèi)容等根據(jù)業(yè)務(wù)需求、監(jiān)管環(huán)境、安全態(tài)勢、技術(shù)發(fā)展等自動調(diào)整。針對需求范圍內(nèi)的相關(guān)分析，可自動調(diào)整資源變更的流程，并完成對于執(zhí)行效果的完整性檢查。數(shù)據(jù)準備建立完善的數(shù)據(jù)準備過程，產(chǎn)出高質(zhì)量的數(shù)據(jù)內(nèi)容，設(shè)計有效的組織協(xié)同機制，確保滿足合規(guī)要求和安全要求。第一級該等級的能力描述如下：相關(guān)部門和人員僅基于經(jīng)驗進行基本的數(shù)據(jù)準備，產(chǎn)出模型構(gòu)建所需的數(shù)據(jù)集。數(shù)據(jù)準備的各個過程環(huán)節(jié)應(yīng)符合相關(guān)的法律要求。第二級該等級的能力描述如下：相關(guān)部門應(yīng)建立數(shù)據(jù)開發(fā)管理流程，規(guī)范數(shù)據(jù)準備處理操作，如數(shù)據(jù)標記、標注、清洗和聚合等。制定了數(shù)據(jù)采集、存儲、使用、傳輸、銷毀等生命周期安全要求，相關(guān)職能部門在模型數(shù)據(jù)準備環(huán)節(jié)能夠?qū)嶋H有效落實相關(guān)制度和流程。應(yīng)對數(shù)據(jù)集的數(shù)據(jù)質(zhì)量進行管理，保障數(shù)據(jù)的準確性、完整性、一致性、唯一性、有效性、時效性等。應(yīng)具備良好的團隊協(xié)作機制，如業(yè)務(wù)人員、數(shù)倉人員、數(shù)據(jù)建模人員、數(shù)據(jù)架構(gòu)師、安全人員等參與數(shù)據(jù)準備，職能間分工明確，溝通順暢。數(shù)據(jù)準備的各個過程環(huán)節(jié)應(yīng)符合組織相關(guān)安全、合規(guī)要求。第三級該等級的能力描述如下：組織應(yīng)建立數(shù)據(jù)開發(fā)管理制度，規(guī)范數(shù)據(jù)處理流程、管控各環(huán)節(jié)相關(guān)風險。應(yīng)針對模型構(gòu)建目的進行專有的數(shù)據(jù)開發(fā)或現(xiàn)有的數(shù)據(jù)能夠直接應(yīng)用在模型構(gòu)建中。數(shù)據(jù)集應(yīng)具備相關(guān)性、代表性和完整性，具備適當?shù)慕y(tǒng)計特性。應(yīng)對數(shù)據(jù)準備過程中的處理操作進行記錄和說明，如記錄數(shù)據(jù)集創(chuàng)建、使用、更新和維護等關(guān)鍵信息。根據(jù)模型的預(yù)期用途，數(shù)據(jù)集應(yīng)考慮特定的應(yīng)用環(huán)境所特有的特征或要素。應(yīng)確保數(shù)據(jù)開發(fā)環(huán)境中使用的數(shù)據(jù)與生產(chǎn)環(huán)境的一致性。應(yīng)具備數(shù)據(jù)開發(fā)工具，支持數(shù)據(jù)集成、數(shù)據(jù)清洗和數(shù)據(jù)加工等操作。應(yīng)保留和備份數(shù)據(jù)準備過程中產(chǎn)生的關(guān)鍵日志信息，日志內(nèi)容和保存時長應(yīng)滿足組織審計需要。第四級該等級的能力描述如下：應(yīng)對數(shù)據(jù)集進行評估，識別是否存在數(shù)據(jù)污染、數(shù)據(jù)投毒攻擊、數(shù)據(jù)偏差等問題，避免數(shù)據(jù)項中存在可能導(dǎo)致用戶歧視、不公正待遇等侵害其權(quán)益的可能性等，并制定相應(yīng)的解決方案。組織可采用數(shù)據(jù)安全領(lǐng)域先進技術(shù)，在保證數(shù)據(jù)安全及用戶權(quán)益的前提下，多方位引進模型數(shù)據(jù)，擴展數(shù)據(jù)維度。第五級該等級的能力描述如下：組織可借助自動化檢測及管理工具，智能化識別數(shù)據(jù)準備階段現(xiàn)有風險，對可能發(fā)生的未知風險進行預(yù)測，并制定有效的應(yīng)對方案。提高現(xiàn)有技術(shù)能力，實現(xiàn)數(shù)據(jù)準備階段風險治理的前瞻性部署。模型構(gòu)建建立模型構(gòu)建過程管理機制，對模型構(gòu)建關(guān)鍵活動進行風險控制。第一級該等級的能力描述如下：未建立模型構(gòu)建管理機制，相關(guān)人員基于經(jīng)驗或團隊約定俗成的方式開展模型構(gòu)建活動。模型構(gòu)建活動一般涵蓋算法選擇、模型訓(xùn)練和測試等。第二級該等級的能力描述如下：人工智能模型開發(fā)、實施和使用相關(guān)部門應(yīng)制定了模型構(gòu)建管理流程規(guī)范。建模人員應(yīng)對模型的有效性、精準性、魯棒性進行自測，確保模型滿足業(yè)務(wù)需求。建模人員應(yīng)通過對模型的權(quán)重或占比的合理適當性進行復(fù)核，避免選擇偶發(fā)性參數(shù)等措施保證模型的科學(xué)合理性。應(yīng)對模型構(gòu)建過程進行記錄，如建模腳本、建模過程中的軟硬件環(huán)境、模型訓(xùn)練方式、特征選擇和決策結(jié)果、建模人員、建模時間、版本迭代等。組織制定了數(shù)據(jù)安全、代碼安全等相關(guān)要求，相關(guān)職能部門在模型構(gòu)建環(huán)節(jié)能夠?qū)嶋H有效落實相關(guān)制度和流程。第三級該等級的能力描述如下：組織應(yīng)制定了模型構(gòu)建管理制度，明確相關(guān)方崗位職責，確保關(guān)鍵崗位職責分離。應(yīng)制定模型構(gòu)建方案。建模人員應(yīng)嘗試使用不同的模型方法以找到最適合的模型方案，并了解所選模型的弱點和局限性，測試模型相關(guān)假設(shè)（如有）并提供合理的證明，進行不同時間樣本的模型性能比較以驗證模型穩(wěn)定性，提供和基準模型(如有)性能的比較以說明新模型的優(yōu)越性。應(yīng)對目標函數(shù)進行說明，目標函數(shù)設(shè)計上不應(yīng)存在針對特殊群體的偏見歧視。應(yīng)對模型重現(xiàn)能力進行評估，確保模型決策結(jié)果在相同場景下的一致性。對深度學(xué)習(xí)模型使用過程中產(chǎn)生的相關(guān)計算數(shù)據(jù)制定保護策略，包括輸出向量、模型參數(shù)、模型梯度等可能會泄露訓(xùn)練數(shù)據(jù)的敏感信息或者模型自身的屬性參數(shù)。如限制惡意訪問次數(shù)、引入隨機性、添加模型水印等。應(yīng)使用代碼掃描工具和人工代碼檢查方式對代碼進行評審，發(fā)現(xiàn)安全缺陷并修復(fù)。應(yīng)形成模型開發(fā)文檔，包括算法選擇、模型訓(xùn)練、參數(shù)選擇、模型測試等模型開發(fā)過程關(guān)鍵內(nèi)容。應(yīng)建立模型評審機制，成立模型評審委員會或組織合適的相關(guān)方負責模型評審工作。評審人員應(yīng)獨立于模型開發(fā)人員，評估模型效果、模型性能等影響模型應(yīng)用的關(guān)鍵內(nèi)容。組織應(yīng)建立了模型構(gòu)建的環(huán)境或平臺，并設(shè)置完善的訪問控制、安全控制等措施。應(yīng)保留和備份模型構(gòu)建過程中產(chǎn)生的關(guān)鍵日志信息，日志內(nèi)容和保存時長應(yīng)滿足組織審計需要。第四級該等級能力描述如下：應(yīng)建立模型構(gòu)建安全規(guī)范，明確模型構(gòu)建過程中應(yīng)遵循的安全原則和安全要求。如模型威脅建模和攻擊面分析，模型開源風險，模型安全漏洞等。組織應(yīng)建立了模型構(gòu)建的環(huán)境或平臺應(yīng)具備適用于多種用戶角色的建模工具，如給業(yè)務(wù)人員提供圖形化的建模工具、給數(shù)據(jù)科學(xué)家提供專業(yè)的交互式建模工具等；建模工具提供的算法庫能夠支持多種模型的構(gòu)建需求，包括有監(jiān)督、無監(jiān)督，以及主流的神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、自動化建模等。模型構(gòu)建的環(huán)境或平臺應(yīng)具備模型文件校驗等技術(shù)能力，對模型文件格式、大小、參數(shù)范圍、網(wǎng)絡(luò)拓撲、節(jié)點名稱、數(shù)據(jù)維度等關(guān)鍵信息進行檢測校驗，避免加載惡意模型文件。應(yīng)保障模型可靠性和可重現(xiàn)性，若發(fā)生不可避免的偶發(fā)性不準確預(yù)測，應(yīng)當能計算出錯誤發(fā)生的概率。第五級該等級的能力描述如下：應(yīng)能夠?qū)崟r評估、監(jiān)控模型構(gòu)建過程的已知風險并自動化地實施風險處置措施。應(yīng)對模型構(gòu)建過程可能存在的未知風險設(shè)置前瞻性的風險預(yù)防措施。檢驗驗證建立檢驗驗證管理機制，充分評估模型總體和各組件功能，確保模型表現(xiàn)符合預(yù)期。第一級該等級的能力描述如下： 未建立模型檢驗驗證管理機制，未設(shè)置檢驗驗證人員，相關(guān)人員基于經(jīng)驗或團隊約定俗成的方式開展檢驗驗證活動。檢驗驗證如發(fā)現(xiàn)模型有重大缺陷，則在缺陷解決之前，應(yīng)僅在非常嚴格的限制條件下使用模型或應(yīng)拒絕使用該模型。檢驗驗證過程應(yīng)確保模型符合法律要求。第二級該等級的能力描述如下：人工智能模型開發(fā)、實施和使用相關(guān)部門應(yīng)制定了模型檢驗驗證管理流程規(guī)范。包括檢驗驗證的標準執(zhí)行流程，檢驗驗證目標和內(nèi)容，數(shù)據(jù)安全管理要求，檢驗驗證過程中可能出現(xiàn)的安全風險事件應(yīng)急響應(yīng)方案等，確保模型與行業(yè)監(jiān)管要求及業(yè)務(wù)應(yīng)用方面的符合程度。應(yīng)設(shè)置負責模型檢驗驗證的人員和崗位。應(yīng)確保人工智能模型的相關(guān)特征及特征工程過程與風險策略相吻合，包括但不限于模型輸入的正確轉(zhuǎn)換、特征選擇的標準、特征對應(yīng)的業(yè)務(wù)邏輯等。應(yīng)對數(shù)據(jù)輸入及數(shù)據(jù)處理結(jié)果進行風險評估,避免數(shù)據(jù)采集及處理結(jié)果中包含可恢復(fù)或者涉及安全隱私的敏感數(shù)據(jù)。應(yīng)進行模型結(jié)果有效性檢驗驗證和分析，即對模型輸出與相應(yīng)的實際結(jié)果進行比較。比較的精確性取決于模型的目標，可以包括評價估算或預(yù)測的準確性、評價排序能力、或其它適當?shù)臏y試。應(yīng)在相同場景下，采取不同的數(shù)據(jù)集來對模型進行多次校驗。并對在相同條件下出現(xiàn)的差異化結(jié)果進行評估，包括對于用戶價值及權(quán)益的影響。應(yīng)對檢驗驗證過程中發(fā)現(xiàn)的問題制定解決方案并持續(xù)跟進。應(yīng)對模型檢驗驗證過程進行記錄，如驗證方式、驗證人員、驗證結(jié)果等。第三級該等級的能力描述如下：組織應(yīng)制定了模型檢驗驗證管理制度。應(yīng)設(shè)置專職負責模型檢驗驗證的人員和崗位，檢驗驗證人員崗位應(yīng)具備適當?shù)臋?quán)限和獨立性。模型檢驗驗證范圍應(yīng)至少包括模型的所有組件，即輸入、處理、輸出、報告組件等。檢驗驗證步驟應(yīng)至少包括數(shù)據(jù)穩(wěn)定性、模型的魯棒性和模型效果檢驗等。應(yīng)對于模型的合理性及風險可控程度，包括使用數(shù)據(jù)項的適當性、合理性、權(quán)重比例的科學(xué)性等問題進行全面的核查。應(yīng)采取必要措施以保證模型決策結(jié)果公平公正。確定公平評判標準并對其進行公平性測試，必要時進行修正，包含人群均等、機會均等、幾率均等、人群無關(guān)性等標準。應(yīng)針對驗證過程中發(fā)現(xiàn)的缺陷或風險，應(yīng)分析對應(yīng)缺陷引發(fā)的原因、導(dǎo)致的問題、是否有解決方案及最大化風險敞口的可能，應(yīng)記錄留檔并在缺陷無法解決的情況下，并按組織風險匯報流程升級至適當?shù)墓芾韺舆M行風險決策。第四級該等級的能力描述如下：應(yīng)采取人工及系統(tǒng)雙重評估交叉驗證的方式進行檢驗驗證，通過多人復(fù)評交叉組合驗證的方式以核驗算法模型的完整性和準確性。 應(yīng)建立檢驗驗證平臺或工具，采取人工和系統(tǒng)雙重評估交叉驗證的方式進行檢驗驗證，通過多人復(fù)評交叉組合驗證的方式以核驗算法模型的完整性和準確性。并采用模擬數(shù)據(jù)竊取、成員推理攻擊、數(shù)據(jù)逆向還原等方法模擬對模型數(shù)據(jù)的竊取行為。應(yīng)實現(xiàn)模型驗證關(guān)鍵環(huán)節(jié)可量化，當模型結(jié)構(gòu)或技術(shù)發(fā)生重大變化，或模型進行重新開發(fā)時，在實施之前都應(yīng)接受恰當范圍和嚴格程度的驗證。 在適用的情況下，可選擇在模型開發(fā)和驗證中采用回測或敏感性分析來完成自洽檢驗，以檢查輸入和參數(shù)值的微小變化對模型輸出的影響，確保結(jié)果在預(yù)期范圍內(nèi)。 應(yīng)通過同時改變多個輸入來發(fā)現(xiàn)意外的交互作用，特別是在交互作用復(fù)雜且不直觀的情況下。如存在缺乏數(shù)據(jù)或數(shù)據(jù)質(zhì)量不穩(wěn)定的情況，則在考慮模型使用的適當性時，應(yīng)更加注意模型的局限性，在使用模型結(jié)果進行決策時，應(yīng)將這些局限性充分告知管理層及利益相關(guān)方。第五級該等級的能力描述如下：應(yīng)支持智能化地評估檢驗驗證模型關(guān)鍵假設(shè)和變量選擇，并分析其對模型輸出地影響，特別關(guān)注潛在地局限性。針對未知風險應(yīng)支持檢驗驗證過程中智能化地做出最優(yōu)決策，并對于模型調(diào)整及驗證環(huán)節(jié)進行智能化地評估、檢查。驗證過程中，如存在模型因為考慮新的數(shù)據(jù)或技術(shù)，或由于性能下降進行定期調(diào)整，可采用平行結(jié)果分析對模型調(diào)整進行重要分析。原始模型和調(diào)整后模型的預(yù)測都要與實際的結(jié)果相比較，如存在調(diào)整后的模型沒有優(yōu)于原始模型，開發(fā)人員、用戶和評審人員應(yīng)對于模型進行額外的更改或重新設(shè)計。部署和存儲建立模型部署和存儲環(huán)節(jié)的風險管理機制，充分識別、分析、評估和防范模型部署和存儲過程中的風險，包括模型缺陷、模型竊取和被植入后門等可能造成的模型失效風險、法律風險和聲譽風險等。第一級該等級的能力描述如下：未建立針對人工智能模型部署機制，相關(guān)部門和人員依據(jù)組織可能建立的通用部署管理機制或基于經(jīng)驗進行模型部署。應(yīng)制定模型部署回退方案。第二級該等級的能力描述如下：人工智能模型開發(fā)、實施和使用相關(guān)部門應(yīng)制定了模型部署和存儲管理流程規(guī)范。模型部署和模型存儲等活動一般涵蓋生產(chǎn)數(shù)據(jù)接入、模型校驗、上線審核和后評估等。模型部署前相關(guān)人員應(yīng)制定模型部署實施計劃和方案，確定部署策略和步驟。應(yīng)對模型部署過程進行記錄，如模型部署的操作人員、部署環(huán)境、部署步驟、部署時間和部署結(jié)果等。模型部署前應(yīng)開展模型上線評審，評審應(yīng)包括適當?shù)睦嫦嚓P(guān)方。模型部署過程中應(yīng)關(guān)注模型開發(fā)人員與系統(tǒng)運維人員的職責分離。應(yīng)根據(jù)模型部署影響范圍，提前將模型部署可能造成的影響告知相關(guān)方。應(yīng)修改默認的模型保存路徑和保存方式等內(nèi)容，確保模型的保密性。第三級該等級的能力描述如下：組織應(yīng)制定了模型部署和存儲管理制度流程，明確相關(guān)方崗位職責，確保關(guān)鍵崗位職責分離。應(yīng)對準備部署的模型文件進行完整性校驗。應(yīng)通過模型灰度發(fā)布對模型的業(yè)務(wù)效果進行評價，確保模型性能符合業(yè)務(wù)需求。模型部署前應(yīng)開展模型安全影響評估，主要關(guān)注模型應(yīng)用場景風險、安全控制措施的有效性以及安全風險事件應(yīng)急響應(yīng)機制等。針對風險評估中發(fā)現(xiàn)的薄弱環(huán)節(jié)制定整改方案。針對模型存在的高風險缺陷或問題，須整改完成后才能上線。模型部署評審內(nèi)容應(yīng)包含對模型評審報告、模型驗證報告、模型技術(shù)文檔和風險評估報告等，并經(jīng)過利益相關(guān)方確認。模型上線應(yīng)經(jīng)過恰當?shù)膶徟褪跈?quán)，評審不合格的模型不應(yīng)部署上線。組織應(yīng)建立模型在運行和存儲時的安全環(huán)境或平臺，并設(shè)置完善的安全檢測和訪問控制等措施。應(yīng)保留和備份模型部署過程中產(chǎn)生的關(guān)鍵日志信息，日志內(nèi)容和保存時長應(yīng)滿足組織審計需要。第四級該等級的能力描述如下：模型部署的環(huán)境或平臺應(yīng)能夠支持自動化、精細化、多樣化的模型部署方式。模型部署的環(huán)境或平臺應(yīng)實時監(jiān)控模型部署過程產(chǎn)生的風險并能夠可視化展示。模型在云端和邊緣計算端協(xié)同過程中的傳輸安全和存儲安全等方面的風險控制措施保證安全管理有效。模型的存儲數(shù)據(jù)庫應(yīng)能夠支持審計和安全風險的自動告警。第五級該等級的能力描述如下：組織對模型進行動態(tài)迭代部署，直到生成最合適結(jié)果的模型為止，將該模型及其結(jié)果納入應(yīng)用程序中并能夠智能地應(yīng)對部署過程風險，提供預(yù)測、決策、解決問題和觸發(fā)操作，保證數(shù)據(jù)和算法與模型之間的密切交互。組織部署存儲的模型和配套的訓(xùn)練數(shù)據(jù)以及權(quán)重參數(shù)能夠應(yīng)對各種安全風險問題，保證不會被攻擊者影響而改變結(jié)果或泄漏數(shù)據(jù)。運行監(jiān)控在模型部署上線后對模型進行監(jiān)控，建立模型運行監(jiān)控機制及時發(fā)現(xiàn)和防范模型應(yīng)用所帶來的風險，準確衡量模型效果和業(yè)務(wù)價值，同時保留和記錄模型應(yīng)用的各種數(shù)據(jù)和文檔以支持事件處理和審計需要。第一級該等級的能力描述如下：未建立針對人工智能模型的監(jiān)控機制。模型開發(fā)人員和系統(tǒng)運維人員等基于經(jīng)驗或通用管理機制對模型進行評估和監(jiān)控。模型監(jiān)控和評價主要基于線下方式進行，定期發(fā)布模型監(jiān)控評價信息。能夠?qū)δＰ瓦\行過程中的重大風險、決策異常進行識別和風險提示。第二級該等級的能力描述如下：人工智能模型開發(fā)、實施和使用相關(guān)部門應(yīng)制定了模型監(jiān)控管理流程規(guī)范。應(yīng)明確的模型應(yīng)用的業(yè)務(wù)目標和應(yīng)用風險，相關(guān)部門和人員能夠建立模型運行監(jiān)控和評價方法，并根據(jù)各自的目標和職責設(shè)置模型運行監(jiān)控和評價指標。模型監(jiān)控和評價維度應(yīng)包含數(shù)據(jù)監(jiān)控和模型運行監(jiān)控。注： 數(shù)據(jù)監(jiān)控主要監(jiān)控模型所需數(shù)據(jù)的提取、加工和數(shù)據(jù)分布的變化；模型運行監(jiān)控主要監(jiān)控模型運行在正常與否、模型運行的資源消耗、模型運行響應(yīng)的性能（如單筆響應(yīng)時長、總調(diào)度量）等應(yīng)定期識別和量化模型效果或風險，能夠?qū)τ赡Ｐ托Ч档蛶淼娘L險進行預(yù)警。應(yīng)定期出具模型監(jiān)控評價報告，報告涵蓋的信息應(yīng)足夠支持做出模型修正、模型下線等決策。應(yīng)建立適當?shù)淖詣踊ぞ呋蚱脚_對模型的運行情況進行監(jiān)控，并自動化觸發(fā)閾值告警。應(yīng)定期開展監(jiān)控策略的合理性評估工作，按照需要及時調(diào)整運行監(jiān)控策略。第三級該等級的能力描述如下：組織應(yīng)制定了模型監(jiān)控管理制度流程，明確相關(guān)方崗位職責，確保關(guān)鍵崗位職責分離。模型監(jiān)控、模型使用、模型開發(fā)、應(yīng)急處置等相關(guān)部門和人員應(yīng)形成完善的風險處置協(xié)同機制。應(yīng)根據(jù)模型決策重要性和風險影響制定差異化的監(jiān)控和響應(yīng)策略。高風險模型決策結(jié)果應(yīng)用前應(yīng)經(jīng)過人工審核。中風險模型決策結(jié)果突破風險閾值后應(yīng)由人工進行處置。模型監(jiān)控工具或平臺應(yīng)能夠通過對監(jiān)控指標的靈活配置支持不同模型類型的不同性能監(jiān)控，如模型穩(wěn)定性、區(qū)分性能、準確性、同質(zhì)異質(zhì)性等指標。注： PSI、IV、WOE、KS、ROC、AUC、GINI、卡方檢驗、F檢驗、T檢驗、秩和檢驗等常見模型指標監(jiān)控應(yīng)對相關(guān)方反饋進行持續(xù)監(jiān)測。模型監(jiān)控工具或平臺應(yīng)支持模型監(jiān)控處置策略，如熔斷、降級、隔離、標記、下線、模型（自動）更新等。模型監(jiān)控工具或平臺能夠及時輸出模型監(jiān)測評價報告。模型監(jiān)控工具或平臺應(yīng)支持系統(tǒng)自動處置，也支持人工進行部分或全部干預(yù)和處置。應(yīng)持續(xù)地進行模型監(jiān)控策略的評估和改進，優(yōu)化模型風險治理方式。應(yīng)保留和備份數(shù)據(jù)準備過程中產(chǎn)生的關(guān)鍵日志信息，日志內(nèi)容和保存時長應(yīng)滿足組織審計需要。第四級該等級的能力描述如下：模型使用人員應(yīng)能夠了解模型業(yè)務(wù)價值的監(jiān)控結(jié)果并做出適當?shù)臎Q策。模型管理人員能夠了解和掌握模型資產(chǎn)的整體價值和收益、風險等信息。應(yīng)構(gòu)建適當?shù)墓ぞ呋蚱脚_對模型業(yè)務(wù)成效進行監(jiān)控。組織內(nèi)形成標準的模型業(yè)務(wù)價值評估的標準指標體系（如客戶資產(chǎn)提升、獲客量等），基于業(yè)務(wù)場景采用不同的業(yè)務(wù)成效監(jiān)控指標進行監(jiān)測和評估。 基于模型業(yè)務(wù)價值的評估，組織應(yīng)能夠做出數(shù)據(jù)資產(chǎn)運營的決策，包括持續(xù)維護建設(shè)、下線等，并據(jù)此調(diào)整相應(yīng)的資源投入。第五級該等級的能力描述如下：應(yīng)通過模型監(jiān)控和評價信息實現(xiàn)自動化的模型審計。應(yīng)實時監(jiān)控模型相關(guān)的監(jiān)管環(huán)境、風險態(tài)勢、外部輿情、市場變動、合作方經(jīng)營、用戶行為和社會價值觀的變化，智能地識別潛在風險并執(zhí)行風險處置。持續(xù)驗證建立持續(xù)驗證管理機制，對模型投入使用后持續(xù)進行的驗證，以跟蹤已知的模型問題并識別新的問題，保證線上模型能夠持續(xù)保持建模時候的模型效果，確保市場、產(chǎn)品、風險敞口、活動、客戶或業(yè)務(wù)實踐的變化不會造成新的模型問題。第一級該等級的能力描述如下：未建立模型持續(xù)驗證管理機制，未設(shè)置持續(xù)驗證人員，相關(guān)人員基于經(jīng)驗或團隊約定俗成的方式開展持續(xù)驗證活動。持續(xù)驗證一般包括確認以前的驗證活動、對以前的驗證活動進行更新、或者要求額外的驗證活動。模型持續(xù)驗證應(yīng)設(shè)定一定的頻次或驗證周期，驗證頻次或周期應(yīng)符合法律要求。持續(xù)驗證如發(fā)現(xiàn)模型有重大缺陷，則在缺陷解決之前，應(yīng)僅在非常嚴格的限制條件下使用模型或應(yīng)進行模型下線。第二級該等級的能力描述如下：人工智能模型開發(fā)、實施和使用相關(guān)部門應(yīng)制定了模型持續(xù)驗證管理流程規(guī)范。一般包括持續(xù)驗證的標準執(zhí)行流程，持續(xù)驗證目標和內(nèi)容等。應(yīng)設(shè)置負責模型持續(xù)驗證的人員和崗位。模型持續(xù)驗證周期應(yīng)符合行業(yè)監(jiān)管要求和組織風險治理要求。持續(xù)驗證應(yīng)結(jié)合模型運行監(jiān)控內(nèi)容進行驗證檢查。應(yīng)對持續(xù)驗證過程進行記錄。第三級該等級的能力描述如下：組織應(yīng)制定了模型檢驗驗證管理制度。持續(xù)驗證應(yīng)評估是否需要根據(jù)產(chǎn)品、風險敞口、活動、客戶或市場狀況的變化，決定對模型受否進行階段性調(diào)整、重新開發(fā)或更換，以及驗證超出模型原始范圍的任何擴展是否有效至關(guān)重要。在開發(fā)階段發(fā)現(xiàn)的模型的任何局限都應(yīng)在持續(xù)驗證中被定期評估。持續(xù)驗證的頻次和周期應(yīng)能夠保證應(yīng)對及時性風險。驗證范圍應(yīng)包括模型表現(xiàn)的合理性、安全性、魯棒性、一致性、穩(wěn)定性等。應(yīng)驗證模型在應(yīng)用過程中盡可能采集使用最新生成的數(shù)據(jù)，以保證模型算法應(yīng)用的準確性及效果，避免數(shù)據(jù)時效較差引發(fā)對用戶的不適當干擾或引導(dǎo)。宜在監(jiān)管政策環(huán)境及社會普適性道德價值觀均未發(fā)生變化的情況下，通過外部輿情監(jiān)測等形式對外部信息進行收集整理，并采取相應(yīng)的模型迭代調(diào)整策略。應(yīng)保留和備份持續(xù)驗證過程中產(chǎn)生的關(guān)鍵日志信息，日志內(nèi)容和保存時長應(yīng)滿足組織審計需要。第四級該等級的能力描述如下：應(yīng)對模型進行可重復(fù)性評估與持續(xù)驗證，搜集相關(guān)信息并進行量化，評估在決策不可重復(fù)的情況下如何識別和處理模型異常。在適用的情況下，應(yīng)在模型持續(xù)驗證中采用回測或敏感性分析進行評估，以檢查輸入和參數(shù)值的微小變化對模型輸出的影響，確保它們在預(yù)期范圍內(nèi)。第五級該等級的能力描述如下：基于持續(xù)驗證的量化評估，設(shè)立明確的規(guī)劃來持續(xù)驗證模型效果，并滿足未來可能存在的新需求和新變化。持續(xù)驗證應(yīng)能夠自動執(zhí)行，且模型在持續(xù)驗證中能夠自動化、智能化的進行調(diào)整和優(yōu)化。模型修正建立模型修正管理機制，根據(jù)模型監(jiān)控和持續(xù)驗證的結(jié)果，對模型進行適當?shù)膬?yōu)化和更新，保證修正后的模型在新的業(yè)務(wù)數(shù)據(jù)上表現(xiàn)良好。第一級該等級的能力描述如下：未建立模型修正管理機制，相關(guān)人員基于經(jīng)驗或團隊約定俗成的方式開展模型修正活動。在模型部署或運行監(jiān)控過程中發(fā)現(xiàn)模型存在異常，應(yīng)及時開展修正工作，模型修正后應(yīng)同步開展檢驗驗證及監(jiān)控策略相關(guān)的修正工作。第二級該等級的能力描述如下：人工智能模型開發(fā)、實施和使用相關(guān)部門應(yīng)制定了模型修正管理流程規(guī)范。應(yīng)設(shè)置負責模型持續(xù)驗證的人員和崗位。應(yīng)定期進行模型修正，保證模型的準確性。應(yīng)跟蹤國內(nèi)外監(jiān)管要求的變化并及時進行模型修正，避免模型因未及時采取適當?shù)恼{(diào)整而引發(fā)的侵害用戶權(quán)益，違反監(jiān)管要求及社會價值觀等方面的情況。在模型修正過程中，應(yīng)避免引入新的安全合規(guī)問題。第三級該等級的能力描述如下：組織應(yīng)制定了模型修正管理制度。應(yīng)設(shè)置明確的模型修正的觸發(fā)條件。應(yīng)確保部署的模型滿足隨著時間推移的需求變換，根據(jù)更新的訓(xùn)練數(shù)據(jù)集更新模型。組織業(yè)務(wù)戰(zhàn)略和目標、風險策略或業(yè)務(wù)價值發(fā)生變化時，應(yīng)開展模型修正。應(yīng)保留模型修正前后的相關(guān)文檔，如模型性能指標、參數(shù)配置等。應(yīng)對模型修正過程中的模型版本進行管理，記錄修正過程中應(yīng)用的蘇納法、模型參數(shù)，以及入模數(shù)據(jù)下各類模型的效果差異等。應(yīng)對模型越控及進行重點分析和記錄。應(yīng)分析模型越控原因，跟蹤和評估越控效果，采取適當?shù)膽?yīng)對措施。注： 模型越控指模型輸出結(jié)果基于模型使用者的專家判斷被忽略、更改或被反轉(zhuǎn)的情況應(yīng)保留和備份模型修正過程中產(chǎn)生的關(guān)鍵日志信息，日志內(nèi)容和保存時長應(yīng)滿足組織審計需要。第四級該等級的能力描述如下：應(yīng)具備自動化工具或平臺應(yīng)支持模型的重新訓(xùn)練、重新上線，以及模型自動修正，包括自查、自重建和自刷新等。支持模型自動修正后的檢驗驗證，以及自動部署和自動監(jiān)控。應(yīng)對模型修正進行定期審查。第五級該等級的能力描述如下：應(yīng)能夠智能化地對模型修正進行執(zhí)行和改進。應(yīng)持續(xù)改進模型修正流程，滿足未來可能發(fā)生的未知風險。模型下線建立完善的模型下線過程，確保模型下線過程平穩(wěn)，確保模型下線滿足合規(guī)要求和安全要求。第一級該等級的能力描述如下：未建立針對人工智能模型下線機制，相關(guān)部門和人員依據(jù)組織可能建立的通用下線管理機制或基于經(jīng)驗進行模型下線。模型新版本迭代或目前線上版本存在重大問題無法使用時，應(yīng)執(zhí)行模型下線處置。模型下線前應(yīng)評估其影響范圍，制定應(yīng)急方案。第二級該等級的能力描述如下：人工智能模型開發(fā)、實施和使用相關(guān)部門應(yīng)制定模型下線流程規(guī)范。一般涵蓋模型下線確認、影響分析、下線后評價等。模型下線前相關(guān)人員應(yīng)制定模型下線計劃和方案，確定下線策略和步驟。應(yīng)對模型下線過程進行記錄，如模型下線的操作人員、環(huán)境、步驟、時間和結(jié)果等。應(yīng)由系統(tǒng)運維人員執(zhí)行下線操作。模型下線前應(yīng)組織相關(guān)方評估下線影響，下線后應(yīng)將結(jié)果告知相關(guān)方。第三級該等級的能力描述如下：組織應(yīng)制定模型下線管理制度流程，明確相關(guān)方崗位職責，確保關(guān)鍵崗位職責分離。應(yīng)建立模型下線評估流程，明確模型下線評估時機、模型下線條件、模型下線需求確認、模型下線影響評估、模型回滾和下線后評估等，并形成相應(yīng)的報告文檔。應(yīng)根據(jù)模型下線的影響程度采用適當?shù)南戮€方式，對業(yè)務(wù)影響較大的模型應(yīng)通過模型灰度發(fā)布下線，確保模型下線結(jié)果符合預(yù)期。模型下線后應(yīng)進行驗證，確保下線模型與驗證結(jié)果一致。并應(yīng)持續(xù)監(jiān)測和評估對業(yè)務(wù)的影響，確保模型下線符合預(yù)期。應(yīng)定期排查、下線不符合業(yè)務(wù)預(yù)期的、無效的或存在重大問題的模型。應(yīng)對下線的模型進行歸檔，明確模型歸檔的部門和職責，明確對已歸檔模型及相關(guān)文檔的安全管理要求。第四級該等級的能力描述如下：組織應(yīng)通過自動化的方式管理模型下線，應(yīng)能夠支持自動化、精細化、多樣化的模型下線方式。應(yīng)實時監(jiān)控模型下線過程產(chǎn)生的風險并能夠可視化展示，記錄模型下線過程中的關(guān)鍵信息并滿足審計需要。第五級該等級的能力描述如下：組織對模型下線進行動態(tài)迭代，實現(xiàn)智能化地識別模型下線風險，進行模型下線決策，并自動化地下線模型并進行后續(xù)歸檔。透明可解釋通過對部署的人工智能模型如何工作和決策過程進行解釋來建立利益相關(guān)方之間的理解和信任。第一級該等級的能力描述如下：對于提取的每一單一維度特征可實現(xiàn)自我解釋。每一單一特征需要給出具體物理含義。第二級該等級的能力描述如下：將模型的輸入特征與模型的輸出的結(jié)果建立聯(lián)系?？蓪崿F(xiàn)對于給定的模型輸出，可以關(guān)聯(lián)到與該輸出最為相關(guān)的輸入特征中。第三級該等級的能力描述如下：在建立模型輸出與輸入特征的關(guān)聯(lián)基礎(chǔ)上，解釋結(jié)果可以捕捉到特征與特征之間的聯(lián)系，并展示有關(guān)聯(lián)的特征如何共同作用于模型輸出結(jié)果。第四級該等級的能力描述如下：在第三級的基礎(chǔ)上，可以實現(xiàn)給定具體模型輸出，還可以將模型輸出的結(jié)果與一部分主要訓(xùn)練數(shù)據(jù)相關(guān)聯(lián)。除利用輸入特征作為解釋外，第四級解釋應(yīng)針對每一個輸出的結(jié)果給出對應(yīng)的訓(xùn)練數(shù)據(jù)。第五級該等級的能力描述如下：在前四級的基礎(chǔ)上，解釋方法可以給出模型在決策過程中的因果關(guān)系邏輯，該因果關(guān)系邏輯應(yīng)能夠使模型使用者理解（符合使用人的認知邏輯）。前四級可解釋標準僅僅解釋了模型輸入（訓(xùn)練數(shù)據(jù)輸入與模型所接受輸入）與模型輸出之間的關(guān)聯(lián)性，第五級解釋需要在輸入輸出關(guān)聯(lián)性的基礎(chǔ)上構(gòu)建因果聯(lián)系。交互與溝通開發(fā)、實施和使用人工智能模型時應(yīng)考慮監(jiān)管機構(gòu)、合作方、用戶等利益相關(guān)方的知情、交互和信息獲取，建立人工智能技術(shù)相關(guān)的交互溝通機制，以避免業(yè)務(wù)的發(fā)展面臨與透明和可解釋性相關(guān)的信任風險。第一級該等級的能力描述如下：未在任何部門中設(shè)立負責人工智能模型交互與溝通相關(guān)的人員和團隊，由業(yè)務(wù)部門臨時承擔了交互與溝通工作，基于經(jīng)驗應(yīng)對監(jiān)管機構(gòu)或用戶等利益相關(guān)方偶發(fā)性的交互與溝通需求。第二級該等級的能力描述如下：業(yè)務(wù)部門在發(fā)布人工智能模型之前，相關(guān)人員或團隊基于對個人對該透明和可解釋性的理解進行評估和信息記錄。應(yīng)建立與外部利益相關(guān)方（如監(jiān)管部門、合作方、用戶等）的溝通渠道。（如披露聯(lián)系人、投訴電話或郵箱、信息反饋功能等。）第三級該等級的能力描述如下：應(yīng)設(shè)置具體人員負責人工智能交互與溝通工作。應(yīng)制定標準化的說明文件模板對人工智能模型進行信息披露和決策機制解釋。內(nèi)容應(yīng)包括但不限于：人工智能模型的責任主體和聯(lián)系方式；人工智能模型的預(yù)期用途；可能對相關(guān)方構(gòu)成的危害或產(chǎn)生的不利影響；為了確保人工智能決策的公平性，模型的安全性和可靠性，和數(shù)據(jù)的安全性等責任主體所采取的措施。應(yīng)以非技術(shù)的通俗語言進行說明。第四級該等級的能力描述如下：應(yīng)設(shè)置專職負責與人工智能通用信息披露、決策機制解釋、選擇退出保障、溝通渠道管理和其他與透明和可解釋性相關(guān)的交互與溝通的人員和崗位。專職人員應(yīng)具有相關(guān)的專業(yè)能力。組織應(yīng)建立統(tǒng)一的管理流程，規(guī)范與外部利益相關(guān)方的交互與溝通，明確組織內(nèi)部溝通協(xié)作機制。應(yīng)在第三級b)的基礎(chǔ)上包括但不限于：模型所涉及的人工智能技術(shù)的介紹。如包含“黑箱”技術(shù)應(yīng)補充說明；人工智能決策中使用的數(shù)據(jù)以及具體使用方式；結(jié)合“透明可解釋”指標中的相關(guān)要求，說明人工智能的應(yīng)用時機和人工智能決策做出的原因，包括模型應(yīng)用的范圍，用于訓(xùn)練和測試模型的數(shù)據(jù)類型和來源，模型開發(fā)過程，人工監(jiān)督措施，決策面對的對象（是否涉及特殊人群），決策輸入與輸出的相關(guān)性或因果關(guān)系等。說明文件應(yīng)簡明完整、準確清晰、便于獲取。第五級該等級的能力描述如下：應(yīng)設(shè)置專門的人工智能信任管理部門或崗位負責組織整體的人工智能透明和可解釋性，并與外部相關(guān)方對接。應(yīng)依據(jù)不同的人工智能模型的性質(zhì)和風險等級，以及相關(guān)方的信息獲取需求、獲取目的和背景，采用適當?shù)慕换シ绞剑寒斚嚓P(guān)方需要獲取人工智能系統(tǒng)或模型相關(guān)信息時，應(yīng)能夠提供說明文件；應(yīng)為用戶提供選擇退出或服務(wù)中止的渠道，渠道應(yīng)便捷易觸達。當利益相關(guān)方對人工智能決策機制產(chǎn)生質(zhì)疑時，宜采用人工講解、演示、可視化媒體、圖形展示等手段進行說明。應(yīng)重視持續(xù)改進機制，通過積極收集外部及不同渠道的信息，不斷地完善現(xiàn)有與人工智能交互與溝通機制。應(yīng)急響應(yīng)組織在開發(fā)、實施和使用人工智能模型過程中，可能會發(fā)生損害組織利益、用戶權(quán)益，或影響業(yè)務(wù)正常運營的風險事件，應(yīng)建立應(yīng)急響應(yīng)體系，對人工智能模型相關(guān)各類風險之間進行及時響應(yīng)和處置。第一級該等級的能力描述如下：組織可能建立了通用的應(yīng)急響應(yīng)機制，但未建立人工智能模型風險事件應(yīng)急響應(yīng)機制，相關(guān)部門和人員僅基于個人經(jīng)驗和臨時反應(yīng)對模型風險事件進行應(yīng)急處理。應(yīng)能夠執(zhí)行模型下線等應(yīng)急處理措施。第二級該等級的能力描述如下：人工智能模型開發(fā)、實施和使用相關(guān)部門應(yīng)在相關(guān)制度中設(shè)置有模型相關(guān)應(yīng)急響應(yīng)條款。相關(guān)部門應(yīng)約定基本的應(yīng)急協(xié)同機制，若處置動作對組織或用戶存在重大影響，應(yīng)明確決策機制。未設(shè)置人工智能模型應(yīng)急響應(yīng)專人專崗，但相關(guān)人員具備模型風險識別和應(yīng)急處置的基本知識和能力。部門應(yīng)明確模型監(jiān)控相關(guān)責任。人工智能模型應(yīng)能夠執(zhí)行精細化的應(yīng)急處理措施，如模型降級、隔離、標記等。相關(guān)部門應(yīng)定期開展培訓(xùn)和應(yīng)急演練。第三級該等級的能力描述如下：組織應(yīng)制定針對人工智能模型的應(yīng)急響應(yīng)制度。應(yīng)明確模型應(yīng)急響應(yīng)專人專崗，負責統(tǒng)籌模型應(yīng)急響應(yīng)工作。應(yīng)梳理組織中涉及人工智能模型的業(yè)務(wù)場景，明確相關(guān)的業(yè)務(wù)指標、模型性能指標和對應(yīng)責任人。根據(jù)梳理的人工智能模型相關(guān)業(yè)務(wù)指標和性能指標，建立模型應(yīng)急事件分級標準。應(yīng)根據(jù)梳理的模型應(yīng)急事件分級標準，設(shè)置適當?shù)臎Q策機制。應(yīng)根據(jù)模型應(yīng)急事件分級標準細化應(yīng)急響應(yīng)流程，如明確響應(yīng)時效、同步時效、止血時效等。應(yīng)梳理組織內(nèi)關(guān)鍵的、常見的人工智能模型應(yīng)急場景，制定應(yīng)急預(yù)案。（如提前設(shè)置人工介入流程及熔斷機制，提前準備常規(guī)解釋說明文件等。）應(yīng)設(shè)置應(yīng)急復(fù)盤機制，對模型生命周期的各個環(huán)節(jié)進行回溯，確認模型應(yīng)急事件根本原因和整改方案。應(yīng)對模型應(yīng)急響應(yīng)相關(guān)的人員進行針對性的培訓(xùn)，提升應(yīng)急處置能力。第四級該等級的能力描述如下：組織應(yīng)建立人工智能模型應(yīng)急響應(yīng)組，至少包含負責應(yīng)急管理組、數(shù)據(jù)科學(xué)家組、數(shù)據(jù)質(zhì)量組以及技術(shù)團隊。組織應(yīng)在內(nèi)部監(jiān)控的基礎(chǔ)上，將人工智能模型相關(guān)業(yè)務(wù)的外部風險指標納入監(jiān)控體系，如輿情、客訴、監(jiān)管反饋等。應(yīng)通過紅藍攻防、白帽測試、模型入?yún)⒏蓴_等方式進行專項或?qū)崙?zhàn)演練。宜在復(fù)盤明確人工智能模型應(yīng)急事件根本原因的基礎(chǔ)上進行定責追責。應(yīng)急響應(yīng)工具平臺應(yīng)實現(xiàn)模型應(yīng)急監(jiān)控、定級、預(yù)警、處置、復(fù)盤、預(yù)案演練等功能。應(yīng)對人工智能模型應(yīng)急響應(yīng)組人員進行針對性培訓(xùn)和認證，并對相關(guān)領(lǐng)域的全員進行應(yīng)急響應(yīng)宣傳，提升應(yīng)急處置能力。應(yīng)在既定的風險定級的和風險處置的鏈路里，實現(xiàn)歷史風險的自動化分析能力，并定期對定級方法、處置效能進行迭代。第五級該等級的能力描述如下：組織應(yīng)基于智能化的風險分類、定級能力，實現(xiàn)自動化的模型應(yīng)急人員管理，縮短應(yīng)急組織調(diào)起的時限，優(yōu)化應(yīng)急響應(yīng)時效。應(yīng)實現(xiàn)風險智能分類，自動指向風險影響業(yè)務(wù)，預(yù)估影響結(jié)果，分析風險發(fā)生原因并自動與模型應(yīng)急預(yù)案體系互相關(guān)聯(lián)，并基于智能監(jiān)控的結(jié)果實現(xiàn)風險應(yīng)急自動化。應(yīng)具備智能化的人工智能模型應(yīng)急響應(yīng)產(chǎn)品，實現(xiàn)模型異常自動診斷、預(yù)案自動調(diào)用、處置進展自動同步、決策自動升級等。牽頭建立人工智能應(yīng)急響應(yīng)認證體系，推動在行業(yè)內(nèi)復(fù)用。環(huán)境保護和社會責任組織在開發(fā)、實施和使用人工智能模型的過程中，應(yīng)考慮對環(huán)境和社會產(chǎn)生影響并采取解決方案。第一級該等級的能力描述如下：相關(guān)部門和人員主要從業(yè)務(wù)角度出發(fā)開發(fā)、實施和使用人工智能模型，未考慮模型對環(huán)境和社會的影響，未從模型層面對環(huán)境和社會議題進行管理。第二級該等級的能力描述如下：應(yīng)主動管理部分重要的人工智能模型所涉及的部分重要環(huán)境和社會議題。相關(guān)部門和人員應(yīng)識別人工智能模型可能帶來的積極環(huán)境和社會影響，如模型可能減少能源消耗，替代人工操作以更好的保護員工健康安全等。應(yīng)明確禁止涉足的不負責任人工智能領(lǐng)域，例如武器等，并與國內(nèi)外主流機構(gòu)標準保持一致。第三級該等級的能力描述如下：組織應(yīng)以風險為導(dǎo)向，系統(tǒng)性管理全部重要的人工智能模型在開發(fā)、實施和使用過程中所涉及的全部重要環(huán)境和社會議題。應(yīng)建立環(huán)境和社會議題管理工作流程，包括信息收集匯報、識別改善空間并采取改進措施。在能源消耗方面，應(yīng)評估現(xiàn)有人工智能模型的能源消耗總體水平，制定并采取措施提高能源使用效率，研究使用可再生能源的可能性，并提出能源替代方案。在碳排放方面，應(yīng)追蹤評估人工智能模型的碳足跡，實施碳盤查，制定并采取措施減少碳排放。在電子廢棄物產(chǎn)生和排放方面，應(yīng)評估人工智能模型產(chǎn)生和排放的電子廢棄物種類以及重量，制定并采取措施減少電子廢棄物產(chǎn)生和排放。在就業(yè)方面，應(yīng)評估使用人工智能模型后對傳統(tǒng)崗位的影響，包括評估受影響的崗位和員工以及影響程度，并建立應(yīng)對方案。在員工安全方面，應(yīng)系統(tǒng)化地識別并書面明確人工智能模型開發(fā)、實施和使用中的安全隱患并制定應(yīng)對方案。第四級該等級的能力描述如下：在滿足業(yè)務(wù)發(fā)展需求同時，人工智能模型應(yīng)發(fā)揮積極的環(huán)境和社會影響力，致力于聯(lián)合國可持續(xù)發(fā)展目標的達成。組織應(yīng)結(jié)合國內(nèi)外標準、趨勢、政策以及自身經(jīng)營情況，針對人工智能模型各項重要環(huán)境和社會議題制定量化的短中長期管理目標（如適用）并監(jiān)督目標完成情況。第五級該等級的能力描述如下：組織應(yīng)發(fā)揮自身影響力，持續(xù)引領(lǐng)人工智能行業(yè)負責任發(fā)展。組織應(yīng)量化人工智能模型主要的環(huán)境和社會影響價值（包括積極影響和消極影響），以指導(dǎo)投資決策，持續(xù)致力于最大化人工智能模型為環(huán)境和社會帶來的積極影響價值。專利保護組織人工智能風險治理中的知識產(chǎn)權(quán)保護主要包括知識產(chǎn)權(quán)侵權(quán)風險治理和自主知識產(chǎn)權(quán)保護。知識產(chǎn)權(quán)侵權(quán)風險治理涵蓋制定組織知識產(chǎn)權(quán)制度及體系，優(yōu)化風險管理流程，落實責任人制，定期監(jiān)控組織內(nèi)的知識產(chǎn)權(quán)侵權(quán)風險，確保不侵犯其人知識產(chǎn)權(quán)。自主知識產(chǎn)權(quán)保護涵蓋制定組織知識產(chǎn)權(quán)制度及體系，并積極宣貫，在模型開發(fā)工作的前、中、后開展全面知識產(chǎn)權(quán)檢索、布局、分析及風險規(guī)避，確保人工智能模型開發(fā)的自研技術(shù)創(chuàng)新得到充分保護。第一級該等級的能力描述如下：人工智能模型開發(fā)、實施和使用相關(guān)部門應(yīng)在相關(guān)制度中設(shè)置有知識產(chǎn)權(quán)風險管理條款，確保模型的開發(fā)、實施和使用不侵犯他人知識產(chǎn)權(quán)，進而引發(fā)訴訟及公司聲譽風險。第二級該等級的能力描述如下：相關(guān)人員具備識別人工智能模型知識產(chǎn)權(quán)