ISO∕IEC 42001-2023人工智能管理體系之16：“8 運行-8.2∕8.3 人工智能風險評估∕人工智能風險應對”解讀、實施流程和風險描述(雷澤佳編制-2024)

“8運行-8.2∕8.3人工智能風險評估∕人工智能風險應對”解讀、實施流程和風險描述ISO∕IEC42001-2023《信息技術-人工智能管理體系》之16：“8運行-8.2∕8.3人工智能風險評估∕人工智能風險應對”解讀、實施流程和風險描述(雷澤佳編制，2024年9月)第1部分：“8.2∕8.3人工智能風險評估∕人工智能風險應對”解讀“8.2∕8.3人工智能風險評估∕人工智能風險應對”條文“8.2∕8.3人工智能風險評估∕人工智能風險應對”標準條文解讀8.2人工智能風險評估組織應按照6.1.2的規(guī)定策劃的時間間隔內(nèi)或在提出重大變更時，進行人工智能風險評估。人工智能風險評估的觸發(fā)條件按照“6.1.2人工智能風險評估”策劃的時間間隔進行定期評估：策劃人工智能風險評估時間間隔考慮因素：的“策劃的時間間隔”并非隨意設定，而是需要基于科學、合理的考量來確定，以確保風險評估的有效性和及時性風險評估頻率與組織特性相匹配：根據(jù)組織的規(guī)模、人工智能系統(tǒng)的復雜性、業(yè)務環(huán)境的不確定性等因素進行策劃。對于規(guī)模較大、系統(tǒng)復雜、環(huán)境變化快的組織，可能需要更頻繁的風險評估來及時捕捉潛在風險；相關法規(guī)和行業(yè)標準的要求：不同國家和地區(qū)對人工智能系統(tǒng)的監(jiān)管要求可能存在差異，組織應確保風險評估的時間間隔符合當?shù)氐姆?、法?guī)及行業(yè)標準；組織可以基于過去的風險管理歷史數(shù)據(jù)，通過趨勢分析來確定風險評估的合理頻率：如果歷史數(shù)據(jù)顯示風險評估后系統(tǒng)風險顯著降低，且長時間內(nèi)保持穩(wěn)定，那么可以適當延長評估間隔；反之，如果風險頻發(fā)或系統(tǒng)環(huán)境頻繁變化，則應縮短評估間隔；組織在風險評估上的資源投入與成本效益：過于頻繁的風險評估可能增加組織負擔，而過長的評估間隔則可能錯過關鍵風險。因此，組織應在資源投入與風險評估效果之間找到平衡點，確保成本效益最大化。策劃的時間間隔可能是固定的，比如每年一次或每季度一次，具體取決于組織的風險管理策略、系統(tǒng)復雜性以及相關法律法規(guī)的要求。通過定期的風險評估，組織可以確保持續(xù)監(jiān)視并管理其人工智能系統(tǒng)中的風險。定期的人工智能風險評估；月度/季度評估：對于高風險領域或快速迭代的人工智能系統(tǒng)，組織可能會選擇每月或每季度進行一次風險評估。這種高頻次的評估有助于及時發(fā)現(xiàn)并應對潛在風險；半年度/年度評估：對于風險較低或相對穩(wěn)定的人工智能系統(tǒng)，組織可能會選擇每半年或每年進行一次全面評估。這種評估周期在保證系統(tǒng)安全的同時，也考慮了資源的高效利用。與業(yè)務周期同步的人工智能風險評估：與項目周期匹配：有些組織會將人工智能風險評估與項目的關鍵階段（如需求確認、系統(tǒng)設計、系統(tǒng)測試等）同步進行，以確保風險評估能夠緊密圍繞項目生命周期展開；年度業(yè)務規(guī)劃：將人工智能風險評估納入組織的年度業(yè)務規(guī)劃中，根據(jù)年度目標和業(yè)務戰(zhàn)略確定評估的重點和頻率。在發(fā)生以下重大變更時的即時評估：算法與模型的更新：當人工智能系統(tǒng)中使用的算法或模型發(fā)生重要更新時，其性能、決策邏輯和潛在風險都可能發(fā)生變化。因此，更新后的算法或模型需要重新進行風險評估，以確保其符合組織的業(yè)務目標和風險管理策略；數(shù)據(jù)集的更換或重大修改：數(shù)據(jù)是人工智能系統(tǒng)決策的基礎，數(shù)據(jù)集的更換或重大修改會直接影響系統(tǒng)的輸出和性能。因此，當數(shù)據(jù)集的來源、格式、質量或覆蓋范圍發(fā)生顯著變化時，組織需要重新評估這些變化對系統(tǒng)穩(wěn)定性和安全性的影響；系統(tǒng)架構的重構：人工智能系統(tǒng)的架構重構可能涉及組件的重新排列、新增或刪除，以及交互方式的改變。這些變化可能引入新的風險點或改變現(xiàn)有風險的影響程度，因此需要進行全面的風險評估；業(yè)務需求的重大變化：業(yè)務需求的變化可能要求人工智能系統(tǒng)具備新的功能或達到更高的性能指標。在調(diào)整系統(tǒng)以滿足這些新需求之前，組織應評估這些變化對系統(tǒng)穩(wěn)定性和安全性的影響，確保系統(tǒng)能夠滿足業(yè)務目標的同時，也符合風險管理要求；法律法規(guī)與政策的更新：人工智能領域的法律法規(guī)和政策不斷更新，可能會對系統(tǒng)的合規(guī)性產(chǎn)生影響。當相關法規(guī)或政策發(fā)生變化時，組織需要評估這些變化對系統(tǒng)的影響，并采取相應的合規(guī)措施；安全事件的響應與修復：在發(fā)生安全事件后，組織需要迅速響應并修復漏洞，以防止進一步的風險。在此過程中，對修復后的系統(tǒng)進行風險評估是確保系統(tǒng)安全性的重要步驟。組織應保留所有人工智能風險評估結果的成文信息。保留所有人工智能風險評估結果的成文信息。組織在進行人工智能系統(tǒng)影響評估后，通常需要保留以下成文信息：影響評估報告；概述：簡要介紹評估的目的、范圍、方法和關鍵發(fā)現(xiàn)；評估詳細過程：包括數(shù)據(jù)收集與分析方法、關鍵假設、使用的工具和技術等；影響分析結果：具體說明人工智能系統(tǒng)對個人、社會、經(jīng)濟、環(huán)境等各方面可能產(chǎn)生的正面和負面影響；風險評估：識別并量化潛在的風險，包括風險的可能性、嚴重性和影響范圍；緩解措施：針對識別出的風險提出的緩解策略、行動計劃和責任分配。影響評估數(shù)據(jù)記錄；原始數(shù)據(jù)：包括用于評估的所有原始數(shù)據(jù)、調(diào)查問卷、訪談記錄等；處理后的數(shù)據(jù)：經(jīng)過清洗、整理和分析的數(shù)據(jù)集，用于支持評估結論；數(shù)據(jù)字典：解釋數(shù)據(jù)集中各個字段的含義、來源和單位等信息。評估方法和工具；方法論描述：詳細解釋所采用的評估方法、模型、算法等；工具使用說明：介紹評估過程中使用的軟件、平臺或工具的名稱、版本和功能。相關方反饋；相關方列表：列出所有參與評估的相關方及其角色；反饋意見匯總：收集并整理相關方對評估報告和初步發(fā)現(xiàn)的反饋意見。決策文檔；決策記錄：記錄關于如何解讀評估結果、做出決策的過程和依據(jù)；批準文件：包括決策被批準的文件、日期和批準人簽名。后續(xù)行動計劃；行動清單：列出所有需要采取的行動項，包括責任人、截止日期和期望成果；監(jiān)視和評審計劃：說明如何監(jiān)視進展、評估效果并進行必要的調(diào)整。合規(guī)性證明；法律法規(guī)符合性：證明評估過程和結果符合相關法律法規(guī)要求的文件；行業(yè)標準符合性：提供符合行業(yè)標準或最佳實踐的證據(jù)。版本控制記錄。修訂歷史：記錄評估報告和相關文件的修訂歷史，包括每次修訂的內(nèi)容、時間和原因；當前版本狀態(tài)：明確標識當前正在使用的評估報告版本及其狀態(tài)。8.3人工智能風險應對組織應按6.1.3實施人工智能風險應對計劃，并驗證其有效性。實施并驗證人工智能風險應對計劃；風險應對計劃的實施：按“6.1.3人工智能風險應對”條款實施人工智能風險應對計劃。明確風險應對計劃：組織應基于6.1.2條款中的風險評估結果，明確需要應對的具體風險及其潛在影響，制定詳細的風險應對計劃。計劃應涵蓋風險評估結果、風險應對措施、責任分配、時間表等要素；資源保障：確保實施風險應對計劃所需的資源（如人力、物力、財力）充足，并根據(jù)計劃分配給相關部門和人員；執(zhí)行與監(jiān)視：按照計劃逐步執(zhí)行各項應對措施，并建立監(jiān)視機制，跟蹤應對措施的執(zhí)行進度和效果，確保按計劃順利推進。溝通與協(xié)作：加強內(nèi)部溝通與協(xié)作，確保各相關部門和人員充分了解風險應對計劃，并在執(zhí)行過程中保持信息暢通，協(xié)同作戰(zhàn)。驗證人工智能風險應對計劃的有效性。驗證過程旨在確保所采取的風險應對措施能夠達到預期效果，有效降低或消除風險；驗證方法可能包括定期評審風險應對計劃的執(zhí)行情況、收集反饋意見、進行模擬測試等；建立驗證標準：基于風險評估結果和應對措施的預期目標，建立驗證風險應對計劃有效性的具體標準，包括風險降低程度、影響范圍控制等方面。收集證據(jù)：通過定期評審、數(shù)據(jù)分析、用戶反饋等方式，收集風險應對計劃執(zhí)行過程中的相關證據(jù)，評估其實際效果。對比分析：將實際效果與預期目標進行對比分析，評估風險應對計劃的達成情況，識別可能存在的問題和偏差。進行模擬測試：通過構建模擬環(huán)境，模擬真實世界中可能遇到的風險場景，測試風險應對計劃在實際操作中的有效性和可行性。模擬測試可以幫助發(fā)現(xiàn)潛在的問題和漏洞，并驗證應對措施的適應性和穩(wěn)定性。持續(xù)優(yōu)化：根據(jù)驗證結果，發(fā)現(xiàn)并糾正計劃中可能存在的問題，及時調(diào)整和優(yōu)化風險應對計劃，確保其持續(xù)有效。同時，總當風險評估識別出需要應對的新風險時，應對這些風險執(zhí)行6.1.3的風險應對過程。新風險識別與風險應對過程的執(zhí)行；新風險識別的重要性；在人工智能管理體系中，持續(xù)的風險評估是確保組織能夠及時識別新風險的關鍵步驟。新風險可能來源于外部環(huán)境的變化、內(nèi)部系統(tǒng)的更新、新技術或算法的應用等多個方面。組織必須建立有效的風險評估機制，以便在第一時間發(fā)現(xiàn)并識別出這些新風險。應對這些風險執(zhí)行“6.1.3人工智能風險應對”的風險應對過程。一旦新風險被識別出來，組織應立即啟動并執(zhí)行“6.1.3人工智能風險應對”過程。該過程包括對新風險進行詳細的分析和評價，制定針對性的應對措施，明確責任人和時間表，確保應對措施的有效實施。該過程旨在通過科學的方法和流程，最大限度地降低新風險對組織的影響。當風險應對計劃確定的風險應對方案無效時，應按照6.1.3的風險應對過程對這些風險應對方案進行評審和重新驗證，并更新風險應對計劃。無效風險應對方案的評審與風險應對計劃的更新；識別無效風險應對方案；在執(zhí)行風險應對計劃過程中，組織應持續(xù)監(jiān)控風險應對方案的有效性。如果發(fā)現(xiàn)某個風險應對方案未能有效控制風險或降低風險影響，需及時識別其為無效方案；啟動風險應對評審過程；一旦發(fā)現(xiàn)風險應對方案無效，組織應立即啟動“6.1.3人工智能風險應對”中規(guī)定的評審過程。這一過程包括重新審視風險評估結果、分析方案失敗的原因、評估現(xiàn)有方案的有效性等步驟。對這些風險應對方案進行評審和重新驗證；在評審過程中，組織需對無效的風險應對方案進行重新驗證。這可能包括測試新策略、調(diào)整方案參數(shù)或完全替換現(xiàn)有方案。通過反復測試和驗證，確保新方案能夠有效控制風險。更新風險應對計劃；根據(jù)評審和重新驗證的結果，組織需對風險應對計劃進行相應的更新。這包括調(diào)整風險應對策略、修改風險應對措施、明確責任人和時間表等。更新后的風險應對計劃應更加貼合組織當前面臨的風險狀況。確保風險應對計劃的持續(xù)有效性。更新后的風險應對計劃需經(jīng)過嚴格評審，確保其科學性和可操作性。同時，組織應建立機制定期回顧和更新風險應對計劃，以應對不斷變化的風險環(huán)境。通過持續(xù)改進和優(yōu)化風險應對計劃，確保其在組織中的持續(xù)有效性。組織應保留所有人工智能風險應對結果的成文信息。組織應保留的所有人工智能風險應對結果的成文信息。風險應對計劃；風險應對計劃的詳細文檔，包括風險識別、評估、應對措施及其實施方案；計劃中明確的風險應對策略、目標、責任分配和時間表。風險評估報告；風險評估的原始數(shù)據(jù)和評估方法說明。評估結果及其分析，包括識別的風險類型、概率、影響程度及優(yōu)先級排序。新風險識別記錄；在風險評估過程中新識別的風險及其描述；針對新風險的初步評估結果和初步應對措施。風險應對過程記錄；執(zhí)行風險應對計劃過程中的所有活動和操作記錄；任何風險應對活動的變更或調(diào)整記錄，包括變更原因、時間、實施人員等。風險應對方案評審和重新驗證記錄；當風險應對方案無效時，對方案進行評審和重新驗證的詳細記錄；評審過程中發(fā)現(xiàn)的問題、分析結論及改進建議；重新驗證過程中采用的測試方法、測試數(shù)據(jù)及驗證結果。風險應對計劃更新記錄；根據(jù)評審和重新驗證結果對風險應對計劃進行更新的詳細記錄；更新后的風險應對策略、措施、時間表及責任分配。風險應對結果驗證報告；對實施風險應對計劃后的效果進行驗證的報告；驗證方法、驗證標準及驗證結果，包括風險是否得到有效控制、剩余風險等。相關方溝通與協(xié)作記錄；在風險應對過程中與相關方（如供應商、客戶、監(jiān)管機構等）的溝通記錄；協(xié)作過程中達成的共識、決策及實施情況記錄。持續(xù)改進記錄?；陲L險應對結果和經(jīng)驗教訓，對風險管理體系進行持續(xù)改進的記錄；改進措施的提出、實施、效果評估及后續(xù)跟蹤記錄。第2部分：“8.2∕8.3人工智能風險評估∕人工智能風險應對”流程控制表一級流程二級流程流程節(jié)點控制要點所期望的輸出人工智能風險評估策劃評估周期參考業(yè)務策略、法規(guī)要求、技術更新頻率等因素設定評估周期確保評估周期與風險級別相匹配定期評估計劃文檔識別重大變更建立變更監(jiān)控機制設定變更報告流程在變更實施前進行風險評估重大變更記錄及風險評估報告執(zhí)行風險評估使用適用的風險評估方法和工具評估風險的影響和可能性記錄評估結果，包括發(fā)現(xiàn)的風險、評級及建議措施風險評估報告及建議措施清單保留評估結果成文信息確保評估日期、評估人員、評估方法、發(fā)現(xiàn)的風險及評級、建議措施等信息完整記錄按照文件管理規(guī)定保存評估結果風險評估成文信息檔案人工智能風險應對制定風險應對計劃明確風險應對策略和措施分配職責和資源設定實施時間表和監(jiān)控機制風險應對計劃文檔實施風險應對計劃監(jiān)督應對措施的實施進度確保所有相關方按照計劃行動定期評審實施效果風險應對實施記錄及效果評審報告驗證風險應對計劃有效性收集和分析風險發(fā)生數(shù)據(jù)對比應對措施實施前后的風險水平收集用戶反饋進行滿意度調(diào)查風險應對有效性驗證報告及用戶反饋匯總新風險識別與應對定期回顧風險評估結果對新識別的風險執(zhí)行風險應對過程必要時更新風險應對計劃新風險識別報告及更新后的風險應對計劃評審與更新風險應對方案組織專家評審會議重新驗證風險應對方案的可行性根據(jù)評審結果更新風險應對計劃更新后的風險應對計劃文檔及評審會議紀要保留風險應對結果成文信息記錄風險應對過程中的關鍵活動、決策及實施效果按照文件管理規(guī)定保存風險應對結果成文信息風險應對結果成文信息檔案第3部分：“8.2∕8.3人工智能風險評估∕人工智能風險應對”過程風險清單一級流程二級流程風險描述（風險源、過程運行可能發(fā)生什么并產(chǎn)生什么后果及其對實現(xiàn)業(yè)務流程目標產(chǎn)生的影響）人工智能風險評估策劃評估周期風險源：評估周期設定不合理或未及時更新后果：未能及時發(fā)現(xiàn)和應對新出現(xiàn)的風險，導致管理滯后對目標實現(xiàn)的影響：降低風險評估的及時性和有效性，影響組織對潛在風險的應對能力識別重大變更風險源：未能準確識別重大變更，或變更信息滯后后果：忽略重要變更，導致風險評估不全面對目標實現(xiàn)的影響：評估結果偏離實際情況，增加潛在風險未被識別的可能性執(zhí)行風險評估風險源