ISO∕IEC 42001-2023人工智能管理體系之17：“8 運行-人工智能系統(tǒng)影響評估”解讀、實施流程和風險描述(雷澤佳編制-2024)

“8運行-人工智能系統(tǒng)影響評估”解讀、實施流程和風險描述ISO∕IEC42001-2023《信息技術-人工智能管理體系》之17：“8運行-人工智能系統(tǒng)影響評估”解讀、實施流程和風險描述(雷澤佳編制，2024年9月)第1部分：“人工智能系統(tǒng)影響評估”解讀“人工智能系統(tǒng)影響評估”條文“人工智能系統(tǒng)影響評估”標準條文解讀8.4人工智能系統(tǒng)影響評估組織應根據(jù)6.1.4按照策劃的時間間隔或在提出重大變更時執(zhí)行人工智能系統(tǒng)影響評估。人工智能系統(tǒng)影響評估定義：由開發(fā)、提供或使用人工智能產(chǎn)品或服務的組織識別、評估和解決對個人(或個人群體)和社會的影響的正式的、文件化的過程；目的與意義：識別影響：通過系統(tǒng)的方法識別出人工智能系統(tǒng)可能帶來的所有潛在影響，包括但不限于對個人隱私、安全、道德、就業(yè)、經(jīng)濟以及社會結構等方面的影響；評估風險與機會：在識別影響的基礎上，進一步評估這些影響可能帶來的風險與機會。通過量化分析，確定哪些影響是負面的、需要被緩解或消除的，哪些是積極的、可以被利用或增強的；制定解決方案：針對識別出的負面影響，制定并實施有效的解決方案，以確保人工智能系統(tǒng)的應用符合道德、法律和社會期望。同時，最大化地利用積極影響，推動個人與社會的共同發(fā)展。評估范圍與內容。個人影響：評估人工智能系統(tǒng)對個人隱私權、數(shù)據(jù)安全、心理健康、就業(yè)機會等方面可能產(chǎn)生的影響。例如，某些智能推薦系統(tǒng)可能侵犯用戶隱私，自動化決策可能加劇社會不平等；社會影響：分析人工智能系統(tǒng)對經(jīng)濟結構、勞動市場、社會公平、政策制定等方面的影響。例如，自動化技術的應用可能導致某些傳統(tǒng)行業(yè)的萎縮和大量失業(yè)，同時也可能催生新的職業(yè)機會和經(jīng)濟增長點。定期進行人工智能系統(tǒng)影響評估；確定人工智能系統(tǒng)影響評估評估周期的依據(jù)；系統(tǒng)特性：系統(tǒng)的復雜性、規(guī)模、集成度以及所處理的數(shù)據(jù)類型等因素會影響評估的難度和所需時間。系統(tǒng)的復雜性：人工智能系統(tǒng)的復雜性是指其內部結構的繁復程度，包括算法、模型、模塊之間的交互等。系統(tǒng)越復雜，評估其影響所需的時間和努力就越多，因此可能需要更長的時間間隔來進行充分的評估；系統(tǒng)的規(guī)模：規(guī)模指的是系統(tǒng)所涵蓋的功能范圍、處理的數(shù)據(jù)量以及涉及的用戶數(shù)量等。大規(guī)模的系統(tǒng)通常涉及更多的變量和潛在的風險點，因此需要更頻繁地進行影響評估，以確保系統(tǒng)的穩(wěn)定性和安全性；系統(tǒng)的集成度：集成度是指系統(tǒng)與其他系統(tǒng)或組件的關聯(lián)程度。高度集成的系統(tǒng)可能受到其他系統(tǒng)變化的影響，因此需要更密切地監(jiān)控和評估其影響，以便及時發(fā)現(xiàn)并解決問題；所處理的數(shù)據(jù)類型：數(shù)據(jù)類型對評估的難度和時間也有顯著影響。例如，處理敏感數(shù)據(jù)（如個人隱私信息）的系統(tǒng)需要更高的安全標準和更嚴格的評估流程，這可能會增加評估所需的時間和資源。風險等級：根據(jù)系統(tǒng)的風險等級來確定評估周期。高風險系統(tǒng)（如涉及敏感數(shù)據(jù)或關鍵決策的系統(tǒng)）需要更短的評估周期，以便及時發(fā)現(xiàn)并解決問題；變更頻率：如果系統(tǒng)經(jīng)常經(jīng)歷功能更新、算法調整或數(shù)據(jù)源變化，那么評估周期應相應縮短，以確保每次變更后系統(tǒng)的影響都能得到及時評估；法規(guī)與合規(guī)要求：考慮相關法規(guī)、行業(yè)標準或內部政策對人工智能系統(tǒng)評估周期的具體要求，確保組織的評估計劃符合外部和內部規(guī)定。資源與能力：評估周期的設置還需考慮組織自身的資源（如人力、財力、技術等）和能力（如技術水平、經(jīng)驗等），確保評估活動的可行性和可持續(xù)性。組織對人工智能系統(tǒng)影響評估時間間隔；年度評估：對于一些相對成熟、穩(wěn)定且風險較低的人工智能系統(tǒng)，許多組織選擇每年進行一次全面的影響評估。這種頻率有助于組織定期審視系統(tǒng)的運行狀態(tài)，確保其持續(xù)符合既定目標和要求；季度或半年度評估：對于風險較高、復雜性較強或變更頻繁的系統(tǒng)，組織可能會選擇更短的評估周期，如每季度或每半年進行一次評估。這樣可以更及時地發(fā)現(xiàn)問題，快速響應變化，確保系統(tǒng)的穩(wěn)定性和安全性；按需評估：許多組織還會在提出重大變更時立即進行影響評估。這種即時評估機制有助于組織在變更實施前充分了解其潛在影響，從而做出更加明智的決策；連續(xù)監(jiān)控與定期評估相結合：一些先進的組織可能會采用連續(xù)監(jiān)控技術來實時跟蹤系統(tǒng)的運行狀態(tài)和性能指標，并結合定期的深入評估來全面審視系統(tǒng)的影響。這種方式既能夠確保及時發(fā)現(xiàn)和解決問題，又能夠提供深入的分析和洞察。人工智能系統(tǒng)重大變更時進行影響評估。在人工智能系統(tǒng)的生命周期中，可能會發(fā)生以下重大變更情況，這些情況通常需要進行系統(tǒng)影響評估，以確保系統(tǒng)的穩(wěn)定性和合規(guī)性：算法或模型更新：當人工智能系統(tǒng)采用的算法或模型發(fā)生更新時，特別是引入新的算法或模型架構時，需要重新評估其對系統(tǒng)性能、準確性和可能引入的新風險的影響；數(shù)據(jù)集變更：數(shù)據(jù)集是人工智能模型訓練和預測的基礎。如果用于訓練或預測的數(shù)據(jù)集發(fā)生變更，包括數(shù)據(jù)來源、數(shù)據(jù)分布、數(shù)據(jù)規(guī)模等，都可能對模型的表現(xiàn)產(chǎn)生顯著影響，因此需要進行系統(tǒng)影響評估；系統(tǒng)架構調整：當人工智能系統(tǒng)的架構發(fā)生重大調整，如增加新的模塊、組件或服務，或者對現(xiàn)有架構進行重構時，需要評估這些變更對系統(tǒng)整體性能、可靠性和安全性的影響；集成環(huán)境變化：人工智能系統(tǒng)通常與其他系統(tǒng)或平臺進行集成。如果集成環(huán)境發(fā)生變化，如更換新的集成接口、升級集成平臺或調整集成策略，都需要評估這些變化對系統(tǒng)穩(wěn)定性和兼容性的影響；合規(guī)性要求變更：隨著法律法規(guī)和行業(yè)標準的不斷更新，人工智能系統(tǒng)可能需要滿足新的合規(guī)性要求。當這些要求發(fā)生變更時，需要評估系統(tǒng)是否符合新的合規(guī)標準，并調整系統(tǒng)以滿足新要求；性能或安全需求變更：如果業(yè)務方對人工智能系統(tǒng)的性能或安全需求提出新的要求，如提高預測準確率、縮短響應時間或增強數(shù)據(jù)保護措施等，都需要對系統(tǒng)進行重新評估和調整；部署環(huán)境變更：當人工智能系統(tǒng)的部署環(huán)境發(fā)生變化時，如遷移到新的服務器、云平臺或邊緣設備時，需要評估這些變化對系統(tǒng)性能和穩(wěn)定性的影響，并進行必要的優(yōu)化和調整。人工智能系統(tǒng)影響評估實施步驟與方法：明確人工智能系統(tǒng)影響評估目標與范圍確定評估過程：組織應首先明確一個系統(tǒng)化的評估過程，該過程旨在全面評估人工智能系統(tǒng)可能對個人和社會造成的潛在后果。界定評估范圍：評估應涵蓋人工智能系統(tǒng)的部署、預期使用以及可預見的濫用情況，考慮系統(tǒng)對個人隱私、數(shù)據(jù)安全、就業(yè)、社會結構、道德道德等方面的潛在影響。人工智能系統(tǒng)影響評估具體技術與社會環(huán)境技術分析：深入了解人工智能系統(tǒng)的技術特性，包括算法、數(shù)據(jù)處理方式、系統(tǒng)架構等，評估技術的成熟度、穩(wěn)定性和安全性；社會環(huán)境考察：分析人工智能系統(tǒng)所處的社會環(huán)境（包括法律法規(guī)、文化環(huán)境、社會習俗等），考慮不同利益群體的需求和期望，以及潛在的社會沖突和風險；管轄范圍確認：明確適用的法律法規(guī)和監(jiān)管要求，確保評估的合法性和合規(guī)性，考慮不同司法管轄區(qū)的差異，確保評估的全面性和準確性。執(zhí)行人工智能系統(tǒng)影響評估；數(shù)據(jù)收集與分析：通過問卷調查、訪談、專家咨詢等方式收集相關數(shù)據(jù)和信息，對數(shù)據(jù)進行深入分析，識別潛在的影響和風險點；風險評估：對識別出的影響進行量化分析，確定其嚴重性和可能性。評估結果應形成成文信息，包括評估報告、風險清單等。制定人工智能系統(tǒng)風險應對措施與溝通結果制定應對措施：針對識別出的風險和影響，制定具體的應對措施和解決方案，確保措施的有效性和可行性，并明確責任人和實施時間表。溝通評估結果：將評估結果和應對措施提供給組織內部的相關部門和人員。在適當情況下，將評估結果和相關信息提供給外部相關方，如監(jiān)管機構、用戶、合作伙伴等。持續(xù)監(jiān)控與更新：對人工智能系統(tǒng)的運行進行持續(xù)監(jiān)控，及時發(fā)現(xiàn)并處理潛在問題，定期更新評估結果和應對措施，確保評估的時效性和準確性。組織應保留所有人工智能系統(tǒng)影響評估結果的成文信息。組織應保留所有人工智能系統(tǒng)影響評估結果的成文信息。這些成文信息通常包括但不限于以下幾個方面的內容：評估報告；詳細記錄評估的過程、方法、發(fā)現(xiàn)的主要問題、潛在的影響及其嚴重性評估等；包含對人工智能系統(tǒng)可能帶來的正面和負面影響進行全面分析的結果。風險評估清單；列出評估過程中識別的所有潛在風險點，包括風險類型、可能的影響范圍、嚴重性等；對每個風險點進行詳細描述，包括其產(chǎn)生的原因、可能導致的后果以及可能涉及的相關方等。應對措施與行動計劃；針對評估中發(fā)現(xiàn)的風險和影響，制定的具體應對措施和行動計劃；包括實施這些措施的責任人、時間表、所需的資源以及預期的成果等。決策支持材料；評估過程中收集的相關數(shù)據(jù)、分析結果、專家意見等，作為決策制定的支持材料；這些材料有助于組織了解人工智能系統(tǒng)的潛在影響，并作出更加明智的決策。溝通記錄；與內部相關部門和人員就評估結果進行溝通和討論的記錄；與外部相關方（如監(jiān)管機構、用戶、合作伙伴等）就評估結果進行溝通和披露的相關文件。更新與修訂記錄；如果評估結果需要更新或修訂，保留這些更新和修訂的記錄非常重要；這些記錄應詳細說明更新的原因、過程、新的評估結果以及由此產(chǎn)生的新的應對措施等。合規(guī)性聲明。評估過程中確保符合相關法律法規(guī)和標準的聲明或證明文件；這些文件有助于證明組織在人工智能系統(tǒng)的開發(fā)、部署和使用過程中遵守了相關的法律法規(guī)和道德準則。第2部分：“人工智能系統(tǒng)影響評估”流程控制表一級流程二級流程流程節(jié)點控制要點所期望的輸出評估準備明確評估目標與范圍確定評估的目的和重要性界定評估的范圍和邊界評估目標與范圍文檔成立評估小組組建跨部門評估團隊明確團隊成員職責與分工評估團隊名單及職責分配文檔收集背景信息人工智能系統(tǒng)概況現(xiàn)有風險與合規(guī)性狀況相關方需求背景信息匯總報告評估設計確定評估方法與工具選擇合適的評估方法論確定使用的評估工具與指標評估方案與方法論文檔制定評估計劃設定評估的時間表明確資源分配與預算確定評估的關鍵節(jié)點評估計劃文檔執(zhí)行評估數(shù)據(jù)收集與分析采集人工智能系統(tǒng)相關數(shù)據(jù)分析數(shù)據(jù)以識別潛在影響與風險數(shù)據(jù)分析報告與潛在影響識別清單評估影響與風險評估對業(yè)務、用戶、環(huán)境等方面的影響識別具體的風險點及嚴重性影響與風險評估報告相關方參與邀請相關方參與討論收集并整合反饋意見相關方意見匯總與處理記錄報告編制與審核編制評估報告匯總評估發(fā)現(xiàn)與結論提出應對措施與建議人工智能系統(tǒng)影響評估報告初稿審核與修訂報告組織內部審核根據(jù)反饋進行修訂完善最終的人工智能系統(tǒng)影響評估報告結果溝通與決策支持結果溝通與披露向內部相關部門通報評估結果向外部相關方披露相關信息溝通與披露記錄制定決策支持材料匯總關鍵發(fā)現(xiàn)與風險點提供決策支持建議與理由決策支持材料文檔應對措施制定與實施制定應對措施計劃針對識別的影響與風險制定具體應對措施分配責任與資源應對措施計劃文檔實施應對措施執(zhí)行應對措施計劃監(jiān)控應對措施的有效性應對措施實施記錄與效果評估報告結果保留與持續(xù)改進保留評估結果成文信息將評估報告及相關材料存檔確保信息的可追溯性與合規(guī)性評估結果成文信息存檔記錄持續(xù)改進計劃制定分析評估過程中的不足與改進點制定持續(xù)改進計劃與目標持續(xù)改進計劃文檔定期復審與更新評估按照計劃時間間隔復審評估在重大變更時重新評估定期復審報告與更新后的評估結果文檔第3部分：“人工智能系統(tǒng)影響評估”過程風險清單一級流程二級流程風險描述（風險源、過程運行可能發(fā)生什么并產(chǎn)生什么后果及其對實現(xiàn)業(yè)務流程目標產(chǎn)生的影響）評估準備明確評估目標與范圍風險源:目標不明確或范圍界定不清可能情況:未充分理解評估需求，導致評估目標模糊或評估范圍過寬/過窄后果:評估結果無法有效支持管理決策，資源浪費對實現(xiàn)人工智能系統(tǒng)目標的影響:延誤項目進展，增加額外成本，降低人工智能系統(tǒng)效用成立評估小組風險源:評估小組成員專業(yè)能力不足或經(jīng)驗欠缺可能情況:成員缺乏特定領域知識，無法準確判斷人工智能系統(tǒng)影響后果:評估結果不準確，誤導決策對實現(xiàn)人工智能系統(tǒng)目標的影響:人工智能系統(tǒng)設計與實施偏離實際需求，性能不達標收集背景信息風險源:信息收集不全或不準確可能情況:遺漏關鍵信息或數(shù)據(jù)，導致評估依據(jù)不足后果:評估偏差，無法全面反映人工智能系統(tǒng)影響對實現(xiàn)人工智能系統(tǒng)目標的影響:人工智能系統(tǒng)在實際應用中遇到未預見的問題，影響系統(tǒng)穩(wěn)定性和性能評估設計確定評估方法與工具風險源:評估方法與工具選擇不當可能情況:方法不適用或工具性能不足，無法有效評估人工智能系統(tǒng)影響后果:評估結果失真，影響決策有效性對實現(xiàn)人工智能系統(tǒng)目標的影響:人工智能系統(tǒng)優(yōu)化方向錯誤，資源投入不當制定評估計劃風險源:計劃不周全或執(zhí)行不力可能情況:時間安排不合理，資源分配不均后果:評估進度延誤，質量不達標對實現(xiàn)人工智能系統(tǒng)目標的影響:項目周期延長，成本增加，人工智能系統(tǒng)部署推遲執(zhí)行評估數(shù)據(jù)收集與分析風險源:數(shù)據(jù)質量不高或分析不當可能情況:數(shù)據(jù)采集不準確或分析方法有誤后果:評估結果偏差，誤導決策對實現(xiàn)人工智能系統(tǒng)目標的影響:人工智能系統(tǒng)性能優(yōu)化方向錯誤，影響用戶體驗和系統(tǒng)效益評估影響與風險風險源:評估標準不統(tǒng)一或主觀性強可能情況:評估過程中存在偏見或誤判后果:評估結果不客觀，影響決策科學性對實現(xiàn)人工智能系統(tǒng)目標的影響:人工智能系統(tǒng)優(yōu)化策略失誤，無法滿足用戶需求相關方參與風險源:相關方參與度不足或意見沖突可能情況:相關方對評估過程不了解或不認同后果:評估結果缺乏全面性，相關方利益未得到充分考慮對實現(xiàn)人工智能系統(tǒng)目標的影響:人工智能系統(tǒng)在實際應用中遭遇抵觸，影響推廣和接受度報告編制與審核編制評估報告風險源:報告編寫不規(guī)范或信息遺漏可能情況:報告結構不清晰，關鍵信息缺失后果:報告可讀性差，決策依據(jù)不充分對實現(xiàn)人工智能系統(tǒng)目標的影響:決策層無法準確理解評估結果，導致決策失誤審核與修訂報告風險源:審核不嚴格