人工智能風(fēng)險(xiǎn)治理報(bào)告（2024年）-構(gòu)建面向產(chǎn)業(yè)的人工智能安全治理實(shí)踐方案

人工智能風(fēng)險(xiǎn)治理報(bào)告——構(gòu)建面向產(chǎn)業(yè)的人工智能安全治理實(shí)踐方案(2024年)中國(guó)信息通信研究院人工智能研究所2024年12月?人工智能技術(shù)以其前所未有的發(fā)展態(tài)勢(shì)引領(lǐng)新一輪科技革命和識(shí)別-風(fēng)險(xiǎn)評(píng)估-風(fēng)險(xiǎn)應(yīng)對(duì)”的人工智能風(fēng) 1 1 3 4 6 6 9 12 12 14 17 18 19 19 21 23 25 27 29 29 30 30 31 5 7 9 201一、概述（一）人工智能風(fēng)險(xiǎn)挑戰(zhàn)引發(fā)全球關(guān)注倍，并呈現(xiàn)持續(xù)增長(zhǎng)態(tài)勢(shì)1。與此同時(shí)，人工智能風(fēng)險(xiǎn)1https://aiindex.stanf2/view/journals/006/2024/03/threat/reportdeta2外，政府驅(qū)動(dòng)的人工智能風(fēng)險(xiǎn)治理逐漸完備。根據(jù)加拿大咨詢公司法規(guī)已達(dá)317份4；產(chǎn)業(yè)驅(qū)動(dòng)的人工智能標(biāo)準(zhǔn)化行改革推進(jìn)中國(guó)式現(xiàn)代化的決定》中提出建立“人工智能安全監(jiān)管制4https://www.fairly.ai/blog/map-5秦銘浩徐慧芳.全球人工智能標(biāo)準(zhǔn)化進(jìn)展及我國(guó)發(fā)展建議[J].世界科技研究與發(fā)展,203（二）人工智能風(fēng)險(xiǎn)治理模式亟需創(chuàng)新4主體多個(gè)維度復(fù)雜互動(dòng)，產(chǎn)業(yè)鏈的延展使得治理結(jié)構(gòu)變得更加復(fù)雜，統(tǒng)，或?qū)⒃黾舆@些軟件錯(cuò)誤和失控風(fēng)險(xiǎn)6。人工（三）推動(dòng)面向產(chǎn)業(yè)界的人工智能風(fēng)險(xiǎn)治理落地框架迫在眉睫6/articles/early-thoughts-on-regulating-generative人工智能風(fēng)險(xiǎn)治理報(bào)告(2024年)5應(yīng)用所帶來(lái)的風(fēng)險(xiǎn)，呈現(xiàn)出日益復(fù)雜且多維交織的特點(diǎn)。這些風(fēng)險(xiǎn)不僅涉及技術(shù)層面的固有問(wèn)題，還涵蓋了應(yīng)用層面的衍生性挑戰(zhàn)。在多元共治的推進(jìn)下，盡管各國(guó)政府在國(guó)際和國(guó)內(nèi)層面推出的治理框架或法律規(guī)范已取得一定進(jìn)展，但面對(duì)人工智能技術(shù)飛速演進(jìn)和前瞻性風(fēng)險(xiǎn)，仍然存在諸多治理空白與亟待解決的問(wèn)題。企業(yè)作為人工智能風(fēng)險(xiǎn)治理的核心主體，處于治理的前沿，掌握著實(shí)施有效治理所需的關(guān)鍵資源，迫切需要一套切實(shí)可行的治理方案，以識(shí)別、評(píng)估并有效應(yīng)對(duì)日益復(fù)雜的風(fēng)險(xiǎn)。治理基礎(chǔ)：風(fēng)險(xiǎn)現(xiàn)狀與認(rèn)知治理基礎(chǔ)：風(fēng)險(xiǎn)現(xiàn)狀與認(rèn)知內(nèi)生安全衍生安全前瞻性系統(tǒng)性治理手段：實(shí)踐方案風(fēng)險(xiǎn)治理能力建設(shè)國(guó)家與經(jīng)濟(jì)體政府風(fēng)險(xiǎn)識(shí)別風(fēng)險(xiǎn)評(píng)估風(fēng)險(xiǎn)現(xiàn)狀：風(fēng)險(xiǎn)認(rèn)知：全球性治理主體：多元共治國(guó)際平臺(tái)與倡議風(fēng)險(xiǎn)應(yīng)對(duì)產(chǎn)業(yè)組織聯(lián)動(dòng)性在此背景下，推動(dòng)面向產(chǎn)業(yè)界的人工智能風(fēng)險(xiǎn)治理框架落地已成為迫在眉睫的任務(wù)。本報(bào)告以安全性、透明性、公平性和可問(wèn)責(zé)性等核心原則為指導(dǎo)，提出了一個(gè)集穿透式風(fēng)險(xiǎn)管控與全鏈條流程管理的落地框架，旨在提升企業(yè)人工智能風(fēng)險(xiǎn)治理能力，涵蓋從風(fēng)險(xiǎn)識(shí)別、評(píng)估到有效應(yīng)對(duì)的全過(guò)程。框架強(qiáng)調(diào)通過(guò)制度完善、文化建設(shè)和外部協(xié)作來(lái)提升系統(tǒng)治理能力，同時(shí)聚焦技術(shù)、應(yīng)用和管理三個(gè)層面的風(fēng)6環(huán)節(jié)，為不同優(yōu)先級(jí)的風(fēng)險(xiǎn)制定定制化方案，并動(dòng)態(tài)優(yōu)化治理措施。二、人工智能風(fēng)險(xiǎn)認(rèn)知漸進(jìn)深化（一）人工智能內(nèi)生安全與衍生安全復(fù)雜交織業(yè)替代、不可持續(xù)發(fā)展等衍生安全問(wèn)題（見(jiàn)圖2）。安全問(wèn)題的客觀7國(guó)家社會(huì)經(jīng)濟(jì)軍事網(wǎng)絡(luò)空間隱私生命財(cái)產(chǎn)倫理數(shù)據(jù)框架模型芯片算力網(wǎng)絡(luò)應(yīng)用服務(wù)●技術(shù)系統(tǒng)可控內(nèi)生安全衍生安全來(lái)源：中國(guó)信息通信研究院圖2人工智能內(nèi)生安全和衍生安全人工智能內(nèi)生安全主要集中在技術(shù)層面，包括數(shù)據(jù)、算法模型、軟件和基礎(chǔ)設(shè)施等。數(shù)據(jù)方面，一是有毒的訓(xùn)練數(shù)據(jù)和不規(guī)范的標(biāo)注可能導(dǎo)致有害輸出。訓(xùn)練數(shù)據(jù)來(lái)自現(xiàn)實(shí)世界，難免包含有害內(nèi)容或被“投毒”,數(shù)據(jù)標(biāo)注不規(guī)范也會(huì)降低數(shù)據(jù)質(zhì)量，誘發(fā)輸出錯(cuò)誤、生成違法內(nèi)容以及引發(fā)偏見(jiàn)等風(fēng)險(xiǎn)。二是未經(jīng)清洗處理的訓(xùn)練數(shù)據(jù)可能導(dǎo)致敏感信息泄露。訓(xùn)練數(shù)據(jù)可能包含未授權(quán)的敏感信息，如果數(shù)據(jù)未經(jīng)適當(dāng)保護(hù)、過(guò)濾或匿名化處理，可能導(dǎo)致敏感信息泄露。2024年11月，X公司在其隱私政策中聲明用戶信息會(huì)向第三方合作者共享，可能會(huì)被第三方用于訓(xùn)練包括生成式人工智能在內(nèi)的人工智能模型7。算法模型方面，一是算法存在不可解釋性問(wèn)題。深度學(xué)習(xí)算法通常包88/news/show/189/人工智能風(fēng)險(xiǎn)治理報(bào)告(2024年)9廣泛應(yīng)用可能引發(fā)部分就業(yè)崗位的消失和新興就業(yè)形態(tài)的出現(xiàn)，帶來(lái)勞動(dòng)力結(jié)構(gòu)調(diào)整。2024年1月，國(guó)際貨幣基金組織(IMF)發(fā)布報(bào)告表明，在新興市場(chǎng)和低收入國(guó)家，受人工智能影響的就業(yè)崗位比例預(yù)計(jì)分別為40%和26%10。全人類(lèi)層面，一是引發(fā)能源擔(dān)憂，人工智能的性能突破需要強(qiáng)大的算力支持，但模型訓(xùn)練過(guò)程中卻導(dǎo)致了巨大的資源浪費(fèi)和碳排放水平的上升。二是核武器、生化武器等兩用物項(xiàng)的能力可能被濫用，威脅全人類(lèi)安全。2024年9月，OpenAI承認(rèn)，其最新模型ol“顯著”增加了人工智能的能力濫用風(fēng)險(xiǎn)，在涉及化學(xué)、生物、放射性和核武器等問(wèn)題時(shí)存在最高等級(jí)風(fēng)險(xiǎn)1。(二)人工智能風(fēng)險(xiǎn)認(rèn)知邁向多維度深化融合人工智能風(fēng)險(xiǎn)的認(rèn)知向全球性融合、前瞻性考量、系統(tǒng)性分析、交叉性聯(lián)動(dòng)不斷深化。這一轉(zhuǎn)變彰顯了人類(lèi)在全面理解和應(yīng)對(duì)人工智能風(fēng)險(xiǎn)的不懈追求，也反映了人工智能風(fēng)險(xiǎn)的最新動(dòng)向(見(jiàn)圖3)。前瞻性前沿人工智能帶來(lái)失控風(fēng)險(xiǎn)、未來(lái)風(fēng)險(xiǎn)人工智能開(kāi)發(fā)、部署、應(yīng)用帶來(lái)跨境性、全球性風(fēng)險(xiǎn)系統(tǒng)性聯(lián)動(dòng)性人工智能治理趨向應(yīng)對(duì)全面化、體系化風(fēng)險(xiǎn)人工智能復(fù)雜結(jié)構(gòu)帶來(lái)交叉性、聯(lián)動(dòng)性風(fēng)險(xiǎn)播虛假信息，這些問(wèn)題只能通過(guò)全球協(xié)調(diào)加以解13.uk/government/publications/ai-safety-summit-2023-the-bletchleydeclaration-by-countries-attending-the-ai-safety-summit-1-2-novem14.uk/government/publications/seoul-declaration-for-safe-inno15.uk/government/publications/ai-safety-summit-2023-the-bletchleydeclaration-by-countries-attending-the-ai-safety-summit-1-2-novem明、數(shù)據(jù)歧視、責(zé)任界定困難和隱私泄露等問(wèn)題16/content/dam/oecd/en/publications/reports/2024/11intelligence-risks-benefits-and-policy-imperatives_8a491447/3f4e3dfb-en.pdf17/nistpubs/ai/NIST.AI.6018/kxyj/qwfb/bps/202107/P0202107093198664139 位圖靈獎(jiǎng)得主和25位權(quán)威專(zhuān)家在《科學(xué)》（Science）期刊聯(lián)合發(fā)表甚至產(chǎn)生新的風(fēng)險(xiǎn)20。三、人工智能風(fēng)險(xiǎn)治理全球?qū)嵺`（一）國(guó)際層面：加速推進(jìn)風(fēng)險(xiǎn)治理行動(dòng)及合作19.uk/media/666ac68ca8b7ec4fae43d0f9/international_sci_safety_of_advanced_ai_executive_summary_chinese.pdf20/rain/a/20240526A01TUD00?web_channel=wap&openApp=false&suid=&media_id=沿人工智能帶來(lái)的風(fēng)險(xiǎn)和采取行動(dòng)的必要性達(dá)成共識(shí)，并提出建立韓國(guó)及英國(guó)共同主辦人工智能首爾峰會(huì)，16家頂尖人工智能科技公供指引。2024年4月，聯(lián)合國(guó)下屬標(biāo)準(zhǔn)組織世界數(shù)字技術(shù)研究院聯(lián)盟（ITU）在“AIforGood”全球峰會(huì)期間組織了“檢測(cè)深度（二）主要經(jīng)濟(jì)體：迭代完善風(fēng)險(xiǎn)劃分與管控舉措包括成立人工智能辦公室，負(fù)責(zé)監(jiān)管人工智能發(fā)展，同時(shí)防范風(fēng)險(xiǎn)；先治理醫(yī)療保健、消費(fèi)市場(chǎng)等領(lǐng)域。2024年品監(jiān)管機(jī)構(gòu)（MHRA）規(guī)劃報(bào)告重點(diǎn)之一是（三）產(chǎn)業(yè)組織：協(xié)同推進(jìn)治理框架和安全工具院依托中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟發(fā)起大模型安全基準(zhǔn)測(cè)試AISafetyBenchmark。在內(nèi)容安全維度，整理了50（四）企業(yè)主體：深化技管融合的風(fēng)險(xiǎn)應(yīng)對(duì)方案技術(shù)解決方案逐步向一體化和定制化發(fā)展，涵蓋了從研發(fā)方評(píng)估人工智能系統(tǒng)的安全狀況并實(shí)施防護(hù)。微軟的AzureAIContentSafety提供了自動(dòng)識(shí)別和干預(yù)有害四、面向產(chǎn)業(yè)的人工智能風(fēng)險(xiǎn)治理實(shí)踐方案（一）打造全鏈條人工智能風(fēng)險(xiǎn)治理框架統(tǒng)化解決方案(見(jiàn)圖4)。AlAl風(fēng)險(xiǎn)管理風(fēng)險(xiǎn)治理能力文化建設(shè)及治理價(jià)值組織架構(gòu)及管理制度第三方源資源及風(fēng)險(xiǎn)管理風(fēng)險(xiǎn)評(píng)估手段算法模型軟件架構(gòu)基礎(chǔ)設(shè)施Al技術(shù)提供方Al流程管理風(fēng)險(xiǎn)識(shí)別自身技術(shù)層衍生應(yīng)用層第三方源部署環(huán)境穿透式風(fēng)險(xiǎn)追蹤全鏈條風(fēng)險(xiǎn)管理Al應(yīng)用提供方應(yīng)對(duì)規(guī)劃設(shè)計(jì)測(cè)試驗(yàn)證數(shù)據(jù)處理模型建設(shè)部署上線策略風(fēng)險(xiǎn)應(yīng)對(duì)一是注重頂層設(shè)計(jì)，通過(guò)制度完善、文化建設(shè)和外部協(xié)作來(lái)提升系統(tǒng)治理能力。從組建專(zhuān)業(yè)團(tuán)隊(duì)與管理制度以確保治理工作的專(zhuān)業(yè)性和高效性，到塑造治理共識(shí)和組織文化氛圍以促進(jìn)治理工作的全員參與；從建立貫穿人工智能全生命周期的內(nèi)部機(jī)制，到強(qiáng)化對(duì)第三方資源的治理以獲取外部協(xié)同，通過(guò)構(gòu)建系統(tǒng)治理能力為風(fēng)險(xiǎn)識(shí)別、評(píng)估和應(yīng)對(duì)提供全面支撐。二是聚焦風(fēng)險(xiǎn)管理，覆蓋風(fēng)險(xiǎn)識(shí)別、評(píng)估與應(yīng)對(duì)的動(dòng)態(tài)閉環(huán)管理體系。首先，風(fēng)險(xiǎn)識(shí)別環(huán)節(jié)從自身技術(shù)層與衍生應(yīng)用層兩個(gè)維度展開(kāi)。自身技術(shù)層風(fēng)險(xiǎn)識(shí)別重點(diǎn)關(guān)注數(shù)據(jù)質(zhì)量與合法性、算法模型的魯棒性、軟件供應(yīng)鏈安全及基礎(chǔ)設(shè)施的穩(wěn)定性；衍生應(yīng)用層則重點(diǎn)審查人工智能引發(fā)的價(jià)值侵害、安全影響和潛在的社會(huì)問(wèn)題。其次，風(fēng)險(xiǎn)評(píng)估環(huán)節(jié)通過(guò)風(fēng)險(xiǎn)影響評(píng)估與優(yōu)先級(jí)劃分，將風(fēng)險(xiǎn)嚴(yán)重性、發(fā)生可能性及其影響程度轉(zhuǎn)化為具體可執(zhí)行的決策依據(jù)。采用定量分析工具如概率風(fēng)（二）提升人工智能風(fēng)險(xiǎn)系統(tǒng)治理能力（三）設(shè)立人工智能風(fēng)險(xiǎn)精準(zhǔn)識(shí)別機(jī)制人工智能系統(tǒng)生命周期中可能造成負(fù)面影響的不確定性和潛在威脅（四）健全人工智能風(fēng)險(xiǎn)科學(xué)評(píng)估體系風(fēng)險(xiǎn)評(píng)估是對(duì)人工智能風(fēng)險(xiǎn)進(jìn)行挖掘分析和精準(zhǔn)把脈的重要階可接受度評(píng)價(jià)標(biāo)準(zhǔn)。風(fēng)險(xiǎn)可接受度不僅與現(xiàn)對(duì)于嚴(yán)重程度遠(yuǎn)高于可接受度的風(fēng)險(xiǎn)種類(lèi)，可以劃定為“高優(yōu)先級(jí)”對(duì)于“低優(yōu)先級(jí)”風(fēng)險(xiǎn)，組織可以選擇接受風(fēng)險(xiǎn)，并持續(xù)進(jìn)行監(jiān)控。五、展望建議