《人工智能風(fēng)險(xiǎn)治理報(bào)告（2024年）》

人工智能風(fēng)險(xiǎn)治理報(bào)告——構(gòu)建面向產(chǎn)業(yè)的人工智能安全治理實(shí)踐方案（2024）人工智能技術(shù)以其前所未有的發(fā)展態(tài)勢引領(lǐng)新一輪科技革命和202310-風(fēng)險(xiǎn)識別--一、概述 1（一）人工智能風(fēng)險(xiǎn)挑戰(zhàn)引發(fā)全球關(guān)注 1（二）人工智能風(fēng)險(xiǎn)治理模式亟需創(chuàng)新 3（三）推動(dòng)面向產(chǎn)業(yè)界的人工智能風(fēng)險(xiǎn)治理落地框架迫在眉睫 4二、人工智能風(fēng)險(xiǎn)認(rèn)知漸進(jìn)深化 6（一）人工智能內(nèi)生安全與衍生安全復(fù)雜交織 6（二）人工智能風(fēng)險(xiǎn)認(rèn)知邁向多維度深化融合 9三、人工智能風(fēng)險(xiǎn)治理全球?qū)嵺` 12（一）國際層面：加速推進(jìn)風(fēng)險(xiǎn)治理行動(dòng)及合作 12（二）主要經(jīng)濟(jì)體：迭代完善風(fēng)險(xiǎn)劃分與管控舉措 14（三）產(chǎn)業(yè)組織：協(xié)同推進(jìn)治理框架和安全工具 17（四）企業(yè)主體：深化技管融合的風(fēng)險(xiǎn)應(yīng)對方案 18四、面向產(chǎn)業(yè)的人工智能風(fēng)險(xiǎn)治理實(shí)踐方案 19（一）打造全鏈條人工智能風(fēng)險(xiǎn)治理框架 19（二）提升人工智能風(fēng)險(xiǎn)系統(tǒng)治理能力 21（三）設(shè)立人工智能風(fēng)險(xiǎn)精準(zhǔn)識別機(jī)制 23（四）健全人工智能風(fēng)險(xiǎn)科學(xué)評估體系 25（五）完善人工智能風(fēng)險(xiǎn)敏捷應(yīng)對方案 27五、展望建議 29（一）促進(jìn)全球合作，共筑人工智能治理新格局 29（二）優(yōu)化治理體系，夯實(shí)人工智能安全發(fā)展基礎(chǔ) 30（三）發(fā)揮橋梁作用，推進(jìn)行業(yè)治理標(biāo)準(zhǔn)化與動(dòng)態(tài)化 30（四）強(qiáng)化內(nèi)外協(xié)同，助力技術(shù)創(chuàng)新與責(zé)任共擔(dān) 31圖1人工智能風(fēng)險(xiǎn)治理框架 5圖2人工智能內(nèi)生安全和衍生安全 7圖3人工智能風(fēng)險(xiǎn)認(rèn)知趨勢 9圖4面向產(chǎn)業(yè)的人工智能風(fēng)險(xiǎn)治理實(shí)踐方案 20一、概述（一）人工智能風(fēng)險(xiǎn)挑戰(zhàn)引發(fā)全球關(guān)注20242023123201320140%2；202420233000%1000%3。建（OECD）1/report/2https:///view/journals/006/2024/001/006.2024.issue-001-en.xml3https://www./threat/reportdetail?report_id=311外，政府驅(qū)動(dòng)的人工智能風(fēng)險(xiǎn)治理逐漸完備。根據(jù)加拿大咨詢公司FairlyAI202412317435557改革推進(jìn)中國式現(xiàn)代化的決定》中提出建立“人工智能安全監(jiān)管制（2024版4https://www.fairly.ai/blog/map-of-global-ai-regulations5秦銘浩徐慧芳.全球人工智能標(biāo)準(zhǔn)化進(jìn)展及我國發(fā)展建議[J].世界科技研究與發(fā)展,2024,46(4):524-535.（二）人工智能風(fēng)險(xiǎn)治理模式亟需創(chuàng)新2022ChatGPT20236（三）推動(dòng)面向產(chǎn)業(yè)界的人工智能風(fēng)險(xiǎn)治理落地框架迫在眉睫（6https://www./articles/early-thoughts-on-regulating-generative-ai-like-chatgpt/來源：中國信息通信研究院圖1人工智能風(fēng)險(xiǎn)治理框架在風(fēng)二、人工智能風(fēng)險(xiǎn)認(rèn)知漸進(jìn)深化（一）人工智能內(nèi)生安全與衍生安全復(fù)雜交織（來源：中國信息通信研究院圖2人工智能內(nèi)生安全和衍生安全20247。7/en/privacy202410ChuanhuChatGPTLunaryLocalAIDJL8。二是2024229二是8/news/show/18647/9https://www./article/detail/1116440.html20241發(fā)布報(bào)告40%26%1020249月，OpenAI最新模型11。（二）人工智能風(fēng)險(xiǎn)認(rèn)知邁向多維度深化融合人工智能風(fēng)險(xiǎn)的認(rèn)知向全球性融合、前瞻性考量、系統(tǒng)性分析、交叉性聯(lián)動(dòng)不斷深化。這一轉(zhuǎn)變彰顯了人類在全面理解和應(yīng)對人工智能風(fēng)險(xiǎn)的不懈追求，也反映了人工智能風(fēng)險(xiǎn)的最新動(dòng)向（見圖3）。來源：中國信息通信研究院圖3人工智能風(fēng)險(xiǎn)認(rèn)知趨勢10/20240115/66fe98299e054bf08a5d77aa9ed8325c/c.html11https:///ai/5339/a1273371.html12。13。提14。1512https:///web/ziliao_674904/1179_674909/202310/t20231020_11164831.shtml13https://.uk/government/publications/ai-safety-summit-2023-the-bletchley-declaration/the-bletchley-declaration-by-countries-attending-the-ai-safety-summit-1-2-november-202314https://.uk/government/publications/seoul-declaration-for-safe-innovative-and-inclusive-ai-ai-seoul-summit-202415https://.uk/government/publications/ai-safety-summit-2023-the-bletchley-declaration/the-bletchley-declaration-by-countries-attending-the-ai-safety-summit-1-2-november-202318381016。（17。（BSI）系統(tǒng)18。16https:///content/dam/oecd/en/publications/reports/2024/11/assessing-potential-future-artificial-intelligence-risks-benefits-and-policy-imperatives_8a491447/3f4e3dfb-en.pdf17/nistpubs/ai/NIST.AI.600-1.pdf18/kxyj/qwfb/bps/202107/P020210709319866413974.pdf7519325（Science）20。三、人工智能風(fēng)險(xiǎn)治理全球?qū)嵺`（一）國際層面：加速推進(jìn)風(fēng)險(xiǎn)治理行動(dòng)及合作19.uk/media/666ac68ca8b7ec4fae43d0f9/international_scientific_report_on_the_safety_of_advanced_ai_executive_summary_chinese.pdf20/rain/a/20240526A01TUD00?web_channel=wap&openApp=false&suid=&media_id=2024520242023月，沿人工智能帶來的風(fēng)險(xiǎn)和采取行動(dòng)的必要性達(dá)成共識，并提出建立20245家頂尖人工智能科技公國際標(biāo)準(zhǔn)化組織（ISO）積極推動(dòng)風(fēng)險(xiǎn)治理的技術(shù)標(biāo)準(zhǔn)和管理規(guī)范建設(shè)。2023年12月，ISO發(fā)布《信息技術(shù)人工智能管理體系》（ISO/IEC供指引。2024年4月，聯(lián)合國下屬標(biāo)準(zhǔn)組織世界數(shù)字技術(shù)研究院20245AIforGoodISOAdobe（二）主要經(jīng)濟(jì)體：迭代完善風(fēng)險(xiǎn)劃分與管控舉措8（）工智能系統(tǒng)所帶來的具體風(fēng)險(xiǎn)。202310風(fēng)2024OpenAI蘋果在內(nèi)的16家企業(yè)自愿簽署承諾書。2024（MHRA）202444（FCA）（DRCF）合作建立人工智能和數(shù)字中心試點(diǎn)，推進(jìn)監(jiān)管沙盒計(jì)劃，幫助企業(yè)測試人工智能風(fēng)險(xiǎn)的創(chuàng)新解決方案。2024年5月，英國人工智能安全研究所（AISI）推出開源的“Inspect”人工智能模型安全評估平臺，幫助產(chǎn)業(yè)界評估人工智能模型性能及風(fēng)險(xiǎn)。2024520245AI基金會在原有Irify2024250025257（三）產(chǎn)業(yè)組織：協(xié)同推進(jìn)治理框架和安全工具20231（NIST）發(fā)布120238AINow12（AIIA）2024120244制定基準(zhǔn)測試43,00020245。20244院依托中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟發(fā)起大模型安全基準(zhǔn)測試SafetyBenchmark。在內(nèi)容安全維度，整理了50余萬條測試輸入，涵蓋了底線紅線、信息泄露和社會倫理等風(fēng)險(xiǎn)類型。在攻擊測試維度，收集了80余種提示詞攻擊模板和數(shù)十種圖文多模態(tài)攻擊手段。（四）企業(yè)主體：深化技管融合的風(fēng)險(xiǎn)應(yīng)對方案20242IBM、和X202024598%Dall-E3PyRIT研發(fā)方評估人工智能系統(tǒng)的安全狀況并實(shí)施防護(hù)。微軟的AzureAIContentSafety度于2024年8SenseTrust人工智能四、面向產(chǎn)業(yè)的人工智能風(fēng)險(xiǎn)治理實(shí)踐方案（一）打造全鏈條人工智能風(fēng)險(xiǎn)治理框架（2021年2121中國信息通信研究院、京東探索研究院：《可信人工智能白皮書》，2021年7月。統(tǒng)化解決方案（見圖4）。來源：中國信息通信研究院圖4面向產(chǎn)業(yè)的人工智能風(fēng)險(xiǎn)治理實(shí)踐框架風(fēng)險(xiǎn)理能力。（二）提升人工智能風(fēng)險(xiǎn)系統(tǒng)治理能力能風(fēng)險(xiǎn)治理整合到企業(yè)現(xiàn)有的綜合風(fēng)險(xiǎn)治理框架中，組織可以更加全外部關(guān)系其次其次（三）設(shè)立人工智能風(fēng)險(xiǎn)精準(zhǔn)識別機(jī)制人工智能系統(tǒng)生命周期中可能造成負(fù)面影響的不確定性和潛在威脅（四）健全人工智能風(fēng)險(xiǎn)科學(xué)評估體系風(fēng)險(xiǎn)評估是對人工智能風(fēng)險(xiǎn)進(jìn)行挖掘分析和精準(zhǔn)把脈的重要階段。風(fēng)險(xiǎn)（五）完善人工智能風(fēng)險(xiǎn)敏捷應(yīng)對方案