2024年人工智能應(yīng)用系統(tǒng)內(nèi)生安全藍(lán)皮書

人工智能應(yīng)用系統(tǒng)內(nèi)生安全藍(lán)皮書(2024年)中國(guó)通信學(xué)會(huì)內(nèi)生安全專業(yè)技術(shù)委員會(huì)2024年11月本藍(lán)皮書版權(quán)屬于中國(guó)通信學(xué)會(huì)內(nèi)生安全專業(yè)技術(shù)委員會(huì)，并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其它方式使用本報(bào)告文字或者觀點(diǎn)的，應(yīng)注明“來源：中國(guó)通信學(xué)會(huì)內(nèi)生安全專業(yè)技術(shù)委員會(huì)”。違反上述聲明者，本學(xué)會(huì)將追究其相關(guān)專家組和撰寫組名單顧問(以姓氏筆劃為序):專家組：組長(zhǎng)：張帆國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心教授副組長(zhǎng)：黃瑞陽(yáng)國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心教授成員(以姓氏筆劃為序):姓名單位職務(wù)國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心助理研究員國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心副教授復(fù)旦大學(xué)大數(shù)據(jù)研究院副院長(zhǎng)尚玉婷復(fù)旦大學(xué)大數(shù)據(jù)研究院助理研究員李建鵬鄭州大學(xué)助理研究員李邵梅國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心副研究員高彥釗國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心副研究員撰寫組(按單位排名)單位姓名紫金山實(shí)驗(yàn)室杜加玉紫金山實(shí)驗(yàn)室紫金山實(shí)驗(yàn)室苗馨遠(yuǎn)紫金山實(shí)驗(yàn)室紫金山實(shí)驗(yàn)室董方旭紫金山實(shí)驗(yàn)室楊秋龍紫金山實(shí)驗(yàn)室紫金山實(shí)驗(yàn)室紫金山實(shí)驗(yàn)室紫金山實(shí)驗(yàn)室周志中紫金山實(shí)驗(yàn)室彭自文紫金山實(shí)驗(yàn)室喬明起當(dāng)前人工智能(ArtificialIntelligence,AI)技術(shù)已經(jīng)成為推動(dòng)社會(huì)經(jīng)濟(jì)發(fā)展的新引擎。然而，正如哲學(xué)家黑格爾指出的那樣：“一切事物都是自在性矛盾的”,任何偉大的技術(shù)發(fā)明在創(chuàng)造前所未有的機(jī)遇同時(shí)，也一定會(huì)衍生或伴隨前所未有的挑戰(zhàn)。當(dāng)前數(shù)據(jù)投毒、算法偏見、模型脆弱性和運(yùn)行環(huán)境內(nèi)生安全威脅等問題頻發(fā)，不僅影響到AI應(yīng)用系統(tǒng)可用性和可靠性，還能會(huì)觸及隱私保護(hù)、網(wǎng)絡(luò)安全、社會(huì)穩(wěn)定乃至生命財(cái)產(chǎn)安全和認(rèn)知混亂等可信性方面的技術(shù)倫理議題。因此，構(gòu)建一套能夠抵御內(nèi)外部威脅、確保AI健康可持續(xù)發(fā)展的安全體系，已成為智能時(shí)代不可或缺的剛需，必須防范重蹈“先發(fā)展后治理”陳舊理念和模式覆轍。哥德爾不完備性定理指出，即使是最精密細(xì)致設(shè)計(jì)的系統(tǒng)，也無法證明不存在不確定性風(fēng)險(xiǎn)。AI應(yīng)用系統(tǒng)涵蓋了從數(shù)據(jù)治理、模型訓(xùn)練、部署應(yīng)用，到運(yùn)行監(jiān)控及反饋優(yōu)化等環(huán)節(jié)，每一個(gè)步驟都有可能引入不確定性因素，主要表現(xiàn)在：一是AI應(yīng)用系統(tǒng)運(yùn)行環(huán)境仍基于馮·諾依曼的存儲(chǔ)程序控制機(jī)理或架構(gòu)，不可避免的存在“娘胎里帶來基因缺陷”;另一方面，AI模型算法特有的“黑盒”效應(yīng)具有不可解釋性、不可判識(shí)性和不可推論性，使其成為懸在任何實(shí)用化的AI應(yīng)用系統(tǒng)之上的“達(dá)摩克利斯之劍”。現(xiàn)有AI安全防御方法主要依賴“亡羊補(bǔ)牢，吃一塹長(zhǎng)一智”的經(jīng)典反脆弱性方法論，這種策略盡管能夠在一定程度上防范已知威脅，但任何附加的安全算法或措施都無法杜絕自身存在的內(nèi)生安全問題，因而不可能從根本上規(guī)避“反復(fù)踩坑的惡性循環(huán)”,有效抵御廣義不確定性安全威脅。網(wǎng)絡(luò)內(nèi)生安全理論的提出，建立在必要多樣性定律和相對(duì)正確公理基礎(chǔ)上的“構(gòu)造決定安全”方法，能夠在AI應(yīng)用系統(tǒng)設(shè)計(jì)之初就導(dǎo)入動(dòng)態(tài)異構(gòu)冗余構(gòu)造和策略裁決功能，使其具備應(yīng)對(duì)任何差模性質(zhì)不確定性影響的能力，可為提升AI應(yīng)用系統(tǒng)網(wǎng)絡(luò)韌性或廣義功能安全提供全新的視角和解決方案。智能時(shí)代的技術(shù)實(shí)踐需要正確的安全理論指引，在設(shè)計(jì)人工智能應(yīng)用系統(tǒng)時(shí)，不僅要充分考慮網(wǎng)絡(luò)韌性架構(gòu)設(shè)計(jì)，還要為適應(yīng)可能出現(xiàn)的各種未知安全風(fēng)險(xiǎn)留有足夠余地。這既是人工智能技術(shù)發(fā)展的必然要求，也是防范社會(huì)性系統(tǒng)風(fēng)險(xiǎn)的必要條件。本藍(lán)皮書是一篇集科學(xué)性、實(shí)用性和前瞻性于一體的報(bào)告，不僅能為學(xué)術(shù)界提供寶貴的理論參考，而且可為產(chǎn)業(yè)界提供一套行之有效的安全指南，更可以為一體化的設(shè)計(jì)“高可信、高可靠、高可用”AI應(yīng)用系統(tǒng)提供一個(gè)具有普適性意義的解決方案，幫助我們?cè)谖磥淼陌l(fā)展道路上走得更加穩(wěn)健，讓“泛在化AI技術(shù)向善”。6郭2024年1月，人工智能(AI)新銳巨頭OpenAI公司的創(chuàng)始人兼首席執(zhí)行官薩姆·奧爾特曼(SamAltman)在世界達(dá)沃斯論壇上強(qiáng)調(diào)，AI帶來的技術(shù)革命不同于以往，而是成為了一種“不可思議的提高生產(chǎn)力的工具"。作為最具顛覆性的新興技術(shù)之一，AI發(fā)展在為人類社會(huì)經(jīng)濟(jì)發(fā)展帶來巨大紅利的同時(shí)，也引發(fā)了一系列現(xiàn)實(shí)危害和風(fēng)險(xiǎn)挑戰(zhàn)，主要包括數(shù)據(jù)竊取、隱私泄露、算法歧視、對(duì)抗攻擊等安全威脅，它們不僅威脅著個(gè)人信息的保護(hù)，影響著企業(yè)的信譽(yù)和運(yùn)營(yíng)安全，甚至對(duì)國(guó)家安全也構(gòu)成了潛在的隱患，這些問題需要我們持續(xù)關(guān)注并采取有效措施加以防范和解決。當(dāng)前人工智能應(yīng)用系統(tǒng)的安全威脅是由于其網(wǎng)絡(luò)軟硬件運(yùn)行環(huán)境和模型算法兩個(gè)層面存在的“內(nèi)生安全問題”所致。然而現(xiàn)有的人工智能應(yīng)用系統(tǒng)安全防護(hù)模式和技術(shù)路線很少能跳出“盡力而為、問題歸零”的慣性思維，傳統(tǒng)的對(duì)抗訓(xùn)練、挖漏洞、打補(bǔ)丁、封門補(bǔ)漏、查毒殺馬乃至設(shè)蜜罐、布沙箱等層層疊疊的附加式防護(hù)措施，在引入安全功能的同時(shí)不可避免地會(huì)引入新的內(nèi)生安全隱患。為創(chuàng)造性破解人工智能應(yīng)用系統(tǒng)內(nèi)生安全難題，本藍(lán)皮書提出一種內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)構(gòu)建的方法，利用內(nèi)生安全機(jī)理中內(nèi)在的構(gòu)造效應(yīng)，從體制機(jī)理上管控或規(guī)避人工智能應(yīng)用系統(tǒng)面臨的破壞及威脅，進(jìn)而有效提升人工智能應(yīng)用系統(tǒng)在面對(duì)復(fù)雜多變安全環(huán)境時(shí)的應(yīng)對(duì)能力，為AI技術(shù)的健康發(fā)展提供堅(jiān)實(shí)保障。 1(一)人工智能應(yīng)用系統(tǒng) 1 2 4 9(三)研究意義 (二)全球人工智能安全研究現(xiàn)狀 (三)全球人工智能安全產(chǎn)業(yè)發(fā)展現(xiàn)狀 21 23(一)產(chǎn)業(yè)發(fā)展?fàn)顩r述評(píng) 23 25 30 32 6.法律和倫理風(fēng)險(xiǎn) 327.系統(tǒng)同質(zhì)化和系統(tǒng)性風(fēng)險(xiǎn) 331.人工智能算法理論存在局限性 32.人工智能算法結(jié)果難以解釋 4.法律、倫理和信任度等社會(huì)因素共同作用 351.人工智能應(yīng)用系統(tǒng)的內(nèi)生安全共性問題 352.人工智能應(yīng)用系統(tǒng)的內(nèi)生安全個(gè)性問題 3.人工智能應(yīng)用系統(tǒng)的廣義功能安全問題 38 401.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)安全的機(jī)理 2.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)安全的特殊性 3.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)安全的可行性 454.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)構(gòu)建 47五、工程難題 (三)提升AI價(jià)值觀對(duì)齊能力 (四)建強(qiáng)Al應(yīng)用系統(tǒng)安全環(huán)境 六、政策建議 5(一)加快推進(jìn)人工智能應(yīng)用系統(tǒng)立法保護(hù) 5(二)加快人工智能應(yīng)用系統(tǒng)供給側(cè)安全治理 (四)加快建立國(guó)家級(jí)人工智能安全試驗(yàn)場(chǎng) (五)加快轉(zhuǎn)變教育范式培養(yǎng)負(fù)責(zé)任的開發(fā)者 (七)建立健全人工智能應(yīng)用系統(tǒng)風(fēng)險(xiǎn)等級(jí)劃分制度 參考文獻(xiàn) 一、研究概述(一)人工智能應(yīng)用系統(tǒng)當(dāng)前，全球人工智能技術(shù)取得了突飛猛進(jìn)的發(fā)展，對(duì)經(jīng)濟(jì)社會(huì)發(fā)展和人類文明進(jìn)步的深遠(yuǎn)影響日益顯現(xiàn)，給世界帶來了前所未有的巨大機(jī)遇。特別是以O(shè)penAI公司先后發(fā)布的ChatGPT、GPT-4o、GPT-ol等為代表的大模型迅速崛起，更是將人工智能技術(shù)的發(fā)展推向了一個(gè)新的高度，預(yù)示著一個(gè)更加智能、更加全面的智能時(shí)代的到來。當(dāng)前人工智能正加速與傳統(tǒng)行業(yè)深度融合，給人機(jī)交互、客戶服務(wù)、教育輔導(dǎo)等多個(gè)領(lǐng)域帶來了重大變革，成為推動(dòng)社會(huì)經(jīng)濟(jì)轉(zhuǎn)型升級(jí)和高質(zhì)量發(fā)展的重要力量。圖1顯示了人工智能產(chǎn)業(yè)鏈框架，主要分為上游的基礎(chǔ)層、中游的技術(shù)層和下游的應(yīng)用層。其中基礎(chǔ)層是人工智能產(chǎn)業(yè)的基礎(chǔ)，主要指硬件設(shè)備和數(shù)據(jù)服務(wù)，為人工智能提供算力支持和數(shù)據(jù)基礎(chǔ)，代表性企業(yè)有英偉達(dá)、百度、地平線機(jī)器人等；技術(shù)層是人工智能產(chǎn)業(yè)的核心，主要指通用技術(shù)、算法模型和開發(fā)平臺(tái)，為人工智能產(chǎn)業(yè)提供技術(shù)支持，包含計(jì)算機(jī)視覺、自然語(yǔ)言處理、類腦算法、音頻處理技術(shù)、人機(jī)交互五類，代表性企業(yè)有OpenAI、谷歌、微軟、英偉達(dá)、百度、華為、迅飛、曠視科技、智譜華章等；下游的應(yīng)用產(chǎn)品和應(yīng)用場(chǎng)景包括所有AI技術(shù)與傳統(tǒng)應(yīng)用結(jié)合形成的產(chǎn)業(yè)種類，主要有語(yǔ)言終端、智能汽車、機(jī)器人、視覺產(chǎn)品、智慧教育、智慧醫(yī)療、智能制造等。2娛樂游戲產(chǎn)業(yè)娛樂游戲產(chǎn)業(yè)元宇宙游戲開發(fā)調(diào)用通用大語(yǔ)言模型類腦算法訓(xùn)練廠法軟件框架數(shù)據(jù)治理資產(chǎn)管理數(shù)據(jù)標(biāo)注數(shù)據(jù)平臺(tái)數(shù)據(jù)管理采集清洗數(shù)據(jù)安全監(jiān)控審計(jì)危險(xiǎn)應(yīng)急分類分級(jí)技術(shù)基礎(chǔ)算法模型制造業(yè)工業(yè)控制工業(yè)維護(hù)具身體智能音頻處理技術(shù)人機(jī)交互視覺交室音頻交互醫(yī)療業(yè)醫(yī)療影像藥物研發(fā)遠(yuǎn)程手術(shù)自然語(yǔ)言處理知識(shí)圖譜算力芯片科學(xué)研究材料科學(xué)天文探索量子模擬交通業(yè)導(dǎo)航定位智能駕駛智能物流金融業(yè)風(fēng)險(xiǎn)控制推薦系統(tǒng)人機(jī)客服計(jì)算機(jī)視覺應(yīng)用行業(yè)大語(yǔ)言模型算1.人工智能應(yīng)用發(fā)展趨勢(shì)分析在科技飛速發(fā)展的今天，人工智能這股新浪潮正以前所未有的速度沖擊著各個(gè)領(lǐng)域，改寫著人類的生活方式。從ChatGPT為代表的大語(yǔ)言單模態(tài)模型到AI文生圖等多模態(tài)生成模型，從煤礦到鐵路，從金融到教育，AI技術(shù)的影子無處不在。人工智能作為當(dāng)今世界科技革命和產(chǎn)業(yè)變革的關(guān)鍵領(lǐng)域，其產(chǎn)業(yè)應(yīng)用的發(fā)展趨勢(shì)呈現(xiàn)出多元化、深度滲透和廣泛應(yīng)用的特點(diǎn)。(1)技術(shù)創(chuàng)新持續(xù)升級(jí)隨著計(jì)算能力的不斷提高和邏輯算法的不斷優(yōu)化，人工智能技術(shù)將更加成熟。深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、語(yǔ)言大模型、多模態(tài)預(yù)訓(xùn)練大模型等核心技術(shù)的不斷進(jìn)步，提升了語(yǔ)音識(shí)別、圖像處理、自然語(yǔ)言理解等領(lǐng)域的準(zhǔn)確性和效率。當(dāng)前多模態(tài)預(yù)訓(xùn)練大模型正成為AI大模型的主流形態(tài)，堪稱當(dāng)今人工智能產(chǎn)業(yè)的“標(biāo)配”。(2)行業(yè)應(yīng)用加速擴(kuò)展3人工智能正應(yīng)用于眾多行業(yè)和領(lǐng)域，成為推動(dòng)傳統(tǒng)產(chǎn)業(yè)升級(jí)和新興產(chǎn)業(yè)成長(zhǎng)的重要力量。智能制造、智能醫(yī)療、智能交通、智慧城市等已經(jīng)成為人工智能應(yīng)用的熱點(diǎn)領(lǐng)域。特別是生成式人工智能技術(shù)的飛躍式發(fā)展，其在廣告營(yíng)銷、游戲創(chuàng)作、藝術(shù)設(shè)計(jì)等創(chuàng)造性工作場(chǎng)景與行業(yè)中，正得到更為廣泛的應(yīng)用。一方面，創(chuàng)意屬于稀缺資源，人創(chuàng)造性對(duì)激發(fā)靈感、輔助創(chuàng)作、驗(yàn)證創(chuàng)意等大有裨益，另一方面，互聯(lián)網(wǎng)大規(guī)模普及使得“一切皆可在線”,數(shù)字內(nèi)容消費(fèi)需求持續(xù)旺盛，AIGC能更低成本、更高效率地生產(chǎn)內(nèi)容，其經(jīng)濟(jì)性愈發(fā)凸顯。(3)智能化服務(wù)成為常態(tài)智能客服、智能助手等智能化服務(wù)將更加普及，成為人們?nèi)粘Ｉ詈凸ぷ髦胁豢苫蛉钡囊徊糠?。同時(shí)，基于人工智能的大數(shù)據(jù)分析能力，企業(yè)將能夠提供更加精準(zhǔn)和個(gè)性化的服務(wù)。由于ChatGPT在文本對(duì)話領(lǐng)域表現(xiàn)出的和人類行為的相似性，其被認(rèn)為是人類通往通用人工智能(ArtificialGeneralIntelligence,AGI)道路上的里程碑式產(chǎn)科學(xué)家李飛飛團(tuán)隊(duì)公布了利用大型語(yǔ)言模型 (LargeLanguageModels,LLMs)和視覺語(yǔ)言模型(Vision-LanguageModels,VLMs)驅(qū)動(dòng)的機(jī)器人項(xiàng)目VoxPoser,人類可以用自然語(yǔ)言給機(jī)器人下達(dá)指令，機(jī)器人直接能夠理解指令語(yǔ)義并做出相應(yīng)動(dòng)作，而無需額外數(shù)據(jù)和訓(xùn)練。這些技術(shù)將推動(dòng)智能化服務(wù)產(chǎn)業(yè)進(jìn)入拓寬加深期。(4)倫理安全重視程度提高隨著人工智能技術(shù)的深入應(yīng)用，深度神經(jīng)網(wǎng)絡(luò)大模型的預(yù)訓(xùn)練和大規(guī)模人機(jī)交互中的強(qiáng)化學(xué)習(xí)技術(shù)正在推動(dòng)人工智能向認(rèn)知發(fā)展導(dǎo)4無害，以及如何保障數(shù)據(jù)安全和隱私，成為當(dāng)前人工智能產(chǎn)業(yè)發(fā)展面臨的重大挑戰(zhàn)。2023年11月，包括英國(guó)、美國(guó)、歐盟、澳大利亞和中國(guó)等在內(nèi)的28個(gè)國(guó)家和地區(qū)共同簽署了《布萊切利宣言》,旨在關(guān)注未來強(qiáng)大人工智能模型可能對(duì)人類生存構(gòu)成的威脅，以及當(dāng)前人工智能增強(qiáng)有害或偏見信息的風(fēng)險(xiǎn)。這一宣言有力印證了當(dāng)前全球?qū)θ斯ぶ悄馨踩珎惱韱栴}的重視。(5)算力資源需求持續(xù)增長(zhǎng)隨著人工智能應(yīng)用的不斷普及，計(jì)算能力的需求將持續(xù)增長(zhǎng)。云計(jì)算、邊緣計(jì)算等新型計(jì)算模式將得到更廣泛應(yīng)用，以滿足人工智能大規(guī)模的算力需求。新硬件、新架構(gòu)競(jìng)相涌現(xiàn)，現(xiàn)有芯片、操作系統(tǒng)、應(yīng)用軟件等都可能被推翻重來，預(yù)計(jì)未來將實(shí)現(xiàn)“萬物皆數(shù)據(jù)”“無數(shù)不計(jì)算”“無算不智能”的愿景，屆時(shí)智能算力將無處不在，呈現(xiàn)“多元異構(gòu)、軟硬件協(xié)同、綠色集約、云邊端一體化”四大特征。(6)應(yīng)用安全問題日益突出隨著人工智能技術(shù)的廣泛應(yīng)用，相關(guān)的安全隱患和挑戰(zhàn)愈發(fā)嚴(yán)重。對(duì)抗攻擊、后門攻擊、投毒攻擊等多種安全問題揭示了人工智能技術(shù)的安全缺陷，對(duì)個(gè)人和社會(huì)具備潛在的風(fēng)險(xiǎn)和隱患。各國(guó)和組織正加緊制定監(jiān)管措施，建立倫理框架和安全標(biāo)準(zhǔn)，以確保人工智能應(yīng)用過程中的透明性和可控性。但是，因?yàn)槟壳叭斯ぶ悄芫哂胁豢山忉屝?、因此亟需一個(gè)新的解決思路和框架。2.人工智能應(yīng)用系統(tǒng)分析基于人工智能算法模型構(gòu)建的應(yīng)用系統(tǒng)體現(xiàn)在眾多行業(yè)中，包括5城市公共安全管理、金融服務(wù)、醫(yī)療保健、零售和電子商務(wù)、生產(chǎn)制造、交通物流、教學(xué)教育、娛樂旅游、食品科技、制造業(yè)、房地產(chǎn)業(yè)、零售業(yè)等等。利用人工智能系統(tǒng)可以明顯地提升工作效率、提高生產(chǎn)力、優(yōu)化工作流程并提高產(chǎn)品質(zhì)量。以下是主要行業(yè)領(lǐng)域的人工智能應(yīng)用系統(tǒng)實(shí)例。(1)城市公共安全領(lǐng)域人工智能在提高城市公共安全保障能力方面優(yōu)勢(shì)明顯，隨著人工智能發(fā)展所依賴數(shù)據(jù)的規(guī)模不斷增大、算力的不斷提高以及算法的不斷優(yōu)化與突破，應(yīng)用人工智能技術(shù)的成本將大幅降低，人工智能應(yīng)用系統(tǒng)正在城市公共安全領(lǐng)域發(fā)揮重要作用。具體包括：①視頻智能監(jiān)控分析系統(tǒng)：人工智能可以應(yīng)用于視頻監(jiān)控系統(tǒng)，通過圖像識(shí)別、目標(biāo)檢測(cè)和行為分析等技術(shù)，實(shí)時(shí)監(jiān)測(cè)和分析監(jiān)控視頻中的異常行為，如盜竊、暴力等，發(fā)出警報(bào)并提供相關(guān)信息。例如在張學(xué)友2018年的巡回演唱會(huì)上，民警便是利用演唱會(huì)的智慧安保人像識(shí)別功能，先后追蹤到80多名犯罪分子，順利將他們抓捕歸案。②社交媒體監(jiān)測(cè)系統(tǒng)：人工智能可以應(yīng)用于社交媒體監(jiān)測(cè)系統(tǒng)，通過自然語(yǔ)言處理和情感分析等技術(shù)，實(shí)時(shí)監(jiān)測(cè)和分析社交媒體上的言論和事件，發(fā)現(xiàn)惡意言論、虛假信息等潛在的公共安全風(fēng)險(xiǎn)，并及時(shí)采取相應(yīng)措施。③城市大數(shù)據(jù)分析與預(yù)警系統(tǒng)：人工智能可以應(yīng)用于城市公共安全的大數(shù)據(jù)分析與預(yù)警系統(tǒng)，通過整合和分析多種數(shù)據(jù)源，如監(jiān)控?cái)?shù)據(jù)、社交媒體數(shù)據(jù)、氣象數(shù)據(jù)等，發(fā)現(xiàn)異常模式和趨勢(shì)，提前預(yù)警潛在的安全風(fēng)險(xiǎn)，為決策者做出及時(shí)的應(yīng)對(duì)措施提供支持。(2)金融服務(wù)領(lǐng)域人工智能技術(shù)在量化交易、風(fēng)險(xiǎn)評(píng)估、信貸評(píng)分等領(lǐng)域中廣泛應(yīng)6用。主要應(yīng)用系統(tǒng)有：①金融風(fēng)險(xiǎn)評(píng)估系統(tǒng)：該系統(tǒng)利用人工智能和大數(shù)據(jù)分析技術(shù)來評(píng)估金融領(lǐng)域風(fēng)險(xiǎn)，它通過分析大量的金融數(shù)據(jù)和市場(chǎng)信息，利用人工智能算法，幫助金融機(jī)構(gòu)和投資者識(shí)別、評(píng)估和管理各種金融風(fēng)險(xiǎn)，以支持金融決策和風(fēng)險(xiǎn)管理。②欺詐檢測(cè)系統(tǒng)：通過分析大量的金融數(shù)據(jù)和交易信息，幫助金融機(jī)構(gòu)和支付服務(wù)提供商發(fā)現(xiàn)潛在的欺詐行為，準(zhǔn)確識(shí)別信用卡欺詐、網(wǎng)絡(luò)詐騙、洗錢等不同類型的欺詐模式，并及時(shí)采取措施減少欺詐風(fēng)險(xiǎn)。③智能投資系統(tǒng)：該系統(tǒng)能夠根據(jù)投資者的風(fēng)險(xiǎn)偏好、投資目標(biāo)和市場(chǎng)情況，利用人工智能技術(shù)為投資者提供個(gè)性化投資建議和服務(wù)，系統(tǒng)會(huì)根據(jù)投資者的目標(biāo)和風(fēng)險(xiǎn)偏好，選擇適合的資產(chǎn)類別、投資品種和配置比例，幫助投資者更好地理解市場(chǎng)趨勢(shì)和風(fēng)險(xiǎn)，提供更準(zhǔn)確的投資建議，同時(shí)實(shí)現(xiàn)交易的自動(dòng)化執(zhí)行。(3)醫(yī)療保健領(lǐng)域人工智能技術(shù)在影像診斷、疾病預(yù)測(cè)、智能醫(yī)療設(shè)備等領(lǐng)域中廣泛應(yīng)用。主要應(yīng)用系統(tǒng)有：①醫(yī)學(xué)影像分析系統(tǒng)：利用深度學(xué)習(xí)和計(jì)算機(jī)視覺技術(shù)，對(duì)醫(yī)學(xué)影像進(jìn)行自動(dòng)分析和診斷，如腫瘤檢測(cè)、疾病分類等。②個(gè)性化醫(yī)療推薦系統(tǒng)：根據(jù)患者的病歷數(shù)據(jù)和基因組信息，人工智能技術(shù)可以提供更精確的診斷和治療方案，并在早期發(fā)現(xiàn)疾病，可以輔助醫(yī)生進(jìn)行疾病診斷，提供更準(zhǔn)確的診斷結(jié)果和治療建議，為患者提供個(gè)性化的治療方案和藥物推薦。③醫(yī)療機(jī)器人系統(tǒng)：結(jié)合機(jī)器人和人工智能技術(shù)，用于手術(shù)輔助、康復(fù)治療和護(hù)理服務(wù)等。人工智能可以模擬醫(yī)生的思維和診斷推理，通過大量學(xué)習(xí)醫(yī)學(xué)影像，可以幫助醫(yī)生進(jìn)行病灶區(qū)域定位，給出患者可靠的診斷和治療方案，減少漏診誤診的問題；同時(shí)像骨科、泌尿外科、婦產(chǎn)科、神經(jīng)外科等多個(gè)7醫(yī)學(xué)領(lǐng)域中，手術(shù)機(jī)器人能夠極大地提高手術(shù)的精準(zhǔn)率而被廣泛使用。④智能醫(yī)療大數(shù)據(jù)分析系統(tǒng)：利用人正智能和大數(shù)據(jù)分析技術(shù)來處理和分析醫(yī)療領(lǐng)域大規(guī)模數(shù)據(jù)的系統(tǒng)，它通過對(duì)醫(yī)療數(shù)據(jù)的深度分析和挖掘，為醫(yī)療服務(wù)提供者、患者和醫(yī)療決策者提供精準(zhǔn)、高效的決策支持，如傳染病監(jiān)測(cè)與防控策略制定、藥物研發(fā)支持等。(4)零售和電子商務(wù)領(lǐng)域人工智能技術(shù)可以幫助零售商和電商平臺(tái)提供更好的產(chǎn)品和服務(wù)，提高銷售效率和用戶體驗(yàn)。以下是一些常見的人工智能應(yīng)用系統(tǒng)：①智能推薦系統(tǒng)：推薦系統(tǒng)利用機(jī)器學(xué)習(xí)和數(shù)據(jù)分析技術(shù)，通過分析用戶的購(gòu)買記錄、點(diǎn)擊行為和社交媒體數(shù)據(jù)，構(gòu)建用戶的興趣和需求模型，根據(jù)用戶的歷史行為和偏好，為他們推薦個(gè)性化的產(chǎn)品和服務(wù)，提高銷售轉(zhuǎn)化率和用戶滿意度。②機(jī)器人客服：聊天機(jī)器人利用自然語(yǔ)言處理和機(jī)器學(xué)習(xí)技術(shù)，與用戶進(jìn)行自動(dòng)化的對(duì)話交互，如在電商領(lǐng)域，機(jī)器人客服可以回答用戶的問題、提供產(chǎn)品建議、處理訂單和退款等事務(wù)性任務(wù)，提供即時(shí)的客戶服務(wù)和支持，提高用戶體驗(yàn)和客戶滿意度。③智能供應(yīng)鏈管理系統(tǒng)：利用數(shù)據(jù)分析和預(yù)測(cè)算法，優(yōu)化零售和電商平臺(tái)的供應(yīng)鏈管理，如通過分析銷售數(shù)據(jù)、庫(kù)存情況和交通運(yùn)輸信息，供應(yīng)鏈優(yōu)化系統(tǒng)可以預(yù)測(cè)需求、優(yōu)化庫(kù)存管理、提高配送效率，減少成本和提供更快的交付服務(wù)。(5)生產(chǎn)制造領(lǐng)域人工智能技術(shù)在智能裝配線、智能機(jī)器人等領(lǐng)域中廣泛應(yīng)用。主要應(yīng)用系統(tǒng)包括：①智能生產(chǎn)調(diào)度系統(tǒng)：通過實(shí)時(shí)監(jiān)測(cè)和分析生產(chǎn)數(shù)據(jù)，可以幫助發(fā)現(xiàn)生產(chǎn)流程中的瓶頸，提出改進(jìn)建議，優(yōu)化生產(chǎn)計(jì)劃和資源分配，提高生產(chǎn)效率和質(zhì)量。②預(yù)測(cè)維護(hù)系統(tǒng)：利用機(jī)器學(xué)習(xí)8和傳感器數(shù)據(jù)，預(yù)測(cè)設(shè)備故障和維護(hù)需求，從而提前進(jìn)行維護(hù)，減少停機(jī)時(shí)間和維修成本。③自動(dòng)化智能機(jī)器人系統(tǒng)：結(jié)合機(jī)器人和人工智能技術(shù)，使得生產(chǎn)制造領(lǐng)域的機(jī)器人能夠在更復(fù)雜的環(huán)境中工作，執(zhí)行更精細(xì)的任務(wù)，如組裝、包裝、搬運(yùn)等，實(shí)現(xiàn)自動(dòng)化的生產(chǎn)和裝配，提高生產(chǎn)線的靈活性和效率。(6)交通和物流領(lǐng)域人工智能技術(shù)在交通調(diào)度、智能駕駛等領(lǐng)域廣泛應(yīng)用。主要應(yīng)用系統(tǒng)包括：①智能交通管理系統(tǒng)：利用實(shí)時(shí)交通數(shù)據(jù)和優(yōu)化算法，實(shí)現(xiàn)智能信號(hào)控制和交通流量?jī)?yōu)化，減少擁堵和提高道路利用率，并能夠預(yù)測(cè)未來一段時(shí)期內(nèi)的交通模式，提前規(guī)劃交通流量。②自動(dòng)駕駛技術(shù)：以雷達(dá)、激光雷達(dá)等傳感器等基礎(chǔ)，結(jié)合計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)，實(shí)現(xiàn)自動(dòng)駕駛車輛的感知、決策和控制，使自動(dòng)駕駛汽車可以在沒有人類干預(yù)的情況下導(dǎo)航和駕駛，提高交通安全和效率。③物流智能調(diào)度系統(tǒng)：通過數(shù)據(jù)分析和路徑規(guī)劃算法，優(yōu)化貨物的運(yùn)輸路線和配送計(jì)劃，減少運(yùn)輸成本和時(shí)間，自動(dòng)計(jì)算貨物的裝載方案，最大化利用運(yùn)輸工具的裝載空間。(7)農(nóng)業(yè)領(lǐng)域人工智能技術(shù)可以幫助農(nóng)業(yè)領(lǐng)域人員提高農(nóng)業(yè)生產(chǎn)效率、優(yōu)化資源利用、增強(qiáng)農(nóng)作物和養(yǎng)殖的管理能力。常見的系統(tǒng)包括：①農(nóng)作物生長(zhǎng)監(jiān)測(cè)系統(tǒng)：該系統(tǒng)可以通過使用傳感器、遙感技術(shù)和圖像識(shí)別等技術(shù)，實(shí)時(shí)監(jiān)測(cè)農(nóng)作物的生長(zhǎng)環(huán)境以及生長(zhǎng)狀況，包括土壤濕度、氣候條件、病蟲害情況等，并提供農(nóng)作物的生長(zhǎng)預(yù)測(cè)、灌溉建議和病蟲害預(yù)警，幫助農(nóng)民優(yōu)化農(nóng)作物的管理和決策。②智能化農(nóng)機(jī)系統(tǒng)：該系統(tǒng)利用人工智能和自動(dòng)化技術(shù)，將傳感器、攝像頭和機(jī)器學(xué)習(xí)算法9應(yīng)用于農(nóng)業(yè)機(jī)械設(shè)備，實(shí)現(xiàn)農(nóng)機(jī)的智能化操作，如根據(jù)土壤條件和作物需求自動(dòng)調(diào)整播種深度和密度，提高播種效率和作物產(chǎn)量。③農(nóng)產(chǎn)品質(zhì)量檢測(cè)系統(tǒng)：該系統(tǒng)利用計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)算法，通過農(nóng)產(chǎn)品的圖像分析，自動(dòng)識(shí)別并評(píng)估產(chǎn)品的大小、顏色、瑕疵等特征，對(duì)農(nóng)產(chǎn)品進(jìn)行質(zhì)量檢測(cè)和分級(jí)，提供質(zhì)量評(píng)估和分級(jí)結(jié)果，幫助農(nóng)產(chǎn)品的銷售和市場(chǎng)定位。④農(nóng)業(yè)供應(yīng)鏈管理系統(tǒng)：這種系統(tǒng)利用物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能技術(shù)，實(shí)現(xiàn)農(nóng)產(chǎn)品的溯源和供應(yīng)鏈管理，實(shí)現(xiàn)對(duì)農(nóng)產(chǎn)品的生產(chǎn)、加工、運(yùn)輸和銷售信息的全鏈條追溯，提供農(nóng)產(chǎn)品的溯源證明、質(zhì)量追蹤和供應(yīng)鏈可視化，增加消費(fèi)者對(duì)農(nóng)產(chǎn)品的信任和透多樣化智能化系統(tǒng)證明了人工智能技術(shù)龐大的應(yīng)用價(jià)值。隨著人工智能應(yīng)用系統(tǒng)的增多，應(yīng)用安全問題自然日益突出，已經(jīng)成為了個(gè)體、企業(yè)與社會(huì)面臨的重大挑戰(zhàn)。面對(duì)快速發(fā)展的技術(shù)與應(yīng)用，如何增強(qiáng)應(yīng)用系統(tǒng)的安全性成為了系統(tǒng)推廣急需解決的問題。人工智能模型的不可解釋性等問題使得安全挑戰(zhàn)難以應(yīng)對(duì)，同時(shí)，其依賴的軟件系統(tǒng)和硬件環(huán)境等也潛藏著未知的安全風(fēng)險(xiǎn)。這些問題的疊加讓安全形勢(shì)更加嚴(yán)峻，亟需一套新的防御思路與安全框架，以構(gòu)建安全可靠的應(yīng)用系統(tǒng)。(二)內(nèi)生安全德國(guó)哲學(xué)大師黑格爾曾經(jīng)說過，“一切事物都是自在的矛盾，矛盾是一切運(yùn)動(dòng)和生命力的根源”。從一般哲學(xué)意義上講：自然界或人工系統(tǒng)中不存在邏輯或數(shù)學(xué)意義上的“當(dāng)且僅當(dāng)?shù)墓δ堋?即不存在沒有矛盾或缺陷的事物；從經(jīng)典可靠性和傳統(tǒng)功能彈性理論出發(fā)：沒有一個(gè)人工設(shè)計(jì)與制造的物理或邏輯實(shí)體是“完美無缺”的，例外的情況是普遍存在的。這些泛在性矛盾問題，在各種干擾或擾動(dòng)因素作用下，其全生命周期內(nèi)總存在不同前提、不同程度的功能失效問題，即存在內(nèi)生安全問題。從具體層面認(rèn)知，在網(wǎng)絡(luò)安全方面我們可以觀察到以下現(xiàn)象：為保證網(wǎng)絡(luò)信息的機(jī)密性、可用性和完整性，數(shù)字加密認(rèn)證成為不可或缺的技術(shù)措施，但這也會(huì)給數(shù)字資源的便利性帶來使用上的諸多不便；智能手機(jī)能為人們?cè)陔娫捦ㄐ?、互?lián)網(wǎng)瀏覽、電子游戲、電子支付等方面帶來極大便利，但是同時(shí)也會(huì)帶來敏感信息泄漏或私有財(cái)產(chǎn)方面的損失。內(nèi)生安全問題的本質(zhì)是事物內(nèi)在矛盾性的表達(dá)，那么網(wǎng)絡(luò)空間內(nèi)生安全問題的本質(zhì)就是信息物理系統(tǒng)內(nèi)在安全性矛盾的表達(dá)，具有存在的必然性、呈現(xiàn)的偶然性和認(rèn)知的時(shí)空局限性等基本特征，其突出表現(xiàn)是構(gòu)成信息物理系統(tǒng)基礎(chǔ)的軟硬件元素存在內(nèi)生安全“基因缺陷”。內(nèi)生安全問題是結(jié)構(gòu)性矛盾決定了不可能割裂處理更不可能從根本上被消除，只能不斷演進(jìn)轉(zhuǎn)化或和解。內(nèi)生安全是指一種網(wǎng)絡(luò)空間安全的理念和技術(shù)體系，它強(qiáng)調(diào)在網(wǎng)絡(luò)信息系統(tǒng)設(shè)計(jì)之初就要考慮到安全性，而不是事后附加的安全措施。內(nèi)生安全的核心思想是通過在網(wǎng)絡(luò)信息系統(tǒng)的設(shè)計(jì)階段融入特定的安全機(jī)制，使得網(wǎng)絡(luò)信息系統(tǒng)在面對(duì)威脅時(shí)具有自我保護(hù)的能力。即內(nèi)生安全強(qiáng)調(diào)的是安全與系統(tǒng)的內(nèi)在聯(lián)系，即安全功能成為系統(tǒng)架構(gòu)的一部分，而非外部附加的功能。隨著AI技術(shù)的發(fā)展及其在各個(gè)領(lǐng)域的廣泛應(yīng)用，人工智能系統(tǒng)的安全性變得越來越重要，在諸如金融服務(wù)、醫(yī)療保健、交通控制等領(lǐng)域，人工智能應(yīng)用系統(tǒng)的故障可能會(huì)導(dǎo)致災(zāi)難性的后果。這就要求在人工智能應(yīng)用系統(tǒng)的設(shè)計(jì)階段就將安全性作為基本屬性來考慮，而不是在系統(tǒng)開發(fā)完成后作為附加的部分。因此在人工智能應(yīng)用系統(tǒng)中，設(shè)計(jì)內(nèi)置的安全機(jī)制使系統(tǒng)具備自我保護(hù)、自我修復(fù)和自我優(yōu)化的能力，構(gòu)建具有內(nèi)生安全屬性、魯棒可靠的人工智能應(yīng)用系統(tǒng)，對(duì)確保人工智能系統(tǒng)的完整性和業(yè)務(wù)連續(xù)性，防止惡意軟件或未經(jīng)授權(quán)的更改，乃至維護(hù)社會(huì)秩序和公共安全都至關(guān)重要。(三)研究意義當(dāng)前以深度學(xué)習(xí)為內(nèi)核的人工智能技術(shù)具有數(shù)據(jù)依賴性、“算法黑箱”和“不可解釋”等特征，使得其在數(shù)據(jù)安全、隱私泄露、算法偏見、對(duì)抗攻擊等方面遭受安全威脅。而當(dāng)人工智能與經(jīng)濟(jì)社會(huì)深度融合應(yīng)用的過程中，極易引發(fā)國(guó)家、社會(huì)、企業(yè)和個(gè)人等層面的安全風(fēng)險(xiǎn)。如2023年11月，韓國(guó)一名40多歲的男子在一個(gè)農(nóng)業(yè)配送中心檢查機(jī)器人的傳感器設(shè)備時(shí)，被機(jī)器人誤判為一箱甜椒，慘遭"殺害"。同時(shí)，人工智能應(yīng)用系統(tǒng)的底層軟硬件環(huán)境也面臨著安全威脅，如2024年3月，攻擊者利用開源人工智能框架Ray中的安全漏洞，發(fā)動(dòng)一場(chǎng)名為“ShadowRay”的攻擊活動(dòng)，成功入侵了數(shù)千家公司的網(wǎng)絡(luò)服務(wù)器，盜取大量敏感數(shù)據(jù)。2024年3月，美國(guó)網(wǎng)絡(luò)安全公司RecordedFuture發(fā)布了題為《敵對(duì)智能：人工智能的紅隊(duì)惡意用例》的報(bào)告，前瞻警告了2024年人工智能的各種可能惡意用例，測(cè)試了當(dāng)前人工智能模型在與經(jīng)濟(jì)社會(huì)深度融合應(yīng)用的過程中，引發(fā)的各種新型安全風(fēng)險(xiǎn)。2023年10月18日，習(xí)近平主席在第三屆“一帶一路”國(guó)際合作高峰論壇開幕式主旨演講中提出《全球人工智能治理倡議》,強(qiáng)調(diào)要推動(dòng)建立風(fēng)險(xiǎn)等級(jí)測(cè)試評(píng)估體系，實(shí)施敏捷治理，分類分級(jí)管理，快速有效響應(yīng)，各研發(fā)主體不斷提高人工智能可解釋性和可預(yù)測(cè)性，提升數(shù)據(jù)真實(shí)性和準(zhǔn)確性，確保人工智能始終處于人類控制之下，打造可審核、可監(jiān)督、可追溯、可信賴的人工智能技術(shù)。2023年11月，英國(guó)發(fā)起并舉辦首屆“全球人工智能安全峰會(huì)”,英國(guó)、美國(guó)、中國(guó)等28國(guó)及歐盟共同簽署首個(gè)全球性人工智能聲明《布萊切利宣言》,強(qiáng)調(diào)采用安全、以人為本、可信和負(fù)責(zé)任的方式設(shè)計(jì)、開發(fā)、部署和使用人工智能。這些都表明了全球?qū)θ斯ぶ悄芡{關(guān)切形成了共識(shí)。因此本藍(lán)皮書圍繞人工智能應(yīng)用系統(tǒng)安全防護(hù)方法，深入分析了人工智能應(yīng)用系統(tǒng)面臨的安全風(fēng)險(xiǎn)，剖析了引發(fā)人工智能應(yīng)用系統(tǒng)安全風(fēng)險(xiǎn)的成因，并總結(jié)凝練形成了人工智能應(yīng)用系統(tǒng)的內(nèi)生安全問題，設(shè)計(jì)了人工智能應(yīng)用系統(tǒng)內(nèi)生安全理論框架，提出了人工智能應(yīng)用系統(tǒng)內(nèi)生安全構(gòu)造方法，最后提出發(fā)展內(nèi)生安全人工智能應(yīng)用系統(tǒng)的相關(guān)政策建議。二、全球發(fā)展態(tài)勢(shì)人工智能是計(jì)算機(jī)科學(xué)的一個(gè)領(lǐng)域，旨在開發(fā)能夠執(zhí)行智能任務(wù)的系統(tǒng)，以實(shí)現(xiàn)對(duì)人類學(xué)習(xí)、推理、感知、理解、決策等能力的模擬。隨著深度學(xué)習(xí)技術(shù)的進(jìn)步，特別是2016年AlphaGo戰(zhàn)勝人類圍棋選手，使得人工智能的應(yīng)用潛力被廣泛挖掘，從自動(dòng)駕駛汽車和智能助手到智能家居系統(tǒng)、醫(yī)療診斷和金融預(yù)測(cè)等，人工智能逐漸成為推動(dòng)全球社會(huì)發(fā)展和經(jīng)濟(jì)增長(zhǎng)的關(guān)鍵驅(qū)動(dòng)力。然而AI在復(fù)雜任務(wù)上的可靠性、穩(wěn)定性、可解釋性方面仍面臨著較大的挑戰(zhàn)，因此AI的安全應(yīng)用引起了各國(guó)政府的高度重視。(一)全球人工智能發(fā)展現(xiàn)狀2024年4月，斯坦福大學(xué)以人為本人工智能研究所發(fā)布《2024年人工智能指數(shù)報(bào)告》,指出人工智能已在圖像分類、視覺推理、英語(yǔ)理解等[1]多項(xiàng)基準(zhǔn)測(cè)試中超越人類，并且呈現(xiàn)技術(shù)迭代周期短、技術(shù)升級(jí)進(jìn)步快等新特點(diǎn)。如2024年9月，谷歌DeepMind公司公布了一項(xiàng)名為AlphaChip的強(qiáng)化學(xué)習(xí)方法，可在數(shù)小時(shí)內(nèi)生成超越人類設(shè)計(jì)或同類芯片布局，而無需耗費(fèi)數(shù)周或數(shù)月的人力。2022年11月，以ChatGPT121為代表的大語(yǔ)言模型(LargeLanguageModel,LLM)技術(shù)誕生，引爆了新一輪人工智能的全球研究熱潮，各國(guó)紛紛投入或加強(qiáng)對(duì)AI大模型的研究，其中美國(guó)、中國(guó)成果頻出，引領(lǐng)產(chǎn)業(yè)發(fā)展。以O(shè)penAI的GPT-4和谷歌的Gemini為代表的先進(jìn)大語(yǔ)言模型迅速成為全球科技競(jìng)爭(zhēng)的焦點(diǎn)、未來產(chǎn)業(yè)的關(guān)鍵賽道以及經(jīng)濟(jì)發(fā)展的新動(dòng)力，展現(xiàn)出巨大的發(fā)展?jié)摿蛷V闊的應(yīng)用前景。隨著單一任務(wù)領(lǐng)域的成熟，通過將多領(lǐng)域任務(wù)結(jié)合構(gòu)建多模態(tài)模了文本與圖像的理解與交互[13,使得人工智能在更廣泛的場(chǎng)景下具備了前所未有的處理能力，多模態(tài)大模型技術(shù)的進(jìn)步，以LLM為基礎(chǔ)衍生出了多種更復(fù)雜的AI應(yīng)用模式，如PaLM-El4]是谷歌推出的一種新的人工智能模型，它將機(jī)器人技術(shù)與語(yǔ)言建模技術(shù)相結(jié)合，可解決機(jī)器人操縱等實(shí)際任務(wù)以及問題解答和圖像字幕等知識(shí)任務(wù)。當(dāng)前強(qiáng)大的人工智能系統(tǒng)在復(fù)雜領(lǐng)域中的應(yīng)用正在不斷擴(kuò)大。如大型語(yǔ)言模型(LLMs)在多步驟推理5161和跨任務(wù)泛化7等方面表現(xiàn)出顯著的改進(jìn)，并隨著訓(xùn)練時(shí)間、數(shù)據(jù)量和參數(shù)規(guī)模的增加而得到進(jìn)大模型技術(shù)是人工智能技術(shù)的新里程碑，正以其強(qiáng)大的自然語(yǔ)言處理能力和廣泛的應(yīng)用前景，引領(lǐng)著人工智能行業(yè)的新浪潮。《2024年人工智能指數(shù)報(bào)告》顯示，2023年投資生成式人工智能的資金大幅激增，比2022年增長(zhǎng)了近八倍，達(dá)到252億美元，有力地證明了生成式人工智能在當(dāng)前技術(shù)發(fā)展中的重要地位和廣泛的市場(chǎng)認(rèn)可。隨著大模型在社會(huì)生產(chǎn)和生活各個(gè)領(lǐng)域的“主體化”,大模型的相關(guān)惡意應(yīng)用也逐漸增多。網(wǎng)絡(luò)攻擊者正在加速將大語(yǔ)言模型和生成人工智能武器化，WormGPT、PoisonGPT、EvilGPT等一批惡意人工智能大模型，已經(jīng)成為暗網(wǎng)最暢銷黑客工具，給AIGC的安全治理帶來了新的嚴(yán)峻挑戰(zhàn)。而像Degravel!]等提出的將AI應(yīng)用于核聚變控制，以及基于AIGC的網(wǎng)絡(luò)操控[121、深度偽造欺騙[13]等不斷涌現(xiàn)，使得人工智能應(yīng)用系統(tǒng)安全性被國(guó)際深度關(guān)切。(二)全球人工智能安全研究現(xiàn)狀隨著人工智能系統(tǒng)在各個(gè)領(lǐng)域的應(yīng)用越來越廣泛，其決策的可靠性與安全性將對(duì)人們的生活產(chǎn)生深遠(yuǎn)影響。因此人工智能安全，已經(jīng)成為一個(gè)必須優(yōu)先考慮的研究領(lǐng)域[14],它涉及許多復(fù)雜的挑戰(zhàn)，包括系統(tǒng)如何應(yīng)對(duì)潛在威脅、如何保障數(shù)據(jù)隱私、如何確保算法的透明性和公平性等。這些問題的解決不僅對(duì)技術(shù)的發(fā)展至關(guān)重要，也關(guān)系到社會(huì)對(duì)人工智能的信任和接受度。由于人工智能存在著算法偏見、數(shù)據(jù)隱私泄露、對(duì)抗樣本攻擊、不可解釋性、以及潛在的倫理道德沖突，使得人工智能應(yīng)用系統(tǒng)表現(xiàn)人工智能應(yīng)用系統(tǒng)自身也會(huì)存在安全隱患[17]和潛在的生存風(fēng)險(xiǎn)[18,主要包括對(duì)抗攻擊、投毒攻擊、后門攻擊、偏見與公平問題、可靠性問題、魯棒性問題、可解釋性問題等。其中對(duì)抗樣本攻擊是指通過對(duì)數(shù)據(jù)特征進(jìn)行微小擾動(dòng)，導(dǎo)致人工智能模型做出錯(cuò)誤行為的情況。對(duì)抗樣本的存在暴露了機(jī)器學(xué)習(xí)模型面臨的攻擊威脅與自身內(nèi)部魯棒性不足的問題。對(duì)抗樣本的生成方法主要是通過優(yōu)化算法向輸入數(shù)據(jù)中添加精心設(shè)計(jì)的擾動(dòng)，雖然這些擾動(dòng)對(duì)人類幾乎不可察覺，但卻可能導(dǎo)致模型產(chǎn)生不準(zhǔn)確的預(yù)測(cè)，如梯度投影下降法PGDI191、C&W攻擊[201、AutoAttackl21]。對(duì)抗魯棒性是指機(jī)器學(xué)習(xí)模型抵御對(duì)抗攻擊的能力。在對(duì)抗攻擊的背景下，模型的魯棒性定義為“多個(gè)樣本中最小對(duì)抗擾動(dòng)的平均幅度”[22]。當(dāng)前研究主要集中于創(chuàng)建對(duì)多種對(duì)抗攻擊具有抵抗力的機(jī)器學(xué)習(xí)模型，常見的對(duì)抗防御策略包括對(duì)抗訓(xùn)練、隨機(jī)化技術(shù)以減少對(duì)抗樣本的影響，以數(shù)據(jù)投毒是指攻擊者在數(shù)據(jù)集中插入虛假或錯(cuò)誤標(biāo)注的數(shù)據(jù)，將原本正確的標(biāo)簽篡改為錯(cuò)誤的標(biāo)簽[26]。標(biāo)簽翻轉(zhuǎn)攻擊通過替換數(shù)據(jù)集中部分真實(shí)樣本的標(biāo)簽為其他樣本的標(biāo)簽來實(shí)現(xiàn)，導(dǎo)致模型學(xué)習(xí)錯(cuò)誤的標(biāo)簽與樣本的關(guān)聯(lián)。Maabreh等人127]提出了一種基于聚類的標(biāo)簽翻轉(zhuǎn)攻擊方法，并通過多種常用機(jī)器學(xué)習(xí)算法驗(yàn)證了其有效性。該方法主要目的是生成能通過異常檢測(cè)器并影響分類器準(zhǔn)確性的中毒訓(xùn)練樣本，盡管該方法在K-最近鄰(KNN)和二叉決策樹(BDT)等算法上表現(xiàn)良好，但在隨機(jī)森林(RF)和深度神經(jīng)網(wǎng)絡(luò)(DNN)上效果不佳。Maabreh等人128]進(jìn)一步研究了粒子群優(yōu)化(PSO)存在中毒數(shù)據(jù)時(shí)如何提升模型性能，并評(píng)估了DNN在不同中毒率下的表現(xiàn)。后門攻擊是指在深度學(xué)習(xí)模型中植入隱藏的入口點(diǎn)，使其在處理正常樣本時(shí)表現(xiàn)正常，但一旦存在特定的觸發(fā)器就會(huì)執(zhí)行異常行為。BadNetsl291是首個(gè)后門攻擊方法，它通過在部分訓(xùn)練數(shù)據(jù)中添加觸發(fā)方法成為了計(jì)算機(jī)視覺領(lǐng)域后門攻擊的基準(zhǔn)，此后難以被肉眼察覺的出了基于Lp范數(shù)的雙層優(yōu)化方法來設(shè)計(jì)難以檢測(cè)且效果顯著的觸發(fā)擊中圖像內(nèi)容與標(biāo)簽不一致容易被發(fā)現(xiàn)的問題。由于后門攻擊在正常樣本上表現(xiàn)正常，使得植入后門的深度學(xué)習(xí)模型難以被發(fā)現(xiàn)，這對(duì)模型的部署安全構(gòu)成嚴(yán)重威脅。人工智能應(yīng)用系統(tǒng)的公平性研究被廣泛重視。為解決AI偏見問題，是指將數(shù)據(jù)偏見在數(shù)據(jù)訓(xùn)練前進(jìn)行消除，處理中通過約束訓(xùn)練學(xué)習(xí)算法減少偏見，而后處理技術(shù)旨在訓(xùn)練后減少預(yù)測(cè)偏見。Kamishimal37]提出了一種基于分析的不公平性正則化方法來解決算法偏見。Jaipurial35]等人采用了一種獨(dú)特的分層聚類方法，結(jié)合深度感知特征和相似性度量，幫助可視化和理解數(shù)據(jù)集中的偏見。Srinivasan和Chanderl34則使用基于拓?fù)鋽?shù)據(jù)分析的方法，在應(yīng)用偏見緩解算法前檢測(cè)偏見，通過持久性同調(diào)技術(shù)識(shí)別和測(cè)量由不同屬性導(dǎo)致的偏見。Kim和Cho[38]提出了一種基于對(duì)抗學(xué)習(xí)的無偏信息瓶頸方法，以實(shí)現(xiàn)公平表示和有效減少算法偏見。人工智能應(yīng)用系統(tǒng)的可靠性是指服務(wù)在持續(xù)性和準(zhǔn)確性方面的于深度學(xué)習(xí)的系統(tǒng)可靠性評(píng)估方法主要分為模型無關(guān) (Model-agnostic)和模型特定(Model-specific)兩大類。Akram等人[26]提出了一種名為StaDRe(統(tǒng)計(jì)距離可靠性)的度量指標(biāo)，通過利用經(jīng)驗(yàn)累積分布函數(shù)(ECDF)的統(tǒng)計(jì)距離測(cè)量，評(píng)估機(jī)器學(xué)習(xí)預(yù)測(cè)技術(shù)在時(shí)間序列數(shù)據(jù)中的可靠性，并能夠檢測(cè)數(shù)據(jù)分布的變化。在實(shí)際應(yīng)用中，對(duì)人工智能應(yīng)用系統(tǒng)進(jìn)行有效監(jiān)控以確保其安全控系統(tǒng)，該系統(tǒng)集成了黑箱和白箱監(jiān)控器，用于確保由機(jī)器學(xué)習(xí)算法驅(qū)動(dòng)的網(wǎng)絡(luò)物理系統(tǒng)的安全性；一旦監(jiān)測(cè)到異常，系統(tǒng)將自動(dòng)切換至安全模式，對(duì)決策過程和結(jié)果進(jìn)行全面的安全審查。鑒于人工智能系統(tǒng)是通過人類生成的數(shù)據(jù)進(jìn)行訓(xùn)練，而這些數(shù)據(jù)可能內(nèi)含偏見，因此，監(jiān)控并消除人工智能系統(tǒng)中的偏見同樣重要。Zhao等人[43]提出了一種定制化的概率測(cè)量方法用于偏見檢測(cè)，通過生命周期活動(dòng)中獲得的先驗(yàn)知識(shí)來指導(dǎo)統(tǒng)計(jì)推斷，以揭示和理解未標(biāo)記及非結(jié)構(gòu)化數(shù)據(jù)集中人工智能模型算法的“黑箱”理論[44],意味著算法的決策過程對(duì)其創(chuàng)建者也不透明。因此將這些系統(tǒng)用于更復(fù)雜和風(fēng)險(xiǎn)更高的活動(dòng)時(shí)，準(zhǔn)確解釋AI系統(tǒng)的預(yù)測(cè)是至關(guān)重要的?？山忉屓斯ぶ悄?XAI)是一套用于理解和說明AI系統(tǒng)所做決策的程序。為了提高AI系統(tǒng)的魯棒性，數(shù)據(jù)增強(qiáng)、領(lǐng)域遷移和協(xié)變量偏移(CovariateShift)等技術(shù)常被用來增強(qiáng)模型對(duì)未知數(shù)據(jù)和輸入特征變化的適應(yīng)能力。其中數(shù)據(jù)增強(qiáng)通過擴(kuò)展和轉(zhuǎn)換現(xiàn)有數(shù)據(jù)來生成新數(shù)據(jù)；領(lǐng)域遷移則幫助模型在源領(lǐng)域和目標(biāo)領(lǐng)域之間進(jìn)行有效泛化；協(xié)變量偏移技術(shù)是指調(diào)整輸入特征分布，以確保模型在不同場(chǎng)景中繼續(xù)有效。盡管大模型技術(shù)在處理復(fù)雜任務(wù)時(shí)展現(xiàn)強(qiáng)大的自然語(yǔ)言理解、意圖識(shí)別、推理、內(nèi)容生成等能力，且具有通用問題求解能力，被視作通往通用人工智能的重要路徑。然而大模型(LLM)卻普遍面臨著生全和隱私風(fēng)險(xiǎn)[49等問題。常見的大模型攻擊方法主要有提示攻擊越獄攻擊和(II)提示注入攻擊；對(duì)抗攻擊[52][33],包括(I)后門攻擊和(Ⅱ)數(shù)據(jù)中毒攻擊。此外大模型還面臨著后門攻擊和數(shù)據(jù)中毒攻擊，其中數(shù)據(jù)中毒攻擊通過注入樣本來?yè)p害訓(xùn)練模型；而后門攻擊則旨在將后門嵌入數(shù)據(jù)或模型中[54155]。2024年，來自VRAIN、劍橋等機(jī)構(gòu)研究人員對(duì)GPTol-preview等領(lǐng)先的LLM開啟了全方位評(píng)測(cè)[561,發(fā)現(xiàn)即使是最強(qiáng)的LLM比如GPTol-preview也是不可靠的。為保障大模型安全，研究者們提出了許多思路與方法。但受限于單一大模型的訓(xùn)練成本，如何使得LLM更加魯棒是當(dāng)前最大的難題。即使是當(dāng)前主流的指令調(diào)整也被證明為不可靠的[56],因此基于多個(gè)大模型來進(jìn)行安全生成輸出是提高大模型結(jié)果魯棒性與準(zhǔn)確性的重要做法，如使用RAG方法157]通過對(duì)多個(gè)大模型進(jìn)行檢索來融合輸出；SmoothLLMI581也利用多次對(duì)模型的輸入然后聚合相應(yīng)的預(yù)測(cè)以檢測(cè)對(duì)抗性輸入。(三)全球人工智能安全產(chǎn)業(yè)發(fā)展現(xiàn)狀據(jù)PrecedenceResearch市場(chǎng)數(shù)據(jù)統(tǒng)計(jì)預(yù)測(cè)，得益于各國(guó)政府的大力政策支持，全球人工智能企業(yè)數(shù)量正以驚人的速度增長(zhǎng)，人工智能產(chǎn)業(yè)蓬勃發(fā)展。2023年全球人工智能(AI)市場(chǎng)規(guī)模已經(jīng)達(dá)到了約11879億元，而到2030年，全球人工智能(AI)市場(chǎng)規(guī)模將實(shí)現(xiàn)飛躍式增長(zhǎng)，預(yù)計(jì)將達(dá)到驚人的114554億元。這一增長(zhǎng)表明，從2023年至2030年，全球人工智能市場(chǎng)將實(shí)現(xiàn)超過35%的復(fù)合增長(zhǎng)率，凸顯出該領(lǐng)域的強(qiáng)勁發(fā)展勢(shì)頭和巨大潛力。當(dāng)前美國(guó)在人工智能領(lǐng)域保持著引領(lǐng)者的角色，持續(xù)展現(xiàn)出強(qiáng)大的實(shí)力和創(chuàng)新能力。截至2023年，全球人工智能企業(yè)分布中，美國(guó)企業(yè)數(shù)量以34%的占比穩(wěn)居榜首，而中國(guó)企業(yè)和英國(guó)企業(yè)則分別以16%、7%的占比位列第二和第三。這三個(gè)國(guó)家在人工智能企業(yè)數(shù)量上占據(jù)了全球超過一半的市場(chǎng)。在全球人工智能領(lǐng)域的獨(dú)角獸企業(yè)中，總共有291家，其中美國(guó)獨(dú)占131家，而中國(guó)也擁有108家此外，其他國(guó)家也紛紛認(rèn)識(shí)到人工智能的重要性，紛紛加大投入，積極跟進(jìn)這一全球趨勢(shì)，努力提升自身在人工智能領(lǐng)域的地位和影響力對(duì)AI的可靠性風(fēng)險(xiǎn)，如模型幻覺或錯(cuò)誤輸出等表示關(guān)注。潛在的緩解措施可能包括管理低置信度的輸出或?qū)嵤└采w各種場(chǎng)景的綜合測(cè)試用例。在對(duì)超過1,000個(gè)組織的調(diào)查中，45%的組織認(rèn)為可靠性風(fēng)險(xiǎn)與他們的Al采納策略相關(guān)。在這些組織中，13%已經(jīng)全面實(shí)施了超過一半的調(diào)查措施，而75%則已實(shí)施至少一種但不到一半的措施。此外，12%的受訪者承認(rèn)沒有完全落實(shí)任何可靠性措施。全球平均水平為實(shí)施了6項(xiàng)調(diào)查措施中的2.16項(xiàng)。調(diào)查還詢問了組織對(duì)安全風(fēng)險(xiǎn)的關(guān)注程度，其中47%承認(rèn)這些風(fēng)險(xiǎn)的相關(guān)性。結(jié)果顯示，28%的組織已全面實(shí)施了超過一半的建議安全措施，而63%的組織則已全面實(shí)施了至少一種但不到一半的措施。此外，10%的組織報(bào)告稱沒有完全落實(shí)任何AI安全措施。平均而言，公司在五項(xiàng)調(diào)查措施中采用了1.94項(xiàng)。大多數(shù)組織(88%)表示同意或強(qiáng)烈同意，認(rèn)為開發(fā)基礎(chǔ)模型的機(jī)構(gòu)應(yīng)對(duì)所有相關(guān)風(fēng)險(xiǎn)負(fù)責(zé)。86%的受訪者表示同意或強(qiáng)烈同意，認(rèn)為生成式AI帶來的潛在威脅足夠重大，需要全球達(dá)成一致的治理在人工智能安全治理領(lǐng)域，如何構(gòu)建一個(gè)安全、可靠、高效的人工智能安全治理體系，成為全球共同面臨的時(shí)代課題。2023年10月美國(guó)頒布《關(guān)于安全、可靠和值得信賴的人工智能開發(fā)和使用的行政命令》,2024年2月美國(guó)宣布成立人工智能安全研究所聯(lián)盟，并得到200多家領(lǐng)先的人工智能利益相關(guān)者的支持，旨在建立在人工智能治理國(guó)際框架上的領(lǐng)導(dǎo)地位。我國(guó)也積極參與全球人工智能治理，并在2023年10月提出《全球人工智能治理倡議》,提出各國(guó)應(yīng)秉持共同、綜合、合作、可持續(xù)的安全觀，促進(jìn)人工智能技術(shù)造福于人類，推動(dòng)構(gòu)建人類命運(yùn)共同體。隨著人工智能安全問題在全球范圍內(nèi)被廣泛關(guān)注，谷歌聯(lián)合亞馬Cohere、Chainguard、WIZ、GenLab等14家領(lǐng)先企業(yè)，于2024年5月共同成立了安全人工智能聯(lián)盟(CoSAI),旨在通過共享資源、標(biāo)準(zhǔn)化框架和工具，構(gòu)建一個(gè)協(xié)作的生態(tài)系統(tǒng)，確保AI系統(tǒng)的安全性和透明度。CoSAI的成立，為全球AI產(chǎn)業(yè)的健康發(fā)展提供了有力保障。我國(guó)也于2024年9月發(fā)布《AI安全產(chǎn)業(yè)圖譜(2024)》,收錄了來自于百度、騰訊、京東、螞蟻集團(tuán)、移動(dòng)、聯(lián)通等互聯(lián)網(wǎng)及云廠商，浙江大學(xué)、西安交通大學(xué)、華東師范大學(xué)等高校以及奇安信、深信服、天融信、啟明星辰等安全企業(yè)的164項(xiàng)AI安全產(chǎn)品、技術(shù)、解決方案或科研成果?？梢姡?dāng)前全球人工智能安全產(chǎn)業(yè)生態(tài)正朝著更加多元化、專業(yè)化和系統(tǒng)化的方向邁進(jìn)。隨著技術(shù)的不斷創(chuàng)新與應(yīng)用的深入，AI安全產(chǎn)業(yè)將在技術(shù)創(chuàng)新、行業(yè)應(yīng)用、安全評(píng)估、合規(guī)治理，以及人才培養(yǎng)等多個(gè)層面持續(xù)發(fā)展，以應(yīng)對(duì)快速變化的安全需求。如大模型技術(shù)的廣泛應(yīng)用，模型安全、數(shù)據(jù)隱私、算法透明性等問題已經(jīng)成為業(yè)界關(guān)注的重點(diǎn)。AI安全解決方案已經(jīng)不斷細(xì)化和專業(yè)化，行業(yè)將進(jìn)一步推動(dòng)針對(duì)不同應(yīng)用場(chǎng)景的定制化安全產(chǎn)品和服務(wù)。(四)全球人工智能應(yīng)用系統(tǒng)內(nèi)生安全發(fā)展現(xiàn)狀2023年，全球立法程序中有2175次提及人工智能，幾乎是上一年的兩倍。2023年美國(guó)在聯(lián)邦層面通過的與人工智能有關(guān)的法案占所有法案的比重從2%躍升至10%,翻了5倍。分析這些法案及規(guī)則規(guī)范，當(dāng)前全球人工智能應(yīng)用系統(tǒng)內(nèi)生安全發(fā)展總體呈現(xiàn)五大特點(diǎn)。一是將人工智能應(yīng)用系統(tǒng)安全作為治理的抓手。美國(guó)一直高度關(guān)注人工智能應(yīng)用系統(tǒng)安全。2020年美國(guó)發(fā)布了《促進(jìn)聯(lián)邦政府使用值得信賴的人工智能》的行政命令，提出"以安全、可靠和彈性為目標(biāo)強(qiáng)化人工智能應(yīng)用系統(tǒng)治理";2023年10月美國(guó)發(fā)布《關(guān)于安全、可靠和可信的人工智能行政命令》,11月美英成立人工智能應(yīng)用安全研究所(AISafetyInstitute);12月美國(guó)提出《“五眼聯(lián)盟”人工智能法案》,從制度上推動(dòng)形成區(qū)域聯(lián)盟，共同管控人工智能應(yīng)用中的系統(tǒng)性風(fēng)險(xiǎn)，提升先天防御力和整體復(fù)原力。二是將設(shè)計(jì)安全、默認(rèn)安全等作為治理的重點(diǎn)。為提高人工智能應(yīng)用系統(tǒng)內(nèi)生安全能力，歐美主要國(guó)家紛紛進(jìn)行戰(zhàn)略布局，以構(gòu)建新人工智能時(shí)代“盎格魯-撒克遜”話語(yǔ)體系。2023年4月，美及五眼聯(lián)盟發(fā)布了《改變網(wǎng)絡(luò)安全風(fēng)險(xiǎn)的平衡：設(shè)計(jì)安全和默認(rèn)安全的原則和方法》指南，指出數(shù)字系統(tǒng)的安全必須從設(shè)計(jì)、制造階段就開始部署，以實(shí)現(xiàn)“設(shè)計(jì)安全”(Secure-by-Design),并提供“開箱即用” (Out-of-Box)的“默認(rèn)安全”(Secure-by-Default)產(chǎn)品，以達(dá)成“幾乎無需用戶額外配置即具備的安全能力”。三是將一體化解決信息安全和功能安全問題作為技術(shù)路徑。美國(guó)在2023年《人工智能研究和發(fā)展戰(zhàn)略計(jì)劃》中，強(qiáng)調(diào)人工智能一體化安全(Safety&Security),提出單純的功能安全不能確保網(wǎng)絡(luò)安全，要從單純的功能安全向網(wǎng)絡(luò)安全與功能安全(乃至信息安全)一體化領(lǐng)域遷移，從關(guān)注“功能失效"的傳統(tǒng)安全向包括人為攻擊在內(nèi)、“認(rèn)知失效”的新型安全拓展。2023年8月，美國(guó)能源部發(fā)布《國(guó)家網(wǎng)絡(luò)知情工程戰(zhàn)略》實(shí)施計(jì)劃，鼓勵(lì)技術(shù)制造商開發(fā)符合設(shè)計(jì)安全和默認(rèn)安全要求的產(chǎn)品，客戶無需再通過應(yīng)用另一套補(bǔ)丁程序等修復(fù)系統(tǒng)來實(shí)現(xiàn)安全。該計(jì)劃倡導(dǎo)將安全融入數(shù)字產(chǎn)品的設(shè)計(jì)制造中，防止制造商將脆弱的產(chǎn)品引入市場(chǎng)。四是將防范未知風(fēng)險(xiǎn)和“未知的未知”風(fēng)險(xiǎn)作為關(guān)鍵目標(biāo)。歐盟高度關(guān)注人工智能系統(tǒng)潛在安全風(fēng)險(xiǎn)，指出“人工智能技術(shù)嵌入產(chǎn)品和服務(wù)時(shí)對(duì)安全的忽視正在引發(fā)新的風(fēng)險(xiǎn)”。事實(shí)上，人工智能開發(fā)者雖能意識(shí)到風(fēng)險(xiǎn)，但并未優(yōu)先考慮安全性。2024年6月IBM發(fā)布的調(diào)查指出，生成式人工智能的安全性是事后才想到的，82%的高管表示值得信賴和安全的人工智能至關(guān)重要，但真正做到在生成式人工智能項(xiàng)目中嵌入安全組件的卻只有24%。為此，美國(guó)科學(xué)、工程與醫(yī)學(xué)院專門設(shè)置研究論壇，探討新型數(shù)字系統(tǒng)面對(duì)未知安全風(fēng)險(xiǎn)時(shí)保持安全、抵抗退化以及從不良事件中恢復(fù)的能力。五是將人工智能應(yīng)用系統(tǒng)置信度研究作為亟待突破的方向。美國(guó)國(guó)家網(wǎng)絡(luò)安全卓越中心NCCoE、NIST于2022年11月發(fā)布人工智能應(yīng)用系統(tǒng)的安全計(jì)劃《減輕人工智能/機(jī)器學(xué)習(xí)的偏差》,旨在建立“人工智能系統(tǒng)的測(cè)試、評(píng)估、驗(yàn)證和確認(rèn)(TEVV)實(shí)踐”,通過對(duì)系統(tǒng)全生命周期的四大場(chǎng)景(預(yù)處理數(shù)據(jù)集、模型分析訓(xùn)練、模型推理訓(xùn)練、決策流中的人機(jī)對(duì)齊)來度量可信度。今年，美國(guó)發(fā)布《聯(lián)邦網(wǎng)絡(luò)安全研究與發(fā)展戰(zhàn)略計(jì)劃(2024-2027)》,提出要建立包括智能系統(tǒng)在內(nèi)的數(shù)字系統(tǒng)可信度評(píng)估新方法，以確保數(shù)字系統(tǒng)以及相互作用的各方和各組成部分之間建立信任。三、我國(guó)發(fā)展現(xiàn)狀(一)產(chǎn)業(yè)發(fā)展?fàn)顩r述評(píng)自2017年國(guó)務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》以來，國(guó)內(nèi)人工智能在多個(gè)領(lǐng)域的產(chǎn)業(yè)化應(yīng)用取得了顯著進(jìn)展，尤其在自動(dòng)駕駛、醫(yī)學(xué)影像、金融、生成式AI等領(lǐng)域表現(xiàn)突出，給社會(huì)發(fā)展和人民生活帶來巨大的變革。根據(jù)《2024年中國(guó)人工智能行業(yè)全景圖譜》,我國(guó)人工智能市場(chǎng)規(guī)模突破5000億元。人工智能技術(shù)的不斷創(chuàng)新推動(dòng)了應(yīng)用場(chǎng)景的深度發(fā)展，牽動(dòng)著以AIGC、數(shù)字人、多模態(tài)、AI大模型、智能決策為代表的技術(shù)浪潮。這些尖端技術(shù)為市場(chǎng)注入廣泛的可能性和巨大的增長(zhǎng)潛力。同時(shí)國(guó)內(nèi)企業(yè)對(duì)自身數(shù)字化和數(shù)字化轉(zhuǎn)型的積極推動(dòng)也催生了對(duì)人工智能技術(shù)多樣的需求，為我國(guó)人工智能市場(chǎng)規(guī)模的長(zhǎng)期增長(zhǎng)奠定了堅(jiān)實(shí)基礎(chǔ)。國(guó)家“十四五”政策明確支持人工智能產(chǎn)業(yè)行業(yè)發(fā)展。據(jù)測(cè)算，2024-2029年期間，我國(guó)人工智能行業(yè)市場(chǎng)規(guī)模將進(jìn)一步擴(kuò)大，2029年市場(chǎng)規(guī)模將突破萬億大關(guān)，提前實(shí)現(xiàn)《新一代人工智能發(fā)展規(guī)劃》中2030年人工智能產(chǎn)業(yè)規(guī)模達(dá)到10000億元的規(guī)模目標(biāo)。AI技術(shù)廣泛應(yīng)用于各個(gè)領(lǐng)域的同時(shí)，模型自身的安全性問題也愈加凸顯。當(dāng)前人工智能應(yīng)用系統(tǒng)面臨安全性問題主要包括三個(gè)方面，對(duì)抗樣本攻擊、后門攻擊以及生成式AI的內(nèi)容安全性問題?！?024年中國(guó)人工智能行業(yè)全景圖譜》強(qiáng)調(diào)要推動(dòng)人工智能朝著可靠可控方向發(fā)展，且圍繞數(shù)據(jù)保護(hù)已經(jīng)催生了大量從事隱私計(jì)算的企業(yè)，未來人工智能穩(wěn)定性、公平性等方面的技術(shù)也將會(huì)形成重要的力量，同時(shí)我國(guó)政府、行業(yè)組織、企業(yè)等已在人工智能治理方面率先開始探索，正在制定與人工智能相關(guān)的技術(shù)文檔與規(guī)范，以確保人工智能系統(tǒng)的可靠性和安全性。2017年國(guó)務(wù)院發(fā)布了《新一代人工智能發(fā)展規(guī)劃》,明確提出要加強(qiáng)人工智能的治理體系建設(shè)，包括研究AI倫理、隱私保護(hù)以及AI安全的規(guī)范，推動(dòng)建立相關(guān)法律法規(guī)體系。2021年，國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布了《網(wǎng)絡(luò)數(shù)據(jù)安全管理?xiàng)l例(征求意見稿)》,進(jìn)一步強(qiáng)調(diào)了數(shù)據(jù)安全的重要性，涵蓋了人工智能相關(guān)的數(shù)據(jù)處理和隱私保護(hù)問題。2021年，《中華人民共和國(guó)個(gè)人信息保護(hù)法》正式施行，規(guī)范了AI技術(shù)在個(gè)人信息處理中的安全性，防止個(gè)人數(shù)據(jù)濫用，特別是在AI系統(tǒng)進(jìn)行數(shù)據(jù)采集、分析、決策時(shí)的風(fēng)險(xiǎn)問題。2024年，全國(guó)網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)近日正式發(fā)布《人工智能安全治理框架》,針對(duì)模型算法安全、數(shù)據(jù)安全和系統(tǒng)安全等內(nèi)生安全風(fēng)險(xiǎn)和網(wǎng)絡(luò)域、現(xiàn)實(shí)域、認(rèn)知域、倫理域等應(yīng)用安全風(fēng)險(xiǎn)，提出相應(yīng)技術(shù)應(yīng)對(duì)和綜合防治措施，以及人工智能安全開發(fā)應(yīng)用指引。在標(biāo)準(zhǔn)制定方面，國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)牽頭推動(dòng)了AI安全和治理相關(guān)的標(biāo)準(zhǔn)化工作。2019我國(guó)科技部發(fā)布《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》協(xié)調(diào)人工智能發(fā)展與治理的關(guān)系，確保人工智能安全可控可靠，推動(dòng)經(jīng)濟(jì)、社會(huì)及生態(tài)可持續(xù)發(fā)展，共建人類命運(yùn)共同體。2021年發(fā)布的《人工智能標(biāo)準(zhǔn)化白皮書》明確了我國(guó)在AI安全、倫理、隱私保護(hù)等方面的標(biāo)準(zhǔn)化工作目標(biāo)。2023年我國(guó)發(fā)布《生成式人工智能服務(wù)管理暫行辦法》,對(duì)生成式AI應(yīng)用做了一系列規(guī)范。國(guó)家正在逐步形成涵蓋AI算法安全、系統(tǒng)安全、數(shù)據(jù)安全等多個(gè)維度的標(biāo)準(zhǔn)體系，以推動(dòng)人工智能技術(shù)的安全應(yīng)用?？偟膩碚f，國(guó)家通過一系列政策法規(guī)、標(biāo)準(zhǔn)和指導(dǎo)意見，正在積極推動(dòng)人工智能技術(shù)的健康發(fā)展與安全應(yīng)用，確保在快速發(fā)展的AI技術(shù)浪潮中，能夠有效應(yīng)對(duì)安全挑戰(zhàn)和風(fēng)險(xiǎn)，保護(hù)個(gè)人隱私、數(shù)據(jù)安全以及社會(huì)穩(wěn)定。(二)國(guó)內(nèi)相關(guān)研究成果國(guó)內(nèi)在人工智能安全問題方面涌現(xiàn)了大量高水平研究成果，主要分為兩個(gè)方面，一是可以用作防御參考與驗(yàn)證的各種攻擊方法的設(shè)計(jì)，二是針對(duì)于特定的攻擊方法提出的防御手段。在對(duì)抗樣本攻擊方面，研究者們?cè)诙鄠€(gè)領(lǐng)域場(chǎng)景下設(shè)計(jì)了多種攻擊方法。王熠等[59]在遙感圖像場(chǎng)景分類網(wǎng)絡(luò)應(yīng)用場(chǎng)景下，提出一種頻域的量化對(duì)抗攻擊方法FDQ(FrequencyDomainQuantization),將輸入圖像進(jìn)行離散余弦變換(DiscreteCosineTransform,DCT)變換，在頻域中利用量化篩選器有效捕捉使圖像正確分類的關(guān)鍵特征在頻域中的突出區(qū)域，并利用模型的注意力分布實(shí)現(xiàn)特征層級(jí)的黑盒攻擊，通過找到不同網(wǎng)絡(luò)中的共同防御漏洞，從而實(shí)現(xiàn)針對(duì)遙感圖像生成具通用對(duì)抗攻擊方法(Phonemicadversarialnoise,PAN),通過攻擊在音頻數(shù)據(jù)中普遍存在的、音素級(jí)別的細(xì)粒度音頻特征，以生成音素級(jí)對(duì)抗噪聲，取得了更快的對(duì)抗噪聲生成速度并具備更強(qiáng)的通用攻擊能力。在步態(tài)識(shí)別領(lǐng)域，朱莉芳等[61]提出SDA算法對(duì)原始步態(tài)剪影幀應(yīng)用均值濾波和多閾值處理，生成對(duì)抗幀，由對(duì)抗幀組成的對(duì)抗序列抗樣本視覺質(zhì)量下降，但是該方法偽裝性不足，易被人類觀察者識(shí)別的問題，引入了交通場(chǎng)景中車輛運(yùn)動(dòng)引起的圖像模糊先驗(yàn)知識(shí)，提出了一種運(yùn)動(dòng)模糊偽裝對(duì)抗樣本生成方法，通過模擬車輛和行人在移動(dòng)過程中產(chǎn)生的模糊效應(yīng)，生成了具有運(yùn)動(dòng)模糊特征的對(duì)抗樣本。在醫(yī)功率不高以及生成質(zhì)量低等問題，提出了一種基于生成對(duì)抗網(wǎng)絡(luò)(GAN)的肺部疾病診斷模型黑盒可遷移性對(duì)抗攻擊方法，以肺部醫(yī)學(xué)影像為基礎(chǔ)，依托殘差神經(jīng)網(wǎng)絡(luò)，在生成器中設(shè)計(jì)基于擴(kuò)張卷積的殘差塊和金字塔分割注意力機(jī)制，以提高網(wǎng)絡(luò)在更細(xì)粒度上的多尺度特出了兩種針對(duì)人臉識(shí)別模型的生成對(duì)抗樣本的方法，在白盒場(chǎng)景下，提出了基于區(qū)域感知的人臉對(duì)抗樣本生成方法(IG-FGSM)算法，利用模型的概率向量去計(jì)算特定類別關(guān)于卷積層輸出的梯度，專注于對(duì)這些關(guān)鍵的特征使用I-FGSM方法施加擾動(dòng)，從而生成有針對(duì)性的對(duì)抗樣本，在灰盒場(chǎng)景下，提出了基于組合式差分進(jìn)化算法的人臉對(duì)抗樣本生成方法(CoDE-AG)。這些攻擊方法的提出證明了目前多個(gè)領(lǐng)域的AI模型都存在著各種問題，同時(shí)也可以作為案例來指導(dǎo)防御的研究。在對(duì)抗攻擊防御領(lǐng)域，國(guó)內(nèi)研究者也在不斷探索如何特定場(chǎng)景下抗樣本防御方法需要大量對(duì)抗樣本且訓(xùn)練后會(huì)降低對(duì)原始數(shù)據(jù)的識(shí)別準(zhǔn)確率的問題，提出一種基于特征遷移的流量對(duì)抗樣本防御方法，使用堆疊自編碼器作為底層的防御模塊進(jìn)行對(duì)抗知識(shí)學(xué)習(xí)，使其擁有對(duì)抗特征提取的能力，進(jìn)而根據(jù)流量特征進(jìn)行功能自適應(yīng)構(gòu)造，通過防御+識(shí)別功能的拆分，降低了防御成本消耗并減少了對(duì)抗訓(xùn)練對(duì)于原始數(shù)據(jù)識(shí)別準(zhǔn)確率的影響，實(shí)現(xiàn)了快速適配且提高了模型防御彈性。測(cè)模型的堆疊集成對(duì)抗防御方法D-SE(DetectorStackingEnsemble),將對(duì)抗訓(xùn)練引入檢測(cè)器訓(xùn)練以提高其抵抗對(duì)抗攻擊的能力。同時(shí)在決策層中添加了一種基于投票和權(quán)重機(jī)制的聯(lián)合決策模塊，通過擇多判決機(jī)制和高權(quán)重者優(yōu)先機(jī)制避免最終預(yù)測(cè)結(jié)果過度依賴部分分類器，律失常分類中不能有效防御對(duì)抗樣本攻擊的問題，提出一種新型魯棒LipschitzConstraintsNet),其在特征提取階段通過通道激活抑制策略動(dòng)態(tài)調(diào)整模型通道重要性，抑制非魯棒通道的表達(dá)，有效降低對(duì)抗樣本產(chǎn)生的信號(hào)增強(qiáng)效應(yīng)。同時(shí)引入重視誤分類對(duì)抗訓(xùn)練 魯棒性影響大的錯(cuò)誤分類樣本進(jìn)行正則化，提升模型防御對(duì)抗樣本攻型對(duì)抗樣本時(shí)表現(xiàn)較差的問題，提出特征惡意度的概念，通過計(jì)算特征的惡意程度對(duì)特征進(jìn)行排序，利用排序后的特征構(gòu)建一個(gè)具有對(duì)抗Processing),并利用該模型提取待檢測(cè)軟件的高惡意度特征進(jìn)行檢測(cè)，避免出現(xiàn)對(duì)抗擾動(dòng)導(dǎo)致的模型錯(cuò)誤分類問題。在后門攻擊方面，攻擊者在模型中注入特定的觸發(fā)器，使得模型在遇到觸發(fā)器時(shí)產(chǎn)生錯(cuò)誤的行為。相比對(duì)抗樣本，后門攻擊更加隱蔽且難以檢測(cè)。如在惡意流量檢測(cè)領(lǐng)域，馬博文等[691提出一種利用后門攻擊實(shí)現(xiàn)惡意流量逃逸的方法，通過在訓(xùn)練過程添加毒化數(shù)據(jù)將后門植入模型，從而實(shí)現(xiàn)惡意流量逃逸；同時(shí)對(duì)不含觸發(fā)器的干凈流量正常判定，保證了模型后門的隱蔽性。在圖像分類領(lǐng)域，朱素霞等[701針對(duì)目前大多數(shù)后門攻擊產(chǎn)生的后門圖像容易被人眼察覺，導(dǎo)致后門攻擊隱蔽性不足的問題，提出一種基于感知相似性的多目標(biāo)優(yōu)化隱蔽圖像后門攻擊方法，使用感知相似性損失函數(shù)減少后門圖像與原始圖像之間的視覺差異，并采用多目標(biāo)優(yōu)化方法解決中毒模型上任務(wù)間沖突的問題，從而確保模型投毒后性能穩(wěn)定。在語(yǔ)音識(shí)別領(lǐng)域，張書藝[71]提出基于個(gè)性化音頻隱寫進(jìn)行后門攻擊，設(shè)計(jì)了一種用于聲紋識(shí)別和基于音頻隱寫術(shù)的方法來觸發(fā)后門攻擊的條件。該攻擊方法一方面可以在語(yǔ)音片段中隱藏特定的信息，并對(duì)樣本進(jìn)行特定的處理，僅通過修改樣本音頻文件的頻率和音高，而不改變被攻擊模型的結(jié)構(gòu)，使攻擊行為具有隱身性。在多智能體強(qiáng)化學(xué)習(xí)領(lǐng)域，曾慶鑫[72]基于多智能體競(jìng)爭(zhēng)環(huán)境，設(shè)計(jì)了一種環(huán)境狀態(tài)分布內(nèi)的觸發(fā)器，觸發(fā)器屬于環(huán)境中的正常狀態(tài)，使得觸發(fā)器不易被人類察覺。并且利用多智能體競(jìng)爭(zhēng)環(huán)境中，智能體動(dòng)作的輸出受對(duì)手狀態(tài)影響的特點(diǎn)，讓受害智能體的對(duì)手也參與到觸發(fā)器的形成，從而提高后門攻擊的隱蔽性和成功率。在后門防御方面，國(guó)內(nèi)研究者針對(duì)后門防御技術(shù)提出許多創(chuàng)新方法。在工業(yè)場(chǎng)景下的聯(lián)邦學(xué)習(xí)應(yīng)用場(chǎng)景中，鑒于傳統(tǒng)的防御方案往往無法在聯(lián)邦學(xué)習(xí)架構(gòu)下發(fā)揮作用或者對(duì)早期攻擊防范能力不足，王迅等[73]提出一種適用于聯(lián)邦學(xué)習(xí)架構(gòu)的后門診斷方案，能夠在無數(shù)據(jù)情況下利用后門模型的形成特點(diǎn)重構(gòu)后門觸發(fā)器，實(shí)現(xiàn)準(zhǔn)確識(shí)別并移除后門模型，從而達(dá)到全局模型后門防御的目的。林怡航等[74]針對(duì)傳統(tǒng)的聯(lián)邦學(xué)習(xí)后門防御方法大多基于模型檢測(cè)的思想進(jìn)行后門防御，而忽略了聯(lián)邦學(xué)習(xí)自身的分布式特性的問題，提出一種基于觸發(fā)器逆向的聯(lián)邦學(xué)習(xí)后門防御方法。該方法讓聚合服務(wù)器和分布式客戶端協(xié)作，利用觸發(fā)器逆向技術(shù)生成額外的數(shù)據(jù)，增強(qiáng)客戶端本地模型的魯棒性，從而進(jìn)行后門防御的方法。在圖像分類領(lǐng)域，張家輝等[75]提出基于樣本損失值變化統(tǒng)一性的后門樣本隔離方案，旨在凈化訓(xùn)練數(shù)據(jù)，并盡可能地減少對(duì)干凈樣本的錯(cuò)誤隔離。在強(qiáng)化學(xué)習(xí)領(lǐng)域，沈效羽等[76]針對(duì)原NeuralCleanse算法與原模型遺忘方法在強(qiáng)化學(xué)習(xí)場(chǎng)景中失效的問題，提出了基于NeuralCleanse與模型遺忘的后門防御方案。通過對(duì)當(dāng)前后門逆向方法原理的分析，將NeuralCleanse優(yōu)化為適用于強(qiáng)化學(xué)習(xí)的后門逆向算法。隨著國(guó)際多種生成式模型的火熱發(fā)展，尤其是以大模型為代表的新型生成式人工智能的出現(xiàn)，如何確保生成式模型的內(nèi)容安全性成為當(dāng)前研究中的重要議題。為了應(yīng)對(duì)這些問題，國(guó)內(nèi)學(xué)者也進(jìn)行探索嘗試解決生成模型內(nèi)容安全性問題。劉梟天等[781提出一種基于樣本原生特征的投毒防御算法infoGAN_Defense,利用樣本原生特征的不變性進(jìn)行投毒防御，引入樣本原生特征與人為特征的概念，采用耦合infoGAN結(jié)構(gòu)實(shí)現(xiàn)樣本特征的分離及提取。最后通過進(jìn)行模型的重訓(xùn)練，從而防止數(shù)據(jù)投毒攻擊的危害性。周林興等[79]針對(duì)LLM頻遭數(shù)據(jù)投毒攻擊而使分配器不受控暗中輸出黑化信息問題，設(shè)計(jì)投毒與黑化識(shí)別方案及模型，將其整合后形成情報(bào)感知方法運(yùn)行機(jī)制。張明慧[80]對(duì)類ChatGPT模型大規(guī)模應(yīng)用時(shí)帶來的安全風(fēng)險(xiǎn)隱患進(jìn)行分析，進(jìn)一步提出如何利用技術(shù)手段防范化解風(fēng)險(xiǎn)。針對(duì)生成式大模型的倫分析了人工智能大模型在倫理方面可能引發(fā)的問題，如數(shù)據(jù)隱私、算法歧視和決策透明度等。針對(duì)這些問題，劉等提出加強(qiáng)數(shù)據(jù)保護(hù)、改進(jìn)算法設(shè)計(jì)和提高透明度等措施。盡管國(guó)內(nèi)在生成式模型的安全性研究上取得了一定進(jìn)展，但是當(dāng)前的研究主要集中在數(shù)據(jù)投毒防御和生成內(nèi)容監(jiān)控等方面。針對(duì)于日益增長(zhǎng)的新型安全威脅與模型復(fù)雜性日益增加的背景下，有效的防御手段仍顯不足。未來的研究應(yīng)進(jìn)一步探討如何構(gòu)建更具通用性、魯棒性和可解釋性的安全機(jī)制，加強(qiáng)對(duì)模型生成過程的全鏈路監(jiān)控與干預(yù)，確保生成內(nèi)容的合規(guī)性和道德性。此外，跨學(xué)科的合作，如倫理學(xué)、法律和計(jì)算機(jī)科學(xué)的交叉研究，將為推動(dòng)生成式模型安全性和倫理性的發(fā)展提供新的視角。四、技術(shù)預(yù)見(一)人工智能應(yīng)用系統(tǒng)的安全風(fēng)險(xiǎn)當(dāng)前，人工智能技術(shù)的迅速發(fā)展，正在對(duì)經(jīng)濟(jì)發(fā)展、社會(huì)治理、人民生活產(chǎn)生重大而深刻的影響，給世界帶來巨大機(jī)遇。與此同時(shí)，人工智能技術(shù)也帶來日益嚴(yán)峻和復(fù)雜的風(fēng)險(xiǎn)。現(xiàn)有的人工智能安全問題分類研究往往相對(duì)瑣碎且過于具體。人工智能應(yīng)用系統(tǒng)的安全風(fēng)險(xiǎn)主要有：1.數(shù)據(jù)安全風(fēng)險(xiǎn)數(shù)據(jù)安全方面主要包括數(shù)據(jù)隱私、數(shù)據(jù)質(zhì)量、數(shù)據(jù)保護(hù)安全風(fēng)險(xiǎn)。數(shù)據(jù)隱私安全風(fēng)險(xiǎn)是人工智能的開發(fā)、測(cè)試、運(yùn)行過程中存在的隱私侵犯問題；數(shù)據(jù)質(zhì)量安全風(fēng)險(xiǎn)是用于人工智能的訓(xùn)練數(shù)據(jù)集以及采集的現(xiàn)場(chǎng)數(shù)據(jù)潛在存在的質(zhì)量問題，以及可能導(dǎo)致的后果；數(shù)據(jù)保護(hù)安全風(fēng)險(xiǎn)是人工智能開發(fā)及應(yīng)用企業(yè)對(duì)持有數(shù)據(jù)的全生命周期安全保護(hù)問題。2.算法安全風(fēng)險(xiǎn)算法安全風(fēng)險(xiǎn)包括算法設(shè)計(jì)、算法黑箱和算法偏見歧視風(fēng)險(xiǎn)。算法設(shè)計(jì)安全風(fēng)險(xiǎn)是在算法或?qū)嵤┻^程有誤可產(chǎn)生與預(yù)期不符甚至傷害性結(jié)果；算法黑箱安全風(fēng)險(xiǎn)是當(dāng)人工智能算法做出決策時(shí)，很難解釋其背后的邏輯和依據(jù)，導(dǎo)致在關(guān)鍵領(lǐng)域(如醫(yī)療、金融、司法)中的決策缺乏透明度，使得人們難以信任算法的決策；算法偏見歧視風(fēng)險(xiǎn)是在信息生產(chǎn)和分發(fā)過程失去客觀中立的立場(chǎng)，影響公眾對(duì)信息的客觀全面認(rèn)知，或者在智能決策中，通過排序、分類、關(guān)聯(lián)和過濾產(chǎn)生不公平問題，常表現(xiàn)為價(jià)格歧視、性別歧視、種族歧視。3.模型安全風(fēng)險(xiǎn)模型安全風(fēng)險(xiǎn)包括數(shù)據(jù)投毒與后門攻擊風(fēng)險(xiǎn)、對(duì)抗攻擊與指令攻擊風(fēng)險(xiǎn)和隱私攻擊與模型竊取風(fēng)險(xiǎn)。數(shù)據(jù)投毒與后門攻擊風(fēng)險(xiǎn)是指攻擊者一旦在模型中注入后門，就可以輕松操縱模型輸出；對(duì)抗攻擊與指令攻擊風(fēng)險(xiǎn)是指模型出現(xiàn)分類錯(cuò)誤引發(fā)的潛在對(duì)抗攻擊，以及攻擊者通過設(shè)計(jì)特定的指令，讓大模型產(chǎn)生不安全的輸出；隱私攻擊與模型竊取風(fēng)險(xiǎn)是指攻擊者可能會(huì)對(duì)模型進(jìn)行成員推斷攻擊與數(shù)據(jù)竊取攻擊，獲取模型訓(xùn)練數(shù)據(jù)中的隱私信息甚至是模型的訓(xùn)練數(shù)據(jù)本身。4.軟硬件運(yùn)行環(huán)境安全風(fēng)險(xiǎn)軟硬件運(yùn)行環(huán)境安全風(fēng)險(xiǎn)指人工智能系統(tǒng)應(yīng)用過程中所依賴的基礎(chǔ)設(shè)施，包括人工智能訓(xùn)練框架、算力設(shè)施、云平臺(tái)、部署環(huán)境等可能引入的安全風(fēng)險(xiǎn)。其中人工智能訓(xùn)練框架安全風(fēng)險(xiǎn)主要來自于訓(xùn)練AI模型算法的軟件框架環(huán)境以及第三方的依賴庫(kù)問題；算力設(shè)施安全風(fēng)險(xiǎn)主要是GPU驅(qū)動(dòng)和芯片漏洞問題；云平臺(tái)安全風(fēng)險(xiǎn)主要是虛擬化和Web平臺(tái)問題，用于深度學(xué)習(xí)任務(wù)的節(jié)點(diǎn)性能強(qiáng)大時(shí)，面臨著被攻擊者非法使用這些資源進(jìn)行挖礦的風(fēng)險(xiǎn)；部署環(huán)境安全風(fēng)險(xiǎn)是指人工智能應(yīng)用系統(tǒng)所部署的軟硬件網(wǎng)絡(luò)環(huán)境的相關(guān)安全風(fēng)險(xiǎn)。5.惡意使用風(fēng)險(xiǎn)惡意使用風(fēng)險(xiǎn)指不法分子可能會(huì)使用人工智能應(yīng)用系統(tǒng)來做一些違反國(guó)家法律法規(guī)或者社會(huì)公序良俗的事情。當(dāng)前人工智能技術(shù)惡智能應(yīng)用內(nèi)容過濾機(jī)制不完善，惡意行為者可輕易使用大語(yǔ)言模型產(chǎn)生涉及虛假詐騙、身份偽造、涉黃等不良信息，影響公眾輿論或影響用戶認(rèn)知；另一方面，惡意行為者利用人工智能提高網(wǎng)絡(luò)攻擊方面的技術(shù)知識(shí)，生成網(wǎng)絡(luò)攻擊工具，從而更高效地進(jìn)行網(wǎng)絡(luò)攻擊。6.法律和倫理風(fēng)險(xiǎn)法律和倫理風(fēng)險(xiǎn)是指人工智能技術(shù)在充分顯現(xiàn)其紅利的同時(shí)，面臨著隱私泄露、侵犯產(chǎn)權(quán)以及違背倫理等風(fēng)險(xiǎn)。隱私泄露風(fēng)險(xiǎn)指獲取及訓(xùn)練數(shù)據(jù)中包含沒有經(jīng)過個(gè)人信息主體的有效同意，或者違反法律法規(guī)要求非法處理個(gè)人信息；侵犯產(chǎn)權(quán)風(fēng)險(xiǎn)主要指人工智能生成作品的版權(quán)歸屬和保護(hù)范圍，以及人工智能作為發(fā)明者的專利申請(qǐng)資格等問題；倫理風(fēng)險(xiǎn)包含技術(shù)倫理風(fēng)險(xiǎn)和社會(huì)倫理風(fēng)險(xiǎn)：技術(shù)倫理風(fēng)險(xiǎn)是指倘若人工智能設(shè)計(jì)者在設(shè)計(jì)之初，秉持錯(cuò)誤的價(jià)值觀或?qū)⑾嗷_突的道德準(zhǔn)則嵌入人工智能之中，那么在實(shí)際運(yùn)行的過程中便很有可能對(duì)使用者生命、財(cái)產(chǎn)安全等帶來威脅；社會(huì)倫理風(fēng)險(xiǎn)是指人工智能可能對(duì)現(xiàn)有社會(huì)結(jié)構(gòu)及價(jià)值觀念的沖擊，人類社會(huì)的基本價(jià)值，如尊嚴(yán)、公平、正義等面臨挑戰(zhàn)。7.系統(tǒng)同質(zhì)化和系統(tǒng)性風(fēng)險(xiǎn)系統(tǒng)同質(zhì)化和系統(tǒng)性風(fēng)險(xiǎn)指由于人工智能模型和技術(shù)的同質(zhì)化，一個(gè)系統(tǒng)的故障或攻擊可能迅速影響到其他依賴相同技術(shù)的系統(tǒng)，引發(fā)系統(tǒng)性反應(yīng)的風(fēng)險(xiǎn)。人工智能應(yīng)用系統(tǒng)的運(yùn)行離不開特定軟硬件環(huán)境的支持，但是這類系統(tǒng)依賴的軟硬件都相對(duì)集中，比如硬件主要是CPU、GPU、TPU;編程語(yǔ)言主要是Python;深度學(xué)習(xí)框架應(yīng)用最廣泛的是TensorFlow、Pytorch等，這些基礎(chǔ)設(shè)施的安全漏洞極易大范圍影響人工智能應(yīng)用系統(tǒng)安全。(二)人工智能應(yīng)用系統(tǒng)的風(fēng)險(xiǎn)成因分析人工智能應(yīng)用系統(tǒng)面臨著諸多風(fēng)險(xiǎn)，這些風(fēng)險(xiǎn)的成因也是多方面的，主要有：1.人工智能算法理論存在局限性目前提升人工智能算法處理問題能力的主要做法提高模型的參數(shù)規(guī)模。為了訓(xùn)練參數(shù)規(guī)模龐大的人工智能模型，需要使用海量語(yǔ)料數(shù)據(jù)進(jìn)行訓(xùn)練。瓦倫西亞理工大學(xué)團(tuán)隊(duì)81]的最新Nature文章研究表明，大參數(shù)模型在簡(jiǎn)單任務(wù)上可能會(huì)出現(xiàn)過度擬合或錯(cuò)誤估計(jì)的風(fēng)險(xiǎn)，反而更不可靠。即使當(dāng)前最強(qiáng)大的人工智能算法也面臨著“災(zāi)難性”遺忘問題，其表現(xiàn)為當(dāng)模型在學(xué)習(xí)新任務(wù)時(shí)，會(huì)忘記之前已經(jīng)學(xué)習(xí)的知識(shí)或技能的現(xiàn)象。這種遺忘可能導(dǎo)致模型在新任務(wù)上產(chǎn)生性能下降，很難將之前學(xué)到的知識(shí)來遷移到新任務(wù)。2.人工智能算法結(jié)果難以解釋當(dāng)前人工智能算法的參數(shù)量十分龐大，輸入數(shù)據(jù)通過復(fù)雜的非線性變換得到對(duì)應(yīng)的輸出。在理論上分析輸入和輸出之間的關(guān)系成了一件幾乎不可能的事情。在實(shí)踐中，人們通常把人工智能算法為代表的機(jī)器學(xué)習(xí)模型看作是一個(gè)“黑匣子”,只能觀察到模型的輸入和輸出，而對(duì)算法產(chǎn)生預(yù)測(cè)和決策的過程和依據(jù)難以理解和描述，也很難預(yù)估人工智能算法決策結(jié)果可能帶來的負(fù)面影響。這種可解釋性問題使得人們?cè)诟叨茸詣?dòng)化的人工智能應(yīng)用系統(tǒng)出現(xiàn)問題時(shí)，很難定位到問題所在并及時(shí)排除故障。3.人工智能應(yīng)用系統(tǒng)要素缺乏安全性從狹義層面看，人工智能應(yīng)用系統(tǒng)是指純粹提供人工智能算法服務(wù)的應(yīng)用系統(tǒng)，其主要由三大核心要素組成，即數(shù)據(jù)、算法、算力。在數(shù)據(jù)層面，人工智能應(yīng)用系統(tǒng)的性能很大程度上依賴于數(shù)據(jù)的質(zhì)量和完整性，如果訓(xùn)練數(shù)據(jù)存在偏差、不準(zhǔn)確或被惡意污染，人工智能模型可能會(huì)學(xué)習(xí)到錯(cuò)誤的知識(shí)，從而在應(yīng)用時(shí)產(chǎn)生預(yù)期之外的錯(cuò)誤預(yù)測(cè)和決策；在算法層面，除人工智能應(yīng)用系統(tǒng)所依賴的算法原理的缺陷外，算法還存在具體實(shí)現(xiàn)的軟件代碼層面的安全問題；在算力相關(guān)的硬件方面，人工智能應(yīng)用系統(tǒng)運(yùn)行環(huán)境中所使用的硬件產(chǎn)品同樣存在安全漏洞。此外與其他應(yīng)用系統(tǒng)一樣，人工智能應(yīng)用系統(tǒng)的實(shí)體也依托于信息物理系統(tǒng)而存在的，當(dāng)其所依賴的底層軟件框架、軟件庫(kù)、操作系統(tǒng)和各種硬件平臺(tái)中存在的漏洞后門被攻擊者利用時(shí)，整個(gè)人工智能應(yīng)用系統(tǒng)將會(huì)面臨被破壞、篡改和信息竊取的風(fēng)險(xiǎn)。4.法律、倫理和信任度等社會(huì)因素共同作用在法律層面，人工智能應(yīng)用系統(tǒng)風(fēng)險(xiǎn)成因主要包括權(quán)責(zé)主體的確定、個(gè)人隱私和數(shù)據(jù)安全確認(rèn)及知識(shí)產(chǎn)權(quán)相關(guān)問題。在倫理和道德層面，隱私問題、公平性問題和道德問題是關(guān)鍵的倫理風(fēng)險(xiǎn)。某些個(gè)體或群體使用人工智能系統(tǒng)進(jìn)行社交媒體操縱、虛假信息傳播等行為也加劇了人工智能應(yīng)用系統(tǒng)面臨的道德風(fēng)險(xiǎn)。在社會(huì)信任和接受度方面，一旦人工智能應(yīng)用系統(tǒng)廣泛應(yīng)用，可能對(duì)社會(huì)就業(yè)、公平性等方面產(chǎn)生重大影響，如果不能妥善解決，可能會(huì)引發(fā)社會(huì)公眾擔(dān)憂。(三)人工智能應(yīng)用系統(tǒng)的內(nèi)生安全問題隨著以深度學(xué)習(xí)為代表的人工智能技術(shù)廣泛普及應(yīng)用，其安全問題也越來越受到學(xué)術(shù)界、產(chǎn)業(yè)界，甚至是廣大社會(huì)的關(guān)注。盡管目前已經(jīng)存在人工智能系統(tǒng)安全防護(hù)方法，但總體上還是屬于“亡羊補(bǔ)牢”式的安全機(jī)制。因此本節(jié)以內(nèi)生安全理論的新視角去分析當(dāng)前人工智能應(yīng)用系統(tǒng)的安全問題。1.人工智能應(yīng)用系統(tǒng)的內(nèi)生安全共性問題人工智能應(yīng)用系統(tǒng)在本質(zhì)上仍然遵循馮·諾依曼架構(gòu)，即將程序指令和數(shù)據(jù)存儲(chǔ)在同一存儲(chǔ)器中，并通過中央處理單元(CPU)來執(zhí)行指令的計(jì)算機(jī)模型。因此人工智能應(yīng)用系統(tǒng)不可避免存在著被各種漏洞后門攻擊的風(fēng)險(xiǎn)。(1)軟件的安全漏洞數(shù)量持續(xù)增加當(dāng)前的TensorFlow、Torch、Caffe等國(guó)外平臺(tái)均被曝出過安全漏洞。據(jù)開源軟件社區(qū)GitHub數(shù)據(jù)顯示，2020年以來，TensorFlow被曝出安全漏洞百余個(gè)，可導(dǎo)致系統(tǒng)不穩(wěn)定、數(shù)據(jù)泄漏、內(nèi)存破壞等問題。2021年，360公司對(duì)國(guó)內(nèi)外主流開源人工智能框架進(jìn)行了安全性評(píng)測(cè)，從7款機(jī)器學(xué)習(xí)框架(包含當(dāng)前應(yīng)用最廣泛的TensorFlow、PyTorch等)中發(fā)現(xiàn)漏洞150多個(gè)，框架供應(yīng)鏈漏洞200多個(gè)。該結(jié)果與2017年曝光的TensorFlow、Caffe和Torch三個(gè)平臺(tái)存在DDoS攻擊、躲避攻擊、系統(tǒng)宕機(jī)等威脅相印證；2024年8月，知名開源大模型軟件庫(kù)llama.cpp被發(fā)現(xiàn)在加載模型和分布式推理場(chǎng)景中存在著多個(gè)安全漏洞，其中影響最大的漏洞是CVE-2024-42479(CVSS評(píng)分為9.8/10),表明存在較高的利用風(fēng)險(xiǎn)，如若被組合利用可實(shí)現(xiàn)遠(yuǎn)程命令執(zhí)行。(2)硬件產(chǎn)品的安全漏洞日益嚴(yán)峻當(dāng)前，人工智能算法主要依托GPU進(jìn)行開發(fā)和應(yīng)用，最具代表性的就是英偉達(dá)生產(chǎn)的GPU板卡。但是近年來英偉達(dá)G