人工智能應用系統(tǒng)內(nèi)生安全藍皮書

人工智能應用系統(tǒng)內(nèi)生安全藍皮書中國通信學會內(nèi)生安全專業(yè)技術(shù)委員會2024年11月專家組和撰寫組名單顧問(以姓氏筆劃為序):鄔江興張帆國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心教授黃瑞陽國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心教授成員(以姓氏筆劃為序):姓名單位職務國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心助理研究員國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心副教授復旦大學大數(shù)據(jù)研究院副院長尚玉婷復旦大學大數(shù)據(jù)研究院助理研究員李建鵬鄭州大學助理研究員李邵梅國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心副研究員高彥釗國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心副研究員撰寫組(按單位排名)單位姓名紫金山實驗室杜加玉紫金山實驗室紫金山實驗室苗馨遠紫金山實驗室紫金山實驗室董方旭紫金山實驗室楊秋龍紫金山實驗室紫金山實驗室紫金山實驗室紫金山實驗室周志中紫金山實驗室彭自文紫金山實驗室喬明起事物都是自在性矛盾的”,任何偉大的技術(shù)發(fā)明在創(chuàng)造前所未有的機AI應用系統(tǒng)可用性和可靠性，還能會觸及隱私保護、網(wǎng)絡安全、社因此，構(gòu)建一套能夠抵御內(nèi)外部威脅、確保AI健康可持續(xù)發(fā)展的安法證明不存在不確定性風險。AI應用系統(tǒng)涵蓋了從數(shù)據(jù)治理、模型能引入不確定性因素，主要表現(xiàn)在：一是AI應用系統(tǒng)運行環(huán)境仍基帶來基因缺陷”;另一方面，AI模型算法特有的“黑盒”效應具有AI應用系統(tǒng)之上的“達摩克利斯之劍”。現(xiàn)有AI安全防御方法主要依賴“亡羊補牢，吃一塹長一智”的2024年1月，人工智能(AI)新銳巨頭OpenAI公司的創(chuàng)始人兼AI帶來的技術(shù)革命不同于以往，而是成為了一種“不可思議的提高生產(chǎn)力的工具”。作為最具顛覆性的新興技術(shù)之一，AI發(fā)展在為人類社會經(jīng)濟發(fā)展帶來巨大紅利的同時，也引發(fā)了一系列現(xiàn)實危害和風險挑戰(zhàn)，主要包括數(shù)據(jù)竊取、隱私泄露、算法歧視、對抗攻擊等安全威脅，它們不僅威脅著個人信息的保護，影響著企業(yè)的信譽和運營安全，甚至對國家安全也構(gòu)成了潛在的隱患，這些問題需要我們持續(xù)關(guān)注并采取有效措施加以防范和解決。當前人工智能應用系統(tǒng)的安全威脅是由于其網(wǎng)絡軟硬件運行環(huán)境和模型算法兩個層面存在的“內(nèi)生安全問題”所致。然而現(xiàn)有的人工智能應用系統(tǒng)安全防護模式和技術(shù)路線很少能跳出“盡力而為、問題歸零”的慣性思維，傳統(tǒng)的對抗訓練、挖漏洞、打補丁、封門補漏、查毒殺馬乃至設蜜罐、布沙箱等層層疊疊的附加式防護措施，在引入安全功能的同時不可避免地會引入新的內(nèi)生安全隱患。為創(chuàng)造性破解人工智能應用系統(tǒng)內(nèi)生安全難題，本藍皮書提出一種內(nèi)生安全賦能人工智能應用系統(tǒng)構(gòu)建的方法，利用內(nèi)生安全機理中內(nèi)在的構(gòu)造效應，從體制機理上管控或規(guī)避人工智能應用系統(tǒng)面臨的破壞及威脅，進而有效提升人工智能應用系統(tǒng)在面對復雜多變安全環(huán)境時的應對能力，為AI技術(shù)的健康發(fā)展提供堅實保障。 1(一)人工智能應用系統(tǒng) 11.人工智能應用發(fā)展趨勢分析 22.人工智能應用系統(tǒng)分析 4 9 二、全球發(fā)展態(tài)勢 (一)全球人工智能發(fā)展現(xiàn)狀 (二)全球人工智能安全研究現(xiàn)狀 (三)全球人工智能安全產(chǎn)業(yè)發(fā)展現(xiàn)狀 (四)全球人工智能應用系統(tǒng)內(nèi)生安全發(fā)展現(xiàn)狀 21 23(一)產(chǎn)業(yè)發(fā)展狀況述評 (二)國內(nèi)相關(guān)研究成果 四、技術(shù)預見 30 301.數(shù)據(jù)安全風險 2.算法安全風險 3.模型安全風險 314.軟硬件運行環(huán)境安全風險 5.惡意使用風險 6.法律和倫理風險327.系統(tǒng)同質(zhì)化和系統(tǒng)性風險 (二)人工智能應用系統(tǒng)的風險成因分析 31.人工智能算法理論存在局限性 343.人工智能應用系統(tǒng)要素缺乏安全性 34 35 1.人工智能應用系統(tǒng)的內(nèi)生安全共性問題 2.人工智能應用系統(tǒng)的內(nèi)生安全個性問題 3.人工智能應用系統(tǒng)的廣義功能安全問題 (四)人工智能應用系統(tǒng)內(nèi)生安全框架 401.內(nèi)生安全賦能人工智能應用系統(tǒng)安全的機理 2.內(nèi)生安全賦能人工智能應用系統(tǒng)安全的特殊性 3.內(nèi)生安全賦能人工智能應用系統(tǒng)安全的可行性 4.內(nèi)生安全賦能人工智能應用系統(tǒng)構(gòu)建 (三)提升AI價值觀對齊能力 (四)建強AI應用系統(tǒng)安全環(huán)境 54 (一)加快推進人工智能應用系統(tǒng)立法保護 (二)加快人工智能應用系統(tǒng)供給側(cè)安全治理 (三)加快解決關(guān)鍵技術(shù)受制于人的短板問題 (四)加快建立國家級人工智能安全試驗場 (五)加快轉(zhuǎn)變教育范式培養(yǎng)負責任的開發(fā)者 60(六)不斷提高人工智能內(nèi)生安全治理的國際影響力 (七)建立健全人工智能應用系統(tǒng)風險等級劃分制度 參考文獻 一、研究概述(一)人工智能應用系統(tǒng)圖1顯示了人工智能產(chǎn)業(yè)鏈框架，主要分為上游的基礎(chǔ)層、中游術(shù)、人機交互五類，代表性企業(yè)有OpenAI、谷歌、微軟、英偉達、場景包括所有AI技術(shù)與傳統(tǒng)應用結(jié)合形成的產(chǎn)業(yè)種類，主要有語言2娛樂游戲產(chǎn)業(yè)娛樂游戲產(chǎn)業(yè)元宇宙游戲開發(fā)通用大語言模型自然語言處理機器問答知識圖譜算法模型軟件框架采集[清洗行業(yè)大語言模型音頻處理技術(shù)數(shù)據(jù)治理資產(chǎn)管理數(shù)據(jù)平臺數(shù)據(jù)安全危險應急倫理評估制造業(yè)工業(yè)控制 工業(yè)維護具身體智能類腦算法科學研究材料科學天文探索量子模擬計算機視覺3D建模醫(yī)療業(yè)醫(yī)療影像藥物研發(fā)遠程手術(shù)交通業(yè)導航定位智能駕駛智能物流金融業(yè)風險控制推薦系統(tǒng)人機客服人機交互視覺交互音頻交互SaaS技術(shù)基礎(chǔ)應用數(shù)據(jù)管理算力芯片1.人工智能應用發(fā)展趨勢分析在科技飛速發(fā)展的今天，人工智能這股新浪潮正以前所未有的速度沖擊著各個領(lǐng)域，改寫著人類的生活方式。從ChatGPT為代表的大語言單模態(tài)模型到AI文生圖等多模態(tài)生成模型，從煤礦到鐵路，從金融到教育，AI技術(shù)的影子無處不在。人工智能作為當今世界科技革命和產(chǎn)業(yè)變革的關(guān)鍵領(lǐng)域，其產(chǎn)業(yè)應用的發(fā)展趨勢呈現(xiàn)出多元化、深度滲透和廣泛應用的特點。(1)技術(shù)創(chuàng)新持續(xù)升級隨著計算能力的不斷提高和邏輯算法的不斷優(yōu)化，人工智能技術(shù)將更加成熟。深度學習、強化學習、神經(jīng)網(wǎng)絡、語言大模型、多模態(tài)預訓練大模型等核心技術(shù)的不斷進步，提升了語音識別、圖像處理、自然語言理解等領(lǐng)域的準確性和效率。當前多模態(tài)預訓練大模型正成為AI大模型的主流形態(tài)，堪稱當今人工智能產(chǎn)業(yè)的“標配”。(2)行業(yè)應用加速擴展3人工智能正應用于眾多行業(yè)和領(lǐng)域，成為推動傳統(tǒng)產(chǎn)業(yè)升級和新興產(chǎn)業(yè)成長的重要力量。智能制造、智能醫(yī)療、智能交通、智慧城市等已經(jīng)成為人工智能應用的熱點領(lǐng)域。特別是生成式人工智能技術(shù)的飛躍式發(fā)展，其在廣告營銷、游戲創(chuàng)作、藝術(shù)設計等創(chuàng)造性工作場景與行業(yè)中，正得到更為廣泛的應用。一方面，創(chuàng)意屬于稀缺資源，人創(chuàng)造性對激發(fā)靈感、輔助創(chuàng)作、驗證創(chuàng)意等大有裨益，另一方面，互聯(lián)網(wǎng)大規(guī)模普及使得“一切皆可在線”,數(shù)字內(nèi)容消費需求持續(xù)旺盛，AIGC能更低成本、更高效率地生產(chǎn)內(nèi)容，其經(jīng)濟性愈發(fā)凸顯。(3)智能化服務成為常態(tài)智能客服、智能助手等智能化服務將更加普及，成為人們?nèi)粘Ｉ詈凸ぷ髦胁豢苫蛉钡囊徊糠帧Ｍ瑫r，基于人工智能的大數(shù)據(jù)分析能力，企業(yè)將能夠提供更加精準和個性化的服務。由于ChatGPT在文本對話領(lǐng)域表現(xiàn)出的和人類行為的相似性，其被認為是人類通往通用人工智能(ArtificialGeneralIntelligence,AGI)道路上的里程碑式產(chǎn)品。2023年7月，AI科學家李飛飛團隊公布了利用大型語言模型 (LargeLanguageModels,LLMs)和視覺語言模型(Vision-LanguageModels,VLMs)驅(qū)動的機器人項目VoxPoser,人類可以用自然語言給機器人下達指令，機器人直接能夠理解指令語義并做出相應動作，而無需額外數(shù)據(jù)和訓練。這些技術(shù)將推動智能化服務產(chǎn)業(yè)進入拓寬加(4)倫理安全重視程度提高隨著人工智能技術(shù)的深入應用，深度神經(jīng)網(wǎng)絡大模型的預訓練和大規(guī)模人機交互中的強化學習技術(shù)正在推動人工智能向認知發(fā)展導4臨的重大挑戰(zhàn)。2023年11月，包括英國、美國、歐盟、澳大利亞和中國等在內(nèi)的28個國家和地區(qū)共同簽署了《布萊切利宣言》,旨在(5)算力資源需求持續(xù)增長“多元異構(gòu)、軟硬件協(xié)同、綠色集約、云邊端一體化”四大特征。(6)應用安全問題日益突出程中的透明性和可控性。但是，因為目前人工智能具有不可解釋2.人工智能應用系統(tǒng)分析5(1)城市公共安全領(lǐng)域如盜竊、暴力等，發(fā)出警報并提供相關(guān)信息。例如在張學友2018年后追蹤到80多名犯罪分子，順利將他們抓捕歸案。②社交媒體監(jiān)測(2)金融服務領(lǐng)域6用。主要應用系統(tǒng)有：①金融風險評估系統(tǒng)：該系統(tǒng)利用人工智能和大數(shù)據(jù)分析技術(shù)來評估金融領(lǐng)域風險，它通過分析大量的金融數(shù)據(jù)和市場信息，利用人工智能算法，幫助金融機構(gòu)和投資者識別、評估和管理各種金融風險，以支持金融決策和風險管理。②欺詐檢測系統(tǒng)：通過分析大量的金融數(shù)據(jù)和交易信息，幫助金融機構(gòu)和支付服務提供商發(fā)現(xiàn)潛在的欺詐行為，準確識別信用卡欺詐、網(wǎng)絡詐騙、洗錢等不該系統(tǒng)能夠根據(jù)投資者的風險偏好、投資目標和市場情況，利用人工智能技術(shù)為投資者提供個性化投資建議和服務，系統(tǒng)會根據(jù)投資者的目標和風險偏好，選擇適合的資產(chǎn)類別、投資品種和配置比例，幫助投資者更好地理解市場趨勢和風險，提供更準確的投資建議，同時實現(xiàn)交易的自動化執(zhí)行。(3)醫(yī)療保健領(lǐng)域人工智能技術(shù)在影像診斷、疾病預測、智能醫(yī)療設備等領(lǐng)域中廣泛應用。主要應用系統(tǒng)有：①醫(yī)學影像分析系統(tǒng)：利用深度學習和計算機視覺技術(shù)，對醫(yī)學影像進行自動分析和診斷，如腫瘤檢測、疾病分類等。②個性化醫(yī)療推薦系統(tǒng)：根據(jù)患者的病歷數(shù)據(jù)和基因組信息，人工智能技術(shù)可以提供更精確的診斷和治療方案，并在早期發(fā)現(xiàn)疾病，可以輔助醫(yī)生進行疾病診斷，提供更準確的診斷結(jié)果和治療建議，為患者提供個性化的治療方案和藥物推薦。③醫(yī)療機器人系統(tǒng)：結(jié)合機器人和人工智能技術(shù)，用于手術(shù)輔助、康復治療和護理服務等。人工智能可以模擬醫(yī)生的思維和診斷推理，通過大量學習醫(yī)學影像，可以幫助醫(yī)生進行病灶區(qū)域定位，給出患者可靠的診斷和治療方案，減少漏診誤診的問題；同時像骨科、泌尿外科、婦產(chǎn)科、神經(jīng)外科等多個7醫(yī)學領(lǐng)域中，手術(shù)機器人能夠極大地提高手術(shù)的精準率而被廣泛使用。④智能醫(yī)療大數(shù)據(jù)分析系統(tǒng)：利用人工智能和大數(shù)據(jù)分析技術(shù)來處理和分析醫(yī)療領(lǐng)域大規(guī)模數(shù)據(jù)的系統(tǒng)，它通過對醫(yī)療數(shù)據(jù)的深度分析和挖掘，為醫(yī)療服務提供者、患者和醫(yī)療決策者提供精準、高效的決策支持，如傳染病監(jiān)測與防控策略制定、藥物研發(fā)支持等。(4)零售和電子商務領(lǐng)域人工智能技術(shù)可以幫助零售商和電商平臺提供更好的產(chǎn)品和服務，提高銷售效率和用戶體驗。以下是一些常見的人工智能應用系統(tǒng)：①智能推薦系統(tǒng)：推薦系統(tǒng)利用機器學習和數(shù)據(jù)分析技術(shù)，通過分析用戶的購買記錄、點擊行為和社交媒體數(shù)據(jù)，構(gòu)建用戶的興趣和需求模型，根據(jù)用戶的歷史行為和偏好，為他們推薦個性化的產(chǎn)品和服務，提高銷售轉(zhuǎn)化率和用戶滿意度。②機器人客服：聊天機器人利用自然語言處理和機器學習技術(shù)，與用戶進行自動化的對話交互，如在電商領(lǐng)域，機器人客服可以回答用戶的問題、提供產(chǎn)品建議、處理訂單和退款等事務性任務，提供即時的客戶服務和支持，提高用戶體驗和客戶滿意度。③智能供應鏈管理系統(tǒng)：利用數(shù)據(jù)分析和預測算法，優(yōu)化零售和電商平臺的供應鏈管理，如通過分析銷售數(shù)據(jù)、庫存情況和交通運輸信息，供應鏈優(yōu)化系統(tǒng)可以預測需求、優(yōu)化庫存管理、提高配送效率，減少成本和提供更快的交付服務。(5)生產(chǎn)制造領(lǐng)域人工智能技術(shù)在智能裝配線、智能機器人等領(lǐng)域中廣泛應用。主要應用系統(tǒng)包括：①智能生產(chǎn)調(diào)度系統(tǒng)：通過實時監(jiān)測和分析生產(chǎn)數(shù)據(jù)，可以幫助發(fā)現(xiàn)生產(chǎn)流程中的瓶頸，提出改進建議，優(yōu)化生產(chǎn)計劃和資源分配，提高生產(chǎn)效率和質(zhì)量。②預測維護系統(tǒng)：利用機器學習8和傳感器數(shù)據(jù)，預測設備故障和維護需求，從而提前進行維護，減少停機時間和維修成本。③自動化智能機器人系統(tǒng)：結(jié)合機器人和人工智能技術(shù)，使得生產(chǎn)制造領(lǐng)域的機器人能夠在更復雜的環(huán)境中工作，執(zhí)行更精細的任務，如組裝、包裝、搬運等，實現(xiàn)自動化的生產(chǎn)和裝配，提高生產(chǎn)線的靈活性和效率。(6)交通和物流領(lǐng)域人工智能技術(shù)在交通調(diào)度、智能駕駛等領(lǐng)域廣泛應用。主要應用系統(tǒng)包括：①智能交通管理系統(tǒng)：利用實時交通數(shù)據(jù)和優(yōu)化算法，實現(xiàn)智能信號控制和交通流量優(yōu)化，減少擁堵和提高道路利用率，并能夠預測未來一段時期內(nèi)的交通模式，提前規(guī)劃交通流量。②自動駕駛技術(shù)：以雷達、激光雷達等傳感器等基礎(chǔ)，結(jié)合計算機視覺和機器學習，實現(xiàn)自動駕駛車輛的感知、決策和控制，使自動駕駛汽車可以在沒有人類干預的情況下導航和駕駛，提高交通安全和效率。③物流智能調(diào)度系統(tǒng)：通過數(shù)據(jù)分析和路徑規(guī)劃算法，優(yōu)化貨物的運輸路線和配送計劃，減少運輸成本和時間，自動計算貨物的裝載方案，最大化利用運輸工具的裝載空間。(7)農(nóng)業(yè)領(lǐng)域人工智能技術(shù)可以幫助農(nóng)業(yè)領(lǐng)域人員提高農(nóng)業(yè)生產(chǎn)效率、優(yōu)化資源利用、增強農(nóng)作物和養(yǎng)殖的管理能力。常見的系統(tǒng)包括：①農(nóng)作物生長監(jiān)測系統(tǒng)：該系統(tǒng)可以通過使用傳感器、遙感技術(shù)和圖像識別等技術(shù)，實時監(jiān)測農(nóng)作物的生長環(huán)境以及生長狀況，包括土壤濕度、氣候條件、病蟲害情況等，并提供農(nóng)作物的生長預測、灌溉建議和病蟲害預警，幫助農(nóng)民優(yōu)化農(nóng)作物的管理和決策。②智能化農(nóng)機系統(tǒng)：該系統(tǒng)利用人工智能和自動化技術(shù)，將傳感器、攝像頭和機器學習算法9應用于農(nóng)業(yè)機械設備，實現(xiàn)農(nóng)機的智能化操作，如根據(jù)土壤條件和作物需求自動調(diào)整播種深度和密度，提高播種效率和作物產(chǎn)量。③農(nóng)產(chǎn)品質(zhì)量檢測系統(tǒng)：該系統(tǒng)利用計算機視覺和機器學習算法，通過農(nóng)產(chǎn)品的圖像分析，自動識別并評估產(chǎn)品的大小、顏色、瑕疵等特征，對農(nóng)產(chǎn)品進行質(zhì)量檢測和分級，提供質(zhì)量評估和分級結(jié)果，幫助農(nóng)產(chǎn)品的銷售和市場定位。④農(nóng)業(yè)供應鏈管理系統(tǒng)：這種系統(tǒng)利用物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能技術(shù)，實現(xiàn)農(nóng)產(chǎn)品的溯源和供應鏈管理，實現(xiàn)對農(nóng)產(chǎn)品的生產(chǎn)、加工、運輸和銷售信息的全鏈條追溯，提供農(nóng)產(chǎn)品的溯源證明、質(zhì)量追蹤和供應鏈可視化，增加消費者對農(nóng)產(chǎn)品的信任和透明度。多樣化智能化系統(tǒng)證明了人工智能技術(shù)龐大的應用價值。隨著人工智能應用系統(tǒng)的增多，應用安全問題自然日益突出，已經(jīng)成為了個體、企業(yè)與社會面臨的重大挑戰(zhàn)。面對快速發(fā)展的技術(shù)與應用，如何增強應用系統(tǒng)的安全性成為了系統(tǒng)推廣急需解決的問題。人工智能模型的不可解釋性等問題使得安全挑戰(zhàn)難以應對，同時，其依賴的軟件系統(tǒng)和硬件環(huán)境等也潛藏著未知的安全風險。這些問題的疊加讓安全形勢更加嚴峻，亟需一套新的防御思路與安全框架，以構(gòu)建安全可靠的應用系統(tǒng)。德國哲學大師黑格爾曾經(jīng)說過，“一切事物都是自在的矛盾，矛盾是一切運動和生命力的根源”。從一般哲學意義上講：自然界或人工系統(tǒng)中不存在邏輯或數(shù)學意義上的“當且僅當?shù)墓δ堋?即不存在沒有矛盾或缺陷的事物；從經(jīng)典可靠性和傳統(tǒng)功能彈性理論出發(fā)：沒有一個人工設計與制造的物理或邏輯實體是“完美無缺”的，例外的情況是普遍存在的。這些泛在性矛盾問題，在各種干擾或擾動因素作用下，其全生命周期內(nèi)總存在不同前提、不同程度的功能失效問題，即存在內(nèi)生安全問題。從具體層面認知，在網(wǎng)絡安全方面我們可以觀察到以下現(xiàn)象：為保證網(wǎng)絡信息的機密性、可用性和完整性，數(shù)字加密認證成為不可或缺的技術(shù)措施，但這也會給數(shù)字資源的便利性帶來使用上的諸多不便；智能手機能為人們在電話通信、互聯(lián)網(wǎng)瀏覽、電子游戲、電子支付等方面帶來極大便利，但是同時也會帶來敏感信息泄漏或私有財產(chǎn)方面的損失。內(nèi)生安全問題的本質(zhì)是事物內(nèi)在矛盾性的表達，那么網(wǎng)絡空間內(nèi)生安全問題的本質(zhì)就是信息物理系統(tǒng)內(nèi)在安全性矛盾的表達，具有存在的必然性、呈現(xiàn)的偶然性和認知的時空局限性等基本特征，其突出表現(xiàn)是構(gòu)成信息物理系統(tǒng)基礎(chǔ)的軟硬件元素存在內(nèi)生安全“基因缺陷”。內(nèi)生安全問題是結(jié)構(gòu)性矛盾決定了不可能割裂處理更不可能從根本上被消除，只能不斷演進轉(zhuǎn)化或和解。內(nèi)生安全是指一種網(wǎng)絡空間安全的理念和技術(shù)體系，它強調(diào)在網(wǎng)絡信息系統(tǒng)設計之初就要考慮到安全性，而不是事后附加的安全措施。內(nèi)生安全的核心思想是通過在網(wǎng)絡信息系統(tǒng)的設計階段融入特定的安全機制，使得網(wǎng)絡信息系統(tǒng)在面對威脅時具有自我保護的能力。即內(nèi)生安全強調(diào)的是安全與系統(tǒng)的內(nèi)在聯(lián)系，即安全功能成為系統(tǒng)架構(gòu)的一部分，而非外部附加的功能。隨著AI技術(shù)的發(fā)展及其在各個領(lǐng)域的廣泛應用，人工智能系統(tǒng)的安全性變得越來越重要，在諸如金融服務、醫(yī)療保健、交通控制等(三)研究意義風險。如2023年11月，韓國一名40多歲的男子在一個農(nóng)業(yè)配送中如2024年3月，攻擊者利用開源人工智能框架Ray中的安全漏洞，發(fā)動一場名為“ShadowRay”的攻擊活動，成功入侵了數(shù)千家公司的網(wǎng)絡服務器，盜取大量敏感數(shù)據(jù)。2024年3月，美國網(wǎng)絡安全公司的報告，前瞻警告了2024年人工智能的各種可能惡意用例，測試了2023年10月18日，習近平主席在第三屆“一帶一路”國際合作高峰論壇開幕式主旨演講中提出《全球人工智能治理倡議》,強調(diào)要推動建立風險等級測試評估體系，實施敏快速有效響應，各研發(fā)主體不斷提高人工智造可審核、可監(jiān)督、可追溯、可信賴的人工智能技英國發(fā)起并舉辦首屆“全球人工智能安全峰會”,英國、美國、中國等28國及歐盟共同簽署首個全球性人工智能聲明《布萊切利宣言》,隨著深度學習技術(shù)的進步，特別是2016年AlphaGo戰(zhàn)勝人類圍棋選全球社會發(fā)展和經(jīng)濟增長的關(guān)鍵驅(qū)動力。然而AI在復雜任務上的可靠性、穩(wěn)定性、可解釋性方面仍面臨著較大的挑戰(zhàn)，因此AI的安全2024年4月，斯坦福大學以人為本人工智能研究所發(fā)布《2024年人工智能指數(shù)報告》,指出人工智能已在圖像分類、視覺推理、英語升級進步快等新特點。如2024年9月，谷歌DeepMind公司公布了一項名為AlphaChip的強化學習方法，可在數(shù)小時內(nèi)生成Model,LLM)技術(shù)誕生，引爆了新一輪人工智能的全球研究熱潮，各國紛紛投入或加強對AI大模型的研究，其中美國、中國成果頻出，引領(lǐng)產(chǎn)業(yè)發(fā)展。以OpenAI的GPT-4和谷歌的Gemini為代表的先進了前所未有的處理能力，多模態(tài)大模型技術(shù)的進步，以LLM為基礎(chǔ)浪潮?！?024年人工智能指數(shù)報告》顯示，2023年投資生成式人工智能的資金大幅激增，比2022年增長了近八倍，達到252億美元，有力地證明了生成式人工智能在當前技術(shù)發(fā)展中的重要地位和廣泛隨著大模型在社會生產(chǎn)和生活各個領(lǐng)域的“主體化”,大模型的人工智能武器化，WormGPT、PoisonGPT、EvilGPT等一批惡意人帶來了新的嚴峻挑戰(zhàn)。而像Degravel1]等提出的將AI應用于核聚變(二)全球人工智能安全研究現(xiàn)狀由于人工智能存在著算法偏見、數(shù)據(jù)隱私泄露、對抗樣本攻主要目的是生成能通過異常檢測器并影響分類器準確性的中毒訓練樣本，盡管該方法在K-最近鄰(KNN)和二叉決策樹(BDT)等算法上表現(xiàn)良好，但在隨機森林(RF)和深度神經(jīng)網(wǎng)絡(DNN)上效提出了一種基于分析的不公平性正則化方法來解決算法偏見。 (Model-agnostic)和模型特定(Model-specific)兩大類。Akram等人[261提出了一種名為StaDRe(統(tǒng)計距離可靠性)的度量指標，通過利用經(jīng)驗累積分布函數(shù)(ECDF)的統(tǒng)計距離測量，評估機器學習預測技術(shù)在時間序列數(shù)據(jù)中的可靠性，并能夠檢測數(shù)據(jù)分布的變化。在實際應用中，對人工智能應用系統(tǒng)進行有效監(jiān)控以確保其安全控系統(tǒng)，該系統(tǒng)集成了黑箱和白箱監(jiān)控器，用于確保由機器學習算法驅(qū)動的網(wǎng)絡物理系統(tǒng)的安全性；一旦監(jiān)測到異常，系統(tǒng)將自動切換至安全模式，對決策過程和結(jié)果進行全面的安全審查。鑒于人工智能系統(tǒng)是通過人類生成的數(shù)據(jù)進行訓練，而這些數(shù)據(jù)可能內(nèi)含偏見，因此，種定制化的概率測量方法用于偏見檢測，通過生命周期活動中獲得的先驗知識來指導統(tǒng)計推斷，以揭示和理解未標記及非結(jié)構(gòu)化數(shù)據(jù)集中的潛在偏見。人工智能模型算法的“黑箱”理論[44],意味著算法的決策過程對其創(chuàng)建者也不透明。因此將這些系統(tǒng)用于更復雜和風險更高的活動時，準確解釋AI系統(tǒng)的預測是至關(guān)重要的?？山忉屓斯ぶ悄?XAI)是一套用于理解和說明AI系統(tǒng)所做決策的程序。為了提高AI系統(tǒng)的魯棒性，數(shù)據(jù)增強、領(lǐng)域遷移和協(xié)變量偏移(CovariateShift)等技術(shù)常被用來增強模型對未知數(shù)據(jù)和輸入特征變化的適應能力。其中數(shù)據(jù)增強通過擴展和轉(zhuǎn)換現(xiàn)有數(shù)據(jù)來生成新數(shù)據(jù)；領(lǐng)域遷移則幫助模型在源領(lǐng)域和目標領(lǐng)域之間進行有效泛化；協(xié)變量偏移技術(shù)是指調(diào)整輸入特征分布，以確保模型在不同場景中繼續(xù)有效。盡管大模型技術(shù)在處理復雜任務時展現(xiàn)強大的自然語言理解、意圖識別、推理、內(nèi)容生成等能力，且具有通用問題求解能力，被視作通往通用人工智能的重要路徑。然而大模型(LLM)卻普遍面臨著生全和隱私風險[49]等問題。常見的大模型攻擊方法主要有提示攻擊越獄攻擊和(Ⅱ)提示注入攻擊；對抗攻擊[52][53],包括(I)后門攻擊和(Ⅱ)數(shù)據(jù)中毒攻擊。此外大模型還面臨著后門攻擊和數(shù)據(jù)中毒攻擊，其中數(shù)據(jù)中毒攻擊通過注入樣本來損害訓練模型；而后門攻擊則機構(gòu)研究人員對GPTol-previe發(fā)現(xiàn)即使是最強的LLM比如GPTol-preview也是不可靠的。為保障大模型安全，研究者們提出了許多思路與方法。但受限于單一大模型的訓練成本，如何使得LLM更加魯棒是當前最大的難題。即使是當前主流的指令調(diào)整也被證明為不可靠的[56],因此基于多個大模型來進行安全生成輸出是提高大模型結(jié)果魯棒性與準確性的重要做法，如使SmoothLLM[58]也利用多次對模型的輸入然后聚合相應的預測以檢測對抗性輸入。(三)全球人工智能安全產(chǎn)業(yè)發(fā)展現(xiàn)狀據(jù)PrecedenceResearch市場數(shù)據(jù)統(tǒng)計預測，得益于各國政府的大力政策支持，全球人工智能企業(yè)數(shù)量正以驚人的速度增長，人工智能產(chǎn)業(yè)蓬勃發(fā)展。2023年全球人工智能(AI)市場規(guī)模已經(jīng)達到了約11879億元，而到2030年，全球人工智能(AI)市場規(guī)模將實現(xiàn)飛躍式增長，預計將達到驚人的114554億元。這一增長表明，從2023年至2030年，全球人工智能市場將實現(xiàn)超過35%的復合增長率，凸的實力和創(chuàng)新能力。截至2023年，全球人工智能企業(yè)分布中，美國企業(yè)數(shù)量以34%的占比穩(wěn)居榜首，而中國企業(yè)和英國企業(yè)則分別以16%、7%的占比位列第二和第三。這三個國家在人工智能企業(yè)數(shù)量上總共有291家，其中美國獨占131家，而中國也擁有108家此外，其一全球趨勢，努力提升自身在人工智能領(lǐng)域的地位和影響力對AI的可靠性風險，如模型幻覺或錯誤輸出等表示關(guān)注。潛在的緩解措施可能包括管理低置信度的輸出或?qū)嵤└采w各種場景的綜合測試用例。在對超過1,000個組織的調(diào)查中，45%的組織認為可靠性風險與他們的AI采納策略相關(guān)。在這些組織中，13%已經(jīng)全面實施了超過一半的調(diào)查措施，而75%則已實施至少一種但不到一半的措施。此外，12%的受訪者承認沒有完全落實任何可靠性措施。全球平均水平為實施了6項調(diào)查措施中的2.16項。調(diào)查還詢問了組織對安全風險的關(guān)注程度，其中47%承認這些風險的相關(guān)性。結(jié)果顯示，28%的組織已全面實施了超過一半的建議安全措施，而63%的組織則已全面實施了至少一種但不到一半的措施。此外，10%的組織報告稱沒有完全落實任何AI安全措施。平均而言，公司在五項調(diào)查措施中采用了1.94項。大多數(shù)組織(88%)表示同意或強烈同意，認為開發(fā)基礎(chǔ)模認為生成式AI帶來的潛在威脅足夠重大，需要全球達成一致的治理工智能安全治理體系，成為全球共同面臨的時代課題。2023年10月命令》,2024年2月美國宣布成立人工智能安全研究所聯(lián)盟，并得到200多家領(lǐng)先的人工智能利益相關(guān)者的支持，旨在建立在人工智能在2023年10月提出《全球人工智能治理倡議》,提出各國應秉持共Cohere、Chainguard、WIZ、GenLab等14家領(lǐng)先企業(yè)，于2024年5月共同成立了安全人工智能聯(lián)盟(CoSAI),旨在通過共享資源、標準化框架和工具，構(gòu)建一個協(xié)作的生態(tài)系統(tǒng)，確保AI系統(tǒng)的安全性和透明度。CoSAI的成立，為全球AI產(chǎn)業(yè)的健康發(fā)展提供了有力保障。我國也于2024年9月發(fā)布《AI安全產(chǎn)業(yè)圖譜(2024)》,收錄信服、天融信、啟明星辰等安全企業(yè)的164項AI安全產(chǎn)品、技術(shù)、關(guān)注的重點。AI安全解決方案已經(jīng)不斷細化和專業(yè)化，行業(yè)將進一(四)全球人工智能應用系統(tǒng)內(nèi)生安全發(fā)展現(xiàn)狀2023年，全球立法程序中有2175次提及人工智能，幾乎是上一年的兩倍。2023年美國在聯(lián)邦層面通過的與人工智能有關(guān)的法案占所有法案的比重從2%躍升至10%,翻了5倍。分析這些法案及規(guī)則注人工智能應用系統(tǒng)安全。2020年美國發(fā)布了《促進聯(lián)邦政府使用標強化人工智能應用系統(tǒng)治理”;2023年10月美國發(fā)布《關(guān)于安全、可靠和可信的人工智能行政命令》,11月美英成立人工智能應用安全研究所(AISafetyInstitute);智能法案》,從制度上推動形成區(qū)域聯(lián)盟，共同管控人工智能應用中人工智能時代“盎格魯-撒克遜”話語體系。2023年4月，美及五眼聯(lián)盟發(fā)布了《改變網(wǎng)絡安全風險的平衡：設計安全和默認安全的原則和方法》指南，指出數(shù)字系統(tǒng)的安全必須從設計、制造階段就開始部署，以實現(xiàn)“設計安全”(Secure-by-Design),并提供“開箱即用” (Out-of-Box)的“默認安全”(Secure-by-Default)產(chǎn)品，以達成“幾乎無需用戶額外配置即具備的安全能力”。三是將一體化解決信息安全和功能安全問題作為技術(shù)路徑。美國在2023年《人工智能研究和發(fā)展戰(zhàn)略計劃》中，強調(diào)人工智能一體化安全(Safety&Security),提出單純的功能安全不能確保網(wǎng)絡安全，要從單純的功能安全向網(wǎng)絡安全與功能安全(乃至信息安全)一體化知失效”的新型安全拓展。2023年8月，美國能源部發(fā)布《國家網(wǎng)絡知情工程戰(zhàn)略》實施計劃，鼓勵技術(shù)制造商開發(fā)符合設計安全和默認安全要求的產(chǎn)品，客戶無需再通過應用另一套補丁程序等修復系統(tǒng)來實現(xiàn)安全。該計劃倡導將安全融入數(shù)字產(chǎn)品的設計制造中，防止制造商將脆弱的產(chǎn)品引入市場。四是將防范未知風險和“未知的未知”風險作為關(guān)鍵目標。歐盟高度關(guān)注人工智能系統(tǒng)潛在安全風險，指出“人工智能技術(shù)嵌入產(chǎn)品和服務時對安全的忽視正在引發(fā)新的風險”。事實上，人工智能開發(fā)者雖能意識到風險，但并未優(yōu)先考慮安全性。2024年6月IBM發(fā)布的調(diào)查指出，生成式人工智能的安全性是事后才想到的，82%的高管表示值得信賴和安全的人工智能至關(guān)重要，但真正做到在生成式人工智能項目中嵌入安全組件的卻只有24%。為此，美國科學、工程與醫(yī)學院專門設置研究論壇，探討新型數(shù)字系統(tǒng)面對未知安全風險時保持安全、抵抗退化以及從不良事件中恢復的能力。五是將人工智能應用系統(tǒng)置信度研究作為亟待突破的方向。美國國家網(wǎng)絡安全卓越中心NCCoE、NIST于2022年11月發(fā)布人工智能應用系統(tǒng)的安全計劃《減輕人工智能/機器學習的偏差》,旨在建立“人工智能系統(tǒng)的測試、評估、驗證和確認(TEVV)實踐”,通過對系統(tǒng)全生命周期的四大場景(預處理數(shù)據(jù)集、模型分析訓練、模型推理訓練、決策流中的人機對齊)來度量可信度。今年，美國發(fā)布《聯(lián)邦網(wǎng)絡安全研究與發(fā)展戰(zhàn)略計劃(2024-2027)》,提出要建立包括智能系統(tǒng)在內(nèi)的數(shù)字系統(tǒng)可信度評估新方法，以確保數(shù)字系統(tǒng)以及相互作用的各方和各組成部分之間建立信任。三、我國發(fā)展現(xiàn)狀(一)產(chǎn)業(yè)發(fā)展狀況述評自2017年國務院印發(fā)《新一代人工智能發(fā)展規(guī)劃》以來，國內(nèi)人工智能在多個領(lǐng)域的產(chǎn)業(yè)化應用取得了顯著進展，尤其在自動駕駛、醫(yī)學影像、金融、生成式AI等領(lǐng)域表現(xiàn)突出，給社會發(fā)展和人民生活帶來巨大的變革。根據(jù)《2024年中國人工智能行業(yè)全景圖譜》,我國人工智能市場規(guī)模突破5000億元。人工智能技術(shù)的不斷創(chuàng)新推動了應用場景的深度發(fā)展，牽動著以AIGC、數(shù)字人、多模態(tài)、AI大模型、智能決策為代表的技術(shù)浪潮。這些尖端技術(shù)為市場注入廣泛的可能性和巨大的增長潛力。同時國內(nèi)企業(yè)對自身數(shù)字化和數(shù)字化轉(zhuǎn)型的積極推動也催生了對人工智能技術(shù)多樣的需求，為我國人工智能市場規(guī)模的長期增長奠定了堅實基礎(chǔ)。國家“十四五”政策明確支持人工智能產(chǎn)業(yè)行業(yè)發(fā)展。據(jù)測算，2024-2029年期間，我國人工智能行業(yè)市場規(guī)模將進一步擴大，2029年市場規(guī)模將突破萬億大關(guān)，提前實現(xiàn)《新一代人工智能發(fā)展規(guī)劃》中2030年人工智能產(chǎn)業(yè)規(guī)模達到10000億元的規(guī)模目標。AI技術(shù)廣泛應用于各個領(lǐng)域的同時，模型自身的安全性問題也愈加凸顯。當前人工智能應用系統(tǒng)面臨安全性問題主要包括三個方面，對抗樣本攻擊、后門攻擊以及生成式AI的內(nèi)容安全性問題?！?024年中國人工智能行業(yè)全景圖譜》強調(diào)要推動人工智能朝著可靠可控方向發(fā)展，且圍繞數(shù)據(jù)保護已經(jīng)催生了大量從事隱私計算的企業(yè)，未來人工智能穩(wěn)定性、公平性等方面的技術(shù)也將會形成重要的力量，同時我國政府、行業(yè)組織、企業(yè)等已在人工智能治理方面率先開始探索，正在制定與人工智能相關(guān)的技術(shù)文檔與規(guī)范，以確保人工智能系統(tǒng)的可靠性和安全性。2017年國務院發(fā)布了《新一代人工智能發(fā)展規(guī)劃》,明確提出要加強人工智能的治理體系建設，包括研究AI倫理、隱私保護以及AI安全的規(guī)范，推動建立相關(guān)法律法規(guī)體系。2021年，國家互聯(lián)網(wǎng)信息辦公室發(fā)布了《網(wǎng)絡數(shù)據(jù)安全管理條例(征求意見稿)》,進一步強調(diào)了數(shù)據(jù)安全的重要性，涵蓋了人工智能相關(guān)的數(shù)據(jù)處理和隱私保護問題。2021年，《中華人民共和國個人信息保護法》正式施行，規(guī)范了AI技術(shù)在個人信息處理中的安全性，防止個人數(shù)據(jù)濫用，特別是在AI系統(tǒng)進行數(shù)據(jù)采集、分析、決策時的風險問題。2024年，全國網(wǎng)絡安全標準化技術(shù)委員會近日正式發(fā)布《人工智能安全治理框架》,針對模型算法安全、數(shù)據(jù)安全和系統(tǒng)安全等內(nèi)生安全風險和網(wǎng)絡域、現(xiàn)實域、認知域、倫理域等應用安全風險，提出相應技術(shù)應對和綜合防治措施，以及人工智能安全開發(fā)應用指引。在標準制定方面，國家標準化管理委員會牽頭推動了AI安全和治理相關(guān)的標準化工作。2019我國科技部發(fā)布《新一代人工智能治建人類命運共同體。2021年發(fā)布的《人工智能標準化白皮書》明確了我國在AI安全、倫理、隱私保護等方面的標準化工作目標。2023年我國發(fā)布《生成式人工智能服務管理暫行辦法》,對生成式AI應動人工智能技術(shù)的健康發(fā)展與安全應用，確保在快速發(fā)展的AI技術(shù)(二)國內(nèi)相關(guān)研究成果在頻域中利用量化篩選器有效捕捉使圖像正確分類的關(guān)鍵特征在頻通用對抗攻擊方法(Phonemicadversarialnoise,PAN),通過攻擊在功率不高以及生成質(zhì)量低等問題，提出了一種基于生成對抗網(wǎng)絡提出了基于區(qū)域感知的人臉對抗樣本生成方法(IG-FGSM)算法，利這些關(guān)鍵的特征使用I-FGSM方法施加擾動，從樣本生成方法(CoDE-AG)。這些攻擊方法的提出證明了目前多個領(lǐng)域的AI模型都存在著各種問題，同時也可以作為案例來指導防御在對抗攻擊防御領(lǐng)域，國內(nèi)研究者也在不斷探索如何特定場景下抗樣本防御方法需要大量對抗樣本且訓練后會降低對原始數(shù)據(jù)的識別準確率的問題，提出一種基于特征遷移的流量對抗樣本防御方法，使用堆疊自編碼器作為底層的防御模塊進行對抗知識學習，使其擁有對抗特征提取的能力，進而根據(jù)流量特征進行功能自適應構(gòu)造，通過防御+識別功能的拆分，降低了防御成本消耗并減少了對抗訓練對于原始數(shù)據(jù)識別準確率的影響，實現(xiàn)了快速適配且提高了模型防御彈性。測模型的堆疊集成對抗防御方法D-SE(DetectorStackingEnsemble),將對抗訓練引入檢測器訓練以提高其抵抗對抗攻擊的能力。同時在決策層中添加了一種基于投票和權(quán)重機制的聯(lián)合決策模塊，通過擇多判決機制和高權(quán)重者優(yōu)先機制避免最終預測結(jié)果過度依賴部分分類器，律失常分類中不能有效防御對抗樣本攻擊的問題，提出一種新型魯棒LipschitzConstraintsNet),其在特征提取階段通過通道激活抑制策略動態(tài)調(diào)整模型通道重要性，抑制非魯棒通道的表達，有效降低對抗樣本產(chǎn)生的信號增強效應。同時引入重視誤分類對抗訓練 魯棒性影響大的錯誤分類樣本進行正則化，提升模型防御對抗樣本攻型對抗樣本時表現(xiàn)較差的問題，提出特征惡意度的概念，通過計算特征的惡意程度對特征進行排序，利用排序后的特征構(gòu)建一個具有對抗防御能力的惡意軟件對抗防御模型FMP(FeatureMaliciousnessProcessing),并利用該模型提取待檢測軟件的高惡意度特征進行檢測，避免出現(xiàn)對抗擾動導致的模型錯誤分類問題。在后門攻擊方面，攻擊者在模型中注入特定的觸發(fā)器，使得模型在遇到觸發(fā)器時產(chǎn)生錯誤的行為。相比對抗樣本，后門攻擊更加隱蔽攻擊實現(xiàn)惡意流量逃逸的方法，通過在訓練過程添加毒化數(shù)據(jù)將后門植入模型，從而實現(xiàn)惡意流量逃逸；同時對不含觸發(fā)器的干凈流量正常判定，保證了模型后門的隱蔽性。在圖像分類領(lǐng)域，朱素霞等[70]針對目前大多數(shù)后門攻擊產(chǎn)生的后門圖像容易被人眼察覺，導致后門攻擊隱蔽性不足的問題，提出一種基于感知相似性的多目標優(yōu)化隱蔽圖像后門攻擊方法，使用感知相似性損失函數(shù)減少后門圖像與原始圖像之間的視覺差異，并采用多目標優(yōu)化方法解決中毒模型上任務間沖突的問題，從而確保模型投毒后性能穩(wěn)定。在語音識別領(lǐng)域，張書藝和基于音頻隱寫術(shù)的方法來觸發(fā)后門攻擊的條件。該攻擊方法一方面可以在語音片段中隱藏特定的信息，并對樣本進行特定的處理，僅通過修改樣本音頻文件的頻率和音高，而不改變被攻擊模型的結(jié)構(gòu)，使能體競爭環(huán)境，設計了一種環(huán)境狀態(tài)分布內(nèi)的觸發(fā)器，觸發(fā)器屬于環(huán)境中的正常狀態(tài)，使得觸發(fā)器不易被人類察覺。并且利用多智能體競爭環(huán)境中，智能體動作的輸出受對手狀態(tài)影響的特點，讓受害智能體的對手也參與到觸發(fā)器的形成，從而提高后門攻擊的隱蔽性和成功率。在后門防御方面，國內(nèi)研究者針對后門防御技術(shù)提出許多創(chuàng)新方法。在工業(yè)場景下的聯(lián)邦學習應用場景中，鑒于傳統(tǒng)的防御方案往往無法在聯(lián)邦學習架構(gòu)下發(fā)揮作用或者對早期攻擊防范能力不足，王迅況下利用后門模型的形成特點重構(gòu)后門觸發(fā)器，實現(xiàn)準確識別并移除的聯(lián)邦學習后門防御方法大多基于模型檢測的思想進行后門防御，而忽略了聯(lián)邦學習自身的分布式特性的問題，提出一種基于觸發(fā)器逆向的聯(lián)邦學習后門防御方法。該方法讓聚合服務器和分布式客戶端協(xié)作，利用觸發(fā)器逆向技術(shù)生成額外的數(shù)據(jù)，增強客戶端本地模型的魯棒性，本損失值變化統(tǒng)一性的后門樣本隔離方案，旨在凈化訓練數(shù)據(jù)，并盡可能地減少對干凈樣本的錯誤隔離。在強化學習領(lǐng)域，沈效羽等[76]針對原NeuralCleanse算法與原模型遺忘方法在強化學習場景中失效的問題，提出了基于NeuralCleanse與模型遺忘的后門防御方案。通過對當前后門逆向方法原理的分析，將NeuralCleanse優(yōu)化為適用于強化學習的后門逆向算法。隨著國際多種生成式模型的火熱發(fā)展，尤其是以大模型為代表的新型生成式人工智能的出現(xiàn)，如何確保生成式模型的內(nèi)容安全性成為當前研究中的重要議題。為了應對這些問題，國內(nèi)學者也進行探索嘗特征的投毒防御算法infoGAN_Defense,利用樣本原生特征的不變性進行投毒防御，引入樣本原生特征與人為特征的概念，采用耦合infoGAN結(jié)構(gòu)實現(xiàn)樣本特征的分離及提取。最后通過進行模型的重訓練，從而防止數(shù)據(jù)投毒攻擊的危害性。周林興等[79]針對LLM頻遭數(shù)據(jù)投毒攻擊而使分配器不受控暗中輸出黑化信息問題，設計投毒與黑化識別方案及模型，將其整合后形成情報感知方法運行機制。張明慧[80]對類ChatGPT模型大規(guī)模應用時帶來的安全風險隱患進行分析，進一步提出如何利用技術(shù)手段防范化解風險。針對生成式大模型的倫理安全性問題，劉志紅。分析了人工智能大模型在倫理方面可能引發(fā)的問題，如數(shù)據(jù)隱私、算法歧視和決策透明度等。針對這些問題，劉等提出加強數(shù)據(jù)保護、改進算法設計和提高透明度等措施。盡管國內(nèi)在生成式模型的安全性研究上取得了一定進展，但是當前的研究主要集中在數(shù)據(jù)投毒防御和生成內(nèi)容監(jiān)控等方面。針對于日益增長的新型安全威脅與模型復雜性日益增加的背景下，有效的防御手段仍顯不足。未來的研究應進一步探討如何構(gòu)建更具通用性、魯棒性和可解釋性的安全機制，加強對模型生成過程的全鏈路監(jiān)控與干預，確保生成內(nèi)容的合規(guī)性和道德性。此外，跨學科的合作，如倫理學、法律和計算機科學的交叉研究，將為推動生成式模型安全性和倫理性的發(fā)展提供新的視角。四、技術(shù)預見(一)人工智能應用系統(tǒng)的安全風險當前，人工智能技術(shù)的迅速發(fā)展，正在對經(jīng)濟發(fā)展、社會治理、人民生活產(chǎn)生重大而深刻的影響，給世界帶來巨大機遇。與此同時，人工智能技術(shù)也帶來日益嚴峻和復雜的風險?，F(xiàn)有的人工智能安全問題分類研究往往相對瑣碎且過于具體。人工智能應用系統(tǒng)的安全風險主要有：全風險是人工智能開發(fā)及應用企業(yè)對持有數(shù)據(jù)的全生命周期安全保2.算法安全風險法設計安全風險是在算法或?qū)嵤┻^程有誤可產(chǎn)生與預期不符甚至傷釋其背后的邏輯和依據(jù)，導致在關(guān)鍵領(lǐng)域(如醫(yī)療、金融、司法)中型竊取風險是指攻擊者可能會對模型進行成員推斷攻擊與數(shù)據(jù)竊取4.軟硬件運行環(huán)境安全風險軟硬件運行環(huán)境安全風險指人工智能系統(tǒng)應用過程中所依賴的練AI模型算法的軟件框架環(huán)境以及第三方的依賴庫問題；算力設施安全風險主要是GPU驅(qū)動和芯片漏洞問題；云平臺安全風險主要是虛擬化和Web平臺問題，用于深度學習任務的節(jié)點性能強大時，面惡意使用風險指不法分子可能會使用人工智能應用系統(tǒng)來做一6.法律和倫理風險7.系統(tǒng)同質(zhì)化和系統(tǒng)性風險CPU、GPU、TPU;編程語言主要是Python;深度學習框架應用最廣泛的是TensorFlow、Pytorch等，這些基礎(chǔ)設施的安全漏洞極易大范(二)人工智能應用系統(tǒng)的風險成因分析目前提升人工智能算法處理問題能力的主要做法提高模型的參反而更不可靠。即使當前最強大的人工智能算法也面臨著“災難性”知識或技能的現(xiàn)象。這種遺忘可能導致模型在新任務上產(chǎn)生性能下降，很難將之前學到的知識來遷移到新任務。2.人工智能算法結(jié)果難以解釋當前人工智能算法的參數(shù)量十分龐大，輸入數(shù)據(jù)通過復雜的非線性變換得到對應的輸出。在理論上分析輸入和輸出之間的關(guān)系成了一件幾乎不可能的事情。在實踐中，人們通常把人工智能算法為代表的機器學習模型看作是一個“黑匣子”,只能觀察到模型的輸入和輸出，而對算法產(chǎn)生預測和決策的過程和依據(jù)難以理解和描述，也很難預估人工智能算法決策結(jié)果可能帶來的負面影響。這種可解釋性問題使得人們在高度自動化的人工智能應用系統(tǒng)出現(xiàn)問題時，很難定位到問題所在并及時排除故障。3.人工智能應用系統(tǒng)要素缺乏安全性從狹義層面看，人工智能應用系統(tǒng)是指純粹提供人工智能算法服務的應用系統(tǒng)，其主要由三大核心要素組成，即數(shù)據(jù)、算法、算力。在數(shù)據(jù)層面，人工智能應用系統(tǒng)的性能很大程度上依賴于數(shù)據(jù)的質(zhì)量和完整性，如果訓練數(shù)據(jù)存在偏差、不準確或被惡意污染，人工智能模型可能會學習到錯誤的知識，從而在應用時產(chǎn)生預期之外的錯誤預測和決策；在算法層面，除人工智能應用系統(tǒng)所依賴的算法原理的缺陷外，算法還存在具體實現(xiàn)的軟件代碼層面的安全問題；在算力相關(guān)的硬件方面，人工智能應用系統(tǒng)運行環(huán)境中所使用的硬件產(chǎn)品同樣存在安全漏洞。此外與其他應用系統(tǒng)一樣，人工智能應用系統(tǒng)的實體也依托于信息物理系統(tǒng)而存在的，當其所依賴的底層軟件框架、軟件庫、操作系統(tǒng)和各種硬件平臺中存在的漏洞后門被攻擊者利用時，整個人工智能應用系統(tǒng)將會面臨被破壞、篡改和信息竊取的風險。4.法律、倫理和信任度等社會因素共同作用在法律層面，人工智能應用系統(tǒng)風險成因主要包括權(quán)責主體的確定、個人隱私和數(shù)據(jù)安全確認及知識產(chǎn)權(quán)相關(guān)問題。在倫理和道德層面，隱私問題、公平性問題和道德問題是關(guān)鍵的倫理風險。某些個體或群體使用人工智能系統(tǒng)進行社交媒體操縱、虛假信息傳播等行為也加劇了人工智能應用系統(tǒng)面臨的道德風險。在社會信任和接受度方面，一旦人工智能應用系統(tǒng)廣泛應用，可能對社會就業(yè)、公平性等方面產(chǎn)生重大影響，如果不能妥善解決，可能會引發(fā)社會公眾擔憂。(三)人工智能應用系統(tǒng)的內(nèi)生安全問題隨著以深度學習為代表的人工智能技術(shù)廣泛普及應用，其安全問題也越來越受到學術(shù)界、產(chǎn)業(yè)界，甚至是廣大社會的關(guān)注。盡管目前已經(jīng)存在人工智能系統(tǒng)安全防護方法，但總體上還是屬于“亡羊補牢”式的安全機制。因此本節(jié)以內(nèi)生安全理論的新視角去分析當前人工智能應用系統(tǒng)的安全問題。1.人工智能應用系統(tǒng)的內(nèi)生安全共性問題人工智能應用系統(tǒng)在本質(zhì)上仍然遵循馮·諾依曼架構(gòu)，即將程序指令和數(shù)據(jù)存儲在同一存儲器中，并通過中央處理單元(CPU)來執(zhí)行指令的計算機模型。因此人工智能應用系統(tǒng)不可避免存在著被各種漏洞后門攻擊的風險。(1)軟件的安全漏洞數(shù)量持續(xù)增加當前的TensorFlow、Torch、Caffe等國外平臺均被曝出過安全漏洞。據(jù)開源軟件社區(qū)GitHub數(shù)據(jù)顯示，2020年以來，TensorFlow被曝出安全漏洞百余個，可導致系統(tǒng)不穩(wěn)定、數(shù)據(jù)泄漏、內(nèi)存破壞等問題。2021年，360公司對國內(nèi)外主流開源人工智能框架進行了安全性評測，從7款機器學習框架(包含當前應用最廣泛的TensorFlow、PyTorch等)中發(fā)現(xiàn)漏洞150多個，框架供應鏈漏洞200多個。該結(jié)果與2017年曝光的TensorFlow、Caffe和Torch三個平臺存在DDoS攻擊、躲避攻擊、系統(tǒng)宕機等威脅相印證；2024年8月，知名開源大模型軟件庫llama.cpp被發(fā)現(xiàn)在加載模型和分布式推理場景中存在著多個安全漏洞，其中影響最大的漏洞是CVE-2024-42479(CVSS評分為9.8/10),表明存在較高的利用風險，如若被組合利用可實現(xiàn)(2)硬件產(chǎn)品的安全漏洞日益嚴峻當前，人工智能算法主要依托GPU進行開發(fā)和應用，最具代表光安全漏洞問題。2018年曝光的“熔斷”(Meltdown)和“幽靈” 等系列產(chǎn)品，基本涵蓋了英偉達大部分的產(chǎn)品線。2024年1月，據(jù)TrailofBits披露，蘋果、AMD、高通等多個品牌和型號的主流GPU被發(fā)現(xiàn)重大漏洞，這個漏洞可能會讓攻擊者能從GPU內(nèi)存中竊取大量數(shù)據(jù)，影響到在這些GPU上運行的大語言模型2.人工智能應用系統(tǒng)的內(nèi)生安全個性問題天下的深度神經(jīng)網(wǎng)絡(DeepNeuralNetworks,DNN)為例，其個性(1)DNN的“黑盒”特點導致了其結(jié)果缺作為一種典型的大數(shù)據(jù)驅(qū)動技術(shù)，DNN一大明顯特征就是“知其自我訓練的時間達到了恐怖的3天490萬盤，40天出山打遍天下DNN的學習訓練過程是對樣本數(shù)據(jù)的特征擬合過程，但由于樣是其ModelY型號自動駕駛汽車的車載圖像識別系統(tǒng)錯把白色半掛前人工智能應用系統(tǒng)對于目標事物的判識存在復雜場景下適應能力弱的局限性。2024年7月，當被問及“9.11和9.9兩個數(shù)字哪個大?”是對數(shù)據(jù)樣本的處理過程中，它們沒有將9.11和9.9當作數(shù)字，而是找模式和規(guī)律。通過算法，AI可以識別數(shù)據(jù)中的相關(guān)性，并用這些信息來做出預測或決策。然而AI的這種能力在很大程度上依賴于訓乏人類的直覺、經(jīng)驗和抽象思維能力，AI可能無法有效地理解和處3.人工智能應用系統(tǒng)的廣義功能安全問題(1)新域新質(zhì)的廣義功能安全風險愈發(fā)凸顯型如ChatGPT的人工智能系統(tǒng)具有知識生成的能力，打破了笛卡爾體”,打破了信息物理系統(tǒng)(Cyber-PhysicalSystems,CPS)與現(xiàn)實義安全風險，如圖2所示。物理空間網(wǎng)絡空間網(wǎng)絡安全圖2人工智能應用系統(tǒng)中泛在化存在的廣義功能安全問題(2)人工智能應用系統(tǒng)容易引發(fā)安全事故導致其存在缺陷，這種缺陷即便經(jīng)過權(quán)威的安全評測也往往難以全部暴露出來，人工智能應用系統(tǒng)在投入實際使用時，就容易因自身失誤而引發(fā)人身安全問題。當前，具有移動能力和破壞能力的智能體，可引發(fā)的安全隱患尤為突出。2018年3月，由Uber運營的自動駕駛汽車在美國亞利桑那州坦佩市Tempe)撞倒了一名女性并致其死亡，經(jīng)車，同時自動駕駛系統(tǒng)也沒有生成故障預警信息。目前，人工智能智能體已經(jīng)引發(fā)近百種至上千個重要事故，包括自動駕駛汽車致人死傷、工廠機器人致人死傷、醫(yī)療事故致人死傷、偽造政治領(lǐng)袖演講、種族歧視言論、不健康內(nèi)容等安全危害事件；而利用人工智能技術(shù)造成的系統(tǒng)破壞、人身殺傷、隱私泄露、虛假身份識別風險、社會影響重大的輿論等事故也多有發(fā)生。(3)智能體一旦失控將危及人類安全智能體一旦同時具有行為能力以及破壞力、不可解釋的決策能力、可進化成自主系統(tǒng)的進化能力這三個失控要素，不排除其脫離人類控制和危及人類安全的可能。智能體失控造成的廣義功能安全問題，無疑是人類在發(fā)展人工智能時最關(guān)心的一個重要問題。已有一些學者開思想，導致智慧爆炸。盡管目前尚未出現(xiàn)真正意義上的人工智能失控事件，但新技術(shù)的發(fā)展很難保證在將來超級人工智能不會出現(xiàn)，屆時將如何保護人類，實現(xiàn)超級人工智能和人類的和諧共存，這是人工智能在未來發(fā)展道路上需要解決的主要問題之一。(四)人工智能應用系統(tǒng)內(nèi)生安全框架人工智能應用系統(tǒng)因其智能程度而備受青睞之余，其內(nèi)部算法、數(shù)據(jù)的邏輯關(guān)系越復雜，存在著諸多不可預知的脆弱點。面對越來越多的外部干擾，這種脆弱性或?qū)⒊蔀槿斯ぶ悄墚a(chǎn)業(yè)發(fā)展的“阿喀琉斯之踵”。1.內(nèi)生安全賦能人工智能應用系統(tǒng)安全的機理以人工智能應用系統(tǒng)的內(nèi)生安全共性問題為例，漏洞后門及相關(guān)問題與物理信息系統(tǒng)在安全層面的矛盾屬性，致使內(nèi)生安全問題只可能通過演進轉(zhuǎn)化或和解方式達成對立統(tǒng)一關(guān)系，不可能徹底消除矛盾本身。任何有違矛盾同一性和斗爭性的安全技術(shù)發(fā)展路線，以及試圖窮盡漏洞后門問題的工程技術(shù)方法或措施，在哲學層面不可避免地會陷入邏輯悖論。針對人工智能應用系統(tǒng)共性安全問題方面，由“亡羊補牢”的思維視角，“封門補漏”的方法論和“盡力而為”的實踐規(guī)范構(gòu)成的網(wǎng)絡安全防御范式，對基于內(nèi)生安全問題的“未知的未知”網(wǎng)絡攻擊不僅存在防御體制機制上的基因缺陷，而且在哲學層面也存在無法自圓其說的邏輯悖論，且在可預見的將來，人類試圖在工程技術(shù)層面通過種種附加、內(nèi)置、嵌入或外科手術(shù)方式給予根本性修補，理論層面就不存在任何可行性。在人工智能個性安全問題方面，目前針對人工智能的對抗攻擊，最典型和廣泛的應對方法是對抗性訓練，即在每個訓練步驟中，對抗訓練通過最小化網(wǎng)絡模型正確預測對抗樣本的損失函數(shù)，達到較好的防御效果。而研究表明：對抗訓練不僅會使得深度神經(jīng)網(wǎng)絡泛化能力退化，而且其防御效果與訓練所包含的對抗樣本種類數(shù)量強相關(guān)，存在著“亡羊補牢”式的被動局限性，特別是在缺乏先驗難以應對未知漏洞后門等的攻擊威脅，從而難以保證人工智能應用系統(tǒng)安全穩(wěn)定服務運行。為創(chuàng)造性破解人工智能應用系統(tǒng)內(nèi)生安全難題，本藍皮書提出一種以內(nèi)生安全賦能人工智能應用系統(tǒng)的方法，即利用內(nèi)生安全機理中內(nèi)在的構(gòu)造效應，從體制機制上管控或規(guī)避此類威脅和破壞的理論與方法，在人工智能應用系統(tǒng)中實現(xiàn)“構(gòu)造決定安全”的重要技術(shù)路線。其中內(nèi)生安全構(gòu)造具有的性質(zhì)或?qū)傩匀缦拢?1)內(nèi)生安全構(gòu)造應當具有開放性，基于該構(gòu)造可實現(xiàn)任何信息物理系統(tǒng)非安全相關(guān)(任務或服務等)功能和安全相關(guān)功能，并允許架構(gòu)內(nèi)存在“已知的未知”或“未知的未知”內(nèi)生安全共性問題，架構(gòu)的固有屬性及安全效應對于轉(zhuǎn)化或和解目標系統(tǒng)內(nèi)生安全矛盾，達成對立統(tǒng)一關(guān)系具有普適性意義。(2)內(nèi)生安全構(gòu)造應當能以一體化形態(tài)獲得體系化的安全增益，為解決數(shù)字系統(tǒng)包括功能安全、網(wǎng)絡安全和信息安全三重交織問題在內(nèi)的廣義功能安全問題，提供高可靠、高可用、高可信三位一體可量化設計與驗證度量解決方案。(3)內(nèi)生安全構(gòu)造應能將多樣性、動態(tài)性和冗余性等防御要素或功能，以不可分割的一體化方式賦予數(shù)字產(chǎn)品或信息物理系統(tǒng)內(nèi)生安全的網(wǎng)絡彈性。(4)內(nèi)生安全構(gòu)造應當能從機理上有效瓦解任何形式的試錯攻擊或盲攻擊，能為人工智能應用系統(tǒng)帶來穩(wěn)定魯棒性與品質(zhì)魯棒性。(5)內(nèi)生安全構(gòu)造對信息物理系統(tǒng)應能起到“鋼筋混凝土骨架”的作用，可以“砼料”方式自然地接納已有或未來可能擁有的、以附加或內(nèi)置或內(nèi)嵌方式差異化(或策略性)部署的專業(yè)化的安全防護技化的量化設計與驗證指標。(6)內(nèi)生安全構(gòu)造應當對架構(gòu)內(nèi)存在的軟硬件漏洞后門等廣義功能安全問題的具體細節(jié)不敏感。理論上，構(gòu)造效應能在機理上抑制構(gòu)造內(nèi)以差模形態(tài)存在的功能安全、網(wǎng)絡安全和信息安全問題，即使攻擊者試圖利用構(gòu)造內(nèi)共模形態(tài)安全漏洞，也很難實現(xiàn)協(xié)同逃逸，因為在非配合條件下操作的難度會指數(shù)級增加。目前，實現(xiàn)內(nèi)生安全構(gòu)造，常采用動態(tài)異構(gòu)冗余(Dynamic所示。策略裁決輸入代理糾錯輸出輸入代理糾錯輸出輸入輸出輸入輸出【O】假定一個DHR構(gòu)造內(nèi)，擁有M個等價功能的異構(gòu)執(zhí)行體構(gòu)成的分布式資源池，其中等價功能異構(gòu)執(zhí)行體的組合形成運行場景(本質(zhì)上對應可重構(gòu)或狀態(tài)可改變系統(tǒng)的一種物理或邏輯、實體或虛體、集中或分散組態(tài))。如果每個分布式運行環(huán)境內(nèi)有k個(k<M)異構(gòu)執(zhí)行體，則資源池內(nèi)就有Ck個運行場景可供策略調(diào)度；凡是當前承載在DHR構(gòu)造中，輸入代理或分發(fā)環(huán)節(jié)需要根據(jù)反饋控制器的指數(shù)(控制律)生成的控制算法，決定是否要向輸入代理或分發(fā)環(huán)節(jié)發(fā)或者對異常執(zhí)行體本身進行功能等價條件下基于軟硬構(gòu)件的重組/重構(gòu)/重置等多樣化操作。反饋控制過程直至當前輸出矢量不合規(guī)狀態(tài)DHR構(gòu)造的網(wǎng)絡安全防御效果與是否存在廣義不確定破壞或知極大的“零日”類型的未知安全問題或網(wǎng)絡攻擊2.內(nèi)生安全賦能人工智能應用系統(tǒng)安全的特殊性人工智能應用系統(tǒng)本身可以看作是一個I/O系統(tǒng)，與傳統(tǒng)信息系統(tǒng)具有相似性。當前傳統(tǒng)信息系統(tǒng)的內(nèi)生安全賦能成果已經(jīng)覆蓋網(wǎng)絡而對于人工智能應用系統(tǒng)而言，內(nèi)生安全的賦能，需要結(jié)合人工智能應用系統(tǒng)自身的特點進行設計，主要考慮如下：(1)人工智能應用系統(tǒng)的構(gòu)建基于優(yōu)化學習的過程。人工智能應用系統(tǒng)的內(nèi)核模型是在算力硬件支持下利用優(yōu)化算法對大量處理數(shù)據(jù)進行學習的過程。作為一個I/O系統(tǒng)，其算法構(gòu)建核心部分在于學習目標的最優(yōu)化和學習數(shù)據(jù)的向量化，需依靠優(yōu)化算法來構(gòu)建核心功能。傳統(tǒng)的軟硬件算法系統(tǒng)在構(gòu)建時，其往往是簡單直接的，直接對實現(xiàn)功能進行建模，并利用指定的方法來實現(xiàn)。因此傳統(tǒng)信息系統(tǒng)功能的異構(gòu)化為自身功能實現(xiàn)方式的異構(gòu)，而人工智能應用系統(tǒng)是基于優(yōu)化學習這一大前提下的異構(gòu)化。(2)人工智能應用系統(tǒng)的輸出是概率。人工智能應用系統(tǒng)的輸出往往是從置信度(概率)中選擇最佳的輸出結(jié)果。例如圖像分類模型輸出的是圖片歸屬類別的概率，自然語言模型輸出的下一個詞的概率。這種輸出結(jié)果與傳統(tǒng)信息系統(tǒng)確定性的輸出是不同的。傳統(tǒng)軟硬件系統(tǒng)需要考慮輸出格式的統(tǒng)一性，輸出時間的先后問題，使得其結(jié)果的融合裁決相對確定。而對于人工智能應用系統(tǒng)，其輸出結(jié)果的融合裁決則需要根據(jù)不同任務需求，靈活處理各種概率輸出。這種靈活性使得AI系統(tǒng)在應對復雜場景時能夠更好地適應和調(diào)整，但是也增加了融合裁決的復雜性。(3)人工智能應用系統(tǒng)的內(nèi)部機理未知。傳統(tǒng)信息系統(tǒng)輸入與輸化學習的機制是使得人工智能模型內(nèi)部是一個“黑盒”,具體參數(shù)無使得AI異構(gòu)模型的結(jié)果融合裁決面臨著信任難題，即用戶可能對模型的預測結(jié)果持懷疑態(tài)度，如果一個AI異構(gòu)模型在特定數(shù)據(jù)集上表而在人工智能應用系統(tǒng)內(nèi)生安全個性問題方面，DHR架構(gòu)同樣具體思路方法如圖4所示。即使用多個功能等價的神經(jīng)網(wǎng)絡子模型構(gòu)化O對抗樣本系統(tǒng)動態(tài)變結(jié)構(gòu)“panda”調(diào)度控制輸出輸入代理功能等價O正常樣本備用子模型集合基于DHR架構(gòu)一體化解決人工智能應用系統(tǒng)的個性化與共性化問題，其基本可行性主要在于以下兩點：(1)各功能等價體的對抗表現(xiàn)符合相對正確公理所述。研究發(fā)現(xiàn)，對同一決策點上不同方向梯度的搜索，不同結(jié)構(gòu)的網(wǎng)絡所得到的正確分類邊界是相似的，這導致相同的擾動使得不同的模型發(fā)生錯誤，即對抗攻擊具有遷移性；但與此同時，每個模型梯度下降方向卻具有極大的隨機性，其導向的錯誤結(jié)果是不同的，所以達成特定目標的遷移攻擊較為困難。因此，DHR架構(gòu)中神經(jīng)網(wǎng)絡子模型多樣異構(gòu)的有效性得以保證。(2)功能等價可重構(gòu)執(zhí)行體的輸入和輸出界面可歸一化或標準化。對于神經(jīng)網(wǎng)絡而言，輸入的待識別或分類數(shù)據(jù)是其歸一化輸入，識別或分類的結(jié)果是其可歸一化的輸出結(jié)果。在這個界面上，給定輸入序列激勵下，功能等價的神經(jīng)網(wǎng)絡子模型執(zhí)行體在許多輸出矢量或狀態(tài)大概率上具有相同性，這使得通過給定功能或性能的一致性測試方法能夠判斷和確保子模型執(zhí)行體間的等價性。4.內(nèi)生安全賦能人工智能應用系統(tǒng)構(gòu)建根據(jù)圖4,內(nèi)生安全賦能人工智能應用系統(tǒng)構(gòu)建，其基本內(nèi)核是多模型的異構(gòu)性。因此如何構(gòu)建具有差異性的AI模型，是保障人工智能應用系統(tǒng)能夠在“有毒帶菌”環(huán)境下正常運行的關(guān)鍵。下面從數(shù)據(jù)集異構(gòu)、模型結(jié)構(gòu)異構(gòu)、訓練方法異構(gòu)和推理方法異構(gòu)等多個角度，闡述差異化AI模型的構(gòu)建思路。1.數(shù)據(jù)集異構(gòu)數(shù)據(jù)是AI模型構(gòu)建的基礎(chǔ)，且數(shù)據(jù)將直接影響AI模型算法的性能。數(shù)據(jù)集異構(gòu)是指在保證模型任務一致的情況下使得每個模型學習到的數(shù)據(jù)特征呈現(xiàn)差異性，從而使得模型在面對對抗樣本攻擊時能夠呈現(xiàn)魯棒性。目前廣泛應用于人工智能模型訓練的數(shù)據(jù)增強技術(shù)已經(jīng)非常成熟，但是主要用于提高單一模型的性能表現(xiàn)。數(shù)據(jù)集異構(gòu)的實現(xiàn)，可借鑒已有的數(shù)據(jù)增強方法，如引入對抗樣例、差異性樣例、擾動樣例等。通過數(shù)據(jù)的增強，不僅可以提高單一模型的魯棒性，還可以引入不同的數(shù)據(jù)增強樣例，以使得多個模型產(chǎn)生異構(gòu)效應。除了數(shù)據(jù)增強的思路之外，還可以對相同數(shù)據(jù)集進行差異化的嵌入表示進行異構(gòu)，如使用差異化的濾波器過濾、差異化的預處理流程、差異化標簽表示等等。如EADSR[87]方法通過多個角度利用擾動數(shù)據(jù)結(jié)合模型行為對設定不同的優(yōu)化目標，利用數(shù)據(jù)差異化設計差異化訓練方法從而使得多個模型產(chǎn)生差異性提高其對抗魯棒性；或者通過對訓練數(shù)據(jù)的重表達[88]也可以實現(xiàn)模型2.模型結(jié)構(gòu)異構(gòu)AI模型內(nèi)部多由多層神經(jīng)網(wǎng)絡構(gòu)成，這些層的神經(jīng)網(wǎng)絡內(nèi)部結(jié)訓練與推理的核心要素。AI模型結(jié)構(gòu)異構(gòu)是指在保證模型任務相同結(jié)構(gòu)上的修正設計差異化訓練方法使得訓練出來的多個模型發(fā)生差AI模型訓練過程本質(zhì)上是一個基于最優(yōu)化思想的擬合過程，訓的優(yōu)化方法大都是基于梯度下降的優(yōu)化。AI模型優(yōu)化目標是通過不程中收斂于不同的特征角度。如基于梯度多樣性的GAL[901方法，利用多個模型之間收斂梯度的角度差異使得多個模型的優(yōu)化方向產(chǎn)生賴于模型行為多樣性的ADP[91]方法，嘗試在訓練過程中對模型的預當AI模型訓練完成并進行部署時，應用推理異構(gòu)方法是一種有如目前熱門的大模型領(lǐng)域也出現(xiàn)了SmoothLLM的多模型集成融合思模型的結(jié)果融合裁決輸出。結(jié)果裁決輸出是指根據(jù)設定好的規(guī)則或特定的方法對多個模型的輸出結(jié)果進行融合，達到過濾錯誤異常結(jié)果輸出正確結(jié)果的目的。因此裁決輸出的核心目標為保證正常輸出性能的情況下過濾異常的輸出，最終保證系統(tǒng)的輸出一致性與準確性。不同的人工智能應用系統(tǒng)，其結(jié)果融合裁決方法，需要根據(jù)不同任務目標進行設計。由于不同的人工智能應用系統(tǒng)，其輸出格式與結(jié)果內(nèi)容必然存在差異，如呈現(xiàn)為概率、坐標、特征向量等不同的形式。融合裁決過程，對外需要正確輸出類似于單一模型的結(jié)果，以保證應用系統(tǒng)的正常功能；而對內(nèi)需要對差異化模型的輸出結(jié)果進行融合，檢測異常輸出并通過融合實現(xiàn)對異常的過濾。目前針對多個輸出結(jié)果的融合案例主要有：在目標檢測領(lǐng)域，彭等人[93]基于已有目標檢測領(lǐng)域的非極大抑制算法進行多模型融合的改良，實現(xiàn)了多異構(gòu)模型對于對抗攻擊的抵抗；羅等人[94]提出基于模型的不確定性來進行輸出的融合，不確定性越高的模型其可信度越低；在人臉識別領(lǐng)域，胡等人[95]利用神經(jīng)網(wǎng)絡連接層將在不同的兩個模型特征進行融合提高模型的魯棒性。目前在大模型領(lǐng)域，多個模型的交叉輸出驗證已經(jīng)是提高模型性能的一個有效手段，如SmoothLLM就采用了大數(shù)裁決的方式。通過利用合適的裁決方法，將使內(nèi)生安全在高可靠人工智能應用系統(tǒng)構(gòu)建中發(fā)揮關(guān)鍵作用。隨著AI系統(tǒng)在關(guān)鍵基礎(chǔ)設施、金融服務、醫(yī)療健康和自動駕駛等領(lǐng)域的深度應用，其安全性和可靠性的挑戰(zhàn)日益凸顯。本藍皮書提出了一種解決人工智能應用系統(tǒng)安全問題的內(nèi)生安全新途徑，然而如(一)提高AI模型算法魯棒性AI模型魯棒性是指系統(tǒng)在面對各種挑戰(zhàn)和不確定性時能保持性能的能力。AI模型魯棒性包括對抗性魯棒性、噪聲魯棒性和強泛化在工程實踐中，提升AI模型魯棒性是人工智能應用系統(tǒng)安全的填補缺失值以及數(shù)據(jù)標準化，可以為模型提供更高質(zhì)量的訓練數(shù)據(jù)；應用正則化技術(shù)如L1和L2正則化，能夠減少模型對訓練數(shù)據(jù)噪聲提升AI模型魯棒性的另一個方法是增加模型的可解釋性，以求于發(fā)展完善階段，短時間內(nèi)難以直接運用于實際的工程化AI應用系的可解釋性變得逐步降低。如何在工程上構(gòu)建更加透明和可解釋的AI模型，是未來的重點研究方向。(二)構(gòu)建AI模型安全監(jiān)測體系A(chǔ)I模型安全監(jiān)測，旨在及時發(fā)現(xiàn)潛在的異常活動，防范可能的對抗攻擊、后門攻擊等安全威脅，以有效地確保AI模型在實際應用構(gòu)建AI模型安全監(jiān)測體系涵蓋對模型進行性能監(jiān)控、風險檢測主要涵蓋訓練監(jiān)控與應用監(jiān)控，其中訓練監(jiān)控主要是對AI模型算法應用監(jiān)控是指在AI模型訓練完成后進行部署應用后，為了確保AI模型在實際環(huán)境中能夠最佳運行，對其運行推理等過程進行安全監(jiān)控。監(jiān)控的內(nèi)容主要包括AI模型的軟硬件運行情況、調(diào)用情況監(jiān)系統(tǒng)是否出現(xiàn)故障，并確定故障的時間。除此之外，當發(fā)現(xiàn)AI模型AI模型安全監(jiān)測的工程化實現(xiàn)，需要結(jié)合實際應用場景進行體定期更新以維持模型的穩(wěn)定性。通過構(gòu)建全流程的AI模型安全監(jiān)測(三)提升AI價值觀對齊能力人類價值觀，這就要求AI應用系統(tǒng)具備可拓展監(jiān)督(scalable價值觀對齊是AI模型應用的基本要求，模型必須有足夠的能力完成指定的目標任務，且實現(xiàn)的結(jié)果是符合監(jiān)督要求的。AI模型價值觀對齊的核心影響因素在于其訓練過程，基于優(yōu)化理論生成的AI系統(tǒng)AI模型獎勵建模的局限性同樣顯著。AI(四)建強AI應用系統(tǒng)安全環(huán)境由于技術(shù)階段性和認知局限性導致軟硬件代碼設計脆弱性和安全問題不確定性，當前基于漏洞后門的網(wǎng)絡攻擊威脅對AI應用系統(tǒng)安全內(nèi)生安全構(gòu)造，將為AI應用系統(tǒng)安全環(huán)境塑造提供AI安全是推動AI產(chǎn)業(yè)進步的關(guān)鍵因素，實現(xiàn)安全的人工智能應內(nèi)生安全理論既可以有效阻斷和控制人工智能應用系統(tǒng)的共性能人工智能應用系統(tǒng)有望成為防范新型安全風險和開展人工智能治一是通過總體性立法確立人工智能治理的核心理念，包括貫徹堅持內(nèi)生安全治理的原則將安全作為人工智能應用系統(tǒng)的內(nèi)在稟安全責任，不但要強調(diào)“誰使用誰負責、誰運營誰負責”,還要強化(二)加快人工智能應用系統(tǒng)供給側(cè)安全治理加快人工智能應用系統(tǒng)供給側(cè)安全治理是提高人工智能應用系和配套工具鏈，進而構(gòu)建一體化安全的技術(shù)格局。二是圍繞人工智能應用系統(tǒng)全生命周期、全棧架構(gòu)，建立一套包括數(shù)據(jù)安全標準、模型安全標準、信息加工安全標準、內(nèi)容輸出安全標準、場景應用安全標準、安全措施標準、安全評估標準等在內(nèi)的全方面標準體系，重點在關(guān)鍵設施應用上使用內(nèi)生安全多樣性機制，打造受信任應用系統(tǒng)安全底座。三是發(fā)展人工智能可量化評估技術(shù)手段，將“白盒插樁”測試作為人工智能應用系統(tǒng)檢測的“金標準”,通過注入式/破壞式測試方法定量描述人工智能應用系統(tǒng)安全性事件發(fā)生的概率。可推行以攻防為路徑的多樣化眾測，打造點面結(jié)合的測試網(wǎng)絡，為人工智能技術(shù)的實際應用提供強有力的評估測試保障。四是跟進出臺供給側(cè)安全的產(chǎn)業(yè)政策，建議考慮通過安全補貼、稅收減免等激勵方式，如建立人工智能產(chǎn)品安全認證體系，對于通過的應用系統(tǒng)給予市場準入便利，使用政府的產(chǎn)業(yè)政策，扶持設計安全技術(shù)以及產(chǎn)品的發(fā)展。同時發(fā)揮金融市場的力量，為人工智能的網(wǎng)絡安全風險提供保險產(chǎn)品，促進制造側(cè)負責任地創(chuàng)新。(三)加快解決關(guān)鍵技術(shù)受制于人的短板問題實現(xiàn)算力技術(shù)突破是提高人工智能應用系統(tǒng)安全的技術(shù)保證，當前，我國人工智能技術(shù)發(fā)展的基礎(chǔ)不牢，在很大程度上制約了在關(guān)鍵領(lǐng)域應用的范圍，為此需要加快突破基礎(chǔ)算力和基礎(chǔ)軟硬件受制于人的困局，確保關(guān)鍵領(lǐng)域應用安全。一是打破“路徑依賴”。繼桌面計算時代的“Wintel”困境，移動計算時代的“AA”困境之后，目前我們正在智能計算時代陷入“GC”件下實現(xiàn)3個數(shù)量級效能增益，達到芯片級工藝2納米的等效能力。(四)加快建立國家級人工智能安全試驗場一是構(gòu)建國家人工智能訓練場“5+1”的建設格局，除部署建設+安全驗證”相輔相成，推動人工智能應用系統(tǒng)在開發(fā)流程中從一開三是搭建促進產(chǎn)業(yè)發(fā)展的“概念驗證中心”,通過實驗檢驗測試創(chuàng)新者的新想法和概念，提供技術(shù)的可行性分析。充當產(chǎn)品孵化器，訓練基地相互銜接的安全“會診中心”,為人工智能應用系統(tǒng)及時提(五)加快轉(zhuǎn)變教育范式培養(yǎng)負責任的開發(fā)者教育范式轉(zhuǎn)變是提高人工智能應用系統(tǒng)安全防御能力的人才保證。據(jù)預測我國到2027年網(wǎng)信領(lǐng)域人才缺口達327萬，人工智能應用領(lǐng)域安全人才缺口達100萬，而年供給量不足5萬人。亟須轉(zhuǎn)變教二是搭建新型人才的“知識一能力一素質(zhì)”(KS2A)的培養(yǎng)模為學生搭建“腳手架”,鼓勵學生在真實的情境中獲得解決實際問題培養(yǎng)方式，以“項目導向”“問題導向”,鼓勵學生在項目落地的全解決人才培養(yǎng)從供給端向需求端(社會/行業(yè))相互適配的問題。(六)不斷提高人工智