2024年AI系統(tǒng)的網(wǎng)絡(luò)安全治理實(shí)踐報(bào)告-華為

AI系統(tǒng)的網(wǎng)絡(luò)安全治理實(shí)踐防護(hù)視角下保護(hù)AI系統(tǒng)的網(wǎng)絡(luò)安全實(shí)踐2024年9月0101020202030413050606b01目的、范圍目的、范圍本文旨在分享應(yīng)對(duì)AI系統(tǒng)（AISYSTEM[1]）潛在網(wǎng)絡(luò)安全風(fēng)險(xiǎn)的策略，并為AI全生命周期的各個(gè)階段提供了緩解安全風(fēng)險(xiǎn)的工程實(shí)踐思考。2隨著AI技術(shù)的應(yīng)用場(chǎng)景不斷推廣和深化，AI系統(tǒng)的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)在持續(xù)變化，其網(wǎng)絡(luò)安全防護(hù)策略也需要不斷地推陳出新。本文描述了當(dāng)前華為公司應(yīng)對(duì)AI系統(tǒng)網(wǎng)絡(luò)安全（CyberSecurityofAISystem）新風(fēng)險(xiǎn)的工程實(shí)踐，并為華為公司客戶(hù)和利益相關(guān)方提供參考。本文不包括AI的功能安全（AISafety）問(wèn)題，如公平性、透明度、包容性等，也不包括AI技術(shù)在網(wǎng)絡(luò)攻擊中的濫用問(wèn)題。本文描述AI系統(tǒng)的網(wǎng)絡(luò)安全工程實(shí)踐，是從設(shè)計(jì)、開(kāi)發(fā)、部署、運(yùn)行等全生命周期的視角，保護(hù)AI系統(tǒng)的數(shù)據(jù)、模型、應(yīng)用及算力底座等關(guān)鍵要素，目標(biāo)是使得AI系統(tǒng)符合設(shè)計(jì)意圖地可靠運(yùn)[1]https://oecd.ai/en/wonk/ai-system-de?nition-update人工智能各界關(guān)注與風(fēng)險(xiǎn)人工智能各界關(guān)注與風(fēng)險(xiǎn)人工智能自從1956年達(dá)特茅斯會(huì)議上提出概念，發(fā)展到現(xiàn)在近70年，經(jīng)歷了多次繁榮和低谷，直到上世紀(jì)九十年代后期開(kāi)始，隨著計(jì)算機(jī)成本的降低、以及互聯(lián)網(wǎng)帶來(lái)的數(shù)據(jù)規(guī)模的膨脹，開(kāi)始進(jìn)入了一個(gè)較為穩(wěn)定的發(fā)展期。隨著GPU等芯片帶來(lái)了算力提升和深度學(xué)習(xí)的應(yīng)用，人工智能在各方面都取得了突破，進(jìn)入了一個(gè)全新的發(fā)展時(shí)期。2020年以后，在深度學(xué)習(xí)基礎(chǔ)上發(fā)展起來(lái)的大模型成為人工智能最主要的研究范式，幾乎在人工智能的各個(gè)領(lǐng)域上都表現(xiàn)出巨大的進(jìn)步，尤其是生成式人工智能的成功，使得人工智能的應(yīng)用領(lǐng)域大大擴(kuò)展，通用人工智能（ArtificialGeneralIntelligence,AGI）也不從發(fā)展過(guò)程可以看出，算法、算力、數(shù)據(jù)是驅(qū)動(dòng)人工智能發(fā)展的三個(gè)最主要的驅(qū)動(dòng)力。而隨著人工智能能力越來(lái)越強(qiáng)，甚至達(dá)到接近人類(lèi)智能的水平，AI系統(tǒng)在網(wǎng)絡(luò)安全方面帶來(lái)的問(wèn)題也越來(lái)而現(xiàn)階段要確保AI系統(tǒng)的網(wǎng)絡(luò)安全面臨著巨大的挑戰(zhàn)，若不引起足夠重視，人工智能未來(lái)可能帶來(lái)更多網(wǎng)絡(luò)安全風(fēng)險(xiǎn)。華為公司呼吁多利益方共同參與并全面加強(qiáng)對(duì)AI系統(tǒng)的評(píng)估和監(jiān)管，共同3.1世界各國(guó)人工智能安全法律立法情況整體而言，人工智能技術(shù)儲(chǔ)備、商業(yè)生態(tài)、文化與法律傳統(tǒng)、所處的治理階段等要素，都不同程度影響一國(guó)或地區(qū)的人工智能安全治理實(shí)踐，因此，不同國(guó)家和地區(qū)的人工智能法律法規(guī)的制定[1]/wiki/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BDb03人工智能各界關(guān)注與風(fēng)險(xiǎn)人工智能各界關(guān)注與風(fēng)險(xiǎn)3.1.1歐盟歐盟人工智能治理以“卓越和信任”為主線，既推出產(chǎn)業(yè)發(fā)展政策，又同步推進(jìn)倫理和監(jiān)管規(guī)則，保障安全和基本權(quán)利[1]。2021年4月，歐盟委員會(huì)提出《人工智能法》草案[2]。經(jīng)過(guò)多次談判與《人工智能法》對(duì)人工智能統(tǒng)一定義、全域適用、構(gòu)建體系化的處罰機(jī)制，為全面性、系統(tǒng)性的監(jiān)管治理提供法律依據(jù)。就風(fēng)險(xiǎn)分級(jí)而言，歐盟《人工智能法》將人工智能系統(tǒng)基于風(fēng)險(xiǎn)分為不同級(jí)別，每級(jí)風(fēng)險(xiǎn)都由一套預(yù)定義的監(jiān)管工具來(lái)管理。就分類(lèi)治理而言，歐盟針對(duì)類(lèi)GPT大模型引入通用目的人工智能專(zhuān)門(mén)條款，并延續(xù)了風(fēng)險(xiǎn)分級(jí)管理思路，將通用人工智能模型進(jìn)一步區(qū)分為是3.1.2美國(guó)美國(guó)聯(lián)邦層面尚未出臺(tái)系統(tǒng)性的人工智能安全法。2023年10月，白宮發(fā)布《關(guān)于安全、穩(wěn)定和可信的人工智能行政令》[4]構(gòu)筑美國(guó)人工智能安全監(jiān)管的藍(lán)圖。強(qiáng)調(diào)“管理聯(lián)邦政府自身使用人工智能的風(fēng)險(xiǎn)，并提高其監(jiān)管、治理和支持負(fù)責(zé)任使用人工智能造福美國(guó)人的內(nèi)在能力”。出于國(guó)家安全考量，行政令首次提出有硬性監(jiān)管效力的大模型政府報(bào)告要求，要求“存在重大雙重用途基礎(chǔ)模型開(kāi)發(fā)者”，向政府報(bào)告并分享安全信息、測(cè)試信息等。美國(guó)多個(gè)州，包括科羅拉多、佛羅里達(dá)、印第安納、加州等也開(kāi)始關(guān)注人工智能相關(guān)的立法，特別關(guān)注高風(fēng)險(xiǎn)人工智能系統(tǒng)開(kāi)發(fā)者的義務(wù)等。此外，美國(guó)將人工智能技術(shù)視作國(guó)際戰(zhàn)略競(jìng)爭(zhēng)的關(guān)鍵科技因素，并將人工智能相關(guān)技術(shù)列入《關(guān)鍵和新興技術(shù)清單》[5]，明確相關(guān)人工智能技術(shù)屬于對(duì)美國(guó)國(guó)家安全產(chǎn)生重要影[1]https://ec.europa.eu/commission/presscorner/detail/en/IP_21_1682[2]https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:52021PC0206[3]https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=OJ:L_202401689[4]/brie?ng-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure-and-trustworthy-development-and-use-of-arti?cial-intelligence/[5]/wp-content/uploads/2022/02/02-2022-Critical-and-Emerging-Technologies-List-Update.pdf人工智能各界關(guān)注與風(fēng)險(xiǎn)人工智能各界關(guān)注與風(fēng)險(xiǎn)3.1.3中國(guó)2017年國(guó)務(wù)院《新一代人工智能發(fā)展規(guī)劃》[1]奠定中國(guó)人工智能法治發(fā)展的總基調(diào)，提出“在大力發(fā)展人工智能的同時(shí)，必須高度重視可能帶來(lái)的安全風(fēng)險(xiǎn)挑戰(zhàn)，加強(qiáng)前瞻預(yù)防與約束引導(dǎo)，最大限度降低風(fēng)險(xiǎn)，確保人工智能安全、可靠、可控發(fā)展”。規(guī)劃在人工智能治理方面提出戰(zhàn)略目標(biāo)：一是到2025年，初步建立人工智能法律法規(guī)、倫理規(guī)范和政策體系，形成人工智能安全評(píng)估和管控能力；二是到2030年，建成更加完善的人工智能法律法規(guī)、倫理目前，中國(guó)《網(wǎng)絡(luò)安全法》、《數(shù)據(jù)安全法》、《個(gè)人信息保護(hù)法》等在涉及人工智能相關(guān)場(chǎng)景時(shí)可延伸適用。在規(guī)章層面，國(guó)家網(wǎng)信辦聯(lián)合有關(guān)部門(mén)，先后針對(duì)算法推薦服務(wù)、深度合成、生3.2人工智能安全相關(guān)標(biāo)準(zhǔn)與認(rèn)證圍繞AI治理，世界各國(guó)政府及產(chǎn)業(yè)界積極協(xié)作，發(fā)布OECD《AI原則》、歐盟《可信人工智能倫理指南》、聯(lián)合國(guó)教科文組織《人工智能倫理問(wèn)題建議書(shū)》、中國(guó)《全球人工智能治理倡議》、《人工智能全球治理上海宣言》等國(guó)際共識(shí)。2023年11月，中、美、德、法、英、日、歐盟等29個(gè)國(guó)家和地區(qū)在英國(guó)共同簽署《布萊奇利宣言》，特別強(qiáng)調(diào)AI治理國(guó)際合作的重要性。AI網(wǎng)絡(luò)安全（Security）治理與管理、風(fēng)險(xiǎn)管理、數(shù)據(jù)保護(hù)等內(nèi)容作為上述國(guó)際共識(shí)的重點(diǎn)內(nèi)容，也是相關(guān)國(guó)際標(biāo)準(zhǔn)化工作的重點(diǎn)。3.2.1國(guó)際標(biāo)準(zhǔn)：ISO/IECAI安全相關(guān)標(biāo)準(zhǔn)2017年，ISO/IECJTC1以原有WG9大數(shù)據(jù)工作組為基礎(chǔ)，成立SC42子委會(huì)，專(zhuān)門(mén)負(fù)責(zé)AI相關(guān)標(biāo)準(zhǔn)化工作，SC42發(fā)布、在研的AI安全相關(guān)標(biāo)準(zhǔn)主要包括：system，該標(biāo)準(zhǔn)已發(fā)布，可用于AI管理體系認(rèn)證。management，該標(biāo)準(zhǔn)已發(fā)布，配[1]/zhengce/content/2017-07/20/content_5211996.htmb05人工智能各界關(guān)注與風(fēng)險(xiǎn)人工智能各界關(guān)注與風(fēng)險(xiǎn)impactassessment，該標(biāo)準(zhǔn)在研，配套42001使用。特別指出，ISO/IEC42001:2023以規(guī)范性附錄的形式，系統(tǒng)定義了九大領(lǐng)域共38條控制措施及指南，相關(guān)設(shè)計(jì)主要借鑒了ISO/IEC27002:2022。AI安全相關(guān)的ISOJTC1SC42及SC27國(guó)際標(biāo)準(zhǔn)，作為最大化的國(guó)際共識(shí)，在支撐國(guó)際貿(mào)易便利化方面起到不可替代的作用，被歐盟、中國(guó)及其他國(guó)家廣泛參考使用。系統(tǒng)使用ISO/IEC42001、23894、42005、27002等標(biāo)準(zhǔn)有助于持續(xù)改進(jìn)AI系統(tǒng)安全，也有利于與客戶(hù)及其他相關(guān)3.2.2歐盟標(biāo)準(zhǔn)：歐盟CEN/CLCJTC21AI安全相關(guān)協(xié)調(diào)標(biāo)準(zhǔn)歐洲標(biāo)準(zhǔn)化組織CEN/CLC成立JTC21專(zhuān)門(mén)負(fù)責(zé)AI標(biāo)準(zhǔn)建設(shè)，該技術(shù)委員會(huì)主要通過(guò)引入ISO標(biāo)準(zhǔn)或獨(dú)立開(kāi)發(fā)的方式，系統(tǒng)性開(kāi)展歐洲AI安全、可信標(biāo)準(zhǔn)建設(shè)。由JTC21發(fā)布、在研的AI安全相1.ENISO/IEC23894:2024Informationtechnology-Artificialintelligence-Guidanceonriskmanagement，該標(biāo)準(zhǔn)已發(fā)布，等同轉(zhuǎn)化采用ISO標(biāo)準(zhǔn)。2.prENISO/IEC42001Informationtechnology-Artsystem，該標(biāo)準(zhǔn)在研，等同轉(zhuǎn)化采用ISO標(biāo)準(zhǔn)。3.prCEN/CLC/TRAIRisks-CheckListforAIRisksManagement，該標(biāo)準(zhǔn)在研，歐盟標(biāo)準(zhǔn)化機(jī)構(gòu)參考ISO/IEC23894以自研方式設(shè)計(jì)。3.2.3美國(guó)標(biāo)準(zhǔn)：NISTAI安全相關(guān)標(biāo)準(zhǔn)為更好支持美國(guó)AI產(chǎn)業(yè)發(fā)展及國(guó)際化、支撐美國(guó)EO14110號(hào)人工智能總統(tǒng)行政令落地，NISTITL實(shí)驗(yàn)室將AI作為重點(diǎn)研究方向，圍繞可信任AI技術(shù)基礎(chǔ)研究、AI標(biāo)準(zhǔn)化、AI技術(shù)應(yīng)用創(chuàng)新等目標(biāo)NIST已正式發(fā)布的部分AI安全、風(fēng)險(xiǎn)管理相關(guān)1.AI100-1ArtificialIntelligenceRiskManagementFramework。2.AI100-2AdversarialMachineLearningATaxonomyandTerminologyofAdversarial3.SP800-218ASecureSoftwareDevelopmentPracticesforGenerativeAIandDual-UseFoundationModels。人工智能各界關(guān)注與風(fēng)險(xiǎn)人工智能各界關(guān)注與風(fēng)險(xiǎn)美國(guó)NIST牽頭開(kāi)發(fā)的標(biāo)準(zhǔn)與實(shí)踐，具備技術(shù)實(shí)用性，有助于開(kāi)展AI安全管理及推動(dòng)安全工程3.2.4中國(guó)標(biāo)準(zhǔn)：TC260AI安全相關(guān)標(biāo)準(zhǔn)中國(guó)高度重視人工智能產(chǎn)業(yè)發(fā)展，標(biāo)準(zhǔn)成為產(chǎn)業(yè)政策落地的重要抓手。全國(guó)網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)（TC260）發(fā)布了《人工智能安全標(biāo)準(zhǔn)化白皮書(shū)（2023版）》，該白皮書(shū)由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院等20家單位共同編寫(xiě)，提出了一系列人工智能安全標(biāo)準(zhǔn)化工作的建議，包括持續(xù)完善人工智能安全標(biāo)準(zhǔn)體系、開(kāi)展基礎(chǔ)共性安全標(biāo)準(zhǔn)研究、出臺(tái)產(chǎn)業(yè)發(fā)展急需的安全標(biāo)準(zhǔn)等，以推動(dòng)有效支撐了《生成式人工智能服務(wù)管理暫行辦法》、《互聯(lián)網(wǎng)信息服務(wù)算法推《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》的落地實(shí)施，這些標(biāo)準(zhǔn)的實(shí)施將持續(xù)引領(lǐng)和促進(jìn)行業(yè)的健康和有序發(fā)展。3.3人工智能面臨的安全風(fēng)險(xiǎn)隨著人工智能技術(shù)日益廣泛地應(yīng)用于社會(huì)生產(chǎn)與人類(lèi)生活，人工智能帶來(lái)的新型風(fēng)險(xiǎn)日益受到根因：多場(chǎng)景、多廠家、多組合等風(fēng)險(xiǎn)：AI應(yīng)用執(zhí)行惡意任務(wù)或指令，導(dǎo)致應(yīng)用被控制等（做事安全）（（自身安全）（源頭安全）AI系統(tǒng)根因：模型結(jié)構(gòu)的脆弱性、訓(xùn)練范式局限性等風(fēng)險(xiǎn)：對(duì)抗樣本、提示詞注入等根因：模型結(jié)構(gòu)的脆弱性、訓(xùn)練范式局限性等風(fēng)險(xiǎn)：對(duì)抗樣本、提示詞注入等風(fēng)險(xiǎn)：數(shù)據(jù)投毒、數(shù)據(jù)泄露等（環(huán)境安全）根因：全棧、多場(chǎng)景等風(fēng)險(xiǎn)：針對(duì)算力平臺(tái)的攻擊可能導(dǎo)致模型竊取、信息泄露等風(fēng)險(xiǎn)等b07人工智能各界關(guān)注與風(fēng)險(xiǎn)人工智能各界關(guān)注與風(fēng)險(xiǎn)3.3.1數(shù)據(jù)安全風(fēng)險(xiǎn)數(shù)據(jù)投毒是指惡意行為者在模型訓(xùn)練階段集中注入惡意或經(jīng)過(guò)精心設(shè)計(jì)的數(shù)據(jù)樣本，使模型在訓(xùn)練后產(chǎn)生特定的錯(cuò)誤行為或后門(mén)，導(dǎo)致模型在正常輸入下表現(xiàn)正常，但在遇到特定觸發(fā)條件時(shí)產(chǎn)數(shù)據(jù)投毒產(chǎn)生的原因是海量和多源的數(shù)據(jù)增加了數(shù)據(jù)審核的難度，而模型的黑箱特性進(jìn)一步加大了檢測(cè)投毒的復(fù)雜性。同時(shí)，惡意行為者的利益驅(qū)動(dòng)和部分開(kāi)發(fā)者對(duì)數(shù)據(jù)安全意識(shí)的不足，也為此類(lèi)威脅提供了可乘之機(jī)。數(shù)據(jù)投毒對(duì)模型構(gòu)成了嚴(yán)重的安全風(fēng)險(xiǎn)，例如在醫(yī)療診斷、金融交易和自動(dòng)駕駛等應(yīng)用中，可能導(dǎo)致嚴(yán)重的安全事故或經(jīng)濟(jì)損失。此外，一旦發(fā)現(xiàn)模型被投毒，可能需要數(shù)據(jù)泄露是模型相關(guān)的敏感信息被未授權(quán)訪問(wèn)、使用或泄露。具體包括通過(guò)模型反向工程泄露造成數(shù)據(jù)泄露的根本原因是模型具有強(qiáng)大的特征提取和記憶能力，數(shù)據(jù)泄露可能導(dǎo)致個(gè)人隱私被侵犯、身份信息被盜用，以及商業(yè)機(jī)密的泄露。例如在醫(yī)療和金融等敏感領(lǐng)域，這種風(fēng)險(xiǎn)可能造3.3.2模型安全風(fēng)險(xiǎn)對(duì)抗樣本是針對(duì)模型的最典型威脅，它是一種通過(guò)對(duì)輸入數(shù)據(jù)添加微小的擾動(dòng)，使模型產(chǎn)生錯(cuò)對(duì)抗樣本的主要原因?yàn)楦呔S數(shù)據(jù)的復(fù)雜性使得模型的決策邊界變得高度非線性和不連續(xù)，造成模型對(duì)微小擾動(dòng)的敏感性。同時(shí)，有限的訓(xùn)練數(shù)據(jù)使模型在面對(duì)分布外樣本時(shí)表現(xiàn)不穩(wěn)定。此外，傳統(tǒng)的優(yōu)化目標(biāo)主要關(guān)注訓(xùn)練誤差的最小化，而忽視了對(duì)抗樣本的威脅。這些因素共同作用，造成了模型在面對(duì)精心設(shè)計(jì)的擾動(dòng)時(shí)容易產(chǎn)生錯(cuò)誤判斷，暴露了當(dāng)前模型在魯棒性和泛化能力方面的對(duì)抗樣本對(duì)模型的安全應(yīng)用構(gòu)成了嚴(yán)重威脅，其影響范圍涵蓋了多模態(tài)領(lǐng)域，包括視覺(jué)、聽(tīng)覺(jué)和文本處理系統(tǒng)。在視覺(jué)領(lǐng)域，自動(dòng)駕駛車(chē)輛可能誤讀被篡改的交通標(biāo)志，安檢系統(tǒng)可能忽視經(jīng)過(guò)精心處理的危險(xiǎn)物品圖像。聽(tīng)覺(jué)方面，語(yǔ)音助手可能被隱藏在背景音中的對(duì)抗指令操縱。人臉識(shí)別08人工智能各界關(guān)注與風(fēng)險(xiǎn)人工智能各界關(guān)注與風(fēng)險(xiǎn)在生成式人工智能（AIGeneratedContent，簡(jiǎn)稱(chēng)AIGC[1]）時(shí)代，多模態(tài)對(duì)抗樣本可能導(dǎo)致大模型輸出惡意行為者可控的有害內(nèi)容。例如，經(jīng)過(guò)處理的圖像輸入可能引導(dǎo)模型生成包含違法或危險(xiǎn)行為指導(dǎo)的文本描述。視頻生成模型可能被操縱制作令人不安或具有誤導(dǎo)性的深度偽造內(nèi)容。多模態(tài)對(duì)抗樣本產(chǎn)生的內(nèi)容如果廣泛傳播，會(huì)造成信息混亂，特別是在跨模態(tài)內(nèi)容理解和生成方面，對(duì)抗樣本的威脅更加隱蔽和難以檢測(cè)，為濫用和欺詐行為提供了新的途徑。這種多維度的安AIGC的快速發(fā)展引入了新的安全威脅，提示詞（prompt）注入攻擊是其中最典型的風(fēng)險(xiǎn)。提示注入攻擊指惡意行為者通過(guò)巧妙構(gòu)造輸入文本，來(lái)操縱大模型執(zhí)行非預(yù)期或潛在有害操作的一種惡意行為方法。提示詞注入一般分為直接注入和間接注入，直接注入又稱(chēng)為“越獄”攻擊[2]，使大提示詞注入的主要原因?yàn)榇竽Ｐ蛯?duì)指令的高度敏感性和靈活性。盡管大模型在語(yǔ)義理解方面表現(xiàn)出色，可以適應(yīng)廣泛的輸入和指令，但這種靈活性可能被惡意利用。惡意行為者可以巧妙構(gòu)造提此外，模型在處理復(fù)雜、多層次或潛在矛盾的指令時(shí)可能存在挑戰(zhàn)，這為惡意行為者提供了可利用的空間。雖然模型具有強(qiáng)大的語(yǔ)義理解能力，但在區(qū)分正常請(qǐng)求和惡意指令方面仍面臨困難，特別是當(dāng)這些指令巧妙地融入正常文本中的時(shí)候，惡意行為者可以巧妙構(gòu)造惡意文本來(lái)操縱大模型提示詞注入對(duì)大模型構(gòu)成了廣泛的安全風(fēng)險(xiǎn)，涉及文本、圖像、音頻等多模態(tài)內(nèi)容。這種惡意行為可能導(dǎo)致敏感信息泄露、系統(tǒng)執(zhí)行未授權(quán)操作、生成誤導(dǎo)性或有害內(nèi)容，以及利用第三方應(yīng)用漏洞進(jìn)行欺詐。在多模態(tài)場(chǎng)景中，攻擊者可能通過(guò)在圖像中隱藏文本、在音頻中嵌入指令或操縱視[1]/item/AIGC/59988381[2]https://securiti.ai/owasp-top-10-for-llms/b09人工智能各界關(guān)注與風(fēng)險(xiǎn)人工智能各界關(guān)注與風(fēng)險(xiǎn)3.3.3應(yīng)用安全風(fēng)險(xiǎn)智能體（Agent）是一種能夠感知環(huán)境、進(jìn)行決策和執(zhí)行動(dòng)作的智能實(shí)體。隨著大模型的能力大模型智能體的安全風(fēng)險(xiǎn)是指通過(guò)提示詞注入或?qū)箻颖镜姆绞剑尨竽Ｐ鸵?guī)劃出惡意的任務(wù)序列，或生成并執(zhí)行惡意的指令。這類(lèi)風(fēng)險(xiǎn)產(chǎn)生的主要原因?yàn)榇竽Ｐ蜔o(wú)法區(qū)分輸入prompt中的數(shù)據(jù)和指令，例如命令大模型閱讀網(wǎng)頁(yè)的評(píng)論并進(jìn)行總結(jié)，這種場(chǎng)景下網(wǎng)頁(yè)評(píng)論是數(shù)據(jù)，但如果評(píng)論中含有惡意的prompt指令，如發(fā)送照片到某個(gè)郵箱，則大模型在處理這個(gè)評(píng)論時(shí)，可能會(huì)規(guī)劃出惡意大模型智能體的安全風(fēng)險(xiǎn)可能導(dǎo)致嚴(yán)重的危害，例如造成實(shí)際的資金損失，泄露重要的個(gè)人數(shù)據(jù)等。大模型智能體往往具備訪問(wèn)或操作系統(tǒng)的敏感權(quán)限，會(huì)進(jìn)一步加劇傳統(tǒng)網(wǎng)絡(luò)安全的風(fēng)險(xiǎn)，例如智能體可被誘導(dǎo)訪問(wèn)掛馬網(wǎng)站，然后惡意行為者通過(guò)瀏覽器漏洞入侵手機(jī)或PC。AI應(yīng)用框架是AI系統(tǒng)重要的組成部分，AI應(yīng)用框架存在網(wǎng)絡(luò)安全漏洞可導(dǎo)致AI系統(tǒng)被惡意行為者控制。這類(lèi)問(wèn)題的原因是模型的輸入輸出往往需要插件和工具進(jìn)行輔助處理。例如AI系統(tǒng)在處理數(shù)學(xué)運(yùn)算請(qǐng)求時(shí)，會(huì)調(diào)用并執(zhí)行AI應(yīng)用框架的科學(xué)計(jì)算工具獲得精確結(jié)果。如果相關(guān)插件和工具存針對(duì)AI應(yīng)用框架的惡意行為可能導(dǎo)致嚴(yán)重的后果，惡意行為者通過(guò)注入并執(zhí)行惡意代碼可以完全控制AI系統(tǒng)，造成模型文件等敏感信息泄露、盜取用戶(hù)資產(chǎn)、傳播惡意軟件或AI系統(tǒng)拒絕服務(wù)等3.3.4算力底座安全風(fēng)險(xiǎn)利用側(cè)信道技術(shù)，從硬件環(huán)境，包括CPU、GPU/NPU、DPU，乃至通信的PCIE硬件，竊取關(guān)鍵模型信息。基于側(cè)信道的模型竊取主要是在模型部署運(yùn)行過(guò)程中通過(guò)操作系統(tǒng)或硬件等額外信息推斷目標(biāo)模型的機(jī)密屬性，因此側(cè)信道威脅的主要風(fēng)險(xiǎn)是模型屬性推斷，而一般惡意破壞者最有興趣的模型屬性就是目標(biāo)模型架構(gòu)信息?；趥?cè)信道的模型竊取風(fēng)險(xiǎn)包括Cache側(cè)信道、能耗側(cè)信道、時(shí)間側(cè)信道、PCIE側(cè)信道和GPU側(cè)信道等。人工智能各界關(guān)注與風(fēng)險(xiǎn)人工智能各界關(guān)注與風(fēng)險(xiǎn)識(shí)別和惡意軟件檢測(cè)等場(chǎng)景模塊。在AI計(jì)算環(huán)境中，普遍采用GPU/NPU加速模型（訓(xùn)練/推理）運(yùn)當(dāng)前AI領(lǐng)域已經(jīng)演化成為了復(fù)雜的生態(tài)，AI計(jì)算環(huán)境中往往包含著大量不同的軟件組件，從而有可能成為潛在的威脅面。例如，AI系統(tǒng)中存在著大量的開(kāi)源、第三方組件。惡意行為者完全可以通過(guò)找到組件的0day或未及時(shí)修補(bǔ)的漏洞，實(shí)現(xiàn)代碼執(zhí)行、模型竊取等惡意行為。此外，當(dāng)前AI計(jì)算生態(tài)中普遍采用docker等容器技術(shù)來(lái)簡(jiǎn)化訓(xùn)練、部署、推理的流程，并利用KubeFlow框架將機(jī)器學(xué)習(xí)任務(wù)部署到Kubernetes集群中。而Docker卻長(zhǎng)期面臨著文件系統(tǒng)隔離、進(jìn)程與通信隔離、設(shè)備管理與主機(jī)資源限制、網(wǎng)絡(luò)隔離和鏡像傳輸?shù)确矫娴陌踩{，稍有配置不當(dāng)，就會(huì)導(dǎo)致容器3.3.5風(fēng)險(xiǎn)持續(xù)演進(jìn)隨著生成式人工智能（AIGC）的發(fā)展，AI逐漸變?yōu)槌掷m(xù)運(yùn)營(yíng)的在線服務(wù)。上述的數(shù)據(jù)、模型、AI應(yīng)用和算力底座面臨的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)，將不僅僅局限于開(kāi)發(fā)、部署階段，而是長(zhǎng)期存在于AI系統(tǒng)b11華為公司人工智能發(fā)展與現(xiàn)狀華為公司人工智能發(fā)展與現(xiàn)狀華為人工智能模型從2012年成立諾亞方舟實(shí)驗(yàn)室開(kāi)始，到2024年發(fā)布基于全棧自研技術(shù)開(kāi)發(fā)1.L0層：基礎(chǔ)大模型，包括盤(pán)古語(yǔ)言大模型、盤(pán)古多模態(tài)大模型、盤(pán)古視覺(jué)大模型、盤(pán)古預(yù)測(cè)2.L1層：行業(yè)大模型，基于各行業(yè)公共數(shù)據(jù)，在基礎(chǔ)大模型上訓(xùn)練得到的為行業(yè)應(yīng)用服務(wù)的大3.L2層：場(chǎng)景大模型，在各行業(yè)大模型和基礎(chǔ)大模型的基礎(chǔ)上，為各個(gè)具體應(yīng)用場(chǎng)景進(jìn)行專(zhuān)門(mén)場(chǎng)景模型ModelArtsStudio場(chǎng)景模型ModelArtsStudio盤(pán)古行業(yè)大模型傳送帶傳送帶異物檢測(cè)財(cái)務(wù)異常檢測(cè)財(cái)務(wù)異常檢測(cè)鐵路鐵路TFDS檢測(cè)掘進(jìn)序列檢測(cè)掘進(jìn)序列檢測(cè)PCBPCB板質(zhì)檢金融金融OCR電力巡檢電力巡檢小分子優(yōu)化小分子優(yōu)化卷宗審核卷宗審核先導(dǎo)藥物篩選先導(dǎo)藥物篩選商品銷(xiāo)量預(yù)測(cè)商品銷(xiāo)量預(yù)測(cè)氣象預(yù)測(cè)氣象預(yù)測(cè)偏光片質(zhì)檢偏光片質(zhì)檢物的銀行物的銀行海浪預(yù)測(cè)海浪預(yù)測(cè)差旅出行差旅出行盤(pán)古金融大模型盤(pán)古政務(wù)大模型盤(pán)古通信大模型盤(pán)古鐵路大模型盤(pán)古數(shù)字人大模型盤(pán)古藥物分子大模型盤(pán)古金融大模型盤(pán)古政務(wù)大模型盤(pán)古通信大模型盤(pán)古鐵路大模型盤(pán)古數(shù)字人大模型盤(pán)古藥物分子大模型盤(pán)古醫(yī)學(xué)大模型盤(pán)古汽車(chē)大模型盤(pán)古研發(fā)大模型ModelArtsGuard盤(pán)古礦山大模型盤(pán)古氣象大模型盤(pán)古高鐵大模型盤(pán)古具身智能大模型盤(pán)古工業(yè)設(shè)計(jì)大模型盤(pán)古安全大模型盤(pán)古建筑大模型盤(pán)古媒體大模型盤(pán)古高鐵大模型盤(pán)古具身智能大模型盤(pán)古工業(yè)設(shè)計(jì)大模型盤(pán)古安全大模型盤(pán)古建筑大模型盤(pán)古媒體大模型盤(pán)古NLP大模型盤(pán)古多模態(tài)大模型盤(pán)古預(yù)測(cè)大模型盤(pán)古科學(xué)計(jì)算大模型盤(pán)古基礎(chǔ)大模型盤(pán)古鋼鐵大模型盤(pán)古CV大模型華為公司致力于基于自研技術(shù)的全棧AI軟硬件平臺(tái)的路線，2018年推出昇騰310芯片，發(fā)布模組、標(biāo)卡、小站全系列推理產(chǎn)品，2020年發(fā)布AI開(kāi)發(fā)昇思MindSpore開(kāi)源工具，2023年AI集群的首個(gè)萬(wàn)卡集群發(fā)布，經(jīng)過(guò)多年的發(fā)展，華為公司開(kāi)發(fā)出昇騰（Ascend）芯片、昇騰(Ascend）硬件、異構(gòu)計(jì)算架構(gòu)（CANN）、昇思（MindSpore）AI模型開(kāi)發(fā)框架、AI應(yīng)用開(kāi)發(fā)使能工具等。華為公司人工智能發(fā)展與現(xiàn)狀華為公司人工智能發(fā)展與現(xiàn)狀昇騰AI產(chǎn)業(yè)(簡(jiǎn)稱(chēng)昇騰AI/昇騰)以自研AI軟硬件平臺(tái)為基礎(chǔ)提供人工智能算力。昇騰AI產(chǎn)業(yè)堅(jiān)持“硬件開(kāi)放、軟件開(kāi)源、使能伙伴、發(fā)展人才”，聯(lián)合技術(shù)和商業(yè)伙伴，打造“共建、共享、共贏”的人工智能產(chǎn)業(yè)，致力于讓AI“用得起、用得好、用得放心”，以人工智能賦能社會(huì)發(fā)展與產(chǎn)業(yè)升級(jí)，為人類(lèi)社會(huì)發(fā)展帶來(lái)價(jià)值。全棧自主創(chuàng)新使能行業(yè)應(yīng)用開(kāi)放工具支撐應(yīng)用開(kāi)發(fā)加速應(yīng)用落地開(kāi)源框架使能模型開(kāi)發(fā)加速科研創(chuàng)新開(kāi)放算子使能伙伴開(kāi)發(fā)加速計(jì)算性能開(kāi)放模組主板使能伙伴開(kāi)發(fā)華為公司為社會(huì)積極貢獻(xiàn)華為的智慧，每年在NeurIPS、ICML、CVPR、ACL等國(guó)際頂會(huì)上有200-300篇論文發(fā)表，近期數(shù)次在優(yōu)化理論、模型量化、優(yōu)化器、生成模型理論等方面獲得大會(huì)最佳和優(yōu)秀論文獎(jiǎng)。隨著人工智能越來(lái)越強(qiáng)，人工智能在網(wǎng)絡(luò)安全方面帶來(lái)問(wèn)題和挑戰(zhàn)也日益受到廣泛關(guān)注。華為公司AI系統(tǒng)涉及到多個(gè)業(yè)務(wù)領(lǐng)域，一方面人工智能帶來(lái)了巨大的機(jī)遇和效益，但另一方面也面臨著人工智能的網(wǎng)絡(luò)安全挑戰(zhàn)，華為公司不斷地探索保護(hù)AI系統(tǒng)的行之有效的方法，確保市場(chǎng)的合規(guī)準(zhǔn)入和AI系統(tǒng)的安全做事，對(duì)此我們提出了切實(shí)可行的治理實(shí)踐。b13華為公司人工智能網(wǎng)絡(luò)安全治理實(shí)踐網(wǎng)絡(luò)安全風(fēng)險(xiǎn)管理考慮的因素和方法適用于AI系統(tǒng)的設(shè)計(jì)、開(kāi)發(fā)、部署、評(píng)估和使用。網(wǎng)絡(luò)安全和隱私保護(hù)風(fēng)險(xiǎn)也被視為更廣泛的企業(yè)風(fēng)險(xiǎn)管理考慮因素的5.1人工智能網(wǎng)絡(luò)安全與隱私保護(hù)治理整體原則和職責(zé)人工智能網(wǎng)絡(luò)安全與隱私保護(hù)治理由華為公司成熟的網(wǎng)絡(luò)安全與隱私保護(hù)組織體系負(fù)責(zé)，主要主管擔(dān)責(zé)：各級(jí)業(yè)務(wù)主管是所轄業(yè)務(wù)網(wǎng)絡(luò)安全與隱私保護(hù)的第一責(zé)任人，各級(jí)流程責(zé)任人是所全員參與：所有員工具備網(wǎng)絡(luò)安全與隱私保護(hù)意識(shí)和能力，在自身業(yè)務(wù)中落實(shí)網(wǎng)絡(luò)安全與隱私保護(hù)基本要求。每個(gè)員工都要對(duì)自己所做的事情和產(chǎn)生的結(jié)果負(fù)責(zé)，不僅要對(duì)技術(shù)負(fù)責(zé)，也要承擔(dān)獨(dú)立驗(yàn)證：信任應(yīng)基于事實(shí)，事實(shí)必須可驗(yàn)證，而驗(yàn)證必須基于共同標(biāo)準(zhǔn)。在此基礎(chǔ)上，基于開(kāi)放合作：秉承開(kāi)放透明的態(tài)度，真誠(chéng)地與客戶(hù)、供應(yīng)商、合作伙伴、行業(yè)組織等利益相關(guān)方積極開(kāi)展網(wǎng)絡(luò)安全與隱私保護(hù)溝通與合作，責(zé)任共擔(dān)、能力共建、價(jià)值共享，共同應(yīng)對(duì)網(wǎng)絡(luò)安全與持續(xù)優(yōu)化：網(wǎng)絡(luò)安全與隱私保護(hù)是一個(gè)持續(xù)的風(fēng)險(xiǎn)管理和能力建設(shè)過(guò)程，不存在絕對(duì)的安全，也不存在一勞永逸的方案，需要適時(shí)審視不足，持續(xù)改進(jìn)網(wǎng)絡(luò)安全與隱私保護(hù)管理和技術(shù)措施的適合規(guī)與風(fēng)險(xiǎn)管控：建設(shè)完善的網(wǎng)絡(luò)安全與隱私保護(hù)合規(guī)體系，明晰合規(guī)責(zé)任，遵從所有適用的 華為公司人工智能網(wǎng)絡(luò)安全治理實(shí)踐產(chǎn)品安全隱私保障：沿著E2E流程構(gòu)筑產(chǎn)品安全可信，產(chǎn)品安全責(zé)任界面清晰，客戶(hù)公平無(wú)安全運(yùn)營(yíng)：基于“責(zé)任清晰、業(yè)務(wù)當(dāng)責(zé)”和“分類(lèi)管理、分級(jí)防護(hù)”的原則持續(xù)完善運(yùn)營(yíng)類(lèi)業(yè)務(wù)的管理制度和流程，提升網(wǎng)絡(luò)安全運(yùn)維運(yùn)營(yíng)能力，強(qiáng)化落實(shí)執(zhí)行、業(yè)務(wù)自查、內(nèi)部獨(dú)立監(jiān)督檢查，保障業(yè)務(wù)守法合規(guī)、安全運(yùn)營(yíng)。溝通與信任構(gòu)筑：“聚焦、務(wù)實(shí)、靈活有效”，通過(guò)溝通構(gòu)筑信任，通過(guò)建立完善有效的溝通機(jī)制，獲取利益相關(guān)方的信任，支撐業(yè)務(wù)開(kāi)展。在華為公司網(wǎng)絡(luò)安全與隱私保護(hù)整體基調(diào)之下，遵循網(wǎng)絡(luò)安全與隱私保護(hù)8大治理原則，落實(shí)網(wǎng)絡(luò)安全與隱私保護(hù)的4大工作職責(zé)。結(jié)合業(yè)界標(biāo)準(zhǔn)和公司既有實(shí)踐，采用治理加上嵌入式管理的工作方法，以實(shí)現(xiàn)AI網(wǎng)絡(luò)安全風(fēng)險(xiǎn)管控和合規(guī)合法的目標(biāo)，構(gòu)建人工智能網(wǎng)絡(luò)安全治理的架構(gòu)。5.2合法合規(guī)伴隨著AI技術(shù)的發(fā)展和爆發(fā)式的廣泛應(yīng)用，對(duì)AI的監(jiān)管要求也逐步地完善起來(lái)，全球各地逐步發(fā)布了AI相關(guān)的法案。同時(shí)我們也注意到法律是復(fù)雜、多變而且持續(xù)變化的。華為公司遍布全球的法務(wù)專(zhuān)家持續(xù)地跟蹤和識(shí)別適用的AI法律要求，并對(duì)它們進(jìn)行標(biāo)識(shí)和分類(lèi)?；诜梢?，華為公司制定了自己的網(wǎng)絡(luò)安全戰(zhàn)略和合規(guī)政策，作為戰(zhàn)略性框架和基線以保證網(wǎng)絡(luò)安全合規(guī)要求被融入到我們端到端的業(yè)務(wù)實(shí)踐以及產(chǎn)品生命周期管理中，從產(chǎn)品開(kāi)發(fā)一直到服務(wù)交付和支持服務(wù)。確保華為公司AI系統(tǒng)遵從適用的國(guó)家和地區(qū)網(wǎng)絡(luò)安全法規(guī)。b15華為公司人工智能網(wǎng)絡(luò)安全治理實(shí)踐5.3治理管理在治理管理上達(dá)到明確責(zé)任管控風(fēng)險(xiǎn)目標(biāo)，通過(guò)深入的AI業(yè)務(wù)風(fēng)險(xiǎn)評(píng)估和分析，預(yù)防和減少AI業(yè)務(wù)中可能出現(xiàn)的網(wǎng)絡(luò)安全和隱私保護(hù)問(wèn)題，確定各方責(zé)任邊界，并不斷度量、驗(yàn)證和評(píng)估結(jié)果達(dá)成情況，同時(shí)基于AI業(yè)務(wù)主要場(chǎng)景進(jìn)行應(yīng)急危機(jī)演練，促進(jìn)AI網(wǎng)絡(luò)5.3.1組織、職責(zé)與授權(quán)為落實(shí)華為公司AI業(yè)務(wù)意圖和治理原則，網(wǎng)絡(luò)安全與隱私保護(hù)體系負(fù)責(zé)建立AI網(wǎng)絡(luò)安全與隱私保護(hù)治理的長(zhǎng)效機(jī)制，保障公司的AI產(chǎn)品、解決方案、服務(wù)以及各子公司的數(shù)據(jù)處理活動(dòng)遵從適用的法律以及監(jiān)管機(jī)構(gòu)對(duì)AI網(wǎng)絡(luò)安全與隱私保護(hù)的要求。網(wǎng)絡(luò)安全和隱私保護(hù)體系包括研發(fā)、營(yíng)銷(xiāo)、服務(wù)、供應(yīng)、采購(gòu)和制造等，確保AI網(wǎng)絡(luò)安全要求為適配公司多業(yè)態(tài)的業(yè)務(wù)架構(gòu)，在集團(tuán)戰(zhàn)略管控、防范系統(tǒng)風(fēng)險(xiǎn)的基礎(chǔ)上，向業(yè)務(wù)單元和區(qū)域5.3.2風(fēng)險(xiǎn)管理沿著各業(yè)務(wù)場(chǎng)景和業(yè)務(wù)流程、數(shù)據(jù)流，全面建立AI風(fēng)險(xiǎn)評(píng)估標(biāo)準(zhǔn)，組織業(yè)務(wù)專(zhuān)家、法律專(zhuān)家、風(fēng)險(xiǎn)管理專(zhuān)家，從風(fēng)險(xiǎn)發(fā)生的可能性和影響程度分析，對(duì)風(fēng)險(xiǎn)進(jìn)行全面評(píng)估，確定每個(gè)風(fēng)險(xiǎn)場(chǎng)景的風(fēng)險(xiǎn)等級(jí)，建立業(yè)務(wù)領(lǐng)域風(fēng)險(xiǎn)地圖，聚焦優(yōu)基于AI風(fēng)險(xiǎn)消減目標(biāo)，制定風(fēng)險(xiǎn)管理的短期措施和長(zhǎng)效措施，建立業(yè)務(wù)規(guī)則、流程和IT、責(zé)任體系、技術(shù)規(guī)范、培訓(xùn)賦能等長(zhǎng)效機(jī)制，重點(diǎn)聚焦將AI風(fēng)險(xiǎn)管理融入到公司各業(yè)務(wù)流程中，同時(shí)通過(guò)IT工具實(shí)現(xiàn)風(fēng)險(xiǎn)管理可視、可管、可追溯，提升風(fēng)險(xiǎn)管理的各業(yè)務(wù)組織例行的自檢、稽查識(shí)別AI風(fēng)險(xiǎn)管理措施的充分性和有效性，通過(guò)獨(dú)立驗(yàn)證體系對(duì)AI系統(tǒng)5.3.3度量驗(yàn)證與監(jiān)督華為公司建立了端到端的網(wǎng)絡(luò)安全保障體系，將網(wǎng)絡(luò)安全、隱私保護(hù)及軟件工程能力提升的要求融入到產(chǎn)品、解決方案、服務(wù)和運(yùn)營(yíng)類(lèi)業(yè)務(wù)的全生命周期流程，涵蓋產(chǎn)品開(kāi)發(fā)過(guò)程與生命周期管 華為公司人工智能網(wǎng)絡(luò)安全治理實(shí)踐華為公司全面實(shí)施了多層的網(wǎng)絡(luò)安全和隱私保護(hù)獨(dú)立驗(yàn)證機(jī)制，持續(xù)驗(yàn)證交付給客戶(hù)的產(chǎn)品、解決方案、服務(wù)和運(yùn)營(yíng)類(lèi)業(yè)務(wù)并提供基于客觀事實(shí)證據(jù)的驗(yàn)證結(jié)果，以促進(jìn)網(wǎng)絡(luò)安全與隱私保護(hù)管基于獨(dú)立客觀、多眼多手、專(zhuān)業(yè)盡責(zé)、持續(xù)改進(jìn)和開(kāi)放透明的原則，通過(guò)內(nèi)外部組織持續(xù)構(gòu)建AI測(cè)評(píng)標(biāo)準(zhǔn)、AI測(cè)評(píng)用例、AI測(cè)評(píng)平臺(tái)，確保AI系統(tǒng)在其生命周期中各個(gè)環(huán)節(jié)符合網(wǎng)絡(luò)安全標(biāo)準(zhǔn)和最佳實(shí)踐。對(duì)AI系統(tǒng)進(jìn)行網(wǎng)絡(luò)安全風(fēng)險(xiǎn)識(shí)別和評(píng)估是AI測(cè)評(píng)的基礎(chǔ)，AI網(wǎng)絡(luò)安全測(cè)評(píng)應(yīng)涵蓋數(shù)據(jù)安華為公司已建立了AI網(wǎng)絡(luò)安全測(cè)評(píng)體系，伴隨著AI技術(shù)的持續(xù)演進(jìn)和更為廣泛的應(yīng)用，測(cè)評(píng)體系會(huì)持續(xù)的優(yōu)化完善，持續(xù)有效的地度量、驗(yàn)證并形成事實(shí)上的監(jiān)督，為AI系統(tǒng)安全、可靠和負(fù)責(zé)5.3.4應(yīng)急處理演練預(yù)案需要明確劃分各個(gè)角色的責(zé)任分工，在預(yù)設(shè)的事件演練過(guò)程中識(shí)別薄弱環(huán)節(jié)并持續(xù)進(jìn)行改5.4流程融入華為公司參考國(guó)際法規(guī)、標(biāo)準(zhǔn)和優(yōu)秀實(shí)踐，在研發(fā)、營(yíng)銷(xiāo)、服務(wù)、供應(yīng)、采購(gòu)和制造等流程中以研發(fā)IPD流程為例，在產(chǎn)品開(kāi)發(fā)的“產(chǎn)品管理”階段輸出“產(chǎn)品AI治理要求定義”中明確網(wǎng)絡(luò)安全與隱私保護(hù)要求，開(kāi)展AI場(chǎng)景及應(yīng)用風(fēng)險(xiǎn)分析，識(shí)別AI風(fēng)險(xiǎn)，規(guī)劃消減需求，在其后系統(tǒng)設(shè)計(jì)、資料、集成驗(yàn)證、營(yíng)銷(xiāo)等環(huán)節(jié)落地風(fēng)險(xiǎn)消減需求和舉措，實(shí)現(xiàn)風(fēng)險(xiǎn)消減。AI模型開(kāi)發(fā)流程定義了從數(shù)據(jù)收集、入庫(kù)、存儲(chǔ)、訓(xùn)練、應(yīng)用等數(shù)據(jù)生命周期規(guī)范和追溯要求，為AI數(shù)據(jù)真實(shí)、可追溯定義了執(zhí)行標(biāo)準(zhǔn)，使AI開(kāi)發(fā)過(guò)程有指導(dǎo)，過(guò)程可控。建立AI數(shù)據(jù)集和模型的元數(shù)據(jù)標(biāo)準(zhǔn)，基于產(chǎn)業(yè)特點(diǎn)進(jìn)行適配優(yōu)化并統(tǒng)一AI開(kāi)發(fā)、構(gòu)建工具鏈，實(shí)現(xiàn)AI作業(yè)過(guò)程全在線，構(gòu)建從原始數(shù)據(jù)、數(shù)據(jù)集、模型和軟件E2E可追溯能力，支持?jǐn)?shù)據(jù)集可管控、模型可追溯。達(dá)成AI產(chǎn)品的開(kāi)發(fā)全流程有指b17華為公司人工智能網(wǎng)絡(luò)安全治理實(shí)踐5.5工程能力華為公司制定了涵蓋AI安全的工程能力建設(shè)框架，通過(guò)華為公司實(shí)踐，持續(xù)構(gòu)建網(wǎng)絡(luò)安全工程能力，覆蓋全棧安全防護(hù)技術(shù)，以軟件安全工程能力為基石，重點(diǎn)推進(jìn)數(shù)據(jù)安全工程能力和模型安全工程能力。數(shù)據(jù)安全工程能力包括但不限于數(shù)據(jù)的收集、存儲(chǔ)、處理和傳輸?shù)雀鱾€(gè)環(huán)節(jié)的安全防護(hù)措施，如采用先進(jìn)的數(shù)據(jù)加密技術(shù)、訪問(wèn)控制機(jī)制和數(shù)據(jù)脫敏處理，以防止數(shù)據(jù)泄露、篡改和濫用，確保數(shù)據(jù)的完整性和機(jī)密性等。模型安全工程能力包含模型安全評(píng)估、對(duì)抗性攻擊防御和模型5.6開(kāi)放合作華為公司與用戶(hù)、合作伙伴、監(jiān)管機(jī)構(gòu)等利益相關(guān)方保持開(kāi)放溝通，共同推動(dòng)AI安全治理的進(jìn)步。通過(guò)開(kāi)放的對(duì)話平臺(tái)，促進(jìn)信息共享，共同探討和解決AI安全領(lǐng)域的挑戰(zhàn)。通過(guò)跨學(xué)科、跨行業(yè)的協(xié)作，制定更為全面和前瞻性的AI安全標(biāo)準(zhǔn)和規(guī)范，以推動(dòng)行業(yè)的共同進(jìn)步。同時(shí)通過(guò)合作我們能夠更好地理解AI在不同業(yè)務(wù)應(yīng)用領(lǐng)域的安全需求和挑戰(zhàn)，開(kāi)發(fā)出更加安全、可靠的AI產(chǎn)品和AI 華為公司人工智能系統(tǒng)的網(wǎng)絡(luò)安全防護(hù)實(shí)踐由于AI自身機(jī)制原因?qū)е聰?shù)據(jù)、模型和應(yīng)用等安全問(wèn)題，僅僅通過(guò)單一手段難以有效控制風(fēng)險(xiǎn)，華為公司構(gòu)建了多層次的防護(hù)護(hù)欄體系，確保合規(guī)準(zhǔn)入和安全做事。6.1四大可信根技術(shù)保障算力底座安全隨著大模型訓(xùn)練數(shù)據(jù)量增加，模型（深度、寬度）越來(lái)越復(fù)雜，模型訓(xùn)練與推理集中于AI計(jì)算中心，該場(chǎng)景面臨著多用戶(hù)共享算力環(huán)境所帶來(lái)的網(wǎng)絡(luò)安全威脅。模型廠商必然會(huì)關(guān)注：1.如何將訓(xùn)練數(shù)據(jù)、AI模型從公司內(nèi)部安全地傳輸?shù)紸I計(jì)算中心？2.如何在計(jì)算中心安全地保存AI模型？3.如何在AI模型的運(yùn)行（訓(xùn)練、推理）過(guò)程中保護(hù)AI模型？4.如何防止算力平臺(tái)軟件被惡意植入、篡改？b19 華為公司人工智能系統(tǒng)的網(wǎng)絡(luò)安全防護(hù)實(shí)踐6.1.1加密引擎在AI計(jì)算中心解決方案基礎(chǔ)上，本文提出名為AIGuard的模型和數(shù)據(jù)保護(hù)方案，借助于華為公司昇騰AI計(jì)算中心的安全可信公共設(shè)施AI-VAULT提供的密鑰安全存儲(chǔ)和授權(quán)，AIGuard使用加密1.AI模型廠商作為訓(xùn)練數(shù)據(jù)和AI模型的所有者，在其本地對(duì)訓(xùn)練數(shù)據(jù)、AI模型執(zhí)行加密，并負(fù)2.AI模型廠商與AI計(jì)算中心的AI-VAULT建立信任關(guān)系，并通過(guò)安全通道將密鑰安全地注冊(cè)到計(jì)算中心的AI-VAULT。3.AI模型廠商將加密后的訓(xùn)練數(shù)據(jù)或AI模型推送到AI計(jì)算中心。4.AI計(jì)算中心為訓(xùn)練或推理容器鏡像提供完整性保護(hù)。5.容器運(yùn)行時(shí)需要通過(guò)身份認(rèn)證，獲得授權(quán)才能獲取AI-VAULT中存儲(chǔ)的解密密鑰。6.在訓(xùn)練和推理容器運(yùn)行時(shí)，還需要采用權(quán)限最小化對(duì)AI容器進(jìn)7.在上述各環(huán)節(jié)中都可以采用芯片內(nèi)置加密引6.1.2機(jī)密計(jì)算加密后的模型與數(shù)據(jù)在CPU加載時(shí)需要解密，因此運(yùn)行階段的安全保障能力不足，導(dǎo)致無(wú)法實(shí)密態(tài)計(jì)算：以密碼學(xué)為信任根，將用戶(hù)數(shù)據(jù)加密后以密文態(tài)進(jìn)行計(jì)算，計(jì)算過(guò)程中無(wú)需解密，機(jī)密計(jì)算：以TEE等硬件可信執(zhí)行環(huán)境為基礎(chǔ)，用戶(hù)加密的模型與數(shù)據(jù)在TEE中解密后運(yùn)算，免受未經(jīng)授權(quán)的訪問(wèn)或篡改，硬件級(jí)的安全保障使得即便具有高權(quán)限的操作系統(tǒng)甚至是虛擬機(jī)監(jiān)視器(hypervisor)，也無(wú)法窺探和篡改機(jī)密計(jì)算中的數(shù)據(jù)和代碼，此技術(shù)性能損耗小，但對(duì)硬件有 華為公司人工智能系統(tǒng)的網(wǎng)絡(luò)安全防護(hù)實(shí)踐華為公司綜合兩條技術(shù)路線的優(yōu)點(diǎn)，不僅在CPU側(cè)實(shí)現(xiàn)了機(jī)密虛機(jī)virtCCA，更基于創(chuàng)新的PCIe安全技術(shù)，致力于將NPU安全地接入到機(jī)密虛機(jī)中，實(shí)現(xiàn)AI機(jī)密計(jì)算。6.1.3可信互聯(lián)基于PCIe安全技術(shù)可以將NPU安全的接入到CPU側(cè)機(jī)密虛機(jī)中，實(shí)現(xiàn)板級(jí)AI機(jī)密計(jì)算。但大模型訓(xùn)練需要NPU集群，因此在NPU之間也需要D2D高速互聯(lián)。保證D2D互聯(lián)安全的傳統(tǒng)方案采用傳輸加密，因?yàn)榇竽Ｐ陀?xùn)練Transformer模型對(duì)時(shí)延高度敏感，導(dǎo)致部署傳輸加密方案后性能開(kāi)銷(xiāo)很大。華為公司創(chuàng)新靈衢UB互聯(lián)協(xié)議，在協(xié)議底層定義了安全通道，因此可以在D2D互聯(lián)時(shí)在NPU之間建立安全傳輸通道，實(shí)現(xiàn)“0”開(kāi)銷(xiāo)的D2D安全傳輸。6.1.4可信計(jì)算為防止算力平臺(tái)軟件被惡意植入、篡改，華為公司基于自研BMC芯片和可信計(jì)算國(guó)標(biāo)開(kāi)發(fā)了可信計(jì)算3.0方案?？尚庞?jì)算3.0以“整體安全”和“主動(dòng)免疫”的思想為指導(dǎo)，采用軟硬件協(xié)同設(shè)計(jì)構(gòu)建安全體系，為算力平臺(tái)構(gòu)建安全可信的計(jì)算環(huán)境和通信環(huán)境，提升系統(tǒng)主動(dòng)、動(dòng)態(tài)、整體、精準(zhǔn)的防御能力，構(gòu)筑可信、可管、可控的算力平臺(tái)安全防護(hù)能力，通過(guò)獨(dú)立的可信檢測(cè)軟硬件，與業(yè)務(wù)系統(tǒng)并行獨(dú)立運(yùn)作，形成雙體系結(jié)構(gòu)，實(shí)施計(jì)算運(yùn)算的同時(shí)進(jìn)行安全檢測(cè)，通過(guò)可信機(jī)制，可有效應(yīng)對(duì)APT攻擊和供應(yīng)鏈攻擊風(fēng)險(xiǎn)，可以有效地滿足《信息安全技術(shù)—網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求》（GB/T22239-2019）對(duì)可信驗(yàn)證、主動(dòng)防御的要求。6.2第一道護(hù)欄：數(shù)據(jù)安全1.數(shù)據(jù)集來(lái)源檢查：高風(fēng)險(xiǎn)數(shù)據(jù)集不進(jìn)入數(shù)據(jù)生產(chǎn)線。2.數(shù)據(jù)集內(nèi)容檢查：根據(jù)數(shù)據(jù)特征檢查違規(guī)數(shù)據(jù)、隱私、版權(quán)風(fēng)險(xiǎn)。b21 華為公司人工智能系統(tǒng)的網(wǎng)絡(luò)安全防護(hù)實(shí)踐3.模型合規(guī)性檢查：檢查模型文件完整性的同時(shí)檢查模型對(duì)應(yīng)數(shù)據(jù)集是否有合規(guī)處置記錄和數(shù)4.現(xiàn)網(wǎng)問(wèn)題回溯檢查：回溯因?yàn)閱?wèn)題數(shù)據(jù)導(dǎo)致的異常回復(fù)，解決現(xiàn)有清洗、內(nèi)生對(duì)齊、外掛風(fēng)6.3第二道護(hù)欄：模型安全從安全數(shù)據(jù)、算法和評(píng)測(cè)等多維度體系化構(gòu)建模型安全的關(guān)鍵技術(shù)能力，通過(guò)安全對(duì)齊提升模1.數(shù)據(jù)：持續(xù)構(gòu)建包含文本、圖像以及圖文結(jié)合的安全數(shù)據(jù)集。通過(guò)多樣化的數(shù)據(jù)集，華為公2.算法：采取監(jiān)督微調(diào)算法和強(qiáng)化學(xué)習(xí)算法，深入分析不同模態(tài)理解中對(duì)齊訓(xùn)練