人工智能安全框架（2020年）

中國信息通信研究院安全研究所版權(quán)聲明本報告版權(quán)屬于中國信息通信研究院，并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其它方式使用本報告文字或者觀點(diǎn)的，應(yīng)注明“來源：中國信息通信研究院”。違反上述聲明者，本院將追究其相關(guān)法律責(zé)任。牽頭編寫單位：中國信息通信研究院安全研究所參與編寫單位：北京瑞萊智慧科技有限公司北京百度網(wǎng)訊科技有限公司騰訊科技（深圳）有限公司三六零安全科技股份有限公司中國科學(xué)院信息工程研究所編寫組成員：魏亮、魏薇、景慧昀、彭志藝、張旭東、董胤蓬、王海棠、唐佳偉、鄒權(quán)臣、張德岳、楊勇、劉水生、馬多賀、徐世真、唐家渝、蕭子豪、吳月升、黃超、唐夢云、陳昊、郝利民、孫振強(qiáng)、曹亮、劉昭、錢佳宇、周川、陳凱究院聯(lián)合瑞萊智慧、百度、騰訊、360、中科院信工所共同編制《人工智能安全框架（2020年）》藍(lán)皮書。本藍(lán)皮書針對全球人工智能 4 7 7 8 15 47 49 50表1人工智能安全熱點(diǎn)技術(shù)方向提出國家及中國創(chuàng)新成果............8一、人工智能安全現(xiàn)狀(一)人工智能安全挑戰(zhàn)1.人工智能“基建化”加速，基礎(chǔ)設(shè)施面臨安全挑戰(zhàn)以機(jī)器學(xué)習(xí)開源框架平臺和預(yù)訓(xùn)練模型庫為代表的算法基礎(chǔ)設(shè)施因數(shù)據(jù)投毒、訓(xùn)練數(shù)據(jù)泄露等安全風(fēng)險。2020年，美國麻省理工學(xué)院2.人工智能“協(xié)同性”增強(qiáng)，設(shè)計研發(fā)安全風(fēng)險突出3.人工智能“內(nèi)嵌化”加深，應(yīng)用失控風(fēng)險危害顯著界中的安全風(fēng)險向物理世界和人類社會蔓延。一是威脅物理環(huán)境安(二)人工智能風(fēng)險地圖初始階段安全風(fēng)險。初始階段是指將想法轉(zhuǎn)化為有形系統(tǒng)的過全風(fēng)險主要表現(xiàn)為對人工智能應(yīng)用目標(biāo)的設(shè)定有悖國家法律法規(guī)和(三)人工智能安全技術(shù)現(xiàn)狀1.人工智能安全領(lǐng)域近年來論文數(shù)量增長迅速數(shù)量/篇0數(shù)據(jù)來源：中國信通院于2020.11.20檢索自學(xué)術(shù)搜索引擎數(shù)量/篇0 6860 5020數(shù)據(jù)來源：中國信通院于2020.11.20檢索自學(xué)術(shù)搜索引擎2.人工智能安全熱點(diǎn)技術(shù)方向數(shù)量/篇3數(shù)據(jù)來源：中國信通院于2020.11.20檢索自學(xué)術(shù)搜索引擎盡管人工智能安全熱點(diǎn)技術(shù)方向大多是由美國研究人員首次提首次提出并貢獻(xiàn)主要成果的人工智能安全熱點(diǎn)技表1人工智能安全熱點(diǎn)技術(shù)方向提出國1谷歌公司研究人員首次證實針對深度神經(jīng)網(wǎng)絡(luò)的對抗樣本攻擊威普金斯等世界著名高校2斯坦福大學(xué)首次證明了針對深度神經(jīng)網(wǎng)絡(luò)的對抗大學(xué)等提出了一種高效文入選人工智能領(lǐng)域頂Fergus.Intriguingpropertiesofneuralnetworks.InInternationalConferenceonLearningRepresentations(ICLR),性投毒訓(xùn)練數(shù)據(jù)3紐約大學(xué)研究人員首次提出使用可視化對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行解釋授團(tuán)隊開源珠算概率編程庫大幅降低具有高可解釋性貝葉斯深度學(xué)習(xí)4波多黎各理工大學(xué)首次提出神經(jīng)XCon大會上首次演示驗證利用算法模型文件直5谷歌率先提出聯(lián)大學(xué)楊強(qiáng)教授提出了橫向和縱向兩種聯(lián)邦學(xué)習(xí)了全球首個工業(yè)級聯(lián)邦6習(xí)谷歌率先提出針對深度神經(jīng)網(wǎng)絡(luò)的差分隱私方具有機(jī)器學(xué)習(xí)差分隱私保護(hù)能力的工業(yè)級平臺7名為deepfakes網(wǎng)站發(fā)布難辨真能海和張衛(wèi)明教授團(tuán)隊8次發(fā)現(xiàn)并披露機(jī)器學(xué)習(xí)開源框架平臺供應(yīng)鏈安全2.目前全球著名漏洞數(shù)2KohPW,LiangP.Understandingblack-boxpredictionsviainfluencefun3Feng,J.,Cai,Q.-Z.,Zhou,Z.-H.:Learningtoconfuse:gen4M.D.ZeilerandR.Fergus.Visualizingandunderstandingconvolutionalneuralnetwo5GeigelA.Neuralnetworktrojan.JournalofComputerSecurity,2Bacon.Federatedlearning:SMulti-PartyMachineLearning,2016臺依賴組件漏洞100余3.人工智能安全技術(shù)取得局部突破源了差分隱私函數(shù)庫DifferentialPrivacyLibrary，并已在谷歌對抗樣本攻擊和防御技術(shù)方向處于由學(xué)術(shù)研究轉(zhuǎn)化為商業(yè)應(yīng)用臺RealSafe。阿里巴巴、騰訊、百度等科技企業(yè)通過舉辦人工智能知名高校以及科技企業(yè)競相布局的技術(shù)方向。麻省理工大學(xué)聯(lián)合谷云平臺上推出了“可解釋AI”服務(wù)，旨在通過量化每個數(shù)據(jù)對模型型可解釋庫Captum以及OpenAI推出的神經(jīng)元可視化工具的行為和重要性。(四)人工智能安全框架缺失二、人工智能安全框架1.框架范圍用或者惡意使用人工智能應(yīng)用而導(dǎo)致的物理世界和國家社會安全風(fēng)險，主要由國家法律法規(guī)和行業(yè)監(jiān)管政策對人工智能使用者予以規(guī)2.設(shè)計原則企業(yè)保障其設(shè)計研發(fā)和運(yùn)營使用的人工智能應(yīng)用安全是人工智企業(yè)搭建人工智能安全防護(hù)體系和配置安全資源提供可操作的指導(dǎo)蓋人工智能應(yīng)用的全生命周期，提出全面且有針對性的安全防護(hù)建前瞻性：當(dāng)前人工智能安全攻防理論和技術(shù)均在快速演變過程3.核心要素出了支撐實現(xiàn)人工智能安全能力的人工智能安全技術(shù)體系和管理體安全目標(biāo)：通過系統(tǒng)分析人工智能面臨的安全風(fēng)險及其產(chǎn)生根1.安全目標(biāo)確保人工智能應(yīng)用以人類可以理解的方式提供對其行為和結(jié)果合理2.安全能力具體安全能力并不適用于技術(shù)特點(diǎn)及安全風(fēng)險與傳統(tǒng)信息系統(tǒng)存在（2）被動防御8MindSpore：/secur智能安全專家的經(jīng)驗和洞察實現(xiàn)從歷史數(shù)據(jù)中感知預(yù)測未知安全威（4）威脅情報情報是指獲取和使用人工智能安全威脅情報，賦能人工智能安全系（5）反制進(jìn)攻包括以下兩方面。3.安全技術(shù)撐實現(xiàn)人工智能安全分級能力模型中架構(gòu)安全和被動防御初始兩級的人工智能安全理論和技術(shù)仍待學(xué)術(shù)界和工業(yè)界進(jìn)一步聯(lián)合創(chuàng)新攻4.安全管理國家法律法規(guī)：我國已在數(shù)據(jù)和算法安全等人工智能基礎(chǔ)性法別對使用計算機(jī)輔助診斷軟件及臨床決策支持系統(tǒng)和使用機(jī)器人手術(shù)委員會已開展《信息安全技術(shù)機(jī)器學(xué)習(xí)算法安全評估規(guī)范》《人全技術(shù)遠(yuǎn)程人臉識別系統(tǒng)技術(shù)要求》國家標(biāo)準(zhǔn)，并開展了《生物特安全管理以及執(zhí)行工作，明確人工智能安全的崗位職責(zé)以及人員分責(zé)企業(yè)統(tǒng)一的人工智能安全管理策略制定以及相關(guān)流程在本部門的三、人工智能安全技術(shù)實施1.業(yè)務(wù)合規(guī)性評估2.安全攻擊檢測動的對抗樣本，及時發(fā)現(xiàn)預(yù)警人工智能應(yīng)用是否正遭受對抗樣本攻對抗樣本經(jīng)去除擾動后的數(shù)據(jù)上的預(yù)測結(jié)果存在較大差異來檢測對首先對輸入數(shù)據(jù)進(jìn)行顏色位深度壓縮和像素值空間平滑的特征擠壓預(yù)測，如果兩者的預(yù)測結(jié)果差距很大則判定輸入10DongyuMengandHaoChen.MagNet:aTwo-ProngedDefenConferenceonComputerandCommunicationsSecuri11Ma,X.,Li,B.,Wang,J.Characterizingadversarialsubspacesusinglocalintrinsicdimensionality.InternatioRepresentations,2012XuW,EvansD,QiY.Featuresqueezing:Detectingadversarialexaof.TheNetworkandDistributedSystem13ChenB,CarvalhoW,BaracaldoN,etal.Detectingbackdoorclustering.arXivpreprintarXiv:1811.03728,算所有標(biāo)簽作為目標(biāo)標(biāo)簽所需要的輸入數(shù)據(jù)最小擾動量來檢測算法3.業(yè)務(wù)安全機(jī)制結(jié)果估計人工智能應(yīng)用內(nèi)部信息實施模型竊取、成員推理等攻擊行別算法的單日訪問次數(shù)和每秒訪問頻率進(jìn)行限14WangB,YaoY,ShanS,etal.Neuralcleanse:IdentifyiIn2019IEEESymposi4.惡意應(yīng)用檢測音的深度偽造檢測方法主要通過深度神經(jīng)網(wǎng)絡(luò)提取偽造音頻與真實1.算法魯棒性增強(qiáng)數(shù)據(jù)增強(qiáng)：通過模擬自然場景或?qū)箞鼍爸锌赡艹霈F(xiàn)的各類情CorruptionandPerturbationRobustness提供了可用于訓(xùn)練測試之間的相關(guān)性等方式提升魯棒性。Wang等人16結(jié)合灰度共生矩陣從而能夠在保持較好識別效果的情況下大幅提升算法模型魯棒性。過在輸入圖像上多次添加高斯隨機(jī)噪聲并以這些結(jié)果的平均值作為15AleksanderMadry,AleksandarMakelov,LudwigSchmidt,DimitrisTsipras,AdriaLearningModelsResistanttoAdversarialAttacks,arXiv:1706.06083.2017.16HaohanWang,ZexueHe,ZacharyC.Lipton,EricP.Xing.LearningRobustRepresentaSuperficialStatisticsOut,arXiv:1903.017JeremyMCohen,ElanRosenfeld,J.ZicoKolter.CertifiedAdversarXiv:1902.02918.2019.18XuanqingLiu,YaoLi,ChongruoWu,Cho-JuiHsieh.Adv-BNN:ImprovedAdversarialRobustBayesianNeuralNetwork,arXiv:1810.01279.2018.擊者添加擾動使模型越過分類邊界的難度，成功增強(qiáng)了模型的魯棒布失衡，進(jìn)而提升算法魯棒性。GoogleGmail郵件安全研究人員發(fā)19ZiangYan,YiwenGuo,ChangshuiZhang.DeepDefense:TrainingDNNswRobustness,arXiv:1803.00404.2018.20DanielJakubovitz,RajaGiryes.ImprovingDNNRobustnesstoAdversarialAttacksusiRegularization,arXiv:1803.08680.2018.2.算法公平性保障屬性不相關(guān)的條件下，通過引入對抗框架來對圖嵌入進(jìn)行公平性約要求在不過度影響原有模型的識別效果的情況下修改葉子節(jié)點(diǎn)的預(yù)測類別，使得修改后的模型能夠達(dá)到實現(xiàn)定義的公平性要求。Hardt21KUSNERM,LOFTUSJ,RUSSELC,etal.Counterfactualfairness.ProonNeuralInformationProcessingSystems(NIPS2017).LongBeach,USA,2022BOSEAJ,HAMILTONW.Compositional16)[2020-07-07]/ab23KAMIRANF,CALDERST.Classifyingwithoutdiscriminating.Proceedingsof20092ndInternationalConferenceonComputer,ControlandCommunication.Karachi,Pakist24HARDTM,PRICEE,SREBRON.EqualityofopportunityinsupeInternationalConferenceonNeuralInformationProcessingSystems.RedHook,USA,2016:3315-3323.3.算法可解釋性提升可以通過將優(yōu)化完成的決策樹轉(zhuǎn)變成if-then邏輯判斷的方式對模使開發(fā)者更容易使用具有較強(qiáng)可解釋性和優(yōu)良識別效果的貝葉斯深的對算法進(jìn)行解釋。Yang等人26通過從受訓(xùn)神經(jīng)網(wǎng)絡(luò)中提取隱含單元、輸出單元等單個單元層次上的規(guī)則來解釋復(fù)雜模型決策邏輯。Simonyan等人27通過在特定的層上找到神經(jīng)元的首選輸入最大化神25LiuXuan,WangXiaoguang,MatwinS,Improvingtheinterpretabilityofdeepneuralnetworkswithknowledgedistillation.Procofthe18thIEEEIntConfonDataMininngWorkshops,Pinscatahengliang,RangarajanA,RankaS,Globalmdelinfthe4thIEEEIntConfonDataScienceandSystems27SimonyanK,VedaldiA,ZissermanA.Deepinsideconvolutionalnetworks:VisualisimodelsandsaliencymapsCJJ.arXiv決策結(jié)果影響程度來幫助理解模型針對每一個特定輸入樣本的決策過程和決策依據(jù)。算法局部解釋可以利用多種方法實現(xiàn)，例如定量分析的角度研究相關(guān)自變量發(fā)生變化后對某一特定的因變量影反向傳播算法計算模型的輸出相對于輸入圖像的梯度來求解該輸入圖像所對應(yīng)的分類顯著圖進(jìn)而推導(dǎo)輸入數(shù)據(jù)特征重要性來解釋算法4.算法知識產(chǎn)權(quán)保護(hù)模型的模型水印框架。他們發(fā)現(xiàn)攻擊者使用目標(biāo)模型的輸入/輸出對29SimonyanK,VedaldiA,ZissermanA.Deepinsideconvolutionalnetworks:Visualisimodelsandsaliencymaps.arXivpreprint30JieZhang,DongdongChen,JingLiao,HanFang,WeimingZhang,WenWatermarkingforImageProcessingNetworks.arXiv:2002.11088.2020.5.算法安全評測用在靜態(tài)測試數(shù)據(jù)集中具有不同敏感屬性值的數(shù)據(jù)組上的性能表現(xiàn)該類方法通過強(qiáng)化學(xué)習(xí)等技術(shù)仿真模擬人工智能應(yīng)用與運(yùn)行環(huán)境的31百度人工智能模型魯棒性評測服務(wù)：/product/robustness1.數(shù)據(jù)隱私計算實現(xiàn)除計算結(jié)果及其可推導(dǎo)出的信息之外不泄漏各方隱私數(shù)據(jù)。例群體中合理分配秘密達(dá)成有效的秘密分享等方法來保護(hù)多方計算場夠保障在對經(jīng)過同態(tài)加密的數(shù)據(jù)進(jìn)行計算的結(jié)果與對未加密原始數(shù)編譯并可在不同環(huán)境中運(yùn)行。Enviel發(fā)布的零泄漏計算架構(gòu)基于同據(jù)改善產(chǎn)品體驗時已利用了差分隱私技術(shù)防止攻擊者從中獲取特定終統(tǒng)計輸出結(jié)果的同時不泄漏特定個人的信息。臉書開源的算法庫Opacus通過引入差分私有隨機(jī)梯度下降算法進(jìn)一步優(yōu)化了差分隱私推出了能提供一站式聯(lián)邦模型服務(wù)解決方案的FATE，覆蓋橫向聯(lián)邦2.數(shù)據(jù)追蹤溯源有關(guān)原始數(shù)據(jù)的重要信息進(jìn)行整合和加密處理，生成數(shù)據(jù)的安全標(biāo)及針對數(shù)據(jù)的每一次處理行為和處理者等數(shù)據(jù)溯源信息存儲在區(qū)塊3.問題數(shù)據(jù)清洗32BrandonTran,JerryLi,AleksanderMadry,SpectralSignaturesinBackdoorAttacks.arXiv:184.數(shù)據(jù)公平性增強(qiáng)布均衡的數(shù)據(jù)集上訓(xùn)練從而實現(xiàn)算法模型對任意輸入數(shù)據(jù)的預(yù)測結(jié)33ReubenFeinman,RyanR.Curtin,SaurabhShintre,AndrewArtifacts,arXiv:1703.00410.201734FELDMANM,FRIEDLERSA,MOELLERJ,etal.Certifyingandrofthe21thACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining.NewYor5.數(shù)據(jù)安全評測全技術(shù)個人信息安全規(guī)范》等法律法規(guī)和國家標(biāo)準(zhǔn)規(guī)范要求。二是1.漏洞挖掘修復(fù)模糊測試。此外，360AI安全研究院研制了面向云端機(jī)器學(xué)習(xí)框架的模糊測試工具QSand以及面向終端機(jī)安全研究人員提交的安全