XAI與可信任安全智能解讀

1、XAI與可信任安全智能解讀技術(shù)創(chuàng)新，變革未來(lái)提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Security實(shí)踐1可信任的安全智能人工智能圖片來(lái)源：中國(guó)信息通信研究院和中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟安全智能（惡意）軟件分析 惡意代碼檢測(cè)、分類、 家族，漏洞挖掘流量分析Web攻擊、DDoS、惡 意軟件通信、DGA、加 密流量入侵檢測(cè)異常檢測(cè)、行為預(yù)測(cè)、 實(shí)體畫像團(tuán)伙挖掘情報(bào)、APT欺詐檢測(cè)、風(fēng)控 網(wǎng)站指紋攻擊 惡意郵件協(xié)議分析 AI對(duì)抗 4文本分析、目標(biāo)檢測(cè)、圖像識(shí)別、聚類、詞嵌入、圖嵌入、社團(tuán)分析云、物聯(lián)網(wǎng)、5G、邊緣、AI平臺(tái)端點(diǎn)、網(wǎng)絡(luò)、文件、行為、情報(bào)、蜜罐免費(fèi)的午餐？不存在的對(duì)抗預(yù)期現(xiàn)狀

2、階段一：需要大量標(biāo)注數(shù)據(jù)；經(jīng)驗(yàn)化調(diào)參；未來(lái)：模型易調(diào)試、決策可解 釋、自動(dòng)化知識(shí)提取、 人機(jī)交互，高度自動(dòng)化技術(shù)認(rèn)知基本：依賴專家樣本分 析、寫規(guī)則、分析結(jié)果現(xiàn)狀階段二：測(cè)試集上高性能，實(shí)際高誤報(bào)；相對(duì)專家規(guī)則的一目了然，模 型說(shuō)啥就是啥？還是要人工確認(rèn)；理想：相對(duì)于專家規(guī)則，基于 機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的方法大 幅自動(dòng)化分析流程現(xiàn)狀階段三：伴生新的安全問(wèn)題合規(guī)、道德約束可信任的安全智能=可信人工智能+安全場(chǎng)景可解釋性性能安全性合法合規(guī)道德約束可審計(jì)技術(shù)層面數(shù)據(jù)處理算法模型系統(tǒng)架構(gòu)評(píng)估方法非技術(shù)層面法規(guī)標(biāo)準(zhǔn)涵蓋面最廣，透明可解釋是 核心需求之一常被列為隱含選項(xiàng)，是安全 場(chǎng)景下需要優(yōu)化的目標(biāo)之一合規(guī)

3、、合法、公平、可控、 以人為本可信任的核心需求與主要技 術(shù)實(shí)現(xiàn)之一提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Security實(shí)踐XAI與模型可解釋性2XAI定義XAI (eXplainable Artificial Intelligence)XAI定義https:/www./program/explainable-artificial-intelligenceXAI (eXplainable Artificial Intelligence)Black BoxMachine Learning ProcessTraining DataLearned FunctionTodayWhy d

4、id you do that?Why not something else?When do you succeed?When do you fail?When can I trust you?How do I correct an error?Decision or RecommendationTaskUserXAI定義XAI (eXplainable Artificial Intelligence)https:/www./program/explainable-artificial-intelligenceNew Machine Learning ProcessTraining DataXA

5、II understand whyI understand why notI know when you succeedI know when you failI know when to trust youI know why you erredTaskUserExplainable ModelExplanation InterfaceExplainable Modelsdevelop a range of new or modified machine learning techniques to produce more explainable modelsExplanation Int

6、erfaceintegrate state-of-the- art HCI with new principles, strategies, and techniques to generate effective explanationsPsychology of Explanationsummarize, extend, and apply current psychological theories of explanation to develop a computational theoryXAI熱點(diǎn)Gartner 2019https:/smarterwithgartner/5-tr

7、ends-appear-on-the-gartner-hype-cycle-for-emerging-technologies-2019/ https:/smarterwithgartner/top-trends-on-the-gartner-hype-cycle-for-artificial-intelligence-2019/XAI熱點(diǎn)學(xué)K工微術(shù)圈DD、ICML、NIPS及IJCA業(yè)圈軟、谷歌、Oracle、IBMI等等著名國(guó)際性會(huì)議都有覆蓋XAI話題的Workshop、DARPA等諸多科技巨頭，都在開(kāi)展XAI技術(shù)研發(fā)可解釋性的缺失可解釋性與預(yù)測(cè)性能的微妙平衡高準(zhǔn)確率、低誤報(bào)率等高性能、高

8、容量模型普遍缺乏可解釋性高維度、非線性、非單調(diào)（高維數(shù)組、集成模型、深度模型）天下沒(méi)有免費(fèi)的午餐，我們很難苛求機(jī)器完全按照人類可理解的方式去工作并輸出，同時(shí)保 持遠(yuǎn)高于人類的效率可解釋性的缺失可解釋性與預(yù)測(cè)性能的微妙平衡缺乏可解釋性又怎樣？科學(xué) or 玄學(xué)重新訓(xùn)練及更新？調(diào)參？換模型？人工？缺乏可解釋性又怎樣？可解釋性性能可信任的戰(zhàn)友高性能，可解釋高度自動(dòng)化人工智能人工做低性能，難解釋面子工程入門小白低性能，可解釋輕量級(jí)任務(wù)神秘的黑盒子高性能，難解釋偶爾智障？缺乏可解釋性又怎樣？非關(guān)鍵任務(wù)及場(chǎng)景：智能客服/家居，推薦，語(yǔ)音問(wèn)答，圖 像識(shí)別關(guān)場(chǎng)、鍵任務(wù)及景：軍事網(wǎng)絡(luò)安全、金融、醫(yī)療、交通刑事審判

9、假釋判斷再犯預(yù)測(cè)警力調(diào)度金融信用/貸 款評(píng)估保險(xiǎn)報(bào)價(jià)醫(yī)療保健疾病檢測(cè)處方推薦網(wǎng)絡(luò)安全威脅檢測(cè)風(fēng)險(xiǎn)評(píng)估自動(dòng)響應(yīng)軍事目標(biāo)識(shí)別自動(dòng)打擊當(dāng)機(jī)器智能可解釋講人話，能辦事，可信任向使用者證明結(jié)果是穩(wěn)定的、準(zhǔn)確的、道德的、無(wú)偏見(jiàn)的、合規(guī)的，從而提供決策的支持以 及AI自身安全性的可視性向開(kāi)發(fā)者提供模型改進(jìn)、調(diào)試的基礎(chǔ)信息向研究者提供機(jī)器洞見(jiàn)，展現(xiàn)被人忽視、難于發(fā)現(xiàn)的潛在規(guī)律提升安全運(yùn)維的處置效率提升安全研究自動(dòng)化水平 提升安全產(chǎn)品性能支持技術(shù)合法合規(guī)需求模型可解釋性技術(shù)概覽技術(shù)解釋階段/方式解釋域模型相關(guān)性內(nèi)在可解釋 (Intrinstic)建模后解釋 (Post-hoc)全局解釋性 (Global)局部解

10、釋性 (Local)模型相關(guān) (Model-specific)模型無(wú)關(guān) (Model-agnostic)Decision treesGraph-basedLIMESHAPDeepLiftGlobal surrogate modelsPartial Dependence Plot(PDP)Model distillation模型可解釋性技術(shù)概覽可解釋的機(jī)器學(xué)習(xí)方法算法Algorithm線性Linear單調(diào)性Monotone特征交互Interaction面向任務(wù)TaskLinear regressionYesYesNoregr(回歸)Logistic regressionNoYesNoclass(

11、分類)Decision treesNoSomeYesclass,regrRuleFitYesNoYesclass,regrNaive BayesNoYesNoclassk-nearest neighborsNoNoNoclass,regrhttps:/christophm.github.io/interpretable-ml-book/simple.html圖模型IBM Threat Intelligence ComputingMITRE CyGraphNoDozeHolmes優(yōu)化原生難解釋的模型模型可解釋性技術(shù)概覽PDP(Partial Dependence Plot)全局代理模型(Glob

12、al Surrogate Models)特征歸因(Feature Attribution)可視化分析某特征值變化對(duì)模 型預(yù)測(cè)的影響以模型預(yù)測(cè)值為樣本標(biāo)簽，重 新訓(xùn)練代理模型多種方式確定分類器決策時(shí)最關(guān)鍵的特征集合： 基于反向傳播（Class Activation Mapping）、 博弈論（SHAP）、局部代理模型（LIME）等等建模后的可解釋性特征歸因 LIMELEMNA: Explaining deep learning based security applications建模后的可解釋性特征歸因 LEMNAFused LassoMixture regression model如何構(gòu)建可

13、解釋的模型可解釋的定義、粒度、規(guī)范以任務(wù)目標(biāo)為導(dǎo)向的可解釋定義可解釋的輸入/輸出“以人為本”的，而非“機(jī)器為本”的預(yù)處理、特征提取可解釋的模型針對(duì)任務(wù)目標(biāo)的可解釋方法選擇、優(yōu)化可解釋性的評(píng)估如何有效、量化評(píng)估解釋結(jié)果的真實(shí)性提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Security實(shí)踐XAI+Security實(shí)踐3一次Webshell流量檢測(cè)探索基本原理一次Webshell流量檢測(cè)探索基本原理/docs/DOC-107175一次Webshell流量檢測(cè)探索中國(guó)菜刀postbodypass=eval(base64_decode($_POSTz0);&z0=.tIik7ZGllKCk7

14、&z1=.93d3cva HRtbC8%3D-/developer/news/116802專家規(guī)則（Snort，IDS）alert tcp any any - any 80 ( sid:900001; content: “z1”;content:”base64_decode”; http_client_body;flow:to_server,established; content:”POST”; nocase;http_method; ;msg:”Webshell Detected Apache”;)-FireEye，2014一次Webshell流量檢測(cè)探索 Layer (type) Out

15、put ShapeParam #=dense_1 (Dense)(None, 512)2560512 dropout_1 (Dropout)(None, 512)0 dense_2(Dense)(None, 10)5130=Total機(jī)器學(xué)習(xí)：百萬(wàn)量級(jí)標(biāo)簽數(shù)據(jù)，準(zhǔn)確率可觀 99.8%params Trainable paramsNon-trainable params: 2,565,642: 2,565,642: 0不可信任的技術(shù)打開(kāi)Pcap確認(rèn) 誤報(bào)以及更多的誤報(bào)調(diào)參以及沒(méi)完沒(méi)了的訓(xùn)練、更新Just Shut Up使用LIME內(nèi)核解釋模型alert tcp any any - any 80

16、( sid:900001; content: “z1”;content:”base64_decode”; http_client_body;flow:to_server,established; content:”POST”; nocase;http_method; ;msg:”Webshell Detected Apache”;)Payload解釋使用LIME內(nèi)核解釋模型c 6 Amd=eval%28%22Ex%22%.3A496620457272205468656E6578743A45E6420573706F6E73652E5772697465285329%22%22%22%22%29%29%3Response.Write%28%2%29%3AResponse.End%22%22%.%29Payload解釋W(xué)ebshell規(guī)則提取整體架構(gòu)Webshell規(guī)則提取規(guī)則命中Webshell規(guī)則提取99.2%0.26%98.9%115/388總體準(zhǔn)確率告警誤報(bào)率攻擊回召率規(guī)則命中數(shù)/規(guī)則總數(shù)模型的泛化能力規(guī)則泛化能力無(wú)監(jiān)督的方式數(shù)據(jù)的局限性解釋的準(zhǔn)確性場(chǎng)景的想象打開(kāi)黑箱發(fā)現(xiàn)了什么模型確實(shí)能夠?qū)W習(xí)到與人直觀感覺(jué)一致的論據(jù)模型能夠發(fā)現(xiàn)大量數(shù)據(jù)中容易被人忽略的其他相關(guān)性模型