2024深度學(xué)習(xí)可解釋性研究與應(yīng)用

JefreehetenasabTree算法，大致學(xué)習(xí)深度學(xué)習(xí)在圖像學(xué)習(xí)如何做預(yù)服在樹模型探索和與Deeplearning結(jié)合方面也做了很多工作。結(jié)合我們自身，我們的解接下來介紹下如何將樹模型利用到極致。Wide&Deep16模型有不同的特點(diǎn)，但是很多算法都是基于GBDT算法，以chartputs為例，涉及不同的subsimpling和subcorling局部特征采取和垂直種子選取，最后結(jié)果是完全不一樣，因?yàn)槭谔岢鲈趃cForest中不外乎兩條樹是完全隨機(jī)的，可以有更大的探索空間。我們也是盡量借助的是Auto-Encoder編碼器壓縮，目的是去掉比較相似的特征。雖然很多算法不同，GBDT1-2%的相似葉子節(jié)點(diǎn)，重要基于上面這個(gè)問題，我們基于Wide&Deep架構(gòu)依據(jù)自己業(yè)務(wù)需求構(gòu)建了一些模型架構(gòu)ConditionalMulti-FieldsDeepNeuralNetwork。將稀疏化的數(shù)據(jù)做一個(gè)壓縮，取得間連續(xù)的特征會(huì)有skm做一個(gè)embedding，然后利用DNN進(jìn)行訓(xùn)練。雖然架構(gòu)有很多模型，但是并不需要使用所有模型，有時(shí)只用左邊的模型就能滿足需求。如果直接利用Google的原始架構(gòu)Wide&Deep算法，不同的模塊運(yùn)用不同的優(yōu)化算法，如果權(quán)重更新的穩(wěn)定，最后通過codinglater去限制優(yōu)化的比例，使更新的比例盡量一致。WE分箱，會(huì)用線性回歸，會(huì)看權(quán)重判斷輸入對(duì)輸出的影響程度是多少，這也是敏感性分析Worstcaseanalysis、可靠性分析這兩個(gè)分析更偏工業(yè)性些，在金融領(lǐng)域比較罕見。敏感性分析在工業(yè)領(lǐng)域尤其是量化領(lǐng)域應(yīng)用較多，引入敏感性分析目的就是解釋黑箱的DN。DNN15SensitivityAnalysisforNerualNetwork10量間基本都有關(guān)系，會(huì)用到方差分析和Meta-model，散點(diǎn)圖是為了直觀分析。這是為了AnalysisofVarianceGaussianProcess，這兩塊可以獨(dú)立模塊，后續(xù)會(huì)將 X，Y，fnxi，fi的參數(shù)不同，最后會(huì)有很大差異，因此利用SobolIndex技術(shù)將其歸一化，就是用求出的Gaussian擬合能力有限，GaussianProcess需要設(shè)置很多的操作樹和function，這些function是樸素貝葉斯，將變量進(jìn)行了更復(fù)雜的空間映射，找出后驗(yàn)的權(quán)重分布，用Inference去估算由輸入/參數(shù)改變帶來的輸出在分布上的改變，其具體原理和思路可以參考論文《ProbabilisticSensitivityanalysisofsystemavailabilityusingGaussianProcess》。如果直接拿模型去學(xué)習(xí)是無法得到結(jié)果的。我們之前一直嘗試用attention做低頻事件學(xué)很少。近期由谷歌研究員提出的《Attentionisallyouneed》與DeepMind團(tuán)隊(duì)的研究成果《Relationalrecurrentnetrualnetwork》將Attention機(jī)制對(duì)特征記憶的延續(xù)性做著特征進(jìn)行學(xué)習(xí)，并將學(xué)到的特征進(jìn)行保留與傳承。我們將該算法稱為《LowFrequentEventsDetectionwithattentionmechanism》。ScaledDot-ProductAttention很早key，querykey度是多少，將這種影響隨value傳遞下去，最后改變value實(shí)際輸出值。Mult-HeadAttention是多個(gè)組合，做了一些線性變化，目的使特征更加豐富。在《Relationalrecurrentnetrualnetwork》中利用了memorycore機(jī)制，給一個(gè)以前學(xué)習(xí)相結(jié)合呢，attentionquerykey在MLP模塊會(huì)做一個(gè)二分類，將中間的embedding提出來進(jìn)入discriminator，機(jī)制類似于gate網(wǎng)絡(luò)。利用其它特征去判別那些分對(duì)了哪些沒分對(duì)，就可以知道你對(duì)那些樣本敏memorycore些分錯(cuò)的獨(dú)有的但又有共性的特征來糾正，對(duì)output進(jìn)行糾正，這就是模型的整個(gè)思路。MLPembeddingdiscriminator在整個(gè)優(yōu)化過程中分為三塊，一個(gè)是正常MLP優(yōu)化過程，discriminator優(yōu)化過程，以及mc優(yōu)化后擬合的真是情況。模型訓(xùn)練需要注意的事項(xiàng)有：（1）由于第二個(gè)損失函數(shù)需要模塊的目的不一樣，因此所用到的優(yōu)化算法和優(yōu)化策略所有不同。（3）選擇合適閾值t對(duì)模型訓(xùn)練很重要（t>0.8）。（4）選擇適當(dāng)數(shù)量的Query和keys。（5）MC模塊僅會(huì)使用滿足判別器要求的樣本。（6）MLPdiscriminatordiscriminatorMC塊評(píng)估的方法主要有：DiscriminatorAccuracy變化。損失函數(shù)（1）與損失函數(shù)（2）之差可用于評(píng)估MC模塊的作用。下面介紹一個(gè)案例，壽險(xiǎn)內(nèi)部某推薦任務(wù)，2（01）170W，目標(biāo)39WConditionalMulti-FieldsDNN,稠密數(shù)據(jù)部分使用了：（1）DNN（2）AttentionMechanism訓(xùn)練細(xì)節(jié)：在引入AttentionLossMCaccuracyMLPdifference改變?cè)絹碓酱缶驼f明memory模塊起作用。利用DNN82.35（得分前23%的預(yù)測(cè)樣本為正樣本。但是不是按0.5，需要根據(jù)樣本實(shí)際情況定義閾值；（3）其中正樣本的預(yù)測(cè)準(zhǔn)確的樣本約24W61.5388.54（4的樣本被判斷對(duì)錯(cuò)的情況。換句話說，在被錯(cuò)誤歸類的樣本中，有8.96%的樣本在當(dāng)前低有機(jī)會(huì)被MC糾正的樣本量的上限為8.69%；（6）經(jīng)過最終統(tǒng)計(jì)，有6.97萬的樣本通過MC得到的糾正。占總樣本的4.1%。其中正樣本占2.1萬。得到糾正的正樣本占總正樣本的5.38%。③主模塊（MLP）④