ATM 機交易異常時的預(yù)警告警機制及優(yōu)化方案 B題

ATM機交易異常時的預(yù)警告警機制及優(yōu)化方案摘要隨著金融電子化的發(fā)展，ATM機在金融行業(yè)的應(yīng)用越來越廣泛。然而傳統(tǒng)的ATM監(jiān)測系統(tǒng)缺少能夠快速主動識別并判斷異常種類的功能，所以在交易系統(tǒng)發(fā)生故障時，難以做到準(zhǔn)確報警和及時預(yù)警。為了解決這一問題，我們建立了基于數(shù)據(jù)的統(tǒng)計模型。在分析了系統(tǒng)發(fā)生異常的原因之后，找到報警的產(chǎn)生模式，并將這些模式運用的預(yù)警當(dāng)中，建立快速高效的故障響應(yīng)機制。針對問題一，由于工作日和非工作日的交易量存在差別，因此需將已有數(shù)據(jù)按過年前、過年期間、休息日（雙休日和小長假）和正常工作日分別進(jìn)行分析。定義交易量峰谷值這一特征參數(shù)，之后運用統(tǒng)計方法篩選出交易量驟降的異常數(shù)據(jù)點；通過分析響應(yīng)時間與交易量之間的函數(shù)關(guān)系構(gòu)造CPU載荷這一特征參數(shù)；利用方差分析法中的雙次N值比較法，得出后端CPU載荷正常范圍的閾值為8.32,篩選出后端CPU載荷過大所導(dǎo)致的異常數(shù)據(jù)點；通過構(gòu)建自組織映射模型（SOM）,將數(shù)據(jù)聚類后篩選出離群數(shù)據(jù)點。通過三種方式篩選，共得到已給數(shù)據(jù)中的10條異常交易記錄，如4月16日出現(xiàn)的數(shù)據(jù)中心后端處理系統(tǒng)應(yīng)用進(jìn)程異常、4月14日發(fā)生的后端操作系統(tǒng)CPU載荷過大。針對問題二，建立交易量的差分自回歸模型，定義數(shù)據(jù)下降指標(biāo)，觀察其歷史分布，得到交易量驟降異常的監(jiān)測判據(jù)。分析四個特征參數(shù)（CPU載荷、交易量、響應(yīng)時間、成功率）間的相關(guān)性。利用問題一中提取出的異常數(shù)據(jù)點，分工作日和非工作日構(gòu)造樸素貝葉斯分類器，定義四種不同的交易狀態(tài)。對于某一時刻，求出對應(yīng)不同交易狀態(tài)時的先驗概率。模型根據(jù)先驗概率的大小可以精確地判斷系統(tǒng)的狀況，異常發(fā)生時，模型能實時給出異常類型及位置。定義正常狀態(tài)的先驗概率比例作為ATM系統(tǒng)的健康度，并且定義健康度下降指標(biāo)來實時分析ATM系統(tǒng)交易狀態(tài)。經(jīng)過統(tǒng)計篩選，確定健康度下降指標(biāo)大于0.2,且分類器顯示狀態(tài)為正常時，進(jìn)行預(yù)警；而一旦分類器顯示狀態(tài)為異常時，認(rèn)為系統(tǒng)處于異常狀態(tài)，進(jìn)行報警。在代入部分真實數(shù)據(jù)對模型進(jìn)行驗證后，發(fā)現(xiàn)能在異常發(fā)生前1?2分鐘提出預(yù)警。通過改變系統(tǒng)參數(shù)的方法對模型進(jìn)行靈敏度分析，發(fā)現(xiàn)系統(tǒng)靈敏度合適，同時為不同情況下下降指標(biāo)的選取提供依據(jù)。針對問題三，如果提供更多關(guān)于ATM機交易情況的指標(biāo)，如交易種類、每條交易的記錄（每筆交易時間、ATM機編號、是否成功、響應(yīng)時間），就能構(gòu)造更精確的特征參數(shù)，實現(xiàn)對系統(tǒng)實現(xiàn)局部監(jiān)測，判斷出具體發(fā)生故障位置；若增加數(shù)據(jù)為全年甚至連續(xù)幾年的交易情況，則可以分析有無年周期性或季節(jié)性因素影響，建立更為精確的梳系數(shù)ARIMA時間序列模型。同時，基于更大的訓(xùn)練集，能夠提高貝葉斯分類器的精度，使得分類結(jié)果更為準(zhǔn)確。通過大量數(shù)據(jù)的實驗與擬合，驗證了所建模型的正確性，并可將其推廣應(yīng)用到解決信息傳輸?shù)谋O(jiān)測、信號編碼和傳輸?shù)谋O(jiān)測等數(shù)據(jù)流問題，從而幫助服務(wù)商和用戶及時發(fā)現(xiàn)和解決問題。關(guān)鍵詞：自組織映射神經(jīng)網(wǎng)絡(luò)（SOM）方差分析ARIMA時間序列貝葉斯分類器目錄TOC\o"1-5"\h\z\o"CurrentDocument"ATM機交易異常時的預(yù)警告警機制及優(yōu)化方案 1B題 1\o"CurrentDocument"摘要 1\o"CurrentDocument"一、 問題重述 4\o"CurrentDocument"問題背景 4待解決問題 5\o"CurrentDocument"研究現(xiàn)狀 5\o"CurrentDocument"二、 問題分析 5\o"CurrentDocument"問題一分析 5問題二分析 6\o"CurrentDocument"問題三分析 6\o"CurrentDocument"三、 符號說明 6\o"CurrentDocument"四、模型假設(shè) 7\o"CurrentDocument"五、 模型的建立與求解 7數(shù)據(jù)的預(yù)處理 7問題一模型的建立與求解 8\o"CurrentDocument"交易量驟降 8\o"CurrentDocument"基于自組織特征映射神經(jīng)網(wǎng)絡(luò)的異常值篩選模型（SOM） 9后端CPU載荷模型的建立 13問題二模型的建立與求解 155.3.1基于ARIMA的交易量時序模型 15\o"CurrentDocument"基于貝葉斯定理的異常預(yù)警及監(jiān)測模型 22\o"CurrentDocument"5.3.3.異常數(shù)據(jù)時間窗口的確定 29問題三模型的建立與求解 30基于更多的交易參數(shù) 30基于更多的數(shù)據(jù)總量 30\o"CurrentDocument"六、 靈敏度分析 31\o"CurrentDocument"七、模型的評價與推廣 32模型的評價 32\o"CurrentDocument"模型的推廣 32\o"CurrentDocument"參考文獻(xiàn) 33一、問題重述問題背景隨著中國金融電子化建設(shè)的深入發(fā)展和銀行客戶對金融服務(wù)質(zhì)量要求的提高，ATM機在金融行業(yè)的應(yīng)用越來越廣泛。然而，很多ATM機并沒有充分發(fā)揮其先進(jìn)的作用，有些ATM機經(jīng)常是故障連連，無法提供服務(wù)；有些ATM機則經(jīng)常發(fā)生錯賬或吞卡現(xiàn)象。除了ATM機自身會出現(xiàn)機器故障，ATM交易系統(tǒng)也常會因為軟件故障或傳輸網(wǎng)絡(luò)故障，造成ATM機無法正常使用。因此如何對于銀行ATM交易系統(tǒng)的發(fā)生的異常進(jìn)行預(yù)報和告警，從而對ATM交易系統(tǒng)進(jìn)行優(yōu)化，使得其能夠更好的服務(wù)大眾，成為了銀行在優(yōu)化服務(wù)時的關(guān)注點之一。銀行的ATM交易系統(tǒng)包括前端和后端兩個部分。銀行總行數(shù)據(jù)中心監(jiān)控系統(tǒng)通過匯總統(tǒng)計每家分行的業(yè)務(wù)量、交易成功率、交易響應(yīng)時間，來做出數(shù)據(jù)分析，從而捕捉整個前端和后端整體應(yīng)用系統(tǒng)運行情況以及時發(fā)現(xiàn)異?；蚬收?。分行1側(cè)服務(wù)器分行2側(cè)服務(wù)器分行3側(cè)服務(wù)器分行4側(cè)服務(wù)辭1ri 「i [i|° O ' L\ L1□k i/\/\/\/\ATM終端ATM錢券ATM終端ATM餐端ATMS?ATM終端ATMS端ATMS?圖1:ATM系統(tǒng)拓?fù)渚W(wǎng)絡(luò)結(jié)構(gòu)圖ATM常見的故障場景包括但不限于如下情形：（1） 分行側(cè)網(wǎng)絡(luò)傳輸節(jié)點故障，前端交易異常，導(dǎo)致業(yè)務(wù)量陡降；（2） 分行側(cè)參數(shù)數(shù)據(jù)變更或者配置錯誤，前端交易異常，影響交易成功率指標(biāo)；（3） 數(shù)據(jù)中心后端處理系統(tǒng)異常（如操作系統(tǒng)CPU載荷過大），影響交易響應(yīng)時間指標(biāo)；（4） 數(shù)據(jù)中心后端處理系統(tǒng)應(yīng)用進(jìn)程異常，導(dǎo)致交易失敗或響應(yīng)緩慢。待解決問題附件中給出了某商業(yè)銀行ATM應(yīng)用系統(tǒng)某分行的交易統(tǒng)計數(shù)據(jù)。需要建立數(shù)學(xué)模型解決的如下問題：（1） 選擇、提取和分析ATM交易狀態(tài)的特征參數(shù)；（2） 設(shè)計一套交易狀態(tài)異常檢測方案，在對該交易系統(tǒng)的應(yīng)用可用性異常情況下能做到及時報警，同時盡量減少虛警誤報；（3） 若可增加采集的數(shù)據(jù)，基于需擴展的數(shù)據(jù)，尋找達(dá)到任務(wù)（1）（2）中目標(biāo)的方法。研究現(xiàn)狀近十幾年來，伴隨著信息化的推進(jìn)，基于數(shù)據(jù)分析的預(yù)警和報警系統(tǒng)越來越受到人們的重視，成為數(shù)據(jù)科學(xué)研究的重點。現(xiàn)有的主要手段包括以下幾種：（1） 統(tǒng)計分析。通過大量的歷史數(shù)據(jù)生成系統(tǒng)的正常行為輪廓，自適應(yīng)的學(xué)習(xí)系統(tǒng)的正常行為模式。五個經(jīng)典的異常檢測的統(tǒng)計模型：操作模型、平均值和標(biāo)準(zhǔn)差模型、多元模型、馬爾科夫過程和時間序模型［1］。（2） 智能算法。采用仿生的神經(jīng)網(wǎng)絡(luò)模型，可以有效的對系統(tǒng)進(jìn)行有監(jiān)督或無監(jiān)督學(xué)習(xí)，歸納出型的輸入輸出關(guān)系，由此進(jìn)行判斷。同時神經(jīng)網(wǎng)絡(luò)可以和一些智能算法如遺傳算法、退火算法結(jié)合起來，提高有效性［2］［3］。（3） 貝葉斯技術(shù)。貝葉斯技術(shù)是一種概率論的推理技術(shù)。它將時間的先驗概率與后驗概率聯(lián)系起來，利用先驗信息和樣本數(shù)據(jù)確定時間的后驗概率。（4） 模式預(yù)測。模式預(yù)測的目標(biāo)則是在樣本特征和樣本標(biāo)簽之間建立起有一種有效的映射關(guān)系。Teng將時間序列和模式預(yù)測結(jié)合起來，提出基于時間的推理方法，將偏離預(yù)測的行為看成是異常［4］。二、問題分析問題一分析由于工作日和非工作日的交易量存在差別，因此首先將已有數(shù)據(jù)分為過年前、過年期間、休息日（雙休日和小長假）和正常工作日四類。題目中要求提取并分析特征參數(shù)，通過觀察和分析附件中給出的數(shù)據(jù)，發(fā)現(xiàn)若僅選擇已交易量、成功率、響應(yīng)時間作為特征參數(shù)，不能夠全面的反映導(dǎo)致交易異常的原因。因此在分析三者之間的相互關(guān)系后，還需提取出新的指標(biāo)作為特征參數(shù)。之后對四類交易日期分別進(jìn)行假設(shè)檢驗，分析參數(shù)變化與對應(yīng)交易發(fā)生時間的關(guān)系以及參數(shù)間是否相互獨立。綜合上述分析結(jié)果后，對1~4的數(shù)據(jù)進(jìn)行處理，篩選出異常點。問題二分析題目中的給出四種故障最終都通過業(yè)務(wù)量、成功率、響應(yīng)時間以及三者間的關(guān)系反應(yīng)出來，所以以問題一中提取的特征參數(shù)為依據(jù)，對這些異常進(jìn)行刻畫。為了及時報警同時減少虛警誤報，運用數(shù)理統(tǒng)計中的貝葉斯定理，根據(jù)問題一中已篩選出的異常點計算出每種特征參數(shù)可能出現(xiàn)異常的先驗概率，并通過選擇合適的分類器，對各個異常點進(jìn)行分類報警。構(gòu)建趨勢型指標(biāo)可以提前對系統(tǒng)出現(xiàn)的異常進(jìn)行預(yù)警。問題三分析考慮基于橫向的數(shù)據(jù)拓展，通過建立新的參數(shù)，對新信息進(jìn)行分析建模，可以細(xì)分系統(tǒng)的交易狀態(tài)，以進(jìn)一步剔除隨機因素以及操作人的影響?？紤]基于縱向數(shù)據(jù)，可為問題二模型提供更多樣本，整體提高系統(tǒng)的精度。三、符號說明st步長指數(shù)訓(xùn)練樣本的指數(shù)D(t)輸入向量us)pqdXk(q)Xk(m)UCD(t)的BMU指數(shù)學(xué)習(xí)系數(shù)自回歸項數(shù)滑動平均項數(shù)成為平穩(wěn)序列所做的差分次數(shù)預(yù)報向量時間序列實時的數(shù)據(jù)下降指標(biāo)獨立的類別變量F，…,FN特征變量n特征數(shù)量Zp(C)P(i\C證據(jù)因子類先驗概率獨立概率分布S交易狀態(tài)，Se{R,Ei，E2,E3,E4}rijA相關(guān)系數(shù)矩陣特征值XI特征參數(shù)e{交易量，響應(yīng)時間，成功率，CPU載荷，預(yù)測交易量}bjp(R)s= 工p 數(shù)據(jù)清洗在數(shù)據(jù)來源可靠的條件下，進(jìn)行數(shù)據(jù)挖掘之前，還必須對數(shù)據(jù)的質(zhì)量進(jìn)行評估。因為已有數(shù)據(jù)大多來自計算機的自動獲取，所以結(jié)果有一定幾率出現(xiàn)異常，因此在對原始數(shù)據(jù)進(jìn)行缺失值、重復(fù)值的篩選與處理后，發(fā)現(xiàn)原始數(shù)據(jù)中沒有重復(fù)，但有27組數(shù)據(jù)缺失。 表1 數(shù)據(jù)清洗在數(shù)據(jù)來源可靠的條件下，進(jìn)行數(shù)據(jù)挖掘之前，還必須對數(shù)據(jù)的質(zhì)量進(jìn)行評估。因為已有數(shù)據(jù)大多來自計算機的自動獲取，所以結(jié)果有一定幾率出現(xiàn)異常，因此在對原始數(shù)據(jù)進(jìn)行缺失值、重復(fù)值的篩選與處理后，發(fā)現(xiàn)原始數(shù)據(jù)中沒有重復(fù)，但有27組數(shù)據(jù)缺失。 表1：1?4月缺失的數(shù)據(jù)

日期 時間 日期 時間W信息貢獻(xiàn)率系統(tǒng)健康度，Se{r,E1，E2,E3}W時間窗口內(nèi)遞減的分鐘數(shù)最小時間窗口叫第i天的健康度下降指標(biāo)sl第l天的健康度工D(n)T n=i-WW+1健康度下降指標(biāo)四、模型假設(shè)1、 ATM系統(tǒng)的數(shù)據(jù)僅與系統(tǒng)狀態(tài)有關(guān)，而與持卡人的操作水平無關(guān)。2、 假設(shè)題目中所給數(shù)據(jù)是2017年，工作日和節(jié)假日按照2017年劃分。3、 假設(shè)日交易總量差異僅與工作日、節(jié)假日有關(guān)，不存在洗錢等行為。4、 假設(shè)僅考慮該銀行ATM機前后端系統(tǒng)應(yīng)用程序故障。5、 假設(shè)所給數(shù)據(jù)均為真實可靠的。五、模型的建立與求解數(shù)據(jù)的預(yù)處理（1） 數(shù)據(jù)分類首先，對整體數(shù)據(jù)進(jìn)行宏觀上的探索。根據(jù)數(shù)據(jù)交易量的時序變化以及銀行業(yè)務(wù)的特點，發(fā)現(xiàn)雙休日的日交易量略多于工作日，而節(jié)假日（即春節(jié)前后和清明節(jié)三天小長假）的日交易量則明顯多于工作日和雙休日。于是根據(jù)日交易量將交易日期分為工作日、雙休日和節(jié)假日，便于后續(xù)對于數(shù)據(jù)的準(zhǔn)確使用。

1月28日07：311月31日07：211月28日08：223月19日07：181月29日07：243月19日07：191月29日08：213月30日05：281月30日07：284月16日10：04~10：21在處理非連續(xù)缺失數(shù)據(jù)時，選擇利用均值填補遺漏值，如：1月31日缺失的數(shù)據(jù)采用上下相鄰的兩分鐘數(shù)據(jù)平均值補齊；在處理連續(xù)缺失數(shù)據(jù)時，則采用同類別均值填補遺漏值，如4月16日缺失的數(shù)據(jù)采用前一天的數(shù)據(jù)補齊［5］。問題一模型的建立與求解交易量驟降（1）模型分析由于交易量在一天中的變化趨勢相似，但統(tǒng)計指標(biāo)的數(shù)值相差大，和具體的日期相關(guān)性強，且數(shù)值易受到多種隨機因素的影響，噪聲較大。所以通過構(gòu)造峰-谷值（q）這一特征參數(shù)并結(jié)合統(tǒng)計分析，準(zhǔn)確的篩選出交易量異常值。對于第i分鐘的交易量d,，其峰-谷值（w）為e= 3+ 2+ 1+di+l+di+2+di+3_d61通過對第i分鐘前后三分鐘取平均，來準(zhǔn)確地描述驟降的含義，同時減小隨機因素對結(jié)果的影響，提高結(jié)果的可靠性。通過分析圖2知，相較于正態(tài)分布，q分布峰度更高、尾部更肥，統(tǒng)計學(xué)上將這種分布特點稱為“尖峰肥尾”，其中“肥尾”解釋為信息偶爾以成堆的方式出現(xiàn)，而不是以平滑連續(xù)的方式出現(xiàn)。為了合理檢測出數(shù)據(jù)中不符合統(tǒng)計規(guī)律的點，采用與正態(tài)分布中33分位數(shù)一致的點作為異常檢測的閾值，即認(rèn)為數(shù)據(jù)中有99.74%的數(shù)據(jù)為正常值［6］，其余的為異常值。由此得到峰-谷值（0）的閾值為?=-131，此時有?V-131異常?>-131正常根據(jù)?的閾值確定出原始數(shù)據(jù)中的65組異常數(shù)據(jù)（已經(jīng)剔除掉了數(shù)據(jù)量突增的點）。同時因為故障在出現(xiàn)后會持續(xù)一段時間，所以在去除某一分鐘突然出現(xiàn)交易量下降而下一分鐘交易量又恢復(fù)正常的數(shù)據(jù)時間點后，最終得到以下兩個交易異常情況1月25日16:04~16:061月26日13:26~13:272月10日16:28~16:32基于自組織特征映射神經(jīng)網(wǎng)絡(luò)的異常值篩選模型（SOM）（1） 模型分析相比于交易量這一特征參數(shù)，響應(yīng)時間和成功率不具有明顯的分布特征。因此在分析響應(yīng)時間和成功率時，采用機器學(xué)習(xí)這一方式，通過聚類來判斷數(shù)據(jù)的分布情況。由于維數(shù)和樣本量龐大，而有監(jiān)督的機器學(xué)習(xí)在訓(xùn)練過程中，需要預(yù)先給網(wǎng)絡(luò)提供期望輸出，因此對于本題中無期望輸出、無監(jiān)督的情況下，選擇無監(jiān)督學(xué)習(xí)中自組織特征映射網(wǎng)絡(luò)（SOM）來解決問題。（2） 模型簡介1981年芬蘭Helsink大學(xué)的TKohonen教授提出一種自組織特征映射網(wǎng)，簡稱SOM網(wǎng)，又稱Kohonen網(wǎng)。Kohonen認(rèn)為：一個神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時，將會分為不同的對應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征，而且這個過程是自動完成的，是一種典型的無監(jiān)督學(xué)習(xí)。自組織特征映射正是根據(jù)這一看法提出來的，其特點與人腦的自組織特性相類似。通過訓(xùn)練，建立起這樣一種布局：它使得每個權(quán)值向量都位于輸入向量聚類的中心。一旦SOM網(wǎng)完成訓(xùn)練，就可以用于對訓(xùn)練數(shù)據(jù)或其他數(shù)據(jù)進(jìn)行聚類［7］。（3）模型的建立因為SOM訓(xùn)練采用的是競爭性學(xué)習(xí)的方式，所以當(dāng)訓(xùn)練樣本提供給網(wǎng)絡(luò)的時候，就會計算它與每個權(quán)重之間的歐氏距離。將權(quán)重向量與輸入最相似的神經(jīng)元稱為最佳匹配單元(BMU)。通過改變SOM柵格中BMU的權(quán)重，使與其鄰近的神經(jīng)元向著輸入向量調(diào)整。從而BMU的量會隨著時間和距離而降低。因此擁有權(quán)值WV(s)的神經(jīng)元v的更新公式為[8]WV(s+1)=WV(s)+0(u,v,s)a(s)(D(t)-Wv(s))其中s為步長指數(shù)t為訓(xùn)練樣本的指數(shù)D(t)為輸入向量u為D(t)的BMU指數(shù)a(s)為一個單調(diào)遞減的學(xué)習(xí)系數(shù)0(u,v,s)為在步長為s下給出神經(jīng)元u和神經(jīng)元V之間距離的鄰近函數(shù)t可以系統(tǒng)地從(0丄2,...,T-1)中多次重復(fù)選取(T為訓(xùn)練樣本的大小)。也可以隨機的從數(shù)據(jù)集中取出(Bootstrap抽樣)，或采用其他一些抽樣方法(如Jackknifing),在此選擇系統(tǒng)地訓(xùn)練所有樣本。

（4）模型的實現(xiàn)通過MATLAB自帶的神經(jīng)網(wǎng)絡(luò)工具箱代碼進(jìn)行編程，對交易量和響應(yīng)時間兩個數(shù)據(jù)進(jìn)行訓(xùn)練。訓(xùn)練過程如下1、 標(biāo)準(zhǔn)化。采用一般的標(biāo)準(zhǔn)差法進(jìn)行標(biāo)準(zhǔn)化。2、 距離函數(shù)的確定。由于考慮到輸入向量為二維向量，且數(shù)據(jù)量較大，所以采用歐式距離。3、 神經(jīng)元數(shù)量的選擇（競爭層的大?。?。神經(jīng)元的數(shù)量會極大的影響到分類的效果。過多的神經(jīng)元會導(dǎo)致分類結(jié)果過細(xì)，需要人工進(jìn)行二次分類，甚至?xí)霈F(xiàn)“死節(jié)點”，即在訓(xùn)練過程中，某個節(jié)點從未獲勝過且遠(yuǎn)離其他獲勝節(jié)點，因此它們的權(quán)值從未得到過更新；而過少的神經(jīng)元將會導(dǎo)致分類失敗。經(jīng)過多次嘗試、篩選后發(fā)現(xiàn)10*10的競爭層網(wǎng)絡(luò)效果最好，能順利明確的將神經(jīng)元分類。4、 選取初始權(quán)值的基本原則是盡量使權(quán)值的初始位置與輸入樣本的分布區(qū)域充分重合，避免出現(xiàn)大量的初始“死節(jié)點”，在此利用從訓(xùn)練集中隨機抽取m=100個輸入樣本作為初始權(quán)值。5、 學(xué)習(xí)率的選擇。待分類的數(shù)據(jù)量較大這一明顯特點，學(xué)習(xí)率過大會影響精度，容易產(chǎn)生過擬合；而學(xué)習(xí)率小則可能導(dǎo)致算法效率低下，花費資源過長。湖北工業(yè)大學(xué)的劉幺和等［9］指出，采用一種學(xué)習(xí)率隨迭代次數(shù)下降的動態(tài)

學(xué)習(xí)率可以達(dá)到很好的優(yōu)化效果。在訓(xùn)練開始時，學(xué)習(xí)率可以選取較大的值，之后以較快的速度下降，這樣有利于快速捕捉到輸入向量的大致結(jié)構(gòu)；之后學(xué)習(xí)率在較小的值上緩降至0值，這樣精細(xì)地調(diào)整權(quán)值使之符合輸入空間的樣本分布結(jié)構(gòu)。這種動態(tài)學(xué)習(xí)率的具體函數(shù)為7=Ae圖6：SOM訓(xùn)練過程拓?fù)鋱DMATLAB訓(xùn)練結(jié)果如下經(jīng)過三次訓(xùn)練后，SOM將131040個樣本數(shù)據(jù)分類到了100個神經(jīng)元之中，神經(jīng)元之間的距離反映了其離群的程度。圖7：神經(jīng)元距離圖圖7中小六邊形為神經(jīng)元，紅線代表神經(jīng)元之間的距離，線的顏色越深表示相鄰的神經(jīng)元之間距離越遠(yuǎn)，由圖7可知第1、2、11、12號神經(jīng)元有明顯的離群特征?？疾炱鋽?shù)據(jù)可知11、12號神經(jīng)元對應(yīng)第二類異常，共12組；1、2號神經(jīng)元對應(yīng)第四類異常，共19組。部分結(jié)果如下表2：不同神經(jīng)元對應(yīng)的異常類型日期時間成功率響應(yīng)時間神經(jīng)元02092170.766,7351202092190.877,6911202092200.826,6841202092270.817,1681202092280.726,3111202092290.826,5521203093040.6016,896110323480.1846,25610323490.3139,37620323500.0050,62410323510.0653,54310323520.1449,01810323530.1349,59310323540.0057,21110323550.0653,88910323560.1747,39710323570.1051,69710323580.0056,75810323590.1945,991103231000.2644,476103231010.7928,8202由表2可見分類效果良好，因此得到歷史數(shù)據(jù)中的故障情況如下同時經(jīng)過對結(jié)果的分析，可知第二類錯誤其異常值可能存在不連續(xù)分布。猜測可能是因為第二類異常是由于某一分行側(cè)網(wǎng)絡(luò)節(jié)點故障所致，與系統(tǒng)后端的異常相比，分行發(fā)生交易請求不連續(xù)（特別在交易量本來就低的凌晨時段），所以出現(xiàn)了成功率較低的異常點斷續(xù)分布的情況。分行側(cè)網(wǎng)絡(luò)出現(xiàn)故障1月30日06:36~06:38數(shù)據(jù)中心后端處理系統(tǒng)應(yīng)用進(jìn)程異常2月09日02:17~02:293月23日00:47~01:044月16日06:00~06:035.2.3后端CPU載荷模型的建立（1）模型分析由題目所給出的條件和信息可知，一筆交易沿著ATM前端經(jīng)過分行側(cè)網(wǎng)絡(luò)節(jié)點到后端服務(wù)器，經(jīng)過處理后再原路返回。由前面的假設(shè)，在系統(tǒng)其它功能正常的情況下，單筆交易的響應(yīng)時間只受中心服務(wù)器處理速度的影響，即每一筆交易響應(yīng)時間的差異是由中心處理器處理速度不同引起的。在不考慮側(cè)網(wǎng)絡(luò)節(jié)點的故障的情況下，當(dāng)后端中心服務(wù)器的負(fù)載過大的時候，會表現(xiàn)出單筆交易響應(yīng)時間較長這一特征;CPU載荷情況還會受到同一時刻并行處理事務(wù)數(shù)量的影響，在CPU載荷大的時刻，交易量會表現(xiàn)出相對增加這一特征。因此認(rèn)為只有同時滿足單筆交易響應(yīng)時間長、單位時刻交易量大這兩個特征的異常點，才能被判斷為CPU過載。引入CPU載荷指數(shù)L作為評估后端中心服務(wù)器交易處理情況的特征參數(shù)。為了避免某一時刻由于單筆交易響應(yīng)時間和交易量中其中一個值過大而另一值正常，造成對CPU過載的誤判，所以在定義CPU載荷指數(shù)時引入對數(shù)計算，來保證L值大時，交易量和響應(yīng)時間均較大。同時為響應(yīng)時間增加一個1.4倍的指數(shù)因子使得L值對響應(yīng)時間更加敏感。綜上，定義CPU載荷指數(shù)L為L=log（N）xlog（r）1'4其中N為每分鐘的交易量T為每筆交易的平均響應(yīng)時間與交易量一樣，CPU載荷指數(shù)L也是一個隨時間呈現(xiàn)周期性變化的量。在此將第三類的異常定義為CPU載荷指數(shù)明顯大于正常值，并且認(rèn)為當(dāng)ATM系統(tǒng)出現(xiàn)異常情況時，之后一段時間內(nèi)均會連續(xù)出現(xiàn)異常；而當(dāng)只有單個點異常時，不能判定為ATM系統(tǒng)出現(xiàn)異常。（2）閾值的確定對CPU載荷指數(shù)的數(shù)據(jù)進(jìn)行探索，發(fā)現(xiàn)其正常值數(shù)量巨大，離群點較少，具有和重尾分布相似的分布特征。相比于正態(tài)分布，其部分統(tǒng)計參數(shù)容易受到離群點的影響（如標(biāo)準(zhǔn)差），因此可應(yīng)用方差分析法來尋找其置信區(qū)間。方差分析法作為一種數(shù)理統(tǒng)計方法廣泛應(yīng)用于氣象、水文、地震等行業(yè)數(shù)據(jù)的科學(xué)統(tǒng)計與分析，常被用來計算最新采集數(shù)據(jù)與均值的離散程度。正常的CPU載荷的數(shù)據(jù)分布集中在一定范圍內(nèi)，而當(dāng)數(shù)據(jù)變化的絕對值超過N倍標(biāo)準(zhǔn)差，則說明數(shù)據(jù)存在異常。在利用方差分析數(shù)據(jù)異常時，N的取值通?？刹捎脙煞N方法來實現(xiàn)（1） 單次N值比較法。通常情況下N值默認(rèn)為3，即數(shù)據(jù)變化超過3倍標(biāo)準(zhǔn)方差即認(rèn)為該點數(shù)據(jù)不正常。當(dāng)這種不正常的數(shù)據(jù)點個數(shù)超過用戶設(shè)定的某個數(shù)值時即認(rèn)為數(shù)據(jù)存在異常，其中N的取值和不正常數(shù)據(jù)點個數(shù)可由用戶根據(jù)被測項類型與長期統(tǒng)計結(jié)果具體設(shè)定，通過該方法可檢測出數(shù)據(jù)超出3倍均方差的數(shù)據(jù)異常。（2） 雙次N值比較法。利用第1次N值比較去除干擾，即認(rèn)為數(shù)據(jù)變化超過N次標(biāo)準(zhǔn)方差的數(shù)據(jù)點為干擾點，去掉干擾點后進(jìn)行第2次N值比較，通常取N為2，即去掉干擾后，數(shù)據(jù)變化超過2倍方差的數(shù)據(jù)個數(shù)超過用戶設(shè)定的某個數(shù)值時即認(rèn)為數(shù)據(jù)存在異常。在分析CPU載荷的數(shù)據(jù)時，發(fā)現(xiàn)CPU載荷存在極大偏離值，因此選用雙次N值比較法更為合理。根據(jù)雙次N值比較法的要求，首先進(jìn)行第一次N值比較處理，在去除極端異常值后求出CPU載荷的平均值和方差作為其特征參數(shù)。經(jīng)過兩次N值比較處理后的結(jié)果如下表3：兩次N值比較處理后的結(jié)果第一次N值比較第二次N值比較49515491606105039193異常點數(shù)量28117由第三類異常的定義，找出偶然出現(xiàn)的單個時間點異常后，將這類點歸為正常點。最終找出來了62組異常的數(shù)據(jù)，并根據(jù)這些數(shù)據(jù)的連續(xù)性將其劃分為三個出現(xiàn)連續(xù)異常的時間段3月01日22:04~22:134月05日07:17~07:234月14日07:17~07:23

5.3問題二模型的建立與求解5.3.1基于ARIMA的交易量時序模型（1）模型分析與預(yù)處理使用MATLAB繪制部分天數(shù)日交易量隨時間變化的分布圖。通過對圖像的觀察，發(fā)現(xiàn)不論是工作日還是非工作日，交易量隨時間的變化趨勢及發(fā)生變化的時間段大致相同，滿足時間序列的特征，因此使用時序模型對交易量進(jìn)行分析。圖9：日交易量隨時間的變化分布由圖9可看出，雖然大體上交易量隨的時間變化具有直觀的趨勢性，但就單個數(shù)據(jù)而言，模型的噪聲較大，不利于后續(xù)分析，也不能對某一分鐘作出精確預(yù)測，因此首先需要對數(shù)據(jù)進(jìn)行降噪處理。由模型一中篩選出的異常點可知，一個異常所持續(xù)的時間一般為三至五分鐘。為了去除噪聲同時盡可能不丟失原有數(shù)據(jù)特征，選取三分鐘作為時間窗口，以三分鐘內(nèi)交易量的平均值作為其對應(yīng)交易量，結(jié)果如下由圖10可驗證取三分鐘作為時間窗口時，可較好的降低交易量變化過程中的產(chǎn)生噪聲，使得后續(xù)建模過程更加精確。同時，由于時序模型的主要目的是依據(jù)歷史的健康數(shù)據(jù)，對未來交易量的正常值進(jìn)行預(yù)測，為異常的判斷提供實時依據(jù)。因此在后續(xù)的建模過程中已去除模型一中篩選出來的異常數(shù)據(jù)，并采取相鄰數(shù)據(jù)取平均的方法補齊，之后利用相應(yīng)的健康數(shù)據(jù)進(jìn)行擬合。（2）模型簡介時間序列法是一種定量預(yù)測方法，在統(tǒng)計學(xué)中作為一種常用的預(yù)測手段被廣泛應(yīng)用。時間序列分析則是根據(jù)系統(tǒng)觀測得到的時間序列數(shù)據(jù)，通過擬合和參數(shù)估計來建立數(shù)學(xué)模型的理論和方法。對于平穩(wěn)時間序列，可使用通用ARMA模型（自回歸滑動平均模型）及其特殊情況的自回歸模型、滑動平均模型或組合ARMA模型等來進(jìn)行擬合。當(dāng)觀測值多于50個時一般都采用ARMA模型。對于非平穩(wěn)時間序列則要先將觀測到的時間序列進(jìn)行差分運算，化為平穩(wěn)時間序列，再用適當(dāng)模型去擬合這個差分序列。（3）平穩(wěn)性檢驗（ADF檢驗）通過對交易量隨時間變化趨勢的分析，發(fā)現(xiàn)當(dāng)差分次數(shù)d=0時，數(shù)據(jù)具有明顯的周期性，不滿足ARMA模型對數(shù)據(jù)平穩(wěn)性的要求，因此判斷交易量的時間序列為非平穩(wěn)時間序列。此時使用ARMA模型的推廣模型ARIMA模型來對交易量進(jìn)行分析。ARIMA模型即差分自回歸滑動平均模型，是時間序列預(yù)測分析方法之一。不同于ARMA模型的只能用于檢驗平穩(wěn)時間序列，ARIMA模型在對原始時間序列進(jìn)行差分后，將非平穩(wěn)的時間序列組合成平穩(wěn)的序列進(jìn)而實現(xiàn)對非平穩(wěn)時間序列的分析。在ARIMA（p,d,q）中，AR為“自回歸”，p為自回歸項數(shù)；MA為“滑動平均”，q為滑動平均項數(shù)，d為使之成為平穩(wěn)序列所做的差分次數(shù)（階數(shù)）。其數(shù)學(xué)表達(dá)式為：1-￡如］（1-L）dX,=|1+￡如］,

<，=1丿 <=1 丿其中L是滯后算子deZ,d>0因為平穩(wěn)性檢驗其實也是探求ARIMA模型中d值的過程，所以首先進(jìn)行一階差分，即令d=1，繪制出此時的交易量時序圖。一階差分后的交易量忖序圖（節(jié)選）1.2 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28時間（節(jié)選） x104圖12：差分次數(shù)d=1的交易量時序圖觀察圖12發(fā)現(xiàn)此時沒有明顯的趨勢性，為了更加嚴(yán)格地檢驗一階差分后數(shù)據(jù)的平穩(wěn)性，對差分后的數(shù)據(jù)進(jìn)行ADF檢驗。ADF檢驗是平穩(wěn)性檢驗中最為常用的一種方法，它由美國的兩位統(tǒng)計學(xué)家D.A.Dickey和W.A.Fuller于20世紀(jì)70年代提出，用以驗證其自相關(guān)性系數(shù)是否等于1［10］。在采用MATLAB對交易量時序的一階差分進(jìn)行ADF檢驗后，得到序列的p值小于10-5，證明時間序列是平穩(wěn)的。同時計算序列的自相關(guān)系數(shù)和偏相關(guān)系數(shù)得到的結(jié)果如下:

圖14：差分后序列的偏相關(guān)性圖由圖13和圖14,序列的自相關(guān)系數(shù)具有拖尾性；偏相關(guān)系數(shù)在lag=15時截斷，在lag=3的時候也進(jìn)入了置信區(qū)間。因此考慮采用ARIMA(15,l,0)或者ARIMA(3,1,0)模型。AIC準(zhǔn)則定階在驗證了使用ARIMA模型的合理性后，需要對模型進(jìn)行定階，這里利用AIC準(zhǔn)則。AIC準(zhǔn)則又稱Akaike信息準(zhǔn)則，是由日本統(tǒng)計學(xué)家Akaike于1974年提出的。AIC準(zhǔn)則起源于Kullback—Leibler信息量，是信息論與統(tǒng)計學(xué)的重要研究成果,具有重要的意義［11］。根據(jù)AIC準(zhǔn)則，若設(shè)X為隨機變量，則X的概率密度為f(x)(其中含有k個未知參數(shù))，此時有

f(x)=g(x10°)其中0°=(0°,02,???，0k)T為未知參數(shù)向量f(x)屬于分布族g(x10)K-L是一種用來刻畫f(x)與g(x10)的接近程度的信息量，通過求出K-L的最小值尋得最接近于f(x)的參數(shù)概率密度g(x|0)，其定義為1(f(?)，g(?10))=1f(x)In￡0)dx當(dāng)給定容量為n的樣本時，設(shè)樣本觀測值x=(x15x2,…,x”)，模型參數(shù)0=(0,02，…,0k)，ln(L(0))為其對數(shù)似然函數(shù)，則AIC信息準(zhǔn)則滿足AIC(k)=-2ln(L(k0(m)))+2k=min其中k0m是模型參數(shù)0=(01，02,???,0$的最大似然估計k為未知參數(shù)的個數(shù)，k=p+q+1計算得到ARIMA(15,1,0)模型的AIC值為408031.5；ARIMA(3,1,0)模型的AIC值為414603.9。選取ARIMA(15,1,0)模型更加合理。5)系數(shù)求解采用最小二乘法估計參數(shù)。設(shè)X是ARMA(p,q)序列，X的一個觀測樣本為眉,￡X”。現(xiàn)取k=t-1，即由｛Xt，X—…,X]｝的線性組合來預(yù)報Xt，Xt的估計量為t-1其系數(shù)滿足如下方程一1Pt-1其系數(shù)滿足如下方程一1P1 …'Pt-2「％1,1「「P1「1-'Pt-3也-1,2=P2_Pt—2Pt-3 …-1_Pt-1,t-1_Pt-1_D-i,jXt-j，j=2,3,…,”j=1t=2,3，…，”、2、2丿S@。）=自Xt—hjXt-jj=2V j=l在Xt的平穩(wěn)可逆域中尋求處玄，使得S(血倪)=min，則滿足上式的處玄稱為＜p,0的(無條件)最小二乘估計(ULS估計)。利用MATLAB進(jìn)行上述過程，可得到序列ARIMA(15,1,0)o(6)ARMA模型的檢驗為了進(jìn)一步檢驗ARIMA(15丄0)模型是否符合統(tǒng)計規(guī)律，利用/檢驗判斷數(shù)據(jù)經(jīng)過時間序列處理后產(chǎn)生的是否為白噪聲。Seriesresid(modl)opo5 10 15 20 25 30圖15：經(jīng)過時序處理后的數(shù)據(jù)擬合可見模型擬合效果良好，通過模型后的數(shù)據(jù)為白噪聲。下面嚴(yán)格按照理論判若擬合模型的殘差記為￡，它是乞的估計，記、、八八〉丿 +kHk=笫 ,k=1,2,…,mLjung-Box的/檢驗統(tǒng)計量是k=1n—k檢驗的假設(shè)是H0:pk=0，當(dāng)k<m;H、:對某些k<m，pk工0在H)成立時，若n充分大，於近似于於(m-r)分布，其中r是估計的模型參數(shù)個數(shù)。在進(jìn)行於檢驗時，給定顯著水平理，查表得上理分位數(shù)為疋(m-r)。則當(dāng)於>%a(m-r)時，拒絕H，即認(rèn)為5非白噪聲，模型檢驗未通過；而當(dāng)/<%a(m-r)時，接受H即認(rèn)為5是白噪聲，模型檢驗通過。計算可得模型的Ljung-Box統(tǒng)計量Z2=5.439<%952(15)，在95%的置信度下通過檢驗，因此模型的擬合效果良好［12］。

7）基于ARIMA模型的預(yù)報已知時間序列為Xk(m)=叭Xk(mj)+必Xk(m-2)+…+gk(m-p)，m>p在已知前p個數(shù)據(jù)的情況下，時間序列的預(yù)報公式為~0_一 -G,10-…0G10-G201-…0G2Xkq)+Xk+1+0—Gq-100-…1Gq-1\Jp「Gq+0；*0q-1*0q-2 …*… 01 __Gq_工0jXjk+q+1-j_j=q+1 _其中式中常數(shù)項在p<q時為0冏,j=1,2,…，p0,j>pX(q)=(X(1)，X(2)，…,X(q))T為預(yù)報向量兩曲線基本重合，可見預(yù)報的精度良好。（8）系統(tǒng)狀態(tài)的監(jiān)測根據(jù)已建立的ARIMA（15,1,0）模型，利用歷史數(shù)據(jù)對未來數(shù)據(jù)的正常值做出預(yù)測，為數(shù)據(jù)異常的監(jiān)控提供依據(jù)。對于第一類異常，交易量在某個時間區(qū)間內(nèi)會出現(xiàn)明顯的下降，此時預(yù)測的健康數(shù)據(jù)大于實際數(shù)據(jù)。兩者之間的差值在一定程度上反映了數(shù)據(jù)的下降情況，但由于數(shù)據(jù)基數(shù)對第一類異常也有影響，因此定義實時的數(shù)據(jù)下降指標(biāo)為U= X100%xt

其中xt為時間序列預(yù)測的三分鐘內(nèi)的平均交易量xt為三分鐘內(nèi)的平均交易量實際值上式給出了交易量下降的量化指標(biāo)，在系統(tǒng)出現(xiàn)故障時，這個值會明顯偏大因此利用第一問篩選出來的數(shù)據(jù)對U進(jìn)行檢測由圖17可知U是一個峰度較大的近似正態(tài)分布，大部分值集中在半徑為0.5的0的鄰域中。計算可知有58個值小于-1的數(shù)據(jù)點，和第一類異常的數(shù)據(jù)點基本重合。有99%的數(shù)據(jù)大于-0.5,定義U處于［-1,-0.5］時，系統(tǒng)為亞健康狀態(tài)。第一類異常的報警、預(yù)警規(guī)則為U>-0.5正常-1<U<—0.5預(yù)警U<-1報警基于貝葉斯定理的異常預(yù)警及監(jiān)測模型（1）模型分析相比于第一類異常，第二、三、四類異常的發(fā)生更加迅速、隨機性更加大，而且一般在發(fā)生之前沒有預(yù)兆，這樣給預(yù)測帶來了困難。但是二、三、四類異常其參數(shù)的特征均十分明顯表3：各類異常的參數(shù)特征類別父易成功率指標(biāo)響應(yīng)時間指標(biāo)交易量指標(biāo)CPU載荷指標(biāo)正常高正常正常正常分行側(cè)網(wǎng)絡(luò)出現(xiàn)故障高正常正常正常數(shù)據(jù)中心后端處理系統(tǒng)異常高緩慢偏高偏高數(shù)據(jù)中心后端處理系統(tǒng)進(jìn)程異常低緩慢正常偏高考察這些數(shù)據(jù)的相關(guān)性，計算其相關(guān)性矩陣表4：參數(shù)間的相關(guān)性CPU載荷交易量響應(yīng)時間成功率CPU載荷1.00 0.43 0.02 -0.11

交易量0.431.00-0.03-0.08相應(yīng)時間0.02-0.031.00-0.37成功率-0.11-0.08-0.371.00可見數(shù)據(jù)之間的相關(guān)性都很低，數(shù)據(jù)之間比較獨立，說明這些指標(biāo)能夠高效地對系統(tǒng)的狀態(tài)信息進(jìn)行表征。結(jié)合上述特征綜合考慮，引入貝葉斯分類器模型。(2)樸素貝葉斯分類器介紹樸素貝葉斯分類器是一系列在假設(shè)各特征之間強(樸素)獨立的情況下，以貝葉斯定理為基礎(chǔ)的簡單概率分類器。該分類器模型會從自有限集合中取出用特征值表示的類標(biāo)簽，之后分配給問題實例。其中，樸素貝葉斯算法不是訓(xùn)練這種分類器的單一算法，而是一系列基于相同原理的算法：所有樸素貝葉斯分類器都假定樣本每個特征與其他特征不相正常關(guān)。盡管這些特征相互依賴或者有些特征由其他特征決定，然而樸素貝葉斯分類器認(rèn)為這些屬性在判定類型時概率分布上是獨立的［13］。理論上，概率模型分類器是一個條件概率模型曲件?…,Fn)其中獨立的類別變量C有若干類別條件依賴于若干特征變量F,…,fn模型分析然而，當(dāng)特征數(shù)量n較大或者每個特征能取大量值時，基于概率模型列出概率表變得不現(xiàn)實。于是修改模型為下式p(p(C|F1, ,Fn)=P(C)p(A,…,FJC)

p(幷,…,F)在實際應(yīng)用中，只需要關(guān)心分式中的分子部分，因為分母并不依賴于c，而特征值F又是給定的，所以可以認(rèn)為是分母一個常數(shù)。此時分子等價于聯(lián)合分布模型pc,F1，....,Fn)使用鏈?zhǔn)椒▌tp(c，F(xiàn)1, ,Fn)Xp(C)p(F1，....,Fn\C)Xp(C)p(F1\C)p(F1，....,Fn\C,F1)Xp(C)p(F1|C)p(F2|C)p(F1,,Fn|C,F1,F2)根據(jù)貝葉斯分類器原理中的條件獨立假設(shè)，每一個F對其他的特征Fj，j豐i時是條件獨立的。此時有p(F\C,Fj)=p(F\C)聯(lián)合分布模型表示為p(C，F(xiàn)n)=Zp(C)冇p(F\C)Z i=1

其中Z為證據(jù)因子，是一個只依賴于Fn的縮放因子，當(dāng)特征和變量的值已知時為常數(shù)。由于分解成所謂的類先驗概率p(C)和獨立概率分布卩卑|C，上述概率模型的可掌控性得到很大的提高。從得出的先驗概率中通過比較以及時序分析得到很多有用信息，通過構(gòu)造特征參量以及求解，直接對系統(tǒng)的狀態(tài)以及將來可能出現(xiàn)的狀態(tài)做出預(yù)警或者報警。(4)模型建立在前面所述模型的基礎(chǔ)上，從給出的數(shù)據(jù)中建模，并提取出來了發(fā)生異常的時候的數(shù)據(jù)點。利用這些數(shù)據(jù)點，結(jié)合構(gòu)建的特征參數(shù)(CPU載荷)，構(gòu)造樸素貝葉斯模型。則每一時刻系統(tǒng)的狀態(tài)一共有以下四種情況：表5：系統(tǒng)的交易狀態(tài)及其對應(yīng)代號正常分行側(cè)參數(shù)數(shù)據(jù)變更或 數(shù)據(jù)中心后端處理系統(tǒng)應(yīng)者配置錯誤 數(shù)據(jù)中心后端處理系統(tǒng)異常 用進(jìn)程異常R E1 E2 E3求出每一種交易狀態(tài)的先驗概率:(S)=P(XIS)p(s)p(X)(S)=P(XIS)p(s)p(X)k=1np(xk)k=1其中S為交易狀態(tài)，Se{R,E],E2,E3}X為特征參數(shù)，心e｛交易量，響應(yīng)時間，成功率，CPU載荷｝5)模型求解首先采用標(biāo)準(zhǔn)差法將數(shù)據(jù)標(biāo)準(zhǔn)化:x'ij=其中—1nx=工Xni=11n—SJ=\-工(xj-xj)2Yni=1標(biāo)準(zhǔn)化之后的數(shù)據(jù)均值為零，標(biāo)準(zhǔn)差為1，無量綱。其次求出各個狀態(tài)的獨立概率P(S)nP(Si)=N，i=1,2,3,4,5,6結(jié)果如下表6:各交易狀態(tài)的獨立概率

交易狀態(tài)SjRE2E3E4P(sj(百分?jǐn)?shù))99.64780.21300.11030.0289之后求解條件概率P(Xj|SJ,由于這些量的分布都是連續(xù)的，所以其概率密度為一連續(xù)函數(shù)，因此只需要求出其概率密度函數(shù)即可。由于樣本數(shù)據(jù)足夠大，所以可用樣本的頻率來求解原始隨機變量的分布，此處由于各個數(shù)據(jù)的分布不符合現(xiàn)有已知的標(biāo)準(zhǔn)分布，在概率論中常采用核密度估計來擬合其密度函數(shù)［14］，屬于非參數(shù)檢驗方法之一。其求出的概率密度仍然符合下列規(guī)則：利用概率密度函數(shù)的兩條性質(zhì)f(xd=1-gP(0<x<a)=［f(x)dx其中P(0<x<a)=F(0<x<a)，即概率用頻率近似用MATLAB求解可得到各個參量的條件分布。對于所有點求出其對應(yīng)各種狀態(tài)的概率后，認(rèn)為最大概率所對應(yīng)的狀態(tài)即是當(dāng)前狀態(tài)。(6)系統(tǒng)全局指標(biāo)的構(gòu)建1、健康度指標(biāo)利用貝葉斯定理以及現(xiàn)有數(shù)據(jù)(先驗數(shù)據(jù))可得出現(xiàn)在系統(tǒng)處于各個狀態(tài)的先驗概率p(S),Se｛R,EE2,Ej。但單一的先驗概率不能準(zhǔn)確表征系統(tǒng)的健康程度度，例如當(dāng)其他概率相同時，對｛p(R)=80%p(Ei)=20%｝和sg{r,eE2,e3}｛sg{r,eE2,e3}s=P(R)

工P(S.Y

對Ss=2、健康度下降指標(biāo)在實際的系統(tǒng)中，系統(tǒng)的各個參數(shù)隨時間動態(tài)的、連續(xù)的變化，由于數(shù)據(jù)采集精度的限制，只能以最小一分鐘為單位，將數(shù)據(jù)進(jìn)行離散的采集。前面構(gòu)造貝葉斯模型的時候，利用離散的數(shù)據(jù)對其分布進(jìn)行擬合以達(dá)到將概率連續(xù)化的目的。這里，利用前面已經(jīng)使用過的動態(tài)時間窗口的方法，計算特征參量在一段時間內(nèi)的變化，以監(jiān)測系統(tǒng)的連續(xù)變化趨勢。在實踐中，一個正常的系統(tǒng)，其系統(tǒng)正常的先驗概率p(R)應(yīng)該隨時間平穩(wěn)，當(dāng)系統(tǒng)進(jìn)入異常狀態(tài)時，其p(R)會經(jīng)歷一段連續(xù)下降的過程，利用一段時間窗口內(nèi)的p(R)進(jìn)行曲線擬合所得的斜率作為衡量，如果斜率隨時間不斷增大，那系統(tǒng)即將進(jìn)入異常狀態(tài)的可能性就很大。根據(jù)前面的時間窗口的設(shè)置，計算每一分鐘的系統(tǒng)健康度下降趨勢，選取統(tǒng)計時間窗口W=6，則定義一分鐘內(nèi)的健康度趨勢為￡（si-s）（/-了）二i—W ￡（i-）2l=i—W其中q為第/分鐘的健康度下降趨勢sl為第l分鐘的健康度若健康度趨勢為不斷下降的，則認(rèn)為有很大幾率系統(tǒng)即將發(fā)生異常，計算W時間窗口內(nèi)遞減的分鐘數(shù)為：°，少，>q—15Sq_i定義這W時間窗口內(nèi)的健康度下降指標(biāo)為￡D(n)T—n=i-W -W+1在后面的應(yīng)用中，認(rèn)為當(dāng)健康度下降指標(biāo)T>0.2時，認(rèn)為系統(tǒng)有很大傾向在向著異常發(fā)展，可以根據(jù)最大的異常先驗概率對系統(tǒng)進(jìn)行預(yù)警，在整體異常前提醒工作人員進(jìn)行排查。基于上述指標(biāo)，結(jié)合前面的先驗概率的計算，此時模型不僅能夠?qū)ο到y(tǒng)的異常進(jìn)行報警，還可以對系統(tǒng)即將發(fā)生的異常進(jìn)行預(yù)警，以保證ATM系統(tǒng)工作的正常。綜上,基于貝葉斯分類器的ATM系統(tǒng)預(yù)警及報警的模型流程圖如下

（7）模型檢驗隨機從各個類別的交易狀態(tài)內(nèi)抽取測試組數(shù)據(jù)15組，利用上述的貝葉斯分類器進(jìn)行分類，測試數(shù)據(jù)是否能準(zhǔn)確報錯。表7：各類狀態(tài)實際報錯次數(shù)與貝葉斯分類后預(yù)測報錯次數(shù)預(yù)測值實際值RE1E2E3R15000E111410

E200114E300311由表7知，實際檢驗過程中分類器的效果良好。由問題一可知，在3月23日00:49~01:06出現(xiàn)了一次較大的系統(tǒng)異常，為不失一般性，從00:45開始對系統(tǒng)進(jìn)行監(jiān)測直到01:08分結(jié)束。結(jié)果如下：表8：分類器對3月23日00：45~01：08監(jiān)測情況時間p(R)p(E1)p(E2)pE3) t0:450.520.000.000.000.000:460.360.000.000.000.000:470.500.000.000.000.000:480.040.000.000.080.170:490.000.000.0044.190.330:500.000.000.00126.010.500:510.000.000.00151.560.500:520.000.000.0092.040.500:530.000.000.00200.540.500:540.000.000.00190.320.330:550.000.000.00183.170.330:560.000.000.00182.700.330:570.000.000.00200.440.330:580.000.000.00142.770.330:590.000.000.00129.860.501:000.000.000.00119.970.671:010.000.000.00194.810.671:020.000.000.00195.270.501:030.000.000.00283.420.501:040.000.000.00149.190.501:050.000.150.007.860.331:060.010.000.000.000.171:070.120.000.000.000.001:081.660.000.000.000.17

由第一題結(jié)論可知，此時系統(tǒng)應(yīng)該是發(fā)生了第三種交易狀態(tài)異常，結(jié)合數(shù)據(jù)和圖20看出，開始發(fā)生異常時，p(R)也就是系統(tǒng)正常的先驗概率迅速下降，而第三種異常的先驗概率迅速上升。在異常開始的的第二分鐘(00:48),p(R)<p(e3)，可見變化十分的靈敏。同時，受到數(shù)據(jù)變化的影響，異常的中間時段，P(R)保持在較低的水平，而其他的幾種異常的先驗概率也有不同程度的上升，但是仍小于p(E3)。在開始異常的第一分鐘(00:47)，系統(tǒng)迅速給出了預(yù)警，在第二分鐘(00:48)系統(tǒng)的預(yù)警變?yōu)榫瘓?，且正確地指出了第三種異常。可見模型反應(yīng)迅速，效果直觀明顯。5.3.3.異常數(shù)據(jù)時間窗口的確定在離線的異常檢測過程中基于已有的分類模型可以對數(shù)據(jù)點逐一分類，以達(dá)到目的。但是這樣做往往會忽略前后數(shù)據(jù)之間的關(guān)聯(lián)，某些系統(tǒng)一段連續(xù)的時間之內(nèi)的異常可能會被判定為很多次異常。設(shè)計系統(tǒng)時我們采用了雙次計數(shù)的方法將比較連續(xù)的異常值進(jìn)行時間窗口的劃定，從而可以直接生成報告，知道異常數(shù)據(jù)的時間跨度。5.4問題三模型的建立與求解5.4.1基于更多的交易參數(shù)（1）交易的種類每一筆種類交易可能會涉及到不同工作量，比如跨行轉(zhuǎn)賬和查詢余額。而前者需要調(diào)動的信息及操作更多，相應(yīng)的會更加消耗時間和資源。根據(jù)這些參數(shù)，豐富ATM系統(tǒng)的拓?fù)鋱D，能夠為故障的發(fā)生以及成因提供更多分析的依據(jù)。如基于交易種類的數(shù)據(jù)，可以更加精確地對前面所述的后臺CPU載荷進(jìn)行計算：L'=/*f（N）xg⑺其中N為每分鐘的交易量『為每筆交易的平均響應(yīng)時間7為修正系數(shù)，針對每一筆交易，根據(jù)其工作量（交易類型）不同（2） 其他分行的數(shù)據(jù)如果能得到其他分行的數(shù)據(jù)，可以減少由于其他原因產(chǎn)生的虛報后端異常?；谇岸撕蠖讼到y(tǒng)相對獨立的假設(shè)，若如果多個分行的數(shù)據(jù)同時異常，則有很大幾率是后端處理系統(tǒng)發(fā)生了故障；若只有一個分行的數(shù)據(jù)發(fā)生故障，則更有可能是前端或者分行測網(wǎng)絡(luò)有故障。（3） 用戶的操作細(xì)節(jié)雖然在分析問題前，假設(shè)ATM系統(tǒng)數(shù)據(jù)與持卡人的操作水平無關(guān)，但事實上每個人對銀行系統(tǒng)的熟悉程度、對密碼的記憶力、輸入速度都有區(qū)別。如果能提供操作者的操作信息，在建模過程中去除這些因素的干擾，系統(tǒng)的精度將會得到提升?；诟嗟臄?shù)據(jù)總量（1）更加精確的時序模型如果能夠擁有數(shù)量更多的數(shù)據(jù)，則可以建立一個更加精準(zhǔn)的時間序列模型。從現(xiàn)有的數(shù)據(jù)來講，ATM交易的筆數(shù)不僅僅只是工作日和非工作日有區(qū)別，一周之內(nèi)的各個工作日中，ATM交易筆數(shù)也有穩(wěn)定的差別。星期六和星期天的分布也有差別，甚至這些分布隨著月份的變化也會相應(yīng)的變化，例如一月份和二月份比其ATM交易量日平均值更高。隨著數(shù)據(jù)的增加，可以將各個時間序列做進(jìn)一步的細(xì)分，從而可以提高模型的精度，減少誤報。同時，ATM交易量還受一些固定節(jié)日的影響。從現(xiàn)有的數(shù)據(jù)來看，一月份由于經(jīng)歷了春節(jié)，在除夕之前的日子可能受工資結(jié)算或者年底資金回籠的影響，交易量與其他日子相比，顯著增加，春節(jié)之后，ATM交易量下降。相類似的，在其他的節(jié)日，人們的消費或者資金容易受到節(jié)日的影響。在獲取更多數(shù)據(jù)后，可以對各個節(jié)日建立不同的序列模型，對可能的異常進(jìn)行預(yù)測，從而應(yīng)對節(jié)日里交易量突增的情況?；跁r間跨度更大的數(shù)據(jù)，我們可以對數(shù)據(jù)進(jìn)行季節(jié)性分析，建立梳系數(shù)ARIMA模型，使得結(jié)果更加準(zhǔn)確。（2）表現(xiàn)更好的貝葉斯模型貝葉斯分類器模型中，訓(xùn)練數(shù)據(jù)的分布直接決定了先驗概率的計算結(jié)果。如果訓(xùn)練數(shù)據(jù)過少，在對一些沒有出現(xiàn)過的異常進(jìn)行分類時可能產(chǎn)生嚴(yán)重的錯誤?；诟蟮臄?shù)據(jù)庫，能夠豐富貝葉斯分類器的訓(xùn)練集，從而提高監(jiān)測系統(tǒng)應(yīng)對各種異常的靈敏度與準(zhǔn)確率。六、靈敏度分析系統(tǒng)在實際的應(yīng)用過程中，數(shù)據(jù)將會更加復(fù)雜多變，能否保證在遇到異常時迅速、準(zhǔn)確的預(yù)警對整個ATM系統(tǒng)的安全十分重要，接下來主要針對預(yù)警系統(tǒng)進(jìn)行靈敏度分析。（1）時間窗口的改變在定義健康度下降指標(biāo)中，將健康度下降指標(biāo)定義為前六分鐘內(nèi)健康度下降的比例，這樣得到的健康度下降指標(biāo)剔除了隨機產(chǎn)生的誤差，如果窗口值過小，會影響報警的效果。為此分別設(shè)定2-8分鐘的時間窗口對系統(tǒng)進(jìn)行測試，測試數(shù)據(jù)為3月23日00:00~01:40（包含一段時間的第四類異常），結(jié)果如下：表9：不同窗口時長的報警情況（3月23日00：00~01：40）窗口時長2345678報警次數(shù)15.0019.002225232528準(zhǔn)確率遺漏報警100.00%90.91%80.00%86.96%80.00%71.43%預(yù)警提前時間2.002.0022111報警結(jié)束滯后時間3.004.0066678可見時間窗口越長，報警結(jié)束滯后也會越長，相反預(yù)警提前時間會減少，實際應(yīng)用過程中顯然前一個指標(biāo)更加重要，同樣還發(fā)現(xiàn)窗口越長，報警的準(zhǔn)確率會降低，但是當(dāng)時間窗口小于3，將會有異常點被遺漏，這是不允許的。綜合上述分析可知，當(dāng)系統(tǒng)選擇W=3的時間窗口時，效果最好。模型對W