技術(shù)報(bào)告基于數(shù)據(jù)挖掘的網(wǎng)管告警處理方法研

1、計(jì)劃類別 項(xiàng)目編號(hào) 項(xiàng)目技術(shù)報(bào)告課題名稱 項(xiàng)目主持人 承擔(dān)單位 題目：基于數(shù)據(jù)挖掘的網(wǎng)管告警處理方法研究為了方便電力行業(yè)網(wǎng)管人員能夠快速的從這些告警中找到有用信息，迅速的定位設(shè)備故障。本文設(shè)計(jì)了由接口告警采集、故障處理系統(tǒng)、告警相關(guān)性分析模塊等構(gòu)成處理框架。采用過濾告警、補(bǔ)全缺值數(shù)據(jù)、去重等方式進(jìn)行數(shù)據(jù)預(yù)處理。通過告警發(fā)現(xiàn)和相關(guān)性分析機(jī)制實(shí)現(xiàn)告警的匹配和識(shí)別，利用基于關(guān)聯(lián)規(guī)則的方法對(duì)告警信息挖掘。采用本文設(shè)計(jì)的方法，能夠有效的實(shí)現(xiàn)網(wǎng)管系統(tǒng)的告警信息的挖掘分析，提高網(wǎng)管的效率。關(guān)鍵詞：數(shù)據(jù)挖掘；告警信息；關(guān)聯(lián)規(guī)則1 引言（Introduction）隨著信息技術(shù)的發(fā)展，越來越多的行業(yè)采用計(jì)算機(jī)技術(shù)

2、來實(shí)現(xiàn)管理的自動(dòng)化和智能化。電力企業(yè)也不例外，為了實(shí)現(xiàn)對(duì)供電線路和設(shè)備的管理，建立了自己的監(jiān)控網(wǎng)絡(luò)，進(jìn)一步提高自己的運(yùn)維保障能力。但隨著監(jiān)控網(wǎng)絡(luò)的不斷擴(kuò)大，網(wǎng)絡(luò)結(jié)構(gòu)越來越復(fù)雜，很多的網(wǎng)絡(luò)技術(shù)慢慢的走向了融合，這導(dǎo)致了網(wǎng)絡(luò)發(fā)生故障的突然性越來越高，這些因素交融在一塊，致使網(wǎng)絡(luò)的維護(hù)、管理、操作變得越來越困難1-3。因此，目前的當(dāng)務(wù)之急是找尋一種更加自動(dòng)智能化、綜合化的網(wǎng)絡(luò)管理辦法。當(dāng)一個(gè)運(yùn)維支撐網(wǎng)絡(luò)產(chǎn)生問題或故障發(fā)生時(shí)，就會(huì)導(dǎo)致大量的告警產(chǎn)生，根據(jù)這些告警信息，就可以方便的分析設(shè)備的問題和故障，能夠成功的解決網(wǎng)絡(luò)運(yùn)維管理中的各類問題。本文利用這些告警信息，提出了基于數(shù)據(jù)挖掘的網(wǎng)管告警處理方法，該

3、處理方法是在對(duì)比和研究了告警相關(guān)性分析理論以及技術(shù)之后才提出的。規(guī)則引擎可以利用其中已有的規(guī)則來動(dòng)態(tài)的實(shí)時(shí)分析告警信息，規(guī)則引擎中保存的規(guī)則是在分析那些數(shù)據(jù)庫中的告警信息并自學(xué)習(xí)之后才獲取到的，告警轉(zhuǎn)故障和根告警的分析就是通過對(duì)比這些規(guī)則來實(shí)現(xiàn)的，從而可以為系統(tǒng)故障智能化管理提供一系列的解決方案。不管是從理論研究還是實(shí)際工程研究應(yīng)用方面都有著很強(qiáng)的意義和價(jià)值4。2 告警處理總體設(shè)計(jì)（General design of alarmingtreatment）告警信息處理涉及告警數(shù)據(jù)的采集、分析、過濾等方面工作。一個(gè)完整的電力行業(yè)網(wǎng)絡(luò)監(jiān)控的告警處理由網(wǎng)管子系統(tǒng)、接口告警采集、JMS消息通信、故障處理

4、系統(tǒng)、告警相關(guān)性分析、規(guī)則專家管理模塊和GUI界面等構(gòu)成，具體的結(jié)構(gòu)如圖1所示。圖1 告警信息處理系統(tǒng)結(jié)構(gòu)Fig.1 Structure of alarm information processing system其中，接口層告警采集完成對(duì)網(wǎng)管子系統(tǒng)（如銳捷傳輸系統(tǒng)、華為傳輸系統(tǒng)、動(dòng)力環(huán)境系統(tǒng)）的告警數(shù)據(jù)采集，接口層會(huì)根據(jù)不同的網(wǎng)絡(luò)硬件設(shè)備，設(shè)計(jì)出多種不同的網(wǎng)絡(luò)接口，從而實(shí)現(xiàn)對(duì)不同設(shè)備告警信息的采集；告警信息采集完畢后由告警預(yù)處理模塊對(duì)告警數(shù)據(jù)的進(jìn)行預(yù)處理；告警信息處理完畢后通過JMS消息傳送到數(shù)據(jù)庫中；告警相關(guān)性分析模塊會(huì)根據(jù)數(shù)據(jù)庫中的告警數(shù)據(jù)結(jié)合規(guī)則專家系統(tǒng)，確定告警的類型，并交由故障處理

5、系統(tǒng)進(jìn)行處理。所有信息處理完畢后，用戶可以從GUI界面看到告警的狀態(tài)、處理的過程、故障的定性和解決方案，從而實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)設(shè)備告警的全面管理。3 網(wǎng)絡(luò)告警數(shù)據(jù)預(yù)處理（Alarm data pretreatment）通過對(duì)接口層采集的告警數(shù)據(jù)觀察分析后發(fā)現(xiàn)，有些告警只持續(xù)短短幾秒鐘，有些告警的關(guān)鍵字段缺失，有些告警重復(fù)多次出現(xiàn)，有些屬性冗余等。這些數(shù)據(jù)會(huì)影響數(shù)據(jù)挖掘的準(zhǔn)確度和效率，因此為了將原始數(shù)據(jù)轉(zhuǎn)換成便于挖掘的形式，通常會(huì)對(duì)這些告警信息進(jìn)行預(yù)處理，預(yù)處理的過程通常會(huì)包括過濾瞬斷告警、過濾噪聲、補(bǔ)全缺值數(shù)據(jù)、去除重復(fù)記錄、完成數(shù)據(jù)類型轉(zhuǎn)換等操作5，6。具體的內(nèi)容為：（1）過濾瞬斷告警：瞬斷告警是指

6、那些歷時(shí)比較短的告警，瞬斷告警本身沒有價(jià)值，所以不需要進(jìn)行分析，要過濾掉。（2）過濾噪聲：告警庫中那些無法識(shí)別或者缺失關(guān)鍵字段的告警數(shù)據(jù)，是無用的“噪音”數(shù)據(jù)，故此也要將其過濾掉，比如缺失時(shí)間或者告警名稱的信息等。（3）補(bǔ)全不完整數(shù)據(jù)：告警庫中存在一些不完整但能根據(jù)告警信息的不同字段或者其他的信息來對(duì)缺失的信息進(jìn)行推導(dǎo)，進(jìn)而補(bǔ)全的信息，比如可以通過電路的路由信息來推導(dǎo)告警的網(wǎng)元信息等。（4）去除重復(fù)記錄：將在小段時(shí)間內(nèi)產(chǎn)生的重復(fù)告警合并成一條告警，消除對(duì)冗余數(shù)據(jù)的分析。合并后告警的產(chǎn)生時(shí)間為最先發(fā)生的重復(fù)告警的開始時(shí)間。（5）數(shù)據(jù)轉(zhuǎn)換：數(shù)據(jù)轉(zhuǎn)換是為了方便數(shù)據(jù)挖掘，減少數(shù)據(jù)維度，從告警庫中的原始

7、告警信息中抽取與數(shù)據(jù)挖掘相關(guān)的屬性如告警的產(chǎn)生時(shí)間、告警的名稱等。經(jīng)過這五步的預(yù)處理后，告警信息會(huì)被整理成一條獨(dú)立完整的告警信息，告警信息基本形式詳細(xì)信息如表1所示。4 告警規(guī)則發(fā)現(xiàn)與相關(guān)性分析（Rule discovery andcorrelation analysis of alarm）4.1 告警規(guī)則發(fā)現(xiàn)告警規(guī)則發(fā)現(xiàn)是告警處理系統(tǒng)中的核心模塊，具有不可替代的作用。告警規(guī)則發(fā)現(xiàn)模塊實(shí)現(xiàn)著告警事件的匹配、過濾等工作，負(fù)責(zé)告警事件的識(shí)別、發(fā)現(xiàn)和挖掘等多項(xiàng)任務(wù)，規(guī)則發(fā)現(xiàn)功能的框架如圖2所示。規(guī)則發(fā)現(xiàn)功能是一個(gè)相對(duì)獨(dú)立的模塊。從流程框架圖不難發(fā)現(xiàn)，規(guī)則發(fā)現(xiàn)功能總體的流程處理為規(guī)則發(fā)現(xiàn)功能模塊首先對(duì)

8、數(shù)據(jù)庫中的告警數(shù)據(jù)進(jìn)行預(yù)處理操作，即對(duì)其作加權(quán)和時(shí)間跨度的劃分，然后從預(yù)處理后的數(shù)據(jù)中篩選可以滿足最小支持度的頻繁項(xiàng)目集，接著再從這些篩選得到的項(xiàng)目集的最大頻繁項(xiàng)目集里篩選，找出可以滿足最小可信度的規(guī)則，最后，再把這些挖掘出的規(guī)則保存在數(shù)據(jù)庫中。前臺(tái)不僅可以根據(jù)需求為規(guī)則引擎添加其所需大量必要的規(guī)則支持到規(guī)則引擎的規(guī)則庫中，方便規(guī)則引擎系統(tǒng)對(duì)告警數(shù)據(jù)的相關(guān)分析；同時(shí)，還可以通過規(guī)則庫管理來對(duì)挖掘出的規(guī)則進(jìn)一步的篩選及增刪改操作。該功能需要大量的開銷，因?yàn)樵摴δ艿膶?shí)現(xiàn)需要對(duì)數(shù)據(jù)庫進(jìn)行多次的掃描和處理。 4.2 告警相關(guān)性分析告警產(chǎn)生的原因及告警之間的內(nèi)在關(guān)聯(lián)是由告警相關(guān)性分析負(fù)責(zé)分析。如圖3所示

9、，即為告警相關(guān)性分析的內(nèi)部處理流程。圖3給出了基于規(guī)則引擎的相關(guān)性分析系統(tǒng)處理上報(bào)實(shí)時(shí)告警的情況。需要特別說明的是，如果有必要告警數(shù)據(jù)是可以轉(zhuǎn)化為故障信息，并進(jìn)入故障處理系統(tǒng)進(jìn)行故障處理的7。綜合網(wǎng)絡(luò)管理系統(tǒng)的告警相關(guān)性分析模塊是由規(guī)則發(fā)現(xiàn)功能和相關(guān)性分析處理功能組成的。在整個(gè)系統(tǒng)中，告警轉(zhuǎn)故障后進(jìn)入的故障處理系統(tǒng)即工單處理系統(tǒng)和配置數(shù)據(jù)的接口網(wǎng)關(guān)或接口上傳告警均與告警相關(guān)性分析模塊有著直接的相關(guān)。其中，故障的維修及相關(guān)性信息的填寫就是在工單處理系統(tǒng)中完成的。填寫完成之后，再將故障處理的詳情回寫數(shù)據(jù)庫，從而一點(diǎn)點(diǎn)的建立故障維修專家?guī)臁? 告警規(guī)則挖掘方法（Mining method of al

10、arm rule）本文將關(guān)聯(lián)規(guī)則算法應(yīng)用在了告警數(shù)據(jù)挖掘方面，算法的主要目的是為了挖掘出告警數(shù)據(jù)中的關(guān)聯(lián)規(guī)則。根據(jù)告警原因、告警所屬網(wǎng)元、告警級(jí)別等因素作為比較對(duì)象來劃分算法中用到的告警分類集8。設(shè)第k種告警可用來表示，則各種告警的分類集合為；設(shè)告警分類集中第k種告警對(duì)應(yīng)的權(quán)值用來表示，則告所有種類的告警對(duì)應(yīng)的權(quán)值集合為；告警集是告警數(shù)據(jù)被時(shí)間跨度interval將按時(shí)間順序劃分形成的；的每個(gè)元素，滿足最小支持度且中每個(gè)元素是由中個(gè)不同的告警組成，故稱為項(xiàng)告警頻繁項(xiàng)目集；中的元素之間存在的告警規(guī)則形如，且 ， 。挖掘告警數(shù)據(jù)關(guān)聯(lián)規(guī)則的算法步驟如下：（1）首先將預(yù)處理后的告警數(shù)據(jù)用時(shí)間跨度int

11、erval按時(shí)間順序劃分為多個(gè)告警集，并去除告警集中的那些重復(fù)告警類。（2）在按照時(shí)間順序劃分好的告警集中，尋找1-項(xiàng)告警頻繁項(xiàng)目集。（3）在劃分好的所有告警集合中，以項(xiàng)告警頻繁項(xiàng)目集為基礎(chǔ)，尋找第項(xiàng)告警頻繁項(xiàng)目集，直到得到 為空集為止。（4）合并告警頻繁項(xiàng)目集，。（5）遍歷告警頻繁項(xiàng)目集的集合L中的每一個(gè)元素，計(jì)算并在每個(gè)元素中尋找滿足最小置信度的告警關(guān)聯(lián)規(guī)則的元素，如此循環(huán)遍歷，直到遍歷完L中的所有元素為止。（6）最后，將那些滿足要求被篩選出來的告警關(guān)聯(lián)規(guī)則放入待處理的規(guī)則庫里。關(guān)聯(lián)規(guī)則挖掘算法的流程圖如圖4所示。上面給出了應(yīng)用于挖掘綜合網(wǎng)絡(luò)管理系統(tǒng)的告警數(shù)據(jù)的關(guān)聯(lián)規(guī)則模塊的關(guān)聯(lián)規(guī)則挖掘算

12、法，該算法是經(jīng)過了加權(quán)和時(shí)間約束處理的。算法模型的建立使規(guī)則發(fā)現(xiàn)系統(tǒng)的實(shí)現(xiàn)成為可能。6 結(jié)論（Conclusion）本文設(shè)計(jì)了由網(wǎng)管子系統(tǒng)、接口告警采集、JMS消息通信、故障處理系統(tǒng)、告警相關(guān)性分析、規(guī)則專家管理模塊及GUI界面等構(gòu)成的網(wǎng)管告警處理框架。采用過濾瞬斷告警、過濾噪聲、補(bǔ)全缺值數(shù)據(jù)、去除重復(fù)記錄等方式進(jìn)行數(shù)據(jù)預(yù)處理。通過告警發(fā)現(xiàn)和相關(guān)性分析機(jī)制對(duì)實(shí)現(xiàn)告警的匹配和識(shí)別，利用基于關(guān)聯(lián)規(guī)則的方法對(duì)告警信息挖掘。實(shí)踐證明，本文提出的處理方法能夠有效的實(shí)現(xiàn)網(wǎng)管系統(tǒng)的告警信息的挖掘分析，定位設(shè)備的故障原因，提高網(wǎng)管的效率。參考文獻(xiàn)（References）1 RygielskiP，KounevS

13、.Network Virtualization for QoS-Aware Resource Management in Cloud Data Centers：A SurveyJ.Praxisder Informations Verarbeitung und Kommunikation，2013，36（1）：55-64.2 Jain R，Paul S.Network Virtualization and Software Defined Networking for Cloud Computing：a SurveyJ.Communications Magazine，IEEE，2013，51（1

14、1）：24-31.3 YUE Zheng-Kun，et al.The Study of Algorithms for Multi-VMs Bandwidth Guarantee in Data CentersC.2013 3rd International Conference on Computer Science and Network Technology，2013：767-771.4 李德仁，張良培，夏桂松.遙感大數(shù)據(jù)自動(dòng)分析與數(shù)據(jù)挖掘J.測(cè)繪學(xué)報(bào)，2014，43（12）：1211-1216.5 丁兆云，賈焰，周斌.微博數(shù)據(jù)挖掘研究綜述J.計(jì)算機(jī)研究與發(fā)展，2014，51（4）：691-706.6 黃斌，許舒人，蒲衛(wèi).基于MapReduce的數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)J.計(jì)算機(jī)工程與設(shè)計(jì)，2013，34（2）：495-501.7 朱姣姣，葉猛.多模式匹配及其改進(jìn)算法在協(xié)議識(shí)別中的應(yīng)用J.電視技術(shù)，