基于事件過濾的安全分析平臺

成果上報申請書成果名稱基于事件過濾的安全分析平臺成果申報單位湖北?。ㄗ灾螀^(qū)/直轄市）公司成果承擔部門/分公司網(wǎng)優(yōu)中心成果專業(yè)類別*安全所屬專業(yè)部門*安全線條成果研究類別*其他類成果省內(nèi)評審結(jié)果*優(yōu)秀關(guān)鍵詞索引（3～5個）安全管控、安全分析、KETTLE應(yīng)用投資0萬元（指別的省引入應(yīng)用大致需要的投資金額）產(chǎn)品版權(quán)歸屬單位中國移動湖北公司對企業(yè)現(xiàn)有標準規(guī)范的符合度：（按填寫說明5）符合網(wǎng)絡(luò)安全管控平臺功能規(guī)范《融合通信安全總體技術(shù)要求》要求，編號QB-F-015-2014，建議在原有規(guī)劃增加安全分析平臺的功能。成果來源：如果該成果來源于集團研發(fā)計劃內(nèi)項目，請?zhí)顚懷邪l(fā)項目年度、項目名稱及類型；否則填寫“計劃外項目”（按填寫說明6）省內(nèi)自立項目專利情況：如果該成果產(chǎn)出相關(guān)專利，且專利處于國知局專利申請審查階段或已授權(quán)，請說明專利名稱、類型、申請?zhí)枴顟B(tài)、是否海外申請等情況。（按填寫說明7）無成果簡介：簡要描述成果目的和意義，解決的問題，取得的社會和經(jīng)濟效益。隨著集中優(yōu)化的進程不斷加快，湖北移動網(wǎng)優(yōu)中心承擔了全省無線OMC，以及各類IT系統(tǒng)的集中安全管控工作。在日常的網(wǎng)絡(luò)安全管理中，重點監(jiān)控繞行問題、弱口令問題整改、合規(guī)問題整改和接入問題核查等問題，非常耗時耗力，如果不及時處理將引起重大的安全隱患。2014年湖北移動省網(wǎng)優(yōu)中心牽頭排查無線網(wǎng)安全問題隱患，成立安全數(shù)據(jù)問題分析專班，特別是針對安全管控平臺及合規(guī)平臺問題進行事件分析和過濾進行專題研究，探索一條自動化的網(wǎng)絡(luò)安全管理機制。主要的思路是首先梳理集團的安全管控要求，提取其中的安全管控點，以及每個管控點對應(yīng)的安全事件；第二是利用ETL中間件，定時采集和過濾異常安全事件，并給出分地市的量化評分，第三是建立地市派單機制，對安全問題進行閉環(huán)管控，這樣一來就實現(xiàn)了在省中心對全省網(wǎng)絡(luò)安全問題的集中管控水平，保障了網(wǎng)絡(luò)的安全。結(jié)合KETTLE中間件的強大數(shù)據(jù)處理能力，對無線網(wǎng)設(shè)備的安全問題進行事件過濾和分析。不僅提高了日常工作效率而且大大提高了安全事件的處理能力和安全管控能力。項目創(chuàng)新點如下：創(chuàng)新點1：提高安全隱患排查效率通過事件過濾工具可以及時發(fā)現(xiàn)網(wǎng)絡(luò)安全隱患問題，組織問題整改，便于跟蹤管理，較人工排查效率明顯提高。真正的成為安全防護的第一道堅實防線。創(chuàng)新點2：自由便捷的白名單管理由于大量的程序賬號及內(nèi)部系統(tǒng)登錄連接，導(dǎo)致大量的登錄地址需要剔除。在安全問題日益重要的當今，便捷的白名單管理可以大大提升安全隱患排查效率。創(chuàng)新點3：基于KETTLE組件具有高開發(fā)效率和低開發(fā)成本。KETTLE是開源ETL中間件（免費），支持對結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)導(dǎo)入，以及全圖形化設(shè)計過程，讓開發(fā)人員將主要的精力放在規(guī)則上，以期提高開發(fā)效率。從使用效果來說，這些工具能夠快速地構(gòu)建一個工程來處理某個數(shù)據(jù)，相比較于傳統(tǒng)的開發(fā)模式，節(jié)省60%的開發(fā)成本。省內(nèi)試運行效果：描述成果引入后在本省試運行方案、取得的效果、推廣價值和建議等。效果一：安全異常事件的數(shù)量變少以前異常事件的核查都是采用人工處理，需要至少三四人天的時間去核查事件問題，而kettle在處理大量的數(shù)據(jù)時有著明顯的優(yōu)勢，能夠更快更準確的定位出問題，給安全管理人員節(jié)省出更多的時間去解決問題和優(yōu)化安全管理流程，安全事件基本為由2014年第一季度的600件減少到2015年的第一季度的82件效果二：通過工單形成的閉環(huán)處理如下圖所示，在KETTLE軟件的幫助下，通過工單事件形成了閉環(huán)處理。在第一時間發(fā)現(xiàn)問題，然后就可以立刻發(fā)送工單，督促OMC廠家或者地市去解決的問題。用8個月發(fā)現(xiàn)了OMC廠家和地市的1400個安全問題，發(fā)出工單數(shù)約為500個，均督促相關(guān)廠家和設(shè)備商進行及時處理。效果三：集團考核安全指標的提升Kettle截止今日已經(jīng)試運行了9個月，如下圖所示，在這三個季度以來，集團安全指標由原來的不達標到現(xiàn)在的指標優(yōu)秀。安全異常事件類型14年第三度15年第一季度繞行事件65.74%0.40%弱口令事件4.43%0.12%合規(guī)事件43.23%98.34%接入事件0%99.80%“成果上報申請書”的填寫說明：1、“成果專業(yè)類別”指：核心網(wǎng)、無線、傳輸、IP、網(wǎng)管、業(yè)務(wù)支撐、管理信息系統(tǒng)、市場研究、數(shù)據(jù)業(yè)務(wù)、數(shù)據(jù)網(wǎng)絡(luò)、通信電源、空調(diào)、其他。2、“成果研究類別”指：超前研究、新產(chǎn)品開發(fā)、相關(guān)網(wǎng)絡(luò)解決方案、現(xiàn)有業(yè)務(wù)優(yōu)化、其他。3、“所屬專業(yè)部門”指：完成該成果的單位在省公司或地市分公司所屬的專業(yè)部門線條?？商顚懀阂?guī)劃計劃線條、網(wǎng)絡(luò)線條、業(yè)務(wù)支撐線條、管理信息系統(tǒng)線條、數(shù)據(jù)線條、市場線條、集團客戶線條、其他。4、“省內(nèi)評審結(jié)果”指：優(yōu)秀、通過。5、“對企業(yè)現(xiàn)有標準規(guī)范的符合度”指：列舉該成果使用并符合的中國移動統(tǒng)一發(fā)布的企業(yè)標準的名稱和編號，詳細描述該成果在現(xiàn)有的企業(yè)標準基礎(chǔ)上所需新增的功能要求（如業(yè)務(wù)流程的改變、設(shè)備新增的功能要求等）。6、成果來源指：如果該成果來源于集團研發(fā)計劃內(nèi)項目，請?zhí)顚懷邪l(fā)項目的年度、項目名稱和類型（類型包括：集團重大研發(fā)項目、集團重點研發(fā)項目、省公司自立項目）。未列入集團研發(fā)計劃的，請?zhí)顚憽坝媱澩忭椖俊薄＃瘓F研發(fā)計劃請見集團每年的發(fā)文，或登錄科技創(chuàng)新平臺查閱。）7、專利情況指：1)類型：發(fā)明、實用新型、外觀2）名稱：該成果申請專利的名稱3）申請?zhí)枺河芍R產(chǎn)權(quán)審查機構(gòu)授予的該成果專利申請?zhí)?）狀態(tài)：申請中、已授權(quán)8、“文章主體”：根據(jù)不同科技成果分類實施不同的主體要求，具體如下：1）超前研究類成果主體包括：背景情況技術(shù)特點分析標準化情況其他運營商應(yīng)用情況（可選）技術(shù)發(fā)展趨勢引入策略分析2）相關(guān)網(wǎng)絡(luò)解決方案類成果主體包括：背景情況技術(shù)方案：概述、網(wǎng)絡(luò)解決方案（如果涉及到網(wǎng)絡(luò)方面的改造，信令改造，路由改造等，應(yīng)有詳細的描述）、設(shè)備及系統(tǒng)改造/建設(shè)要求、碼號資源需求效果（解決了哪些問題）本省應(yīng)用推廣情況3）新產(chǎn)品開發(fā)類成果主體包括：業(yè)務(wù)及功能簡介：業(yè)務(wù)概述、業(yè)務(wù)主要功能介紹技術(shù)實現(xiàn)方案：包括業(yè)務(wù)實現(xiàn)組網(wǎng)結(jié)構(gòu)圖、相關(guān)系統(tǒng)（平臺、終端）功能和要求、業(yè)務(wù)實現(xiàn)流程、碼號要求等業(yè)務(wù)申請和開通：包括用戶范圍及業(yè)務(wù)使用范圍、業(yè)務(wù)申請與注銷等業(yè)務(wù)商務(wù)模式及資費：包括商務(wù)模式、業(yè)務(wù)資費模式、業(yè)務(wù)收費方式等市場前景分析4）現(xiàn)有業(yè)務(wù)優(yōu)化類成果主體包括：業(yè)務(wù)及功能簡介：業(yè)務(wù)概述、業(yè)務(wù)主要功能介紹現(xiàn)有業(yè)務(wù)存在的問題：現(xiàn)有缺陷分析、解決問題的思路原有業(yè)務(wù)方案/流程：業(yè)務(wù)實現(xiàn)組網(wǎng)結(jié)構(gòu)圖、相關(guān)系統(tǒng)（平臺、終端）功能和要求、業(yè)務(wù)實現(xiàn)流程優(yōu)化后的方案/流程：業(yè)務(wù)實現(xiàn)組網(wǎng)結(jié)構(gòu)圖、相關(guān)系統(tǒng)（平臺、終端）功能和要求、業(yè)務(wù)實現(xiàn)流程優(yōu)化后達到的效果，產(chǎn)生的經(jīng)濟效益5）其他類成果主體，參考1）－4）的成果主體要求，闡述清楚項目背景、實現(xiàn)方案、解決的問題、取得的社會和經(jīng)濟效益等。

基于事件過濾的安全管控平臺事件過濾項目背景安全管控是一個關(guān)系公司安全和產(chǎn)權(quán)、信息穩(wěn)定、公司文化繼承和發(fā)揚的重要問題。其重要性，正隨著全球信息化步伐的加快越來越重要。中國移動擁有龐大的信息數(shù)據(jù)體系以及豐富的支撐平臺，因此公司的安全與發(fā)展與安全管控系統(tǒng)的防護息息相關(guān)。根據(jù)工信部《關(guān)于開展基礎(chǔ)電信企業(yè)網(wǎng)絡(luò)與信息安全責任考核有關(guān)工作的指導(dǎo)意見》（工信部聯(lián)保〔2012〕551號），以及《2013年省級基礎(chǔ)電信企業(yè)網(wǎng)絡(luò)與信息安全工作考核要點與評分標準》（工信廳?！?012〕247號）中涉及網(wǎng)絡(luò)維護部門的相關(guān)要求，完成年初網(wǎng)絡(luò)工作會部署的任務(wù)，2013年湖北省按照網(wǎng)絡(luò)與信息安全責任分工，圍繞控制重要系統(tǒng)的主要風險，以技術(shù)手段建設(shè)和應(yīng)用為抓手，深化基礎(chǔ)性安全工作，完善生產(chǎn)流程和評價方法，整體提升網(wǎng)絡(luò)與信息安全工作水平。如下圖2-1所示，集團要求信息安全管控重點檢查繞行問題、合規(guī)問題、弱口令問題和接入問題。傳統(tǒng)的信息安全管控是通過定期抽查其中部分事件，進行手動分析處理，然后對問題地市和廠家進行派單。這種方式費時費力，無法及時針對重大質(zhì)量問題及時處理，而且不能對整個網(wǎng)絡(luò)安全有個整體的把控。2014年湖北移動省網(wǎng)優(yōu)中心牽頭排查無線網(wǎng)安全問題隱患，成立安全數(shù)據(jù)問題分析專班，特別是針對安全管控平臺及合規(guī)平臺問題進行事件分析和過濾進行專題研究，結(jié)合KETTLE中間件的強大數(shù)據(jù)處理能力，對無線網(wǎng)設(shè)備的安全問題進行事件過濾和分析。提出并開發(fā)了一種高效的基于事件過濾的安全管控平臺，它實現(xiàn)了定時自動提取OMC等安全相關(guān)數(shù)據(jù)，根據(jù)安全管理員量身定制的算法對數(shù)據(jù)分析處理，結(jié)果推送等功能。這樣就避免因為員工疏忽和數(shù)據(jù)不全面，導(dǎo)致不必要的錯誤，同時也節(jié)省了許多人力和物力資源，大大提高了安全管理的工作效率。圖2-1安全管控的整體框架亟待解決的安全管控平臺問題待解決問題分析安全管控平臺主要事件包括登錄問題事件、合規(guī)問題事件、弱口令問題事件、繞行問題事件、接入核查事件等。每個問題事件過濾所需的數(shù)據(jù)源類型多樣，數(shù)據(jù)量大，這不僅需要大量的人力和物力進行處理，而且人員疏忽和數(shù)據(jù)處理樣本過小的問題也導(dǎo)致處理結(jié)果準確性不足夠高。對需求進行了充分了解后，研制出準確的數(shù)據(jù)分析模型和時間處理框架，以便輕松的將結(jié)果呈現(xiàn)出來。本次實現(xiàn)模式采用大數(shù)據(jù)處理模式——ETL，對數(shù)據(jù)進行抽取、清洗、下載。目前安全管控平臺安全問題分析主要存在以下問題及難點。1）時間有限：通信工作人員使用和開發(fā)編程能力欠缺，數(shù)據(jù)提取及處理費時費力。購買預(yù)算：單獨組織集成商開發(fā)成本較高，且存在維護困難的問題。事件數(shù)量：管控平臺中需要核查的問題事件多樣化，因此數(shù)據(jù)采集和結(jié)果運算算法復(fù)雜。4）數(shù)據(jù)源多樣化：安全管控涉及的主設(shè)備廠家較多，數(shù)據(jù)源多樣化，需要各種數(shù)據(jù)輸入形式。5）可擴展性：人員變更和白名單內(nèi)數(shù)據(jù)需要根據(jù)需要隨時進行更新調(diào)整。問題1：數(shù)據(jù)量大，人工分析時間長隨著4G網(wǎng)絡(luò)的不斷發(fā)展必然要造成網(wǎng)絡(luò)規(guī)模迅速擴大，這使我們在整個網(wǎng)絡(luò)安全管控方面有了新的挑戰(zhàn)。如果再以傳統(tǒng)模式中事件抽取的方式進行處理，不但會占用越來越多的人力物力，另外也無法對于安全管控平臺的問題情況進行量化評估和針對重大問題及時分析處理。下面簡單列舉出基本數(shù)據(jù)的提取及處理時長：表2-1下列數(shù)據(jù)以網(wǎng)優(yōu)中心現(xiàn)有網(wǎng)絡(luò)規(guī)模進行統(tǒng)計數(shù)據(jù)類型規(guī)模提取時長（小時）處理時長（小時）接入設(shè)備約1000臺13.52.5安全管控平臺繞行數(shù)據(jù)100萬83合規(guī)問題整改數(shù)據(jù)10萬41弱口令問題整改數(shù)據(jù)10萬41面對如此龐大的數(shù)據(jù)庫，人工處理時長太長，而且處理周期頻繁，安全管理人員的工作越來越繁重，所以急需一種高效的數(shù)據(jù)問題核查及分析方案，實現(xiàn)通過對數(shù)據(jù)問題分析和安全隱患排查的管理。問題2：事件選取集小，分析不全面安全問題是一直是中國移動非常核心的一部分，但是每年都要有一兩千個安全問題出現(xiàn)，問題解決進展很緩慢。其中一個重要原因就是問題事件較多，而選取用來分析的集合較少，很難較為全面的去把控整個流程。圖2-2安全管控問題分析流程解決對策安全事件模型如下圖2-3所示，整個網(wǎng)絡(luò)安全管理重點監(jiān)控處理的事件有四個：繞行問題、弱口令問題整改、合規(guī)問題整改、接入問題核查。主要事件用例分為：設(shè)定自動運行機制，自動從廠家OMC、安全管控平臺等提取日志數(shù)據(jù)；通過公式計算得到繞行率、弱口令率、合規(guī)整改率、接入率。1）繞行事件：如下圖2-4所示，繞行事件分為白名單登錄、4A登錄、直連登錄、橋接登錄。4A繞行率=count(直連登錄+橋接登錄)/count（白名單+4A登錄+直連登錄+橋接登錄）。2）弱口令事件：如下圖2-5所示，弱口令事件的檢測結(jié)果有兩種：檢測為弱口令、檢測為非弱口令。弱口令率=count(檢測為弱口令)/count(檢測為弱口令+檢測為非弱口令)；3）合規(guī)事件：如下圖2-6所示，合規(guī)事件的核查結(jié)果也有兩種：合規(guī)和不合規(guī)。對不合規(guī)的廠家地市進行派單整改。合規(guī)率=count（合規(guī)）/count（合規(guī)+不合規(guī)）。4）接入事件：如下圖2-7所示，接入事件是與資源庫中IP地址比對，因此檢測結(jié)果分為兩類：資源庫匹配和資源庫不匹配。接入率=count（匹配）/count(匹配+不匹配)。得到不符合規(guī)定繞行、弱口令、需要整改、接入有問題的詳細廠家或者主機IP。對問題地市和廠家派單后續(xù)處理。地市和廠家可以通過4A平臺連接遠程服務(wù)器，下載有問題的IP地址詳單。圖2-3網(wǎng)絡(luò)管理總概況圖圖2-4繞行事件圖2-5弱口令事件圖2-6接入事件圖2-7合規(guī)事件工具選用結(jié)合上述要素，最后選擇了Kettle作為ETL的開發(fā)中間件。kettle是一款國外開源的ETL工具，純java編寫；可以在Window、Linux、Unix上運行，綠色無需安裝；數(shù)據(jù)抽取高效穩(wěn)定，大大提高了效率；圖形化設(shè)計界面，應(yīng)用以及開發(fā)人員上手快。KETTLE組件處理數(shù)據(jù)的優(yōu)勢：ETL中間件使得網(wǎng)優(yōu)人員只需要關(guān)注哪些數(shù)據(jù)需要導(dǎo)入，而不需要關(guān)注如何導(dǎo)入。多數(shù)據(jù)源輸入支持多種數(shù)據(jù)庫連接：kettle可連接數(shù)據(jù)庫多達十多種，例如Postgresql、MySQL、Oracle、Informax等等支持各種格式的文件輸入：如txt、csv、xls、xml、自定義表格等等易于理解可視化編程：基于圖形界面設(shè)計，無需編碼可復(fù)用插件:提供大量的插件，規(guī)范開發(fā)過程模塊化組裝：數(shù)據(jù)挖掘過程通過模塊拼裝實現(xiàn)易于變化模塊化結(jié)構(gòu)：方通過局部修改來完善功能。第三方插件：ETL中間件可以作為插件平臺平臺無關(guān)：不依賴底層硬件，方便集群部署閉環(huán)管理如下圖2-8所示，在省網(wǎng)優(yōu)、地市和廠家之間通過工單事件形成了閉環(huán)處理。省網(wǎng)優(yōu)安全管理人員在第一時間發(fā)現(xiàn)問題，然后就可以立刻發(fā)送工單，督促OMC廠家或者地市去解決的問題。地市和設(shè)備商會根據(jù)具體情況進行整改和優(yōu)化，然后回復(fù)工單。這種閉環(huán)形式可以督促跟蹤行家解決問題，提高辦事效率。使用8個月以來，發(fā)現(xiàn)了OMC廠家和地市的1400個安全問題，發(fā)出工單數(shù)約為500個，均督促相關(guān)廠家和設(shè)備商進行及時處理。圖2-8閉環(huán)管理示意圖詳細技術(shù)方案整個流程框架是基于kettle設(shè)計，Kettle中文名稱叫水壺，該項目的架構(gòu)師MATT希望把各種數(shù)據(jù)放到一個壺里，然后以一種指定的格式流出。Kettle這個ETL工具集，它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。如下圖3所示，按照現(xiàn)在安全管理問題核查需求，針對四個問題進行概率核查和詳情輸出。將整個安全管控系統(tǒng)的實現(xiàn)模型分為四個模塊：繞行率計算、接入率計算、合規(guī)率計算、弱口令率計算。如下圖4所示，每個模塊的實現(xiàn)模型都是按照ETL大數(shù)據(jù)處理方式進行設(shè)計，模塊流程包括：事件數(shù)據(jù)搜集、事件過濾清洗、分析數(shù)據(jù)、問題結(jié)果呈現(xiàn)。針對每個問題的計算流程大體類似，現(xiàn)已繞行率計算模塊為例，對每個模塊的實現(xiàn)技術(shù)進行一一詳述。圖3-1項目實現(xiàn)框架圖3-24A繞行率方案的總實現(xiàn)Job模塊項目需求分析利用KETTLE中間件開發(fā)一套基于時間過濾的安全管控平臺，該平臺主要實現(xiàn)的功能為：自動從數(shù)據(jù)庫中提取出所需要的源數(shù)據(jù)；利用KELLE中間件中和問題核查算法計算問題結(jié)果；將結(jié)果放到指定文件夾或者數(shù)據(jù)庫表，供使用者查看。圖3-3整體需求模塊支持從各類平臺以及各類型OMC上導(dǎo)出安全日志至工具中；使用kettle工具開發(fā)的安全分析平臺分析數(shù)據(jù)數(shù)據(jù)；將結(jié)果結(jié)果保存在遠程務(wù)器或者存儲到數(shù)據(jù)庫中；省網(wǎng)優(yōu)、廠家和地市都可以登錄服務(wù)器或者數(shù)據(jù)庫客戶端對分析結(jié)果進行瀏覽和下載。關(guān)鍵點分析（文本處理特性）支持多文檔類型如上圖3-3所示，借助于kettle工具的優(yōu)勢，本安全分析平臺支持多數(shù)據(jù)輸入：txt、csv、xml、xls、log等等文檔類型，并且可以連接大多數(shù)數(shù)據(jù)庫，如DB2、MySQL、PostGreSQL、SQLServer、ORACLE、Informax等等。如下圖3-4所示，實現(xiàn)將文本文件歸一化到數(shù)據(jù)庫中需要經(jīng)過如下kettle流程。整個數(shù)據(jù)庫中數(shù)據(jù)表字段為IP地址、廠家制式、地市、時間、是否繞行。下圖3-5是每個組件具體實現(xiàn)功能。圖3-4實現(xiàn)模型圖3-5kettle組件功能數(shù)據(jù)分析數(shù)據(jù)分析過程中要產(chǎn)生兩個輸出結(jié)果：概率和祥表。例如對繞行而言，要輸出繞行率和繞行的IP地址。其實最核心的步驟就是數(shù)據(jù)輸入，數(shù)據(jù)歸一化到數(shù)據(jù)庫中，計算概率通過簡單的SQL代碼即可實現(xiàn)。表輸入，從數(shù)據(jù)庫中將祥表數(shù)據(jù)數(shù)據(jù)到kettle中進行數(shù)據(jù)分析。此步驟可以在數(shù)據(jù)輸入的過程中對字段進行分析處理，例如計算繞行率，首先計算繞行IP地址和總的IP地址的數(shù)量，然后二者相除即可得到繞行率。MicrosoftExcelWriter，將結(jié)果輸出到指定位置的excel文檔中。圖3-6數(shù)據(jù)分析組件項目整體方案如下圖3-7所示，將華為、大唐、諾西、中興、愛立信的OMC日志文件自動導(dǎo)入到Postgresql數(shù)據(jù)庫中，實現(xiàn)數(shù)據(jù)歸一化。圖3-8為愛立信實現(xiàn)將.log格式的文件信息歸一化到運算所需的信息表中。圖3-7數(shù)據(jù)導(dǎo)入集成模塊圖3-8立信數(shù)據(jù)導(dǎo)入實現(xiàn)組件數(shù)據(jù)導(dǎo)入思路:實現(xiàn)將OMC不同類型的日志文件導(dǎo)入到postgresql數(shù)據(jù)庫中進行歸一化，整體思路為：日志文件內(nèi)容和日志文件名稱信息按照需要導(dǎo)入到數(shù)據(jù)庫表中。日志文件名稱：中興_4G或中興_2G。祥表字段：序號字段名稱PG數(shù)據(jù)類型字符類型1IPVarchar字符型2時間timestamp時間3用戶名varchar字符型4制式text文本5地市text文本6是否繞行Int2整形祥表中字段信息來源解析從上面解析過程來看，如下圖所示kettle實現(xiàn)過程按照實現(xiàn)流程依次為：獲取廠家制式、獲取地市、獲取時間、增加字段是否繞行、字段刪留和記錄過濾。圖3-9kettle實現(xiàn)整體流程圖4A繞行率計算4A繞行率計算公式為：繞行IP數(shù)量/（繞行IP數(shù)量+非繞行IP數(shù)量），在將OMC日志信息歸一化到數(shù)據(jù)庫詳表中后，數(shù)據(jù)表字段中有個字段：是否繞行。計算記錄“是”記為count1.同時計算IP總數(shù)為count2。4A繞行率=count1/count2。具體實現(xiàn)是通過SQL代碼實現(xiàn)，實現(xiàn)組件為“執(zhí)行SQL腳本”。數(shù)據(jù)清空執(zhí)行SQL腳本：實現(xiàn)數(shù)據(jù)表清空。目的有兩個：1）為了防止同一天執(zhí)行兩次，所以在每次生成新數(shù)據(jù)前都把當天數(shù)據(jù)給刪除。2）結(jié)果中沒有時間記錄，因此無法區(qū)分每次運行結(jié)果，因此系統(tǒng)只保留當天時間數(shù)據(jù)。自動運行配置項目設(shè)計完畢，就可以利用windows任務(wù)計劃按一定周期去調(diào)度項目，實現(xiàn)自動運行，每天會按照指定的時間將結(jié)果推送到數(shù)據(jù)庫中或文件夾中供使用者查看。圖3-10是自動運行領(lǐng)域?qū)ο竽Ｐ蛨D，設(shè)定任務(wù)計劃，每天按照計劃內(nèi)容調(diào)度運行項目，得到分析結(jié)果。圖3-11為設(shè)定好的任務(wù)計劃，本項目任務(wù)計劃名稱為wangyou0023。圖3-10自動運行示意圖圖3-11任務(wù)計劃界面Navicate客戶端查看和下載結(jié)果項目使用者個人電腦上可安裝一個navicate客戶端，直接連接服務(wù)器的postgresql數(shù)據(jù)庫，查看或下載分析結(jié)果。Navicat是以視覺化的圖形用戶界面而建的，讓你可以以安全并且簡單的方式創(chuàng)建、組織、訪問并共用信息。NavicateforPostgreSQL界面如下圖3-12所示：圖3-12navicate客戶端界面Navicate客戶端可實現(xiàn)功能如下：查看數(shù)據(jù)表：雙擊要查看表格即可下載數(shù)據(jù)表：查詢數(shù)據(jù)，然后根據(jù)導(dǎo)出向?qū)?dǎo)出數(shù)據(jù)修改數(shù)據(jù)表字段：右鍵點擊表設(shè)計新建表、刪除表、清空表取得的成效安全管控平臺日常、周常需要處理數(shù)據(jù)量大，數(shù)據(jù)具有一定的規(guī)律性。Kettle工具的使用提高了處理數(shù)據(jù)的效率和準確性，使得更多的人力可以投入到問題的解決處理、數(shù)據(jù)的優(yōu)化升級中。安全工作優(yōu)化的突有表現(xiàn)：實現(xiàn)安全管理工作的規(guī)范化基于事件過濾模型和分析平臺，一方面明確了工作的要求，同時也很分便進行工作的標準化作業(yè)，這個是一個特別核心的效果。在KETTLE軟件的幫助下，問題概率核查比較方便，可以在第一時間發(fā)現(xiàn)問題，然后就立即發(fā)送工單督促OMC廠家或者地市去解決問題，形成了一系列的閉環(huán)問題處理過程。根據(jù)需要，網(wǎng)優(yōu)中心安全管理人員又將繞行率、合規(guī)率、弱口令率、接入率指標納入到廠家和地市考核當中。廠家、地市的周考核細化到了每天的日常統(tǒng)計中，極其快速的定位到了問題原因，并且為問題解決預(yù)留了更長時間，有利于充分解決問題。僅8個月發(fā)現(xiàn)了OMC廠家和地市的1400個安全問題，均督促相關(guān)人員對問題快速解決。圖4-1閉環(huán)處理流程圖提升安全問題分析效率1、如下表所示，以前的安全管控數(shù)據(jù)提取和數(shù)