網(wǎng)絡日志信息采集與分析系統(tǒng)的設計與實現(xiàn)_齊法制

1、網(wǎng)絡日志信息采集與分析系統(tǒng)的設計與實現(xiàn) 齊法制 王彥明 崔濤 安德海 ( 中國科學院高能物理研究所計算中心，北京 100049) 摘要 隨著網(wǎng)絡規(guī)模的不斷擴大, 網(wǎng)絡中的設備數(shù)量和服務類型也越來越多，網(wǎng)絡中的關鍵設備和服務產(chǎn)生了大量的日志信息，如何處理這些日志信息，實現(xiàn)日志信息的集中存儲和有效分析，挖掘出有效信息為網(wǎng)絡管理和網(wǎng)絡安全服務提供支撐變得尤為重要。本文描述了網(wǎng)絡日志集中采集和分析系統(tǒng)的設計，并詳細闡述了系統(tǒng)功能模塊的實現(xiàn)方式。 關鍵字：日志信息 集中采集 日志分析 1、引言 隨著網(wǎng)絡規(guī)模的不斷擴大, 當校園網(wǎng)中網(wǎng)絡擴展到包含了許多主機、應用系統(tǒng)和各種網(wǎng)絡設備時，管理與安全相關的事件就

2、變成了越來越復雜的任務。在這些運營設備中，操作系統(tǒng)本身能夠提供一些日志管理工具，但是由于其孤立于其他組網(wǎng)設施，對運營管理并不能提供所需的綜合信息，此外操作系統(tǒng)本身的日志管理工具也無法提供對關鍵業(yè)務應用的審計功能，而更多的其他組網(wǎng)設備，如路由器、交換機、防火墻等，很少提供日志管理工具。 對于目前越來越復雜的網(wǎng)絡環(huán)境，日志管理的問題越來越嚴重1：首先，日志凌亂的散落在網(wǎng)絡中各個設備上，發(fā)生在網(wǎng)絡不同部分的安全事件無法關聯(lián)起來；隨著網(wǎng)絡攻擊技術的不斷發(fā)展，系統(tǒng)本地的日志非常容易被篡改用來消除各種非法入侵行為痕跡；隨著時間和容量的變化，日志數(shù)據(jù)常常會被自動刪除或者覆蓋，無法通過長期的日志數(shù)據(jù)挖掘形成用

3、戶行為統(tǒng)計；發(fā)生在網(wǎng)絡防御設備，諸如ids、防火墻等在遭遇攻擊時會產(chǎn)生海量日志數(shù)據(jù)，以至于無法發(fā)現(xiàn)重要的安全事件。 因此，在復雜的校園網(wǎng)絡環(huán)境中，開發(fā)和部署一個能夠?qū)悩?gòu)的網(wǎng)絡中不同的組網(wǎng)設備以及業(yè)務應用系統(tǒng)的日志信息統(tǒng)一采集和分析的系統(tǒng)，就能夠使網(wǎng)絡管理員比較方便、容易地將運營系統(tǒng)各個環(huán)節(jié)的相關日志數(shù)據(jù)和安全性有效關聯(lián)起來，快速發(fā)現(xiàn)網(wǎng)絡的異常行為，為管理員提供一種快速評價網(wǎng)絡安全運行狀態(tài)的工具。 6742系統(tǒng)設計與實現(xiàn) 網(wǎng)絡日志集中采集與分析系統(tǒng)能夠有效地收集和分析來自異構(gòu)服務器、 不同供應商提供的網(wǎng)絡設備、不同的業(yè)務系統(tǒng)等的安全日志數(shù)據(jù)，并對采集到的日志進行分析、匯總和報警， 使網(wǎng)絡管理員

4、能夠有效識別網(wǎng)絡環(huán)境中潛在的異常行為。 2.1 系統(tǒng)總體結(jié)構(gòu) 網(wǎng)絡日志集中采集與分析系統(tǒng)具有四個功能模塊（如圖1所示）。分別是：日志對象管理模塊，日志數(shù)據(jù)集中采集處理模塊，負責采集網(wǎng)絡設備和系統(tǒng)的日志數(shù)據(jù)并對數(shù)據(jù)進行簡單歸類處理；日志數(shù)據(jù)存儲模塊，負責將日志數(shù)據(jù)采集模塊獲取到的數(shù)據(jù)進行分類并以文本數(shù)據(jù)形式存儲到指定位置中，實現(xiàn)數(shù)據(jù)的集中存儲；日志數(shù)據(jù)分析和報警模塊，實現(xiàn)對存儲的日志數(shù)據(jù)進行各種類型的統(tǒng)計分析，幫助網(wǎng)絡管理員高效地從海量的日志數(shù)據(jù)中提取和挖掘關鍵安全事件，將結(jié)果呈現(xiàn)給網(wǎng)絡管理人員，明顯地提高對惡意侵襲的監(jiān)控和防范能力。 2.2 主要功能模塊介紹 2.2.1 日志對象管理模塊 該模

5、塊主要實現(xiàn)對需要采集分析的日志對象進行數(shù)據(jù)庫化管理和配置。系統(tǒng)以mysql 為后臺數(shù)據(jù)庫，通過配置界面實現(xiàn)對日志采集分析對象的增加、刪除、修改操作，該數(shù)據(jù)庫表結(jié)構(gòu)包含日志采集分析對象的 ip地址，設備名稱，日志采集代理類型，設備日志采集狀態(tài)等。 2.2.2 日志數(shù)據(jù)采集模塊 根據(jù)系統(tǒng)設計功能，該模塊能夠自動收集來自于網(wǎng)絡環(huán)境中各種設備(windows、linux 等操作系統(tǒng)， ids、防火墻、路由器等網(wǎng)絡設備) 的日志數(shù)據(jù)，并將采集到的日志數(shù)據(jù)發(fā)送到數(shù)據(jù)存儲模塊進行集中存儲。網(wǎng)絡管理中常用來采集日志數(shù)據(jù)的方式包括文本方式采集、snmp trap方式采集和 syslog 方式采集，考慮到各種采集

6、方式的特性和系統(tǒng)的通用性，本系統(tǒng)選用以syslog 方式采集日志數(shù)據(jù)2。 日志數(shù)據(jù)采集模塊采用客戶端/ 服務器架構(gòu)3。在系統(tǒng)實現(xiàn)中，采用運行在日志采集服務器端的rsyslog作為日志數(shù)據(jù)采集服務程序，rsyslog 是一個 syslogd 的多線程增強版，可以實現(xiàn)包括對輸出的文件進行自動壓縮和支持多個tcp 偵聽以及性能方面的提升。而客戶端根據(jù)對象不同選用不同的開源軟件，例如常規(guī)網(wǎng)絡設備和linux 客戶端使用 syslog ，windows 客戶端則采用第三方的軟件（evtsys ）圖 1: 系統(tǒng)總體結(jié)構(gòu)示意圖 675來將windows的日志轉(zhuǎn)換成 syslog 類型的日志后，發(fā)送給 sys

7、log 服務器。 客戶端的設置4（x.x.x.x 代表日志服務器的 ip地址） ： 1)linux 客戶端（使用 syslog） ：編輯 /etc/syslog.conf，加入 “ *.* x.x.x.x” 。 2)linux 客戶端（使用 syslog-ng ） ，編輯 /etc/syslog-ng.conf,加入“ destination log_server udp( x.x.x.x port(514) );”。 2.2.3 日志數(shù)據(jù)集中存儲模塊 日志數(shù)據(jù)集中存儲模塊實現(xiàn)將日志采集模塊獲取到的日志數(shù)據(jù)按照日志獲取對象名稱、日志類型以及時間進行分類歸檔并存儲，同時，由于日志文件以文本形式進

8、行存放，考慮到日志文件自身的可壓縮性，系統(tǒng)可以根據(jù)設定的時間周期對日志文件進行壓縮處理，節(jié)約存儲空間。2.2.4 日志數(shù)據(jù)分析和報警模塊 日志數(shù)據(jù)分析和報警模塊是本系統(tǒng)最為關鍵的模塊和功能，該模塊根據(jù)不同的采集對象類型對日志數(shù)據(jù)進行分析，對于同一臺設備的日志數(shù)據(jù), 根據(jù)日志數(shù)據(jù)內(nèi)容 ( 指日志反映的服務和操作類型等) 進行分類，形成包含服務訪問趨勢統(tǒng)計, 設備操作記錄 , 異常行為在內(nèi)的日志分析報告，因此, 日志分析報告包含設備運行報告（即一般統(tǒng)計類信息）和設備異常報警 （即故障和威脅報告） ，并將分析結(jié)果以 web發(fā)布或者以 email方式向管理員進行報警。 作為跨平臺的通用型網(wǎng)絡日志分析系

9、統(tǒng)，目前該系統(tǒng)可以支持包括cisco、華為、 force10等網(wǎng)絡設備以及 linux 、windows 等操作系統(tǒng)在內(nèi)的多種類型對象的日志采集和分析功能。同時，為了滿足其它特殊設備和系統(tǒng)日志的分析，該系統(tǒng)提供了日志類型的用戶化定制，管理員可以根據(jù)實際需求，通過編輯日志特征（ xml文件）增加和修改自定義設備/ 服務日志類型。 3 結(jié)束語 本文描述的網(wǎng)絡日志集中采集與分析系統(tǒng)目前已經(jīng)在高能所校園網(wǎng)中部署并投入試運行，在校園網(wǎng)的運行管理工作中發(fā)揮了較好的作用。但由于日志規(guī)則庫不夠全面和完善，該系統(tǒng)對部分異常事件無法識別，被納入無法識別的網(wǎng)絡事件中，需要管理員結(jié)合自身經(jīng)驗進行手動干預，添加規(guī)則庫。

10、系統(tǒng)的界面友好性也需要進一步加強，特別是在日志統(tǒng)計分析的直觀化和可視化方面需要進一步改進，相信隨著系統(tǒng)的進一步開發(fā)和完善，日志規(guī)則庫的不斷更新和改進，該系統(tǒng)能夠?qū)崿F(xiàn)對所有網(wǎng)絡事件的分析和報告。 參考文獻： 1 網(wǎng)絡和系統(tǒng)的日志采集及分析 張婕 張大力 李文禎 計算機工程 2000年10月 26 卷 p356-p360 6762 syslog notes http;//jack/ifsm4981/syslog.html 3 clonvick the bsd syslog protoco1ietf tlfc3164 ，august 2001 4 “syslogconf

11、 putting stuf where you want it”,http ： www freebsddiary orgsyslogconphp ，april 1999 作者簡介 : 齊法制，高級工程師 , 主要從事網(wǎng)絡管理、網(wǎng)絡性能優(yōu)化與網(wǎng)絡安全技術研究； 王彥明，工程師，主要從事網(wǎng)絡建設、網(wǎng)絡管理與網(wǎng)絡監(jiān)控技術研究與應用； 崔濤，工程師，主要從事網(wǎng)絡建設、網(wǎng)絡管理與高性能網(wǎng)絡技術研究與應用； 安德海，高級工程師，主要從事網(wǎng)絡安全技術研究與開發(fā)。 design and implementation about network log retrieval and analysis system

12、qi fazhi, wang yanming,cui tao, liu baoxu ( computing center, institute of high energy physics, chinese academy of sciences, beijing 100049) abstract ：there are more and more network devices and services in the campus network, and these key services and services are exporting large amounts of log information all the time, it is very important to deal with the mass log data, including the log data centralized storage, retrieval and analysis, and help the network administrators and network security administrators make clear about what was happened and what is happ