SYSLOG_NG在集中日志收集與日志關(guān)鍵字監(jiān)控中的應(yīng)用_賈昱

1、!摘要:計(jì)算機(jī)系統(tǒng)日志可以幫助發(fā)現(xiàn)系統(tǒng)中存在的問(wèn)題,分析業(yè)務(wù)的狀態(tài)與趨勢(shì)。本文介紹了syslog-ng 部署集中日志服務(wù)器在日志收集與分類(lèi)、syslog-ng 插件在實(shí)時(shí)統(tǒng)計(jì)與監(jiān)控重要日志和使用RRDTool 軟件在實(shí)時(shí)展示系統(tǒng)運(yùn)行狀態(tài)與歷史業(yè)務(wù)數(shù)據(jù)查詢(xún)中的應(yīng)用。關(guān)鍵詞:計(jì)算機(jī)系統(tǒng);日志;監(jiān)控;Syslog-ng ;RRDToolSYSLOG-NG 在集中日志收集與日志關(guān)鍵字監(jiān)控中的應(yīng)用賈昱(鄭州鐵路局鄭州通信段河南鄭州450052一、日志集中收集系統(tǒng)計(jì)算機(jī)系統(tǒng)的應(yīng)用程序都會(huì)產(chǎn)生日志,并可根據(jù)日志,發(fā)現(xiàn)應(yīng)用程序的bug 、系統(tǒng)運(yùn)行中存在的性能問(wèn)題、突發(fā)事件等各種系統(tǒng)運(yùn)行狀態(tài)。Syslogd 是

2、類(lèi)UNIX 操作系統(tǒng)下集成的日志系統(tǒng),負(fù)責(zé)記錄應(yīng)用程序產(chǎn)生的日志,供管理員事后對(duì)系統(tǒng)運(yùn)行狀態(tài)進(jìn)行分析。Syslog-ng 是對(duì)Syslogd 的增強(qiáng),除Syslogd 提供的功能外,還能提供集中式日志分類(lèi)、日志路由、靈活的擴(kuò)展功能,并支持Syslog 協(xié)議(RFC:5424。使用Syslog-ng 進(jìn)行日志集中收集,其架構(gòu)如圖1所示。首先,需要正確配置每臺(tái)計(jì)算機(jī)本地的Syslogd 服務(wù)器,使其能夠正確在本地記錄應(yīng)用程序產(chǎn)生的日志。之后,建立日志收集服務(wù)器loghost ,正確配置Syslog-ng 服務(wù),對(duì)主機(jī)名loghost 正確配置DNS 域名解析或在系統(tǒng)中全部計(jì)算機(jī)上配置hosts 文

3、件。最后,根據(jù)日志收集的需要,修改Syslogd 配置文件,使其將指定的日志通過(guò)網(wǎng)絡(luò)記錄到集中的日志收集服務(wù)器loghost 上。根據(jù)系統(tǒng)中Syslogd 的版本不同,Sys -log-ng 需要做不同的配置。若全部計(jì)算機(jī)上Syslogd 均支持指定遠(yuǎn)程日志服務(wù)器端口(如FreeBSD 集成的Syslogd ,則loghost 上Syslog-ng 可選擇監(jiān)聽(tīng)在任意UDP 端口。否則,若系統(tǒng)有Lunux 、Solaris 操作系統(tǒng)默認(rèn)版本的Syslogd ,Syslog -ng 只能監(jiān)聽(tīng)在Syslog 協(xié)議默認(rèn)的UDP514端口。Syslog-ng可對(duì)優(yōu)先級(jí)、應(yīng)用標(biāo)志和日志內(nèi)容進(jìn)行過(guò)濾和分類(lèi),

4、并執(zhí)行不同的日志路由,便于將不同應(yīng)用程序的日志分別記錄。同一個(gè)應(yīng) !圖1日志集中收集系統(tǒng)架構(gòu)鄭鐵科技通訊1/2011信號(hào)通信41圖2日志關(guān)鍵字頻率統(tǒng)計(jì)模塊流 程圖圖3日志監(jiān)控程序架構(gòu)用程序的日志也可根據(jù)關(guān)鍵字區(qū)分開(kāi)記錄在不同的日志文件中,便于日志的查詢(xún)與統(tǒng)計(jì)。二、日志關(guān)鍵字統(tǒng)計(jì)日志中不同的關(guān)鍵字提供了不同的信息,需要特別關(guān)注成功和失敗(錯(cuò)誤兩類(lèi)關(guān)鍵字的次數(shù)。在短時(shí)間內(nèi),如果成功類(lèi)關(guān)鍵字在日志中單位時(shí)間出現(xiàn)的次數(shù)急劇減少或增加,則預(yù)示系統(tǒng)可能出現(xiàn)了故障或被攻擊。若失敗類(lèi)關(guān)鍵字出現(xiàn)的頻率突然增加,則肯定有部分子系統(tǒng)運(yùn)行存在問(wèn)題。使用集中收集系統(tǒng)日志方案和配置Syslog-ng,就可以定期統(tǒng)計(jì)各類(lèi)關(guān)

5、鍵字的出現(xiàn)頻率,及時(shí)發(fā)現(xiàn)系統(tǒng)運(yùn)行狀態(tài)的改變。為及時(shí)統(tǒng)計(jì)日志關(guān)鍵字頻率,可以開(kāi)發(fā)一個(gè)模塊。該模塊定期匯報(bào)一次單位時(shí)間內(nèi)接收到日志的行數(shù),及時(shí)統(tǒng)計(jì)出日志中各類(lèi)關(guān)鍵字出現(xiàn)的頻率,作為判斷系統(tǒng)運(yùn)行狀態(tài)的依據(jù)?？梢赃x擇UNIX Socket作為日志關(guān)鍵字頻率統(tǒng)計(jì)模塊與Syslog-ng的接口。定義日志關(guān)鍵字頻率統(tǒng)計(jì)模塊應(yīng)具有以下功能:1.監(jiān)聽(tīng)一個(gè)UNIX Socket,接收所有發(fā)向該端口的數(shù)據(jù)。2.在計(jì)數(shù)器中記錄發(fā)向該端口的數(shù)據(jù)的行數(shù)。3.每隔單位時(shí)間,使用計(jì)數(shù)器中的值產(chǎn)生一條日志,同時(shí)將計(jì)數(shù)器清零。統(tǒng)計(jì)模塊的流程如圖2所示。三、日志關(guān)鍵字監(jiān)控根據(jù)日志關(guān)鍵字頻率統(tǒng)計(jì)模塊產(chǎn)生的統(tǒng)計(jì)日志,就可以及時(shí)發(fā)現(xiàn)系統(tǒng)

6、運(yùn)行狀態(tài)的改變。如果人工閱讀日志很難保證及時(shí)性與準(zhǔn)確性,因此必須開(kāi)發(fā)程序自動(dòng)分析日志。當(dāng)發(fā)現(xiàn)程序異常時(shí),監(jiān)控日志。日志監(jiān)控程序有兩部分。第一個(gè)部分將統(tǒng)計(jì)日志導(dǎo)入Memcached數(shù)據(jù)庫(kù)。該程序每從標(biāo)準(zhǔn)輸入讀取一行后,分析該行內(nèi)容,取得該行日志的關(guān)鍵字與相應(yīng)的頻率,然后以日志中的關(guān)鍵字做KEY,最近更新時(shí)間與最近N次的頻率值做VALUE,更新Mem-cache中的記錄。日志監(jiān)控程序的第二個(gè)部分具有真正監(jiān)控報(bào)警功能。該程序根據(jù)配置文件依次從Memcached中取得日志關(guān)鍵字的統(tǒng)計(jì)數(shù)據(jù),并將其送入定義好的一個(gè)或多個(gè)觸發(fā)器中。若觸發(fā)器被觸發(fā),則調(diào)用報(bào)警模塊產(chǎn)生一次報(bào)警操作,提醒相關(guān)人員需要檢查系統(tǒng)運(yùn)行

7、狀態(tài)。日志監(jiān)控程序架構(gòu)如圖3所示。日志監(jiān)控程序的核心部件是觸發(fā)器,觸發(fā)器需要根據(jù)業(yè)務(wù)特點(diǎn)進(jìn)行設(shè)置。1.頻率上限觸發(fā)器:該觸發(fā)器需要一個(gè)觸發(fā)上限作為參數(shù),比較最近一次的關(guān)鍵字頻率或最近若干次關(guān)鍵字頻率的均值是否超過(guò)上限。若超過(guò),則觸發(fā)觸發(fā)器。當(dāng)頻率增加時(shí),很可能是有部分子系統(tǒng)存在故障,所以頻率上限觸發(fā)器較適合失敗類(lèi)的關(guān)鍵字設(shè)定。2.頻率下限觸發(fā)器:該觸發(fā)器需要一個(gè)觸發(fā)下限作為參數(shù),比較最近一次的關(guān)鍵字頻率或最近若干次關(guān)鍵字頻率的均值是信號(hào)通信鄭鐵科技通訊1/2011 42 圖4系統(tǒng)運(yùn)行狀態(tài)展示否低過(guò)下限。若低過(guò),則觸發(fā)觸發(fā)器。當(dāng)頻率減少時(shí),很可能是有部分子系統(tǒng)存在故障,所以頻率上限觸發(fā)器較適合成

8、功類(lèi)的關(guān)鍵字設(shè)定。業(yè)務(wù)量通常隨時(shí)間而變化,因此按時(shí)間段作為監(jiān)控的關(guān)鍵字,設(shè)置多個(gè)觸發(fā)器參數(shù)會(huì)有比較好的效果。3.頻率變化率觸發(fā)器:該觸發(fā)器需要一個(gè)變化率(斜率作為參數(shù),計(jì)算最近N 次關(guān)鍵字頻率的變化率與觸發(fā)器參數(shù)進(jìn)行比較。若關(guān)鍵字頻率的變化率大于觸發(fā)器參數(shù),則觸發(fā)觸發(fā)器。該觸發(fā)器是對(duì)頻率上/下限觸發(fā)器的補(bǔ)充,適合于頻率隨時(shí)間波動(dòng)、變化不大的關(guān)鍵字監(jiān)控。4.關(guān)鍵字相關(guān)性觸發(fā)器:該觸發(fā)器需要一個(gè)比值作為參數(shù),計(jì)算兩個(gè)不同的關(guān)鍵字頻率的比值。若比值發(fā)生改變,則觸發(fā)觸發(fā)器。該觸發(fā)器不受業(yè)務(wù)隨時(shí)間波動(dòng)的影響。對(duì)于在入口處有一條日志和在成功與失敗的分支上有不同關(guān)鍵字的日志,則該觸發(fā)器是較好的選擇。5.超時(shí)

9、觸發(fā)器:該觸發(fā)器需要一個(gè)超時(shí)時(shí)間作為參數(shù),計(jì)算Memcached 最后更新時(shí)間是否超時(shí)。若超時(shí),則觸發(fā)觸發(fā)器。該觸發(fā)器主要是對(duì)整個(gè)日志收集監(jiān)控系統(tǒng)本身進(jìn)行監(jiān)控。6.自定義觸發(fā)器:將從Memcached 取得的數(shù)據(jù)傳遞給外部程序,根據(jù)返回值觸發(fā)觸發(fā)器。該觸發(fā)器主要是方便日志監(jiān)控程序的擴(kuò)展。日志監(jiān)控程序能否有效工作的關(guān)鍵在于觸發(fā)器的設(shè)定。觸發(fā)器設(shè)定過(guò)于嚴(yán)格,將產(chǎn)生很多誤報(bào)。若觸發(fā)器設(shè)定過(guò)于寬松,則有可能錯(cuò)過(guò)第一時(shí)間發(fā)現(xiàn)故障的機(jī)會(huì)。四、系統(tǒng)運(yùn)行狀態(tài)展示與業(yè)務(wù)數(shù)據(jù)查詢(xún)RRDTool 是一個(gè)輪轉(zhuǎn)數(shù)據(jù)庫(kù),一個(gè)RRD 只能儲(chǔ)存建立時(shí)定義好的N 條記錄。當(dāng)記錄數(shù)超過(guò)N 條時(shí),自動(dòng)刪除最早的數(shù)據(jù),同時(shí)可以將數(shù)據(jù)

10、以圖表的形式展示出來(lái)。在日志收集與監(jiān)控系統(tǒng)中引入RRD -Tool ,可以非常方便地提供系統(tǒng)運(yùn)行狀態(tài)展示與業(yè)務(wù)數(shù)據(jù)查詢(xún)功能,只需要在日志監(jiān)控程序的第一個(gè)部分更新Memcached 后,更新日志關(guān)鍵字對(duì)應(yīng)的RRD 數(shù)據(jù)庫(kù)文件即可。圖4是對(duì)某一關(guān)鍵字出現(xiàn)頻率統(tǒng)計(jì)后,由RRDTool 繪制的圖表。短期曲線(xiàn)可以用來(lái)展示當(dāng)前系統(tǒng)運(yùn)行狀態(tài)。對(duì)于一些成功類(lèi)關(guān)鍵字頻率統(tǒng)計(jì),RRDTool 提供的長(zhǎng)期曲線(xiàn)與數(shù)據(jù)輸出可以作為分析業(yè)務(wù)發(fā)展趨勢(shì)的依據(jù)。五、特性該系統(tǒng)為監(jiān)控計(jì)算機(jī)系統(tǒng)運(yùn)行狀態(tài)提供了一套通用的方法,具有以下特性:1.在客戶(hù)投訴前,就能發(fā)現(xiàn)系統(tǒng)故障。2.根據(jù)業(yè)務(wù)數(shù)據(jù),提前對(duì)系統(tǒng)進(jìn)行擴(kuò)容。3.及時(shí)發(fā)現(xiàn)非預(yù)期的系統(tǒng)訪(fǎng)問(wèn)。4.基于日志收集與分析,不需要對(duì)已有系統(tǒng)做任何開(kāi)發(fā)工作。5.使用通用監(jiān)控框架,只需要配置關(guān)鍵