日志分析系統(tǒng)

1、朱靖君計(jì)算機(jī)與信息管理中心，北京Web 日志的分析對站點(diǎn)的安全管理Web日志集中管理系統(tǒng)（命名為日志集中管理系統(tǒng)of a Centralized WebZhu 朱靖君計(jì)算機(jī)與信息管理中心，北京Web 日志的分析對站點(diǎn)的安全管理Web日志集中管理系統(tǒng)（命名為日志集中管理系統(tǒng)of a Centralized WebZhu Jingjun100084)Web Log Centralized ManagementWeb正以其廣泛性、交互性、快程志銳100084）ThuLog），系統(tǒng)包括日ChengZhirui戚麗QiLi吳海燕（清華大學(xué)E-mail：wuhy摘要：Web 服務(wù)是目前互聯(lián)網(wǎng)的第一大網(wǎng)絡(luò)服

2、務(wù)，與運(yùn)行維護(hù)非常重要。 在實(shí)際運(yùn)行中，由于應(yīng)用部署的分散性和負(fù)載均衡策略的使用，使得 Web日志被分散在多臺服務(wù)器上，給日志的管理和分析帶來不便。本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)志集中、日志存儲(chǔ)和日志分析三個(gè)模塊。 目前，該系統(tǒng)已經(jīng)在清華大學(xué)的多個(gè)關(guān)鍵 Web應(yīng)用系統(tǒng)上進(jìn)行了應(yīng)用， 能夠幫助系統(tǒng)管理員清晰地了解系統(tǒng)運(yùn)行情況，取得了較好的運(yùn)行效果。關(guān)鍵詞： Web日志 日志分析The Research and ImplementationLog Management SystemWu Haiyan(Computer & Information Center,TsinghuaUniversity, Beij

3、ingAbstract：Web is now the biggestnetwork service onthe Internet.The analysisofWeblogsplaysanimportant rolein thesecuritymanagementandthemaintenanceofa website. But becauseof the decentralization of deployment and the use of loadbalancing, Web logs are often seperatedon each Web server, which makes

4、themanagementand analysis of them not so convenient. This paper designs andimplements a Web Log Centralized ManagementSystem(namedThuLog), whichincludes3 modules:thecentralization of logs, thestorageof logsandtheanalysisoflogs.Through log analysisof severalcritical Websystemsin TsinghuaUniversity, i

5、tcould helpsystemadministratorslearn clearly what happensin information systemsandachievesgoodoperatingresults.Key words：Web Logs Log AnalysisSystem1. 引言近年來，隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，1所示。捷性和易用性等特點(diǎn)越來越受到人們的青睞， 1所示。域。目前全球 Web站點(diǎn)的數(shù)量已經(jīng)超過一億，而且這個(gè)數(shù)字還在不斷地飛速增長。Web日志記錄了用戶訪問站點(diǎn)的許多基本信息， 它對于站點(diǎn)的運(yùn)行維護(hù)起到非常重要的作用。通過對 Web日志進(jìn)行分析統(tǒng)計(jì)，我們

6、可以得出諸如站點(diǎn)訪問量、站點(diǎn)流量、訪問量最多的頁面等信息，這些信息有助于我們了解 Web服務(wù)器的日常運(yùn)行狀況。 另外，Web日志中還包含了發(fā)生在網(wǎng)站上的不尋常的和不期望活動(dòng)的證據(jù)，通過查看和分析日志文件， 我們能夠發(fā)現(xiàn)黑客入侵或入侵的企圖，并及時(shí)采取相應(yīng)的防護(hù)措施， 所以，Web日志對于網(wǎng)站的安全維護(hù)也是非常重要的。在實(shí)際中，由于應(yīng)用部署的分散性和負(fù)載均衡策略的使用， Web日志一般是分散在多臺服務(wù)器上的。 日志的分散不利于我們對日志進(jìn)行整體的分析， 也使得日志的安全管理難以得到保障。根據(jù)調(diào)研，目前用于日志集中的軟件產(chǎn)品很少，且有許多不足之處，例如，大多數(shù)產(chǎn)品只是采用定時(shí)傳輸?shù)姆绞剑?而且有的

7、只是實(shí)現(xiàn)了日志的集中傳輸， 還缺乏對日志的管理和分析。因此，基于實(shí)際的需要，我們開發(fā)了一個(gè) Web日志集中管理系統(tǒng)，取名為 ThuLog。系統(tǒng)能夠通過定時(shí)和實(shí)時(shí)兩種方式把多臺 Web服務(wù)器上的日志集中起來進(jìn)行存儲(chǔ)， 并利用數(shù)據(jù)庫對日志進(jìn)行分析和查詢， 最后通過 Web方式把分析的結(jié)果展示給用戶。用戶據(jù)此可以及時(shí)地了解到各個(gè)服務(wù)器的運(yùn)行狀況，從而極大地方便了他們對網(wǎng)站的管理與維護(hù)。下文首先介紹系統(tǒng)的總體結(jié)構(gòu)， 然后分別介紹系統(tǒng)的各個(gè)模塊， 接著介紹系統(tǒng)在實(shí)際中的應(yīng)用效果，最后是總結(jié)和展望。2. 系統(tǒng)總體結(jié)構(gòu)我們首先對系統(tǒng)的總體結(jié)構(gòu)進(jìn)行了設(shè)計(jì)，設(shè)計(jì)的系統(tǒng)總體結(jié)構(gòu)如圖圖 1 系統(tǒng)總體結(jié)構(gòu)圖系統(tǒng)由三個(gè)

8、模塊組成， 分別是：日志集中模塊、 日志存儲(chǔ)模塊和日志分析模塊。日志集中模塊完成日志的生成、 發(fā)送和接收功能； 日志存儲(chǔ)模塊實(shí)現(xiàn)了日志的文件存儲(chǔ)和數(shù)據(jù)庫存儲(chǔ)； 而日志分析模塊則包括日志分析和分析結(jié)果的展示兩個(gè)子模塊。系統(tǒng)在設(shè)計(jì)上完整地實(shí)現(xiàn)了 Web日志的集中管理與分析功能，同時(shí)因?yàn)樽裱?syslog標(biāo)準(zhǔn)，具有很好的擴(kuò)展性， 使之可以接收操作系統(tǒng)日志、 網(wǎng)絡(luò)設(shè)備日志等。日志在各個(gè) Web服務(wù)器上生成，再發(fā)送到日志機(jī)上。日志機(jī)對所有服務(wù)器的日志進(jìn)行接收和整理， 分別存儲(chǔ)到文件和數(shù)據(jù)庫中。 之所以用數(shù)據(jù)庫對日志進(jìn)行存儲(chǔ)，是為了更好地對日志進(jìn)行管理和分析。 采用數(shù)據(jù)庫能夠?qū)θ罩具M(jìn)行結(jié)構(gòu)化存儲(chǔ)，從而可以

9、快捷、 高效地對日志進(jìn)行各種查詢和分析。 而且考慮到系統(tǒng)的可擴(kuò)展性，要對日志信息進(jìn)行更為深入的挖掘， 則更需要數(shù)據(jù)庫的支持。 系統(tǒng)會(huì)從文件和數(shù)據(jù)庫中提取日志數(shù)據(jù)進(jìn)行分析，部分的分析結(jié)果會(huì)被存儲(chǔ)到數(shù)據(jù)庫中，最后通過 Web方式把分析的結(jié)果展示給用戶。以上就是系統(tǒng)工作的大致流程，下面分別對系統(tǒng)的三個(gè)模塊作具體的介紹。3. 日志集中模塊日志集中模塊的主要任務(wù)是把各個(gè)服務(wù)器上的日志有效地傳輸?shù)饺罩緳C(jī)上。日志的傳輸方式有很多種，在實(shí)際中，我們實(shí)現(xiàn)了 ftp、rsync和 syslog這三種日志傳輸方式。其中 ftp 和 rsync是定時(shí)傳輸方式， syslog是實(shí)時(shí)傳輸方式。對于使用負(fù)載均衡的應(yīng)用來說，

10、日志的定時(shí)傳輸還需要處理日志的合并問Web所以我們建議采用實(shí)時(shí)傳輸方式syslogd，它原本是用來然而 syslogd的功能還syslogd原有的通過因此具有更syslogd將服務(wù)器日志發(fā)送到遠(yuǎn)程服務(wù)syslog格式發(fā)送到Apache服務(wù)器，利用 syslogd進(jìn)行日志的發(fā)送，syslog-ng的配因此只需要更改各個(gè)服%v”項(xiàng)，就可以在日志中附加上服務(wù)器文件存儲(chǔ)可以對日志進(jìn)行Web所以我們建議采用實(shí)時(shí)傳輸方式syslogd，它原本是用來然而 syslogd的功能還syslogd原有的通過因此具有更syslogd將服務(wù)器日志發(fā)送到遠(yuǎn)程服務(wù)syslog格式發(fā)送到Apache服務(wù)器，利用 syslo

11、gd進(jìn)行日志的發(fā)送，syslog-ng的配因此只需要更改各個(gè)服%v”項(xiàng)，就可以在日志中附加上服務(wù)器文件存儲(chǔ)可以對日志進(jìn)行通過使用我們所設(shè)計(jì)的目錄結(jié)構(gòu)是一每一天的日志會(huì)存放到以當(dāng)天以避免這一問題，而且日志的實(shí)時(shí)傳輸還可以最快最及時(shí)地得到服務(wù)器的日志，從而最及時(shí)地了解到服務(wù)器的運(yùn)行狀況，進(jìn)行日志的集中。一般的 Unix 操作系統(tǒng)自身都帶有系統(tǒng)日志記錄程序處理系統(tǒng)日志的，但通過一定的設(shè)置它也可以處理系統(tǒng)其它程序所收到的消息，例如 Web日志，而且它還可以將消息發(fā)送到遠(yuǎn)程主機(jī)上。是比較弱，無法處理要求比較高的消息篩選。 syslog-ng7是一個(gè)開源軟件， 可以替代 syslogd，它在功能上比 sy

12、slogd更為強(qiáng)大。它除了保留優(yōu)先級區(qū)分消息的功能外， 還可以通過消息的內(nèi)容對消息進(jìn)行區(qū)分，高的消息過濾能力。Apache服務(wù)器可以通過一定的配置用器，其它的 Web服務(wù)器例如 IIS 也可以通過一些工具將日志用遠(yuǎn)程服務(wù)器。實(shí)踐中我們都采用而在日志機(jī)上則用 syslog-ng進(jìn)行日志的接收。對 syslog-ng進(jìn)行配置，使其能夠把接收到的日志信息存放到指定目錄下的文件中。然而用 syslog進(jìn)行日志的傳輸會(huì)遇到一個(gè)的問題， 各個(gè)服務(wù)器的日志都集中發(fā)送到日志機(jī)上，需要區(qū)分出各個(gè)服務(wù)器的日志。所幸的是， syslog-ng有根據(jù)日志內(nèi)容進(jìn)行過濾的功能，打開置文件，在其中的 filter 項(xiàng)中使用

13、 match函數(shù)，就能夠區(qū)分出含有特定字串的日志。而能夠表征各個(gè)服務(wù)器的當(dāng)然就是服務(wù)器的域名了，務(wù)器的日志格式，在日志格式中添加“的域名，這樣 syslog-ng就可以根據(jù)日志中的這一信息把日志進(jìn)行區(qū)分，并存放到相應(yīng)的目錄下。4. 日志存儲(chǔ)模塊系統(tǒng)存儲(chǔ)模塊分為文件存儲(chǔ)和數(shù)據(jù)庫存儲(chǔ)兩部分，壓縮，從而保存長期的日志； 數(shù)據(jù)庫存儲(chǔ)便于對日志進(jìn)行分析和管理，數(shù)據(jù)庫的 SQL 查詢語句可以非?？焖俚氐玫较胍姆治鼋Y(jié)果。把文件存儲(chǔ)和數(shù)據(jù)庫存儲(chǔ)結(jié)合起來，是日志存儲(chǔ)模塊的主要特點(diǎn)。4.1、日志的文件存儲(chǔ)日志的文件存儲(chǔ)首先要設(shè)計(jì)好文件的目錄結(jié)構(gòu)。個(gè)樹形的結(jié)構(gòu)，如圖 2所示。每個(gè)應(yīng)用的日志存放在以該應(yīng)用名稱命名的

14、目錄下，對于同一應(yīng)用的也就是存放在同一目錄下的日志，日期命名的文件中。我們使用 MySQL 數(shù)據(jù)庫刪除日以便于導(dǎo)入對于我們進(jìn)行日志分析用處url所url 及其索引號之間的對應(yīng)關(guān)系。我們使用 MySQL 數(shù)據(jù)庫刪除日以便于導(dǎo)入對于我們進(jìn)行日志分析用處url所url 及其索引號之間的對應(yīng)關(guān)系。因此必須對查url字段都是url 索引表一遍就夠了，因?yàn)樗鼈僽rl 相同的日志集中到一起輸出，3所示。經(jīng)過算法的改進(jìn)，查詢url索當(dāng)日志量非常大的情況下， 為了節(jié)省日志文件所占的空間， 還需要定期對日志文件進(jìn)行壓縮。4.2、日志的數(shù)據(jù)庫存儲(chǔ)把日志存到數(shù)據(jù)庫中是為了提高日志分析的效率。對日志進(jìn)行數(shù)據(jù)庫存儲(chǔ)，每一

15、個(gè)應(yīng)用對應(yīng)一個(gè)數(shù)據(jù)庫。因?yàn)?Web日志非常龐大，繁忙網(wǎng)站的日志每天就達(dá)數(shù)百兆，將其原封不動(dòng)地存入數(shù)據(jù)庫是不現(xiàn)實(shí)的。 因此，首先要對日志的原始數(shù)據(jù)進(jìn)行預(yù)處理，志中的冗余信息，然后把經(jīng)過預(yù)處理的日志數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫中。日志數(shù)據(jù)的預(yù)處理主要是從日志文件中提取出日志的各個(gè)字段，到數(shù)據(jù)庫中，并且刪除那些與日志分析無關(guān)的冗余信息。 例如 url 后綴為 gif、jpg、jpeg和css等的日志記錄，這些日志記錄都是用戶在訪問一個(gè)網(wǎng)頁的時(shí)候被自動(dòng)附帶上的，它們一般都不是用戶真正想請求的資源，不大。日志在經(jīng)過預(yù)處理以后， 就可以導(dǎo)入到數(shù)據(jù)庫中了。 但是日志的數(shù)據(jù)量實(shí)在太大了，即便是將處理過的日志導(dǎo)入數(shù)據(jù)庫，數(shù)

16、據(jù)庫也只能夠存儲(chǔ)幾天的日志。為了節(jié)省日志數(shù)據(jù)所占的空間， 我們采用索引的方式來存儲(chǔ)日志信息中數(shù)據(jù)量較大的 url 字段。每條日志的 url都對應(yīng)一個(gè)索引號，日志數(shù)據(jù)表中記錄的是對應(yīng)的索引號，并用一張數(shù)據(jù)表來記錄由于日志的 url 字段在數(shù)據(jù)庫中采用索引的方式存儲(chǔ)，因此日志的數(shù)據(jù)庫導(dǎo)入就要處理日志的 url 及其索引號之間的轉(zhuǎn)換問題。本來這并不是什么問題，只需要逐條記錄去查詢 url 索引表，讀取出相應(yīng)的索引號或是分配一個(gè)新的索引號即可。不過這種方法在日志量較大的情況下執(zhí)行的時(shí)間會(huì)相當(dāng)長，找的算法進(jìn)行改進(jìn)。經(jīng)過研究，我們發(fā)現(xiàn)其實(shí)在所有的日志記錄中，有很多記錄的相同的。對于這些 url 相同的日志

17、，其實(shí)查詢都是用同一個(gè) url 索引號。因此我們只需要把當(dāng)前后兩條日志的 url 不同的時(shí)候才去查詢 url 索引表。經(jīng)過算法改進(jìn)后的日志導(dǎo)入流程如圖12 萬次，極大地減少了日志導(dǎo)入所花是上一條記錄的 url相同否url索引號更新url索引表webalizer、awstats等，但它們一因此，我當(dāng)前記錄的 12 萬次，極大地減少了日志導(dǎo)入所花是上一條記錄的 url相同否url索引號更新url索引表webalizer、awstats等，但它們一因此，我當(dāng)前記錄的 url是否與給當(dāng)前記錄分配100 萬次，算法改進(jìn)后每天只需要查詢的時(shí)間。把預(yù)處理后的日志數(shù)據(jù)導(dǎo)入到一張臨時(shí)表把臨時(shí)表中的記錄按照url

18、有序輸出讀取結(jié)果集中的一行記錄把上一條記錄的url索引號index賦給當(dāng)前記錄否查詢url索引表表中是否有當(dāng)前url的記錄是把url所對應(yīng)的索引號賦給當(dāng)前記錄把當(dāng)前記錄插入到日志數(shù)據(jù)表中圖 3 日志導(dǎo)入數(shù)據(jù)庫的流程圖5. 日志分析模塊日志分析模塊包括日志的分析和分析結(jié)果的展示兩個(gè)子模塊。5.1、日志的分析目前已有不少專業(yè)的日志分析軟件，例如般只能夠?qū)θ罩具M(jìn)行比較簡單的分析， 還不能對日志進(jìn)行一些深入的分析， 例如挖掘用戶的頻繁訪問模式、 進(jìn)行用戶聚類分析以及檢測訪問量異常等。們根據(jù)實(shí)際需要編寫程序?qū)θ罩具M(jìn)行分析。日志的分析主要通過對 MySQL 數(shù)據(jù)庫進(jìn)行查詢來實(shí)現(xiàn)。 為了節(jié)省查詢的時(shí)間，我們

19、定時(shí)對一些能夠進(jìn)行累加的分析項(xiàng)目預(yù)先作出階段性的分析， 再把分析結(jié)果存儲(chǔ)到數(shù)據(jù)庫中。 這樣在用戶進(jìn)行查詢的時(shí)候， 只需要從數(shù)據(jù)庫中讀出各個(gè)時(shí)間段的分析結(jié)果， 并進(jìn)行簡單的整合， 就可以顯示到頁面中了。 諸如網(wǎng)站點(diǎn)擊數(shù)、訪問人數(shù)、用戶請求的網(wǎng)頁數(shù)、 用戶請求的文件數(shù)以及用戶訪問所傳輸?shù)淖止?jié)數(shù)等分析項(xiàng)目都是可以進(jìn)行階段性分析的，最后再把階段性結(jié)果累加起來。至于諸如某一時(shí)間段內(nèi)訪問量最多的 20個(gè)頁面以及訪問次數(shù)最多的 20個(gè)用戶 ip 等分析項(xiàng)目，會(huì)因用戶選擇的時(shí)間段不同而不同，因此是需要實(shí)時(shí)進(jìn)行分析的。系統(tǒng)會(huì)在用戶提交查詢請求后， 根據(jù)用戶選擇的時(shí)間段對數(shù)據(jù)庫進(jìn)行查詢，實(shí)時(shí)地把查詢結(jié)果顯示出來。

20、系統(tǒng)就是通過定時(shí)分析和實(shí)時(shí)分析相結(jié)合，來實(shí)現(xiàn)對日志的分析的。5.2、分析結(jié)果的展示分析結(jié)果是通過一個(gè) Web頁面來展示的， Web頁面是用 php編寫的。整個(gè)頁面主要分為用戶輸入和結(jié)果展示兩部分， 如圖 4所示。用戶既可以選擇各個(gè)應(yīng)用的日志進(jìn)行查詢， 又可以在一個(gè)應(yīng)用中選擇各個(gè)時(shí)間段的日志進(jìn)行查詢， 非常靈活方便。圖 4 分析結(jié)果展示頁面另外，為了使分析結(jié)果的顯示更為形象， 在結(jié)果展示頁面中我們還用條形統(tǒng)計(jì)圖把一些統(tǒng)計(jì)結(jié)果顯示出來， 如圖 5所示，用戶可以從中看出數(shù)據(jù)的變化趨勢。條形統(tǒng)計(jì)圖圖5條形統(tǒng)計(jì)圖6. 系統(tǒng)的實(shí)際應(yīng)用與展望本文討論了一個(gè) Web日志集中管理系統(tǒng)（ ThuLog）的研究與實(shí)

21、現(xiàn)問題，首先介紹了系統(tǒng)的整體結(jié)構(gòu)， 然后分別詳細(xì)介紹了系統(tǒng)的日志集中、 日志存儲(chǔ)和日志分析三大模塊。系統(tǒng)的各個(gè)模塊都具有各自的特點(diǎn)。 日志集中模塊遵循 syslog標(biāo)準(zhǔn)，對各臺Apache 服務(wù)器上日志進(jìn)行實(shí)時(shí)的集中傳輸。日志存儲(chǔ)模塊把文件存儲(chǔ)和數(shù)據(jù)庫存儲(chǔ)相結(jié)合，文件存儲(chǔ)可以保存長期的日志數(shù)據(jù)， 而數(shù)據(jù)庫存儲(chǔ)則可以對日志數(shù)據(jù)進(jìn)行快速查詢， 從而提高日志分析的效率。 而日志分析模塊則把定時(shí)分析和實(shí)時(shí)分析相結(jié)合，采用定時(shí)分析是為了節(jié)省用戶進(jìn)行查詢時(shí)所花的時(shí)間。系統(tǒng)在清華大學(xué)數(shù)據(jù)中心得到了很好的應(yīng)用， 對清華大學(xué)的主要信息系統(tǒng)的日志進(jìn)行集中管理，運(yùn)行穩(wěn)定。清華大學(xué)網(wǎng)絡(luò)學(xué)堂（ ）的Web層是由兩臺服務(wù)

22、器組成的負(fù)載均衡架構(gòu)，因此 Web日志分散在兩臺服務(wù)器上，這不便于對日志進(jìn)行統(tǒng)計(jì)和分析。我們把網(wǎng)絡(luò)學(xué)堂的 Web日志實(shí)時(shí)傳輸?shù)絎eb日志集中管理系統(tǒng) （ThuLog）上，實(shí)現(xiàn)了對日志的有效集中和管理。 ThuLog的日志分析結(jié)果與專業(yè)的日志分析軟件 webalizer 的分析結(jié)果非常接近。目前ThuLog 負(fù)責(zé)管理清華大學(xué)網(wǎng)絡(luò)學(xué)堂、清華大學(xué)主頁、清華大學(xué)信息門戶和清華大學(xué)計(jì)算中心主頁的日志， 日志量是千萬數(shù)量級的， 但系統(tǒng)仍然運(yùn)作順暢， 運(yùn)作的效率也很高，對日志作出了較為準(zhǔn)確的統(tǒng)計(jì)和分析。前面所做的所有工作已經(jīng)為 Web日志的挖掘做好了準(zhǔn)備， 在后續(xù)的工作中，我們將對系統(tǒng)進(jìn)行擴(kuò)展，對日志進(jìn)行一些深度的挖掘，例如進(jìn)行 Web流量分析、典型的事件序列和用戶行為模式分析、 事務(wù)分析等。對日志的挖掘可以得到更多有用的信息，從而優(yōu)化信息系統(tǒng)的運(yùn)行，促進(jìn)信息化建設(shè)的可持續(xù)發(fā)展。參考文獻(xiàn)220房間1、M. S.Chen，J.S.ParkandP.S.YuDatamining for pathtraversalpatternsin 220房間web environment Proceedings of the 16th International Conference onDistributed Computing Systems.May 27-30,1996,Hong Ko