監(jiān)視并記錄Apache網(wǎng)站服務(wù)器的運行

1、在Apache下的日志簡介 Apache提供了廣泛記錄運行時各方面信息的工具。比如有條件性的記錄日志，日志循環(huán)，確定IP地址等時普遍會遇到的問題。還講解很多用于檢測您的Apache服務(wù)器狀態(tài)以及分析其日志的捆綁的第三方模塊和工具。默認的Apache日志文件 Apache提供很多檢測和日志工具來追蹤服務(wù)器的正確運行。默認的Apache配置提供兩個日志文件，放置在安裝目錄下的日志目錄里面。access_log 這個文件（在windows下對應(yīng)access.log文件）包含了服務(wù)器已經(jīng)處理過的請求的信息，比如說請求的URL，客戶端的IP地址，請求是否被成功完成等。error_log 這個文件（在wi

2、ndows下對應(yīng)error.log文件）包含了與錯誤情況相關(guān)的信息，以及服務(wù)器生命周期中不同的大事件。創(chuàng)建日志格式LogFormat %h %l %u %t %r %s %b commonLogFormat %h %l %u %t %r %s %b %Refereri %User-agenti combined LogFormat 指令允許你告訴Apache你想要記錄請求的哪些方面。而你仍需附加的指令來告訴Apache在哪里記錄那些信息，這在下一章中將會介紹。下面的例子顯示了兩種最受歡迎的格式的配置：普通日志格式和整合日志格式。當(dāng)Apache收到一個請求，他將會用相應(yīng)的請求屬性來替代以%為前綴

3、的每一個域。如果您正在使用普通日志格式，您的日志文件里的每一項輸入看起來都將是這樣的： - someuser 12/Jun/2005:08:33:34 +0500 GET /example.png HTTP/1.0 200 1234 如果您正在使用整合日志格式，您的日志文件里的每一項輸入看起來則都將是這樣的： - someuser 12/Jun/2005:08:33:34 +0500 GET /example.png HTTP/1.0 200 1234 /index.html Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.7) 盡

4、管有附件提供日志格式的詳盡索引，下表描述了一些最為重要的域：# %h: 客戶端（例如，瀏覽器）向服務(wù)器發(fā)出連接請求時自己的當(dāng)時的IP地址或域名(需開啟HostNameLookups)。# %u: 使用HTTP方式認證用戶時，記錄下的用戶的編號。# %t: 服務(wù)器接受到連接請求的時間。# %r: 客戶端發(fā)出的原始連接請求中的文本信息，包含所使用的HTTP方法。# %s: 服務(wù)器應(yīng)答瀏覽器后的返回狀態(tài)代碼，200表示請求成功。.# %b: 服務(wù)器應(yīng)答瀏覽器發(fā)出的單個請求的回傳對象的內(nèi)容大?。ㄗ止?jié)為單位），不統(tǒng)計數(shù)據(jù)包頭部字節(jié)。整合日志格式在普通日志格式的基礎(chǔ)上擴展出了兩個附加的域。定義為：# %R

5、efereri: 連接請求數(shù)據(jù)包包頭，包含指向當(dāng)前頁面的文檔關(guān)聯(lián)信息。# %User-agenti: 用戶代理連接請求數(shù)據(jù)包包頭，包含客戶瀏覽器的信息。創(chuàng)建一個自定義日志文件CustomLog logs/access_log commonTransferLog logs/sample.log 您可能會想創(chuàng)建Apache自帶以外的新的日志文件。下面的例子將運用CustomLog來創(chuàng)建一個新的日志文件，并保存由一個之前定義好的日志格式，即前一章提到的common，所定義的信息。您還可以用格式本身的定義來替換昵稱。一個附加的，更為簡單的指令是Transferlog，它只接受最后一個 LogForma

6、t指令提供的定義。重導(dǎo)向日志到一個外部的程序TransferLog |bin/rotatelogs /var/logs/apachelog86400 你也可以用CustomLog或TransferLog將日志的輸出重導(dǎo)向（輸出）到一個外部的程序，而不是一個文件。要做到這一點，首先您需要以輸出字符 |開頭，跟著是接收日志標(biāo)準(zhǔn)輸入信息的程序之路經(jīng)。本例運用Apache自帶的rotatelogs程序，在稍后的章節(jié)中會對其有所介紹。 當(dāng)有一個外部程序被使用，它將作為啟動httpd的用戶被運行。如果服務(wù)器是被超級管理員所啟動，它就會是超級管理員，完全確保這個程序是安全的。并且，當(dāng)進入一個非Unix平臺上

7、的一個文件路徑時，需要小心確保只有正斜杠被使用，即使這個平臺可能是允許使用反斜杠的。總的來說，在整個配置文件中總是使用正斜杠是個好主意。有條件的日志請求SetEnvIf Request_URI (.gif|.jpg)$ imageCustomLog logs/access_log common env=!imageSetEnvIf Remote_Addr specialmachineCustomLog logs/special_access_log common env=specialmachine 你可以根據(jù)可變的環(huán)境決定是否記錄一個請求。這種可變可以根據(jù)許多參數(shù)

8、，比如客戶端的IP地址或請求中某個頭部的存在，事先設(shè)置好。正如本例中所顯示， CustomLog指令可以將可變的環(huán)境作為第三個參數(shù)來接受。如果存在可變的環(huán)境，它就將被記錄，否則就不會。如果這個可變的環(huán)境被一個!開頭否定，那么不存在可變的環(huán)境將會被記錄。本例將告訴您如何避免在日志里以GIF和JPEG的格式記錄圖像，及如何從一個特定的IP地址記錄請求道一個單獨的日志文件。另一個例子請參加下一節(jié)。誰在連接你的網(wǎng)站SetEnvIfNoCase Referer internalreferralLogFormat %Refereri - %U refererCustomLog logs/referer.l

9、og referer env=!internalreferral 可以通過記錄Referer的值來檢測哪些人連接了你的網(wǎng)站，Referer變量位于用戶發(fā)送連接請求數(shù)據(jù)包的頭部，數(shù)據(jù)包頭中還包含了用戶訪問的目的網(wǎng)站的URL地址。通過這種方法可以記錄下絕大部分網(wǎng)站訪問者。也可以把來自特定網(wǎng)站()地址段的來訪者排除出日志記錄文件。利用模塊參數(shù)(mod_status)來監(jiān)視Apache服務(wù)器 SetHandler server-status Order Deny,Allow Deny from all Allow from 192.168.0 Apache 服務(wù)器中可以使用的功能模塊很多，有服務(wù)器內(nèi)置

10、的也有外掛的，這些模塊工作的狀態(tài)和性能就是通過mod_status參數(shù)來記錄的，記錄的內(nèi)容有“哪些模塊參與了網(wǎng)站應(yīng)答服務(wù)、哪些模塊處于空閑狀態(tài)、服務(wù)器的開啟/關(guān)閉時間。正在處理的連接請求數(shù)和訪問者數(shù)量(需要指定ExtendedStatus記號) -該模塊記錄對高負荷網(wǎng)站服務(wù)器性能有很大影響”。例子中記錄的模塊狀態(tài)統(tǒng)計結(jié)果可以用瀏覽器訪問 HYPERLINK /server-status /server-status頁面來查看。通過SNMP協(xié)議來監(jiān)視Apache服務(wù)器 SNMP 是簡單網(wǎng)管協(xié)議，支持SNMP的服務(wù)器或網(wǎng)絡(luò)設(shè)備可以被OpenView、Tivoli等網(wǎng)管軟件統(tǒng)一管理，目前有很多開源的

11、SNMP模塊可以加裝到 Apache網(wǎng)站服務(wù)器之上，對于Apache 1.3版來講，mod_snmp模塊可以支持第1版和2版的SNMP協(xié)議；對于Apache 2版來講，mod_apache_snmp模塊可以編譯成Apache的DSO直接支持第1版、第2版和第3版的SNMP協(xié)議。有了SNMP模塊，外部網(wǎng)管軟件就可以對Apache網(wǎng)站服務(wù)器的各種實時性能參數(shù)進行查看了，這些參數(shù)包含“服務(wù)器連續(xù)在線時間、平均負載、一段時間內(nèi)的錯誤數(shù)、提供網(wǎng)站服務(wù)的字節(jié)數(shù)和連接請求數(shù)”。SNMP模塊遇到突然激增的并發(fā)連接請求數(shù)時會向控制臺報警。管理SNMP資源的開源工具軟件有：“net-snmp, OpenNMS,N

12、ajios等”。用開源工具分析日志 有很多開源和商業(yè)版的工具軟件可以對產(chǎn)生的Apache日志文件做分析和處理，通常的步驟是：1.選取一個日志文件。2.分析日志文件內(nèi)容。3.生成包含不同類別內(nèi)容的統(tǒng)計信息網(wǎng)頁輸出。 Webalizer(/webalizer/)和AWStats()是較為流行的日志文件分析工具；還有一些工具可以記錄來訪者具體訪問路線，比如Vistors和Pathalizer工具，可以分別從/visitors/和 HYPERLINK / /下載。實時監(jiān)視日志 使用apachetop命令行工具來顯示apache服務(wù)器當(dāng)前的運行狀態(tài)，類似于Unix等系統(tǒng)下的top命令工具。對流量比較低的

13、Unix- Apache網(wǎng)站也可以使用tail命令來記錄實時日志信息，tail -f /logfile/。通過掃描錯誤日志文件中的記錄，分析出惡意連接請求，常用的錯誤日志文件掃描工具有Logscan和ScanErrLog，可以分別從/security.php和 HYPERLINK /software/ /software/去下載這些工具。將連接請求日志記錄到數(shù)據(jù)庫 Apache 本身沒有將記錄轉(zhuǎn)發(fā)到數(shù)據(jù)庫的功能，必須要第三方腳本和模塊來支持。這里列舉幾個：mod_log_sql模塊允許將連接請求直接記入MySQL數(shù)據(jù)庫，然后用Apache LogView SQL工具來參看庫中的記錄；pglog

14、d工具可以記錄日志到PostgreSQL數(shù)據(jù)庫中。將日志文件轉(zhuǎn)存和歸檔CustomLog |bin/rotatelogs /var/logs/apachelog86400 common 如果網(wǎng)站流量較高，日志文件很容易就會變得很大，需要進行轉(zhuǎn)存和歸檔處理。轉(zhuǎn)存日志文件時需要壓縮和保存，在線進行這項工作可以使用Apache提供的rotatelogs來完成，類似工具還可以在 HYPERLINK / /上找到。例子中用rotatelogs工具將每天的日志做了轉(zhuǎn)存和歸檔處理，一天共有86400秒。查看Apache幫助文件可以了解更多的rotatelogs工具參數(shù)。注意如果rotatelogs工具所在的

15、目錄名含有空格，則需要用跳轉(zhuǎn)符號來指定。IP地址和域名之間對應(yīng)處理 將HostNameLookups 設(shè)置成on，那么日志記錄中將顯示來訪者所在的域名，設(shè)置成on可降低服務(wù)器性能。為了解決這一問題，Apache提供了一個事后分析IP地址域名信息的工具logresolve，例如$ logresolve resolved_log 如果用代理服務(wù)器或網(wǎng)關(guān)設(shè)備來完成的網(wǎng)站訪問，Apache服務(wù)器將只能記錄到代理服務(wù)器和網(wǎng)關(guān)的IP地址和域名。如何自動啟動Apache服務(wù)器#!/bin/bashif ps -waux | grep -v grep | grep -c httpd -lt 1; then a

16、pachectl restart; fi 在windows 平臺下以服務(wù)方式啟動的Aapche遇到意外退出后可以由服務(wù)管理器自動自動，Unix平臺下需要借助watchdog腳本來實現(xiàn)自動啟動功能， watchdog程序?qū)ｉT用來監(jiān)視其他程序的運行狀態(tài)，發(fā)現(xiàn)被監(jiān)視的程序退出或停止后可以重新將他們啟動。例子中簡單的linux腳本將監(jiān)視系統(tǒng)的進程表，如果網(wǎng)站服務(wù)器httpd進程消失，則負責(zé)將它重新啟動，使用該腳本的條件有2個，首先保證該腳本文件具備可執(zhí)行權(quán)限，第二必須將該文件設(shè)置到 cron文件中，使之可以在預(yù)定的時間間隔內(nèi)運行，如果使用Solaris系統(tǒng)，需要將例子中的ps -waux改成ps -e

17、f。用戶可以訪問 HYPERLINK /docs/general/control/control.html /docs/general/control/control.html網(wǎng)頁發(fā)現(xiàn)更多高級的watchdog類腳本工具，大多數(shù)linux發(fā)行版自帶一些用于Apache的腳本工具。日志文件的分割和合并 如果用戶的網(wǎng)站環(huán)境是用服務(wù)器集群來搭建的，通常需要將所有服務(wù)器上的日志做合并成單個文件后，才可以進行分析和處理。相似的道理，如果在單臺服務(wù)器上運行多個虛擬網(wǎng)站，則需要將單個日志文件分割成多個部分供不同的虛擬網(wǎng)站用戶去分析。在Apache服務(wù)器源碼的support/文件夾下可以找到相應(yīng)的腳本工具sp

18、lit-logfile等。在.au/logtools/網(wǎng)頁可以找到一些其他的日志工具。比如vlogger工具就可以替代cronologs來對單個服務(wù)器上的虛擬網(wǎng)站日志進行分別處理，該工具在 HYPERLINK /vlogger/ /vlogger/下載。為虛擬網(wǎng)站保存獨立的日志文件 ServerName CustomLog logs/_log combined ErrorLog logs/_log . 使用CustomLog標(biāo)志段在Apache配置文件的區(qū)塊內(nèi)實現(xiàn)虛擬網(wǎng)站日志文件的獨立處理。LogFormat %v %h %l %u %t %r %s %b common_virtualhostCustomLog logs/access_log common_virtualhost 在Apache全局配置中配置方法，其中的v%負責(zé)把提供服務(wù)的虛擬網(wǎng)站記錄下來，對于配置了很多虛擬網(wǎng)站的單臺服務(wù)器來說，這種配置不錯。如果不想記錄虛擬服務(wù)器的日志只需要在配置文件中加入CustomLog /dev/null就可以了。日志文件中常見的條目缺少favicon.ico文件，該文件可在瀏覽器的標(biāo)題欄顯示網(wǎng)站的個性圖案；缺少robots.txt文件，利于站點復(fù)制工具和搜索引擎使用；覆寫httpd.pid文件，網(wǎng)站服務(wù)器不正常退出后遺留的PID記錄文件；陌生的長記錄條，SE