網(wǎng)站訪(fǎng)問(wèn)量統(tǒng)計(jì)分析工具-分布式站點(diǎn)監(jiān)控與管理系統(tǒng)的研究與

1、網(wǎng)站訪(fǎng)問(wèn)量統(tǒng)計(jì)分析工具安裝與部署查新征 中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心 2004.8.25 北京科學(xué)數(shù)據(jù)庫(kù)技術(shù)培訓(xùn)提綱 WEBLOG的背景與目標(biāo) WEBLOG的基本術(shù)語(yǔ) WEBLOG的結(jié)構(gòu)與處理流程 WEBLOG的功能 WEBLOG的安裝部署 演示背景與目標(biāo) 訪(fǎng)問(wèn)量的多少是衡量SDB站點(diǎn)建設(shè)好壞的一個(gè)重要指標(biāo) 我們關(guān)心的訪(fǎng)問(wèn)量指標(biāo)包括 Requests,Pageviews和Visitors 其他指標(biāo)還有：訪(fǎng)問(wèn)代理類(lèi)型報(bào)告，錯(cuò)誤或失效訪(fǎng)問(wèn)統(tǒng)計(jì)報(bào)告等 WEB服務(wù)器的訪(fǎng)問(wèn)日志文件提供了有關(guān)訪(fǎng)問(wèn)量指標(biāo)的數(shù)據(jù) 目標(biāo)： 客觀(guān)、全面、真實(shí)反映SDB網(wǎng)站的訪(fǎng)問(wèn)情況基本術(shù)語(yǔ) 訪(fǎng)問(wèn)日志文件：是由web服務(wù)器產(chǎn)生的,

2、記錄用戶(hù)訪(fǎng)問(wèn)該服務(wù)器相關(guān)信息的文件。 WEB日志文件記錄了來(lái)訪(fǎng)者的ip地址、訪(fǎng)問(wèn)時(shí)間、訪(fǎng)問(wèn)方法、訪(fǎng)問(wèn)文件的大小和地址等。但這些數(shù)據(jù)是零散的。 APACHE日志:25 - - 10/May/2001:23:59:54 +0800 GET /a.htm HTTP/1.1 200 4083 IIS的日志：08:34:06 06 GET /test/count/image/0.gif 304基本術(shù)語(yǔ) 文件請(qǐng)求數(shù)(Requests):為了獲得服務(wù)器上的一個(gè)資源（可以是文本、圖像或任何可以被包含在頁(yè)面內(nèi)的元素），瀏覽器和它連接的服務(wù)器之間進(jìn)行的一次單一連接。 頁(yè)

3、面瀏覽數(shù)(page view): 一次頁(yè)面閱覽就是一次頁(yè)面的下載，訪(fǎng)問(wèn)者成功地閱覽到頁(yè)面應(yīng)該在他的瀏覽器上完整地看到該頁(yè)面。 訪(fǎng)問(wèn)人數(shù)（visitor）：參考CNNIC用戶(hù)會(huì)話(huà)數(shù)的定義，具有同一IP地址的訪(fǎng)問(wèn)者在20分鐘內(nèi)與網(wǎng)站有交互活動(dòng)則被認(rèn)為是同一次進(jìn)入網(wǎng)站，不記錄新的用戶(hù)訪(fǎng)問(wèn)數(shù)； 欄目/頻道：指網(wǎng)站的某一特定目錄，通常目錄層次不超過(guò)2級(jí)。欄目/頻道可由用戶(hù)配置信息（文件或數(shù)據(jù)庫(kù)）指定。 系統(tǒng)結(jié)構(gòu)處理流程歸一處理，入庫(kù)預(yù)處理統(tǒng)計(jì)分析統(tǒng)計(jì)結(jié)果，入庫(kù)數(shù)據(jù)庫(kù)日志文件屏蔽日志文件多樣性屏蔽日志格式多樣性系統(tǒng)功能WEBLOGloganlyse日志統(tǒng)計(jì)入庫(kù)logconfig系統(tǒng)配置logreport統(tǒng)

4、計(jì)查看日志查詢(xún)統(tǒng)計(jì)報(bào)表按站點(diǎn)名按數(shù)據(jù)庫(kù)名按報(bào)告方式按始末時(shí)間圖形顯示網(wǎng)站總訪(fǎng)問(wèn)量月（季、年）度報(bào)告數(shù)據(jù)庫(kù)總訪(fǎng)問(wèn)量月（季、年）度報(bào)告十佳數(shù)據(jù)庫(kù)訪(fǎng)問(wèn)量動(dòng)態(tài)比較安裝準(zhǔn)備 安裝前的準(zhǔn)備： J2sdk的安裝 -JAVA環(huán)境 MYSQL的安裝-數(shù)據(jù)庫(kù)環(huán)境 SDB應(yīng)用服務(wù)器的安裝-WEB應(yīng)用環(huán)境安裝準(zhǔn)備 按天分割WEB服務(wù)器訪(fǎng)問(wèn)日志文件 APACHE(LINUX)需要按日對(duì)文件進(jìn)行切割。將日志切割運(yùn)行腳本（安裝包附帶）加入到cron中，設(shè)為每日0點(diǎn)30分運(yùn)行。（也可以使用其他的方式獲得每日日志文件） IIS(WINDOWS)IIS服務(wù)器默認(rèn)按天產(chǎn)生日志文件，一般存放在“C:/WINNT/System32/l

5、ogfile/站點(diǎn)名”目錄下安裝部署安裝WEBLOGWindows: 執(zhí)行Setup.exe，安裝到WEB應(yīng)用目錄下。Linux: 將安裝包解壓到WEB應(yīng)用目錄下。系統(tǒng)的組成：系統(tǒng)包括三個(gè)模塊：WEB化配置模塊 ：weblog/logconfig統(tǒng)計(jì)分析模塊 ：weblog/loganalyse日志查看模塊： weblog/logreport 部署：默認(rèn)情況下第一次登陸weblog系統(tǒng)要先進(jìn)行系統(tǒng)的配置，主要包括如下幾個(gè)方面： 安裝部署1. 設(shè)置存放日志統(tǒng)計(jì)結(jié)果的MYSQL數(shù)據(jù)庫(kù)的屬性（在此之前請(qǐng)先安裝數(shù)據(jù)庫(kù)）數(shù)據(jù)庫(kù)機(jī)器的ip地址數(shù)據(jù)庫(kù)名用戶(hù)名用戶(hù)密碼 安裝部署2.設(shè)置待統(tǒng)計(jì)的站點(diǎn)列表待統(tǒng)計(jì)的

6、站點(diǎn)列表(站點(diǎn)之間以 “,” 分隔)3.設(shè)置每個(gè)待統(tǒng)計(jì)站點(diǎn)的參數(shù)頻道（欄目）或數(shù)據(jù)庫(kù)配置文件路徑站點(diǎn)日志文件路徑(目錄名) 日志文件的格式4.設(shè)置頻道（欄目）或數(shù)據(jù)庫(kù)配置路徑名（或特征名） 頻道欄目名稱(chēng)中間以空格格開(kāi),每一行一條記錄。例如：“/history 歷史館” 日志文件格式APACHE25 - - 10/May/2001:23:59:54 +0800 GET /a.htm HTTP/1.1 200 4083 訪(fǎng)問(wèn)IP 訪(fǎng)問(wèn)時(shí)間 “請(qǐng)求方式 訪(fǎng)問(wèn)資源 協(xié)議” 狀態(tài)碼 傳送字節(jié)數(shù)對(duì)應(yīng)日志格式：%a - - %T %m %U %H %s %b 其中時(shí)間格式為%d/%Mb

7、/%y:%h:%m:%s IIS2004-08-01 08:34:06 06 GET /test/count/image/0.gif 304訪(fǎng)問(wèn)日期 訪(fǎng)問(wèn)時(shí)間 訪(fǎng)問(wèn)IP 請(qǐng)求方式 訪(fǎng)問(wèn)資源 狀態(tài)碼對(duì)應(yīng)日志格式為：%d %t %a %m %U %s#%d 日期#%Mb 月（英文縮寫(xiě)）#%M 月（數(shù)字）#%y 年#%h 小時(shí)#%m 分鐘#%s 秒%a 訪(fǎng)問(wèn)者IP %b 發(fā)送字節(jié)數(shù)%B 接收字節(jié)數(shù)%c 訪(fǎng)問(wèn)者客戶(hù)代理%d 訪(fǎng)問(wèn)日期, example: 2001-5-27 or 5/27/2001%t 訪(fǎng)問(wèn)時(shí)間, example: 12:23:34 %T 訪(fǎng)問(wèn)時(shí)間，其格式由后面的

8、TIMEFORMAT指定%p 處理時(shí)間%l 訪(fǎng)問(wèn)者名%m 請(qǐng)求方式%U 所請(qǐng)求的資源（url)%q 請(qǐng)求的字符串%H 請(qǐng)求使用的協(xié)議%s 請(qǐng)求狀態(tài)碼運(yùn)行配置自動(dòng)運(yùn)行Windows: 將日志統(tǒng)計(jì)分析模塊加入到WINDOWS的“任務(wù)計(jì)劃”中以便后臺(tái)定期自動(dòng)運(yùn)行1)選擇程序/附件/系統(tǒng)工具/任務(wù)計(jì)劃，打開(kāi)任務(wù)計(jì)劃窗口 2)添加任務(wù)計(jì)劃。按照向?qū)Р襟E添加各項(xiàng)內(nèi)容3)在“運(yùn)行的程序”步驟中，按瀏覽，選擇 weblog.bat（$/weblog/loganalyse/weblog.bat） 4)選擇“每天”執(zhí)行該任務(wù) 5)起始時(shí)間選擇每天的“1:00” 6)輸入本機(jī)超級(jí)用戶(hù)的用戶(hù)名和密碼 7)按確定完成。任務(wù)窗口中將增加該項(xiàng)內(nèi)容 8)右鍵選擇該任務(wù)，可以修改該任務(wù)的屬性 Linux在cro