網(wǎng)站訪問量統(tǒng)計(jì)分析工具

網(wǎng)站訪問量統(tǒng)計(jì)分析工具

安裝與部署查新征中國科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心2004.8.25北京科學(xué)數(shù)據(jù)庫技術(shù)培訓(xùn).提綱WEBLOG的背景與目標(biāo)WEBLOG的根本術(shù)語WEBLOG的結(jié)構(gòu)與處理流程WEBLOG的功能WEBLOG的安裝部署演示.背景與目標(biāo)訪問量的多少是衡量SDB站點(diǎn)建設(shè)好壞的一個(gè)重要指標(biāo)我們關(guān)心的訪問量指標(biāo)包括Requests,Pageviews和Visitors其他指標(biāo)還有：訪問代理類型報(bào)告，錯(cuò)誤或失效訪問統(tǒng)計(jì)報(bào)告等WEB效勞器的訪問日志文件提供了有關(guān)訪問量指標(biāo)的數(shù)據(jù)目標(biāo)：客觀、全面、真實(shí)反映SDB網(wǎng)站的訪問情況.根本術(shù)語訪問日志文件：是由web效勞器產(chǎn)生的,記錄用戶訪問該效勞器相關(guān)信息的文件。 WEB日志文件記錄了來訪者的ip地址、訪問時(shí)間、訪問方法、訪問文件的大小和地址等。但這些數(shù)據(jù)是零散的。APACHE日志:25--[10/May/2001:23:59:54+0800]"GET/a.htmHTTP/1.1"2004083IIS的日志：08:34:0606GET/test/count/image/0.gif304.根本術(shù)語文件請(qǐng)求數(shù)(Requests):

為了獲得效勞器上的一個(gè)資源〔可以是文本、圖像或任何可以被包含在頁面內(nèi)的元素〕，瀏覽器和它連接的效勞器之間進(jìn)行的一次單一連接。頁面瀏覽數(shù)(pageview):

一次頁面閱覽就是一次頁面的下載，訪問者成功地閱覽到頁面應(yīng)該在他的瀏覽器上完整地看到該頁面。訪問人數(shù)〔visitor〕：

參考CNNIC用戶會(huì)話數(shù)的定義，具有同一IP地址的訪問者在20分鐘內(nèi)與網(wǎng)站有交互活動(dòng)那么被認(rèn)為是同一次進(jìn)入網(wǎng)站，不記錄新的用戶訪問數(shù)；欄目/頻道：

指網(wǎng)站的某一特定目錄，通常目錄層次不超過2級(jí)。欄目/頻道可由用戶配置信息〔文件或數(shù)據(jù)庫〕指定。.系統(tǒng)結(jié)構(gòu).處理流程歸一處理，入庫預(yù)處理統(tǒng)計(jì)分析統(tǒng)計(jì)結(jié)果，入庫數(shù)據(jù)庫日志文件屏蔽日志文件多樣性屏蔽日志格式多樣性.系統(tǒng)功能.安裝準(zhǔn)備安裝前的準(zhǔn)備：J2sdk的安裝JAVA環(huán)境MYSQL的安裝數(shù)據(jù)庫環(huán)境SDB應(yīng)用效勞器的安裝WEB應(yīng)用環(huán)境

.安裝準(zhǔn)備按天分割WEB效勞器訪問日志文件APACHE(LINUX)

需要按日對(duì)文件進(jìn)行切割。將日志切割運(yùn)行腳本〔安裝包附帶〕參加到cron中，設(shè)為每日0點(diǎn)30分運(yùn)行?！惨部梢允褂闷渌姆绞将@得每日日志文件〕IIS(WINDOWS)

IIS效勞器默認(rèn)按天產(chǎn)生日志文件，一般存放在“C:/WINNT/System32/logfile/站點(diǎn)名〞目錄下.安裝部署安裝WEBLOGWindows:執(zhí)行Setup.exe，安裝到WEB應(yīng)用目錄下。Linux: 將安裝包解壓到WEB應(yīng)用目錄下。系統(tǒng)的組成：系統(tǒng)包括三個(gè)模塊：WEB化配置模塊：weblog/logconfig統(tǒng)計(jì)分析模塊

：weblog/loganalyse日志查看模塊：weblog/logreport

部署：默認(rèn)情況下第一次登陸weblog系統(tǒng)要先進(jìn)行系統(tǒng)的配置，主要包括如下幾個(gè)方面：

.安裝部署設(shè)置存放日志統(tǒng)計(jì)結(jié)果的MYSQL數(shù)據(jù)庫的屬性〔在此之前請(qǐng)先安裝數(shù)據(jù)庫〕數(shù)據(jù)庫機(jī)器的ip地址數(shù)據(jù)庫名用戶名用戶密碼.安裝部署設(shè)置待統(tǒng)計(jì)的站點(diǎn)列表待統(tǒng)計(jì)的站點(diǎn)列表(站點(diǎn)之間以“,〞分隔)設(shè)置每個(gè)待統(tǒng)計(jì)站點(diǎn)的參數(shù)頻道〔欄目〕或數(shù)據(jù)庫配置文件路徑站點(diǎn)日志文件路徑(目錄名)日志文件的格式設(shè)置頻道〔欄目〕或數(shù)據(jù)庫配置路徑名〔或特征名〕頻道欄目名稱中間以空格格開,每一行一條記錄。例如：“/history歷史館〞

..日志文件格式APACHE25--[10/May/2001:23:59:54+0800]"GET/a.htmHTTP/1.1"2004083訪問IP訪問時(shí)間“請(qǐng)求方式訪問資源協(xié)議〞狀態(tài)碼傳送字節(jié)數(shù)對(duì)應(yīng)日志格式：%a--%T%m%U%H%s%b}其中時(shí)間格式為{%d/%Mb/%y:%h:%m:%s}IIS2004-08-0108:34:0606GET/test/count/image/0.gif304訪問日期訪問時(shí)間訪問IP請(qǐng)求方式訪問資源狀態(tài)碼對(duì)應(yīng)日志格式為：{%d%t%a%m%U%s}#%d日期#%Mb月〔英文縮寫〕#%M月〔數(shù)字〕#%y年#%h小時(shí)#%m分鐘#%s秒%a訪問者IP%b發(fā)送字節(jié)數(shù)%B接收字節(jié)數(shù)%c訪問者客戶代理%d訪問日期,example:2001-5-27or5/27/2001%t訪問時(shí)間,example:12:23:34%T訪問時(shí)間，其格式由后面的TIMEFORMAT指定%p處理時(shí)間%l訪問者名%m請(qǐng)求方式%U所請(qǐng)求的資源〔url)%q請(qǐng)求的字符串%H請(qǐng)求使用的協(xié)議%s請(qǐng)求狀態(tài)碼.運(yùn)行配置自動(dòng)運(yùn)行Windows:

將日志統(tǒng)計(jì)分析模塊參加到WINDOWS的“任務(wù)方案〞中以便后臺(tái)定期自動(dòng)運(yùn)行選擇程序/附件/系統(tǒng)工具/任務(wù)方案，翻開任務(wù)方案窗口添加任務(wù)方案。按照向?qū)Р襟E添加各項(xiàng)內(nèi)容在“運(yùn)行的程序〞步驟中，按瀏覽，選擇weblog.bat〔$/weblog/loganalyse/weblog.bat〕選擇“每天〞執(zhí)行該任務(wù)起始時(shí)間選擇每天的“1:00〞輸入本機(jī)超級(jí)用戶的用戶名和密碼按確定完成。任務(wù)窗口中將增加該項(xiàng)內(nèi)容右鍵選擇該任務(wù)，可以修改該任務(wù)的屬性Linux

在cron中增加運(yùn)行腳本