淺析ＷＥＢ日志數(shù)據(jù)挖掘技術(shù)

淺析ＷＥＢ日志數(shù)據(jù)挖掘技術(shù)

摘要：互聯(lián)網(wǎng)發(fā)展到今天已經(jīng)成為了人們生活中不可缺少的一部分了，而互聯(lián)網(wǎng)從某種意義上講也可以看作是一個龐大的數(shù)據(jù)庫，并且涉及到各個領(lǐng)域。那么在這個龐大的數(shù)據(jù)庫中，教據(jù)挖掘技術(shù)有什么用武之地呢?本文通過時互聯(lián)網(wǎng)上數(shù)據(jù)挖掘的簡單論述，說明現(xiàn)在互聯(lián)網(wǎng)上數(shù)據(jù)挖掘的一些趨勢和相關(guān)技術(shù)，并且著重分析一下其中一種互聯(lián)網(wǎng)上數(shù)據(jù)挖掘的應用方向相關(guān)的技術(shù)一一Web使用記錄的挖掘，

關(guān)鍵詞：web數(shù)據(jù)挖掘；Web日志；數(shù)據(jù)預處理

一、引言

目前?；ヂ?lián)網(wǎng)已經(jīng)和我們的生活密不可分，它可以說是一個巨大的、分布廣泛和全球性的信息服務中心。它涉及新聞、廣告、消息信息、金融信息、教育、政府、電子商務和許多其他信息服務。根據(jù)有關(guān)機構(gòu)統(tǒng)計，目前互聯(lián)網(wǎng)的數(shù)據(jù)以幾百兆字節(jié)來計算，而且增長速度很快，如果將這個龐大的數(shù)據(jù)庫用一般的統(tǒng)計分析來處理的話，顯然是有心無力的。自從數(shù)據(jù)挖掘技術(shù)成功地應用于傳統(tǒng)數(shù)據(jù)庫領(lǐng)域之后，人們對于數(shù)據(jù)挖掘在像互聯(lián)網(wǎng)數(shù)據(jù)這樣的一些特殊數(shù)據(jù)源的應用也寄予了厚望，并且做了許多相應的研究和發(fā)展了相應的技術(shù)。將數(shù)據(jù)挖掘技術(shù)應用到互聯(lián)網(wǎng)數(shù)據(jù)上，理論上可行，但是由于互聯(lián)網(wǎng)自身的特點，也使它面臨一些需要克服的技術(shù)難點。

可以說，在互聯(lián)網(wǎng)上應用數(shù)據(jù)挖掘技術(shù)的前途是光明的，但道路也是曲折的。目前互聯(lián)網(wǎng)上的數(shù)據(jù)挖掘技術(shù)主要根據(jù)挖掘的方向一般分為三類：Web內(nèi)容挖掘，Web結(jié)構(gòu)挖掘和Web使用記錄的挖掘。而結(jié)構(gòu)本來就蘊藏在內(nèi)容中，是內(nèi)容的骨，因此有些分類方法又分為Web內(nèi)容挖掘和Web使用記錄挖掘。這里按照后一種分類方法來看一下目前的相關(guān)技術(shù)和應用。

二、技術(shù)

(一)Web日志

目前市面上比較流行的Web服務器，例如IIs通常都保存了對Web頁面的每一次訪問的日志項。它忠實地記錄了訪闖該Web服務器的數(shù)據(jù)流的信息。日志文件記錄些什么內(nèi)容還可以根據(jù)客戶的不同需要。來調(diào)整記錄些什么信息。

(=)數(shù)據(jù)挖掘的必要性

通常Web服務器每天都會新開一個日志文件，在流量比較大的網(wǎng)站，這些Web文件的大小往往達到幾百兆甚至更多，因此要能有效地分析和處理這些日志文件，用數(shù)據(jù)挖掘技術(shù)是最好不過了。對于簡單的網(wǎng)站結(jié)構(gòu)，可能分析處理一個Web的日志文件就可以了，但是通常對于一些比較大的門戶網(wǎng)站來說，一個門戶網(wǎng)站往往是好幾十個甚至上百個web服務器組成一個集群來對外服務的，在分析這些網(wǎng)站的日志文件時候，就需要采取分布式的W