基于Ｗｅｂ日志挖掘的頁面興趣度量方法研究

1、 基于日志挖掘的頁面興趣度量方基于日志挖掘的頁面興趣度量方法研究法研究 崔江彥馬靜摘要:本文主要針對電子商務網(wǎng)站的 web 日志進行分析和挖掘,提出一種更好的度量頁面興趣度的方法,并在此基礎上對頁面實現(xiàn)模糊聚類,找到用戶感興趣的頁面類,為用戶提供個性化服務同時也為電子商務網(wǎng)站結構設計提供依據(jù)。關鍵詞:電子商務 頁面興趣度 模糊聚類一、引言互聯(lián)網(wǎng)的發(fā)展催生了全新的商業(yè)模式電子商務,電子商務改變了廠商和顧客的關系,也使得經濟模式發(fā)生了變化,由于電子商務企業(yè)的競爭往往只在鼠標的一點之間,因此如何獲取并維護更多的網(wǎng)絡用戶成為了各電子商務企業(yè)之間競爭的焦點。通過對電子商務網(wǎng)站的 web 日志進行挖掘可以

2、找到用戶感興趣的內容從而為用戶提供個性化服務,同時根據(jù)對網(wǎng)站商品關聯(lián)分析找出潛在的有關聯(lián)的商品,從而進行“捆綁式”銷售,還可以根據(jù)頁面之間的關聯(lián)關系為網(wǎng)站的結構調整提供依據(jù)。二、web 日志挖掘web 日志指的是用戶在訪問網(wǎng)站時在 web 服務在里留下的“腳印”,里面包含了用戶的大量信息,如用戶的 ip 地址、用戶訪問的頁面、瀏覽的時間等。典型的web 服務器日志包含以下信息:date:用戶請求頁面的日期time:用戶請求頁面的時間client ip address:通過身份驗證的訪問服務器的用戶名不包括匿名server ip address:服務器端的 ip 地址method:用戶執(zhí)行的方法

3、,如 get 等uri stem:被訪問的資源bytes sent:接受數(shù)據(jù)的字節(jié)數(shù)bytes received:接受數(shù)據(jù)的字節(jié)數(shù)time taken:瀏覽消耗的時間(以毫秒為單位)referral page:用戶瀏覽的前一個網(wǎng)址,當前網(wǎng)址是從該網(wǎng)址鏈接過來的下面的某電子商務網(wǎng)站的 web 日志片段:2008-10-08 00:00:14 6 97 80 get http/1.1 200 0 3328 58974 250 0 /buy/results.asp akeyword=禮品工藝品&bodytype;=buy37&nowpage

4、;=6 -2008-10-08 00:00:14 37 97 80 get http/1.1 200 0 4140 76867 358 0 /userpic/tianlantian/200773112204011569.jpg - -2008-10-08 00:00:15 6 97 80 get http/1.1 200 0 1781 58424 248 0 /buy/results.asp akeyword=個人保養(yǎng)&bodytype;=buy5&nowpage;=11 -2008-10-0

5、8 00:00:15 6 97 80 get http/1.1 200 0 1812 61659 244 0 /buy/results.asp akeyword=肩章&bodytype;=buy24&nowpage;=3 -我們看到原始的 web 日志中包含了很多我們不需要的信息,預處理過的 web 日志才能進行下一步的數(shù)據(jù)挖掘。三、頁面興趣度量的新方法夏敏捷和張錦歌1構造了 userid-url 關聯(lián)矩陣其中矩陣元素為是 i 用戶在一段時間內訪問第 j 個頁面(url)的次數(shù);并且認為行向量即反映了用戶類型,也勾勒出用戶的個性化訪問

6、。而列向量則代表站點的結構,也蘊含有用戶共同的訪問模式。褚紅丹、焦素云和馬威2定義了一個四元組表示用戶對頁面 i 的興趣,表示瀏覽該頁面的次數(shù),則興趣度定義為:i 值(平均閱讀時間)越大表示用戶對該頁面單位信息量閱讀時間越長,則用戶對該頁面越感興趣,相反,值越小表示當訪問到該頁時,用戶平均閱讀的時間短,則對此頁面不感興趣。李珊、袁方3做了頁面改進興趣度的計算,用戶興趣度:用戶 i 在第 j 個頁面上花費的時間;:用戶 i 瀏覽第 j 個頁面的頻度;:用戶 i 瀏覽第 j 個頁面發(fā)送的字節(jié)數(shù)。在頁面興趣度的度量最常用的方法就是用用點擊次數(shù)反映用戶的興趣,這種方法簡單且易于實現(xiàn),同時 web 日志

7、中還有其他因素也能反映用戶的興趣,所以應該綜合考慮各種影響因素。后兩篇論文中都提到了三種因素可以反映頁面興趣,下面我們對這些因素進行分析。通過查詢電子商務網(wǎng)站的日志分析,找出用戶對頁面的訪問時間、服務器發(fā)送字節(jié)數(shù)和接收字節(jié)數(shù)的數(shù)據(jù)記錄,因為從總取出 75169 條數(shù)據(jù)用 spss 軟件做數(shù)據(jù)相關性分析,通過 pearson correlation 分析得出如下分析結果計算結果現(xiàn)實用戶在網(wǎng)頁上的瀏覽時間和服務器發(fā)送字節(jié)數(shù)的 pearson 相關系數(shù)為 0.225,而和服務器接收字節(jié)數(shù)的 pearson 相關系數(shù)為-0.041。通過對比 pearson 相關系數(shù)對比,我們發(fā)現(xiàn)瀏覽時間和服務器發(fā)送字

8、節(jié)數(shù)以及瀏覽時間服務器接收字節(jié)數(shù)都是微弱相關,所以我們在考慮用戶興趣度量因素的時候可以不再考慮發(fā)送字節(jié)數(shù)和接收字節(jié)數(shù)的對頁面興趣的影響。因此定義頁面興趣矩陣:因為是用戶 i 瀏覽頁面 j 的總時間,為用戶 i 點擊頁面 j 的次數(shù), 表示用戶 i 瀏覽頁面 j 的平均時間,這樣計算的用戶興趣度更能反映用戶對頁面的興趣。四、基于頁面興趣度的網(wǎng)頁聚類頁面進行聚類分析,可以找到對于所有用戶訪問情況相同或相似的網(wǎng)頁,把這樣的頁面放在一起可以找到不同頁面之間的聯(lián)系進而調整整體網(wǎng)站拓撲結構,迎合用戶的訪問偏好。(1)將數(shù)據(jù)集轉化成頁面興趣矩陣,如下所示:(2)對于頁面興趣矩陣通過模糊距離公式 計算頁面與頁

9、面的之間的相似程度,得到一個對角線為 1 的對稱方陣 我們只考慮它的下三角部分(不包括 1),設置閾值,我們令為如果模糊相似矩陣比大那么就將頁面 i 和頁面 j 聚在一起。隨著互聯(lián)網(wǎng)的發(fā)展,web 服務的個性化趨勢已成必然。本文提出了一個新的頁面興趣方法,雖然日志數(shù)據(jù)能體現(xiàn)用戶的真實信息,但所包含的信息有限。在以后的研究中應考慮利用用戶的背景信息,這樣挖掘出來的用戶興趣模型會更準確。參考文獻:1夏敏捷、張錦歌,web 日志挖掘中應用聚類改進網(wǎng)站結構的研究j.中原工學院學報,2005,16(6):39-41.2褚紅丹、焦素云、馬威,用戶訪問興趣路徑挖掘方法j.計算機工程與應用, 2008,44(35):135-137.3李珊、袁方,基于 web 日志挖掘的頁面興趣度方法的改進j.計算機時代,2007,3:29-31.4李桂英、李吉桂,基于模糊聚類的 web 日志挖掘j.計算機科學,2004,31(12):130-131.5吳福保、李奇、宋文忠,模糊聚類分析的傳遞方法j.東南大學學報.199