基于Ｗｅｂ日志挖掘的頁(yè)面興趣度量方法研究

1、 基于日志挖掘的頁(yè)面興趣度量方基于日志挖掘的頁(yè)面興趣度量方法研究法研究 崔江彥馬靜摘要:本文主要針對(duì)電子商務(wù)網(wǎng)站的 web 日志進(jìn)行分析和挖掘,提出一種更好的度量頁(yè)面興趣度的方法,并在此基礎(chǔ)上對(duì)頁(yè)面實(shí)現(xiàn)模糊聚類,找到用戶感興趣的頁(yè)面類,為用戶提供個(gè)性化服務(wù)同時(shí)也為電子商務(wù)網(wǎng)站結(jié)構(gòu)設(shè)計(jì)提供依據(jù)。關(guān)鍵詞:電子商務(wù) 頁(yè)面興趣度 模糊聚類一、引言互聯(lián)網(wǎng)的發(fā)展催生了全新的商業(yè)模式電子商務(wù),電子商務(wù)改變了廠商和顧客的關(guān)系,也使得經(jīng)濟(jì)模式發(fā)生了變化,由于電子商務(wù)企業(yè)的競(jìng)爭(zhēng)往往只在鼠標(biāo)的一點(diǎn)之間,因此如何獲取并維護(hù)更多的網(wǎng)絡(luò)用戶成為了各電子商務(wù)企業(yè)之間競(jìng)爭(zhēng)的焦點(diǎn)。通過對(duì)電子商務(wù)網(wǎng)站的 web 日志進(jìn)行挖掘可以

2、找到用戶感興趣的內(nèi)容從而為用戶提供個(gè)性化服務(wù),同時(shí)根據(jù)對(duì)網(wǎng)站商品關(guān)聯(lián)分析找出潛在的有關(guān)聯(lián)的商品,從而進(jìn)行“捆綁式”銷售,還可以根據(jù)頁(yè)面之間的關(guān)聯(lián)關(guān)系為網(wǎng)站的結(jié)構(gòu)調(diào)整提供依據(jù)。二、web 日志挖掘web 日志指的是用戶在訪問網(wǎng)站時(shí)在 web 服務(wù)在里留下的“腳印”,里面包含了用戶的大量信息,如用戶的 ip 地址、用戶訪問的頁(yè)面、瀏覽的時(shí)間等。典型的web 服務(wù)器日志包含以下信息:date:用戶請(qǐng)求頁(yè)面的日期time:用戶請(qǐng)求頁(yè)面的時(shí)間client ip address:通過身份驗(yàn)證的訪問服務(wù)器的用戶名不包括匿名server ip address:服務(wù)器端的 ip 地址method:用戶執(zhí)行的方法

3、,如 get 等uri stem:被訪問的資源bytes sent:接受數(shù)據(jù)的字節(jié)數(shù)bytes received:接受數(shù)據(jù)的字節(jié)數(shù)time taken:瀏覽消耗的時(shí)間(以毫秒為單位)referral page:用戶瀏覽的前一個(gè)網(wǎng)址,當(dāng)前網(wǎng)址是從該網(wǎng)址鏈接過來的下面的某電子商務(wù)網(wǎng)站的 web 日志片段:2008-10-08 00:00:14 6 97 80 get http/1.1 200 0 3328 58974 250 0 /buy/results.asp akeyword=禮品工藝品&bodytype;=buy37&nowpage

4、;=6 -2008-10-08 00:00:14 37 97 80 get http/1.1 200 0 4140 76867 358 0 /userpic/tianlantian/200773112204011569.jpg - -2008-10-08 00:00:15 6 97 80 get http/1.1 200 0 1781 58424 248 0 /buy/results.asp akeyword=個(gè)人保養(yǎng)&bodytype;=buy5&nowpage;=11 -2008-10-0

5、8 00:00:15 6 97 80 get http/1.1 200 0 1812 61659 244 0 /buy/results.asp akeyword=肩章&bodytype;=buy24&nowpage;=3 -我們看到原始的 web 日志中包含了很多我們不需要的信息,預(yù)處理過的 web 日志才能進(jìn)行下一步的數(shù)據(jù)挖掘。三、頁(yè)面興趣度量的新方法夏敏捷和張錦歌1構(gòu)造了 userid-url 關(guān)聯(lián)矩陣其中矩陣元素為是 i 用戶在一段時(shí)間內(nèi)訪問第 j 個(gè)頁(yè)面(url)的次數(shù);并且認(rèn)為行向量即反映了用戶類型,也勾勒出用戶的個(gè)性化訪問

6、。而列向量則代表站點(diǎn)的結(jié)構(gòu),也蘊(yùn)含有用戶共同的訪問模式。褚紅丹、焦素云和馬威2定義了一個(gè)四元組表示用戶對(duì)頁(yè)面 i 的興趣,表示瀏覽該頁(yè)面的次數(shù),則興趣度定義為:i 值(平均閱讀時(shí)間)越大表示用戶對(duì)該頁(yè)面單位信息量閱讀時(shí)間越長(zhǎng),則用戶對(duì)該頁(yè)面越感興趣,相反,值越小表示當(dāng)訪問到該頁(yè)時(shí),用戶平均閱讀的時(shí)間短,則對(duì)此頁(yè)面不感興趣。李珊、袁方3做了頁(yè)面改進(jìn)興趣度的計(jì)算,用戶興趣度:用戶 i 在第 j 個(gè)頁(yè)面上花費(fèi)的時(shí)間;:用戶 i 瀏覽第 j 個(gè)頁(yè)面的頻度;:用戶 i 瀏覽第 j 個(gè)頁(yè)面發(fā)送的字節(jié)數(shù)。在頁(yè)面興趣度的度量最常用的方法就是用用點(diǎn)擊次數(shù)反映用戶的興趣,這種方法簡(jiǎn)單且易于實(shí)現(xiàn),同時(shí) web 日志

7、中還有其他因素也能反映用戶的興趣,所以應(yīng)該綜合考慮各種影響因素。后兩篇論文中都提到了三種因素可以反映頁(yè)面興趣,下面我們對(duì)這些因素進(jìn)行分析。通過查詢電子商務(wù)網(wǎng)站的日志分析,找出用戶對(duì)頁(yè)面的訪問時(shí)間、服務(wù)器發(fā)送字節(jié)數(shù)和接收字節(jié)數(shù)的數(shù)據(jù)記錄,因?yàn)閺目側(cè)〕?75169 條數(shù)據(jù)用 spss 軟件做數(shù)據(jù)相關(guān)性分析,通過 pearson correlation 分析得出如下分析結(jié)果計(jì)算結(jié)果現(xiàn)實(shí)用戶在網(wǎng)頁(yè)上的瀏覽時(shí)間和服務(wù)器發(fā)送字節(jié)數(shù)的 pearson 相關(guān)系數(shù)為 0.225,而和服務(wù)器接收字節(jié)數(shù)的 pearson 相關(guān)系數(shù)為-0.041。通過對(duì)比 pearson 相關(guān)系數(shù)對(duì)比,我們發(fā)現(xiàn)瀏覽時(shí)間和服務(wù)器發(fā)送字

8、節(jié)數(shù)以及瀏覽時(shí)間服務(wù)器接收字節(jié)數(shù)都是微弱相關(guān),所以我們?cè)诳紤]用戶興趣度量因素的時(shí)候可以不再考慮發(fā)送字節(jié)數(shù)和接收字節(jié)數(shù)的對(duì)頁(yè)面興趣的影響。因此定義頁(yè)面興趣矩陣:因?yàn)槭怯脩?i 瀏覽頁(yè)面 j 的總時(shí)間,為用戶 i 點(diǎn)擊頁(yè)面 j 的次數(shù), 表示用戶 i 瀏覽頁(yè)面 j 的平均時(shí)間,這樣計(jì)算的用戶興趣度更能反映用戶對(duì)頁(yè)面的興趣。四、基于頁(yè)面興趣度的網(wǎng)頁(yè)聚類頁(yè)面進(jìn)行聚類分析,可以找到對(duì)于所有用戶訪問情況相同或相似的網(wǎng)頁(yè),把這樣的頁(yè)面放在一起可以找到不同頁(yè)面之間的聯(lián)系進(jìn)而調(diào)整整體網(wǎng)站拓?fù)浣Y(jié)構(gòu),迎合用戶的訪問偏好。(1)將數(shù)據(jù)集轉(zhuǎn)化成頁(yè)面興趣矩陣,如下所示:(2)對(duì)于頁(yè)面興趣矩陣通過模糊距離公式 計(jì)算頁(yè)面與頁(yè)

9、面的之間的相似程度,得到一個(gè)對(duì)角線為 1 的對(duì)稱方陣 我們只考慮它的下三角部分(不包括 1),設(shè)置閾值,我們令為如果模糊相似矩陣比大那么就將頁(yè)面 i 和頁(yè)面 j 聚在一起。隨著互聯(lián)網(wǎng)的發(fā)展,web 服務(wù)的個(gè)性化趨勢(shì)已成必然。本文提出了一個(gè)新的頁(yè)面興趣方法,雖然日志數(shù)據(jù)能體現(xiàn)用戶的真實(shí)信息,但所包含的信息有限。在以后的研究中應(yīng)考慮利用用戶的背景信息,這樣挖掘出來的用戶興趣模型會(huì)更準(zhǔn)確。參考文獻(xiàn):1夏敏捷、張錦歌,web 日志挖掘中應(yīng)用聚類改進(jìn)網(wǎng)站結(jié)構(gòu)的研究j.中原工學(xué)院學(xué)報(bào),2005,16(6):39-41.2褚紅丹、焦素云、馬威,用戶訪問興趣路徑挖掘方法j.計(jì)算機(jī)工程與應(yīng)用, 2008,44(35):135-137.3李珊、袁方,基于 web 日志挖掘的頁(yè)面興趣度方法的改進(jìn)j.計(jì)算機(jī)時(shí)代,2007,3:29-31.4李桂英、李吉桂,基于模糊聚類的 web 日志挖掘j.計(jì)算機(jī)科學(xué),2004,31(12):130-131.5吳福保、李奇、宋文忠,模糊聚類分析的傳遞方法j.東南大學(xué)學(xué)報(bào).199