基于Ｗｅｂ日志挖掘的頁面興趣度量方法研究

1、 基于日志挖掘的頁面興趣度量方基于日志挖掘的頁面興趣度量方法研究法研究 崔江彥馬靜摘要:本文主要針對(duì)電子商務(wù)網(wǎng)站的 web 日志進(jìn)行分析和挖掘,提出一種更好的度量頁面興趣度的方法,并在此基礎(chǔ)上對(duì)頁面實(shí)現(xiàn)模糊聚類,找到用戶感興趣的頁面類,為用戶提供個(gè)性化服務(wù)同時(shí)也為電子商務(wù)網(wǎng)站結(jié)構(gòu)設(shè)計(jì)提供依據(jù)。關(guān)鍵詞:電子商務(wù) 頁面興趣度 模糊聚類一、引言互聯(lián)網(wǎng)的發(fā)展催生了全新的商業(yè)模式電子商務(wù),電子商務(wù)改變了廠商和顧客的關(guān)系,也使得經(jīng)濟(jì)模式發(fā)生了變化,由于電子商務(wù)企業(yè)的競(jìng)爭(zhēng)往往只在鼠標(biāo)的一點(diǎn)之間,因此如何獲取并維護(hù)更多的網(wǎng)絡(luò)用戶成為了各電子商務(wù)企業(yè)之間競(jìng)爭(zhēng)的焦點(diǎn)。通過對(duì)電子商務(wù)網(wǎng)站的 web 日志進(jìn)行挖掘可以

2、找到用戶感興趣的內(nèi)容從而為用戶提供個(gè)性化服務(wù),同時(shí)根據(jù)對(duì)網(wǎng)站商品關(guān)聯(lián)分析找出潛在的有關(guān)聯(lián)的商品,從而進(jìn)行“捆綁式”銷售,還可以根據(jù)頁面之間的關(guān)聯(lián)關(guān)系為網(wǎng)站的結(jié)構(gòu)調(diào)整提供依據(jù)。二、web 日志挖掘web 日志指的是用戶在訪問網(wǎng)站時(shí)在 web 服務(wù)在里留下的“腳印”,里面包含了用戶的大量信息,如用戶的 ip 地址、用戶訪問的頁面、瀏覽的時(shí)間等。典型的web 服務(wù)器日志包含以下信息:date:用戶請(qǐng)求頁面的日期time:用戶請(qǐng)求頁面的時(shí)間client ip address:通過身份驗(yàn)證的訪問服務(wù)器的用戶名不包括匿名server ip address:服務(wù)器端的 ip 地址method:用戶執(zhí)行的方法

3、,如 get 等uri stem:被訪問的資源bytes sent:接受數(shù)據(jù)的字節(jié)數(shù)bytes received:接受數(shù)據(jù)的字節(jié)數(shù)time taken:瀏覽消耗的時(shí)間(以毫秒為單位)referral page:用戶瀏覽的前一個(gè)網(wǎng)址,當(dāng)前網(wǎng)址是從該網(wǎng)址鏈接過來的下面的某電子商務(wù)網(wǎng)站的 web 日志片段:2008-10-08 00:00:14 6 97 80 get http/1.1 200 0 3328 58974 250 0 /buy/results.asp akeyword=禮品工藝品&bodytype;=buy37&nowpage

4、;=6 -2008-10-08 00:00:14 37 97 80 get http/1.1 200 0 4140 76867 358 0 /userpic/tianlantian/200773112204011569.jpg - -2008-10-08 00:00:15 6 97 80 get http/1.1 200 0 1781 58424 248 0 /buy/results.asp akeyword=個(gè)人保養(yǎng)&bodytype;=buy5&nowpage;=11 -2008-10-0

5、8 00:00:15 6 97 80 get http/1.1 200 0 1812 61659 244 0 /buy/results.asp akeyword=肩章&bodytype;=buy24&nowpage;=3 -我們看到原始的 web 日志中包含了很多我們不需要的信息,預(yù)處理過的 web 日志才能進(jìn)行下一步的數(shù)據(jù)挖掘。三、頁面興趣度量的新方法夏敏捷和張錦歌1構(gòu)造了 userid-url 關(guān)聯(lián)矩陣其中矩陣元素為是 i 用戶在一段時(shí)間內(nèi)訪問第 j 個(gè)頁面(url)的次數(shù);并且認(rèn)為行向量即反映了用戶類型,也勾勒出用戶的個(gè)性化訪問

6、。而列向量則代表站點(diǎn)的結(jié)構(gòu),也蘊(yùn)含有用戶共同的訪問模式。褚紅丹、焦素云和馬威2定義了一個(gè)四元組表示用戶對(duì)頁面 i 的興趣,表示瀏覽該頁面的次數(shù),則興趣度定義為:i 值(平均閱讀時(shí)間)越大表示用戶對(duì)該頁面單位信息量閱讀時(shí)間越長(zhǎng),則用戶對(duì)該頁面越感興趣,相反,值越小表示當(dāng)訪問到該頁時(shí),用戶平均閱讀的時(shí)間短,則對(duì)此頁面不感興趣。李珊、袁方3做了頁面改進(jìn)興趣度的計(jì)算,用戶興趣度:用戶 i 在第 j 個(gè)頁面上花費(fèi)的時(shí)間;:用戶 i 瀏覽第 j 個(gè)頁面的頻度;:用戶 i 瀏覽第 j 個(gè)頁面發(fā)送的字節(jié)數(shù)。在頁面興趣度的度量最常用的方法就是用用點(diǎn)擊次數(shù)反映用戶的興趣,這種方法簡(jiǎn)單且易于實(shí)現(xiàn),同時(shí) web 日志

7、中還有其他因素也能反映用戶的興趣,所以應(yīng)該綜合考慮各種影響因素。后兩篇論文中都提到了三種因素可以反映頁面興趣,下面我們對(duì)這些因素進(jìn)行分析。通過查詢電子商務(wù)網(wǎng)站的日志分析,找出用戶對(duì)頁面的訪問時(shí)間、服務(wù)器發(fā)送字節(jié)數(shù)和接收字節(jié)數(shù)的數(shù)據(jù)記錄,因?yàn)閺目側(cè)〕?75169 條數(shù)據(jù)用 spss 軟件做數(shù)據(jù)相關(guān)性分析,通過 pearson correlation 分析得出如下分析結(jié)果計(jì)算結(jié)果現(xiàn)實(shí)用戶在網(wǎng)頁上的瀏覽時(shí)間和服務(wù)器發(fā)送字節(jié)數(shù)的 pearson 相關(guān)系數(shù)為 0.225,而和服務(wù)器接收字節(jié)數(shù)的 pearson 相關(guān)系數(shù)為-0.041。通過對(duì)比 pearson 相關(guān)系數(shù)對(duì)比,我們發(fā)現(xiàn)瀏覽時(shí)間和服務(wù)器發(fā)送字

8、節(jié)數(shù)以及瀏覽時(shí)間服務(wù)器接收字節(jié)數(shù)都是微弱相關(guān),所以我們?cè)诳紤]用戶興趣度量因素的時(shí)候可以不再考慮發(fā)送字節(jié)數(shù)和接收字節(jié)數(shù)的對(duì)頁面興趣的影響。因此定義頁面興趣矩陣:因?yàn)槭怯脩?i 瀏覽頁面 j 的總時(shí)間,為用戶 i 點(diǎn)擊頁面 j 的次數(shù), 表示用戶 i 瀏覽頁面 j 的平均時(shí)間,這樣計(jì)算的用戶興趣度更能反映用戶對(duì)頁面的興趣。四、基于頁面興趣度的網(wǎng)頁聚類頁面進(jìn)行聚類分析,可以找到對(duì)于所有用戶訪問情況相同或相似的網(wǎng)頁,把這樣的頁面放在一起可以找到不同頁面之間的聯(lián)系進(jìn)而調(diào)整整體網(wǎng)站拓?fù)浣Y(jié)構(gòu),迎合用戶的訪問偏好。(1)將數(shù)據(jù)集轉(zhuǎn)化成頁面興趣矩陣,如下所示:(2)對(duì)于頁面興趣矩陣通過模糊距離公式 計(jì)算頁面與頁

9、面的之間的相似程度,得到一個(gè)對(duì)角線為 1 的對(duì)稱方陣 我們只考慮它的下三角部分(不包括 1),設(shè)置閾值,我們令為如果模糊相似矩陣比大那么就將頁面 i 和頁面 j 聚在一起。隨著互聯(lián)網(wǎng)的發(fā)展,web 服務(wù)的個(gè)性化趨勢(shì)已成必然。本文提出了一個(gè)新的頁面興趣方法,雖然日志數(shù)據(jù)能體現(xiàn)用戶的真實(shí)信息,但所包含的信息有限。在以后的研究中應(yīng)考慮利用用戶的背景信息,這樣挖掘出來的用戶興趣模型會(huì)更準(zhǔn)確。參考文獻(xiàn):1夏敏捷、張錦歌,web 日志挖掘中應(yīng)用聚類改進(jìn)網(wǎng)站結(jié)構(gòu)的研究j.中原工學(xué)院學(xué)報(bào),2005,16(6):39-41.2褚紅丹、焦素云、馬威,用戶訪問興趣路徑挖掘方法j.計(jì)算機(jī)工程與應(yīng)用, 2008,44(35):135-137.3李珊、袁方,基于 web 日志挖掘的頁面興趣度方法的改進(jìn)j.計(jì)算機(jī)時(shí)代,2007,3:29-31.4李桂英、李吉桂,基于模糊聚類的 web 日志挖掘j.計(jì)算機(jī)科學(xué),2004,31(12):130-131.5吳福保、李奇、宋文忠,模糊聚類分析的傳遞方法j.東南大學(xué)學(xué)報(bào).199