web數(shù)據(jù)挖掘及其在電子商務(wù)中的應(yīng)用研究

1、web數(shù)據(jù)挖掘及其在電子商務(wù)中的應(yīng)用研究09990859 信息管理與信息系統(tǒng)陳紹琦摘要:電子商務(wù)是現(xiàn)代商業(yè)模式,數(shù)據(jù)挖掘是先進(jìn)的信息處理技術(shù),因此數(shù)據(jù)挖掘在電子商務(wù)中具有廣闊的應(yīng)用前景。本文主要介紹了Web數(shù)據(jù)挖掘的概念和分類,論述了電子商務(wù)中Web數(shù)據(jù)挖掘的過程和方法,最后闡述了Web數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用。關(guān)鍵詞:Web數(shù)據(jù)挖掘電子商務(wù)一、引言電子商務(wù)是利用計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)和遠(yuǎn)程通信技術(shù),實(shí)現(xiàn)整個商務(wù)(買賣過程中的電子化、數(shù)字化和網(wǎng)絡(luò)化。在全球范圍內(nèi),基于Internet的電子商務(wù)迅猛發(fā)展,促使各企業(yè)經(jīng)營者必須及時搜集大量的數(shù)據(jù),并且將這些數(shù)據(jù)轉(zhuǎn)換成有用的信息,為企業(yè)創(chuàng)造更多潛

2、在的利潤。利用Web數(shù)據(jù)挖掘技術(shù)可以有效地幫助企業(yè)分析從網(wǎng)上獲取的大量數(shù)據(jù),提取出有效信息,進(jìn)而指導(dǎo)企業(yè)調(diào)整營銷策略,給客戶提供動態(tài)的個性化的高效率服務(wù)。二、Web數(shù)據(jù)挖掘1.Web數(shù)據(jù)挖掘的概念數(shù)據(jù)挖掘是指從數(shù)據(jù)庫中的大量數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價值的信息的過程。Web數(shù)據(jù)挖掘是數(shù)據(jù)挖掘技術(shù)在Web環(huán)境下的應(yīng)用,是從Web文檔和Web活動中發(fā)現(xiàn)潛在的、有用的模式或信息。它是一項(xiàng)綜合技術(shù),涉及到Internet、人工智能、計(jì)算機(jī)語言學(xué)、信息學(xué)、統(tǒng)計(jì)學(xué)等多個領(lǐng)域。2.Web數(shù)據(jù)挖掘的類型電子商務(wù)中Web信息的多樣性決定了挖掘任務(wù)的多樣性。按照Web處理對象的不同, Web數(shù)據(jù)挖掘可

3、以分為以下三種類型:(1Web內(nèi)容挖掘(WebContentMining:可分為Web頁面內(nèi)容挖掘和搜索結(jié)果挖掘。前者指的是對Web頁面上的數(shù)據(jù)進(jìn)行挖掘。而后者指的是以某一搜索引擎為基礎(chǔ),對已搜索結(jié)果的挖掘,以得到更精確有用的信息。Web內(nèi)容挖掘常用的方法有WebOQL 和Ahoy。(2Web結(jié)構(gòu)挖掘(WebStructureMining:可分為超鏈接挖掘、內(nèi)容挖掘和URL挖掘。整個Web空間里,有用的知識不僅包含在Web頁面的內(nèi)容之中,而且包含在頁面的結(jié)構(gòu)之中。Web結(jié)構(gòu)挖掘是挖掘Web潛在的鏈接結(jié)構(gòu)模式,是對Web頁面超鏈接關(guān)系、文檔內(nèi)部結(jié)構(gòu)、文檔URL中的目錄途徑結(jié)構(gòu)的挖掘。Page2R

4、ank方法就是利用文檔間鏈接信息來查找相關(guān)的Web頁。(3Web使用挖掘(WebUsageMining:可分為一般訪問模式挖掘和個性化服務(wù)模式挖掘。它是從Web的訪問記錄中抽取感愛好的模式。WWW中的每個服務(wù)器都保留了訪問日志,記錄了關(guān)于用戶訪問和交互的信息。分析這些數(shù)據(jù)可以幫助理解用戶的行為,從而改進(jìn)站點(diǎn)的結(jié)構(gòu),或?yàn)橛脩籼峁﹤€性化的服務(wù)。3.電子商務(wù)中Web數(shù)據(jù)挖掘的數(shù)據(jù)對象(1服務(wù)器日志數(shù)據(jù)?？蛻粼L問站點(diǎn)時會在Web服務(wù)器上留下相應(yīng)的日志數(shù)據(jù),這些日志數(shù)據(jù)通常以文本文件的形式存儲在服務(wù)器上,一般包括severlogs、errorlogs、cookielogs等。(2代理服務(wù)器數(shù)據(jù)。網(wǎng)站服務(wù)

5、器日志只記錄用戶對某個網(wǎng)站的訪問,而代理服務(wù)器日志記錄用戶對所有網(wǎng)站的訪問。代理服務(wù)器相當(dāng)于在客戶瀏覽器和Web服務(wù)器之間提供了緩存功能的中介服務(wù)器。它的緩存功能減少了Web服務(wù)器的網(wǎng)絡(luò)流量,加快了網(wǎng)頁的運(yùn)行速度。同時將大量的用戶訪問信息通過代理日志的形式保存起來。(3Web頁面。它主要是指HTLM和XML頁面的內(nèi)容,包括本文、圖片、語音、圖像等。(4Web頁面超級鏈接關(guān)系。它主要是指頁面之間存在的超級鏈接關(guān)系。(5客戶登記信息。它是指客戶通過Web頁輸入的,要提交給服務(wù)器的相關(guān)用戶信息。這些信息通常是關(guān)于用戶的人口特征?？蛻舻怯浶畔⑿枰驮L問日志集成,才能提高數(shù)據(jù)挖掘的準(zhǔn)確度,使之能更進(jìn)一步

6、的了解客戶。(6異構(gòu)數(shù)據(jù)源。由于電子商務(wù)交易是在Internet網(wǎng)上進(jìn)行,數(shù)據(jù)庫的結(jié)構(gòu)各異,但其中涵蓋著許多價值很高的信息資料,假如用Agent智能手段捕捉這些信息源,對提高電子商務(wù)挖掘信息價值是很有益的。4.電子商務(wù)中Web數(shù)據(jù)挖掘的過程(1數(shù)據(jù)預(yù)處理。它包括數(shù)據(jù)清理、用戶識別、用戶會話識別、訪問路徑補(bǔ)充和事務(wù)識別等步驟。數(shù)據(jù)清洗的目的是刪除Web日志中與數(shù)據(jù)不相關(guān)的冗余項(xiàng),縮小被挖掘數(shù)據(jù)對象的范圍。在數(shù)據(jù)凈化后就必須確定單一的用戶,用戶識別的目的就是對用戶惟一性的識別。用戶識別可以借助于cookie技術(shù)、用戶登記技術(shù)和啟發(fā)性規(guī)則來實(shí)現(xiàn)。用戶會話識別的目的是將每個用戶的訪問信息劃分成若干個獨(dú)

7、立的會話進(jìn)程。最簡單的方法是采用超時估計(jì)的辦法,即當(dāng)對頁面之間的請求時間間隔超出所給定值時,即可以認(rèn)為用戶已經(jīng)開始了一次新的會話。因?yàn)轫撁婢彺婕夹g(shù)和代理服務(wù)器的廣泛使用,使得Web服務(wù)器訪問日志中所記錄的可能不是用戶完整的訪問路徑。不完整的訪問日志不能準(zhǔn)確地反映用戶的訪問模式,所以有必要進(jìn)行訪問路徑的補(bǔ)充。進(jìn)行路徑補(bǔ)充可以利用Web站點(diǎn)的拓?fù)浣Y(jié)構(gòu),對頁面進(jìn)行分析。事務(wù)識別是建立在用戶會話識別的基礎(chǔ)上的,其目的是依據(jù)數(shù)據(jù)挖掘任務(wù)的需求將事務(wù)做分割或合并處理,使其適合于數(shù)據(jù)挖掘需求的分析。(2模式識別。對預(yù)處理之后的數(shù)據(jù)進(jìn)行處理得到相應(yīng)的事務(wù)數(shù)據(jù)庫。在事務(wù)數(shù)據(jù)庫基礎(chǔ)上進(jìn)行數(shù)據(jù)挖掘,需要進(jìn)行兩個方面

8、的工作:一是將事務(wù)數(shù)據(jù)庫整理變換成與一定挖掘技術(shù)相適應(yīng)的數(shù)據(jù)存儲形式;二是利用數(shù)據(jù)挖掘算法挖掘出有效的、新奇的、潛在的、有用的及最終可以理解的信息和知識?？捎糜赪eb的挖掘技術(shù)有路徑選擇、關(guān)聯(lián)分析、分類規(guī)則、聚類分析、序列分析、依靠性建模等。(3模式分析。該階段的主要任務(wù)是從上一階段收集的數(shù)據(jù)集中過濾掉不感愛好和無關(guān)聯(lián)的數(shù)據(jù)及模式,發(fā)現(xiàn)有趣模式。最常見的模式分析方法是SQL語言知識查詢機(jī)制,也可以利用存儲Web使用數(shù)據(jù)的數(shù)據(jù)庫進(jìn)行數(shù)據(jù)導(dǎo)入,再利用OLAP方法發(fā)現(xiàn)數(shù)據(jù)中的特定模式結(jié)果。(4可視化。主要是采用可視化的技術(shù)以圖形界面的方式表示挖掘的成果。三、電子商務(wù)中的Web數(shù)據(jù)挖掘技術(shù)1.路徑分析

9、(PathAnalysis路徑分析是一種找尋頻繁訪問路徑的方法,它通過對Web服務(wù)器的日志文件中客戶訪問站點(diǎn)的訪問次數(shù)分析,挖掘出頻繁訪問路徑。例如,某客戶從某一站點(diǎn)訪問到某一感愛好的頁面后就會經(jīng)常訪問該頁面,通過路徑分析確定頻繁訪問路徑,可以了解客戶對哪些頁面感愛好,從而更好地改進(jìn)設(shè)計(jì),為客戶服務(wù)。用路徑分析技術(shù)進(jìn)行Web數(shù)據(jù)挖掘時,最常用的是圖。因?yàn)橐粋€圖代表了定義在網(wǎng)站上的頁面之間的聯(lián)系。圖最直接的來源是網(wǎng)站結(jié)構(gòu)圖,網(wǎng)站上的頁面定義成節(jié)點(diǎn),頁面之間的超鏈接定義成圖中的邊。其他的各式各樣的圖也都是建立在頁面和頁面之間聯(lián)系或者是一定數(shù)量的學(xué)習(xí)者瀏覽頁面順序基礎(chǔ)之上的。那么,基于Web數(shù)據(jù)挖掘

10、,就是從圖中確定最頻繁的路徑訪問模式或大的參引訪問序列。2.統(tǒng)計(jì)分析(StatisticsAnalysis統(tǒng)計(jì)分析是從Web站點(diǎn)中抽取知識最常用的方法,對會話文件中的各個維度,例如瀏覽時間、路徑長度,都可以進(jìn)行頻度、平均值的統(tǒng)計(jì)分析。許多Web瀏覽分析工具會定時提交統(tǒng)計(jì)分析報(bào)告,這些報(bào)告的內(nèi)容通常包括最頻繁被訪問的頁面、頁面的平均瀏覽時間和平均路徑長度,有些統(tǒng)計(jì)報(bào)告還提供了簡單的錯誤分析功能,例如探測非法訪問的次數(shù)、出錯最多的URL。盡管這種分析缺少深度,但仍有助于改進(jìn)系統(tǒng)性能,增強(qiáng)系統(tǒng)安全性,便于站點(diǎn)修改,并能提供決策支持。3.關(guān)聯(lián)規(guī)則(AssociationRegulation關(guān)聯(lián)分析的目

11、的是為了挖掘出隱藏在數(shù)據(jù)間的相互關(guān)系。在電子商務(wù)中,關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)也就是找到客戶對網(wǎng)站上各種文件之間訪問的相互聯(lián)系。聯(lián)系的問題就是得到如下形式的規(guī)則:“”,其中與均為在數(shù)據(jù)庫中相關(guān)數(shù)據(jù)特征屬性值的集合。例如,用關(guān)聯(lián)規(guī)則技術(shù),我們可以發(fā)現(xiàn):假如客戶在一次訪問行為中,訪問了頁面/page1時,一般也會訪問頁面/ page2。進(jìn)行Web上的數(shù)據(jù)挖掘,構(gòu)建關(guān)聯(lián)模型,我們可以更好地組織站點(diǎn),減少用戶過濾信息的負(fù)擔(dān),實(shí)施有效的市場策略,增加交叉銷售量。4.序列模式(SequentialPattern序列模式分析的目的是為了挖掘出數(shù)據(jù)間的前后或因果關(guān)系,就是在時間戳有序的事務(wù)集中,找到那些“一些項(xiàng)跟隨另一個

12、項(xiàng)”的內(nèi)部事務(wù)模式。例如,在/page1上進(jìn)行過訂購的顧客,有60%的人在過去10天內(nèi)也在/page2上下過定單。通過序列模式的發(fā)現(xiàn),能夠便于電子商務(wù)的經(jīng)營者猜測客戶的訪問模式,在服務(wù)器方選取有針對性的頁面,以滿足訪問者的特定要求;網(wǎng)站的治理員可將訪問者按瀏覽模式分類,在頁面上只展示具有該瀏覽模式的訪問者經(jīng)常訪問的鏈接,而用一個“更多內(nèi)容”指向其他未被展示的內(nèi)容。當(dāng)訪問者瀏覽到某頁面時,檢查他的瀏覽所符合的序列模式,并在顯眼的位置提示“訪問該頁面的人通常接著訪問”的若干頁面。5.分類規(guī)則(ClassificationRegulation分類要解決的問題是為一個事件或?qū)ο髿w類。設(shè)有一個數(shù)據(jù)庫和一

13、組具有不同特征的類別(標(biāo)記,該數(shù)據(jù)庫中的每一個記錄都賦予一個類別的標(biāo)記,這樣的數(shù)據(jù)庫稱為示例數(shù)據(jù)庫或練習(xí)集。分類分析就是通過分析示例數(shù)據(jù)庫中的數(shù)據(jù),為每個類別做出準(zhǔn)確的描述或建立分析模型或挖掘出分類規(guī)則,然后用這個分類規(guī)則對其它數(shù)據(jù)庫中的記錄進(jìn)行分類。例如,經(jīng)過Web挖掘發(fā)現(xiàn),在/page1進(jìn)行過訂購的客戶中有60%是20歲30歲生活在大中城市的年輕人。得到分類后,就可以針對這一類客戶的特點(diǎn)展開商務(wù)活動,提供有針對性的個性化的信息服務(wù)。用于分類分析的方法有統(tǒng)計(jì)方法的貝葉斯分類、機(jī)器學(xué)習(xí)的判定樹歸納分類、神經(jīng)網(wǎng)絡(luò)的后向傳播分類、K-最臨近分類、mbr、遺傳法、粗糙集和模糊集等。6.聚類分析(Cl

14、usteringAnalysis聚類分析不同于分類規(guī)則,其輸入集是一組未標(biāo)定的記錄,也就是說,此時輸入的記錄還沒有進(jìn)行任何分類。其目的是根據(jù)一定的規(guī)則,合理地劃分記錄集合,并用顯式或隱式的方法描述不同的類別。在電子商務(wù)中,通過聚類具有相似瀏覽行為的客戶,可使經(jīng)營者更多地了解客戶,為客戶提供更好的服務(wù)。例如,一些客戶在一個時間段內(nèi)經(jīng)常瀏覽“weddingcelebration”,經(jīng)過分析可將這些客戶聚類為一組,并可進(jìn)一步得知這是一組即將結(jié)婚的客戶,對他們的服務(wù)就應(yīng)該有別于其他的聚類客戶,如“經(jīng)理人員階層組”、“學(xué)生階層組”。這樣,Web可自動給這個特定的顧客聚類發(fā)送新產(chǎn)品信息郵件,為這個顧客聚類

15、動態(tài)地改變一個非凡的站點(diǎn)。在一定程度上滿足客戶的要求,這對客戶和銷售商來說更有意義。四、Web數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用1.挽留老顧客,挖掘潛在客戶通過Web挖掘,電子商務(wù)的經(jīng)營者可以獲知每位訪問者的個人愛好,充分地了解客戶的需要,根據(jù)每一類顧客的獨(dú)特需求提供定制化的產(chǎn)品,并根據(jù)需求動態(tài)地向客戶做頁面推薦,調(diào)整Web頁面,提高客戶滿足度,延長客戶駐留的時間,最終達(dá)到留住客戶的目的。通過挖掘Web日志記錄,可以先對已經(jīng)存在的訪問者進(jìn)行分類,然后從它的分類判定出某個新客戶是否是潛在的客戶。2.制定產(chǎn)品營銷策略,優(yōu)化促銷活動通過對商品訪問情況和銷售情況進(jìn)行挖掘,企業(yè)能夠獲取客戶的訪問規(guī)律,確定顧

16、客消費(fèi)的生命周期,根據(jù)市場的變化,針對不同的產(chǎn)品制定相應(yīng)的營銷策略。3.降低運(yùn)營成本,提高企業(yè)競爭力電子商務(wù)的經(jīng)營者通過Web數(shù)據(jù)挖掘,可以得到可靠的市場反饋信息,認(rèn)真分析顧客的將來行為,進(jìn)行有針對性的電子商務(wù)營銷活動;可以根據(jù)關(guān)心某產(chǎn)品的訪問者的瀏覽模式來決定廣告的位置,增加廣告針對性,提高廣告的投資回報(bào)率,從而降低運(yùn)營成本,提高企業(yè)競爭力。4.提高站點(diǎn)點(diǎn)擊率,完善電子商務(wù)網(wǎng)站設(shè)計(jì)通過挖掘客戶的行為記錄和反饋情況為站點(diǎn)設(shè)計(jì)者提供改進(jìn)的依據(jù),進(jìn)一步優(yōu)化網(wǎng)站組織結(jié)構(gòu)以提高網(wǎng)站的點(diǎn)擊率。比如利用關(guān)聯(lián)規(guī)則的發(fā)現(xiàn),可以針對不同客戶動態(tài)調(diào)整站點(diǎn)結(jié)構(gòu),使客戶訪問的有關(guān)聯(lián)的文件間的鏈接更直接,讓客戶輕易地訪問到想要的頁面,就能給客戶留下好的印象,增加下次訪問的機(jī)率。同時對網(wǎng)站上各種數(shù)據(jù)的統(tǒng)計(jì)分析有助于改進(jìn)系統(tǒng)性能,增強(qiáng)系統(tǒng)安全性,并提供決策支持。五、結(jié)束語當(dāng)今時代,電子商務(wù)的發(fā)展勢頭越來越強(qiáng)勁,面向電子商務(wù)的數(shù)