職業(yè)教育論文-Web數(shù)據(jù)挖掘現(xiàn)狀分析.doc

職業(yè)教育論文-Web數(shù)據(jù)挖掘現(xiàn)狀分析摘要:隨著Internet/Web技術的快速普及和迅猛發(fā)展,使各種信息可以以非常低的成本在網(wǎng)絡上獲得,如何在這個全球最大的數(shù)據(jù)集合中發(fā)現(xiàn)有用信息成為數(shù)據(jù)挖掘研究的熱點。Web數(shù)據(jù)挖掘是目前數(shù)據(jù)挖掘領域中的一個很重要的研究領域,文章介紹了Web數(shù)據(jù)挖掘研究領域的現(xiàn)狀及發(fā)展。關鍵詞:數(shù)據(jù)挖掘；Web挖掘Abstract:WiththerapiddevelopmentandpopularizationofInternet/Webtechnology,awiderangeofinformationcanbeaccessedinthenetworkatverylowcost.ThefocusofdataminingisHowtofindusefulinformationintheworldslargestdatacollection.Webminingisaveryimportantresearchinthefieldofdatamining.ThispaperoutlinestheareasofWebdataminingresearchanditsstatusquoanddevelopment.Keywords:datamining；webmining數(shù)據(jù)挖掘(DataMining,DM)是指從大量數(shù)據(jù)中提取或“挖掘”知識,即從存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫中的大量數(shù)據(jù)中挖掘知識的過程。隨著以數(shù)據(jù)庫、數(shù)據(jù)倉庫等數(shù)據(jù)倉儲技術為基礎的信息系統(tǒng)在各行各業(yè)的應用,海量數(shù)據(jù)不斷產(chǎn)生,隨之而來的問題,便是如此多的數(shù)據(jù)讓人難以消化,無法從表面上看出他們所蘊涵的有用信息。如何從大量的數(shù)據(jù)中找到真正有用的信息成為人們關注的焦點,數(shù)據(jù)挖掘技術也正是伴隨著這種需求從研究走向應用。各種類似Google、百度等的搜索引擎也層出不窮,Web數(shù)據(jù)挖掘的應用在現(xiàn)實中不斷體現(xiàn)。1Web挖掘概述近年來,隨著Internet/Web技術的快速普及和迅猛發(fā)展,使各種信息能以非常低的成本在網(wǎng)絡上獲得,而從中取得的數(shù)據(jù)量便難以計算,而且Internet/WWW的發(fā)展趨勢繼續(xù)看好,特別是電子商務的蓬勃發(fā)展為網(wǎng)絡應用提供了強大支持,因此,如何在WWW這個全球最大的數(shù)據(jù)集合中發(fā)現(xiàn)有用信息,無疑將成為數(shù)據(jù)挖掘研究的熱點。而Web挖掘便是指使用數(shù)據(jù)挖掘技術在WWW數(shù)據(jù)中發(fā)現(xiàn)潛在的、有用的模式或信息。它建立在對大量的網(wǎng)絡數(shù)據(jù)進行分析的基礎上,采用相應的數(shù)據(jù)挖掘算法,在具體的應用模型上進行數(shù)據(jù)的提取、篩選、轉(zhuǎn)換、挖掘和模式分析,最后作出歸納性的推理。Web挖掘研究覆蓋了多個研究領域,包括數(shù)據(jù)庫技術、信息獲取技術、統(tǒng)計學、人工智能中的機器學習和神經(jīng)網(wǎng)絡等。2Web挖掘流程與傳統(tǒng)數(shù)據(jù)和數(shù)據(jù)倉庫相比,Web上的信息是非結(jié)構(gòu)化或半結(jié)構(gòu)化的、動態(tài)的,并且是容易造成混淆的,所以很難直接以Web網(wǎng)頁上的數(shù)據(jù)進行數(shù)據(jù)挖掘,而必須經(jīng)過必要的數(shù)據(jù)處理。典型Web挖掘的處理流程如下:(1)查找資源。從目標Web文檔中得到數(shù)據(jù)。這些信息資源不僅限于在線Web文檔,還包括電子郵件、電子文檔、新聞組或者網(wǎng)站的日志數(shù)據(jù)甚至是通過Web形成的交易數(shù)據(jù)庫中的數(shù)據(jù)等。(2)信息選擇和預處理。從取得的Web資源中剔除無用信息,將信息進行必要的整理。例如,從Web文檔中自動去除廣告連接和多余格式標記、自動識別段落或者字段,并將數(shù)據(jù)組織成規(guī)整的邏輯形式甚至是關系表。(3)模式發(fā)現(xiàn):自動進行模式發(fā)現(xiàn)?？梢栽谕粋€站點內(nèi)部或在多個站點之間進行。(4)模式分析:驗證、解釋上一步驟產(chǎn)生的模式?？梢允菣C器自動完成,也可以是與分析人員進行交互來完成。Web挖掘作為一個完整的技術體系,在進行挖掘之前的信息獲得IR(InformationRetrieval)和信息抽取IE(InformationExtraction)相當重要。信息獲得(IR)的目的在于找到相關Web文檔,它只是把文檔中的數(shù)據(jù)看成未經(jīng)排序的詞組的集合；而信息抽取(IE)的目的在于從文檔中找到需要的數(shù)據(jù)項目,它對文檔的結(jié)構(gòu)和表達的含義感興趣,它的一個重要任務就是對數(shù)據(jù)進行組織整理并適當建立索引。3Web數(shù)據(jù)挖掘的分類Web數(shù)據(jù)挖掘是一項具有挑戰(zhàn)性的課題,它實現(xiàn)對Web存取模式、結(jié)構(gòu)和規(guī)則以及動態(tài)的Web內(nèi)容的查找。一般來說,Web數(shù)據(jù)挖掘可分為4類:Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘、Web使用記錄挖掘和Web用戶性質(zhì)挖掘。其中,Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘和Web使用記錄挖掘是Web1.0時代就已經(jīng)有了的,而Web用戶性質(zhì)挖掘則是伴隨著Web2.0而出現(xiàn)的。3.1Web內(nèi)容挖掘Web內(nèi)容挖掘指從Web內(nèi)容、數(shù)據(jù)、文檔中發(fā)現(xiàn)有用信息,主要包括文本挖掘和多媒體挖掘兩類,其對象包括文本、圖像、音頻、視頻、多媒體和其他各種類型的數(shù)據(jù)。目前,Web內(nèi)容挖掘一般從兩個不同的觀點來進行研究:一種是從資源(IR)查找的方面來看,即從用戶的角度出發(fā),研究怎樣提高信息質(zhì)量和幫助用戶過濾信息。這方面的研究大部分都是建立在詞匯袋(bagofwords)或稱向量表示法(vectorrepresentation)的基礎上,它將單個的詞匯看成文檔集合的屬性,只從統(tǒng)計的角度將詞匯孤立地看待,而忽略該詞匯出現(xiàn)的位置和上下文環(huán)境。這種方法的弊端是自由文本中的數(shù)據(jù)豐富,詞匯量非常大,處理起來很困難,為解決這個問題人們作了相應的研究,采取了不同技術,如信息增益、差異比等。另外一種是從數(shù)據(jù)庫(DB)的觀點進行Web內(nèi)容挖掘,主要是試圖建立Web站點的數(shù)據(jù)模型并加以集成,以支持復雜查詢,而不只是簡單的基于關鍵詞的搜索。這要通過找到Web文檔的模式、建立Web知識庫來實現(xiàn)。數(shù)據(jù)庫技術應用于Web挖掘主要是為了解決Web信息的管理和查詢問題。3.2Web結(jié)構(gòu)挖掘Web結(jié)構(gòu)挖掘的對象是Web本身的超鏈接,即對Web文檔的結(jié)構(gòu)進行挖掘。由于有用的知識不僅包含在Web頁面的內(nèi)容中,而且也包含在頁面的結(jié)構(gòu)中,所以Web結(jié)構(gòu)挖掘是從站點的組織結(jié)構(gòu)和頁面結(jié)構(gòu)中推導出知識,找出數(shù)據(jù)鏈的結(jié)構(gòu)進行分類、聚類,從而發(fā)現(xiàn)頁面間的關系,進而改進搜索引擎的性能。對于給定的Web文檔集合,應該能夠通過算法發(fā)現(xiàn)它們之間鏈接情況的有用信息,文檔之間的超鏈接反映了文檔之間的包含、引用或者從屬關系,引用文檔對被引用文檔的說明往往更客觀、更概括、更準確。Web結(jié)構(gòu)挖掘在一定程度上得益于社會網(wǎng)絡和引用分析的研究。Web結(jié)構(gòu)挖掘的基本思想是將Web看作一個有向圖,它的頂點是Web頁面,頁面間的超鏈接就是圖的邊,然后利用圖對Web的拓撲結(jié)構(gòu)進行分析。Web結(jié)構(gòu)挖掘算法一般可分為查詢相關算法和查詢獨立算法兩類。查詢相關算法需要為每一個查詢進行一次超鏈分析從而進行一次值的指派；而查詢獨立算法則為每個文檔僅進行一次值的指派,對所有的查詢都使用此值。HITS和PageRank分別是查詢相關算法和查詢獨立算法的代表。他們的共同點是使用一定方法計算Web頁面之間超鏈接的質(zhì)量,從而得到頁面的權(quán)重。著名的Clever和Google搜索引擎就采用了該類算法。3.3Web使用記錄挖掘Web使用記錄挖掘也叫Web日志挖掘或Web訪問信息挖掘,在新興的電子商務領域有重要意義,它通過挖掘相關的Web日志記錄,來發(fā)現(xiàn)用戶訪問Web頁面的模式,通過分析日志記錄中的規(guī)律,可以識別用戶的忠實度、喜好、滿意度,可以發(fā)現(xiàn)潛在用戶,增強站點的服務競爭力。Web使用記錄數(shù)據(jù)除了服務器的日志記錄外,還包括代理服務器日志、瀏覽器端日志、注冊信息、用戶會話信息、交易信息、Cookie中的信息、用戶查詢等一切用戶與站點之間可能的交互記錄。可見,Web使用記錄的數(shù)據(jù)量是非常巨大的,而且數(shù)據(jù)類型也相當豐富。根據(jù)對數(shù)據(jù)源的不同處理方法,Web用法挖掘可以分為兩種:將網(wǎng)絡服務器的日志文件作為原始數(shù)據(jù),應用特定的預處理方法進行處理后再進行挖掘；將網(wǎng)絡服務器的日志文件轉(zhuǎn)換為圖表,然后再進行進一步的數(shù)據(jù)挖掘。通常,在對原始數(shù)據(jù)進行預處理后就可以使用傳統(tǒng)的數(shù)據(jù)挖掘方法進行挖掘。3.4Web用戶性質(zhì)挖掘Web用戶性質(zhì)挖掘是伴隨著Web2.0出現(xiàn)的?；赗SS、Blog、SNS以及Wiki等互聯(lián)網(wǎng)軟件的廣泛應用,Web2.0幫助人們從Web1.0時代的各大門戶網(wǎng)站“填鴨”式的信息轟炸,過渡到了“人人對話”,每個普通用戶既是信息的獲取者,也是信息的提供者。面對Web2.0的誕生,Web數(shù)據(jù)挖掘技術又面臨著新的挑戰(zhàn)。在Web2.0時代,網(wǎng)絡徹底個人化了,它完全允許客戶用自己的方式、喜好和個性化的定制服務創(chuàng)造自己的互聯(lián)網(wǎng),它一方面給予互聯(lián)網(wǎng)用戶最大的自由度,另一方面給予有心商家有待發(fā)掘的高含金量信息數(shù)據(jù)。通過對Web用戶自建的RSS、Blog等Web2.0功能模塊下客戶信息的統(tǒng)計分析,能夠幫助運營商以較低成本獲得準確度較高的客戶興趣傾向、個性化需求以及新業(yè)務發(fā)展趨勢等信息。有關Web2.0下的數(shù)據(jù)挖掘,根據(jù)數(shù)據(jù)來源、數(shù)據(jù)類型、數(shù)據(jù)集合中的用戶數(shù)量、數(shù)據(jù)集合中的服務器數(shù)量等將Web用戶性質(zhì)挖掘分為5類:(1)個性挖掘。針對單個用戶的使用記錄對該用戶進行建模,結(jié)合該用戶基本信息分析他的使用習慣和個人喜好,目的是在電子商務環(huán)境下為該用戶提供與眾不同的個性化服務。(2)系統(tǒng)改進。Web服務(數(shù)據(jù)庫、網(wǎng)絡等)的性能和其他服務質(zhì)量是衡量用戶滿意度的關鍵指標,Web用法挖掘可以通過用戶的記錄發(fā)現(xiàn)站點的性能瓶頸,以提示站點管理者改進Web緩存策略、網(wǎng)絡傳輸策略、流量負載平衡機制和數(shù)據(jù)的分布策略。此外,可以通過分析網(wǎng)絡的非法入侵數(shù)據(jù)找到系統(tǒng)弱點,提高站點安全性,這在電子商務環(huán)境下尤為重要。(3)站點修改。站點的結(jié)構(gòu)和內(nèi)容是吸引用戶的關鍵。Web挖掘通過用戶的行為記錄和反饋情況為站點設計者提供改進的依據(jù),比如頁面連接情況應如何組織、哪些頁面能夠直接訪問等。(4)智能商務。用戶怎樣使用Web站點的信息,無疑是電子商務銷售商關心的重點,用戶一次訪問的周期可分為被吸引、駐留、購買和離開4個步驟,Web挖掘可以通過分析用戶點擊流等Web日志信息挖掘用戶行為的動機,以幫助銷售商合理安排銷售策略