Web挖掘基礎(chǔ)課件

Web挖掘基礎(chǔ)知識(shí)WWW提綱Web挖掘的概念Web內(nèi)容挖掘Web結(jié)構(gòu)挖掘Web日志挖掘Web挖掘的挑戰(zhàn)Web數(shù)據(jù)量太龐大：ServerLevelCollection、ClientLevelCollection和ProxyLevelCollection

Web數(shù)據(jù)的復(fù)雜性高于傳統(tǒng)的文本文檔Web是一個(gè)動(dòng)態(tài)性極強(qiáng)的信息源Web面對(duì)的是一個(gè)廣泛的用戶群體Web上的信息只有很小的一部分是相關(guān)的或有用的Web挖掘概念Web挖掘是從大量Web文檔的集合C中發(fā)現(xiàn)隱含的、有用的模式P的過程：C→P。Web挖掘主要處理文本、圖形和圖像等半結(jié)構(gòu)、非結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)分布在Web文檔、Web服務(wù)器的日志、用戶cookies等。Web挖掘分類

Web挖掘類項(xiàng)目Web內(nèi)容挖掘Web結(jié)構(gòu)挖掘Web日志挖掘處理數(shù)據(jù)類型IR方法：無結(jié)構(gòu)數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)Web結(jié)構(gòu)數(shù)據(jù)用戶訪問Web數(shù)據(jù)主要數(shù)據(jù)自由化文本、HTML標(biāo)記的超文本W(wǎng)eb文檔內(nèi)及文檔間的超鏈Serverlog,Proxyserverlog,Clientlog表示方法詞集、段落、概念、IR的三種經(jīng)典模型圖關(guān)系表、圖處理方法統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、自然語言理解機(jī)器學(xué)習(xí)、專有算法統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、關(guān)聯(lián)規(guī)則主要應(yīng)用分類、聚類、模式發(fā)現(xiàn)頁面權(quán)重分類聚類模式發(fā)現(xiàn)Web站點(diǎn)重建，商業(yè)決策日志的預(yù)處理IPAddressTime/DateMethod/URIReferrerAgent15:30:01/2-Jan-01GETIndex.htmMozilla/4.0(IE5.0W98)15:30:01/2-Jan-01GET1.htmMozilla/4.0(IE5.0W98)15:30:01/2-Jan-01GETA.htmMozilla/4.0(IE5.0W98)15:37:09/2-Jan-01GETE.htmMozilla/4.0(IE5.0W98)15:33:04/2-Jan-01GETIndex.htmMozilla/4.0(IE4.0NT)15:33:04/2-Jan-01GET1.htmMozilla/4.0(IE4.0NT)15:33:04/2-Jan-01GETA.htmMozilla/4.0(IE4.0NT)15:35:11/2-Jan-01GETB.htmMozilla/4.0(IE4.0NT)15:35:11/2-Jan-01GETC.htmMozilla/4.0(IE5.0W98)Web文本挖掘Web文本挖掘針對(duì)包括Web頁面內(nèi)容、頁面結(jié)構(gòu)和用戶訪問信息等在內(nèi)的各種Web數(shù)據(jù)，應(yīng)用數(shù)據(jù)挖掘方法發(fā)現(xiàn)有用的知識(shí)幫助人們從大量Web文檔集中發(fā)現(xiàn)隱藏的模式。Web文本挖掘的方法文本概括：從文本（集）中抽取關(guān)鍵信息，用簡(jiǎn)潔的形式總結(jié)文本（集）的主題內(nèi)容。例如搜索引擎在向用戶返回查詢結(jié)果時(shí)，通常需要給出文本摘要。文本分類：把一些被標(biāo)記的文本作為訓(xùn)練集，找到文本屬性和文本類別之間的關(guān)系模型，然后利用這種關(guān)系模型判斷新文本的類別。召回率和精度。文本聚類：根據(jù)文本的不同特征劃分為不同的類。從大量文檔中發(fā)現(xiàn)一對(duì)詞語出現(xiàn)模式的關(guān)聯(lián)分析以及特定數(shù)據(jù)在未來的情況預(yù)測(cè)。

文本挖掘在垃圾郵件過濾中的應(yīng)用Web多媒體挖掘Web多媒體挖掘是從大量多媒體數(shù)據(jù)中通過綜合分析視聽特性和語義，發(fā)現(xiàn)隱含的、有價(jià)值的和可理解的模式，得出事件的趨向和關(guān)聯(lián)，為用戶提供決策支持。多媒體挖掘包括圖像挖掘、視頻挖掘和音頻挖掘等類別。多媒體挖掘系統(tǒng)的結(jié)構(gòu)Web結(jié)構(gòu)挖掘有用的知識(shí)不僅存在于Web頁面間的鏈接結(jié)構(gòu)和Web頁面內(nèi)部結(jié)構(gòu)，而且也存在于URL中的目錄路徑結(jié)構(gòu)（頁面之間的目錄結(jié)構(gòu)關(guān)系）。Web結(jié)構(gòu)挖掘是指挖掘Web鏈接結(jié)構(gòu)模式，即通過分析頁面鏈接的數(shù)量和對(duì)象，從而建立Web的鏈接結(jié)構(gòu)模式。Web結(jié)構(gòu)挖掘主要方法PageRank算法HITS算法WebLogIndexSESpiderSpamFreshnessQualityresults20Mqueries/dayBrowser800Mpages?24x7SESEPageRank算法PRi

：thePageRankvalueofpageiPRj:thePageRankvalueofpagejkj

：numberofthepagesjrefertod：aparameterranging[0,1].Web日志挖掘Web日志挖掘是從用戶訪問日志（包括搜索引擎日志等）中獲取有價(jià)值的信息，即通過分析Web日志數(shù)據(jù)，發(fā)現(xiàn)訪問者存取Web頁面的模式。理解用戶的行為，改進(jìn)站點(diǎn)結(jié)構(gòu)，發(fā)現(xiàn)潛在用戶，為用戶提供個(gè)性化的服務(wù)，增強(qiáng)網(wǎng)站的競(jìng)爭(zhēng)力。Web日志挖掘的應(yīng)用獲取用戶訪問模式信息，理解用戶的意圖和行為分析用戶的存取模式，為用戶提供個(gè)性化的服務(wù)確定網(wǎng)站的潛在客戶群，合理制訂網(wǎng)絡(luò)廣告策略等改進(jìn)Web站點(diǎn)的結(jié)構(gòu)，使網(wǎng)站點(diǎn)隨時(shí)間、用戶需求的變化而不斷調(diào)整對(duì)日志數(shù)據(jù)進(jìn)行多種統(tǒng)計(jì)，包括頻繁訪問頁、單位時(shí)間訪問頻度、訪問量的時(shí)間分布等利用關(guān)聯(lián)規(guī)則確定相關(guān)Web查詢