數(shù)據(jù)挖掘概念與技術(shù)ppt課件

數(shù)據(jù)挖掘：概念與技術(shù),JiaweiHanandMichelineKamber著MonrganKaufmannPublishersInc.范明孟小峰等譯機(jī)械工業(yè)出版社,31.05.2020,.,2,31.05.2020,.,3,第1章引言,英文幻燈片制作：JiaweiHan中文幻燈片編譯：范明,31.05.2020,.,5,第一章引論,動(dòng)機(jī)：為什么要數(shù)據(jù)挖掘?什么是數(shù)據(jù)挖掘?數(shù)據(jù)挖掘：在什么數(shù)據(jù)上進(jìn)行?數(shù)據(jù)挖掘功能所有的模式都是有趣的嗎?數(shù)據(jù)挖掘系統(tǒng)分類(lèi)數(shù)據(jù)挖掘的主要問(wèn)題,31.05.2020,.,6,動(dòng)機(jī):需要是發(fā)明之母,數(shù)據(jù)爆炸問(wèn)題自動(dòng)的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫(kù)技術(shù)導(dǎo)致大量數(shù)據(jù)存放在數(shù)據(jù)庫(kù),數(shù)據(jù)倉(cāng)庫(kù),和其它信息存儲(chǔ)中我們正被數(shù)據(jù)淹沒(méi),但卻缺乏知識(shí)解決辦法:數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理(OLAP)從大型數(shù)據(jù)庫(kù)的數(shù)據(jù)中提取有趣的知識(shí)(規(guī)則,規(guī)律性,模式,限制等),31.05.2020,.,7,數(shù)據(jù)處理技術(shù)的演進(jìn),1960s:數(shù)據(jù)收集,數(shù)據(jù)庫(kù)創(chuàng)建,IMS和網(wǎng)狀DBMS1970s:關(guān)系數(shù)據(jù)庫(kù)模型,關(guān)系DBMS實(shí)現(xiàn)1980s:RDBMS,先進(jìn)的數(shù)據(jù)模型(擴(kuò)充關(guān)系的,OO,演繹的,等.)和面向應(yīng)用的DBMS(空間的,科學(xué)的,工程的,等.)1990s2000s:數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù),多媒體數(shù)據(jù)庫(kù),和Web數(shù)據(jù)庫(kù),31.05.2020,.,8,什么是數(shù)據(jù)挖掘?,數(shù)據(jù)挖掘(數(shù)據(jù)庫(kù)中知識(shí)發(fā)現(xiàn)):從大型數(shù)據(jù)庫(kù)中提取有趣的(非平凡的,蘊(yùn)涵的,先前未知的并且是潛在有用的)信息或模式其它叫法和“insidestories”:數(shù)據(jù)挖掘:用詞不當(dāng)?數(shù)據(jù)庫(kù)中知識(shí)發(fā)現(xiàn)(挖掘)(Knowledgediscoveryindatabases,KDD),知識(shí)提取(knowledgeextraction),數(shù)據(jù)/模式分析(data/patternanalysis),數(shù)據(jù)考古(dataarcheology),數(shù)據(jù)捕撈(datadredging),信息收獲(informationharvesting),商務(wù)智能(businessintelligence),等.什么不是數(shù)據(jù)挖掘?(演繹)查詢(xún)處理.專(zhuān)家系統(tǒng)或小型機(jī)器學(xué)習(xí)(ML)/統(tǒng)計(jì)程序,31.05.2020,.,9,為什么要數(shù)據(jù)挖掘?可能的應(yīng)用,數(shù)據(jù)庫(kù)分析和決策支持市場(chǎng)分析和管理針對(duì)銷(xiāo)售(targetmarketing),顧客關(guān)系管理,購(gòu)物籃分析,交叉銷(xiāo)售(crossselling),市場(chǎng)分割(marketsegmentation)風(fēng)險(xiǎn)分析與管理預(yù)測(cè),顧客關(guān)系,改進(jìn)保險(xiǎn),質(zhì)量控制,競(jìng)爭(zhēng)能力分析欺騙檢測(cè)與管理其它應(yīng)用文本挖掘(新聞組,email,文檔資料)流數(shù)據(jù)挖掘(Streamdatamining)Web挖掘.DNA數(shù)據(jù)分析,31.05.2020,.,10,市場(chǎng)分析與管理(1),用于分析的數(shù)據(jù)源在哪?信用卡交易,會(huì)員卡,打折優(yōu)惠卷,顧客投訴電話,(公共)生活時(shí)尚研究針對(duì)銷(xiāo)售(Targetmarketing)找出顧客群,他們具有相同特征:興趣,收入水平,消費(fèi)習(xí)慣,等.確定顧客隨時(shí)間變化的購(gòu)買(mǎi)模式個(gè)人帳號(hào)到聯(lián)合帳號(hào)的轉(zhuǎn)變:結(jié)婚,等.交叉銷(xiāo)售分析(Cross-marketanalysis)產(chǎn)品銷(xiāo)售之間的關(guān)聯(lián)/相關(guān)基于關(guān)聯(lián)信息的預(yù)測(cè),31.05.2020,.,11,市場(chǎng)分析與管理(2),顧客分類(lèi)(Customerprofiling)數(shù)據(jù)挖掘能夠告訴我們什么樣的顧客買(mǎi)什么產(chǎn)品(聚類(lèi)或分類(lèi))識(shí)別顧客需求對(duì)不同的顧客識(shí)別最好的產(chǎn)品使用預(yù)測(cè)發(fā)現(xiàn)什么因素影響新顧客提供匯總信息各種多維匯總報(bào)告統(tǒng)計(jì)的匯總信息(數(shù)據(jù)的中心趨勢(shì)和方差),31.05.2020,.,12,法人分析和風(fēng)險(xiǎn)管理,財(cái)經(jīng)規(guī)劃和資產(chǎn)評(píng)估現(xiàn)金流分析和預(yù)測(cè)臨時(shí)提出的資產(chǎn)評(píng)估交叉組合(cross-sectional)和時(shí)間序列分析(金融比率(financial-ratio),趨勢(shì)分析,等.)資源規(guī)劃:資源與開(kāi)銷(xiāo)的匯總與比較競(jìng)爭(zhēng):管理競(jìng)爭(zhēng)者和市場(chǎng)指導(dǎo)對(duì)顧客分類(lèi)和基于類(lèi)的定價(jià)在高度競(jìng)爭(zhēng)的市場(chǎng)調(diào)整價(jià)格策略,31.05.2020,.,13,欺騙檢測(cè)和管理(1),應(yīng)用廣泛用于健康照料,零售,信用卡服務(wù),電訊(電話卡欺騙),等.方法使用歷史數(shù)據(jù)建立欺騙行為模型,使用數(shù)據(jù)挖掘幫助識(shí)別類(lèi)似的實(shí)例例汽車(chē)保險(xiǎn):檢測(cè)這樣的人,他/她假造事故騙取保險(xiǎn)賠償洗錢(qián):檢測(cè)可疑的金錢(qián)交易(USTreasurysFinancialCrimesEnforcementNetwork)醫(yī)療保險(xiǎn):檢測(cè)職業(yè)病患者,醫(yī)生和介紹人圈,31.05.2020,.,14,欺騙檢測(cè)和管理(2),檢測(cè)不適當(dāng)?shù)尼t(yī)療處置澳大利亞健康保險(xiǎn)會(huì)(AustralianHealthInsuranceCommission)發(fā)現(xiàn)許多全面的檢查是請(qǐng)求做的,而不是實(shí)際需要的(每年節(jié)省100萬(wàn)澳元).檢測(cè)電話欺騙電話呼叫模式:通話距離,通話時(shí)間,每天或每周通話次數(shù).分析偏離期望的模式.英國(guó)電訊(BritishTelecom)識(shí)別頻繁內(nèi)部通話的呼叫者的離散群,特別是移動(dòng)電話,超過(guò)數(shù)百萬(wàn)美元的欺騙.零售分析家估計(jì),38%的零售業(yè)萎縮是由于不忠誠(chéng)的雇員造成的.,31.05.2020,.,15,其它應(yīng)用,運(yùn)動(dòng)IBMAdvancedScout分析NBA的統(tǒng)計(jì)數(shù)據(jù)(阻擋投籃,助攻,和犯規(guī))獲得了對(duì)紐約小牛隊(duì)(NewYorkKnicks)和邁艾米熱隊(duì)(MiamiHeat)的競(jìng)爭(zhēng)優(yōu)勢(shì)天文借助于數(shù)據(jù)挖掘的幫助,JPL和PalomarObservatory發(fā)現(xiàn)了22顆類(lèi)星體(quasars)InternetWebSurf-AidIBMSurf-Aid將數(shù)據(jù)挖掘算法用于有關(guān)交易的頁(yè)面的Web訪問(wèn)日志,以發(fā)現(xiàn)顧客喜愛(ài)的頁(yè)面,分析Web銷(xiāo)售的效果,改進(jìn)Web站點(diǎn)的組織,等.,31.05.2020,.,16,數(shù)據(jù)挖掘過(guò)程,數(shù)據(jù)挖掘：KDD的核心.,數(shù)據(jù)清理,數(shù)據(jù)集成,數(shù)據(jù)庫(kù),數(shù)據(jù)倉(cāng)庫(kù),知識(shí),任務(wù)相關(guān)數(shù)據(jù),選擇,數(shù)據(jù)挖掘,模式評(píng)估,31.05.2020,.,17,KDD過(guò)程的步驟,學(xué)習(xí)應(yīng)用領(lǐng)域:相關(guān)的先驗(yàn)知識(shí)和應(yīng)用的目標(biāo)創(chuàng)建目標(biāo)數(shù)據(jù)集:數(shù)據(jù)選擇數(shù)據(jù)清理和預(yù)處理:(可能占全部工作的60%!)數(shù)據(jù)歸約與變換:發(fā)現(xiàn)有用的特征,維/變量歸約,不變量的表示.選擇數(shù)據(jù)挖掘函數(shù)匯總,分類(lèi),回歸,關(guān)聯(lián),聚類(lèi).,31.05.2020,.,18,KDD過(guò)程的步驟(續(xù)),選擇挖掘算法數(shù)據(jù)挖掘:搜索有趣的模式模式評(píng)估和知識(shí)表示可視化,變換,刪除冗余模式,等.發(fā)現(xiàn)知識(shí)的使用,31.05.2020,.,19,數(shù)據(jù)挖掘和商務(wù)智能,提高支持商務(wù)決策的潛能,最終用戶(hù),商務(wù)分析人員,數(shù)據(jù)分析人員,DBA,制定決策,數(shù)據(jù)表示,可視化技術(shù),數(shù)據(jù)挖掘,信息發(fā)現(xiàn),數(shù)據(jù)探查,OLAP,MDA,統(tǒng)計(jì)分析,查詢(xún)和報(bào)告,數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)集市,數(shù)據(jù)源,文字記錄,文件,信息提供者,數(shù)據(jù)庫(kù)系統(tǒng),OLTP系統(tǒng),31.05.2020,.,20,典型的數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu),數(shù)據(jù)倉(cāng)庫(kù),數(shù)據(jù)清理數(shù)據(jù)集成,過(guò)濾,數(shù)據(jù)庫(kù),數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù),數(shù)據(jù)挖掘引擎,模式評(píng)估,圖形用戶(hù)界面,知識(shí)庫(kù),31.05.2020,.,21,數(shù)據(jù)挖掘:在什么數(shù)據(jù)上進(jìn)行?,關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)事務(wù)(交易)數(shù)據(jù)庫(kù)先進(jìn)的數(shù)據(jù)庫(kù)和信息存儲(chǔ)面向?qū)ο蠛蛯?duì)象-關(guān)系數(shù)據(jù)庫(kù)空間和時(shí)間數(shù)據(jù)時(shí)間序列數(shù)據(jù)和流數(shù)據(jù)文本數(shù)據(jù)庫(kù)和多媒體數(shù)據(jù)庫(kù)異種數(shù)據(jù)庫(kù)和遺產(chǎn)數(shù)據(jù)庫(kù)WWW,31.05.2020,.,22,數(shù)據(jù)挖掘功能(1),概念描述:特征和區(qū)分概化,匯總,和比較數(shù)據(jù)特征,例如,干燥和潮濕的地區(qū)關(guān)聯(lián)(相關(guān)和因果關(guān)系)多維和單維關(guān)聯(lián)age(X,“20.29”)income(X,“20.29K”)buys(X,“PC”)support=2%,confidence=60%contains(T,“computer”)contains(T,“software”)support=1%,confidence=75%,31.05.2020,.,23,數(shù)據(jù)挖掘功能(2),分類(lèi)和預(yù)測(cè)找出描述和識(shí)別類(lèi)或概念的模型(函數(shù)),用于將來(lái)的預(yù)測(cè)例如根據(jù)氣候?qū)?guó)家分類(lèi),或根據(jù)單位里程的耗油量對(duì)汽車(chē)分類(lèi)表示:判定樹(shù)(decision-tree),分類(lèi)規(guī)則,神經(jīng)網(wǎng)絡(luò)預(yù)測(cè):預(yù)測(cè)某些未知或遺漏的數(shù)值值聚類(lèi)分析類(lèi)標(biāo)號(hào)(Classlabel)未知:對(duì)數(shù)據(jù)分組,形成新的類(lèi).例如,對(duì)房屋分類(lèi),找出分布模式聚類(lèi)原則:最大化類(lèi)內(nèi)的相似性,最小化類(lèi)間的相似性,31.05.2020,.,24,數(shù)據(jù)挖掘功能(3),孤立點(diǎn)(Outlier)分析孤立點(diǎn):一個(gè)數(shù)據(jù)對(duì)象,它與數(shù)據(jù)的一般行為不一致孤立點(diǎn)可以被視為例外,但對(duì)于欺騙檢測(cè)和罕見(jiàn)事件分析,它是相當(dāng)有用的趨勢(shì)和演變分析趨勢(shì)和偏離:回歸分析序列模式挖掘,周期性分析基于相似的分析其它基于模式或統(tǒng)計(jì)的分析,31.05.2020,.,25,挖掘出的所有模式都是有趣的嗎?,一個(gè)數(shù)據(jù)挖掘系統(tǒng)/查詢(xún)可以挖掘出數(shù)以千計(jì)的模式,并非所有的模式都是有趣的建議的方法:以人為中心,基于查詢(xún)的,聚焦的挖掘興趣度度量:一個(gè)模式是有趣的如果它是易于被人理解的,在某種程度上在新的或測(cè)試數(shù)據(jù)上是有效的,潛在有用的,新穎的,或驗(yàn)證了用戶(hù)希望證實(shí)的某種假設(shè)客觀與主觀的興趣度度量:客觀:基于模式的統(tǒng)計(jì)和結(jié)構(gòu),例如,支持度,置信度,等.主觀:基于用戶(hù)對(duì)數(shù)據(jù)的確信,例如,出乎意料,新穎性,可行動(dòng)性(actionability),等.,31.05.2020,.,26,能夠只發(fā)現(xiàn)有趣的模式嗎?,發(fā)現(xiàn)所有有趣的模式:完全性數(shù)據(jù)挖掘系統(tǒng)能夠發(fā)現(xiàn)所有有趣的模式嗎?關(guān)聯(lián)vs.分類(lèi)vs.聚類(lèi)僅搜索有趣的模式:優(yōu)化數(shù)據(jù)挖掘系統(tǒng)能夠僅發(fā)現(xiàn)有趣的模式嗎?方法首先找出所有模式,然后過(guò)濾掉不是有趣的那些.僅產(chǎn)生有趣的模式挖掘查詢(xún)優(yōu)化,31.05.2020,.,27,數(shù)據(jù)挖掘:多學(xué)科交叉,數(shù)據(jù)挖掘,數(shù)據(jù)庫(kù)技術(shù),統(tǒng)計(jì)學(xué),其它學(xué)科,信息科學(xué),機(jī)器學(xué)習(xí),可視化,31.05.2020,.,28,數(shù)據(jù)挖掘分類(lèi),一般功能描述式數(shù)據(jù)挖掘預(yù)測(cè)式數(shù)據(jù)挖掘不同的角度,不同的分類(lèi)待挖掘的數(shù)據(jù)庫(kù)類(lèi)型待發(fā)現(xiàn)的知識(shí)類(lèi)型所用的技術(shù)類(lèi)型所適合的應(yīng)用類(lèi)型,31.05.2020,.,29,數(shù)據(jù)挖掘分類(lèi)的多維視圖,待挖掘的數(shù)據(jù)庫(kù)關(guān)系的,事務(wù)的,面向?qū)ο蟮?對(duì)象-關(guān)系的,主動(dòng)的,空間的,時(shí)間序列的,文本的,多媒體的,異種的,遺產(chǎn)的,WWW,等.所挖掘的知識(shí)特征,區(qū)分,關(guān)聯(lián),分類(lèi),聚類(lèi),趨勢(shì),偏離和孤立點(diǎn)分析,等.多/集成的功能,和多層次上的挖掘所用技術(shù)面向數(shù)據(jù)庫(kù)的,數(shù)據(jù)倉(cāng)庫(kù)(OLAP),機(jī)器學(xué)習(xí),統(tǒng)計(jì)學(xué),可視化,神經(jīng)網(wǎng)絡(luò),等.適合的應(yīng)用零售,電訊,銀行,欺騙分析,DNA挖掘,股票市場(chǎng)分析,Web挖掘,Web日志分析,等,31.05.2020,.,30,OLAP挖掘:數(shù)據(jù)挖掘與數(shù)據(jù)倉(cāng)庫(kù)的集成,數(shù)據(jù)挖掘系統(tǒng),DBMS,數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的耦合不耦合,松耦合,半緊密耦合,緊密耦合聯(lián)機(jī)分析挖掘挖掘與OLAP技術(shù)的集成交互挖掘多層知識(shí)通過(guò)下鉆,上卷,轉(zhuǎn)軸,切片,切塊等操作,在不同的抽象層挖掘知識(shí)和模式的必要性.多種挖掘功能的集成特征分類(lèi),先聚類(lèi)在關(guān)聯(lián),31.05.2020,.,31,OLAM的結(jié)構(gòu),數(shù)據(jù)倉(cāng)庫(kù),元數(shù)據(jù),MDDB,OLAM引擎,OLAP引擎,用戶(hù)GUIAPI,數(shù)據(jù)立方體API,數(shù)據(jù)庫(kù)API,數(shù)據(jù)清理,數(shù)據(jù)集成,第3層OLAP/OLAM,第2層MDDB,第1層數(shù)據(jù)存儲(chǔ),第4層用戶(hù)界面,過(guò)濾和集成,過(guò)濾,Databases,挖掘查詢(xún),挖掘結(jié)果,31.05.2020,.,32,數(shù)據(jù)挖掘的主要問(wèn)題(1),挖掘方法和用戶(hù)交互在數(shù)據(jù)庫(kù)中挖掘不同類(lèi)型的知識(shí)在多個(gè)抽象層的交互式知識(shí)挖掘結(jié)合背景知識(shí)數(shù)據(jù)挖掘語(yǔ)言和啟發(fā)式數(shù)據(jù)挖掘數(shù)據(jù)挖掘結(jié)果的表示和可視化處理噪音和不完全數(shù)據(jù)模式評(píng)估:興趣度問(wèn)題性能和可伸縮性(scalability)數(shù)據(jù)挖掘算法的性能和可伸縮性并行,分布和增量的挖掘方法,31.05.2020,.,33,數(shù)據(jù)挖掘的主要問(wèn)題(2),數(shù)據(jù)類(lèi)型的多樣性問(wèn)題處理關(guān)系的和復(fù)雜類(lèi)型的數(shù)據(jù)從異種數(shù)據(jù)庫(kù)和全球信息系統(tǒng)(WWW)挖掘信息應(yīng)用和社會(huì)效果問(wèn)題發(fā)現(xiàn)知識(shí)的應(yīng)用特定領(lǐng)域的數(shù)據(jù)挖掘工具智能查詢(xún)回答過(guò)程控制和決策制定發(fā)現(xiàn)知識(shí)與已有知識(shí)的集成:知識(shí)融合問(wèn)題數(shù)據(jù)安全,完整和私有的保護(hù),31.05.2020,.,34,小結(jié),數(shù)據(jù)挖掘:從大量數(shù)據(jù)中發(fā)現(xiàn)有趣的模式數(shù)據(jù)庫(kù)技術(shù)的自然進(jìn)化,具有巨大需求和廣泛應(yīng)用KDD過(guò)程包括數(shù)據(jù)清理,數(shù)據(jù)集成,數(shù)據(jù)選擇,變換,數(shù)據(jù)挖掘,模式評(píng)估,和知識(shí)表示挖掘可以在各種數(shù)據(jù)存儲(chǔ)上進(jìn)行數(shù)據(jù)挖掘功能:特征,區(qū)分,關(guān)聯(lián),分類(lèi),聚類(lèi),孤立點(diǎn)和趨勢(shì)分析,等.數(shù)據(jù)挖掘系統(tǒng)的分類(lèi)數(shù)據(jù)挖掘的主要問(wèn)題,31.05.2020,.,35,數(shù)據(jù)挖掘界簡(jiǎn)史,1989IJCAIWorkshoponKnowledgeDiscoveryinDatabases(Piatetsky-Shapiro)KnowledgeDiscoveryinDatabases(G.Piatetsky-ShapiroandW.Frawley,1991)1991-1994WorkshopsonKnowledgeDiscoveryinDatabasesAdvancesinKnowledgeDiscoveryandDataMining(U.Fayyad,G.Piatetsky-Shapiro,P.Smyth,andR.Uthurusamy,1996)1995-1998InternationalConferencesonKnowledgeDiscoveryinDatabasesandDataMining(KDD95-98)JournalofDataMiningandKnowledgeDiscovery(1997)1998ACMSIGKDD,SIGKDD1999-2001conferences,andSIGKDDExplorationsMoreconferencesondataminingPAKDD,PKDD,SIAM-DataMining,(IEEE)ICDM,etc.,31.05.2020,.,36,參考文獻(xiàn)源,DataminingandKDD(SIGKDDmemberCDROM):Conferenceproceedings:KDD,andothers,suchasPKDD,PAKDD,etc.Journal:DataMiningandKnowledgeDiscoveryDatabasefield(SIGMODmemberCDROM):Conferenceproceedings:ACM-SIGMOD,ACM-PODS,VLDB,ICDE,EDBT,DASFAAJournals:ACM-TODS,J.ACM,IEEE-TKDE,JIIS,etc.AIandMachineLearning:Conferenceproceedings:Machinelearning,AAAI,IJCAI,etc.Journals:MachineLearning,ArtificialIntelligence,etc.Statistics:Conferenceproceedings:JointStat.Meeting,etc.Journals:Annalsofstatistics,etc.Visualization:Conferenceproceedings:CHI,etc.