華中科技大學(xué)譚毅華數(shù)據(jù)挖掘引言

華中科技大學(xué)譚毅華數(shù)據(jù)挖掘引言第1頁/共53頁內(nèi)容課程介紹數(shù)據(jù)挖掘的必要性(Why)數(shù)據(jù)挖掘的內(nèi)涵(What)處理的數(shù)據(jù)(Data)實現(xiàn)的功能(Functionality)主要問題(Issues)系統(tǒng)現(xiàn)狀(Systems)第2頁/共53頁教材范明，孟小峰等譯．?dāng)?shù)據(jù)挖掘：概念與技術(shù)．北京：機(jī)械工業(yè)出版社．2001.邵峰晶，于忠清.數(shù)據(jù)挖掘－原理與算法.北京：中國水利水電出版社.2003IanH.Witten,EibeFrank.數(shù)據(jù)挖掘：實用機(jī)器學(xué)習(xí)技術(shù)及Java實現(xiàn)（英文版）.北京：機(jī)械工業(yè)出版社，2003相關(guān)網(wǎng)址JiaweiHan：/~hanj第3頁/共53頁時間安排W5:

Tue,引言Fri,國慶假W6:Tue，數(shù)據(jù)及其加工處理Fri，關(guān)聯(lián)規(guī)則分析W7:Tue，分類分析

Fri，聚類分析

W8:Tue：文本和多媒體挖掘

Fri:交作業(yè)，考試1-2節(jié)第4頁/共53頁學(xué)習(xí)評價及聯(lián)系方式評價結(jié)果作業(yè)30%

考試70%聯(lián)系方式

E-Mail:yihua.tan@263.netTelel5頁/共53頁內(nèi)容課程介紹數(shù)據(jù)挖掘的必要性(Why)數(shù)據(jù)挖掘的內(nèi)涵(What)處理的數(shù)據(jù)(Data)實現(xiàn)的功能(Functionality)主要問題(Issues)系統(tǒng)現(xiàn)狀(Systems)第6頁/共53頁Motivation:數(shù)據(jù)挖掘的產(chǎn)生知識海洋自動數(shù)據(jù)搜集工具數(shù)據(jù)庫技術(shù),數(shù)據(jù)倉庫全民資源貢獻(xiàn)(Web)獲取有用知識商業(yè)結(jié)論科學(xué)假設(shè)和規(guī)律發(fā)現(xiàn)獲取的方式人工數(shù)據(jù)倉庫數(shù)據(jù)挖掘第7頁/共53頁Why:數(shù)據(jù)挖掘的作用知識爆炸的苦惱：何處是真諦？如何痛下決斷？模式趨勢事實關(guān)系模型關(guān)聯(lián)規(guī)則序列目標(biāo)市場資金分配貿(mào)易選擇貨架商品搭配銷售的地理位置NBA布陣金融經(jīng)濟(jì)政府POS.人口統(tǒng)計生命周期體育比賽數(shù)據(jù)決策信息決策第8頁/共53頁數(shù)據(jù)庫技術(shù)的發(fā)展1960s:數(shù)據(jù)搜集,數(shù)據(jù)庫建立,IMS和網(wǎng)絡(luò)DBMS1970s:關(guān)系數(shù)據(jù)模型,關(guān)系DBMS實現(xiàn)1980s:關(guān)系DBMS,先進(jìn)數(shù)據(jù)模型(擴(kuò)展關(guān)系模型,面向?qū)ο?推理,etc.)，面向應(yīng)用DBMS(空間,科學(xué),工程,etc.)1990s:

數(shù)據(jù)挖掘，數(shù)據(jù)倉庫,多媒體數(shù)據(jù)庫,Web數(shù)據(jù)庫2000s流數(shù)據(jù)管理和挖掘數(shù)據(jù)挖掘及應(yīng)用網(wǎng)絡(luò)技術(shù)(XML,數(shù)據(jù)集成)，全球信息系統(tǒng)第9頁/共53頁內(nèi)容課程介紹數(shù)據(jù)挖掘的必要性(Why)數(shù)據(jù)挖掘的內(nèi)涵(What)處理的數(shù)據(jù)(Data)實現(xiàn)的功能(Functionality)主要問題(Issues)系統(tǒng)現(xiàn)狀(Systems)第10頁/共53頁內(nèi)容課程介紹數(shù)據(jù)挖掘的必要性(Why)數(shù)據(jù)挖掘的內(nèi)涵(What)處理的數(shù)據(jù)(Data)實現(xiàn)的功能(Functionality)主要問題(Issues)系統(tǒng)現(xiàn)狀(Systems)第11頁/共53頁What：什么是數(shù)據(jù)挖掘定義從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，是統(tǒng)計學(xué)、數(shù)據(jù)庫技術(shù)和人工智能技術(shù)的綜合。從數(shù)據(jù)中抽取未知的隱含的有用知識。應(yīng)用自動或半自動的方法，對大規(guī)模的數(shù)據(jù)進(jìn)行調(diào)查和分析發(fā)現(xiàn)有意義的模式。別名知識發(fā)現(xiàn)商業(yè)智能datadredginginformationharvestingdataarcheology第12頁/共53頁什么是（或不是）數(shù)據(jù)挖掘不是數(shù)據(jù)挖掘的簡單的搜索和查詢文件查找電話號碼查找網(wǎng)絡(luò)搜索引擎查詢與”華中科技大學(xué)“相關(guān)的信息專家系統(tǒng)是數(shù)據(jù)挖掘的有加工信息的搜索和查詢查詢百家姓的人數(shù)排名關(guān)鍵字搜索學(xué)術(shù)文章，返回帶有”相關(guān)度“信息根據(jù)上下文信息”華中科技大學(xué)“，將相似網(wǎng)頁組織在一起第13頁/共53頁數(shù)據(jù)挖掘的過程數(shù)據(jù)搜集數(shù)據(jù)預(yù)處理DataMining模式解釋和評估問題定義第14頁/共53頁數(shù)據(jù)挖掘步驟問題定義（和領(lǐng)域知識專家一道）挖掘何種知識？明確要求確定可用算法數(shù)據(jù)搜集確定需要用到的數(shù)據(jù)庫和數(shù)據(jù)集數(shù)據(jù)預(yù)處理去噪、缺失值處理、數(shù)據(jù)類型轉(zhuǎn)換、數(shù)據(jù)簡化等數(shù)據(jù)挖掘算法(分類、聚類和序列模式發(fā)現(xiàn)等）數(shù)據(jù)特點結(jié)果表示：描述性或預(yù)測性知識結(jié)果解釋和評估去除冗余可視化第15頁/共53頁數(shù)據(jù)挖掘：多學(xué)科的交叉DataMiningDatabaseTechnologyStatisticsML/AIPatternRecognitionAlgorithmOtherDisciplinesVisualization第16頁/共53頁數(shù)據(jù)挖掘的多面性數(shù)據(jù)面關(guān)系型，流式，數(shù)據(jù)倉庫,事務(wù),面向?qū)ο?空間數(shù)據(jù),時間序列,文本,多媒體,異構(gòu)數(shù)據(jù)庫,WWW知識面特征,識別,關(guān)聯(lián),分類,聚類,趨勢等.集成功能，多級挖掘技術(shù)面數(shù)據(jù)庫技術(shù),數(shù)據(jù)倉庫(OLAP),機(jī)器學(xué)習(xí),統(tǒng)計學(xué),可視化，模式識別等應(yīng)用面零售業(yè),電信,銀行保險,詐騙分析,生物數(shù)據(jù)挖掘,股票市場分析,文本挖掘,web挖掘,上網(wǎng)行為分析等.第17頁/共53頁內(nèi)容課程介紹數(shù)據(jù)挖掘的必要性(Why)數(shù)據(jù)挖掘的內(nèi)涵(What)處理的數(shù)據(jù)(Data)實現(xiàn)的功能(Functionality)主要問題(Issues)系統(tǒng)現(xiàn)狀(Systems)第18頁/共53頁數(shù)據(jù)挖掘處理的數(shù)據(jù)類型RelationalDatabaseDatawarehousesTransactionaldatabasesAdvancedDBandinformationrepositoriesObject-orientedandobject-relationaldatabasesSpatialdatabasesTime-seriesdataandtemporaldataTextdatabasesandmultimediadatabasesHeterogeneousandlegacydatabasesWWW第19頁/共53頁數(shù)據(jù)倉庫從一個或多個數(shù)據(jù)源搜集到的信息儲存庫，存放在一個一致的模式下，通常駐留在單個站點。數(shù)據(jù)清理數(shù)據(jù)變換數(shù)據(jù)集成數(shù)據(jù)裝入定期刷新過程數(shù)據(jù)匯總組織特定主題：顧客、商品和活動等用多維數(shù)據(jù)庫結(jié)構(gòu)建模適合于OLAP清理變換集成裝入刷新數(shù)據(jù)倉庫查詢與分析工具客戶客戶異地數(shù)據(jù)源第20頁/共53頁事務(wù)數(shù)據(jù)庫每個記錄代表一個事務(wù)：包括事務(wù)的唯一標(biāo)識號和組成該事務(wù)的項例：第21頁/共53頁空間數(shù)據(jù)庫包含涉及空間的信息地圖數(shù)據(jù)庫VLSI集成電路蛋白質(zhì)分子3D空間排列第22頁/共53頁時空數(shù)據(jù)庫數(shù)據(jù)在空間上分布，并隨時間變化changeswithtimeEx:森林火災(zāi),運動目標(biāo),颶風(fēng)和地震第23頁/共53頁多媒體數(shù)據(jù)庫圖像、視頻和音頻數(shù)據(jù)。(image/videoretrieval)第24頁/共53頁Web數(shù)據(jù)Title:CNN.comInternationalH1:IAEA:IranhadsecretnukeagendaH3:EXPLOSIONSROCKBAGHDAD…TEXTBODY(withpositionandfonttype):TheInternationalAtomicEnergyAgencyhasconcludedthatIranhassecretlyproducedsmallamountsofnuclearmaterialsincludinglowenricheduraniumandplutoniumthatcouldbeusedtodevelopnuclearweaponsaccordingtoaconfidentialreportobtainedbyCNN…Hyperlink:URL:/...AnchorText:AIoaeda…Image:

URL:/image/...Alt&Caption:Irannuclear…AnchorText:CNNHomepageNews…第25頁/共53頁內(nèi)容課程介紹數(shù)據(jù)挖掘的必要性(Why)數(shù)據(jù)挖掘的內(nèi)涵(What)處理的數(shù)據(jù)(Data)實現(xiàn)的功能(Functionality)主要問題(Issues)系統(tǒng)現(xiàn)狀(Systems)第26頁/共53頁數(shù)據(jù)挖掘分類：知識面描述性數(shù)據(jù)挖掘：找出用于人解釋的數(shù)據(jù)描述模式預(yù)測式數(shù)據(jù)挖掘：用一些變量預(yù)測其它變量的未知或?qū)碇得枋鲂灶A(yù)測式聚類分析關(guān)聯(lián)分析序列分析回歸分析偏差檢測分類第27頁/共53頁數(shù)據(jù)挖掘的功能(1)：分類ClassificationAnalysis基于訓(xùn)練集構(gòu)建模型（函數(shù)）目標(biāo)：給新的記錄盡可能準(zhǔn)確地賦以某個類屬以測試集描述模型的分類精度Example屬性TestSetTrainingSetModelLearnClassifier屬性屬性類別第28頁/共53頁分類的典型應(yīng)用－1天體分類EarlyIntermediateLate數(shù)據(jù)量:7億2千萬星球,2千萬星系目標(biāo)目錄:9GB圖像數(shù)據(jù)庫:150GB

類別:形成的階段屬性:圖像特征,接受到的光特征,etc.第29頁/共53頁分類的典型應(yīng)用－2直接的市場推廣目標(biāo):減少郵寄費用而探知客戶購買新手機(jī)的可能性.方法:使用以前此類產(chǎn)品的市場數(shù)據(jù).所知道的客戶買賣此類產(chǎn)品的信息

{buy,don’tbuy}

形成了類屬性.搜集此類客戶的人口統(tǒng)計、生活方式以及公司溝通等相關(guān)信息交易類型,生活地,收入等.使用這些信息作為輸入屬性學(xué)習(xí)分類模型.第30頁/共53頁數(shù)據(jù)挖掘的功能(2)：聚類分析ClusterAnalysis無監(jiān)督學(xué)習(xí)根據(jù)其屬性相似度，將數(shù)據(jù)點集分成多個聚類準(zhǔn)則：類間距離大，類內(nèi)距離小相似性測度：歐氏距離，馬氏距離及其它和問題相關(guān)的距離Example

類內(nèi)距離最小類間距離最大第31頁/共53頁聚類的典型應(yīng)用－1細(xì)分市場:目標(biāo):將市場劃分為不同客戶子群，任何一個子客戶群都可以被不同的市場策略定位為目標(biāo)客戶。方法:根據(jù)地域和生活方式等信息，搜集客戶的不同屬性找出相似客戶群聚類通過觀察同一類客戶人群對不同類客戶人群的購物模式度量聚類的效果。第32頁/共53頁聚類的典型應(yīng)用－2文檔聚類:目標(biāo):將同時出現(xiàn)重要詞條的相似性文檔組合在一起.方法:識別出在每個文檔均頻繁出現(xiàn)的詞條.基于不同詞條的出現(xiàn)頻率形成相似性測度，據(jù)此聚類用處:信息搜索技術(shù)使用聚類技術(shù)可將新文檔和聚類文檔關(guān)聯(lián)起來，或者從聚類文檔中找出關(guān)鍵詞。聚類的點:ChinaDaily的3204篇文章.相似性測度:多少單詞是同時出現(xiàn)的(單詞過濾后，the,it).第33頁/共53頁數(shù)據(jù)挖掘的功能(3)：關(guān)聯(lián)規(guī)則AssociationRuleDiscovery給定一個記錄集，每個記錄包含多個條目產(chǎn)生依賴規(guī)則，基于已發(fā)生的條目預(yù)測條目的發(fā)生主要問題關(guān)聯(lián)vs.偶然性典型的關(guān)聯(lián)規(guī)則描述DiaperBeer[0.5%,75%](support,confidence)用什么方法從大數(shù)據(jù)集中挖掘該規(guī)則或模式?怎么使用模式完成聚類、分類等其它任務(wù)?第34頁/共53頁關(guān)聯(lián)規(guī)則的典型應(yīng)用超市貨架管理目標(biāo):識別出被足夠多的消費者同時購買的商品方法:處理從條形碼掃描得到的銷售數(shù)據(jù)，尋找商品間的相關(guān)性典型的規(guī)則--若消費者購買尿布和牛奶，同時可能會購買啤酒因此,不必驚訝于尿布邊堆了幾十箱啤酒發(fā)現(xiàn)的規(guī)則:

{Milk}-->{Coke}{Diaper,Milk}-->{Beer}第35頁/共53頁數(shù)據(jù)挖掘的功能(4)：序列分析SequenceAnalysis給定對象集，每個對象對應(yīng)一個順序事件（時間順序）先買相機(jī)，再買SD卡尋找模式，該模式給出了事件發(fā)生的順序約束總結(jié)數(shù)據(jù)序列或事件檢測數(shù)據(jù)隨時間的變化檢測知識隨時間的變化(AB)(C)(DE)(AB)(C)(DE)<=ms<=xg

>ng<=ws第36頁/共53頁序列分析的典型應(yīng)用網(wǎng)頁訪問習(xí)慣調(diào)查訪問記錄CASE:UserU2008:visited{page0,page2,page13,page17}數(shù)據(jù)的序列Page0（90％）Page10（2％）Page15Page1Page17Page560%20%40%100%100%第37頁/共53頁數(shù)據(jù)挖掘的功能(5)：偏差檢測Deviation/AnomalyDetection

檢測明顯異于正常行為的事件應(yīng)用:信用卡詐騙網(wǎng)絡(luò)入侵第38頁/共53頁數(shù)據(jù)挖掘的其它功能孤立點分析(Outlieranalysis)和數(shù)據(jù)一般行為不一致的數(shù)據(jù)點噪聲還是異常?―對某人是垃圾信息對其它人可能是財寶檢測稀有發(fā)生的事件回歸分析(RegressionAnalysis)基于線性或非線性的相關(guān)模型，根據(jù)已知的連續(xù)變量預(yù)測某個連續(xù)變量的值在統(tǒng)計學(xué)和神經(jīng)網(wǎng)絡(luò)中研究廣泛而深入.根據(jù)廣告投入預(yù)測新產(chǎn)品的銷售量根據(jù)溫度、濕度和空氣壓力預(yù)測風(fēng)速第39頁/共53頁挖掘模式的評價興趣度－模式易于理解數(shù)據(jù)檢驗有效潛在有用新穎的客觀的評價支持度置信度主觀評價第40頁/共53頁ICDM’06選取的Top-10經(jīng)典算法#1:C4.5(61votes)#2:K-Means(60votes)#3:SVM(58votes)#4:Apriori(52votes)#5:EM(48votes)#6:PageRank(46votes)#7:AdaBoost(45votes)#7:kNN(45votes)#7:NaiveBayes(45votes)#10:CART(34votes)第41頁/共53頁內(nèi)容課程介紹數(shù)據(jù)挖掘的必要性(Why)數(shù)據(jù)挖掘的內(nèi)涵(What)處理的數(shù)據(jù)(Data)實現(xiàn)的功能(Functionality)主要問題(Issues)系統(tǒng)現(xiàn)狀(Systems)第42頁/共53頁數(shù)據(jù)挖掘的主要問題挖掘的方法從不同的數(shù)據(jù)類型如生物、流數(shù)據(jù)、網(wǎng)頁等挖掘不同類型的知識性能:效率,效果和可擴(kuò)展性模式評價：模式的興趣度背景知識的結(jié)合處理噪聲和不完備數(shù)據(jù)并行分布式的開放式挖掘方法發(fā)現(xiàn)的知識和已有知識的集成:知識融合用戶交互數(shù)據(jù)挖掘查詢語言和專業(yè)挖掘數(shù)據(jù)挖掘結(jié)果的表達(dá)和可視化多級抽象的交互式知識挖掘應(yīng)用和社會作用專門領(lǐng)域數(shù)據(jù)挖掘和不可見數(shù)據(jù)挖掘數(shù)據(jù)安全、完整和隱私的保護(hù)第43頁/共53頁ABriefHistoryofDataMiningSociety1989IJCAIWorkshoponKnowledgeDiscoveryinDatabasesKnowledgeDiscoveryinDatabases(G.Piatetsky-ShapiroandW.Frawley,1991)1991-1994WorkshopsonKnowledgeDiscoveryinDatabasesAdvancesinKnowledgeDiscoveryandDataMining(U.Fayyad,G.Piatetsky-Shapiro,P.Smyth,andR.Uthurusamy,1996)1995-1998InternationalConferencesonKnowledgeDiscoveryinDatabasesandDataMining(KDD’95-98)JournalofDataMiningandKnowledgeDiscovery(1997)ACMSIGKDDconferencessince1998andSIGKDDExplorationsMoreconferencesondataminingPAKDD(1997),PKDD(1997),SIAM-DataMining(2001),(IEEE)ICDM(2001),etc.ACMTransactionsonKDDstartingin2007第44頁/共53頁ConferencesandJournalsonDataMiningKDDConferencesACMSIGKDDInt.Conf.onKnowledgeDiscoveryinDatabasesandDataMining(KDD)SIAMDataMiningConf.(SDM)(IEEE)Int.Conf.onDataMining(ICDM)Conf.onPrinciplesandpracticesofKnowledgeDiscoveryandDataMining(PKDD)Pacific-AsiaConf.onKnowledgeDiscoveryandDataMining(PAKDD)OtherrelatedconferencesACMSIGMODVLDB(IEEE)ICDEWWW,SIGIRICML,CVPR,NIPSJournalsDataMiningandKnowledgeDiscovery(DAMIorDMKD)IEEETrans.OnKnowledgeandDataEng.(TKDE)KDDExplorationsACMTrans.onKDD第45頁/共53頁內(nèi)容課程介紹數(shù)據(jù)挖掘的必要性(Why)數(shù)據(jù)挖掘的內(nèi)涵(What)處理的數(shù)據(jù)(Data)實現(xiàn)的功能(Functionality)主要問題(Issues)系統(tǒng)現(xiàn)狀(Systems)第46頁/共53頁典型的數(shù)據(jù)挖掘系統(tǒng)datacleaning,integration,andselection數(shù)據(jù)庫或數(shù)據(jù)倉庫服務(wù)器數(shù)據(jù)挖掘引擎模式評價用戶界面知識庫數(shù)據(jù)庫數(shù)據(jù)倉庫網(wǎng)頁其它數(shù)據(jù)第47頁/共53頁數(shù)據(jù)挖掘系統(tǒng)的軟件系統(tǒng)架構(gòu)MISERPCRME_BusinessCDW客戶數(shù)據(jù)倉庫數(shù)據(jù)挖掘算法庫模型庫組件庫產(chǎn)品推薦客戶細(xì)分客戶流失客戶利潤客戶響應(yīng)…行業(yè)應(yīng)用知識CIAS應(yīng)用服務(wù)器信息系統(tǒng)行業(yè)分析數(shù)據(jù)挖掘應(yīng)用平臺CIAS來源：，朱揚勇第48頁/共53頁數(shù)據(jù)挖掘軟件系統(tǒng)的發(fā)展代特征數(shù)據(jù)挖掘算法集成分布計算模型數(shù)據(jù)模型第一代作為一個獨立的應(yīng)用支持一個或者多個算法獨立的系統(tǒng)單個機(jī)器向量數(shù)據(jù)第二代和數(shù)據(jù)庫以及數(shù)據(jù)倉庫集成多個算法：能夠挖掘一次不能放進(jìn)內(nèi)存的數(shù)據(jù)數(shù)據(jù)管理系統(tǒng)，包括數(shù)據(jù)庫和數(shù)據(jù)倉庫同質(zhì)、局部區(qū)域的計算機(jī)集群有些系統(tǒng)支持對象,文本和連續(xù)的媒體數(shù)據(jù)第三代和預(yù)言模型系統(tǒng)集成

多個算法數(shù)據(jù)管理和預(yù)言模型系統(tǒng)數(shù)據(jù)管理和預(yù)言模型系統(tǒng)intrane