數(shù)據(jù)倉庫與數(shù)據(jù)挖掘概述課件

高性能計算其他數(shù)據(jù)庫統(tǒng)計學可視化數(shù)據(jù)挖掘數(shù)據(jù)倉庫與數(shù)據(jù)挖掘是一個多學科領(lǐng)域，從多個學科汲取營養(yǎng)。這些學科包括數(shù)據(jù)庫技術(shù)、人工智能、機器學習、神經(jīng)網(wǎng)絡、統(tǒng)計學、模式識別、知識庫系統(tǒng)、知識獲取、信息檢索、高信能計算和數(shù)據(jù)可視化。本課程以數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的基本概念和基本方法為主要內(nèi)容，以方法的應用為主線，系統(tǒng)敘述數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的有關(guān)概念和基礎知識，使學生盡快掌握數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的基本概念，基本方法和應用背景。課程介紹教學目的本課程的目的主要是要求學生能對數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的基本方法和基本概念有整體的了解，掌握建立數(shù)據(jù)倉庫的原理和方法,從理論上掌握數(shù)據(jù)倉庫、OLAP聯(lián)機分析的基本概念、原理、主要算法及應用，對數(shù)據(jù)挖掘的關(guān)聯(lián)規(guī)則，分類方法，聚類方法有深入的了解，并能夠在Clementine軟件使用過程中熟練掌握這些方法。Clementine介紹1999年SPSS公司收購了ISL公司，對Clementine產(chǎn)品進行重新整合和開發(fā)，現(xiàn)在Clementine已經(jīng)成為SPSS公司的又一亮點。作為一個數(shù)據(jù)挖掘平臺，Clementine結(jié)合商業(yè)技術(shù)可以快速建立預測性模型，進而應用到商業(yè)活動中，幫助人們改進決策過程。強大的數(shù)據(jù)挖掘功能和顯著的投資回報率使得Clementine在業(yè)界久負盛譽。同那些僅僅著重于模型的外在表現(xiàn)而忽略了數(shù)據(jù)挖掘在整個業(yè)務流程中的應用價值的其它數(shù)據(jù)挖掘工具相比，Clementine其功能強大的數(shù)據(jù)挖掘算法，使數(shù)據(jù)挖掘貫穿業(yè)務流程的始終，在縮短投資回報周期的同時極大提高了投資回報率。CRossIndustryStandardProcess-forDataMining6個步驟業(yè)務理解數(shù)據(jù)理解數(shù)據(jù)準備建模模型評估模型部署EaseofUse:Theuserinterface數(shù)據(jù)抽取、轉(zhuǎn)換、加載第1章

數(shù)據(jù)倉庫與數(shù)據(jù)挖掘概述

數(shù)據(jù)倉庫、數(shù)據(jù)挖掘和聯(lián)機分析處理（OLAP）結(jié)合起來，完成支持決策的系統(tǒng)，稱為決策支持系統(tǒng)（DSS）。數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、聯(lián)機分析處理等結(jié)合起來的技術(shù)稱為商業(yè)智能（BI）。商業(yè)智能是一種新的智能技術(shù)。

1.1數(shù)據(jù)倉庫的興起1.2數(shù)據(jù)挖掘的興起1.3

數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的結(jié)合1.1.1從數(shù)據(jù)庫到數(shù)據(jù)倉庫（1）“數(shù)據(jù)太多，信息不足”的現(xiàn)狀（2）異構(gòu)環(huán)境的數(shù)據(jù)的轉(zhuǎn)換和共享

（3）利用數(shù)據(jù)進行數(shù)據(jù)處理轉(zhuǎn)換為利用數(shù)據(jù)支持決策1.數(shù)據(jù)庫用于事務處理數(shù)據(jù)庫作為數(shù)據(jù)資源用于管理業(yè)務中的事務處理。它已經(jīng)成為了成熟的信息基礎設施。數(shù)據(jù)庫中存放的數(shù)據(jù)基本上是保存當前數(shù)據(jù)，隨著業(yè)務的變化隨時在更新數(shù)據(jù)庫中的數(shù)據(jù)。不同的管理業(yè)務需要建立不同的數(shù)據(jù)庫。例如，銀行中儲蓄業(yè)務、信用卡業(yè)務分別要建立儲蓄數(shù)據(jù)庫和信用卡數(shù)據(jù)庫。數(shù)據(jù)倉庫（DataWarehouse，DW）面向主題的、集成的、穩(wěn)定的、隨時間不斷變化的數(shù)據(jù)庫系統(tǒng)ETL數(shù)據(jù)抽?。‥xtraction）數(shù)據(jù)轉(zhuǎn)換（Transformation）數(shù)據(jù)加載（Loading）（1）W.H.Inmon在《建立數(shù)據(jù)倉庫》一書中，對數(shù)據(jù)倉庫的定義為：

數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的，不同時間的數(shù)據(jù)集合，用于支持經(jīng)營管理中決策制定過程。1.數(shù)據(jù)倉庫定義（2）SAS軟件研究所觀點：

數(shù)據(jù)倉庫是一種管理技術(shù)，旨在通過通暢、合理、全面的信息管理，達到有效的決策支持。2.數(shù)據(jù)倉庫特點（1）數(shù)據(jù)倉庫是面向主題的主題是數(shù)據(jù)歸類的標準，每一個主題基本對應一個宏觀的分析領(lǐng)域。例如，銀行的數(shù)據(jù)倉庫的主題：客戶

DW的客戶數(shù)據(jù)來源：從銀行儲蓄DB、信用卡DB、貸款DB等三個DB中抽取同一客戶的數(shù)據(jù)整理而成。

在DW中能全面地分析客戶數(shù)據(jù)，再決定是否繼續(xù)給予貸款。（2）數(shù)據(jù)倉庫是集成的數(shù)據(jù)進入數(shù)據(jù)倉庫之前，必須經(jīng)過加工與集成。對不同的數(shù)據(jù)來源進行統(tǒng)一數(shù)據(jù)結(jié)構(gòu)和編碼。統(tǒng)一原始數(shù)據(jù)中的所有矛盾之處，如字段的同名異義，異名同義，單位不統(tǒng)一，字長不一致等。將原始數(shù)據(jù)結(jié)構(gòu)做一個從面向應用到面向主題的大轉(zhuǎn)變。

（5）數(shù)據(jù)倉庫的數(shù)據(jù)量很大大型DW的數(shù)據(jù)是一個TB（1000GB）級數(shù)據(jù)量（一般為10GB級DW，相當于一般數(shù)據(jù)庫100MB的100倍）

（6）數(shù)據(jù)倉庫軟、硬件要求較高

需要一個巨大的硬件平臺需要一個并行的數(shù)據(jù)庫系統(tǒng)3.數(shù)據(jù)庫與數(shù)據(jù)倉庫對比1.1.2從OLTP到OLAP1.聯(lián)機事物處理（OLTP）2.聯(lián)機分析處理（OLAP）3.OLTP與OLAP的對比OLTP主要用于包括銀行業(yè)、航空、郵購訂單、超級市場和制造業(yè)等的輸入數(shù)據(jù)和取回交易數(shù)據(jù)。如銀行為分布在各地的自動取款機

(ATM)完成即時取款交易；機票預定系統(tǒng)能每秒處理的定票事務峰值可以達到20000個。OLTP是事務處理從單機到網(wǎng)絡環(huán)境地發(fā)展新階段。OLTP的特點在于事務處理量大，應用要求多個并行處理，事務處理內(nèi)容比較簡單且重復率高。大量的數(shù)據(jù)操作主要涉及的是一些增加、刪除、修改、查詢等操作。每次操作的數(shù)據(jù)量不大且多為當前的數(shù)據(jù)。

OLAP（On-LineAnalyticalProcessing）商務智能的直接數(shù)據(jù)來源？OLTP?數(shù)據(jù)倉庫？多維數(shù)據(jù)集?什么是多維數(shù)據(jù)集？“多維數(shù)據(jù)集是一種結(jié)構(gòu)，包含了一個或多個度量。這些度量用于所有維度的成員的每個唯一組合。”O(jiān)LAP專門用于支持復雜的決策分析操作，側(cè)重對分析人員和高層管理人員的決策支持，OLAP可以應分析人員的要求快速、靈活地進行大數(shù)據(jù)量的復雜處理，并且以一種直觀易懂地形式將查詢結(jié)果提供給決策制定人OLAP軟件，以它先進地分析功能和以多維形式提供數(shù)據(jù)的能力，正作為一種支持企業(yè)關(guān)鍵商業(yè)決策的解決方案而迅速崛起。OLAP的基本思想是決策者從多方面和多角度以多維的形式來觀察企業(yè)的狀態(tài)和了解企業(yè)的變化。3.OLTP與OLAP的對比OLTPOLAP細節(jié)性數(shù)據(jù)綜合性數(shù)據(jù)當前數(shù)據(jù)歷史數(shù)據(jù)經(jīng)常更新不更新，但周期性刷新一次性處理的數(shù)據(jù)量小一次處理的數(shù)據(jù)量大對響應時間要求高響應時間合理面向應用，事務驅(qū)動面向分析，分析驅(qū)動1.2數(shù)據(jù)挖掘的興起1.2.1從機器學習到數(shù)據(jù)挖掘1.2.2數(shù)據(jù)挖掘含義1.2.3數(shù)據(jù)挖掘與OLAP的比較1.2.4數(shù)據(jù)挖掘與統(tǒng)計學1.2.1從機器學習到數(shù)據(jù)挖掘?qū)W習是人類具有的智能行為，主要在于獲取知識。機器學習是研究使計算機模擬或?qū)崿F(xiàn)人類的學習行為，即讓計算機通過算法自動獲取知識。機器學習是人工智能領(lǐng)域中的重要研究方向。20世紀60年代開始了機器學習的研究。

(1)1980年在美國召開了第一屆國際機器學習研討會；明確了機器學習是人工智能的重要研究方向(2)1989年8月于美國底特律市召開的第一屆知識發(fā)現(xiàn)（KDD）國際學術(shù)會議；

首次提出知識發(fā)現(xiàn)概念(3)1995年在加拿大召開了第一屆知識發(fā)現(xiàn)和數(shù)據(jù)挖掘（DM）國際學術(shù)會議；首次提出數(shù)據(jù)挖掘概念(4)我國于1987年召開了第一屆全國機器學習研討會。1.2.2數(shù)據(jù)挖掘含義知識發(fā)現(xiàn)（KDD）：從數(shù)據(jù)中發(fā)現(xiàn)有用知識的整個過程。數(shù)據(jù)挖掘（DM）：KDD過程中的一個特定步驟，它用專門算法從數(shù)據(jù)中抽取知識。如在人類數(shù)據(jù)庫中挖掘知識為：（頭發(fā)=黑色）∨（眼睛=黑色）→亞洲人該知識覆蓋了所有亞州人的記錄。

數(shù)據(jù)挖掘做什么？預測未來發(fā)生的事情(分類與回歸)將人或事物按照屬性聚類關(guān)聯(lián)可能一起發(fā)生的事件（購物籃）確定事件發(fā)生的序列（股票漲落）異常檢測數(shù)據(jù)挖掘啤酒與尿布的故事：在一家超市里，有一個有趣的現(xiàn)象：尿布和啤酒赫然擺在一起出售，但是這個奇怪的舉措?yún)s使尿布和啤酒的銷量雙雙增加了。原來，美國的婦女們經(jīng)常會囑咐她們的丈夫下班以后要為孩子買尿布。而丈夫在買完尿布之后又要順手買回自己愛喝的啤酒，因此啤酒和尿布在一起購買的機會還是很多的。1.2.3數(shù)據(jù)挖掘與OLAP的比較1.OLAP的多維分析OLAP的典型應用，通過商業(yè)活動變化的查詢發(fā)現(xiàn)的問題，經(jīng)過追蹤查詢找出問題出現(xiàn)的原因，達到輔助決策的作用。

2.數(shù)據(jù)挖掘數(shù)據(jù)挖掘任務在于聚類（如神經(jīng)網(wǎng)絡聚類）、分類（如決策樹分類）、預測等。1.2.4數(shù)據(jù)挖掘與統(tǒng)計學統(tǒng)計學與國家政治有緊密的關(guān)系。支配著社會現(xiàn)象的法則和方法是概率論。通過對全部對象（總體）進行調(diào)查，為制定計劃和決策提供依據(jù)。統(tǒng)計學與數(shù)據(jù)挖掘的比較

統(tǒng)計學主要是對數(shù)量數(shù)據(jù)（數(shù)值）或連續(xù)值數(shù)據(jù)（如年齡、工資等），進行數(shù)值計算（如初等運算）的定量分析，得到數(shù)量信息。數(shù)據(jù)挖掘主要對離散數(shù)據(jù)（如職稱、病癥等）進行定性分析（覆蓋、歸納等），得到規(guī)則知識。統(tǒng)計學與數(shù)據(jù)挖掘是有區(qū)別的。但是，它們之間是相互補充的。1.3數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的結(jié)合1.3.1數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的區(qū)別與聯(lián)系1.3.2基于數(shù)據(jù)倉庫的決策支持系統(tǒng)1.3.3數(shù)據(jù)倉庫與商業(yè)智能1.3.1數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的區(qū)別與聯(lián)系1.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的區(qū)別2.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的關(guān)系3.數(shù)據(jù)倉庫中數(shù)據(jù)存儲特點4.數(shù)據(jù)倉庫中數(shù)據(jù)挖掘特點1.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的區(qū)別數(shù)據(jù)倉庫是一種存儲技術(shù)，它能適應于不同用戶對不同決策需要提供所需的數(shù)據(jù)和信息。數(shù)據(jù)挖掘研究各種方法和技術(shù)，從大量的數(shù)據(jù)中挖掘出有用的信息和知識。2.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的關(guān)系數(shù)據(jù)倉庫與數(shù)據(jù)挖掘都是決策支持新技術(shù)。但它們有著完全不同的輔助決策方式。在數(shù)據(jù)倉庫系統(tǒng)的前端的分析工具中，數(shù)據(jù)挖掘是其中重要工具之一。它可以幫助決策用戶挖掘數(shù)據(jù)倉庫的數(shù)據(jù)中隱含的規(guī)律性。數(shù)據(jù)挖掘用于數(shù)據(jù)倉庫實現(xiàn)決策支持：（1）預測客戶購買傾向；（2）客戶利潤貢獻度分析；（3）分析欺詐行為；（4）銷售渠道優(yōu)化分析等。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的結(jié)合對支持決策會起更大的作用。3.數(shù)據(jù)倉庫中數(shù)據(jù)挖掘特點（1）數(shù)據(jù)挖掘從數(shù)據(jù)倉庫中挖掘更深層次的信息（2）數(shù)據(jù)倉庫為數(shù)據(jù)挖掘提出了新要求①數(shù)據(jù)挖掘需要可擴展性②數(shù)據(jù)挖掘方法需要能挖掘多維知識數(shù)據(jù)倉庫中有大量的綜合數(shù)據(jù)，為決策者提供了綜合信息。數(shù)據(jù)倉庫保存有大量歷史數(shù)據(jù)，通過預測模型計算可以得到預測信息。聯(lián)機分析處理（OLAP）對數(shù)據(jù)倉庫中的數(shù)據(jù)進行多維數(shù)據(jù)分析，即多維數(shù)據(jù)的切片、切塊、旋轉(zhuǎn)、鉆取等，得到更深層中的信息和知識。數(shù)據(jù)挖掘（DM）技術(shù)能獲取關(guān)聯(lián)知識、時序知識、聚類知識、分類知識等。數(shù)據(jù)倉庫（DW）、聯(lián)機分析處理（OLAP）、數(shù)據(jù)挖掘（DM）等結(jié)合，形成決策支持系統(tǒng)。1.3.3數(shù)據(jù)倉庫與商業(yè)智能1.商業(yè)智能的概念2.商業(yè)智能輔助制定更好更快的決策1.商業(yè)智能的概念商業(yè)智能以數(shù)據(jù)倉庫為基礎，通過聯(lián)機分析處理和數(shù)據(jù)挖掘技術(shù)幫助企業(yè)領(lǐng)導者針對市場變化的環(huán)境，做出快速、準確的決策。商業(yè)智能與決策支持系統(tǒng)從組成和目標來看是一致的。但是，商業(yè)智能是一種技術(shù)，決策支持系統(tǒng)是解決實際決策問題的一個系統(tǒng)?？梢岳斫鉃椋簺Q策支持系統(tǒng)是利用商業(yè)智能技術(shù)來解決實際決策問題的系統(tǒng)。2.商業(yè)智能輔助制定更好更快的決策（1）信息共享（2）實時反饋分析（3）鼓勵用戶找出問題的根本原因（4）使用主動智能（5）實時智能BI系統(tǒng)架構(gòu)-1數(shù)據(jù)庫業(yè)務數(shù)據(jù)庫添加、修改、刪除；查詢、統(tǒng)計、歸檔；存儲、集群、備份、遷移數(shù)據(jù)倉庫ETL數(shù)據(jù)挖掘模型多維分析模型分析展現(xiàn)挖掘展現(xiàn)門戶集成BI的三個層次用戶數(shù)增加報表分析OLAPDM復雜度增加我知道它現(xiàn)在是怎樣的我知道它為什么是這樣我知道它以后會是怎樣主流商務智能產(chǎn)品介紹-1廠商產(chǎn)品及簡介IBMDB2以及Cognos、SPSS、DataStage，覆蓋BI全部領(lǐng)域OracleOracle、Hyperion(海波龍

)，覆蓋BI全部領(lǐng)域，數(shù)據(jù)挖掘領(lǐng)域有待加強Micros