第1章__數(shù)據(jù)倉庫的概念與體系結構ppt課件

1、第第1章章 數(shù)據(jù)倉庫數(shù)據(jù)倉庫的概念與體系結構的概念與體系結構 謝紅俠1.1 數(shù)據(jù)倉庫的概念、特點與組成數(shù)據(jù)倉庫的概念、特點與組成l數(shù)據(jù)倉庫的概念數(shù)據(jù)倉庫的概念l數(shù) 據(jù) 倉 庫 就 是 一 個 面 向 主 題 的數(shù) 據(jù) 倉 庫 就 是 一 個 面 向 主 題 的Subject Oriented）、集成的）、集成的Integrate）、相對穩(wěn)定的）、相對穩(wěn)定的Non-Volatile）、反映歷史變化）、反映歷史變化Time Variant的數(shù)據(jù)集合，通常用于輔助的數(shù)據(jù)集合，通常用于輔助決策支持決策支持DDS） 1.1 數(shù)據(jù)倉庫的概念、特點與組成數(shù)據(jù)倉庫的概念、特點與組成l數(shù)據(jù)倉庫的特點：數(shù)據(jù)倉庫的

2、特點：l面向主題；面向主題；l集成的；集成的；l相對穩(wěn)定的；相對穩(wěn)定的；l反映歷史變化。反映歷史變化。1.1 數(shù)據(jù)倉庫的概念、特點與組成數(shù)據(jù)倉庫的概念、特點與組成l數(shù)據(jù)倉庫的組成：數(shù)據(jù)倉庫的組成：l數(shù)據(jù)倉庫數(shù)據(jù)庫；數(shù)據(jù)倉庫數(shù)據(jù)庫；l數(shù)據(jù)抽取工具；數(shù)據(jù)抽取工具；l元數(shù)據(jù)：技術元數(shù)據(jù)與業(yè)務元數(shù)據(jù)；元數(shù)據(jù)：技術元數(shù)據(jù)與業(yè)務元數(shù)據(jù)；l訪問工具；訪問工具；l數(shù)據(jù)集市數(shù)據(jù)集市Data Marts）；）；l數(shù)據(jù)倉庫管理；數(shù)據(jù)倉庫管理；l信息發(fā)布系統(tǒng)。信息發(fā)布系統(tǒng)。1.2 數(shù)據(jù)挖掘的概念與方法數(shù)據(jù)挖掘的概念與方法l數(shù)據(jù)挖掘的概念數(shù)據(jù)挖掘的概念l數(shù)據(jù)挖掘數(shù)據(jù)挖掘(Data Mining)，就是從大量，就是從大量

3、數(shù)據(jù)中獲取有效的、新穎的、潛在有數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過用的、最終可理解的模式的非平凡過程，簡單的說，數(shù)據(jù)挖掘就是從大量程，簡單的說，數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中提取或數(shù)據(jù)中提取或“挖掘知識，又被稱挖掘知識，又被稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)為數(shù)據(jù)庫中的知識發(fā)現(xiàn)(Knowledge Discovery in Database, KDD) 1.2 數(shù)據(jù)挖掘的概念與方法數(shù)據(jù)挖掘的概念與方法l數(shù)據(jù)挖掘的方法：數(shù)據(jù)挖掘的方法：l直接數(shù)據(jù)挖掘直接數(shù)據(jù)挖掘l間接數(shù)據(jù)挖掘。間接數(shù)據(jù)挖掘。1.2 數(shù)據(jù)挖掘的概念與方法數(shù)據(jù)挖掘的概念與方法l數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的關系數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的

4、關系l若將數(shù)據(jù)倉庫若將數(shù)據(jù)倉庫Data Warehouse比作礦井，那么數(shù)據(jù)挖掘比作礦井，那么數(shù)據(jù)挖掘Data Mining就是深入礦井采礦的工作就是深入礦井采礦的工作 l數(shù)據(jù)挖掘是從數(shù)據(jù)倉庫中找出有用信數(shù)據(jù)挖掘是從數(shù)據(jù)倉庫中找出有用信息的一種過程與技術息的一種過程與技術 1.3 數(shù)據(jù)倉庫的技術、方法與產(chǎn)品數(shù)據(jù)倉庫的技術、方法與產(chǎn)品l聯(lián)機事務處理聯(lián)機事務處理OLTP與聯(lián)機分析與聯(lián)機分析處理處理OLAP的比較；的比較；lOLAP技術的有關概念技術的有關概念 ：多維數(shù)據(jù)集、：多維數(shù)據(jù)集、維度、度量值和多維分析；維度、度量值和多維分析；lOLAP根據(jù)其存儲數(shù)據(jù)的方式可分為根據(jù)其存儲數(shù)據(jù)的方式可分為三

5、類：三類：ROLAP、MOLAP、HOLAP lOLAP工具工具 1.3 數(shù)據(jù)倉庫的技術、方法與產(chǎn)品數(shù)據(jù)倉庫的技術、方法與產(chǎn)品l數(shù)據(jù)倉庫實施中的三個關鍵環(huán)節(jié)數(shù)據(jù)倉庫實施中的三個關鍵環(huán)節(jié)l數(shù)據(jù)抽??；數(shù)據(jù)抽取；l數(shù)據(jù)存儲與管理數(shù)據(jù)存儲與管理l數(shù)據(jù)表現(xiàn)數(shù)據(jù)表現(xiàn) 1.3 數(shù)據(jù)倉庫的技術、方法與產(chǎn)品數(shù)據(jù)倉庫的技術、方法與產(chǎn)品l數(shù)據(jù)倉庫實施方法論數(shù)據(jù)倉庫實施方法論l數(shù)據(jù)倉庫不是簡單的數(shù)據(jù)或產(chǎn)品堆數(shù)據(jù)倉庫不是簡單的數(shù)據(jù)或產(chǎn)品堆砌，它是一個綜合集成解決方案和砌，它是一個綜合集成解決方案和系統(tǒng)工程。在數(shù)據(jù)倉庫的實施過程系統(tǒng)工程。在數(shù)據(jù)倉庫的實施過程中，技術決策至關重要，技術選擇中，技術決策至關重要，技術選擇或決

6、策錯誤很可能導致項目實施失或決策錯誤很可能導致項目實施失敗敗 1.3 數(shù)據(jù)倉庫的技術、方法與產(chǎn)品數(shù)據(jù)倉庫的技術、方法與產(chǎn)品l常用數(shù)據(jù)倉庫產(chǎn)品比較常用數(shù)據(jù)倉庫產(chǎn)品比較l常用常用OLAP工具介紹工具介紹 ；l各數(shù)據(jù)倉庫廠商提供的解決方案各數(shù)據(jù)倉庫廠商提供的解決方案 l IBM、Oracle、NCR、Microsoft、SAS等等1.4 數(shù)據(jù)倉庫系統(tǒng)的體系結構數(shù)據(jù)倉庫系統(tǒng)的體系結構l數(shù)據(jù)倉庫系統(tǒng)的體系結構的分類數(shù)據(jù)倉庫系統(tǒng)的體系結構的分類l（1兩層架構兩層架構Generic Two-Level Architecture）。）。l（2獨立型數(shù)據(jù)集市獨立型數(shù)據(jù)集市Independent Data Mar

7、t）。）。l（3依賴型數(shù)據(jù)集市和操作型數(shù)據(jù)存儲依賴型數(shù)據(jù)集市和操作型數(shù)據(jù)存儲Dependent Data Mart and Operational Data Store）。）。l（4邏輯型數(shù)據(jù)集市和實時數(shù)據(jù)倉庫邏輯型數(shù)據(jù)集市和實時數(shù)據(jù)倉庫Logical Data Mart and Real-Time Data Warehouse）。）。1.4 數(shù)據(jù)倉庫系統(tǒng)的體系結構數(shù)據(jù)倉庫系統(tǒng)的體系結構l兩層數(shù)據(jù)倉庫體系結構兩層數(shù)據(jù)倉庫體系結構 1.4 數(shù)據(jù)倉庫系統(tǒng)的體系結構數(shù)據(jù)倉庫系統(tǒng)的體系結構l基于獨立數(shù)據(jù)集市的數(shù)據(jù)倉庫體系結構基于獨立數(shù)據(jù)集市的數(shù)據(jù)倉庫體系結構 1.4 數(shù)據(jù)倉庫系統(tǒng)的體系結構數(shù)據(jù)倉庫系統(tǒng)

8、的體系結構l基于依賴型數(shù)據(jù)集市和操作型數(shù)據(jù)存儲基于依賴型數(shù)據(jù)集市和操作型數(shù)據(jù)存儲(ODS)(ODS)的數(shù)據(jù)的數(shù)據(jù)倉庫體系結構倉庫體系結構 1.4 數(shù)據(jù)倉庫系統(tǒng)的體系結構數(shù)據(jù)倉庫系統(tǒng)的體系結構l邏輯型數(shù)據(jù)集市和實時數(shù)據(jù)倉庫的體系結構邏輯型數(shù)據(jù)集市和實時數(shù)據(jù)倉庫的體系結構 1.5 數(shù)據(jù)倉庫的產(chǎn)生、發(fā)展與未來數(shù)據(jù)倉庫的產(chǎn)生、發(fā)展與未來l數(shù)據(jù)倉庫的產(chǎn)生數(shù)據(jù)倉庫的產(chǎn)生l聯(lián)機事務處理系統(tǒng)業(yè)務系統(tǒng)剛上線時，查詢聯(lián)機事務處理系統(tǒng)業(yè)務系統(tǒng)剛上線時，查詢不到數(shù)據(jù)是因為數(shù)據(jù)太少了，而幾十年后查詢不不到數(shù)據(jù)是因為數(shù)據(jù)太少了，而幾十年后查詢不到有關數(shù)據(jù)是因為數(shù)據(jù)太多了。針對這一問題，到有關數(shù)據(jù)是因為數(shù)據(jù)太多了。針對這一

9、問題，人們設想專門為業(yè)務數(shù)據(jù)的統(tǒng)計分析建立一個數(shù)人們設想專門為業(yè)務數(shù)據(jù)的統(tǒng)計分析建立一個數(shù)據(jù)中心，它的數(shù)據(jù)從聯(lián)機事務處理系統(tǒng)中來、從據(jù)中心，它的數(shù)據(jù)從聯(lián)機事務處理系統(tǒng)中來、從異構的外部數(shù)據(jù)源來、或從脫機的歷史業(yè)務數(shù)據(jù)異構的外部數(shù)據(jù)源來、或從脫機的歷史業(yè)務數(shù)據(jù)中來，這個數(shù)據(jù)中心也是一個聯(lián)機系統(tǒng)，它專門中來，這個數(shù)據(jù)中心也是一個聯(lián)機系統(tǒng)，它專門為分析統(tǒng)計和決策支持應用服務，通過它可獲取為分析統(tǒng)計和決策支持應用服務，通過它可獲取決策支持和聯(lián)機分析應用所需要的一切數(shù)據(jù)。這決策支持和聯(lián)機分析應用所需要的一切數(shù)據(jù)。這個數(shù)據(jù)中心就叫做數(shù)據(jù)倉庫。簡單地說，數(shù)據(jù)倉個數(shù)據(jù)中心就叫做數(shù)據(jù)倉庫。簡單地說，數(shù)據(jù)倉庫就是

10、一個作為決策支持和聯(lián)機分析應用系統(tǒng)數(shù)庫就是一個作為決策支持和聯(lián)機分析應用系統(tǒng)數(shù)據(jù)源的結構化數(shù)據(jù)環(huán)境，數(shù)據(jù)倉庫要研究和解決據(jù)源的結構化數(shù)據(jù)環(huán)境，數(shù)據(jù)倉庫要研究和解決的問題就是從數(shù)據(jù)庫中獲取信息的問題。的問題就是從數(shù)據(jù)庫中獲取信息的問題。 1.5 數(shù)據(jù)倉庫的產(chǎn)生、發(fā)展與未來數(shù)據(jù)倉庫的產(chǎn)生、發(fā)展與未來l數(shù)據(jù)倉庫的發(fā)展數(shù)據(jù)倉庫的發(fā)展l以報表為主以報表為主l以分析為主以分析為主 l以預測模型為主以預測模型為主 l以營運導向為主以營運導向為主 l以實時數(shù)據(jù)倉庫、自動決策應用為主以實時數(shù)據(jù)倉庫、自動決策應用為主 1.5 數(shù)據(jù)倉庫的產(chǎn)生、發(fā)展與未來數(shù)據(jù)倉庫的產(chǎn)生、發(fā)展與未來l數(shù)據(jù)倉庫的未來數(shù)據(jù)倉庫的未來l在數(shù)

11、據(jù)抽取方面，未來的技術發(fā)展將集中在在數(shù)據(jù)抽取方面，未來的技術發(fā)展將集中在系統(tǒng)集成化方面。它將互連、轉換、復制、系統(tǒng)集成化方面。它將互連、轉換、復制、調度、監(jiān)控納入標準化的統(tǒng)一管理，以適應調度、監(jiān)控納入標準化的統(tǒng)一管理，以適應數(shù)據(jù)倉庫本身或數(shù)據(jù)源可能的變化，使系統(tǒng)數(shù)據(jù)倉庫本身或數(shù)據(jù)源可能的變化，使系統(tǒng)更便于管理和維護。更便于管理和維護。l在數(shù)據(jù)管理方面，未來的發(fā)展將使數(shù)據(jù)庫廠在數(shù)據(jù)管理方面，未來的發(fā)展將使數(shù)據(jù)庫廠商明確推出數(shù)據(jù)倉庫引擎，作為數(shù)據(jù)倉庫服商明確推出數(shù)據(jù)倉庫引擎，作為數(shù)據(jù)倉庫服務器產(chǎn)品與數(shù)據(jù)庫服務器并駕齊驅。在這一務器產(chǎn)品與數(shù)據(jù)庫服務器并駕齊驅。在這一方面，帶有決策支持擴展的并行關系數(shù)據(jù)庫方面，帶有決策支持擴展的并行關系數(shù)據(jù)庫將最具發(fā)展?jié)摿?。將最具發(fā)展?jié)摿?。l在數(shù)據(jù)表現(xiàn)方面，數(shù)理統(tǒng)計的算法和功能將在數(shù)據(jù)表現(xiàn)方面，數(shù)理統(tǒng)計的算法和功能將普 遍 集 成 到 聯(lián) 機 分 析 產(chǎn) 品 中 ， 并 與普 遍 集 成 到 聯(lián) 機 分 析 產(chǎn) 品 中 ， 并 與Internet/WebInternet/Web技術緊密結合