第5章：基于數(shù)據(jù)倉庫的決策支持系統(tǒng)課件

第5章基于數(shù)據(jù)倉庫的決策支持系統(tǒng)

(1)1第5章基于數(shù)據(jù)倉庫的決策支持系統(tǒng)120世紀(jì)90年代中期，國外興起了三項(xiàng)決策支持新技術(shù):數(shù)據(jù)倉庫（DW）、聯(lián)機(jī)分析處理（OLAP）、數(shù)據(jù)挖掘（DM）。數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的結(jié)合形成了基于數(shù)據(jù)倉庫的決策支持系統(tǒng)。20世紀(jì)90年代中期，國外興起了三項(xiàng)決策支持新技術(shù):2第(1)部分

5.1數(shù)據(jù)倉庫的基本原理第(1)部分

35.1數(shù)據(jù)倉庫的基本原理5.1.1數(shù)據(jù)倉庫產(chǎn)生和數(shù)據(jù)倉庫的概念5.1.2數(shù)據(jù)倉庫結(jié)構(gòu)5.1.3數(shù)據(jù)集市5.1.4元數(shù)據(jù)5.1.5數(shù)據(jù)倉庫存儲(chǔ)5.1.6數(shù)據(jù)倉庫系統(tǒng)5.1數(shù)據(jù)倉庫的基本原理5.1.1數(shù)據(jù)倉庫產(chǎn)生和數(shù)據(jù)倉庫45.1.1數(shù)據(jù)倉庫產(chǎn)生和數(shù)據(jù)倉庫的概念數(shù)據(jù)倉庫的產(chǎn)生蜘蛛網(wǎng)問題隨著數(shù)據(jù)庫技術(shù)的廣泛運(yùn)用，企業(yè)的運(yùn)營環(huán)境逐漸轉(zhuǎn)化為以數(shù)據(jù)庫為中心的運(yùn)營環(huán)境。企業(yè)對(duì)數(shù)據(jù)的需求是多方面的，除了在企業(yè)中建立企業(yè)級(jí)的數(shù)據(jù)庫外，常常還要建立部門數(shù)據(jù)庫。比如，市場(chǎng)人員通常只關(guān)心企業(yè)的銷售、市場(chǎng)策劃方面的信息，而不注重企業(yè)研發(fā)、生產(chǎn)等其他環(huán)節(jié)。因此，將銷售、市場(chǎng)策劃方面的信息抽取出來單獨(dú)建立部門級(jí)的數(shù)據(jù)庫很有必要，這樣可以提高數(shù)據(jù)的訪問效率。隨著數(shù)據(jù)的逐層抽取，很可能形成“蜘蛛網(wǎng)”現(xiàn)象，使數(shù)據(jù)的抽取和訪問顯得錯(cuò)綜復(fù)雜。一個(gè)大型公司每天進(jìn)行上萬次的數(shù)據(jù)抽取很普通。這種演變不是人為制造的，而是自然演變的結(jié)果，如果不再體系結(jié)構(gòu)上進(jìn)行調(diào)整，“蜘蛛網(wǎng)”問題將越來越嚴(yán)重。5.1.1數(shù)據(jù)倉庫產(chǎn)生和數(shù)據(jù)倉庫的概念數(shù)據(jù)倉庫的產(chǎn)生5企業(yè)級(jí)數(shù)據(jù)庫部門級(jí)數(shù)據(jù)個(gè)人級(jí)抽取程序企業(yè)級(jí)數(shù)據(jù)庫部門級(jí)數(shù)據(jù)個(gè)人級(jí)抽取程序6數(shù)據(jù)分析的結(jié)果缺乏可靠性如：不同部門根據(jù)各自抽取的不同數(shù)據(jù)對(duì)同一個(gè)問題得到不同的結(jié)果數(shù)據(jù)處理效率很低由于數(shù)據(jù)分散在各個(gè)數(shù)據(jù)庫中，因此需要編寫的程序很多。由于企業(yè)中使用的數(shù)據(jù)庫類型很多，因此需要很多技術(shù)來實(shí)現(xiàn)。程序的重用性很差，完成的報(bào)表不僅時(shí)效性很差，數(shù)據(jù)處理效率也很低數(shù)據(jù)分析的結(jié)果缺乏可靠性7難以將數(shù)據(jù)轉(zhuǎn)化為信息如，某電信公司想分析某個(gè)大客戶今年的情況和過去三年有什么不同？情況可能包括客戶的呼叫行為、話費(fèi)情況、咨詢問題等。因此要想比較完整的回答這個(gè)問題，實(shí)際上需要將客戶多方面的數(shù)據(jù)綜合成信息。實(shí)際數(shù)據(jù)庫系統(tǒng)中，記錄客戶呼叫行為的數(shù)據(jù)庫通常只保留客戶最近3個(gè)月的呼叫帳單，帳務(wù)數(shù)據(jù)庫只保留客戶今年的繳費(fèi)情況，客戶咨詢數(shù)據(jù)庫只保留客戶兩年內(nèi)的咨詢信息，用戶根本不可能從這些數(shù)據(jù)中提取比較完整的信息。難以將數(shù)據(jù)轉(zhuǎn)化為信息81.數(shù)據(jù)倉庫的概念W.H.Inmon對(duì)數(shù)據(jù)倉庫的定義為：數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的，不同時(shí)間的數(shù)據(jù)集合，用于支持經(jīng)營管理中決策制定過程。SAS軟件研究所定義：數(shù)據(jù)倉庫是一種管理技術(shù)，旨在通過通暢、合理、全面的信息管理，達(dá)到有效的決策支持。1.數(shù)據(jù)倉庫的概念W.H.Inmon對(duì)數(shù)據(jù)倉庫的定9操作型數(shù)據(jù)（DB數(shù)據(jù)）與分析型數(shù)據(jù)（DW數(shù)據(jù)）之間的差別為：操作型數(shù)據(jù)（DB數(shù)據(jù)）與102、數(shù)據(jù)倉庫特點(diǎn)（1）數(shù)據(jù)倉庫是面向主題的主題是數(shù)據(jù)歸類的標(biāo)準(zhǔn)，每一個(gè)主題基本對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域。例如，銀行的數(shù)據(jù)倉庫的主題：客戶DW的客戶數(shù)據(jù)來源：從銀行儲(chǔ)蓄DB、信用卡DB、貸款DB等三個(gè)DB中抽取同一客戶的數(shù)據(jù)整理而成。在DW中分析客戶數(shù)據(jù)，可決定是否繼續(xù)給予貸款。2、數(shù)據(jù)倉庫特點(diǎn)（1）數(shù)據(jù)倉庫是面向主題的11（2）數(shù)據(jù)倉庫是集成的數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫之前，必須經(jīng)過加工與集成。對(duì)不同的數(shù)據(jù)來源進(jìn)行統(tǒng)一數(shù)據(jù)結(jié)構(gòu)和編碼。統(tǒng)一原始數(shù)據(jù)中的所有矛盾之處，如字段的同名異義，異名同義，單位不統(tǒng)一，字長(zhǎng)不一致等。將原始數(shù)據(jù)結(jié)構(gòu)做一個(gè)從面向應(yīng)用到面向主題的大轉(zhuǎn)變。（2）數(shù)據(jù)倉庫是集成的12（3）數(shù)據(jù)倉庫是穩(wěn)定的數(shù)據(jù)倉庫中包括了大量的歷史數(shù)據(jù)。數(shù)據(jù)經(jīng)集成進(jìn)入數(shù)據(jù)倉庫后是極少或根本不更新的。（4）數(shù)據(jù)倉庫是隨時(shí)間變化的數(shù)據(jù)倉庫內(nèi)的數(shù)據(jù)時(shí)限在5~10年，故數(shù)據(jù)的鍵碼包含時(shí)間項(xiàng)，標(biāo)明數(shù)據(jù)的歷史時(shí)期，這適合DSS進(jìn)行時(shí)間趨勢(shì)分析。而數(shù)據(jù)庫只包含當(dāng)前數(shù)據(jù)，即存取某一時(shí)間的正確的有效的數(shù)據(jù)。（3）數(shù)據(jù)倉庫是穩(wěn)定的13

（5）數(shù)據(jù)倉庫的數(shù)據(jù)量很大

大型DW是一個(gè)TB（1000GB）級(jí)數(shù)據(jù)庫問題（一般為10GB級(jí)相當(dāng)于一般數(shù)據(jù)庫100MB的100倍）（6）數(shù)據(jù)倉庫軟硬件要求較高

需要一個(gè)巨大的硬件平臺(tái)需要一個(gè)并行的數(shù)據(jù)庫系統(tǒng)

最好的數(shù)據(jù)倉庫是大的和昂貴的。（5）數(shù)據(jù)倉庫的數(shù)據(jù)量很大14

近期基本數(shù)據(jù)：是最近時(shí)期的業(yè)務(wù)數(shù)據(jù)，是數(shù)據(jù)倉庫用戶最感興趣的部分，數(shù)據(jù)量大。

歷史基本數(shù)據(jù)：近期基本數(shù)據(jù)隨時(shí)間的推移，由數(shù)據(jù)倉庫的時(shí)間控制機(jī)制轉(zhuǎn)為歷史基本數(shù)據(jù)。

輕度綜合數(shù)據(jù)：是從近期基本數(shù)據(jù)中提取出的，這層數(shù)據(jù)是按時(shí)間段選取，或者按數(shù)據(jù)屬性（attributes）和內(nèi)容（contents）進(jìn)行綜合。

高度綜合數(shù)據(jù)層：這一層的數(shù)據(jù)是在輕度綜合數(shù)據(jù)基礎(chǔ)上的再一次綜合，是一種準(zhǔn)決策數(shù)據(jù)。5.1.2數(shù)據(jù)倉庫結(jié)構(gòu)近期基本數(shù)據(jù)：是最近時(shí)期的業(yè)務(wù)數(shù)據(jù)，是數(shù)據(jù)倉15第5章：基于數(shù)據(jù)倉庫的決策支持系統(tǒng)ppt課件16數(shù)據(jù)倉庫工作范圍和成本常常是巨大的。開發(fā)數(shù)據(jù)倉庫是代價(jià)很高、時(shí)間較長(zhǎng)的大項(xiàng)目。提供更緊密集成的數(shù)據(jù)集市就應(yīng)運(yùn)產(chǎn)生。目前，全世界對(duì)數(shù)據(jù)倉庫總投資的一半以上均集中在數(shù)據(jù)集市上。5.1.3數(shù)據(jù)集市（DataMarts）5.1.3數(shù)據(jù)集市（DataMarts）17數(shù)據(jù)集市是一種更小、更集中的數(shù)據(jù)倉庫，為公司提供分析商業(yè)數(shù)據(jù)的一條廉價(jià)途徑。數(shù)據(jù)集市是指具有特定應(yīng)用的數(shù)據(jù)倉庫，主要針對(duì)某個(gè)應(yīng)用或者具體部門級(jí)的應(yīng)用，支持用戶獲得競(jìng)爭(zhēng)優(yōu)勢(shì)或者找到進(jìn)入新市場(chǎng)的具體解決方案。數(shù)據(jù)集市概念數(shù)據(jù)集市概念18數(shù)據(jù)集市的種類獨(dú)立數(shù)據(jù)集市從屬數(shù)據(jù)集市數(shù)據(jù)集市的種類獨(dú)立數(shù)據(jù)集市從屬數(shù)據(jù)集市19

1、規(guī)模是小的，面向部門2、由業(yè)務(wù)部門設(shè)計(jì)、開發(fā)、管理和維護(hù)3、購買較便宜，快速實(shí)現(xiàn)，投資快速回收4、數(shù)據(jù)倉庫的子集5、可升級(jí)到完整的數(shù)據(jù)倉庫數(shù)據(jù)集市的特性1、規(guī)模是小的，面向部門數(shù)據(jù)集市的特性20元數(shù)據(jù)是數(shù)據(jù)倉庫的重要組成部分。元數(shù)據(jù)描述了數(shù)據(jù)倉庫的數(shù)據(jù)和環(huán)境，即關(guān)于數(shù)據(jù)的數(shù)據(jù)(metadata)元數(shù)據(jù)包括四種元數(shù)據(jù)。5.1.4元數(shù)據(jù)元數(shù)據(jù)是數(shù)據(jù)倉庫的重要組成部分。5.1.4元數(shù)據(jù)21它是現(xiàn)有的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源的描述信息。這類元數(shù)據(jù)是對(duì)不同平臺(tái)上的數(shù)據(jù)源的物理結(jié)構(gòu)和含義的描述。具體為：（1）數(shù)據(jù)源中所有物理數(shù)據(jù)結(jié)構(gòu)，包括所有的數(shù)據(jù)項(xiàng)及數(shù)據(jù)類型。（2）所有數(shù)據(jù)項(xiàng)的業(yè)務(wù)定義。（3）每個(gè)數(shù)據(jù)項(xiàng)更新的頻率，以及由誰或那個(gè)過程更新的說明。（4）每個(gè)數(shù)據(jù)項(xiàng)的有效值。1、關(guān)于數(shù)據(jù)源的元數(shù)據(jù)它是現(xiàn)有的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源的描述信息。這類元數(shù)據(jù)是對(duì)22

數(shù)據(jù)倉庫的數(shù)據(jù)模型是星型模型:星形模式是一種多維的數(shù)據(jù)關(guān)系，它由一個(gè)事實(shí)表（FactTable）和一組維表（DimensionTable）組成。通常企業(yè)數(shù)據(jù)模型被用作建立倉庫數(shù)據(jù)模型的起始點(diǎn)，再對(duì)模型加以修改和變換。2、關(guān)于數(shù)據(jù)模型的元數(shù)據(jù)2、關(guān)于數(shù)據(jù)模型的元數(shù)據(jù)23

這類元數(shù)據(jù)是數(shù)據(jù)源與數(shù)據(jù)倉庫數(shù)據(jù)間的映射。當(dāng)數(shù)據(jù)源中的一個(gè)數(shù)據(jù)項(xiàng)與數(shù)據(jù)倉庫建立了映射關(guān)系，就應(yīng)該記下這些數(shù)據(jù)項(xiàng)發(fā)生的任何變換或變動(dòng)。即用元數(shù)據(jù)反映數(shù)據(jù)倉庫中的數(shù)據(jù)項(xiàng)是從哪個(gè)特定的數(shù)據(jù)源填充的，經(jīng)過那些轉(zhuǎn)換，變換和加載過程。3、關(guān)于數(shù)據(jù)倉庫映射的元數(shù)據(jù)這類元數(shù)據(jù)是數(shù)據(jù)源與數(shù)據(jù)倉庫數(shù)據(jù)間的映24

這類元數(shù)據(jù)是數(shù)據(jù)倉庫中信息的使用情況描述。

（1）元數(shù)據(jù)告訴數(shù)據(jù)倉庫中有什么數(shù)據(jù)，即如何按主題查看數(shù)據(jù)倉庫的內(nèi)容。（2）元數(shù)據(jù)提供已有的可重復(fù)利用的查詢語言信息。關(guān)于數(shù)據(jù)倉庫使用的元數(shù)據(jù)能幫助用戶到數(shù)據(jù)倉庫查詢所需要的信息，用于解決企業(yè)問題。4、關(guān)于數(shù)據(jù)倉庫使用的元數(shù)據(jù)這類元數(shù)據(jù)是數(shù)據(jù)倉庫中信息的使用情況描述。4、關(guān)于數(shù)25

數(shù)據(jù)倉庫存儲(chǔ)采用多維數(shù)據(jù)模型。維就是相同類數(shù)據(jù)的集合，商店、時(shí)間和產(chǎn)品都是維。各個(gè)商店的集合是一維，時(shí)間的集合是一維，商品的集合是一維。每一個(gè)商店、每一段時(shí)間、每一種商品就是某一維的一個(gè)成員。每一個(gè)銷售事實(shí)由一個(gè)特定的商品、一個(gè)特定的時(shí)間、一個(gè)特定的商品組成。兩維表，如通常的電子表格。三維構(gòu)成立方體，若再增加一維，則圖形很難想象，也不容易在屏幕上畫出來。

5.1.5數(shù)據(jù)倉庫的存儲(chǔ)數(shù)據(jù)倉庫存儲(chǔ)采用多維數(shù)據(jù)模型。5.1.526數(shù)據(jù)倉庫是以多維表型的“維表—事實(shí)表”結(jié)構(gòu)形式組織的，共有三種形式：

1、星型模型大多數(shù)的數(shù)據(jù)倉庫都采用“星型模型”。星型模型是由“事實(shí)表”（大表）以及多個(gè)“維表”（小表）所組成?！笆聦?shí)表”中存放大量關(guān)于企業(yè)的事實(shí)數(shù)據(jù)（數(shù)量數(shù)據(jù)）。例如：多個(gè)時(shí)期的數(shù)據(jù)可能會(huì)出現(xiàn)在同一個(gè)“事實(shí)表”中?！熬S表”中存放描述性數(shù)據(jù)，維表是圍繞事實(shí)表建立的較小的表。

星型模型數(shù)據(jù)如下圖：數(shù)據(jù)倉庫是以多維表型的“維表—事實(shí)表”結(jié)構(gòu)形式組27第5章：基于數(shù)據(jù)倉庫的決策支持系統(tǒng)ppt課件28

2、雪花模型雪花模型是對(duì)星型模型的擴(kuò)展，雪花模型對(duì)星型模型的維表進(jìn)一步層次化，原來的各維表可能被擴(kuò)展為小的事實(shí)表，形成一些局部的“層次”區(qū)域。它的優(yōu)點(diǎn)是最大限度地減少數(shù)據(jù)存儲(chǔ)量，以及把較小的維表聯(lián)合在一起來改善查詢性能。在上面星型模型的數(shù)據(jù)中，對(duì)“產(chǎn)品表”“日期表”“地區(qū)表”進(jìn)行擴(kuò)展形成雪花模型數(shù)據(jù)見下圖。3、星網(wǎng)模型

星網(wǎng)模型是將多個(gè)星型模型連接起來形成網(wǎng)狀結(jié)構(gòu)。多個(gè)星型模型通過相同的維，如時(shí)間維，連接多個(gè)事實(shí)表。2、雪花模型29第5章：基于數(shù)據(jù)倉庫的決策支持系統(tǒng)ppt課件30

5.1.6數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)

數(shù)據(jù)倉庫系統(tǒng)由數(shù)據(jù)倉庫（DW）、倉庫管理和分析工具三部分組成。5.1.6數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)311、數(shù)據(jù)倉庫管理系統(tǒng)（1）定義部分

用于定義和建立數(shù)據(jù)倉庫系統(tǒng)。它包括：(1)設(shè)計(jì)和定義數(shù)據(jù)倉庫的數(shù)據(jù)庫(2)定義數(shù)據(jù)來源(3)確定從源數(shù)據(jù)向數(shù)據(jù)倉庫復(fù)制數(shù)據(jù)時(shí)的清理和增強(qiáng)規(guī)則（2）數(shù)據(jù)獲取部分

該部件把數(shù)據(jù)從源數(shù)據(jù)中提取出來，依定義部件的規(guī)則，抽取、轉(zhuǎn)化和裝載數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫。

1、數(shù)據(jù)倉庫管理系統(tǒng)（1）定義部分32（3）管理部分它用于管理數(shù)據(jù)倉庫的工作，包括：（1）對(duì)數(shù)據(jù)倉庫中數(shù)據(jù)的維護(hù)（2）把倉庫數(shù)據(jù)送出給分散的倉庫服務(wù)器或DSS用戶（3）對(duì)倉庫數(shù)據(jù)的安全、歸檔、備份、恢復(fù)等處理工作（3）管理部分33（4）信息目錄部件（元數(shù)據(jù)）

數(shù)據(jù)倉庫的目錄數(shù)據(jù)是元數(shù)據(jù)，由三部分組成：

技術(shù)目錄：由定義部件生成，關(guān)于數(shù)據(jù)源、目標(biāo)、清理規(guī)則、變換規(guī)則以及數(shù)據(jù)源和倉庫之間的映象信息。

業(yè)務(wù)目錄：由倉庫管理員生成，關(guān)于倉庫數(shù)據(jù)的來源及當(dāng)前值；預(yù)定義的查詢和報(bào)表細(xì)節(jié)；合法性要求等。

信息引導(dǎo)器：使用戶容易訪問倉庫數(shù)據(jù)。利用固定查詢或建立新的查詢，生成暫時(shí)的或永久的倉庫數(shù)據(jù)集合的能力等。（4）信息目錄部件（元數(shù)據(jù)）34分析工具集分兩類工具：（1）查詢工具數(shù)據(jù)倉庫的查詢不是指對(duì)記錄級(jí)數(shù)據(jù)的查詢，而是指對(duì)分析要求的查詢。一般包含：

可視化工具：以圖形化方式展示數(shù)據(jù)，可以幫助了解數(shù)據(jù)的結(jié)構(gòu)，關(guān)系以及動(dòng)態(tài)性。2、數(shù)據(jù)倉庫工具集分析工具集分兩類工具：2、數(shù)據(jù)倉庫工具集35多維分析工具（OLAP工具）:通過對(duì)信息的多種可能的觀察形式進(jìn)行快速、一致和交互性的存取，這樣便利用戶對(duì)數(shù)據(jù)進(jìn)行深入的分析和觀察。多維數(shù)據(jù)的每一維代表對(duì)數(shù)據(jù)的一個(gè)特定的觀察視角，如時(shí)間、地域、業(yè)務(wù)等。第5章：基于數(shù)據(jù)倉庫的決策支持系統(tǒng)ppt課件36（2）數(shù)據(jù)挖掘工具

從大量數(shù)據(jù)中挖掘具有規(guī)律性知識(shí)，需要利用數(shù)據(jù)挖掘（DataMining）工具。（2）數(shù)據(jù)挖掘工具373、數(shù)據(jù)倉庫的運(yùn)行結(jié)構(gòu)數(shù)據(jù)倉庫應(yīng)用是一個(gè)典型的客戶/服務(wù)器（C/S）結(jié)構(gòu)形式。數(shù)據(jù)倉庫采用服務(wù)器結(jié)構(gòu)，客戶端所做