數(shù)據(jù)倉庫概述2

1、第1章 數(shù)據(jù)倉庫概述DW&DM1l數(shù)據(jù)庫到到數(shù)據(jù)倉倉庫的演演變DW&DM第一章數(shù)數(shù)據(jù)據(jù)倉庫概概述1.1數(shù)數(shù)據(jù)庫庫到數(shù)據(jù)據(jù)倉庫的的演變1.3倉倉庫的的應(yīng)用前前景數(shù)據(jù)庫到到數(shù)據(jù)倉倉庫的演演變數(shù)據(jù)庫的的發(fā)展企企業(yè)運(yùn)營營環(huán)境以以數(shù)據(jù)庫庫為中心心企業(yè)級數(shù)數(shù)據(jù)庫市場部銷銷售、市市場策劃劃財(cái)務(wù)部產(chǎn)產(chǎn)生財(cái)務(wù)務(wù)報(bào)表人事部人人員變動(dòng)動(dòng)情況 蜘蛛網(wǎng)問問題（圖1-1）數(shù)據(jù)分析析的結(jié)果果缺乏可可靠性圖1-2中展示示了某電電信公司司的市場場部和計(jì)計(jì)劃部對對業(yè)務(wù)A是否具具有市場場前景的的分析過過程和結(jié)結(jié)果。市市場部認(rèn)認(rèn)為“業(yè)業(yè)務(wù)A的的市場前前景很好好”，而而計(jì)劃部部卻得到到截然相相反的結(jié)結(jié)果“業(yè)業(yè)務(wù)A沒沒有市場場前景”。作

2、為為企業(yè)的的最棕決決策者，將如何何根據(jù)這這樣的結(jié)結(jié)論進(jìn)行行決策呢呢？一、蜘蜘蛛網(wǎng)問問題DW&DM第一章數(shù)數(shù)據(jù)據(jù)倉庫概概述1.1數(shù)數(shù)據(jù)庫庫到數(shù)據(jù)據(jù)倉庫的的演變1.3倉倉庫的的應(yīng)用前前景圖1-1企企業(yè)中存存在的“蜘蛛網(wǎng)網(wǎng)”現(xiàn)象象企業(yè)級部門極抽取程個(gè)人級DW&DM第一章數(shù)數(shù)據(jù)據(jù)倉庫概概述1.1數(shù)數(shù)據(jù)庫庫到數(shù)據(jù)據(jù)倉庫的的演變1.3倉倉庫的的應(yīng)用前前景外部市場場信息A分析程序序1分析結(jié)果果1：業(yè)務(wù)A市市場前景很好分析結(jié)果果2：業(yè)務(wù)A沒沒有市場前景外部市場場信息B外部市場場信息C抽取數(shù)據(jù)據(jù)的時(shí)間間不同分析程序序2抽取數(shù)據(jù)據(jù)的內(nèi)容容不同外 部信信息息分析程序序和內(nèi)容容不同圖1-2兩兩個(gè)分析析過程的的差異企業(yè)

3、級數(shù)數(shù)據(jù)庫市場部計(jì)劃部兩個(gè)分析析的數(shù)據(jù)據(jù)都來自自于企業(yè)業(yè)數(shù)據(jù)庫庫，但是是結(jié)論卻卻不同，下面通通過分析析兩個(gè)過過程的差差異來尋尋求原因因。首先，市市場部門門和計(jì)劃劃部門從從企業(yè)數(shù)數(shù)據(jù)庫中中抽取的的數(shù)據(jù)可可能不同同，比如如，市場部抽抽取的是是在大客客戶中對對業(yè)務(wù)A的使用用情況，而計(jì)劃部部抽取的的是在普普通客戶戶中對業(yè)業(yè)務(wù)A的的使用情情況，二者分分析的數(shù)數(shù)據(jù)存在在差異。其次，市場部分分析的時(shí)時(shí)間是2001年3月月5日，而計(jì)劃部分分析的時(shí)時(shí)間是2001年3月月25日日，兩個(gè)分分析過程程從企業(yè)業(yè)數(shù)據(jù)庫庫中抽取取數(shù)據(jù)的的時(shí)間不不同，企企業(yè)數(shù)據(jù)據(jù)庫中的的內(nèi)容已已經(jīng)發(fā)生生了變化化，這很很可能導(dǎo)導(dǎo)致分析析的結(jié)果

4、果不同。再次，分分析業(yè)務(wù)務(wù)的發(fā)展展趨勢常常常需要要引入企企業(yè)外部部的信息息，比如如客戶的的滿意程程度，國國家的政政策等，市場部門門引用的的外部信信息來源源可能與與計(jì)劃部部不同，而外部部信息必必然是仁仁者見仁仁，智者者見智，這也可可能是導(dǎo)導(dǎo)致最終終分析結(jié)結(jié)果不同同。最后，市場部門門使用的的分析程程序可能能與計(jì)劃劃部不同同，通過上上面的分分析，我我們可以以看出導(dǎo)導(dǎo)致兩個(gè)個(gè)分析過過程出現(xiàn)現(xiàn)截然相相反的結(jié)結(jié)論的根根本原因因是數(shù)據(jù)據(jù)的來源源部一致致，對于于不同來來源的數(shù)數(shù)據(jù)的分分析結(jié)果果顯然是是不一致致的。2.數(shù)據(jù)據(jù)處理的的效率很很低在錯(cuò)綜復(fù)復(fù)雜的體體系中，不同級級別的數(shù)數(shù)據(jù)庫可可能使用用不同類類型的數(shù)

5、數(shù)據(jù)庫系系統(tǒng)，對對于有巨巨型數(shù)據(jù)據(jù)量的企企業(yè)級數(shù)數(shù)據(jù)庫可可能使用用IBM DB2，對對于中小小型數(shù)據(jù)據(jù)庫可能能使用SQLServer。各種數(shù)據(jù)據(jù)庫的開開發(fā)工具具和開發(fā)發(fā)環(huán)境不不同，抽抽取程序序應(yīng)用的的技術(shù)不不同，因因而難以以集成。如果一個(gè)個(gè)大型企企業(yè)的決決策者需需要一份份關(guān)于公公司整體體運(yùn)營情情況的報(bào)報(bào)表，通通常需要要?jiǎng)佑么蟠罅康娜巳肆臀镂锪Σ拍苣苓_(dá)到，首先，需需要確定定報(bào)表涉涉及的內(nèi)內(nèi)容分布布在哪個(gè)個(gè)數(shù)據(jù)庫庫的哪個(gè)個(gè)位置，然后調(diào)調(diào)動(dòng)各個(gè)個(gè)部門的的程序員員分析析員對應(yīng)應(yīng)用進(jìn)行行分析，設(shè)計(jì)和和編碼。由于數(shù)據(jù)據(jù)分散在在各個(gè)數(shù)數(shù)據(jù)庫中中，因此此需要編編寫的程程序很多多。由于于在企業(yè)業(yè)中使用用的數(shù)據(jù)

6、據(jù)庫類型型很多，因此可可能需要要使用多多種的技技術(shù)來實(shí)實(shí)現(xiàn)。程程序的重重用性很很差，因因?yàn)闆Q策策者明天天想看的的內(nèi)容很很可能和和今天是是不同的的。可見，動(dòng)用大大量的人人力，物物力和時(shí)時(shí)間才能能完成的的報(bào)表不不僅實(shí)效效性很差差，數(shù)據(jù)據(jù)處理的的效率也也很低。DW&DM第一章數(shù)數(shù)據(jù)據(jù)倉庫概概述1.1數(shù)數(shù)據(jù)庫庫到數(shù)據(jù)據(jù)倉庫的的演變1.3倉倉庫的的應(yīng)用前前景以數(shù)據(jù)庫為中心以數(shù)據(jù)庫為中心以數(shù)據(jù)倉庫為中心操作應(yīng)用A操作應(yīng)用B操作應(yīng)用C數(shù)據(jù)庫數(shù) 據(jù) 庫數(shù)據(jù)庫分析應(yīng)用A分析應(yīng)用B分析應(yīng)用C生產(chǎn)環(huán)境生產(chǎn)環(huán)境應(yīng)用A應(yīng)用B應(yīng)用C 以數(shù)據(jù)倉庫為中心圖1-3以以數(shù)據(jù)庫庫為中心心的環(huán)境境發(fā)展為為以數(shù)據(jù)據(jù)倉庫為為中心的的環(huán)境

7、的的過程示示意圖3.難難以將數(shù)數(shù)據(jù)轉(zhuǎn)化化成信息息除了數(shù)據(jù)據(jù)處理效效率和數(shù)數(shù)據(jù)的可可信度之之外，“蜘蛛網(wǎng)網(wǎng)”式的的結(jié)構(gòu)還還難以將將數(shù)據(jù)轉(zhuǎn)轉(zhuǎn)化為信信息。比如，某某電力公公司想分分析某個(gè)個(gè)大客戶戶今年的的情況和和過去的的3年有有什么不不同？大大客戶的的情況可可能包括括客戶的的呼叫行行為，話話費(fèi)情況況，交費(fèi)費(fèi)情況，咨詢問問題等。因此想想要比較較完整的的回答這這個(gè)問題題，實(shí)際際上需要要將客戶戶多方面面的數(shù)據(jù)據(jù)綜合成成信息。在實(shí)際的的數(shù)據(jù)庫庫系統(tǒng)中中，記錄客戶戶呼叫行行為的數(shù)數(shù)據(jù)庫通通常只保保留客戶戶最近3個(gè)月的的呼叫話話單，帳務(wù)數(shù)據(jù)據(jù)庫可能能保留客客戶今年年的交費(fèi)費(fèi)情況，客戶咨詢詢數(shù)據(jù)庫庫可能保保留客戶

8、戶2年內(nèi)內(nèi)的咨詢詢信息，如圖14所所示。每每個(gè)數(shù)據(jù)據(jù)庫由于于其數(shù)據(jù)據(jù)量和業(yè)業(yè)務(wù)處理理的需求求不同，對于歷歷史數(shù)據(jù)據(jù)的存儲儲時(shí)間也也不同，因此以以現(xiàn)有的的數(shù)據(jù)庫庫系統(tǒng)難難以提供供完整的的歷史數(shù)數(shù)據(jù)，鑒鑒于這樣樣的原因因，用戶戶根本不不可能從從這些數(shù)數(shù)據(jù)中提提取出完完整的信信息。DW&DM第一章數(shù)數(shù)據(jù)據(jù)倉庫概概述1.1數(shù)數(shù)據(jù)庫庫到數(shù)據(jù)據(jù)倉庫的的演變1.3倉倉庫的的應(yīng)用前前景圖1-4現(xiàn)現(xiàn)有數(shù)據(jù)據(jù)庫系統(tǒng)統(tǒng)難以提提供完整整的數(shù)據(jù)據(jù)歷史數(shù)數(shù)據(jù)2年1年3個(gè)月需要3年的數(shù)據(jù)時(shí)間咨詢數(shù)據(jù)庫財(cái)務(wù)數(shù)據(jù)庫呼叫記錄操作型系系統(tǒng)的使使用人員員通常是是企業(yè)的的具體操操作人員員，處理理的數(shù)據(jù)據(jù)通常是是企業(yè)業(yè)業(yè)務(wù)的細(xì)細(xì)節(jié)信息息

9、，其目目標(biāo)是實(shí)實(shí)現(xiàn)企業(yè)業(yè)的業(yè)務(wù)務(wù)運(yùn)營；而分析型型系統(tǒng)的的使用人人員通常常是企業(yè)業(yè)的中高高層的管管理者，或者是是從事數(shù)數(shù)據(jù)分析析的工程程師。分析型型系統(tǒng)包包含的信信息而非非具體的的細(xì)節(jié)，其目的的是為企企業(yè)的決決策者提提供支持持信息。操作型型系統(tǒng)和和分析型型系統(tǒng)的的劃分如如圖14所示示。操作型處處理和分分析型處處理的分分離，劃劃清了數(shù)數(shù)據(jù)處理理的分析析型環(huán)境境和操作作型環(huán)境境之間的的界限，從而由由原來以以單一數(shù)數(shù)據(jù)庫為為中心的的數(shù)據(jù)環(huán)環(huán)境發(fā)展展為以數(shù)數(shù)據(jù)庫為為中心的的業(yè)務(wù)處處理系統(tǒng)統(tǒng)和以數(shù)數(shù)據(jù)倉庫庫為基礎(chǔ)礎(chǔ)的分析析系統(tǒng)。企業(yè)的的生產(chǎn)環(huán)環(huán)境，也也由以數(shù)數(shù)據(jù)庫為為中心的的環(huán)境發(fā)發(fā)展為以以數(shù)據(jù)倉倉庫為中

10、中心的環(huán)環(huán)境，如如圖15所示示。DW&DM第一章數(shù)數(shù)據(jù)據(jù)倉庫概概述1.1數(shù)數(shù)據(jù)庫庫到數(shù)據(jù)據(jù)倉庫的的演變1.3倉倉庫的的應(yīng)用前前景以數(shù)據(jù)庫為中心以數(shù)據(jù)庫為中心以數(shù)據(jù)倉庫為中心操作應(yīng)用A操作應(yīng)用B操作應(yīng)用C數(shù)據(jù)庫數(shù) 據(jù) 庫數(shù)據(jù)庫分析應(yīng)用A分析應(yīng)用B分析應(yīng)用C生產(chǎn)環(huán)境生產(chǎn)環(huán)境應(yīng)用A應(yīng)用B應(yīng)用C 以數(shù)據(jù)倉庫為中心圖1-5以以數(shù)據(jù)庫庫為中心心的環(huán)境境發(fā)展為為以數(shù)據(jù)據(jù)倉庫為為中心的的環(huán)境的的過程示示意圖DW&DM2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線1.2數(shù)數(shù)據(jù)倉倉庫體系系結(jié)構(gòu)一、數(shù)據(jù)據(jù)倉庫體體系結(jié)構(gòu)構(gòu)（圖1-6

11、）由于數(shù)據(jù)據(jù)庫和數(shù)數(shù)據(jù)倉庫庫的出發(fā)發(fā)點(diǎn)不同同，數(shù)據(jù)據(jù)倉庫將將獨(dú)立于于業(yè)務(wù)數(shù)數(shù)據(jù)庫系系統(tǒng)，但但是數(shù)據(jù)據(jù)倉庫又又同數(shù)據(jù)據(jù)庫系統(tǒng)統(tǒng)息息相相關(guān)。也也就是說說，數(shù)據(jù)據(jù)倉庫不不是簡單單對數(shù)據(jù)據(jù)進(jìn)行存存儲，而而是對數(shù)數(shù)據(jù)進(jìn)行行“再組織”。2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM數(shù)據(jù)挖掘掘系統(tǒng)/數(shù)據(jù)展展現(xiàn)系統(tǒng)統(tǒng)數(shù)據(jù)集市數(shù)據(jù)提取取提取倉庫庫數(shù)據(jù)據(jù)元 數(shù)據(jù)據(jù)數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)倉庫庫存儲企業(yè)外部部數(shù)據(jù)業(yè)務(wù)操作作型數(shù)據(jù)據(jù)2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲

12、ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)數(shù)據(jù)清洗洗/轉(zhuǎn)換換DW&DM1.3數(shù)數(shù)據(jù)倉庫庫重要名名詞數(shù)據(jù)提取?。―ataExtraction）數(shù)數(shù)據(jù)抽取取數(shù)據(jù)倉庫庫按主題題從業(yè)務(wù)務(wù)數(shù)據(jù)庫庫提取相相關(guān)數(shù)據(jù)據(jù)的過程程。從數(shù)據(jù)倉倉庫的角角度來看看，并不不是業(yè)務(wù)務(wù)數(shù)據(jù)庫庫中的所所有數(shù)據(jù)據(jù)都是決決策支持持所必須須的。數(shù)數(shù)據(jù)倉庫庫按照分分析的主主題來組組織數(shù)據(jù)據(jù)，我們們只需要要提取出出系統(tǒng)分分析必須須的那一一部分?jǐn)?shù)數(shù)據(jù)。例如：某某超市確確定以分分析客戶戶的購買買行為為為主題建建立數(shù)據(jù)據(jù)倉庫，只需將將同客戶戶購買行行為相關(guān)關(guān)的數(shù)據(jù)據(jù)提取出出來，超超市員工工的數(shù)據(jù)據(jù)沒有必必要放進(jìn)進(jìn)數(shù)據(jù)倉倉庫。2數(shù)數(shù)據(jù)清清洗（Da

13、ta Cleaning）企業(yè)建立立很多不不同的數(shù)數(shù)據(jù)庫數(shù)數(shù)據(jù)的不不一致是將錯(cuò)誤誤的、不不一致的的數(shù)據(jù)在在進(jìn)入數(shù)數(shù)據(jù)倉庫庫之前予予以更正正或刪刪除，以以免影響響DSS決策的的正確性性。圖22所示，客戶數(shù)數(shù)據(jù)庫中中有客戶戶基本信信息表，客戶服服務(wù)數(shù)據(jù)據(jù)庫中有有一張客客戶咨詢詢信息表表，由于于操作人人員的失失誤，將將客戶信信息表中中的“張張山”在在客戶咨咨詢表錄錄入為“張三”。圖23所示，客戶信信息表“張三”的手機(jī)機(jī)狀態(tài)是是正常，此時(shí)張張山去辦辦理停機(jī)機(jī)，在客客戶業(yè)務(wù)務(wù)變更表表中，手手機(jī)狀態(tài)態(tài)修改為為“停機(jī)機(jī)”，如如果數(shù)據(jù)據(jù)刷新不不夠?qū)崟r(shí)時(shí)，導(dǎo)致致客戶基基本信息息表和客客戶業(yè)務(wù)務(wù)表變更更不同步步。2

14、.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)DW&DM客戶基本本信息表表客戶咨詢詢信息表表客戶基本本信息表表客戶業(yè)務(wù)務(wù)變更信信息表圖1-7 操作作失誤導(dǎo)導(dǎo)致數(shù)據(jù)據(jù)不一致致圖1-8 數(shù)據(jù)據(jù)刷新不不時(shí)實(shí)導(dǎo)導(dǎo)致數(shù)據(jù)據(jù)不同步步客戶號：100姓名：張張山年齡：23客戶號：100姓名：張張山咨詢問題題：客戶號：100姓名：張張山年齡：23手機(jī)服務(wù)務(wù)狀態(tài)：正常客戶號：100姓名：張張山業(yè)務(wù)變更更：停機(jī)機(jī)2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM3數(shù)數(shù)據(jù)轉(zhuǎn)轉(zhuǎn)化（

15、Data Transformation）（圖圖2-4）把源數(shù)據(jù)據(jù)的數(shù)據(jù)據(jù)格式轉(zhuǎn)轉(zhuǎn)換成統(tǒng)統(tǒng)一的數(shù)數(shù)據(jù)格式式的過程程。也叫：數(shù)數(shù)據(jù)集成成（DataIntegration）由于業(yè)務(wù)務(wù)系統(tǒng)可可能使用用不同的的數(shù)據(jù)庫庫廠商的的產(chǎn)品，比如IBMDB2、informix 、Sybase.Sqlserver等等，各各種數(shù)據(jù)據(jù)庫產(chǎn)品品提供的的數(shù)據(jù)類類型可能能不同，需要將將不同格格式的數(shù)數(shù)據(jù)轉(zhuǎn)換換成統(tǒng)一一的格式式。4提提取取倉庫由于業(yè)務(wù)務(wù)數(shù)據(jù)庫庫系統(tǒng)中中的數(shù)據(jù)據(jù)和數(shù)據(jù)據(jù)格式存存在不一一致的問問題，因因此在數(shù)數(shù)據(jù)放進(jìn)進(jìn)數(shù)據(jù)倉倉庫前需需要進(jìn)行行緩存，以等待待清洗和和轉(zhuǎn)換，這些數(shù)數(shù)據(jù)緩存存的位置置即提取取倉庫。提取日志

16、志（ExtractionStore）當(dāng)從業(yè)務(wù)務(wù)系統(tǒng)提提取數(shù)據(jù)據(jù)時(shí)，需需要記錄錄提取數(shù)數(shù)據(jù)的過過程，該該過程被被記載在在提取日日志中。提取日日志詳細(xì)細(xì)的記錄錄了數(shù)據(jù)據(jù)的來源源，數(shù)據(jù)據(jù)的轉(zhuǎn)化化過程等等。6數(shù)數(shù)據(jù)管管理員是負(fù)責(zé)數(shù)數(shù)據(jù)導(dǎo)入入時(shí)管理理數(shù)據(jù)質(zhì)質(zhì)量的專專業(yè)人員員，還檢檢閱提取取日志，發(fā)現(xiàn)其其中數(shù)據(jù)據(jù)提取的錯(cuò)錯(cuò)誤和源源于業(yè)務(wù)務(wù)系統(tǒng)的的錯(cuò)誤。2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM圖1-9 數(shù)據(jù)據(jù)格式的的不一致致2000-2-3.2

17、000-2-52000-2-42/3/2000.2/5/20002/4/20002000/2/3.2000/2/52000/2/42.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM7外外部數(shù)據(jù)據(jù)源（ExternalSource）從系統(tǒng)外外部獲取取的同主主題分析析相關(guān)的的數(shù)據(jù)來來源。例：采購購部(確定采采購訂單單)采購購貨單產(chǎn)產(chǎn)品銷銷售情況況（內(nèi)部部）商品的價(jià)價(jià)格水平平質(zhì)量水平平競爭對手手的采購購信息（外部）數(shù)據(jù)倉庫庫存儲用于存放放數(shù)據(jù)倉倉庫

18、數(shù)據(jù)據(jù)和元數(shù)數(shù)據(jù)的存存儲空間間。數(shù)據(jù)存儲儲方式：多維數(shù)數(shù)據(jù)集，關(guān)系型型數(shù)據(jù)庫庫以及二二者的結(jié)結(jié)合。數(shù)據(jù)業(yè)務(wù)系統(tǒng)統(tǒng)中提取取的或者者從外部部數(shù)據(jù)源源中導(dǎo)入入的數(shù)據(jù)據(jù)進(jìn)行清清洗，轉(zhuǎn)轉(zhuǎn)化后成成為數(shù)據(jù)據(jù)倉庫的的原始數(shù)數(shù)據(jù)，它它們是數(shù)數(shù)據(jù)倉庫庫數(shù)據(jù)的的一部分分，不是是全部。2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM10元元數(shù)數(shù)據(jù)（Meta Data）（圖2-5）數(shù)據(jù)是對對事物的的描述，而元數(shù)數(shù)據(jù)是對對數(shù)據(jù)的的描述；它提供供了有關(guān)關(guān)數(shù)據(jù)的的環(huán)境。

19、數(shù)據(jù)倉庫庫中的元元數(shù)據(jù)有有兩類：第一種是是為了從從操作型型環(huán)境向向數(shù)據(jù)倉倉庫環(huán)境境轉(zhuǎn)換而而建立的的元數(shù)據(jù)據(jù)，它包包括所有有源數(shù)據(jù)據(jù)的名稱稱，屬性性及其在在提取倉倉庫中的的轉(zhuǎn)化；第二種是是在數(shù)據(jù)據(jù)倉庫中中是用來來與最終終用戶的的多維商商業(yè)模型型和前端端工具之之間建立立映射的的，這種種數(shù)據(jù)成成為決策策支持系系統(tǒng)元數(shù)數(shù)據(jù)，包包括（1）數(shù)數(shù)據(jù)倉庫庫中的信信息的種種類，存存儲位置置，存儲儲格式（2）信信息之間間的關(guān)系系，信息息和業(yè)務(wù)務(wù)的關(guān)系系，數(shù)據(jù)據(jù)使用的的業(yè)務(wù)規(guī)規(guī)則（3）數(shù)據(jù)據(jù)模型（4）數(shù)數(shù)據(jù)模型型和數(shù)據(jù)據(jù)倉庫的的關(guān)系。例如：從從customer業(yè)業(yè)務(wù)數(shù)據(jù)據(jù)庫的user表中取取出3列列（user_id

20、，user_name，address），在清清洗轉(zhuǎn)換換過程中中，將user_name從從char（20）轉(zhuǎn)轉(zhuǎn)化為varchar（50）格式式，最終終放進(jìn)user維表（User_ID,User_name,Address）中中，轉(zhuǎn)換換后（User_ID,User_name,Address）3列列原始的的存放位位置、進(jìn)進(jìn)行的清清洗轉(zhuǎn)化化處理、數(shù)據(jù)最最終的存存放位置置、數(shù)據(jù)據(jù)格式、數(shù)據(jù)使使用的規(guī)規(guī)則等等等都作為為元數(shù)據(jù)據(jù)的一部部分，圖圖25所示。2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲O

21、DS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DMChar(20)User_nameVarchar(50)User_NameUser表表User_idUser_nameaddressUser_IDUser_NameAddressUser維維表圖1-10元元數(shù)據(jù)內(nèi)內(nèi)容示例例原始數(shù)據(jù)據(jù)位置數(shù)據(jù)清洗洗轉(zhuǎn)化數(shù)據(jù)最終終存放位位置格式轉(zhuǎn)化化Customer數(shù)數(shù)據(jù)庫庫維表數(shù)數(shù)據(jù)庫2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)數(shù)據(jù)集市市（DataMarket ）面

22、向企業(yè)業(yè)中的某某個(gè)部門門（主題題）而在在邏輯上上或物理理上劃分分出來的的數(shù)據(jù)倉倉庫中的的數(shù)據(jù)子集。減少數(shù)據(jù)據(jù)處理量量，使信信息更快快捷，靈靈活。DW&DM權(quán)威定義義 ，WilliamInmon博博士90年代初初，給給出：數(shù)據(jù)倉庫庫：通常是一一個(gè)面向向主題的的、集成成的、隨隨時(shí)間變變化的、但信息息本身是相相對穩(wěn)定定的數(shù)據(jù)據(jù)集合，用于對對管理決決策過程程的支持持。1.4數(shù)數(shù)據(jù)倉倉庫定義義操作型數(shù)據(jù)的特點(diǎn)分析型數(shù)據(jù)的特點(diǎn)細(xì)節(jié)的綜合的、經(jīng)過提煉的在存取的瞬間是準(zhǔn)確的代表過去的數(shù)據(jù)可更新的不可更新操作需求通常事先知道分析需求通常事先不知道生命周期符合SDLC生命周期不同于SDLC對性能（如操作時(shí)延）要求

23、高對性能要求較寬一個(gè)時(shí)刻操作一個(gè)數(shù)據(jù)單元一個(gè)時(shí)刻操作一個(gè)數(shù)據(jù)集合事務(wù)驅(qū)動(dòng)（數(shù)據(jù)驅(qū)動(dòng)）分析驅(qū)動(dòng)（模型驅(qū)動(dòng)）面向應(yīng)用面向分析一次操作數(shù)量小一次操作數(shù)據(jù)量很大支持日常操作需求支持管理需求操作型數(shù)數(shù)據(jù)和分分析型數(shù)數(shù)據(jù)的特特性比較較2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM一、數(shù)數(shù)據(jù)庫庫的功能能和特性性數(shù)據(jù)的安安全性（以SQLServer 為例例）用戶戶DBAPDBMS操作系統(tǒng)統(tǒng)數(shù)據(jù)庫身份驗(yàn)證證操作權(quán)控控制文件操作作控制加密存儲儲與控控制計(jì)算

24、機(jī)系系統(tǒng)的安安全模式式數(shù)據(jù)庫數(shù)數(shù)據(jù)的加加密存取取 防止止有意的的非法活活動(dòng)；使用用戶戶身份驗(yàn)驗(yàn)證限制操作作權(quán)控控制有有意的非非法操作作；提高系統(tǒng)統(tǒng)可靠性性數(shù)據(jù)備份份控控制無意意的損壞壞2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM2數(shù)數(shù)據(jù)據(jù)處理的的并發(fā)性性事務(wù)T1時(shí)間事務(wù)T2讀A=16T1 T2讀 A=16B=B2，寫寫回B=200A=A -1T3寫回A=15 T4A=A-4寫回A=12（覆蓋了了T1對A的修修改）丟失數(shù)據(jù)據(jù)修改2.1數(shù)

25、數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM事務(wù)T1時(shí)間事務(wù)T2對A加加X鎖T1獲得讀A=16T2T3要對A 加X 鎖等待 修改A=A 1T4等待寫回A=15釋放對對A的X鎖T5等待T6獲得對A的X鎖鎖T7讀A=15T8修改A= A4寫回A=11T9釋放對A的X鎖鎖沒有丟失數(shù)據(jù)2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6

26、外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM3事事務(wù)務(wù)處理的的可靠性性事務(wù)（Transaction）：是用戶定定義的數(shù)數(shù)據(jù)操作作系列，這些操操作可作作為一個(gè)個(gè)完整的的工作單單元。一個(gè)事務(wù)務(wù)內(nèi)的所所有語句句是一個(gè)個(gè)整體，要么全全部執(zhí)行行，要么么全部不不執(zhí)行。例如：A賬賬戶向向B賬賬戶轉(zhuǎn)帳帳100元第一個(gè)動(dòng)動(dòng)作A 賬戶戶 100元第二個(gè)動(dòng)動(dòng)作B 賬戶戶+ 100元事務(wù)的特特征:（1）原原子性（Atomicity）事務(wù)是數(shù)數(shù)據(jù)庫的的邏輯工工作單位位，其中中的操作作，要么么都進(jìn)行行，要么么都不進(jìn)進(jìn)行；（2）一一致性（Consistency）事務(wù)的執(zhí)執(zhí)行結(jié)果果，必須須是從數(shù)數(shù)據(jù)庫的的一個(gè)一一致性狀狀態(tài)轉(zhuǎn)換換到

27、另一一個(gè)一致致性狀態(tài)態(tài)；（3）隔隔離離性（Isolation）一事務(wù)的的操作不不受其它它事務(wù)的的干擾，即事務(wù)務(wù)操作中中使用的的數(shù)據(jù)是是隔離的的；（4）持持續(xù)續(xù)性（Durability）事務(wù)一旦旦提交，對數(shù)據(jù)據(jù)庫的操操作就是是永久性性（Permanence）的。2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM4數(shù)數(shù)據(jù)據(jù)的一致致性和完完整性二、數(shù)數(shù)據(jù)倉倉庫的功功能和特特性1面面向主題題主題：用用戶使使用數(shù)據(jù)據(jù)倉庫進(jìn)進(jìn)行決策策時(shí)所關(guān)關(guān)心的重重要

28、方面面。（如，銷銷售情情況、利利潤情況況、客戶戶情況）面向主題題：數(shù)據(jù)據(jù)倉庫中中的信息息是按主主題進(jìn)行行組織的的，為按按主題進(jìn)進(jìn)行決策策的過程提提供支持持。（盡管數(shù)數(shù)據(jù)仍以以表方式式存儲，但數(shù)據(jù)據(jù)組織和和建模方方法已不不同）需要數(shù)據(jù)據(jù)庫設(shè)計(jì)計(jì)、應(yīng)用用開發(fā)、系統(tǒng)維維護(hù)等方方面進(jìn)行行復(fù)雜的的大量工工作。由此可見見，操作作型的環(huán)環(huán)境涉及及到事務(wù)務(wù)管理，封鎖管管理，死死鎖管理理，數(shù)據(jù)據(jù)備份恢恢復(fù)，系系統(tǒng)日志志管理，數(shù)據(jù)存存儲管理理等一系系列復(fù)雜雜技術(shù)。2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存

29、儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM計(jì)費(fèi)數(shù)據(jù)據(jù)庫客戶服務(wù)務(wù)數(shù)據(jù)庫市場信息息數(shù)據(jù)庫帳務(wù)數(shù)據(jù)據(jù)庫收益數(shù)據(jù)據(jù)客戶數(shù)據(jù)據(jù)市場數(shù)據(jù)據(jù)圖1-11數(shù)數(shù)據(jù)倉倉庫面向向主題的的特性現(xiàn)有有業(yè)業(yè)務(wù)務(wù)系系統(tǒng)統(tǒng)2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM客戶標(biāo)識識號客戶姓名名客戶年齡齡客戶地址址. .客戶基本本信息表表客戶呼叫叫記錄表表客戶標(biāo)識識號客戶呼叫叫時(shí)間客戶呼叫叫地點(diǎn)客戶呼叫叫號碼呼叫時(shí)長長呼叫費(fèi)率率. . .客戶話費(fèi)費(fèi)表客戶標(biāo)識識表

30、客戶本月月總話費(fèi)費(fèi)本月月租租費(fèi)本月通話話費(fèi)本月短信信費(fèi). .客戶標(biāo)識識號客戶咨詢詢內(nèi)容咨詢答案案. .客戶咨詢詢表圖1-12屬屬于相相同主題題域的數(shù)數(shù)據(jù)集合合使用相相同的公公共鍵碼碼連接2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM2數(shù)數(shù)據(jù)的的集成性性O(shè)LTP 建表表的數(shù)據(jù)據(jù)在多個(gè)個(gè)庫中抽抽取蜘蜘蛛網(wǎng)網(wǎng)問題OLAP 要求求數(shù)據(jù)的的一致性性集集成的（李強(qiáng)，李強(qiáng)強(qiáng)）圖2-8所示中中，示例例了一個(gè)個(gè)數(shù)據(jù)集集成的例例子，某某電信公公司建立立數(shù)據(jù)

31、倉倉庫時(shí)包包括了客客戶這個(gè)個(gè)主題，公司的的業(yè)務(wù)系系統(tǒng)中，客戶的的信息分分散在各各個(gè)業(yè)務(wù)務(wù)數(shù)據(jù)庫庫中，需需要從客客戶基本本信息表表，客戶戶呼叫記記錄表，客戶話話費(fèi)表，客戶咨咨詢表等等表中將將數(shù)據(jù)提提取并進(jìn)進(jìn)行集成成。圖2-9示例了了在實(shí)際際問題中中可能遇遇到的需需要進(jìn)行行數(shù)據(jù)轉(zhuǎn)轉(zhuǎn)換的工工作。數(shù)據(jù)的集集成性需需要對數(shù)數(shù)據(jù)進(jìn)行行 ETL，特特別是是轉(zhuǎn)化和和清洗，其中，要注意的的問題：數(shù)數(shù)據(jù)格式式測測量單位位數(shù)數(shù)據(jù)代碼碼數(shù)數(shù)據(jù)名稱稱數(shù)據(jù)的集集成是動(dòng)動(dòng)態(tài)的，不是靜靜態(tài)的。2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2

32、.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM客戶基本本信息表表客戶標(biāo)識識號客戶姓名名客戶年齡齡客戶地址址. .客戶呼叫叫記錄表表客戶標(biāo)識識號客戶呼叫叫時(shí)間客戶呼叫叫地點(diǎn)客戶呼叫叫號碼呼叫時(shí)長長呼叫費(fèi)率率. .客戶話費(fèi)費(fèi)表客戶標(biāo)識識號客戶本月月總話費(fèi)費(fèi)本月月租租費(fèi)本月通話話費(fèi)本月短信信費(fèi). .客戶咨詢詢表客戶標(biāo)識識號客戶咨詢詢內(nèi)容咨詢答案案. .客戶標(biāo)識識號客戶姓名名客戶年齡齡客戶地址址. .客戶標(biāo)識識號客戶呼叫時(shí)間客戶呼叫叫地點(diǎn)客戶呼叫叫號碼呼叫時(shí)長長呼叫費(fèi)率率. .客戶標(biāo)識識號客戶本月月總話費(fèi)費(fèi)本月月租租費(fèi)本月通話話費(fèi)本月短信信費(fèi). .客戶標(biāo)識識號客戶咨詢詢內(nèi)容咨

33、詢答案案. .圖1-13數(shù)數(shù)據(jù)從操操作型環(huán)環(huán)境提取取到分析析型環(huán)境境的同時(shí)時(shí)進(jìn)行數(shù)數(shù)據(jù)集成成2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM客戶信息息表客戶呼叫叫記錄表表客戶話費(fèi)費(fèi)表客戶咨詢詢表 1 0FM女男男fmA表通話話時(shí)長B表通話話時(shí)長C表通話話時(shí)長2小時(shí)120分分鐘7200秒客戶信息息表客戶呼叫叫記錄表表客戶話費(fèi)費(fèi)表客戶咨詢詢表nameuser_nameUSERNAMENAME客戶信息息表客戶呼叫叫記錄表表客戶話費(fèi)費(fèi)表客戶咨詢詢

34、表姓名名姓名名姓名名姓名名char(10)varchar(10)char(12)varchar(20)統(tǒng)一編碼碼/編碼碼間轉(zhuǎn)化統(tǒng)一度量量單位統(tǒng)一變量量命名統(tǒng)一字段段格式集成后數(shù)數(shù)據(jù)圖1-14數(shù)數(shù)據(jù)集集成中數(shù)數(shù)據(jù)轉(zhuǎn)化化的工作作2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM任務(wù)調(diào)度度：定期期進(jìn)行數(shù)數(shù)據(jù)刷新業(yè)務(wù)系統(tǒng)統(tǒng)數(shù)據(jù)清洗洗,轉(zhuǎn)換換整理數(shù)據(jù)倉庫庫圖1-15數(shù)數(shù)據(jù)刷新新示意進(jìn)一步考考慮，決決策支持持系統(tǒng)需需要的不不是靜態(tài)態(tài)的集成成，而是是動(dòng)態(tài)

35、的的集成。靜態(tài)集集成的最最大缺點(diǎn)點(diǎn)在于數(shù)數(shù)據(jù)集成成后數(shù)據(jù)據(jù)源中的的數(shù)據(jù)發(fā)發(fā)生了變變化，這這些變化化將不能能反映給給決策者者，導(dǎo)致致決策者者使用的的是過時(shí)時(shí)的數(shù)據(jù)據(jù)。因此此數(shù)據(jù)倉倉庫必須須能夠使使集成數(shù)數(shù)據(jù)以一一定的周周期（例例如24小時(shí)）進(jìn)行刷刷新，使使決策者者能夠使使用新增增的數(shù)據(jù)據(jù)，其過過程如圖圖1-15所示示。2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM3數(shù)數(shù)據(jù)的穩(wěn)穩(wěn)定性O(shè)LTP 中的的操作存存入、查詢、修改、刪除OLAP 中的

36、的操作存存入、查詢（注注意：兩兩個(gè)存存入的的不同）數(shù)據(jù)倉庫庫中，數(shù)數(shù)據(jù)一旦旦寫入，就不再再變化了了。所以以，也可可以把數(shù)數(shù)據(jù)倉庫庫看作是一一個(gè)虛擬擬的只讀讀存儲器器。我們在圖圖中演示示了一個(gè)個(gè)簡單的的例子。例如在在3月23日，100號顧客客的消費(fèi)費(fèi)金額變變成250元，這一信信息在業(yè)業(yè)務(wù)系統(tǒng)統(tǒng)中被更更新了。但是在在數(shù)據(jù)倉倉庫中（假定數(shù)數(shù)據(jù)倉庫庫每天進(jìn)進(jìn)行一次次數(shù)據(jù)提提?。?月23日的的數(shù)據(jù)提提取結(jié)果果是在數(shù)數(shù)據(jù)倉庫庫中增加加了記錄錄XXX，說明明100號顧客客在3月月23日日的消費(fèi)費(fèi)金額為為200元，在在執(zhí)行3月24日的數(shù)數(shù)據(jù)提取取工作后后，原先先記錄的的XXX并沒有有發(fā)生任任何的改改變，而而

37、是在數(shù)數(shù)據(jù)倉庫庫中增加加了一條條新的紀(jì)紀(jì)錄YYY，說說明100號顧顧客在3月24日的消消費(fèi)金額額為250元。可見，數(shù)數(shù)據(jù)倉庫庫實(shí)際上上是為100號號顧客的的消費(fèi)行行為進(jìn)行行了定期期的拍照照，并將將快照存存儲起來來后供后后續(xù)的分分析工作作使用。2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM客戶號：100費(fèi)用（元元）：200客戶號：100費(fèi)用（元元）：250記錄號：XXX時(shí)間：3月23日客戶號：100費(fèi)用（元元）：200記錄號：XXX時(shí)間：

38、3月23日客戶號：100費(fèi)用（元元）：200記錄號：YYY時(shí)間：3月24日客戶號：100費(fèi)用（元元）：250業(yè)務(wù)運(yùn)營營系統(tǒng)數(shù)據(jù)倉庫庫系統(tǒng)數(shù)據(jù)倉庫庫中增加加一個(gè)記錄3月23日數(shù)據(jù)抽取取3月24日數(shù)據(jù)抽取取數(shù)據(jù)更新新圖1-16數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)穩(wěn)定定性2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM4數(shù)數(shù)據(jù)隨時(shí)時(shí)間變化化的特性性O(shè)LTP 的存存入=修修改OLAP 的存存入=增增加（數(shù)數(shù)據(jù)保存存 大約約510年）數(shù)據(jù)倉庫庫 記錄錄系統(tǒng)的的各個(gè)

39、瞬瞬態(tài)，并并通過各各個(gè)瞬態(tài)態(tài)的連接接形成動(dòng)動(dòng)畫。由于在數(shù)數(shù)據(jù)倉庫庫中數(shù)據(jù)據(jù)只增不不刪，這這使得數(shù)數(shù)據(jù)倉庫庫中的數(shù)數(shù)據(jù)總是是擁有時(shí)時(shí)間維度度。數(shù)據(jù)據(jù)倉庫實(shí)實(shí)際上就就是記錄錄系統(tǒng)的的各個(gè)瞬瞬間，并并通過各各個(gè)瞬間間連接起起來形成成動(dòng)畫。從而在在數(shù)據(jù)分分析的時(shí)時(shí)候再現(xiàn)現(xiàn)系統(tǒng)運(yùn)運(yùn)動(dòng)的全全過程。數(shù)據(jù)提提取的周周期實(shí)際際上決定定了動(dòng)畫畫間隔的的時(shí)間，數(shù)據(jù)提提取的時(shí)時(shí)間短，則動(dòng)畫畫的速度度快，圖圖1-17示意意了這個(gè)個(gè)特點(diǎn)。2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非

40、結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM業(yè)務(wù)系統(tǒng)統(tǒng)的運(yùn)營營數(shù)據(jù)倉庫庫的快照照集合t1t2t3tn圖1-17數(shù)數(shù)據(jù)倉倉庫數(shù)據(jù)據(jù)隨時(shí)間間變化的的特點(diǎn)2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM5多多維性性數(shù)據(jù)是帶帶有時(shí)間間軸的數(shù)數(shù)據(jù)是多多維的形形成立立方體（Cube）支支持決策策三、數(shù)數(shù)據(jù)倉倉庫的工工作目標(biāo)標(biāo)2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存

41、儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)數(shù)據(jù)庫系系統(tǒng)中硬硬件資源源利用率率曲線數(shù)據(jù)倉庫庫系統(tǒng)中中硬件資資源利用用率曲線線時(shí)間時(shí)間0%0%100%100%DW&DM一、數(shù)數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)組織形形式數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)級別：早期細(xì)節(jié)節(jié)級當(dāng)前細(xì)節(jié)節(jié)級輕度綜合合級高度綜合合級1.5數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM后備數(shù)據(jù)據(jù)后備數(shù)據(jù)據(jù)后備數(shù)據(jù)據(jù)后備數(shù)據(jù)據(jù)高度細(xì)節(jié)節(jié)級輕度細(xì)節(jié)節(jié)級當(dāng)前細(xì)節(jié)節(jié)級早期細(xì)節(jié)節(jié)級圖

42、1-18數(shù)數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)組織結(jié)結(jié)構(gòu)圖2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM如圖119，所示是是一個(gè)數(shù)數(shù)據(jù)倉庫庫數(shù)據(jù)組組織的示示例。由由于客戶戶的呼叫叫數(shù)據(jù)的的數(shù)據(jù)量量很大，并且數(shù)數(shù)據(jù)倉庫庫的使用用者常常常只關(guān)心心近期的的細(xì)節(jié)數(shù)數(shù)據(jù)，因因此我們們可以在在系統(tǒng)中中只保留留近三個(gè)個(gè)月的呼呼叫數(shù)據(jù)據(jù)，而將將3個(gè)月月之前的的詳細(xì)數(shù)數(shù)據(jù)到處處到備份份設(shè)備中中。在數(shù)據(jù)倉倉庫中，細(xì)節(jié)數(shù)數(shù)據(jù)可以以聚合成成輕度和和高度綜綜合級別別的數(shù)據(jù)據(jù)，比如

43、如按“月月”、“季度”、“年年”統(tǒng)計(jì)計(jì)，需要要說明的的是輕度度和高度度是一種種相對的的概念，而沒有有絕對的的邊界，并且在在數(shù)據(jù)倉倉庫中數(shù)數(shù)據(jù)的綜綜合程度度常常有有很多的的級別。在2001/3時(shí)，系系統(tǒng)保留留了從2001/12001/3的呼叫叫詳細(xì)數(shù)數(shù)據(jù)，等等到2001/4月，2001/1的細(xì)節(jié)節(jié)數(shù)據(jù)被被導(dǎo)出，保留的的是從2001/22001/4的呼叫叫詳細(xì)數(shù)數(shù)據(jù)。實(shí)際上綜綜合數(shù)據(jù)據(jù)也可能能被導(dǎo)出出系統(tǒng)，比如企企業(yè)的管管理者認(rèn)認(rèn)為企業(yè)業(yè)的決策策只同企企業(yè)近15年來來的運(yùn)營營數(shù)據(jù)有有關(guān)，則則15年年前的綜綜合數(shù)據(jù)據(jù)也可以以導(dǎo)出。對于高高度綜合合的數(shù)據(jù)據(jù)，由于于其數(shù)據(jù)據(jù)量已經(jīng)經(jīng)很少，所以一一般不考考

44、慮它們們的導(dǎo)出出問題?？偟膩碚f說，數(shù)據(jù)據(jù)倉庫的的這種組組織方式式的核心心思想是是在系統(tǒng)統(tǒng)中保留留最有可可能被客客戶使用用的數(shù)據(jù)據(jù)，而用用戶很少少使用的的數(shù)據(jù)則則備份出出系統(tǒng)。2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM當(dāng)前細(xì)節(jié)節(jié)級輕度綜合合級高度綜合合級最近3個(gè)個(gè)月（2001年1月-2001年3月月）客戶呼叫叫詳細(xì)數(shù)數(shù)據(jù)1995-2001年年按月統(tǒng)計(jì)的的客戶呼呼叫信息1995-2001年年按季度統(tǒng)計(jì)計(jì)的客戶戶呼叫信息息1995-200

45、1年年按年統(tǒng)統(tǒng)計(jì)的客戶戶呼叫信信息2001年1月月以前的的呼叫詳詳細(xì)數(shù)據(jù)2001/3數(shù)數(shù)據(jù)倉庫庫中數(shù)據(jù)據(jù)的狀態(tài)態(tài)最近3個(gè)個(gè)月（2001年2月-2001年4月月）客戶呼叫叫詳細(xì)數(shù)數(shù)據(jù)1995-2001年年按月統(tǒng)計(jì)的的客戶呼呼叫信息1995-2001年年按季度統(tǒng)計(jì)計(jì)的客戶戶呼叫信息息1995-2001年年按年統(tǒng)統(tǒng)計(jì)的客戶戶呼叫信信息2001年2月月以前的的呼叫詳詳細(xì)數(shù)據(jù)2001/4數(shù)數(shù)據(jù)倉庫庫中數(shù)據(jù)據(jù)的狀態(tài)態(tài)圖1-19數(shù)數(shù)據(jù)倉庫庫數(shù)據(jù)組組織示例例2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲

46、儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM二、數(shù)數(shù)據(jù)的顆顆粒度數(shù)據(jù)粒度度越小信信息越細(xì)細(xì)節(jié) 數(shù)據(jù)據(jù)粒度級級別越低低 數(shù)數(shù)據(jù)量量越大數(shù)據(jù)粒度度越大綜綜合度越越高 數(shù)據(jù)據(jù)粒度級級別越高高 數(shù)數(shù)據(jù)量量越小數(shù)據(jù)粒度度的兩種種形式：是是對數(shù)數(shù)據(jù)倉庫庫中數(shù)據(jù)據(jù)的綜合合程度的的度量如圖所示示的例子子，按照照每“月月”統(tǒng)計(jì)計(jì)的客戶戶呼叫數(shù)數(shù)據(jù)和按按照每次次呼叫記記載的客客戶呼叫叫數(shù)據(jù)，兩者的的數(shù)據(jù)量量相差極極大。我我們假定定每個(gè)字字段為8個(gè)字節(jié)節(jié)，每個(gè)個(gè)用戶一一天進(jìn)行行5次通通話，則則一個(gè)客客戶一個(gè)個(gè)月的呼呼叫細(xì)節(jié)節(jié)數(shù)據(jù)的的數(shù)據(jù)量量為：86305=7200字字節(jié)，而一個(gè)個(gè)客戶1個(gè)月的的呼叫匯匯總數(shù)據(jù)

47、據(jù)的數(shù)據(jù)據(jù)量為84=32字節(jié)節(jié)。圖120所示示細(xì)節(jié)數(shù)數(shù)據(jù)和綜綜合數(shù)據(jù)據(jù)用途上上的差異異。圖121所示的的細(xì)節(jié)數(shù)數(shù)據(jù)和綜綜合數(shù)據(jù)據(jù)在回答答綜合問問題上代代價(jià)的差差異。2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM8X630X58X4客戶呼叫叫記錄表表客戶呼叫叫記錄按月匯總總表客戶標(biāo)識識號客戶呼叫叫時(shí)間客戶呼叫叫地點(diǎn)客戶呼叫叫號碼呼叫時(shí)長長呼叫費(fèi)率率客戶標(biāo)識識號月份呼叫總時(shí)時(shí)長呼叫總次次數(shù)圖1-20按按“月月”統(tǒng)計(jì)計(jì)的客戶戶呼叫數(shù)數(shù)據(jù)和按按

48、每次呼呼叫記載載的客戶戶呼叫數(shù)數(shù)據(jù)2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM細(xì)節(jié)數(shù)據(jù)據(jù)綜合數(shù)據(jù)據(jù)綜合數(shù)據(jù)據(jù)能夠回回答的問問題：王五這個(gè)個(gè)月打了了幾個(gè)電電話？王五這個(gè)個(gè)月的通通話總時(shí)時(shí)長是多多少？細(xì)節(jié)數(shù)據(jù)據(jù)回答的的問題：王五這個(gè)個(gè)月3號號在北京京打了幾幾個(gè)電話話？王五這個(gè)個(gè)月3號號給李明明打過電電話媽？通話時(shí)時(shí)間是多多少？圖1-21綜綜合數(shù)數(shù)據(jù)和細(xì)細(xì)節(jié)數(shù)據(jù)據(jù)的用途途不同2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)

49、數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM細(xì)節(jié)數(shù)據(jù)據(jù)綜合數(shù)據(jù)據(jù)綜合數(shù)據(jù)據(jù)回答綜綜合問題題，只需需在訪問很少的的數(shù)據(jù)細(xì)節(jié)數(shù)據(jù)據(jù)回答綜綜合問題題需要訪訪問大量量的記錄錄，進(jìn)行行大量的的計(jì)算。圖1-22綜綜合數(shù)數(shù)據(jù)和細(xì)細(xì)節(jié)數(shù)據(jù)據(jù)回答綜綜合問題題的代價(jià)價(jià)不同2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM從圖中我我們可以以看出，綜合程程度不同同的數(shù)據(jù)

50、據(jù)其用途途不同，在數(shù)據(jù)據(jù)倉庫多多重的數(shù)數(shù)據(jù)粒度度是必不不可少的的，但是是由于數(shù)數(shù)據(jù)倉庫庫最主要要的目的的是反映映企業(yè)整整體信息息和DSS分析析，回答答綜合程程度較高高的問題題。如果果為了回回答許多多細(xì)節(jié)問問題，而而使系統(tǒng)統(tǒng)的數(shù)據(jù)據(jù)量極度度膨脹，從而降降低系統(tǒng)統(tǒng)的運(yùn)營營效率，就背離離了系統(tǒng)統(tǒng)建設(shè)的的初衷，這也是是我們在在數(shù)據(jù)倉倉庫數(shù)據(jù)據(jù)組織方方式中說說明的，對細(xì)節(jié)節(jié)數(shù)據(jù)和和綜合數(shù)數(shù)據(jù)采用用不同綜綜合策略略的原因因。實(shí)際際的工程程項(xiàng)目中中，我們們可以將將綜合程程度較高高的數(shù)據(jù)據(jù)存放在在訪問速速度較高高的磁盤盤上，而而將細(xì)節(jié)節(jié)數(shù)據(jù)定定期導(dǎo)出出到低俗俗的磁帶帶上。例如，我我們將近近三個(gè)月月的呼叫叫細(xì)節(jié)

51、數(shù)數(shù)據(jù)和按按月綜合合的數(shù)據(jù)據(jù)、按年年綜合的的數(shù)據(jù)放放在高速速磁盤上上，而將將以往的的細(xì)節(jié)數(shù)數(shù)據(jù)放在在低俗磁磁帶上，如圖1-23所示。需要注意意的是：從數(shù)據(jù)倉倉庫中導(dǎo)導(dǎo)出的數(shù)數(shù)據(jù)仍然然屬于數(shù)數(shù)據(jù)倉庫庫，只是是在存儲儲介質(zhì)上上發(fā)生了了變化。2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM3個(gè)月內(nèi)內(nèi)的客戶戶呼叫細(xì)節(jié)節(jié)數(shù)據(jù)3個(gè)月以以前的客客戶呼叫叫細(xì)節(jié)數(shù)數(shù)據(jù)高速磁盤盤低速的磁磁帶設(shè)備備5年內(nèi)按按月綜合合的呼叫數(shù)數(shù)據(jù)10年內(nèi)內(nèi)按年綜綜合的呼叫叫數(shù)據(jù)

52、圖1-23不不同的數(shù)數(shù)據(jù)采用用不同的的存儲介介質(zhì)2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM針針對數(shù)數(shù)據(jù)挖掘掘 統(tǒng)計(jì)計(jì)中的抽抽樣樣本本空間（數(shù)據(jù)挖掘掘常常會(huì)會(huì)使用非非常負(fù)責(zé)責(zé)的算法法（如神神經(jīng)元網(wǎng)網(wǎng)絡(luò)），其計(jì)算算的復(fù)雜雜度較高高，如果果我們將將數(shù)據(jù)倉倉庫中存存放的巨巨量數(shù)據(jù)據(jù)直接運(yùn)運(yùn)算，則則計(jì)算時(shí)時(shí)間和空空間復(fù)雜雜度將太太高，以以致于系系統(tǒng)難以以承受。因此我我們在進(jìn)進(jìn)行數(shù)據(jù)據(jù)挖掘時(shí)時(shí)，需要要對數(shù)據(jù)據(jù)倉庫中中的數(shù)據(jù)據(jù)進(jìn)行抽抽樣。粒粒度的

53、第第二種形形式是指指抽樣率率，即以以一定的的抽樣率率對數(shù)據(jù)據(jù)倉庫中中的數(shù)據(jù)據(jù)進(jìn)行抽抽樣后得得到一個(gè)個(gè)樣本數(shù)數(shù)據(jù)庫，數(shù)據(jù)挖挖掘?qū)⒃谠谶@個(gè)樣樣本數(shù)據(jù)據(jù)庫上進(jìn)進(jìn)行，如如圖220。這樣抽象象的思想想是合理理的，因因?yàn)槲覀儌冞M(jìn)行數(shù)數(shù)據(jù)挖掘掘是為了了建立分分析模型型，反映映事務(wù)發(fā)發(fā)展的規(guī)規(guī)律和趨趨勢。由由抽樣帶帶來的模模型誤差差可以在在模型建建立之后后再次使使用源數(shù)數(shù)據(jù)對模模型進(jìn)行行校驗(yàn)和和調(diào)整，這樣可可以大大大縮短模模型建立立的時(shí)間間，提高高模型的的精確度度。實(shí)際際上，數(shù)數(shù)據(jù)挖掘掘通過循循環(huán)不斷斷地改進(jìn)進(jìn)分析模模型，如如圖1-24所所示。2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)

54、數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM數(shù)據(jù)倉庫庫樣本數(shù)據(jù)據(jù)庫數(shù)據(jù)挖掘掘算法以一定抽抽樣率進(jìn)行抽樣樣圖1-24使使用樣樣本數(shù)據(jù)據(jù)庫進(jìn)行行數(shù)據(jù)挖挖掘2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM數(shù)據(jù)倉庫庫樣本數(shù)據(jù)據(jù)庫數(shù)據(jù)挖掘掘算法（1）以以一定抽抽樣率進(jìn)進(jìn)行抽樣樣（2）通通過挖掘掘建立模模型（3）使使用源數(shù)數(shù)據(jù)進(jìn)行行校驗(yàn)（4）再再次進(jìn)行行循

55、環(huán)分析模型型圖1-25數(shù)數(shù)據(jù)挖挖掘的循循環(huán)2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM評價(jià)抽樣樣率和抽抽樣方法法是否合合適，關(guān)關(guān)鍵在于于抽樣得得到的樣樣本是否否能夠反反映源數(shù)數(shù)據(jù)集合合的特征征，圖126所示一一種常見見的評價(jià)價(jià)方法：通過比比較樣本本集合間間的數(shù)值值特征來來評價(jià)本本集合和和元數(shù)據(jù)據(jù)之間的的相似性性。如：我們們使用某某種抽樣樣方法進(jìn)進(jìn)行隨即即抽樣，得到樣樣本1和和樣本2，然后后比較這這兩個(gè)樣樣本集合合之間如如均值、方差等等

56、數(shù)值特特征，如如果這兩兩個(gè)樣本本的數(shù)值值特征不不類似，則繼續(xù)續(xù)抽樣。等到抽抽樣獲得得的樣本本4，樣樣本5和和樣本6它們的的數(shù)值特特征非常常的相似似，則認(rèn)認(rèn)為再繼繼續(xù)進(jìn)行行抽樣的的樣本集集合的數(shù)數(shù)值特征征也都類類似，并并且都同同數(shù)據(jù)源源具有類類似的特特征，抽抽樣的過過程到此此即可以以結(jié)束，過程如如圖126.2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM源數(shù)據(jù)樣本1樣本2樣本3樣本4樣本5樣本6抽樣1抽樣2抽樣3抽樣4抽樣5抽樣6圖1-26

57、數(shù)數(shù)據(jù)抽樣樣的評價(jià)價(jià)方法2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM三、數(shù)數(shù)據(jù)分分割：將數(shù)據(jù)分分散到各各自的物物理單元元中，以以便能夠夠獨(dú)立處處理，提提高數(shù)據(jù)據(jù)處理的的效率，數(shù)據(jù)分分割后的的數(shù)據(jù)單單元成為為：分片片。數(shù)據(jù)分割割沒有固固定的標(biāo)標(biāo)準(zhǔn)，分分割的方方法和粒粒度應(yīng)當(dāng)當(dāng)根據(jù)實(shí)實(shí)際情況況來確定定。分割割方法常常?？梢砸赃x擇時(shí)時(shí)間、地地點(diǎn)、業(yè)業(yè)務(wù)領(lǐng)域域來劃分分。如圖圖128所示示，顯示示了按照照地理位位置進(jìn)行行的一個(gè)個(gè)分割。如果涉涉及

58、的數(shù)數(shù)量非常常大，可可愛按照照問題的的需求從從多個(gè)角角度進(jìn)行行分割，例如按按照時(shí)間間和地理理位置兩兩個(gè)角度度進(jìn)行分分割，如如圖129。按照時(shí)間間進(jìn)行分分割符合合數(shù)據(jù)倉倉庫數(shù)據(jù)據(jù)隨時(shí)間間變化的的特點(diǎn)，并且分分割后數(shù)數(shù)據(jù)分布布比較均均勻，所所以是最最常見的的分割方方法。分割使得得數(shù)據(jù)可可以更容容易索引引、監(jiān)控控和順序序掃描，并且重重構(gòu)、重重組簡單單。重構(gòu)構(gòu)是分割割的反面面，而重重組是對對分割的的數(shù)據(jù)進(jìn)進(jìn)行新的的組合，如圖127所示。2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6

59、外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM199519961997199819992000200119951997199920011996.1998200070,000,000條記錄10，000，000條記錄圖1-27 數(shù)據(jù)在時(shí)間上的分割2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM中國各地地區(qū)的產(chǎn)量福建上海寧夏貴州圖1-28按按照地理理位置分分割1999200020011999福建34340，000條記錄30,000,000條記錄1999

60、廣東1999山西2000福建2000廣東2000山西2001福建2001廣東2001山西圖1-29按按照時(shí)間間和地理理位置分分割2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)設(shè)的兩條條技術(shù)路路線2.5操操作數(shù)數(shù)據(jù)存儲儲ODS2.6外外部數(shù)數(shù)據(jù)和非非結(jié)構(gòu)數(shù)數(shù)據(jù)DW&DM1995-20011995199619971998199920012000分割重構(gòu)1996-19971998-20002001重組圖1-30重重構(gòu)和重重組2.1數(shù)數(shù)據(jù)倉倉庫的體體系結(jié)構(gòu)構(gòu)2.2數(shù)數(shù)據(jù)倉倉庫的特特點(diǎn)2.3數(shù)數(shù)據(jù)倉倉庫的數(shù)數(shù)據(jù)組織織2.4數(shù)數(shù)據(jù)倉倉庫建設(shè)