數(shù)據(jù)倉庫1-數(shù)據(jù)倉庫概述

1、1第第1 1講講 數(shù)據(jù)倉庫概述數(shù)據(jù)倉庫概述2數(shù)據(jù)倉庫概述數(shù)據(jù)倉庫概述1.1 1.1 數(shù)據(jù)倉庫產(chǎn)生的原因數(shù)據(jù)倉庫產(chǎn)生的原因1.2 1.2 數(shù)據(jù)倉庫的基本概念數(shù)據(jù)倉庫的基本概念1.3 1.3 數(shù)據(jù)倉庫的體系結(jié)構(gòu)數(shù)據(jù)倉庫的體系結(jié)構(gòu)3數(shù)據(jù)倉庫概述數(shù)據(jù)倉庫概述1.1 1.1 數(shù)據(jù)倉庫產(chǎn)生的原因數(shù)據(jù)倉庫產(chǎn)生的原因v 1.1.1 1.1.1 操作型數(shù)據(jù)處理操作型數(shù)據(jù)處理v 1.1.2 1.1.2 分析型數(shù)據(jù)處理分析型數(shù)據(jù)處理v 1.1.3 1.1.3 兩種數(shù)據(jù)處理模式的差異兩種數(shù)據(jù)處理模式的差異v 1.1.4 1.1.4 數(shù)據(jù)庫系統(tǒng)的局限性數(shù)據(jù)庫系統(tǒng)的局限性41.11.1數(shù)據(jù)倉庫產(chǎn)生的原因數(shù)據(jù)倉庫產(chǎn)生的原因

2、兩者有何不同？v 數(shù)據(jù)庫：存放數(shù)據(jù)的地方。v 數(shù)據(jù)倉庫：存放數(shù)據(jù)的地方。51.11.1數(shù)據(jù)倉庫產(chǎn)生的原因數(shù)據(jù)倉庫產(chǎn)生的原因兩者有何不同？v 數(shù)據(jù)庫：存放數(shù)據(jù)的地方。v 數(shù)據(jù)倉庫：存放數(shù)據(jù)的地方。61.11.1數(shù)據(jù)倉庫產(chǎn)生的原因數(shù)據(jù)倉庫產(chǎn)生的原因兩者有何不同？v 數(shù)據(jù)庫：存放數(shù)據(jù)的地方。v 數(shù)據(jù)倉庫：存放數(shù)據(jù)的地方。71.11.1數(shù)據(jù)倉庫產(chǎn)生的原因數(shù)據(jù)倉庫產(chǎn)生的原因81.11.1數(shù)據(jù)倉庫產(chǎn)生的原因數(shù)據(jù)倉庫產(chǎn)生的原因91.11.1數(shù)據(jù)倉庫產(chǎn)生的原因數(shù)據(jù)倉庫產(chǎn)生的原因兩者有何不同？v 數(shù)據(jù)庫：存放數(shù)據(jù)的地方。v 數(shù)據(jù)倉庫：存放數(shù)據(jù)的地方。101.11.1數(shù)據(jù)倉庫產(chǎn)生的原因數(shù)據(jù)倉庫產(chǎn)生的原因數(shù)據(jù)處理的

3、類型 操作型處理（OLTP)：數(shù)據(jù)的收集、整理、存儲、查詢和增、刪、改操作。 分析型處理(OLAP)：數(shù)據(jù)的再加工，往往要訪問大量的歷史數(shù)據(jù)，進(jìn)行復(fù)雜的統(tǒng)計分析。111.1.11.1.1操作型操作型數(shù)據(jù)處理數(shù)據(jù)處理v 是數(shù)據(jù)庫系統(tǒng)的主要應(yīng)用v 特點：數(shù)據(jù)存取頻率高、響應(yīng)時間要快、 存取數(shù)據(jù)量小、數(shù)據(jù)存儲正確可靠。v 系統(tǒng)基本架構(gòu)： 數(shù)據(jù)庫數(shù)據(jù)庫用戶用戶用戶用戶用戶用戶數(shù)據(jù)庫管理系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)121.1.11.1.1操作型數(shù)據(jù)處理操作型數(shù)據(jù)處理為了有效地對事務(wù)進(jìn)行處理，數(shù)據(jù)庫管理系統(tǒng)在技術(shù)和管理上采取了很多措施：v提出了事務(wù)的概念v采用日志、備份等恢復(fù)技術(shù)和并發(fā)控制技術(shù)v采用

4、索引技術(shù)快速定位數(shù)據(jù)131.1.11.1.1操作型數(shù)據(jù)處理操作型數(shù)據(jù)處理在數(shù)據(jù)庫設(shè)計中v廣泛采用了規(guī)范化理論，消除表中屬性間的部分函數(shù)依賴和傳遞函數(shù)依賴。v消除了數(shù)據(jù)的冗余，縮短了數(shù)據(jù)處理時間。141.1.21.1.2分析型分析型數(shù)據(jù)處理數(shù)據(jù)處理典型的分析型應(yīng)用就是決策支持系統(tǒng)。需要具備的基本功能是：建立各種數(shù)學(xué)模型，對數(shù)據(jù)統(tǒng)計分析，得出有用的信息作為決策的依據(jù)。151.1.21.1.2分析型分析型數(shù)據(jù)處理數(shù)據(jù)處理常規(guī)應(yīng)用實例：某產(chǎn)品的銷售經(jīng)理希望通過調(diào)整該產(chǎn)品在各零售店的分配數(shù)量來擴(kuò)大其銷售量。v需要查詢歷史數(shù)據(jù)庫中各類零售店最近若干年（例如5年）內(nèi)每天的銷售記錄。v統(tǒng)計運算計算出近5年來各

5、店的年度銷售量。v比較確定銷售量增長較快的零售店。161.1.21.1.2分析型數(shù)據(jù)處理分析型數(shù)據(jù)處理決策支持系統(tǒng)：需要花數(shù)小時甚至更長時間的處理、需要遍歷數(shù)據(jù)庫中的大部分?jǐn)?shù)據(jù)，進(jìn)行復(fù)雜的計算，需要消耗大量的系統(tǒng)資源。171.1.3兩者數(shù)據(jù)處理模式的差別操作型數(shù)據(jù)操作型數(shù)據(jù)分析型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的 綜合的，或提煉的當(dāng)前數(shù)據(jù)歷史數(shù)據(jù)更新的不可更新，只讀的生命周期符合SDLC（軟件開發(fā)生命周期）完全不同的生命周期對性能要求高 對性能要求寬松一個時刻操作一個單元一個時刻操作一個集合事務(wù)驅(qū)動分析驅(qū)動面向應(yīng)用面向分析一次操作數(shù)據(jù)量小，計算簡單一次操作數(shù)據(jù)量大，計算復(fù)雜支持日常操作支持管理需求181.1

6、.4數(shù)據(jù)庫系統(tǒng)的局限v傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)在操作型數(shù)據(jù)處理應(yīng)用中取得了巨大的成功。v將其應(yīng)用到分析型數(shù)據(jù)處理方面卻無能為力。 191.1.4數(shù)據(jù)庫系統(tǒng)的局限v信息系統(tǒng)建設(shè)的階段性和分布性的特點，信息系統(tǒng)建設(shè)的階段性和分布性的特點， 導(dǎo)致導(dǎo)致“信息孤島信息孤島”的存在。的存在。201.1.4數(shù)據(jù)庫系統(tǒng)的局限211.1.4數(shù)據(jù)庫系統(tǒng)的局限（續(xù)）1）數(shù)據(jù)的分散聯(lián)機(jī)事務(wù)處理系統(tǒng)一般只需要與本部門業(yè)務(wù)相關(guān)的當(dāng)前數(shù)據(jù)。企業(yè)內(nèi)部各應(yīng)用之間實際上幾乎都是獨立的。222）“蜘蛛網(wǎng)”問題v 解決數(shù)據(jù)分散的一種方法就是對數(shù)據(jù)進(jìn)行集成v 抽取程序帶來了“蜘蛛網(wǎng)”問題，即需要在抽取的數(shù)據(jù)中再次抽取，將導(dǎo)致企業(yè)數(shù)據(jù)之間形成錯

7、綜復(fù)雜的網(wǎng)狀結(jié)構(gòu)。1.1.4數(shù)據(jù)庫系統(tǒng)的局限233）數(shù)據(jù)不一致問題由于數(shù)據(jù)分散，導(dǎo)致多個應(yīng)用間的數(shù)據(jù)不一致：u 同一字段在不同應(yīng)用中具有不同的數(shù)據(jù)類型u 同一字段在不同應(yīng)用中具有不同的名字u 字段名字相同，但含義不同1.1.4數(shù)據(jù)庫系統(tǒng)的局限244）數(shù)據(jù)動態(tài)集成問題u 數(shù)據(jù)集成開銷很大。一些應(yīng)用僅在開始時對進(jìn)行集成，以后一直以這部分集成數(shù)據(jù)作為分析基礎(chǔ)，稱為靜態(tài)集成。導(dǎo)致決策者使用過時數(shù)據(jù)。u 如果希望能夠用上最新數(shù)據(jù)，每次分析之前都進(jìn)行數(shù)據(jù)集成，稱為動態(tài)集成。聯(lián)機(jī)事務(wù)處理系統(tǒng)不具備動態(tài)集成能力。1.1.4數(shù)據(jù)庫系統(tǒng)的局限255）歷史數(shù)據(jù)問題v聯(lián)機(jī)事務(wù)處理一般只需要當(dāng)前數(shù)據(jù)，數(shù)據(jù)庫適于存儲高度

8、結(jié)構(gòu)化的日常事務(wù)細(xì)節(jié)數(shù)據(jù)。v決策型數(shù)據(jù)多為歷史性、匯總性或計算性數(shù)據(jù)。1.1.4數(shù)據(jù)庫系統(tǒng)的局限266）數(shù)據(jù)的綜合問題u 聯(lián)機(jī)事務(wù)處理系統(tǒng)中積累了大量的細(xì)節(jié)數(shù)據(jù)，決策支持系統(tǒng)并不對細(xì)節(jié)數(shù)據(jù)進(jìn)行分析。u 決策分析環(huán)境中，細(xì)節(jié)數(shù)據(jù)量太大一方面會嚴(yán)重影響分析效率，另一方面這些細(xì)節(jié)數(shù)據(jù)會分散決策者的注意力。u 因此分析前，需要對細(xì)節(jié)數(shù)據(jù)進(jìn)行不同程度的綜合。1.1.4數(shù)據(jù)庫系統(tǒng)的局限27v結(jié)論u 要提高分析和決策的效率和有效性，必須把分析數(shù)據(jù)從事務(wù)處理環(huán)境中提取出來，按照決策支持系統(tǒng)處理的需要進(jìn)行重新組織，建立單獨的分析型處理環(huán)境。u 數(shù)據(jù)倉庫正是為了構(gòu)建這種新的分析型處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲和組織

9、技術(shù)。1.1.4數(shù)據(jù)庫系統(tǒng)的局限28數(shù)據(jù)倉庫概述數(shù)據(jù)倉庫概述1.1 1.1 數(shù)據(jù)倉庫產(chǎn)生的原因數(shù)據(jù)倉庫產(chǎn)生的原因1.2 1.2 數(shù)據(jù)倉庫的基本概念數(shù)據(jù)倉庫的基本概念1.3 1.3 數(shù)據(jù)倉庫的體系結(jié)構(gòu)數(shù)據(jù)倉庫的體系結(jié)構(gòu)29 “數(shù)據(jù)倉庫”一詞最早是在1990年，由Bill Inmon提出的。數(shù)據(jù)倉庫的四個基本特征：u數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的（Subject Oriented）；u數(shù)據(jù)倉庫的數(shù)據(jù)時集成的（Integrate）；u數(shù)據(jù)倉庫的數(shù)據(jù)不可更新（Non-Volatile）；u數(shù)據(jù)倉庫的數(shù)據(jù)時隨時間不斷變化（Time Variant）的。 1.2 數(shù)據(jù)倉庫的基本概念30v數(shù)據(jù)倉庫就是一個面向主

10、題的、集成的、不可更新的、隨時間不斷變化的數(shù)據(jù)集合，通常用于企業(yè)的決策支持。 1.2 數(shù)據(jù)倉庫的基本概念31v 主題：是一個抽象的概念，是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進(jìn)行分析利用的抽象。在邏輯上，它對應(yīng)于企業(yè)中某一宏觀分析領(lǐng)域所涉及的分析對象。v 面向主題的數(shù)據(jù)組織方式可在較高層次上對分析對象的數(shù)據(jù)給出完整、一致的描述。1.2.1 面向主題32v 傳統(tǒng)的面向應(yīng)用的數(shù)據(jù)組織方式u圍繞相關(guān)的組織、部門進(jìn)行詳細(xì)調(diào)查，收集數(shù)據(jù)庫的基礎(chǔ)數(shù)據(jù)及其處理過程。u掌握企業(yè)內(nèi)數(shù)據(jù)的動態(tài)特征（數(shù)據(jù)流圖）。v 面向主題的數(shù)據(jù)組織方式u抽取主題u確定每個主題所應(yīng)包含的數(shù)據(jù)內(nèi)容1.2.1 面向主題33采

11、購子系統(tǒng)：訂單（訂單號，供應(yīng)商號，總金額，日期）訂單細(xì)則（訂單號，商品號，類別，單價，數(shù)量）供應(yīng)商（供應(yīng)商號，供應(yīng)商名，地址，電話）銷售子系統(tǒng)：顧客（顧客號，姓名，性別，年齡，文化程度，地址，電話）銷售（員工號，顧客號，商品號，數(shù)量，單價，日期）1.2.1 面向主題34人事管理子系統(tǒng)：員工（員工號，姓名，性別，年齡，文化程度，部門號）部門（部門號，部門名稱，部門主管，電話）庫存管理子系統(tǒng)：領(lǐng)料單（領(lǐng)料單號，領(lǐng)料人，商品號，數(shù)量，日期）進(jìn)料單（進(jìn)料單號，訂單號，進(jìn)料人，收料人，日期）庫存（商品號，庫房號，庫存量，日期）庫房（庫房號，倉庫管理員，地點，庫存商品描述）1.2.1 面向主題35傳統(tǒng)的面

12、向應(yīng)用進(jìn)行數(shù)據(jù)組織方式的特征為：v 重點在“數(shù)據(jù)”和“處理”；v 所生成的各項數(shù)據(jù)庫模式與企業(yè)實際的業(yè)務(wù)處理流程中所涉及的單據(jù)及文檔，有很好的對應(yīng)關(guān)系；v 并沒有真正體現(xiàn)數(shù)據(jù)與數(shù)據(jù)處理的分離。1.2.1 面向主題36v面向應(yīng)用到面向主題的轉(zhuǎn)變: 面向主題的數(shù)據(jù)組織方式應(yīng)分為兩個步驟： 抽取主題 確定每個主題所包含的數(shù)據(jù)內(nèi)容v仍以商場為例，它所應(yīng)有的主題包括：商品、供應(yīng)商、顧客。每個主題有各自獨立的邏輯內(nèi)涵，對應(yīng)一個分析對象。1.2.1 面向主題37v 商品：商品固有信息：商品號，商品名，類別，顏色等商品采購信息：商品號，供應(yīng)商號，供應(yīng)價，供應(yīng)日期，供應(yīng)量等商品銷售信息：商品號，顧客號，售價，銷

13、售日期，銷售量等商品庫存信息：商品號，庫房號，庫存量，日期等1.2.1 面向主題38v 供應(yīng)商：供應(yīng)商固有信息：供應(yīng)商號，供應(yīng)商名，地址，電話等。供應(yīng)商品信息：供應(yīng)商號，供應(yīng)價，供應(yīng)日期，供應(yīng)量等。v 顧客：顧客固有信息：顧客號，顧客名，性別，年齡，文化程度，住址顧客購物信息：顧客號，商品號，售價，購買日期，購買量等。1.2.1 面向主題39v 從面向應(yīng)用 面向主題丟棄了原來不必要，不適合分析的信息。將分散在各子系統(tǒng)中的有關(guān)主題的信息集成，形成關(guān)于商品的一致信息。不同主題之間也有重疊的內(nèi)容，但只是邏輯上的重疊，細(xì)節(jié)級上的重疊， 另外主題間并不是兩兩重疊。供應(yīng)商供應(yīng)商顧顧 客客商商 品品1.2.

14、1 面向主題40v 主題的實現(xiàn)： 一個主題可劃分成多個表，基于一個主題的所有表都有一個公共碼，作為主碼的一部分，將各表統(tǒng)一起來，體現(xiàn)它們是屬于一個主題。v 例如實現(xiàn)商品主題：1.2.1 面向主題41v主題：商品v公共碼鍵：商品號商品表（商品號，商品名，類型，顏色，）采購表1（商品號，供應(yīng)商號，供應(yīng)日期，供應(yīng)價，） 采購表2（商品號，時間段，采購總量，） ： 采購表n（商品號，時間段，采購總量，）描述的是商品描述的是商品的固有信息的固有信息描述的是商品描述的是商品的采購細(xì)節(jié)信的采購細(xì)節(jié)信息息時間段不等的時間段不等的采購綜合表采購綜合表1.2.1 面向主題42銷售表1（商品號，顧客號，銷售日期，售

15、價， 銷售量，） 銷售表2（商品號，時間段，銷售總量，） ： 銷售表n（商品號，時間段，銷售總量，）庫存表1（商品號，庫房號，庫存量，日期，） 庫存表2（商品號，庫房號，庫存量，月份，） ： 庫存表n（ ，）1.2.1 面向主題43v 面向主題的數(shù)據(jù)組織方式： 根據(jù)分析要求將數(shù)據(jù)組織成主題域，即要具有： 獨立性：可交叉，但必須具有獨立內(nèi)涵 完備性：能在主題內(nèi)找到該分析處理所要求的一切內(nèi)容1.2.1 面向主題442.數(shù)據(jù)倉庫的數(shù)據(jù)是集成的v 通常，構(gòu)造數(shù)據(jù)倉庫是將多個異種數(shù)據(jù)源(如關(guān)系DB、一般文件和聯(lián)機(jī)事務(wù)處理記錄)集成在一起，使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)，確保命名約定、編碼結(jié)構(gòu)、屬性度量等的一

16、致性。v 主要做兩個工作統(tǒng)一源數(shù)據(jù)中所有矛盾之處進(jìn)行數(shù)據(jù)綜合和計算1.2.2 數(shù)據(jù)倉庫的其它三個特征453.數(shù)據(jù)倉庫的數(shù)據(jù)是穩(wěn)定的v 數(shù)據(jù)倉庫主要供企業(yè)決策分析使用，包括大量歷史數(shù)據(jù)，數(shù)據(jù)經(jīng)集成進(jìn)入DW后極少或根本不更新。所以通常它只需要兩種數(shù)據(jù)訪問： 數(shù)據(jù)的初始裝入 數(shù)據(jù)訪問v 因此數(shù)據(jù)倉庫不需要事務(wù)處理、恢復(fù)和并發(fā)控制機(jī)制。1.2.2 數(shù)據(jù)倉庫的其它三個特征464.數(shù)據(jù)倉庫的數(shù)據(jù)是不同時間的數(shù)據(jù)集合v 數(shù)據(jù)倉庫的數(shù)據(jù)不可更新是針對應(yīng)用而言，它隨時間而發(fā)生變化的特征體現(xiàn)在：v 數(shù)據(jù)倉庫隨時間變化不斷增加新內(nèi)容；v 數(shù)據(jù)倉庫隨時間變化不斷刪除舊內(nèi)容；v 數(shù)據(jù)倉庫隨時間變化不斷重新綜合數(shù)據(jù)。數(shù)據(jù)

17、倉庫的關(guān)鍵結(jié)構(gòu)都隱式或顯式地包含時間元素。1.2.2 數(shù)據(jù)倉庫的其它三個特征47根據(jù)數(shù)據(jù)倉庫的四個特征表明，數(shù)據(jù)倉庫實際上是一種數(shù)據(jù)存儲，它將各種異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)集成在一起，并保持其語義一致，從而為企業(yè)決策提供支持。1.2.3 數(shù)據(jù)倉庫的功能48數(shù)據(jù)倉庫概述數(shù)據(jù)倉庫概述1.1 1.1 數(shù)據(jù)倉庫產(chǎn)生的原因數(shù)據(jù)倉庫產(chǎn)生的原因1.2 1.2 數(shù)據(jù)倉庫的基本概念數(shù)據(jù)倉庫的基本概念1.3 1.3 數(shù)據(jù)倉庫的體系結(jié)構(gòu)數(shù)據(jù)倉庫的體系結(jié)構(gòu)491.3.1 體系結(jié)構(gòu) 從數(shù)據(jù)倉庫的概念結(jié)構(gòu)看，數(shù)據(jù)倉庫系統(tǒng)由：數(shù)據(jù)源、集成工具、數(shù)據(jù)倉庫與數(shù)據(jù)倉庫服務(wù)器、OLAP服務(wù)器、元數(shù)據(jù)與元數(shù)據(jù)管理工具、數(shù)據(jù)集市和前臺分析工具

18、等組成。1.3 數(shù)據(jù)倉庫的體系結(jié)構(gòu)50數(shù)據(jù)倉庫數(shù)據(jù)倉庫可視化用戶接口可視化用戶接口OLAP工具工具查詢查詢/報表工具報表工具數(shù)據(jù)挖掘工具數(shù)據(jù)挖掘工具前端開發(fā)工具前端開發(fā)工具集成器集成器集成器集成器轉(zhuǎn)換器轉(zhuǎn)換器轉(zhuǎn)換器轉(zhuǎn)換器源數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)及其管理工具及其管理工具 數(shù)據(jù)倉庫體系結(jié)構(gòu)數(shù)據(jù)倉庫體系結(jié)構(gòu)1.3.1 體系結(jié)構(gòu)51v 源數(shù)據(jù)：是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ)，是整個系統(tǒng)的數(shù)據(jù)源泉。v 集成工具：用于數(shù)據(jù)抽?。‥xtracting）、清洗（Cleaning）、轉(zhuǎn)換（Transformation）、加載（Load）的工具，簡稱ETL工具。v 數(shù)據(jù)倉庫服務(wù)器：負(fù)責(zé)管理數(shù)據(jù)倉庫中的數(shù)據(jù)。一般由關(guān)系數(shù)據(jù)庫管理系統(tǒng)擴(kuò)展而成。v OLAP服務(wù)器：對分析所需要的數(shù)據(jù)按照多維數(shù)據(jù)模型進(jìn)行再次組織，以支持用戶多角度、多層次的數(shù)據(jù)分析。1.3.1 體系結(jié)構(gòu)52v 數(shù)據(jù)集市：是一種小型的數(shù)據(jù)倉庫。是面向部門級的應(yīng)用，因此也稱之為部門級數(shù)據(jù)倉庫。v 前臺分析工具：主要包括各種數(shù)據(jù)分析工具，如報表工具、OLAP工具、數(shù)據(jù)挖掘工具等。v 元數(shù)據(jù)：是整個數(shù)據(jù)倉庫的所有描述性信息。1.3.1 體系結(jié)構(gòu)53v 數(shù)據(jù)集市（Data Marts）：為了特定目的，從數(shù)據(jù)倉庫中獨立出來的一部分?jǐn)?shù)據(jù)。也稱為部門級數(shù)據(jù)倉庫。v 數(shù)據(jù)集市的產(chǎn)生：參見W.H.Inmon在其所著的Building the Dat