第2章數(shù)據(jù)倉庫及其設(shè)計.

1、第2章數(shù)據(jù)倉庫設(shè)計2.1數(shù)據(jù)倉庫設(shè)計概述數(shù)據(jù)倉庫設(shè)計是建立一個面向企業(yè)決策者的分析環(huán)2.1.1數(shù)據(jù)倉庫設(shè)計原則0以業(yè)務(wù)和需求為中心：是指圍繞業(yè)務(wù)方向性需求、業(yè) 務(wù)問題等，確定系統(tǒng)范圍和總體框架。o o以數(shù)據(jù)來驅(qū)動： 是指其所有數(shù)據(jù)均建立在已有數(shù)據(jù)源 基礎(chǔ)上，從已存在于操作型環(huán)境中的數(shù)據(jù)出發(fā)進(jìn)行數(shù) 據(jù)倉庫設(shè)計。境或系統(tǒng)。用商業(yè)智能技術(shù)直咖收律掖表和at詢在妙析sagnas耐 KP1兩則散理統(tǒng)計分靳袖經(jīng)元網(wǎng)絡(luò)2.1.2數(shù)據(jù)倉庫構(gòu)建模式1先整體再局部的構(gòu)建模式：W.H.Inmon模式優(yōu)點：數(shù)據(jù)規(guī)范化程度高， 最小化數(shù)據(jù)冗余與不一致 性；便于全局?jǐn)?shù)據(jù)的分析 和挖掘。缺點：建設(shè)周期長、見效慢; 風(fēng)險程度

2、相對大。外部數(shù)據(jù)源從數(shù)據(jù)倉庫到數(shù)藜市分析主題- -數(shù)據(jù)集市數(shù)據(jù)集市 !t數(shù)據(jù)倉庫2.2.先局部再整體的構(gòu)建模式：Ralph Kimball模式外部數(shù)據(jù)源從數(shù)據(jù)集市到數(shù)據(jù)倉咋優(yōu)點：投資少、見效快；在 設(shè)計上相對靈活；易于實 現(xiàn)。缺點：會有一定級別的冗余 和不一致性。數(shù)據(jù)集市外部數(shù)據(jù)源數(shù)據(jù)集市2.1.3數(shù)據(jù)倉庫設(shè)計步驟(1)數(shù)據(jù)倉庫的規(guī)劃和需求分析。(2)數(shù)據(jù)倉庫的建模。(3)數(shù)據(jù)倉庫物理模型設(shè)計。(4)數(shù)據(jù)倉庫的部署。(5)數(shù)據(jù)倉庫的維護(hù)。2.2數(shù)摒倉庫規(guī)劃和卿詠分析2.2.1數(shù)據(jù)倉庫的規(guī)劃數(shù)據(jù)倉庫的策略規(guī)劃包括：0明確用戶的戰(zhàn)略遠(yuǎn)景、業(yè)務(wù)目標(biāo)。0確定建設(shè)數(shù)據(jù)倉庫的目的和目標(biāo)。0定義清楚數(shù)據(jù)倉庫

3、的范圍、優(yōu)先順序、主題和針對的業(yè)務(wù)。0定義衡量數(shù)據(jù)倉庫成功的要素。0定義精簡的體系結(jié)構(gòu)、使用技術(shù)、配置、容量要求等。0定義操作數(shù)據(jù)和外部數(shù)據(jù)源。0確定建設(shè)所需要的工具。0概要性地定義數(shù)據(jù)獲取和質(zhì)量控制的策略。0數(shù)據(jù)倉庫管理及安全。2.2.2數(shù)據(jù)倉庫的需求分析o主題分析n數(shù)據(jù)分析帶環(huán)境要求分析2.3數(shù)據(jù)倉庫的延模2.3.1多維數(shù)據(jù)模型及相關(guān)概念多維數(shù)據(jù)模型將數(shù)據(jù)看作數(shù)據(jù)立方體形式，滿足用戶 從多角度多層次進(jìn)行數(shù)據(jù)查詢和分析的需要而建立起來的 基于事實和維的數(shù)據(jù)庫模型。其數(shù)據(jù)組織采用多維結(jié)構(gòu)文件進(jìn)行數(shù)據(jù)存儲，并有索 引及相應(yīng)的元數(shù)據(jù)管理文件與數(shù)據(jù)相對應(yīng)。1粒度(Granularity)粒度是指數(shù)據(jù)

4、倉庫中數(shù)據(jù)單元的詳細(xì)程度和級別，確定 數(shù)據(jù)倉庫的粒度是設(shè)計數(shù)據(jù)倉庫的一個最重要方面。數(shù)據(jù)越詳細(xì)，粒度越小級別就越低；數(shù)據(jù)綜合度越高， 粒度越大級別就越高。例如，地址數(shù)據(jù)中“北京市”比“北 京市海淀區(qū)”的粒度小。在傳統(tǒng)的操作型數(shù)據(jù)庫系統(tǒng)中，對數(shù)據(jù)處理和操作都是 在最低級的粒度上進(jìn)行的。但是在數(shù)據(jù)倉庫環(huán)境中應(yīng)用的主 要是分析型處理，一般需要將數(shù)據(jù)劃分為詳細(xì)數(shù)據(jù)、輕度總 結(jié)、高度總結(jié)三級或更多級粒度。2.維度(Dimension )維度（簡稱為維）是指人們觀察事物的特定的角度，概 念上類似于關(guān)系表的屬性。例如企業(yè)常常關(guān)心產(chǎn)品銷售數(shù)據(jù)隨著時間推移而變化的 情況，這是從時間的角度來觀察產(chǎn)品的銷售，即時間

5、維；企業(yè)也常常關(guān)心本企業(yè)的產(chǎn)品在不同地區(qū)的銷售分布情 況，這時是從地理分布的角度來觀察產(chǎn)品的銷售，即地區(qū)維。3.維屬性和維成員一個維是通過一組屬性來描述的，如時間維包含年份、 季度、月份和日期等屬性，這里的年份、季度等稱為時間 維的維屬性。維的一個取值稱為該維的一個維成員，如果一個維是 多層次的，那么該維的維成員是在不同維層次的取值組合。 例如，一個時間維具有年份、季度、月份、日期四個層次, 分別在四個層次各取一個值，就得到時間維的一個維成員， 即某年某季某月某日。4.維層次同一維度可以存在細(xì)節(jié)程度不同的各個值，可以將粒度 大的值映射到粒度小的值，這樣構(gòu)成維層次（或維層次結(jié)構(gòu)） 或概念分層，即

6、將低層概念映射到更一般的高層概念，概念 分層允許在各種抽象級審查和處理數(shù)據(jù)。例如對于地點維，有“杭州 T 浙江 T 中國”的維層次。 又例如時間維，可以從年、季度、月份、日期來描述，那 么“年份 T 季度-月份 T 日期”就是維層次。度量是數(shù)據(jù)倉庫中的信息單元，即多維空間中的一 個單元，用以存放數(shù)據(jù)，也稱為事實(Fact) o通常是數(shù)值型數(shù)據(jù)并具有可加性。例如：(日期，商品，地區(qū)，銷售量)其中，銷售量就是一個度量。2.3.2多維數(shù)據(jù)模型的實現(xiàn)多維數(shù)據(jù)模型實現(xiàn)方式：令關(guān)系數(shù)據(jù)庫（RDB）$多維數(shù)據(jù)庫（MDDB）$兩者相結(jié)合（HDB）1關(guān)系數(shù)據(jù)庫在基于關(guān)系數(shù)據(jù)庫的數(shù)據(jù)倉庫中有兩類表，一類是維 表，

7、對每個維至少使用一個表存放維的層次、成員等維的 描述信息；另一類是事實表，用來存放維關(guān)鍵字和度量等 信息。維表和事實表通過主關(guān)鍵字（主鍵）和外關(guān)鍵字（外 鍵）聯(lián)系在一起。多維數(shù)據(jù)立方體各個坐標(biāo)軸上的刻度以及立方體各個 交點的取值都被記錄下來，因而數(shù)據(jù)立方體的全部信息就 都被記錄了下來。例如，下表是一個關(guān)系表的數(shù)據(jù)組織形式，其中包含 按產(chǎn)品和地區(qū)兩項分類統(tǒng)計的銷售量。產(chǎn)品地區(qū)銷僖量電視機華北10電視機華東20電視機華中30電視機華南40電冰箱華北40電冰箱華東30電冰箱華中20電冰箱華南10手機華北50手機華東60手機華中70手機華南802.多維數(shù)據(jù)庫多維數(shù)據(jù)庫也是一種數(shù)據(jù)庫，可以將數(shù)據(jù)加載、存

8、儲 到此數(shù)據(jù)庫中，或從中查詢數(shù)據(jù)。但其數(shù)據(jù)是存放在大量 的多維數(shù)組中，而不是關(guān)系表中。例如Exce I便是如此。例如，上一個表采用多維數(shù)據(jù)庫的數(shù)據(jù)組織形式如下表所示。在關(guān)系數(shù)據(jù)庫中，“多對多”的關(guān)系總是轉(zhuǎn)化成多個 “一對多”的關(guān)系，有利于數(shù)據(jù)的一致性和規(guī)范化，這符合 事務(wù)處理系統(tǒng)的需求。多維數(shù)據(jù)庫的優(yōu)勢不僅在于多維概念表達(dá)清晰，占用存 儲少，更重要的是它有著高速的綜合速度。在多維數(shù)據(jù)庫中，數(shù)據(jù)可以直接按行或列累加，并且由 于多維數(shù)據(jù)庫中不像關(guān)系表那樣出現(xiàn)大量的冗余信息，因此 其統(tǒng)計速度遠(yuǎn)遠(yuǎn)超過關(guān)系數(shù)據(jù)庫，數(shù)據(jù)庫記錄數(shù)越多，其效 果越明顯。產(chǎn)品地區(qū)電視機華北10電視機華東20電視機華中30電視機

9、華曲40電冰箱華北40屯冰箱華東30電冰箱華中20電冰箱華鹵10手機華北50手機華東60手機華中70手機華南80華北華東華中華南電視機102030402.3.3數(shù)據(jù)倉庫建模的主要工作1在需求分析上，確定系統(tǒng)所包含的主題域并加以描述主題選取的原則是優(yōu)先實施管理者目前最迫切需求、 最關(guān)心的主題。主題內(nèi)容的描述包括主題的公共鍵、主題 之間的聯(lián)系和各主題的屬性。例如，若以顧客為主題，則設(shè)計的相關(guān)主題內(nèi)容的描 述如下：基本信息：顧客號、顧客姓名、性別、年齡、文化程度、住址、電話 經(jīng)濟信息：顧客號、年收入、家庭總收入公共鍵：顧客號2確定事實表的粒度事實表的粒度能夠表達(dá)數(shù)據(jù)的詳細(xì)程度。從用途的不 同來說，事

10、實表可以分為以下三類：0原子事實表：是保存最細(xì)粒度數(shù)據(jù)的事實表，也是數(shù) 據(jù)倉庫中保存原子信息的場所。O O聚集事實表：是原子事實表上的匯總數(shù)據(jù)，也稱為匯 總事實表。0合并事實表：是指將位于不同事實表中處于相同粒度 的事實進(jìn)行組合建模而成的一種事實表。3確定數(shù)據(jù)分割策略分割是指把邏輯上是統(tǒng)一整體的數(shù)據(jù)分割成較小的、 可以獨立管理的物理單元進(jìn)行存儲，以便能分別處理，從 而提高數(shù)據(jù)處理的效率。分割可以按時間、地區(qū)、業(yè)務(wù)類型等多種標(biāo)準(zhǔn)來進(jìn)行, 也可以按自定義標(biāo)準(zhǔn)，分割之后小單元的數(shù)據(jù)相對獨立， 處理起來更快更容易。但在多數(shù)情況下，數(shù)據(jù)分割采用的 標(biāo)準(zhǔn)不是單一的，而是多個標(biāo)準(zhǔn)的組合。4.構(gòu)建數(shù)據(jù)倉庫中各

11、主題的多維數(shù)據(jù)模型及其聯(lián)系由于數(shù)據(jù)倉庫目前大多是使用關(guān)系數(shù)據(jù)庫來實現(xiàn)的, 所以本章主要討論基于關(guān)系數(shù)據(jù)庫的數(shù)據(jù)倉庫建模方法。2.3.4幾種常見的基于關(guān)系數(shù)據(jù)庫的多維數(shù)據(jù)模型星形模式(1)星形模式的基本結(jié)構(gòu)星形模式( (Star schema)是由一個事實表和一組維表 組成，每個維表都有一個維主鍵，所有這些維組合成事實表 的主鍵，換言之，事實表主鍵的每個元素都是維表的外鍵。該模式的核心是事實表， 通過事實表將各種不同的維表 連接起來，各個維表都連接到中央事實表。星形模式的基本結(jié)構(gòu)如下:星形模式的特點如下:維度表只與事實表關(guān)聯(lián)，維度表彼此之間沒有任何聯(lián)系。 每個維度表中的主碼都只能是單列的，同時該

12、主碼被放置 在事實數(shù)據(jù)表中，作為事實數(shù)據(jù)表與維表連接的外碼。星型模式是以事實表為核心，其他的維度表圍繞這個核心 表呈星型狀分布?！纠?.1】一個“銷售”數(shù)據(jù)倉庫的星形模式如圖2. 5所示。 該模式包含一個中心事實表“銷售事實表”和4個維表：時間 維表、銷售商品維表、銷售地點維表和顧客維表。在銷售事實 表中存儲著四個維表的主鍵和兩個度量“銷售量”和“銷售金 額”時間維表商品維農(nóng)(2 )維表設(shè)計維表用于存放維信息，包括維的屬性(列)和維的層 次結(jié)構(gòu)。一個維用一個維表表示。維表通常具有以下數(shù)據(jù) 特征：。維通常使用使用解析過的時間、老字或地址元素，這樣 可以使查詢更靈活.例如時間可分為年份、季度、月份

13、 和時期等，地址可用地理區(qū)域來區(qū)分，如國家、省、市. 縣等。0維表常不使用業(yè)務(wù)數(shù)據(jù)庫的關(guān)鍵字作為主鍵，而是對 每個維表另外增加一個額外的字段作為主鍵來識別維表 中的對象。在維表中新設(shè)定的鍵也稱為代理鍵。維表中可以包含隨時間變化的字段，當(dāng)數(shù)據(jù)集市或數(shù)據(jù) 倉庫的數(shù)據(jù)隨時間變化而有額外增加或改變時，維表的 數(shù)據(jù)行應(yīng)有標(biāo)識此變化的字段。維表中維的類型:0結(jié)構(gòu)維0信息維0分區(qū)維0分類維在數(shù)據(jù)倉庫的邏輯模型設(shè)計中，有一 些維表是經(jīng)常使用的，它們的設(shè)計形成了 一定的設(shè)計原則，如時間維、地理維、機 構(gòu)維和客戶維等，所以在設(shè)計維表時應(yīng)遵 循這些設(shè)計原則。0退化維0致維0父子維又例如，數(shù)據(jù)倉庫存儲的是系統(tǒng)的歷 史

14、數(shù)據(jù)，業(yè)務(wù)分析最基本的維度就是時間 維，所以每個主題通常都有一個時間維。(3 )概念分層維表中維一般包含著層次關(guān)系，也稱為概念分層，如在 時間維上，按照“年份一季度一月份”形成了一個層次，其 中年份、季度、月份成為這個層次的三個級別。概念分層的作用如下：令 概念分層為不同級別上的數(shù)據(jù)匯總提供了一個良好的基礎(chǔ)。 綜合概念分層和多維數(shù)據(jù)模型的潛力，可以對數(shù)據(jù)獲得更深 入的洞察力。令通過在多維數(shù)據(jù)模型中，在不同的維上定義概念分層，使得 用戶在不同的維上從不同的層次對數(shù)據(jù)進(jìn)行觀察成為可能。令多維數(shù)據(jù)模型使得從不同的角度對數(shù)據(jù)進(jìn)行觀察成為可能，而概念分層則提供了從不同層次對數(shù)據(jù)進(jìn)行觀察的能力；結(jié) 合這兩

15、者的特征，我們可以在多維數(shù)據(jù)模型上定義各種OLAP操作，為用戶從不同角度不同層次觀察數(shù)據(jù)提供了靈活性。（4）事實表設(shè)計事實表是多維模型的核心，是用來記錄業(yè)務(wù)事實并作 相應(yīng)指標(biāo)統(tǒng)計的表，同維表相比，事實現(xiàn)具有如下特征：。記錄數(shù)量很多，因此事實表應(yīng)當(dāng)盡量減小一條記錄的 長度，避免事實表過大而難于管理。0事實表中除度量外，其他字段都是維表或中間表（對 于雪花模式）的關(guān)鍵字（外鍵）。0如果事實相關(guān)的維很多，則事實表的字段個數(shù)也會比 較多。在查詢事實表時，通常使用到聚集函數(shù)，一個聚集函數(shù)從 多個事實表記錄中計算出一個結(jié)果。度量可以根據(jù)其所用的聚 集函數(shù)分為三類：$分布的聚集函數(shù)：將這類函數(shù)用于力個聚集值

16、得到的結(jié)果 和將函數(shù)用于所有數(shù)據(jù)得到的結(jié)果一樣。例如COUNT （求 記錄個數(shù)）、SUM（求和）、MIN（求最小值）、MAX（求 最大值）等。$代數(shù)的聚集函數(shù)：函數(shù)可以由一個帶於參數(shù)的代數(shù)函數(shù) 計算（227為有界整數(shù)）,而每個參數(shù)值都可以由一個分布 的聚集函數(shù)求得。例如AVG（求平均值）等。$整體的聚集函數(shù)：描述函數(shù)的子聚集所需的存儲沒有一 個常數(shù)界，即不存在一個具有於參數(shù)的代數(shù)函數(shù)進(jìn)行這 一計算。例如MODE（求最常出現(xiàn)的項）。2.2.雪花模式(1 )雪花模式的基本結(jié)構(gòu)雪花模式( (Snowflake schema)是對星形模式的擴展, 每一個維表都可以向外連接多個詳細(xì)類別表。在這種模式中，

17、維表除了具有星形模式中維表的功能 外，還連接對事實表進(jìn)行詳細(xì)描述的詳細(xì)類別表，詳細(xì)類 別表通過對事實表在有關(guān)維上的詳細(xì)描述達(dá)到了縮小事實 表和提高查詢效率的目的，雪花模式的基本結(jié)構(gòu)如下:星形模式雖然是一個關(guān)系模型，但是它不是一個規(guī)范 化的模型，在星形模式中，維表被故意地非規(guī)范化了，雪 花模式對星形模式的維表進(jìn)一步標(biāo)準(zhǔn)化，對星形模式中的 維表進(jìn)行了規(guī)范化處理。雪花模式的特點如下：某個維表不與事實表直接關(guān)聯(lián)，而是與另一個維表關(guān)聯(lián)?？梢赃M(jìn)一步細(xì)化查看數(shù)據(jù)的粒度。維表和與其相關(guān)聯(lián)的其他維表也是靠外碼關(guān)聯(lián)的。也以事實數(shù)據(jù)表為核心?！纠?.2】在圖2.5的星形模式中，每維只用一個維表表示, 而每個維表包含

18、一組屬性。例如，銷售地點維表包含屬性集Locat ion_id,街道，城市，省，國家。時間維表商品維表2.5這種模式可能造成某些冗余，例如，可能存在城市.省. 國家字段的數(shù)據(jù)冗余：(101, “解放大道 100 號”,“武漢”,“湖北省”,“中國” (201, “解放大道 85 號”，“武漢”，“湖北省”,“中國”) (255, “解放大道 205號”,“武漢”,“湖北省”,“中國” 可以對地點維表進(jìn)一步規(guī)范化， 如圖2. 7所示， 這樣就 構(gòu)成了 “銷售”數(shù)據(jù)倉庫的雪花模式。圖2.7時間維農(nóng)Ti me_idH期年份季度月份銷售邯實表TimejdIlcm_idLocatejdCustomcrj

19、d銷售駅銷售金額商品維表Item idLocatcidCustomer id街道顧客名城由顧客住址商品名37W顧客維衣地點維農(nóng)時間維表商品維農(nóng)(2)雪花模式和星形模式的比較比較項目星形模式雪花模式行數(shù)多少可讀性容易難表數(shù)量少多搜索維的時間快股 SAM?w rSSM-PiflA分r點加 e 烹舌有效 -WB*WRMRiJB.t*3事實星座模式(1)事實星座模式的基本結(jié)構(gòu)通常一個星形模式或雪花模式對應(yīng)一個問題的解決 (一個主題)，它們都有多個維表，但是只能存在一個事 實表。在一個多主題的復(fù)雜數(shù)據(jù)倉庫中可能存放多個事實表, 此時就會出現(xiàn)多個事實表共享某一個或多個維表的情況， 這就是事實星座模式(Fact Constel I at ions schema)o【例2.3】在圖2.5的星形模式的基礎(chǔ)上，增加一個供貨 分析主題，包括供貨時間( (Time_id)、供貨商品(I tem_id)、供貨地點(Locate_id)、供應(yīng)商(Suppl ier_id)、供貨量和供貨金額等