數(shù)據(jù)倉(cāng)庫(kù)模型的設(shè)計(jì)

1、2.5數(shù)據(jù)倉(cāng)庫(kù)模型的設(shè)計(jì)數(shù)稠倉(cāng)庫(kù)模塑的設(shè)廿大體上可以分為以下三個(gè)層面的設(shè)it151： IS念模型設(shè)廿；逆輯模型設(shè)計(jì)；物理模型設(shè)it;下面就從泄三個(gè)層面分別介鉛數(shù)硯倉(cāng)庫(kù)模塑的設(shè)廿。2.5.1 |fi念模型設(shè)計(jì)進(jìn)行概念模型設(shè)廿所要完成的工作是:vi»界定系筑JU界<2>1«定王嬰的主題域及其容aw概念模型設(shè)計(jì)的成果是，在原有的數(shù)據(jù)庫(kù)的根底上建立了一個(gè)較為 穩(wěn)固的IH念模So S為數(shù)稠倉(cāng)庫(kù)是對(duì)原有數(shù)據(jù)庫(kù)系境中的數(shù)據(jù)址行集成 和重組而形成的數(shù)據(jù)集臺(tái)，所以數(shù)據(jù)倉(cāng)庫(kù)的榔念模型設(shè)計(jì)，首先要對(duì)原 有數(shù)II庫(kù)系筑加以分析理解，看在原有的數(shù)稠庫(kù)系銃中“有什么、上1 樣組織的&quo

2、t;和“如何分布的"等，然后再來(lái)考慮應(yīng)當(dāng)如阿建直數(shù)據(jù)倉(cāng)庫(kù) 系銃的槪念模里6： 方面,通11原有的數(shù)尿庫(kù)的設(shè)廿文檔以及在數(shù)尿字 典中的數(shù)據(jù)庫(kù)關(guān)系模式，可以對(duì)企業(yè)規(guī)有的數(shù)稠庫(kù)中的容有一個(gè)完整而' 清晰的汰識(shí);另一方面，效稠倉(cāng)庫(kù)的陽(yáng)念模塑是面向企業(yè)全局建立的，它 為集成來(lái)自各個(gè)面向應(yīng)用的數(shù)據(jù)庫(kù)的數(shù)據(jù)提供了統(tǒng)一的槪念視IIII陽(yáng)念模型的設(shè)廿是在較高的抽象層次上的設(shè)廿,因此建立IB念模型 時(shí)不用考虎具體枝術(shù)條件的限制。X界定系筑的迪界數(shù)稠倉(cāng)庫(kù)是面向決策分橋的數(shù)稠庫(kù)，我們無(wú)法在數(shù)掘倉(cāng)庫(kù)設(shè)itlfifi 初就得到詳細(xì)而明確的需求，但是一些根本的方向性的需求迷是擺在了 設(shè)廿人員的面前：要做的

3、決策類(lèi)型有崛些？.決策者感興趣的是什么間題？,U些問(wèn)題需要什么樣的信息?mt，要得到泄些信息需要包含原有數(shù)據(jù)庫(kù)系統(tǒng)的哪些局部的數(shù)稠？逹樣，我們可以劃定一個(gè)當(dāng)前的大致的系統(tǒng)迪界,集中精力進(jìn)行最 需耍的局部的開(kāi)發(fā)。因而,從某種意義上講，界定系毓ill界的工作也可以看作是數(shù)據(jù)倉(cāng)庫(kù)系銃設(shè)計(jì)的需求分析,因?yàn)樗鼘Q策者的數(shù)據(jù)分析的 需求用系筑邊界的定義形式反映出來(lái)。2, 確罡主要的主題域在速一步中，要確定系筑所包含的主題域，然尿?qū)γ總€(gè)主題域的容 進(jìn)行較明確數(shù)據(jù)倉(cāng)庫(kù)建模技術(shù)在電信行業(yè)中的應(yīng)用的描述，描述的容包 " fi:,主題域的公共碼他；. SKM2R的聯(lián)系:,無(wú)分代表主題的屬性組。2.5.2

4、jg輯模型設(shè)計(jì)邏輯建模是魏據(jù)倉(cāng)庫(kù)實(shí)施中的重要一環(huán)，因?yàn)樗苤苯臃从吵鰳I(yè)務(wù) 部口的需求，同時(shí)對(duì)系統(tǒng)的物理實(shí)施有著重要的指導(dǎo)作用。在這一步里 4H 了的工作主要有：分柿主題域,聽(tīng)定當(dāng)前要裝裁的主i，確定粒度層次劉份;,«t數(shù)據(jù)分割策略：關(guān)系模武定必汎錄系統(tǒng)定義逆輯模型設(shè)計(jì)的成果是，對(duì)毎個(gè)當(dāng)前要裝裁的主題的邏輯實(shí)規(guī)進(jìn)行 定義，并將相關(guān)容記錄在數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)中，包括：.適當(dāng)?shù)腟BiO分;合理的數(shù)據(jù)分II策略； ，適當(dāng)?shù)谋韯漟t;.定艾適宜的數(shù)據(jù)來(lái)源等© I冷析主題域S» .JBr念模型設(shè)計(jì)中,我們確定了幾個(gè)根本的主題域，但是,數(shù)擁倉(cāng)庫(kù)的設(shè)if方堪是一個(gè)逐步求精的過(guò)程，在

5、進(jìn)行設(shè)廿時(shí)，一般是一次一個(gè)主題或一次假設(shè)干個(gè)主題地逐步完成的。所以,我們必須對(duì)19念模型設(shè)計(jì)步驟中確定的幾個(gè)根本主題域進(jìn)行分析，一并選擇首先要實(shí)施的主題 披&選擇第一個(gè)主題域所要考慮的是它要足第大，以便使得該主題域能 建設(shè)成為一個(gè)可應(yīng)用的系統(tǒng);它還要足夠爪,以便于開(kāi)發(fā)和較快地實(shí)施。血果所選擇的主題域很大并且很復(fù)雜，我們甚至可以針對(duì)它的一個(gè)有意 義的子集來(lái)進(jìn)行開(kāi)發(fā)空在每一次的反憒過(guò)程中，胡要進(jìn)行主題域的分析。M層次劃分?jǐn)?shù)據(jù)倉(cāng)庫(kù)邏輯設(shè)計(jì)中要解決的一個(gè)重嬰問(wèn)題是決定數(shù)稠倉(cāng)庫(kù)的粒 度劃分層次，粧度層次劃分適當(dāng)與否直接影響到數(shù)II倉(cāng)庫(kù)中的數(shù)據(jù)量和 所適合的査詢類(lèi)型。陶定數(shù)據(jù)倉(cāng)庫(kù)的粒度劃分，可以使

6、用在粒度劃分一 節(jié)中介給的方法，通ii估算魏據(jù)行數(shù)和所需的DASD數(shù)，來(lái)確定是采用單 一粒度還是多重粒度(.4KOO的層次°3確定S1O策略在迪一步里，要選擇適當(dāng)?shù)逆i據(jù)分割的標(biāo)準(zhǔn)，一段要考慮以下幾方 面因素:數(shù)稠量而非記錄行數(shù)人數(shù)據(jù)分析處理的實(shí)際情況、簡(jiǎn)單易行 以及粒度劃分策略等。數(shù)據(jù)量的大小是決定是否進(jìn)行數(shù)據(jù)分割和如何分 霽的主要因素;數(shù)硯分析處理的要選擇數(shù)稠分割標(biāo)準(zhǔn)的一個(gè)主要依據(jù)，因 為數(shù)據(jù)分霽是跟數(shù)據(jù)分析處理的對(duì)象緊密聯(lián)系的俄們迷嬰考慮到兩選 擇的數(shù)掘分割標(biāo)準(zhǔn)應(yīng)是自熬的、易于實(shí)施的:同時(shí)也要考慮數(shù)硯分割的標(biāo) 準(zhǔn).WXII分層次是適應(yīng)的&4.關(guān)系模貳定文數(shù)據(jù)倉(cāng)庫(kù)的每f主題

7、都是由多個(gè)表來(lái)實(shí)現(xiàn)的，:這些表之間依靠主題 的公共碼建尿系在一起，形成一個(gè)竟整的主題。在腳念模型設(shè)廿時(shí)，我 們就確定了數(shù)據(jù)倉(cāng)庫(kù)的根本主題辨并對(duì)每個(gè)主題的公共碼建、根本容等 做了描述在這一步里，城們務(wù)要對(duì)選定一的當(dāng)前實(shí)施的主題進(jìn)行模式劃 分?jǐn)⑿纬啥鄠€(gè)表，并確罡各個(gè)表的關(guān)系模式Q用關(guān)系型數(shù)稠庫(kù)來(lái)實(shí)現(xiàn)數(shù)稠倉(cāng)庫(kù)信息模型Bh目前較常用的兩種建 模方袪是兩謂的第三式(3NF,即Third Normal Form)和星型模式Star-Schem 司，我們將重點(diǎn)曲論兩種方法的特點(diǎn)和它們?cè)跀?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中的適用場(chǎng) 合b41什么是第三式武是颯據(jù)庫(kù)邏輯模塑設(shè)廿的根本理論，一個(gè)關(guān)系模型可以從第一式 到第五式進(jìn)行無(wú)損分解

8、，迪個(gè)11程也稱(chēng)為規(guī)化(Normalize在數(shù)據(jù)倉(cāng)庫(kù) 的模型設(shè)廿中目前一般呆用第三式，它有非常嚴(yán)格的數(shù)學(xué)定文。如果從 其表達(dá)的含艾來(lái)看，一個(gè)符合第三式的關(guān)系必須具有以下三個(gè)條件:可條緘I1. 每個(gè)屬性的值唯一，不具有多艾性；2. 每個(gè)非主屬性必須完全依潁于整個(gè)主鍵，而非主鍵的一局部;3. 每f非主屬性不能依頼于其他關(guān)系中的屬性，團(tuán)為這樣的話，K 種屬ttSglfl到其他關(guān)系中去。我們可以看到，第三式的定義根本上是圍統(tǒng)主鍵與非主屬性之間的 關(guān)系而作出的。如果只滿足第一個(gè)條杵，SN稱(chēng)為第一式;如果滿足前面兩 個(gè)條件，呱稱(chēng)為第二式，依此類(lèi)推因！各級(jí)式是向下兼容的。4.2什么是星型模式in星里模式是一

9、種多維的數(shù)稠關(guān)系i它由一個(gè)事實(shí)表(FactTable)和一 組維表(DimensionTable)組成。每個(gè)維表那有一個(gè)雄作為主鍵，所有這些 維那么組合成事實(shí)表的til,換言之，事實(shí)表主鍵的每個(gè)元素部是維表的 外健。事實(shí)表的非主屬11稱(chēng)為事實(shí)(Fact),它們一般那是數(shù)值或耳他可以 ittfiit算的數(shù)據(jù);而維大都是文字、時(shí)同等類(lèi)塑的=3與星塑模式類(lèi)Ifl還有一神業(yè)界提的比擬多的設(shè)廿方氏是雪花模式， 它也是一種在關(guān)系數(shù)據(jù)庫(kù)中實(shí)現(xiàn)多維數(shù)據(jù)關(guān)系的方貳,與星型模式相區(qū) 別的是它的維表結(jié)構(gòu)與星型模式不同。星型模式中同一維度的不同層次 位于一維表中，維表由唯一主鍵和事實(shí)表關(guān)連;雪花模式中同一維度中的 不

10、同層次便于不同的層次表中，最低層次表與事實(shí)表關(guān)連,各個(gè)層次再 分別和比自己高一級(jí)的層次表關(guān)連。因?yàn)樾切湍ＹE査詢效率要比雪花模貳高的多,所以比擬多的是采用 星塑模式設(shè)計(jì)多維數(shù)稠關(guān)系。4.3第三式和星型模式在數(shù)稠倉(cāng)庫(kù)中的應(yīng)用III大多數(shù)人在設(shè)計(jì)中央數(shù)稠倉(cāng)庫(kù)的邏瑕模型時(shí)，那按照第三式來(lái)設(shè)廿; 而在進(jìn)行物理實(shí)施時(shí)，那么由于數(shù)據(jù)庫(kù)引擎的限翎，不得不對(duì)邏輯模型進(jìn) 行不規(guī)處理(De-Normalize),以提髙系統(tǒng)的« WB,逹當(dāng)然是以增加系' 筑的復(fù)雜度、維護(hù)工作量、8!盤(pán)使用比率(指原始數(shù)據(jù)與曲盤(pán)大小的比率) 并降低系筑執(zhí)行動(dòng)態(tài)査詢能力為代價(jià)的。根稠數(shù)據(jù)倉(cāng)庫(kù)的測(cè)試標(biāo)準(zhǔn) TPC-D規(guī),在

11、數(shù)據(jù)倉(cāng)庫(kù)系筑中,對(duì)數(shù)齬庫(kù)引擎最大的桃戰(zhàn)主要是達(dá)樣幾 種標(biāo)作:多表連接、表的累th數(shù)據(jù)排序、大量數(shù)據(jù)的掃描下面列出了' 一些DBMS在實(shí)際系統(tǒng)中針對(duì)KttB難所采用的折衷處理辦違：1、如何防止多表連接:在設(shè)計(jì)模里時(shí)對(duì)表進(jìn)行合并，即所謂的預(yù)連接(Pre-Join)。當(dāng)數(shù)據(jù)規(guī)模小時(shí)，也可以采用星型模式，這樣能提高系統(tǒng) 速度，但憎加了數(shù)據(jù)冗余量q2、如何防止表的累廿:在模里中增加有關(guān)小計(jì)數(shù)稠(Summarized Data) 的11樣也增加了數(shù)腿冗余，而且如果某項(xiàng)冋題不在預(yù)建的累it®, 需臨時(shí)咼整。113、如何防止數(shù)據(jù)排序:對(duì)數(shù)稠事先搆序。但I(xiàn)®著數(shù)據(jù)倉(cāng)庫(kù)系筑的運(yùn) 行，不

12、斷有新的數(shù)據(jù)參加,數(shù)稠庫(kù)管理員的工作將大大ISJlIlo大量的時(shí) 間將用于對(duì)系筑的整理，系統(tǒng)的可用性閒之降低。4、如何防止大表掃描:通過(guò)使用大量的索引，可以防止對(duì)大量數(shù)硯 ittfTfi描。:但這也系銃的復(fù)雜程廈，降低系統(tǒng)進(jìn)行動(dòng)態(tài)杳詢的能-%w聲%*Ur .> Z* ? ： 。“ H力?？┐胧┐蠖紝儆诓灰?guī)處理。根據(jù)上面的討論，當(dāng)把規(guī)的系筑邏輯 模型進(jìn)行物理實(shí)施時(shí)，由于數(shù)掘庫(kù)引擎的限制，常常需要進(jìn)行不規(guī)處理。 舉例來(lái)說(shuō),當(dāng)系貌數(shù)據(jù)量很小，比方只有幾fGBBk進(jìn)行多表連接之類(lèi) 復(fù)雜査詢的響應(yīng)時(shí)間是可以忍受的°,但是設(shè)想一下加果數(shù)據(jù)量擴(kuò)展到很 大，到幾百GB,甚至上TB一個(gè)表中的記

13、錄住往有幾百幾干牙,甚 至更多，這時(shí)進(jìn)行多表連接這樣的復(fù)雜査詢，響應(yīng)時(shí)間長(zhǎng)得不可忍受。 這時(shí)就有必嬰IE幾個(gè)表臺(tái)并，盡量減少表的連接操作。當(dāng)然,不規(guī)處理 的程度取決于數(shù)稠庫(kù)弓I擎的并行處理能力©數(shù)據(jù)倉(cāng)庫(kù)建設(shè)者在選擇數(shù)稠 庫(kù)引»#.除了參考一些相關(guān)的基準(zhǔn)測(cè)試結(jié)果外,最好是能根稠自己的 實(shí)際情況設(shè)廿測(cè)試方案，從幾個(gè)數(shù)稠庫(kù)系筑中選擇最適臺(tái)自己企業(yè)決策 要求的一種&不規(guī)化處理雖然是提高系筑性能的一種有效手段，(1是由于中央數(shù) 據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型反映了整個(gè)企業(yè)的業(yè)務(wù)運(yùn)行規(guī)律,在邊里進(jìn)行不規(guī)處 理容易影響整個(gè)系筑，不利于今后的擴(kuò)展。而且不規(guī)處理產(chǎn)生的數(shù)稠冗 余將使整個(gè)系筑的數(shù)據(jù)量

14、迅速譜加，泄?fàn)?wèi)8 Hl DBA的工作量和系銃投資。 因此，當(dāng)系統(tǒng)性能下降而進(jìn)行不規(guī)處理時(shí)，比擬好的方法是選擇冋題較 集中的部D數(shù)稠集市實(shí)施達(dá)種措施&這樣既能有效地改善系統(tǒng)性能漢不至于影響整個(gè)系筑。在國(guó)外一些成助的大型企業(yè)級(jí)數(shù)稠倉(cāng) 庫(kù)案例中，根本上胡是采MOtttp那么，在中央數(shù)稠倉(cāng)庫(kù)中是否可以采用星塑模武來(lái)進(jìn)行模里設(shè)計(jì)呢?可修緘IMlft ma道，星型模式中有一個(gè)事實(shí)表ff-ifltt表,我們可以把事實(shí)看成 是各個(gè)維交叉點(diǎn)上的值。例如,一個(gè)汽車(chē)廠在研究其軸售情況時(shí)可以考 察汽車(chē)的型號(hào)、顧色、代理商等多種因素，SttH素就是維,而第售量 就是事實(shí)6, a W多維模塑能迅速給出基于各f維的

15、報(bào)表，這些維必須事 先確定。Z3星型模式之所以速度快，在于針對(duì)各個(gè)維作了大量的預(yù)處理*如按 照維進(jìn)行預(yù)先的筑ik分類(lèi)“排序等。在上面的例子中/就是按照汽車(chē) 的型號(hào)、顏色、代理商進(jìn)行預(yù)先的第售量統(tǒng)計(jì)° HHL在星型模式設(shè)廿 的數(shù)硯倉(cāng)庫(kù)中腐作報(bào)表的速度雖於很快，但由于存在大量的預(yù)處理.其 建模il程相對(duì)來(lái)說(shuō)就ttgffio當(dāng)業(yè)務(wù)冋題發(fā)生變IL原來(lái)的維不能滿足 要求時(shí),需嬰增加新的維。由于事實(shí)表的主維由所有維表的主建組成， 逹種維的變動(dòng)將是非常復(fù)雜、非常耗時(shí)的。星塑模式另一個(gè)顯著的缺點(diǎn) 是數(shù)I®的冗余量很大°繪合fittitiL不難得出結(jié)論，星型模貳比擬適 臺(tái)于預(yù)先定艾

16、好的lOttl需要產(chǎn)生大量報(bào)表的場(chǎng)合;而不適合于動(dòng)態(tài)査 詢多、系貌可擴(kuò)展能力要求高或者數(shù)據(jù)量很大的場(chǎng)合。ant,星型模式 在一些要求大量報(bào)表的部口數(shù)據(jù)集市中有較多的應(yīng)用&4.4兩種模貳的比擬II=3上面討掄了數(shù)摒倉(cāng)庫(kù)逆輯模里設(shè)廿中常用的兩神方法在數(shù)據(jù)倉(cāng)庫(kù) 的疸用環(huán)境中，主要有兩種負(fù)載:一種是答復(fù)重復(fù)性的問(wèn)題;另一種是 答交互性的間題。動(dòng)態(tài)査詢具有較明顯的交互性特征，即在一個(gè)冋題答 案的根底上進(jìn)行進(jìn)一步的探索，泄種交互il程常稱(chēng)為數(shù)據(jù)挖IB (Data Mining)或者知識(shí)探索(Knowledge Discovery)&對(duì)于以第一種負(fù)載為主的部 口數(shù)稠集市當(dāng)數(shù)摒量不大，報(bào)表較固

17、定時(shí)可以果用星里模式;對(duì)于中央 數(shù)據(jù)倉(cāng)庫(kù)，考慮到系銃的可擴(kuò)展能力*投資本錢(qián)和易于管理等多種因素, 最好采用第三式?；蛘哒f(shuō)對(duì)于數(shù)稠倉(cāng)庫(kù)中當(dāng)前洋細(xì)級(jí)別的數(shù)據(jù)和輕廈嫁 臺(tái)的數(shù)掘可以采用第三氏的方式設(shè)計(jì)，對(duì)于高度妹合的數(shù)稠可以采用星 型模式設(shè)廿。253物理模型設(shè)計(jì)迪一步所做的工作是確定數(shù)稠的存儲(chǔ)結(jié)構(gòu)，確定索引策略確定數(shù) 據(jù)存赦位置，確定存儲(chǔ)份配疋確定數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)的物理模里，要求設(shè)計(jì)人員必須做到以卞幾方面:要全面了解所選用的數(shù)弼庫(kù)管理系統(tǒng)，特別是存儲(chǔ)結(jié)構(gòu)和存取方 送G了館數(shù)據(jù)環(huán)境?數(shù)據(jù)的使用顓度、便用方式、數(shù)腿規(guī)模以及響應(yīng)時(shí) 同要求等，這些是對(duì)吋間和空同效率18行平爾和優(yōu)化的重要依據(jù)彳了解外部存儲(chǔ)設(shè)備的

18、特性,血分塊原呱,塊大小的規(guī)定，設(shè)備的 I/O特性等。1. ttOfiffi存儲(chǔ)結(jié)構(gòu)一個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)往往都提供多種存儲(chǔ)結(jié)構(gòu)供設(shè)計(jì)人員選用,不 同的存fa結(jié)構(gòu)有不同的實(shí)現(xiàn)方式，各有各的適用圍和優(yōu)缺點(diǎn)，設(shè)廿人員 在選擇適宜的存儲(chǔ)結(jié)枸時(shí)應(yīng)該權(quán)1S三個(gè)方面的主要因素:存取時(shí)間、存晞 空間科用率和維護(hù)代價(jià)占2. 確定索引策略數(shù)稠倉(cāng)庫(kù)的數(shù)據(jù)量很大，因而需要對(duì)數(shù)據(jù)的存取路徑進(jìn)行仔細(xì)的設(shè) 廿和選擇。由于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)摒那是不常更新的,因而可以設(shè)廿多種多 樣的索引結(jié)構(gòu)來(lái)提高數(shù)據(jù)存取效率6在數(shù)稠倉(cāng)庫(kù)中設(shè)計(jì)人員可以考慮對(duì)各個(gè)數(shù)據(jù)存怫建立專(zhuān)用fk M 雜的索引，以獲需最高的存取效率，13為在數(shù)稠倉(cāng)庫(kù)中的數(shù)據(jù)是不常更 新的，也就是說(shuō)每個(gè)數(shù)是穩(wěn)定的，因而雖然建立專(zhuān)用的、復(fù)雜的 索引有一定的代價(jià)*但一旦建立就幾乎不需維護(hù)索引的代價(jià)。3確定數(shù)弼存ftfif我們說(shuō)11,同一個(gè)主題的數(shù)據(jù)并不婆求存放在相同的介隕上。在物 理設(shè)廿時(shí)，我們常常要按數(shù)據(jù)的重要程度、使用頻率以及對(duì)響應(yīng)時(shí)間的 要求進(jìn)行分類(lèi)，并