數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì).doc

1數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)DW設(shè)計(jì)是一個(gè)操作型系統(tǒng)設(shè)計(jì)方法演變而來(lái)的范例。DW設(shè)計(jì)者不僅要設(shè)計(jì)一個(gè)數(shù)據(jù)庫(kù)（DW用DB實(shí)現(xiàn)）和一個(gè)用戶接口（數(shù)據(jù)展現(xiàn)部分）。而且還必須設(shè)計(jì)數(shù)據(jù)與OLTP系統(tǒng)的接口，數(shù)據(jù)裝載策略，數(shù)據(jù)存取工具，用戶培訓(xùn)方案和不間斷的維護(hù)方案。即必須考慮許多在操作型系統(tǒng)設(shè)計(jì)中不必考慮的問(wèn)題。本章的意圖就是幫助你完善的理解如何建立和實(shí)現(xiàn)DW和在一個(gè)完整的DW設(shè)計(jì)必須考慮的問(wèn)題。本章的主要內(nèi)容：1數(shù)據(jù)倉(cāng)庫(kù)的生命周期2數(shù)據(jù)倉(cāng)庫(kù)的方法論3數(shù)據(jù)倉(cāng)庫(kù)的規(guī)劃4數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)體系結(jié)構(gòu)5數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型設(shè)計(jì)6數(shù)據(jù)倉(cāng)庫(kù)的粒度設(shè)計(jì)7數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)8數(shù)據(jù)倉(cāng)庫(kù)解決方案31數(shù)據(jù)倉(cāng)庫(kù)的生命周期。按照生命周期發(fā)法可將數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)的全部過(guò)程分成三個(gè)階段：1數(shù)據(jù)倉(cāng)庫(kù)規(guī)劃分析階段2數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)實(shí)施階段3數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用階段這三個(gè)階段不是簡(jiǎn)單的循環(huán)往復(fù)，而是不斷完善提高的過(guò)程。一般情況下數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)都不可能在一個(gè)循環(huán)過(guò)程中完成，而是經(jīng)過(guò)多次循環(huán)開(kāi)發(fā)，每次循環(huán)都會(huì)給系統(tǒng)增加新的功能，這種循環(huán)的工作永遠(yuǎn)不會(huì)終結(jié)，數(shù)據(jù)倉(cāng)庫(kù)也就一直處于一個(gè)不斷完善、不斷提高的循環(huán)玩傅過(guò)程中。一數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)的生命周期規(guī)劃分析階段使用維護(hù)階段設(shè)計(jì)實(shí)施階段圖3-1數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)的生命周期規(guī)劃與確定需求開(kāi)發(fā)概念模型數(shù)據(jù)倉(cāng)庫(kù)評(píng)價(jià)數(shù)據(jù)倉(cāng)庫(kù)維護(hù)數(shù)據(jù)藏庫(kù)應(yīng)用數(shù)據(jù)裝載預(yù)測(cè)試開(kāi)發(fā)中間件確定數(shù)據(jù)抽取源數(shù)據(jù)庫(kù)于遠(yuǎn)數(shù)據(jù)設(shè)計(jì)設(shè)計(jì)體系結(jié)構(gòu)開(kāi)發(fā)邏輯模型數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)過(guò)程2DW的開(kāi)發(fā)與應(yīng)用的階段是對(duì)DW開(kāi)發(fā)應(yīng)用的生命周期描述。按照生命周期法可將DW開(kāi)發(fā)應(yīng)用的全過(guò)程分成：DW規(guī)劃分析、DW設(shè)計(jì)實(shí)施和DW應(yīng)用三個(gè)階段，完成這三個(gè)階段并不意味著DW開(kāi)發(fā)的終止，而是DW開(kāi)發(fā)向更高階段發(fā)展的一個(gè)轉(zhuǎn)變。一方面通過(guò)這三個(gè)階段的DW開(kāi)發(fā)積累了DW開(kāi)發(fā)應(yīng)用經(jīng)驗(yàn)，可對(duì)原DW提出改進(jìn)的建議，使原DW通過(guò)改進(jìn)得到提高，另一方面，用戶新的需求也會(huì)豐富原DW的設(shè)計(jì)，這就是螺旋式周期性開(kāi)發(fā)方法。1DW規(guī)劃分析階段調(diào)查、分析DW環(huán)境，完成DW的開(kāi)發(fā)規(guī)劃，卻定DW開(kāi)發(fā)需求，建立包括實(shí)體圖、星型模型、雪花模型、元數(shù)據(jù)模型及數(shù)據(jù)源分析的主題域數(shù)據(jù)模型，并且根據(jù)主題域數(shù)據(jù)模型開(kāi)發(fā)DW邏輯模型。2DW設(shè)計(jì)實(shí)施階段根據(jù)DW的邏輯模型設(shè)計(jì)DW體系結(jié)構(gòu)；設(shè)計(jì)DW域物理數(shù)據(jù)庫(kù)，用武力數(shù)據(jù)庫(kù)元數(shù)據(jù)裝載面向最終用戶的元數(shù)據(jù)庫(kù)；為DW中每個(gè)目標(biāo)字段確定他在業(yè)務(wù)系統(tǒng)或外部數(shù)據(jù)源中的數(shù)據(jù)來(lái)源；開(kāi)發(fā)或購(gòu)買(mǎi)用于抽取、清洗、轉(zhuǎn)換和聚合數(shù)據(jù)等中間件程序；將數(shù)據(jù)從數(shù)據(jù)源加載到DW，并且進(jìn)行測(cè)試。3DW使用維護(hù)階段DW投入使用，且在使用中改進(jìn)、維護(hù)DW；對(duì)DW進(jìn)行評(píng)價(jià)，為下一個(gè)循環(huán)開(kāi)發(fā)提供依據(jù)。二DW開(kāi)發(fā)的特點(diǎn)DW的使用就是在DW中建立決策支持系統(tǒng)應(yīng)用，這與業(yè)務(wù)處理系統(tǒng)應(yīng)用環(huán)境有本質(zhì)的區(qū)別，這也導(dǎo)致DW開(kāi)發(fā)與傳統(tǒng)的OLTP系統(tǒng)開(kāi)發(fā)載開(kāi)發(fā)出發(fā)點(diǎn)、需求確定、開(kāi)發(fā)過(guò)程中有相當(dāng)大的不同。1數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)是從數(shù)據(jù)出發(fā)的創(chuàng)建DW是在原有的數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)基礎(chǔ)上進(jìn)行的，即從存在于操作性環(huán)境的數(shù)據(jù)出發(fā)，進(jìn)行DW的創(chuàng)建工作，我們稱之為“數(shù)據(jù)驅(qū)動(dòng)”。數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì)方法的中心是利用數(shù)據(jù)模型有效的識(shí)別原有的數(shù)據(jù)庫(kù)中的數(shù)據(jù)和DW中主題的數(shù)據(jù)“共同性”。2DW使用的需求不能再開(kāi)發(fā)初期完全明確面向應(yīng)用的數(shù)據(jù)庫(kù)系統(tǒng)設(shè)計(jì)往往有一組教確定的應(yīng)用需求，這是數(shù)據(jù)庫(kù)系統(tǒng)設(shè)計(jì)的出發(fā)點(diǎn)和基礎(chǔ)。而在數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中，并不存在操做型環(huán)境中的固定的且較確切的物流、數(shù)據(jù)流、和信息流，數(shù)據(jù)分析處理的需求更加靈活，更沒(méi)有固定的模式，甚至用戶自己也對(duì)所要進(jìn)行的分析處理不能事先全部確定。因而在DW開(kāi)發(fā)初期不能明確了解DW用戶的全部使用需求。3數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)是一個(gè)不斷循環(huán)的過(guò)程，是啟發(fā)式的開(kāi)發(fā)DW的開(kāi)發(fā)是一個(gè)動(dòng)態(tài)反饋和循環(huán)的過(guò)程，一方面DW的數(shù)據(jù)內(nèi)容、結(jié)構(gòu)、力度、分割以及其他物理設(shè)計(jì)應(yīng)該根據(jù)用戶所返回的信息不斷的調(diào)整和完善，以提高系統(tǒng)的效率和性能；另一方面，通過(guò)不斷理解用戶的分析需求，不斷的調(diào)整和完善，以求向用戶提供更準(zhǔn)確、更有效的決策信息。3.2數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)的方法論建立一個(gè)DW一般需做以下五個(gè)方面的工作：1、任務(wù)和環(huán)境的評(píng)估。2、需求的收集和分析。3、構(gòu)造DW。34、DW技術(shù)的培訓(xùn)。5、回顧、總結(jié)和再發(fā)展。一、任務(wù)和環(huán)境的評(píng)估1、目標(biāo)：因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)是建立在原有的運(yùn)行系統(tǒng)之上的，因此要結(jié)合單位的現(xiàn)狀來(lái)明確數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)任務(wù)。了解數(shù)據(jù)源所在系統(tǒng)和其中數(shù)據(jù)的狀況、數(shù)據(jù)類型、工作平臺(tái)、數(shù)據(jù)量、數(shù)據(jù)質(zhì)量、DW的環(huán)境、網(wǎng)絡(luò)技術(shù)狀況。2、目的：看DW的任務(wù)是否可行。所建立的DW是否是用戶所期望的。有沒(méi)有不逾越的障礙。確定DW系統(tǒng)成功與否的基本原則。3、組織：高層負(fù)責(zé)人參加并組織項(xiàng)目組。人員：項(xiàng)目總負(fù)責(zé)人與DW相關(guān)的業(yè)務(wù)部門(mén)負(fù)責(zé)人計(jì)算機(jī)軟/硬件負(fù)責(zé)人DBA網(wǎng)絡(luò)人員4、項(xiàng)目組的任務(wù)：初步確定主題主題的層次結(jié)構(gòu)二、需求的收集和分析。1、任務(wù)：了解決策者現(xiàn)在的工作目標(biāo)?，F(xiàn)在獲得決策支持信息的方法、渠道。和競(jìng)爭(zhēng)對(duì)手的差距。決策者希望DW提供什么。制定系統(tǒng)的邏輯模型。分析數(shù)據(jù)源的物理存儲(chǔ)狀況、運(yùn)行平臺(tái)、數(shù)據(jù)質(zhì)量、硬件、軟件和網(wǎng)絡(luò)的限制條件。2、分析文檔。項(xiàng)目概述。差距分析。系統(tǒng)基本架構(gòu)圖示。邏輯模型。物理模型。DW的初始裝載和更新策略。DW的運(yùn)行計(jì)劃。決策信息展現(xiàn)的希望和需求。DW建成的時(shí)限。三、構(gòu)造DW構(gòu)造數(shù)據(jù)倉(cāng)庫(kù)包括數(shù)據(jù)倉(cāng)庫(kù)的管理、數(shù)據(jù)倉(cāng)庫(kù)的組織和決策支持信息的展現(xiàn)三部分。設(shè)計(jì)和編寫(xiě)數(shù)據(jù)抽取程序/工具。設(shè)計(jì)和編寫(xiě)數(shù)據(jù)轉(zhuǎn)換程序/工具。1、DW的管理設(shè)計(jì)和編寫(xiě)數(shù)據(jù)更新程序/工具。設(shè)計(jì)和編寫(xiě)運(yùn)行的接口程序。建立這一階段的所有管理的數(shù)據(jù)（元數(shù)據(jù)）4程序統(tǒng)一標(biāo)準(zhǔn)命名、建檔。初始裝載建立索引2、DW的組織建立數(shù)據(jù)視圖DW及工作平臺(tái)的安全檢查裝入數(shù)據(jù)和應(yīng)用功能建立此階段的元數(shù)據(jù)。3、決策支持信息的展現(xiàn)利用多維數(shù)據(jù)展現(xiàn)、數(shù)據(jù)挖掘等一些工具可預(yù)先制作好許多常規(guī)的信息市場(chǎng)項(xiàng)目供支持決策使用，也可以直接操作主題數(shù)據(jù)以得出新的決策支持信息。四、數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的培訓(xùn)。培訓(xùn)內(nèi)容：1、DW中的數(shù)據(jù)內(nèi)容（包括邏輯模型、物理模型）、數(shù)據(jù)質(zhì)量。2、元數(shù)據(jù)的內(nèi)容、位置，如何使用。3、用戶界面和功能介紹。4、數(shù)據(jù)更新計(jì)劃。5、DW的安全規(guī)則。6、從OLTP到DW的數(shù)據(jù)流。7、全部的數(shù)據(jù)轉(zhuǎn)換工作。8、數(shù)據(jù)裝載和更新的策略。五、回顧、總結(jié)和再發(fā)展。1、哪些地方可以做得更好。2、業(yè)務(wù)部門(mén)對(duì)開(kāi)發(fā)的支持是否到位。3、雙方如何合作得更好。4、什么是業(yè)務(wù)部門(mén)立竿見(jiàn)影的效益。5、主題選擇是否得當(dāng)。6、階段成果是什么？反映如何？7、DW采用是否提高了公司的競(jìng)爭(zhēng)力。8、投資回報(bào)率是否達(dá)到預(yù)計(jì)的水平。六、SAS數(shù)據(jù)倉(cāng)庫(kù)方法論見(jiàn)圖3-2主要數(shù)據(jù)模型和DW主題的選擇設(shè)計(jì)DW結(jié)構(gòu)、數(shù)據(jù)建摸、過(guò)程建摸物理的DW組裝、應(yīng)用程序編碼，測(cè)試、驗(yàn)收、把DW展示給業(yè)務(wù)用戶，培訓(xùn)圖3-2SAS數(shù)據(jù)倉(cāng)庫(kù)方法論評(píng)估需求調(diào)查設(shè)計(jì)構(gòu)建部署總結(jié)5總結(jié)：1、總結(jié)早期項(xiàng)目實(shí)施成功和失敗的經(jīng)驗(yàn)和公布以后努力的結(jié)果。2、應(yīng)用配置是否如愿實(shí)現(xiàn)，如有必要須調(diào)整計(jì)劃。3、評(píng)估項(xiàng)目對(duì)單位的影響和得益。3.3數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)體系結(jié)構(gòu)DWS的技術(shù)體系結(jié)構(gòu)如圖3-2所示圖3-3DataBaseAssociation公司定義的DW技術(shù)體系結(jié)構(gòu)一、設(shè)計(jì)模塊功能：是由DW的設(shè)計(jì)者和管理者來(lái)設(shè)計(jì)和定義的DW的。在設(shè)計(jì)DW時(shí)必須考慮到的其他因素還包括DB和瞬時(shí)數(shù)據(jù)的處理。某些DW數(shù)據(jù)庫(kù)還包括星型模型的非規(guī)范化DB設(shè)計(jì)。二、數(shù)據(jù)獲取模塊功能：用于開(kāi)發(fā)和運(yùn)行數(shù)據(jù)獲取應(yīng)用程序，從源系統(tǒng)中獲取數(shù)據(jù)并加到DW中。內(nèi)容：1、數(shù)據(jù)抽取規(guī)則界定數(shù)據(jù)源。外部數(shù)據(jù)數(shù)據(jù)獲取模塊數(shù)據(jù)管理員模塊DW的數(shù)據(jù)信息目錄模塊DW的元數(shù)據(jù)數(shù)據(jù)傳遞模塊中間件模塊數(shù)據(jù)訪問(wèn)模塊設(shè)計(jì)模塊管理模塊數(shù)據(jù)源外部元數(shù)據(jù)62、數(shù)據(jù)情況記錄和字段的重組，增補(bǔ)丟失的字段值，數(shù)據(jù)的整性和一致性檢查。3、數(shù)據(jù)增強(qiáng)字段值的解碼和轉(zhuǎn)換，增加時(shí)間屬性（若沒(méi)有），數(shù)據(jù)的概括或者衍生值的計(jì)算。4、數(shù)據(jù)傳輸。5、生成的定義作為元數(shù)據(jù)存入信息目錄模塊。三、數(shù)據(jù)管理員模塊。功能：是DW用來(lái)生成、管理和訪問(wèn)倉(cāng)庫(kù)中數(shù)據(jù)（很可能還有元數(shù)據(jù)）的模塊。一般使用RDBMS或MDBMS（多維DBMS）。四、管理模塊。功能：完成維護(hù)DW環(huán)境的系統(tǒng)管理服務(wù)。內(nèi)容：1、管理數(shù)據(jù)獲取操作。2、倉(cāng)庫(kù)數(shù)據(jù)歸檔。3、倉(cāng)庫(kù)數(shù)據(jù)備份。4、倉(cāng)庫(kù)數(shù)據(jù)恢復(fù)。5、訪問(wèn)DW的安全及授權(quán)等。五、信息目錄模塊功能：幫助技術(shù)用戶和業(yè)務(wù)用戶訪問(wèn)DWS，通過(guò)一套維護(hù)和觀察倉(cāng)庫(kù)元數(shù)據(jù)的工具實(shí)現(xiàn)這一功能。主要元素：1、源數(shù)據(jù)管理員：維護(hù)、輸入/出倉(cāng)庫(kù)元數(shù)據(jù)。2、技術(shù)元數(shù)據(jù)。3、信息助理：為最終用戶提供訪問(wèn)元數(shù)據(jù)的簡(jiǎn)單方法，有些產(chǎn)品能幫助用戶產(chǎn)生、編寫(xiě)、運(yùn)行查詢、報(bào)表、分析并預(yù)定倉(cāng)庫(kù)中找不到數(shù)據(jù)和信息。六、數(shù)據(jù)訪問(wèn)模塊功能：提供訪問(wèn)工具，使用戶訪問(wèn)和分析倉(cāng)庫(kù)中的數(shù)據(jù)。訪問(wèn)工具：1、查詢、報(bào)表自動(dòng)生成和數(shù)據(jù)分析工具。2、能訪問(wèn)RDBMS的多維分析工具。3、能訪問(wèn)MDBMS的多維分析工具。4、運(yùn)行4GL或可視化程序設(shè)計(jì)語(yǔ)言的DSS應(yīng)用程序開(kāi)發(fā)工具。七、中間件模塊功能：將DW數(shù)據(jù)與最終用戶工具連接起來(lái)，專門(mén)中間件：智能數(shù)據(jù)倉(cāng)庫(kù)中間件位用戶提供從業(yè)務(wù)角度、數(shù)據(jù)倉(cāng)庫(kù)的視角；并能監(jiān)視和跟蹤對(duì)DW的訪問(wèn)情況。分析服務(wù)器能改善對(duì)RDBMS數(shù)據(jù)進(jìn)行多維分析的效果。八、數(shù)據(jù)傳遞模塊功能：將數(shù)據(jù)集合分布到其他DW和最終用戶產(chǎn)品中，如電子報(bào)表。數(shù)據(jù)的傳遞可以在一天中的某一時(shí)刻進(jìn)行，也可以在一個(gè)外部事件結(jié)束時(shí)進(jìn)行。3.4數(shù)據(jù)模型設(shè)計(jì)在創(chuàng)建DW時(shí)需要使用各種數(shù)據(jù)模型對(duì)DW進(jìn)行描述，DW的開(kāi)發(fā)人員依據(jù)這些數(shù)據(jù)模型才能開(kāi)發(fā)出一個(gè)滿足用戶需求的DW。DW的各種數(shù)據(jù)模型在DW的開(kāi)發(fā)中作用很大，主要體現(xiàn)在模型終止旱由于設(shè)計(jì)有關(guān)的屬性，排除了無(wú)關(guān)的信息，突出了與任務(wù)相關(guān)的重要信7息，是開(kāi)發(fā)人員能夠?qū)⒆⒁饬性贒W開(kāi)發(fā)的主要部分。因此，數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)和OLTP系統(tǒng)的設(shè)計(jì)一樣，也需要先進(jìn)行模型的設(shè)計(jì)。一、不同層次模型之間的關(guān)系.。1、企業(yè)數(shù)據(jù)模型：特點(diǎn)：只包含原始數(shù)據(jù)。OLTP、DW的數(shù)據(jù)模型均源于企業(yè)模型。2、操作型數(shù)據(jù)模型特點(diǎn)：基本等價(jià)于企業(yè)數(shù)據(jù)模型。在數(shù)據(jù)庫(kù)設(shè)計(jì)之前要加入性能因素。3、DW數(shù)據(jù)模型。特點(diǎn)：去掉純操作性數(shù)據(jù)。給鍵碼增加時(shí)間因素合適之處增加導(dǎo)出數(shù)據(jù)把OLTP系統(tǒng)中數(shù)據(jù)關(guān)系變?yōu)槿斯りP(guān)系。4、不同層次模型之間的關(guān)系（1）OLTP系統(tǒng)的數(shù)據(jù)模型來(lái)源于企業(yè)數(shù)據(jù)模型。(2)DW數(shù)據(jù)模型源于OLTP系統(tǒng)數(shù)據(jù)模型以及企業(yè)數(shù)據(jù)模型。二、DW數(shù)據(jù)模型的設(shè)計(jì)1DW數(shù)據(jù)模型的種類：（1）概念模型DW的概念模型是一個(gè)DW的粗略藍(lán)本，以此為工具卻人DW的設(shè)計(jì)者是否已經(jīng)正確的理解了DW最終用戶的信息需求。在概念模型的設(shè)計(jì)中，必須將注意力集中在對(duì)上午的理解上，保證DW的所有業(yè)務(wù)都被歸納進(jìn)概念模型。（2）邏輯模型DW的邏輯模型是維度模型，采用星型模型或雪花模型。在星型模型中主要設(shè)計(jì)事實(shí)表和維度表。（3）物理模型關(guān)系表