CRM與數(shù)據(jù)倉庫

1、CRM與數(shù)據(jù)倉庫第6章 CRM與數(shù)據(jù)倉庫6.1 數(shù)據(jù)倉庫概述6.1.1 數(shù)據(jù)倉庫的產(chǎn)生6.1.2 數(shù)據(jù)倉庫概念及特征6.1.3 數(shù)據(jù)倉庫的內(nèi)容6.1.3 數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu)6.2 客戶關(guān)系管理中的數(shù)據(jù)倉庫6.2.1 客戶關(guān)系管理需要數(shù)據(jù)倉庫6.2.2 客戶關(guān)系管理中數(shù)據(jù)倉庫的作用6.2.3客戶關(guān)系管理數(shù)據(jù)倉庫的系統(tǒng)結(jié)構(gòu)6.3 客戶關(guān)系管理數(shù)據(jù)倉庫的實施6.4 客戶關(guān)系管理數(shù)據(jù)倉庫試驗6.4.1 客戶關(guān)系管理數(shù)據(jù)倉庫設(shè)計試驗6.4.2 客戶關(guān)系管理數(shù)據(jù)倉庫使用試驗6.1 數(shù)據(jù)倉庫概述 數(shù)據(jù)倉庫與CRM有著難以割舍的密切關(guān)系，客戶關(guān)系管理很多工作都是以數(shù)據(jù)倉庫為基礎(chǔ)展開的。從某種意義上說，數(shù)據(jù)

2、倉庫是客戶關(guān)系管理的靈魂。 利用數(shù)據(jù)倉庫，企業(yè)可以對客戶行為的分析與預(yù)測，從而制定準(zhǔn)確的市場策略、發(fā)現(xiàn)企業(yè)的重點客戶和評價市場性能，并通過銷售和服務(wù)等部門與客戶交流，實現(xiàn)企業(yè)利潤的提高。對于客戶量大、市場策略對企業(yè)影響較大的企業(yè)來說，必須在客戶關(guān)系管理系統(tǒng)中包含數(shù)據(jù)倉庫。6.1.1 數(shù)據(jù)倉庫的產(chǎn)生v早期的數(shù)據(jù)庫主要支持聯(lián)機事務(wù)處理v決策支持對數(shù)據(jù)分析的需求v傳統(tǒng)數(shù)據(jù)庫系統(tǒng)不適宜DSS事務(wù)處理和分析處理的性能特性不同數(shù)據(jù)集成問題數(shù)據(jù)動態(tài)集成問題歷史數(shù)據(jù)問題數(shù)據(jù)的綜合問題操作繁簡問題（1 1）事務(wù)處理和分析處理的性能特性不同）事務(wù)處理和分析處理的性能特性不同v所有聯(lián)機事務(wù)處理強調(diào)的是數(shù)據(jù)更新處理性

3、能和系統(tǒng)的可靠性，并不關(guān)心數(shù)據(jù)查詢的方便與快捷。在事務(wù)處理環(huán)境中，用戶的行為特點是數(shù)據(jù)的存取操作頻率高而每次操作處理的時間短。v在分析處理環(huán)境中，用戶的行為模式與此完全不同，強調(diào)的是數(shù)據(jù)處理和分析的能力。在傳統(tǒng)數(shù)據(jù)庫系統(tǒng)基礎(chǔ)上的DSS應(yīng)用程序可能需要連續(xù)幾個小時，從而消耗大量的系統(tǒng)資源。v聯(lián)機分析和事務(wù)處理對系統(tǒng)的要求不同，同一個數(shù)據(jù)庫在理論上難以做到兩全，將具有如此不同處理性能的兩種應(yīng)用放在同一個環(huán)境中運行顯然是不適當(dāng)?shù)摹＃?）數(shù)據(jù)集成問題。vDSS需要集成的數(shù)據(jù)。全面而正確的數(shù)據(jù)是有效的分析和決策的首要前提，相關(guān)數(shù)據(jù)收集得越完整，得到的結(jié)果就越可靠。當(dāng)前絕大多數(shù)企業(yè)內(nèi)數(shù)據(jù)的真正狀況是分散而

4、非集成的。v造成這種分散的原因有多種，主要有事務(wù)處理應(yīng)用分散、“蜘蛛網(wǎng)”問題、數(shù)據(jù)不一致問題、外部數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。（3）數(shù)據(jù)動態(tài)集成問題v靜態(tài)集成的最大缺點在于，如果在數(shù)據(jù)集成后數(shù)據(jù)源中數(shù)據(jù)發(fā)生了變化，這些 變化將不能反映給決策者，導(dǎo)致決策者使用的是過時的數(shù)據(jù)。集成數(shù)據(jù)必須以一定的周期（例如24小時）進行刷新，我們稱其為動態(tài)集成。顯然，事務(wù)處理系統(tǒng)不具備動態(tài)集成的能力。（4）歷史數(shù)據(jù)問題v事務(wù)處理一般只需要當(dāng)前數(shù)據(jù)，在數(shù)據(jù)庫中一般也是存儲短期數(shù)據(jù)，不同數(shù)據(jù)的保存期限也不一樣，即使有一些歷史數(shù)據(jù)保存下來了，也被束之高閣，未得到充分利用。但對于決策分析而言，歷史數(shù)據(jù)是相當(dāng)重要的，許多分析方法必

5、須一大量的歷史數(shù)據(jù)為依托。沒有歷史數(shù)據(jù)的詳細分析，是難以把握企業(yè)的發(fā)展趨勢的。DSS對數(shù)據(jù)在空間和時間的廣度上都有了更高的要求，而事務(wù)處理環(huán)境難以滿足這些要求。（5）數(shù)據(jù)的綜合問題v在事務(wù)處理系統(tǒng)中積累了大量的細節(jié)數(shù)據(jù)，一般而言，DSS并不對這些細節(jié)數(shù)據(jù)進行分析。在分析前，往往需要對細節(jié)數(shù)據(jù)進行不同程度的綜合。而事務(wù)處理系統(tǒng)不具備這種綜合能力，根據(jù)規(guī)范化理論，這種綜合還往往因為是一種數(shù)據(jù)冗余而加以限制。（6）操作繁簡問題v業(yè)務(wù)數(shù)據(jù)的模式是針對事務(wù)處理系統(tǒng)而設(shè)計的，數(shù)據(jù)的格式和描述方式并不適合非計算機專業(yè)人員進行業(yè)務(wù)上的分析和統(tǒng)計。v有人感嘆：20年前查詢不到數(shù)據(jù)是因為數(shù)據(jù)太少了，而今天查詢不到

6、數(shù)據(jù)是因為數(shù)據(jù)太多了。v要提高分析和決策的效率和有效性，分析型處理及其數(shù)據(jù)必須與操作型處理及其數(shù)據(jù)相分離。必須把分析型數(shù)據(jù)從事務(wù)處理環(huán)境中提取出來，按照DSS處理的需要進行重新組織，建立單獨的分析處理環(huán)境，數(shù)據(jù)倉庫正是為了構(gòu)建這種新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲和組織技術(shù)。v數(shù)據(jù)倉庫的數(shù)據(jù)從聯(lián)機的事務(wù)處理系統(tǒng)、異構(gòu)的外部數(shù)據(jù)源、脫機的歷史業(yè)務(wù)數(shù)據(jù)中得到。它是一個聯(lián)機的系統(tǒng)，專門為分析統(tǒng)計和決策支持應(yīng)用服務(wù)，通過它可滿足決策支持和聯(lián)機分析應(yīng)用所要求的一切。6.1.2 數(shù)據(jù)倉庫的概念和特征v目前，數(shù)據(jù)倉庫一詞尚沒有一個統(tǒng)一的定義。v著名的數(shù)據(jù)倉庫專家W.H.Inmon在其著作Building

7、the Data Warehouse一書中給予如下描述： 數(shù)據(jù)倉庫（Data Warehouse）是一個面向主題的（Subject Oriented）、集成的（Integrate）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數(shù)據(jù)集合，用于支持管理決策。數(shù)據(jù)倉庫概念的兩個層次v功能上：數(shù)據(jù)倉庫用于支持決策，面向分析型數(shù)據(jù)處理，它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫；v內(nèi)容和特征上：數(shù)據(jù)倉庫是對多個異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進行了重組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改。數(shù)據(jù)倉庫四個特點-面向主題v傳統(tǒng)的數(shù)據(jù)庫是面向應(yīng)用而進行數(shù)據(jù)組織的

8、，其抽象程度不夠高，沒有完全實現(xiàn)數(shù)據(jù)與應(yīng)用的分離。但這種方式能較好地將企業(yè)業(yè)務(wù)活動與數(shù)據(jù)庫模式相對應(yīng)，利于從手工處理向計算機處理過渡，因而具有較好的可操作性；v數(shù)據(jù)倉庫是面向主題而進行數(shù)據(jù)組織的。主題是一個在較高層次上對數(shù)據(jù)的抽象，在邏輯意義上，它是對企業(yè)中某一宏觀領(lǐng)域所涉及的分析對象，即將數(shù)據(jù)組織成主題域。例如，在銀行經(jīng)營運作中，業(yè)務(wù)(存款、貸款、匯兌)、貨幣、客戶、機構(gòu)、會計科目是其主要構(gòu)架或方向，因此在銀行業(yè)務(wù)數(shù)據(jù)倉庫中，選擇業(yè)務(wù)、貨幣、客戶、機構(gòu)、會計科目五個主題，并將會計科目作為連接其他四個主題的交易主題進行處理。v面向主題可以獨立于數(shù)據(jù)處理邏輯，適用于分析型數(shù)據(jù)環(huán)境，適用于建設(shè)企業(yè)

9、全局?jǐn)?shù)據(jù)庫；數(shù)據(jù)倉庫中目前仍采用關(guān)系數(shù)據(jù)庫技術(shù)來實現(xiàn)，其面向主題所作較高程度上的抽象，應(yīng)強調(diào)其邏輯意義。數(shù)據(jù)倉庫四個特點-集成的v面向事務(wù)處理的操作型數(shù)據(jù)庫通常與某些特定的應(yīng)用相關(guān)，數(shù)據(jù)庫之間相互獨立，并且往往是異構(gòu)。v在數(shù)據(jù)倉庫的所有特性之中，這是最重要的。應(yīng)用問題的設(shè)計人員歷經(jīng)多年制定出來的不同的設(shè)計決策有很多很多種不同的表示方法，沒有什么應(yīng)用在編碼、命名習(xí)慣、實際屬性、屬性度量等方面是一致的，各個應(yīng)用問題設(shè)計員自由地做出他或她自己的設(shè)計決策。v數(shù)據(jù)倉庫中的數(shù)據(jù)是集成的。而數(shù)據(jù)倉庫中的數(shù)據(jù)是在對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過系統(tǒng)加工、匯總和整理得到的，必須消除源數(shù)據(jù)中的不一致性

10、，以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個企業(yè)的一致的全局信息。在數(shù)據(jù)倉庫建設(shè)中，這是最關(guān)鍵最復(fù)雜的一個步驟，主要工作有：一是，進行數(shù)據(jù)的綜合和計算；二是，統(tǒng)一源數(shù)據(jù)中所有不一致和矛盾的地方(如同名異義、異名同義、字長不一致、單位不一致等)。數(shù)據(jù)倉庫四個特點-相對穩(wěn)定的v操作型數(shù)據(jù)庫中的數(shù)據(jù)通常實時更新，數(shù)據(jù)根據(jù)需要及時發(fā)生變化。數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一旦某個數(shù)據(jù)進入數(shù)據(jù)倉庫以后，一般情況下將被長期保留，也就是數(shù)據(jù)倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。數(shù)據(jù)倉庫四個特點-相對穩(wěn)定的數(shù)據(jù)倉庫四個特點-反映歷史變化v操作

11、型數(shù)據(jù)庫主要關(guān)心當(dāng)前某一個時間段內(nèi)的數(shù)據(jù)，而數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時點(如開始應(yīng)用數(shù)據(jù)倉庫的時點)到目前的各個階段的信息，通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測。v數(shù)據(jù)倉庫中的數(shù)據(jù)時間期限要遠遠長于操作型系統(tǒng)中的數(shù)據(jù)時間期限。操作型系統(tǒng)的時間期限一般是6 09 0天，而數(shù)據(jù)倉庫中數(shù)據(jù)的時間期限通常是61 0年。v操作型數(shù)據(jù)庫含有“當(dāng)前值”的數(shù)據(jù)，這些數(shù)據(jù)的準(zhǔn)確性在訪問時是有效的，同樣當(dāng)前值的數(shù)據(jù)能被更新。而數(shù)據(jù)倉庫中的數(shù)據(jù)僅僅是一系列某一時刻生成的復(fù)雜的快照。v操作型數(shù)據(jù)的鍵碼結(jié)構(gòu)可能包含也可能不包含時間元素，如年、月、日等。而數(shù)據(jù)倉

12、庫的鍵碼結(jié)構(gòu)總是包含某時間元素。數(shù)據(jù)倉庫的數(shù)據(jù)碼鍵都包含時間項，用作標(biāo)明數(shù)據(jù)的歷史時期。數(shù)據(jù)倉庫中的數(shù)據(jù)包含有大量綜合數(shù)據(jù)，很多與時間有關(guān)，如按時間段進行綜合或隔時間片進行抽樣。隨著時間變化，數(shù)據(jù)倉庫需要不斷增加新數(shù)據(jù)、刪去舊數(shù)據(jù)。數(shù)據(jù)倉庫四個特點-反映歷史變化數(shù)據(jù)倉庫本質(zhì)v數(shù)據(jù)倉庫實際上是一個“以大型數(shù)據(jù)管理信息系統(tǒng)為基礎(chǔ)的、附加在這個數(shù)據(jù)庫系統(tǒng)之上的、存儲了從企業(yè)所有業(yè)務(wù)數(shù)據(jù)庫中獲取的綜合數(shù)據(jù)的、并能利用這些綜合數(shù)據(jù)為用戶提供經(jīng)過處理后的有用信息的應(yīng)用系統(tǒng)”。v如果說傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的重點與要求是快速、準(zhǔn)確、安全、可靠地將數(shù)據(jù)存進數(shù)據(jù)庫中的話，那么數(shù)據(jù)倉庫的重點與要求就是能夠準(zhǔn)確、安全、可靠

13、地從數(shù)據(jù)庫中取出數(shù)據(jù)，經(jīng)過加工轉(zhuǎn)換成有規(guī)律信息之后，再供管理人員進行分析使用。v數(shù)據(jù)倉庫所要研究和解決的問題就是從數(shù)據(jù)庫中獲取信息。 6.1.3 數(shù)據(jù)倉庫的內(nèi)容v數(shù)據(jù)倉庫并沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，也沒有成熟的基本模式，且更偏向于工程，具有強烈的工程性。因此，在技術(shù)上人們習(xí)慣于從工作過程等方面來分析，并按其關(guān)鍵技術(shù)部份分為數(shù)據(jù)的抽取、存儲與管理以及數(shù)據(jù)的表現(xiàn)等三個基本方面。 數(shù)據(jù)的抽取v數(shù)據(jù)的抽取是數(shù)據(jù)進入倉庫的入口。由于數(shù)據(jù)倉庫是一個獨立的數(shù)據(jù)環(huán)境，它需要通過抽取過程將數(shù)據(jù)從聯(lián)機事務(wù)處理系統(tǒng)、外部數(shù)據(jù)源、脫機的數(shù)據(jù)存儲介質(zhì)中導(dǎo)入到數(shù)據(jù)倉庫。數(shù)據(jù)抽取在技術(shù)上主要涉及互連、復(fù)制、增量、轉(zhuǎn)換、調(diào)度和

14、監(jiān)控等方面。數(shù)據(jù)倉庫中的數(shù)據(jù)并不要求與聯(lián)機事務(wù)處理系統(tǒng)保持實時同步，因此數(shù)據(jù)抽取可以定時進行，但多個抽取操作執(zhí)行的時間、相互的順序、成敗對數(shù)據(jù)倉庫中信息的有效性則至關(guān)重要。存儲和管理v數(shù)據(jù)倉庫的真正關(guān)鍵是數(shù)據(jù)的存儲和管理。數(shù)據(jù)倉庫的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫，同時也決定了其對外部數(shù)據(jù)的表現(xiàn)形式。要決定采用什么產(chǎn)品和技術(shù)來建立數(shù)據(jù)倉庫的核心，則需要從數(shù)據(jù)倉庫的技術(shù)特點著手分析。針對現(xiàn)有各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，進行抽取、清理，并有效集成，按照主題進行組織。數(shù)據(jù)倉庫按照數(shù)據(jù)的覆蓋范圍可以分為企業(yè)級數(shù)據(jù)倉庫和部門級數(shù)據(jù)倉庫（通常稱為數(shù)據(jù)集市）。 數(shù)據(jù)的表現(xiàn)v數(shù)據(jù)表現(xiàn)實際上相當(dāng)于數(shù)據(jù)倉庫的門面，其性

15、能主要集中在多維分析、數(shù)理統(tǒng)計和數(shù)據(jù)挖掘方面。而多維分析又是數(shù)據(jù)倉庫的重要表現(xiàn)形式，近幾年來由于互聯(lián)網(wǎng)的發(fā)展，使得多維分析領(lǐng)域的工具和產(chǎn)品更加注重提供基于Web前端聯(lián)機分析界面，而不僅僅是在網(wǎng)上發(fā)布數(shù)據(jù)。 6.1.4 數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu) 數(shù)據(jù)源v數(shù)據(jù)源是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ)，是整個系統(tǒng)的數(shù)據(jù)源泉。通常包括企業(yè)內(nèi)部信息和外部信息。內(nèi)部信息包括各種業(yè)務(wù)處理數(shù)據(jù)和各類文檔數(shù)據(jù)。外部信息包括各類法律法規(guī)、市場信息和競爭對手的信息等等。 OLAP服務(wù)器vOLAP服務(wù)器對分析需要的數(shù)據(jù)進行有效集成，按多維模型予以組織，以便進行多角度、多層次的分析，并發(fā)現(xiàn)趨勢。其具體實現(xiàn)可以分為：ROLAP、MOLAP和H

16、OLAP。ROLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放在RDBMS之中；MOLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放于多維數(shù)據(jù)庫中；HOLAP基本數(shù)據(jù)存放于RDBMS之中，聚合數(shù)據(jù)存放于多維數(shù)據(jù)庫中。前端工具v前端工具主要包括各種報表工具、查詢工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市的應(yīng)用開發(fā)工具。其中數(shù)據(jù)分析工具主要針對OLAP服務(wù)器，報表工具、數(shù)據(jù)挖掘工具主要針對數(shù)據(jù)倉庫。 數(shù)據(jù)倉庫概述小結(jié)6.1.1 數(shù)據(jù)倉庫的產(chǎn)生6.1.2 數(shù)據(jù)倉庫概念及特征6.1.3 數(shù)據(jù)倉庫的內(nèi)容6.1.4 數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)倉庫的項目實施v數(shù)據(jù)倉庫系統(tǒng)是一種解決問題的過程，而不是一個可以買到的現(xiàn)成產(chǎn)品。

17、不同企業(yè)會有不同的數(shù)據(jù)倉庫。企業(yè)人員往往不懂如何建立和利用數(shù)據(jù)倉庫，發(fā)揮其決策支持的作用，而數(shù)據(jù)倉庫公司人員又不懂業(yè)務(wù)，不知道建立哪些決策主題，從數(shù)據(jù)源中抽取哪些數(shù)據(jù)。這需要雙方互相溝通，共同協(xié)商開發(fā)數(shù)據(jù)倉庫，因此是一個不斷往復(fù)前進的過程。v數(shù)據(jù)倉庫的建設(shè)是一個系統(tǒng)工程，是一個不斷建立、發(fā)展、完善的過程，通常需要較長的時間。這就要求各企業(yè)對整個系統(tǒng)的建設(shè)提出一個全面、清晰的遠景規(guī)劃及技術(shù)實施藍圖，將整個項目的實施分成若干個階段，以“總體規(guī)劃、分步實施、步步見效”為原則，不僅可迅速從當(dāng)前投資中獲得收益，而且可以在已有的基礎(chǔ)上，結(jié)合其他已有的業(yè)務(wù)系統(tǒng)，逐步構(gòu)建起完整、健壯的數(shù)據(jù)倉庫系統(tǒng)。 數(shù)據(jù)倉庫

18、的項目實施v數(shù)據(jù)倉庫提供了有效地存取和管理大量數(shù)據(jù)的理想環(huán)境，而數(shù)據(jù)倉庫系統(tǒng)的建立是一個由數(shù)據(jù)驅(qū)動、以技術(shù)支撐并滿足應(yīng)用需求的不斷增長和完善的開發(fā)過程。因此數(shù)據(jù)倉庫的建立可以從數(shù)據(jù)數(shù)據(jù)、技術(shù)技術(shù)和應(yīng)用應(yīng)用三方面展開。數(shù)據(jù)倉庫的項目實施項目計劃 v項目計劃是指定義創(chuàng)建數(shù)據(jù)倉庫的項目目標(biāo)和確定項目范圍，包括對項目計劃的評估和流程的調(diào)整。數(shù)據(jù)倉庫在構(gòu)建之初應(yīng)明確其主題，主題是一個在較高層次將數(shù)據(jù)歸類的標(biāo)準(zhǔn)，每一個主題對應(yīng)一個宏觀的分析領(lǐng)域，針對具體決策需求可細化為多個主題表，具體來說就是確定決策涉及的范圍和所要解決的問題。v確定范圍的主要任務(wù)包括了解方向性分析處理需求，確定信息需求，確定數(shù)據(jù)覆蓋范圍

19、。方向性需求包括：決策類型、決策者感興趣的問題（或?qū)ο螅┑?。在確定范圍時應(yīng)該重視的因素是必須用戶驅(qū)動和數(shù)據(jù)驅(qū)動相結(jié)合，同時可以借鑒國內(nèi)外已有的成功經(jīng)驗。 業(yè)務(wù)需求分析 v業(yè)務(wù)需求分析是數(shù)據(jù)倉庫中一個很重要的階段，好的業(yè)務(wù)需求分析會使項目成功的機率大大增加。分析階段主要包括兩個方面的任務(wù)是深入了解數(shù)據(jù)源和分析數(shù)據(jù)倉庫系統(tǒng)所包含的主題域及其相互之間的關(guān)系。分析階段必須堅持用戶參與，并且與原有系統(tǒng)開發(fā)或維護人員進行深入的溝通。 數(shù)據(jù)線 v數(shù)據(jù)線的實施可以分為模型設(shè)計、物理設(shè)計、數(shù)據(jù)預(yù)處理三個步驟，用以滿足對數(shù)據(jù)的有效組織和管理。 數(shù)據(jù)線-模型設(shè)計v需求分析已經(jīng)確定了用戶業(yè)務(wù)分析所需要的數(shù)據(jù)。模型設(shè)計

20、階段將確定數(shù)據(jù)倉庫系統(tǒng)將來的藍圖。v數(shù)據(jù)倉庫的邏輯設(shè)計一般采用星型模型和雪花模型設(shè)計其數(shù)據(jù)模型。包括選擇合適的主題，確定事實表、相關(guān)的維、屬性和粒度劃分，設(shè)計正確的表結(jié)構(gòu)和主鍵、外鍵關(guān)系等。v模型設(shè)計主要包括四個基本步驟：確定合適的主題、劃分粒度層次、設(shè)計維表和設(shè)計事實表。 數(shù)據(jù)線-模型設(shè)計ER圖數(shù)據(jù)線-模型設(shè)計三維透視圖數(shù)據(jù)線-模型設(shè)計vER圖中所示的數(shù)據(jù)模型中有四個相互關(guān)聯(lián)的簡單實體。如果數(shù)據(jù)庫設(shè)計只需要考慮數(shù)據(jù)模型的話，可以推斷所有的實體都是平等關(guān)系。換言之，從數(shù)據(jù)模型的設(shè)計角度來看，所有的實體之間的關(guān)系是對等的。v僅僅從數(shù)據(jù)模型的角度來著手設(shè)計數(shù)據(jù)倉庫會產(chǎn)生一種“平面”效應(yīng)。實際上，由

21、于種種原因，數(shù)據(jù)倉庫的實體絕不會是相互對等的。一些實體，要求有它們自己的特別處理。v為了明確為什么從數(shù)據(jù)模型的角度看一個組織中的數(shù)據(jù)和關(guān)系會發(fā)生失真，根據(jù)在數(shù)據(jù)倉庫中建立實體時將載入數(shù)據(jù)實體的數(shù)據(jù)量，我們來考慮數(shù)據(jù)倉庫中數(shù)據(jù)的一種三維透視。三維透視圖表明了這種三維透視。代表供應(yīng)商、客戶、產(chǎn)品、發(fā)貨的實體被稀疏地載入，而代表訂單的實體則大量地載入。將會有大量的數(shù)據(jù)載入代表訂單實體的表中，而在代表別的實體的表中載入的數(shù)據(jù)量則相對較少。由于大量的數(shù)據(jù)要載入訂單實體，因此需要一種不同的設(shè)計處理方式。數(shù)據(jù)線-模型設(shè)計v用來管理數(shù)據(jù)倉庫中載入某個實體的大量數(shù)據(jù)的設(shè)計結(jié)構(gòu)通常用“星型連接”。 v首先確立主題

22、，訂單是有大量數(shù)據(jù)的重要主題，那么“訂單”位于星型連接的中央。v在其周圍分別是“產(chǎn)品”、“客戶”、“供應(yīng)商”和“發(fā)貨”實體。這些實體僅僅會產(chǎn)生不大的數(shù)據(jù)量。v星型連接中央的“訂單”被稱作是“事實表”，而其周圍的其他實體“產(chǎn)品”、“客戶”、“供應(yīng)商”和“發(fā)貨”則被稱為“維表”。v事實表包含了“訂單”獨有的標(biāo)識數(shù)據(jù)，也包含了訂單本身的獨有數(shù)據(jù)。事實表還包含了指向其周圍的表維表的外鍵。數(shù)據(jù)線-模型設(shè)計數(shù)據(jù)線-模型設(shè)計v創(chuàng)建和使用星型連接的一個有趣的方面是，在很多情況下，文本數(shù)據(jù)與數(shù)值數(shù)據(jù)是分離開的。v文本數(shù)據(jù)常出現(xiàn)在維表中，數(shù)值數(shù)據(jù)常出現(xiàn)在事實表中，這種劃分似乎在所有情況都會發(fā)生。數(shù)據(jù)線-模型設(shè)計數(shù)

23、據(jù)線-模型設(shè)計v創(chuàng)建和使用星型連接的好處是可以為決策支持系統(tǒng)的處理優(yōu)化數(shù)據(jù)。通過數(shù)據(jù)預(yù)連接和建立有選擇的數(shù)據(jù)冗余，設(shè)計者為訪問和分析過程大大簡化了數(shù)據(jù)，這正是數(shù)據(jù)倉庫所需要的。v如果不是在決策支持系統(tǒng)數(shù)據(jù)倉庫環(huán)境中使用星型連接，則會有很多的缺點。在決策支持系統(tǒng)數(shù)據(jù)倉庫環(huán)境以外，常有數(shù)據(jù)更新，而且數(shù)據(jù)關(guān)系的管理要在秒的一級上進行。在這種情況下星型連接在創(chuàng)建和維護上就是很麻煩的數(shù)據(jù)結(jié)構(gòu)。但是由于數(shù)據(jù)倉庫是一個裝載訪問環(huán)境，它包括很多歷史數(shù)據(jù)，且有大量的數(shù)據(jù)要管理，因此，星型連接的數(shù)據(jù)結(jié)構(gòu)是十分理想的。數(shù)據(jù)線-模型設(shè)計v雪花模型 。雪花模型是對星型模型的擴展，每個維表都可以向外連接到多個詳細類別表

24、。v雪花模型對星型模型的維表進一步層次化，原有的各維表可能被擴展為小的事實表，形成一些局部的“層次”區(qū)域。在維表上連接對事實表進行詳細描述的詳細類別表，達到了縮小事實表，提高查詢效率的目的。數(shù)據(jù)線-模型設(shè)計數(shù)據(jù)線-模型設(shè)計v雪花模型的優(yōu)點是：通過最大限度的減少數(shù)據(jù)存儲量以及聯(lián)合較小的維表來改善查詢性能。v雪花模型增加了用戶必須處理的表數(shù)量，增加了某些查詢的復(fù)雜性，但這種方式可以使系統(tǒng)進一步專業(yè)化和實用化，同時降低了系統(tǒng)的通用程度。 數(shù)據(jù)線-物理設(shè)計v物理設(shè)計的主要任務(wù)是定義支持模型設(shè)計必需的物理結(jié)構(gòu)。其過程包括以下三個方面：1）確定物理存儲結(jié)構(gòu)；2）確定索引策略；3）確定存儲分配。 數(shù)據(jù)線-數(shù)

25、據(jù)處理v（1）數(shù)據(jù)預(yù)處理。它是數(shù)據(jù)倉庫設(shè)計工程中非常重要的過程，它由三個主要步驟組成：抽 取 （ E x t r a c t i o n ） 、 轉(zhuǎn) 換(Transformation)、加載(Load)，簡稱ETL。 根據(jù)元數(shù)據(jù)庫中的主題表定義、數(shù)據(jù)源定義、數(shù)據(jù)抽取規(guī)則定義對異地異構(gòu)數(shù)據(jù)源（包括各平臺的數(shù)據(jù)庫、文本文件、HTML文件、知識庫等）進行清理、轉(zhuǎn)換，對數(shù)據(jù)進行重新組織和加工，裝載到數(shù)據(jù)倉庫的目標(biāo)庫中。 在組織不同來源的數(shù)據(jù)過程中，先將數(shù)據(jù)轉(zhuǎn)換成一種中間模式，再把它移至臨時工作區(qū)。加工數(shù)據(jù)是保證目標(biāo)數(shù)據(jù)庫中數(shù)據(jù)的完整性、一致性。例如，有兩個數(shù)據(jù)源存儲與人員有關(guān)的信息，在定義數(shù)據(jù)組成的人

26、員編碼類型時，可能一個是字符型，一個是整型；在定義人員性別這一屬性的類型時，一個可能是char(2)存儲的數(shù)據(jù)值為“男”和“女”，而另一個屬性類型為char（1），數(shù)據(jù)值為“F”和“M”。這兩個數(shù)據(jù)源的值都是正確的，但對于目標(biāo)數(shù)據(jù)來說，必須加工為一種統(tǒng)一的方法來表示該屬性值，然后交由最終用戶進行驗證，這樣才能保證數(shù)據(jù)的質(zhì)量。在數(shù)據(jù)抽取過程中，必須在最終用戶的密切配合下，才能實現(xiàn)數(shù)據(jù)的真正統(tǒng)一。v（2）數(shù)據(jù)使用。v（3）數(shù)據(jù)維護。數(shù)據(jù)倉庫規(guī)模一般都很大，從建立之初就要保證它的可管理性，一個企業(yè)可能建立幾個數(shù)據(jù)倉庫或數(shù)據(jù)集市，但他們可共用一個元數(shù)據(jù)庫對其進行管理。首先從元數(shù)據(jù)庫查詢所需元數(shù)據(jù)，然后

27、進行數(shù)據(jù)倉庫更新作業(yè)，更新結(jié)束后，將更新情況記錄于元數(shù)據(jù)庫中。當(dāng)數(shù)據(jù)源的運行環(huán)境、結(jié)構(gòu)及目標(biāo)數(shù)據(jù)的維護計劃發(fā)生變化時，需要修改元數(shù)據(jù)。元數(shù)據(jù)是數(shù)據(jù)倉庫的重要組成部分，元數(shù)據(jù)的質(zhì)量決定整個數(shù)據(jù)倉庫的質(zhì)量。 技術(shù)線 v技術(shù)線的實施分為技術(shù)選擇和產(chǎn)品選擇兩個步驟。如何采用合理有效的技術(shù)是實現(xiàn)一個好的數(shù)據(jù)倉庫系統(tǒng)的基本條件。v在數(shù)據(jù)倉庫建立的過程中會遇到一些新的特定的問題，如管理大量數(shù)據(jù)的需求，如何對數(shù)據(jù)進行快速和方便的訪問等。為解決這些問題人們采用了新的技術(shù)。技術(shù)體系選擇必須從為這些技術(shù)建立全局的結(jié)構(gòu)框架和視角出發(fā)，選擇中需要同時考慮三個因素：商業(yè)需求、當(dāng)前的技術(shù)環(huán)境、計劃的策略技術(shù)方向。v技術(shù)體系

28、確定以后需要選擇實現(xiàn)數(shù)據(jù)倉庫應(yīng)用的各種產(chǎn)品，包括硬件平臺、ETL工具、OLAP服務(wù)器、數(shù)據(jù)展現(xiàn)工具等，并進行產(chǎn)品的安裝和測試。應(yīng)用線 v應(yīng)用線的實施分為應(yīng)用設(shè)計和應(yīng)用開發(fā)兩個步驟。數(shù)據(jù)倉庫的建立最終是為應(yīng)用服務(wù)的，所以需要對應(yīng)用進行設(shè)計和開發(fā)，以更好地滿足用戶的需要。v數(shù)據(jù)倉庫的建立是為滿足用戶的不同查詢需求服務(wù)的，用戶的需求可能是只訪問一些預(yù)定義的查詢、生成報表等簡單操作，也可能是自己定義復(fù)雜的查詢，直接分析數(shù)據(jù)倉庫中存放的各種數(shù)據(jù)。因此，需要設(shè)計合適的應(yīng)用工具，為不同的用戶提供友好的用戶界面。v應(yīng)用設(shè)計和開發(fā)的一個有效辦法是針對不同的用戶需求，設(shè)計和實現(xiàn)標(biāo)準(zhǔn)的用戶應(yīng)用模板，提供給用戶高效的

29、接入方式。v應(yīng)用設(shè)計的任務(wù)是設(shè)計標(biāo)準(zhǔn)的用戶應(yīng)用模板。應(yīng)用設(shè)計的過程一般包括：確定初始的模板集、設(shè)計模板的標(biāo)準(zhǔn)、設(shè)計詳細模板、最后通過用戶反饋進行改進。應(yīng)用開發(fā)是通過應(yīng)用設(shè)計說明書，按照標(biāo)準(zhǔn)的軟件開發(fā)流程，實現(xiàn)模板的設(shè)計。應(yīng)用開發(fā)的一般過程是選擇實現(xiàn)的方法，然后進行模板的實現(xiàn)、測試和數(shù)據(jù)驗證，最后是應(yīng)用模板的維護。系統(tǒng)運行維護 v數(shù)據(jù)倉庫建成后就進入運行維護，在運行中要不斷驗證評價分析設(shè)計是否符合用戶需求，產(chǎn)生出新的分析要求及時反饋回需求分析，進行系統(tǒng)設(shè)計的改進。運行維護分為目標(biāo)數(shù)據(jù)維護和元數(shù)據(jù)維護兩方面。v目標(biāo)數(shù)據(jù)維護是根據(jù)元數(shù)據(jù)庫所定義的更新頻率、更新數(shù)據(jù)項等更新計劃任務(wù)來刷新數(shù)據(jù)倉庫，以反

30、映數(shù)據(jù)源的變化，且對時間相關(guān)性進行處理。更新操作有兩種情況，即在倉庫的原有數(shù)據(jù)表中進行某些數(shù)據(jù)的更新和產(chǎn)生一個新的時間區(qū)間的數(shù)據(jù)，因為匯總數(shù)據(jù)與數(shù)據(jù)倉庫中的許多信息元素有關(guān)系，必需完整地匯總，這樣才能保證全體信息的一致性。 數(shù)據(jù)倉庫實施v總的來說，數(shù)據(jù)倉庫的實施是為了建立一個良好的數(shù)據(jù)組織和管理環(huán)境，以滿足決策支持的需要。數(shù)據(jù)倉庫包含了數(shù)據(jù)、技術(shù)、應(yīng)用三方面的要求，所以只有把良好的數(shù)據(jù)模型、合理的技術(shù)和準(zhǔn)確的應(yīng)用設(shè)計結(jié)合起來，形成一套有效的方法，才能建立起一個成功的數(shù)據(jù)倉庫。v數(shù)據(jù)倉庫系統(tǒng)的設(shè)計是一個動態(tài)反饋和循環(huán)的過程，以上只完成了數(shù)據(jù)倉庫建立的一個生命周期。在實際建立的過程中，一方面數(shù)據(jù)倉

31、庫的數(shù)據(jù)內(nèi)容、結(jié)構(gòu)、粒度和其他物理設(shè)計需要根據(jù)用戶的反饋信息不斷地調(diào)整完善；另一方面，應(yīng)用環(huán)境發(fā)生重大變化或者新技術(shù)出現(xiàn)，都有可能導(dǎo)致用戶的應(yīng)用需求發(fā)生重大變化，使現(xiàn)有系統(tǒng)不能滿足用戶要求，需要重新設(shè)計系統(tǒng)，開始一個新的生命周期。因此，數(shù)據(jù)倉庫的建立是運用一套有效的數(shù)據(jù)倉庫建立方法不斷反復(fù)循環(huán)的過程。粒度問題v粒度問題是設(shè)計數(shù)據(jù)倉庫的一個最重要方面。v粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)的細化或綜合程度的級別。細化程度越高，粒度級就越??；相反，細化程度越低，粒度級就越大。v在數(shù)據(jù)倉庫環(huán)境中粒度之所以是主要的設(shè)計問題，是因為它深深地影響存放在數(shù)據(jù)倉庫中的數(shù)據(jù)量的大小，同時影響數(shù)據(jù)倉庫所能回答的查

32、詢類型。在數(shù)據(jù)倉庫中的數(shù)據(jù)量大小與查詢的詳細程度之間要作出權(quán)衡。粒度級別v低粒度級，每個活動(如一次電話)被詳細記錄下來。v高粒度級。數(shù)據(jù)代表一位顧客一個月的綜合信息，每位顧客一個月只有一個記錄。粒度級別比較v低粒度級，每個活動(如一次電話)被詳細記錄下來，數(shù)據(jù)的格式如圖所示。到月底每個顧客平均有2 0 0條記錄(全月中每個電話都記錄一次)，因而總共需要40 000個字節(jié)。v高粒度級。數(shù)據(jù)代表一位顧客一個月的綜合信息，每位顧客一個月只有一個記錄，這樣的記錄大約只需2 0 0個字節(jié)。顯然，如果數(shù)據(jù)倉庫的空間很有限的話(數(shù)據(jù)量總是數(shù)據(jù)倉庫中的首要問題)，用高粒度級表示數(shù)據(jù)將比用低粒度級表示數(shù)據(jù)的效

33、率要高得多。高粒度級不僅只需要少得多的字節(jié)存放數(shù)據(jù)，而且只需要較少的索引項。然而數(shù)據(jù)量大小和原始空間問題不是僅有的應(yīng)考慮的問題。為了訪問大量數(shù)據(jù)，其處理能力的大小同樣也是應(yīng)考慮的一個因素。粒度的權(quán)衡粒度的雙重級別v企業(yè)既需要提高存儲與訪問數(shù)據(jù)的效率，又需要非常詳細地分析數(shù)據(jù)的能力。當(dāng)一個企業(yè)或組織的數(shù)據(jù)倉庫中擁有大量數(shù)據(jù)時，在數(shù)據(jù)倉庫的細節(jié)部分考慮雙重(或多重)粒度級是很有意義的。v企業(yè)需要多個粒度級而不是一個粒度級的需求，是因為粒度級設(shè)計采用雙重級別應(yīng)該是幾乎每個機構(gòu)默認(rèn)的選擇。v數(shù)據(jù)倉庫包括兩種類型的數(shù)據(jù)：輕度綜合數(shù)據(jù)和“真實檔案”細節(jié)數(shù)據(jù)。v“真實檔案”細節(jié)數(shù)據(jù)。在操作層是大量的細節(jié)數(shù)據(jù)

34、，其中大部分細節(jié)是為了滿足結(jié)帳系統(tǒng)的需求。多達3 0多天的細節(jié)存放在這種操作層中。v輕度綜合數(shù)據(jù)庫中的數(shù)據(jù)量比細節(jié)數(shù)據(jù)庫中的數(shù)據(jù)量少得多。v大部分D S S處理是針對被壓縮的、存取效率高的輕度綜合級數(shù)據(jù)進行的。如果什么時候需要分析更低的細節(jié)級( 6 %時間或更少的可能)，可以到數(shù)據(jù)的真實檔案層。v鑒于費用、效率、訪問便利和能夠回答任何可以回答的查詢的能力，數(shù)據(jù)雙重粒度級是大多數(shù)機構(gòu)建造數(shù)據(jù)倉庫細節(jié)級的最好選擇。數(shù)據(jù)倉庫中的數(shù)據(jù)組織v簡單堆積。v輪轉(zhuǎn)綜合。v簡單直接。v連續(xù)。簡單堆積結(jié)構(gòu)v數(shù)據(jù)倉庫中最簡單最常用的數(shù)據(jù)組織形式也許是簡單堆積結(jié)構(gòu)。v從操作型環(huán)境中取出每天的事務(wù)處理，然后綜合成數(shù)據(jù)倉

35、庫記錄，這個綜合可根據(jù)顧客、帳目或者任何組織到數(shù)據(jù)倉庫的主題領(lǐng)域來進行。這里的事務(wù)處理是以天來進行綜合。換句話說，對一個顧客的一個帳號的每天的所有活動進行合計，并在一天一天的基礎(chǔ)上輸入數(shù)據(jù)倉庫。輪轉(zhuǎn)綜合數(shù)據(jù)存儲v數(shù)據(jù)先用與前面相同的處理方法從操作型環(huán)境輸入到數(shù)據(jù)倉庫環(huán)境中。v然后定期進行輪轉(zhuǎn)綜合。第一周的七天中的活動被逐一綜合到七個每日相應(yīng)的位置，到第八天，將七個每日位置的數(shù)據(jù)加到一起，并放入第一周的數(shù)據(jù)位置中。然后，第八天的每日總計加到第一個每日數(shù)據(jù)位置。月底將每周位置的數(shù)據(jù)加到一起，并放入第一個每月相應(yīng)的數(shù)據(jù)位置處，然后每周數(shù)據(jù)位置清零。到了年底，將每月位置數(shù)據(jù)加到一起，放入第一個年度相應(yīng)

36、的數(shù)據(jù)位置處，然后每月數(shù)據(jù)位置清零。輪轉(zhuǎn)綜合數(shù)據(jù)存儲簡單堆積vs輪轉(zhuǎn)綜合簡單直接文件v數(shù)據(jù)僅僅是從操作型環(huán)境拖入數(shù)據(jù)倉庫環(huán)境中，并沒有任何累積。v簡單直接文件不是在每天的基礎(chǔ)上組織的，而是以較長時間為單位的，比如一個星期或一個月。v簡單直接文件是間隔一定時間的操作型數(shù)據(jù)的一個快照。連續(xù)文件v依據(jù)兩個或更多的簡單直接文件能生成一種連續(xù)文件。把1月份和2月份的兩個數(shù)據(jù)快照合并，創(chuàng)建數(shù)據(jù)的一個連續(xù)文件。連續(xù)文件中的數(shù)據(jù)代表從第一個月到最后一個月的連續(xù)數(shù)據(jù)。v當(dāng)然，連續(xù)文件也可以通過把一個快照追加到一個以前生成的連續(xù)文件上來創(chuàng)建。從直接文件創(chuàng)建一個連續(xù)文件簡單直接文件追加到連續(xù)文件數(shù)據(jù)倉庫環(huán)境中的元數(shù)

37、據(jù)v元數(shù)據(jù)作為數(shù)據(jù)的數(shù)據(jù)，可對數(shù)據(jù)倉庫中的各種數(shù)據(jù)進行詳細的描述與說明，說明每個數(shù)據(jù)的上下文關(guān)系，使每個數(shù)據(jù)具有符合現(xiàn)實的真實含義，使最終用戶了解這些數(shù)據(jù)之間的關(guān)系。 v在數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù)所扮演的角色和在操作型環(huán)境中數(shù)據(jù)所扮演的角色是不同的。v在操作型環(huán)境中，元數(shù)據(jù)幾乎被當(dāng)成文檔來處理并且降低到同樣的重要性級別。然而，在數(shù)據(jù)倉庫環(huán)境中，元數(shù)據(jù)的重要性提高了。數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù)v操作型數(shù)據(jù)和數(shù)據(jù)倉庫中的數(shù)據(jù)服務(wù)于兩類不同的群體，操作型數(shù)據(jù)由I T專業(yè)人員使用，許多年來I T人員都是偶然地使用元數(shù)據(jù)。I T專業(yè)人員不僅懂計算機，而且由于學(xué)歷背景和所受的培訓(xùn)，他們會在系統(tǒng)中找到他們自己的方

38、法。v然而，數(shù)據(jù)倉庫數(shù)據(jù)是給D S S分析者用的。D S S分析人員通常首先是專業(yè)人員，他們通常沒有很高的計算機水平。為了能夠有效地使用數(shù)據(jù)倉庫環(huán)境，D S S分析人員需要盡量多的幫助，而元數(shù)據(jù)恰能很好地幫助他們。另外，在D S S分析者計劃該怎樣去做信息型/分析型處理時，他們要首先去看元數(shù)據(jù)。由于所服務(wù)的人員的種類不同，以及元數(shù)據(jù)在每天的工作中所起的作用不同，元數(shù)據(jù)在數(shù)據(jù)倉庫環(huán)境中比在操作型環(huán)境中重要得多。元數(shù)據(jù)的類型-按類型分類 （1）關(guān)于基本數(shù)據(jù)的元數(shù)據(jù)?；緮?shù)據(jù)：數(shù)據(jù)源、DW、數(shù)據(jù)集市、和應(yīng)用程序管理的所有數(shù)據(jù)?；緮?shù)據(jù)元數(shù)據(jù)：包括定義、結(jié)構(gòu)的所有描述。（2）用于數(shù)據(jù)處理的元數(shù)據(jù) 對數(shù)

39、據(jù)裝載、更新處理、分析處理、管理方面的信息，如數(shù)據(jù)抽取、轉(zhuǎn)換、聚合規(guī)則等的描述。（3）關(guān)于企業(yè)的組織結(jié)構(gòu)的元數(shù)據(jù) 包括與企業(yè)相關(guān)的管理方面的數(shù)據(jù)和信息，如用戶訪問DW、數(shù)據(jù)源、數(shù)據(jù)集市的權(quán)限信息等等。 元數(shù)據(jù)的類型-按抽象級別分類v（1）概念級：包括業(yè)務(wù)的全部描述，如定義主要的業(yè)務(wù)實體、特征及其相互關(guān)系。系統(tǒng)的使用方法，已定義的查詢，視圖和現(xiàn)有的應(yīng)用等相關(guān)的信息。v（2）邏輯級：包括數(shù)據(jù)庫的關(guān)系方案，邏輯多維模型等一般用偽碼或數(shù)學(xué)語言描述數(shù)據(jù)抽取/轉(zhuǎn)換規(guī)則等。v（3）物理級：包括業(yè)務(wù)規(guī)則相應(yīng)的SQL代碼、關(guān)系的索引文件、分析應(yīng)用的代碼。元數(shù)據(jù)的類型-按承擔(dān)任務(wù)分類 v靜態(tài)元數(shù)據(jù)。靜態(tài)元數(shù)據(jù)主要

40、與數(shù)據(jù)結(jié)構(gòu)有關(guān)。n名稱類用于為系統(tǒng)提供標(biāo)識時，區(qū)分?jǐn)?shù)據(jù)的符號。n描述類對DW中的多種數(shù)據(jù)元素進行說明。n格式類提供DW中數(shù)據(jù)的表達規(guī)則。n數(shù)據(jù)類型DW中數(shù)據(jù)所持有的類型。n關(guān)系類說明DW中多種數(shù)據(jù)對像之間的關(guān)系，例如客戶與商品之間有購買關(guān)系。n域類用于說明DW中數(shù)據(jù)的有效值范圍。1.業(yè)務(wù)規(guī)則類用于說明DW中數(shù)據(jù)在業(yè)務(wù)處理中所要遵守的規(guī)則。例如Customer_ID表示客戶的編號，開頭字母為A表示集體客戶，B為個人客戶。v動態(tài)元數(shù)據(jù)。 動態(tài)元數(shù)據(jù)主要與數(shù)據(jù)的狀態(tài)與使用方法有關(guān)。n數(shù)據(jù)質(zhì)量表用于描述數(shù)據(jù)倉庫中數(shù)據(jù)的精確度、完整性、一致性和有效性。n統(tǒng)計信息類統(tǒng)計數(shù)據(jù)訪問的用戶，訪問時間和訪問次數(shù)。

41、這些統(tǒng)計信息對于數(shù)據(jù)倉庫性能的提高具有較高的參考價值。n狀態(tài)類用于跟蹤DW的運行情況，例如，數(shù)據(jù)最近一次的備份時間，備份所需要的時間，出現(xiàn)的錯誤情況等狀況。這些系統(tǒng)運行中的狀況有助于DW管理人員對DW性能的了解。n處理類描述DW系統(tǒng)的使用方法和管理的特性，例如數(shù)據(jù)的使用方法概括數(shù)據(jù)的概括公式等。 元數(shù)據(jù)的內(nèi)容 v數(shù)據(jù)源的元數(shù)據(jù) v數(shù)據(jù)模型的元數(shù)據(jù) v數(shù)據(jù)準(zhǔn)備區(qū)元數(shù)據(jù) vDBMS元數(shù)據(jù) v前臺元數(shù)據(jù) 元數(shù)據(jù)的內(nèi)容-數(shù)據(jù)源的元數(shù)據(jù) v每個來源的所有者描述信息v每個來源的業(yè)務(wù)描述信息v原始來源的更新頻率v每個來源使用的法律約束v存取方法、存取權(quán)利、特權(quán)，以及來源的存取口令v用來實現(xiàn)抽取過程的程序代碼

42、v自動抽取工具 設(shè)置v特定抽取作業(yè)的結(jié)果信息，包括抽取時間、抽取內(nèi)容以及完成情況元數(shù)據(jù)內(nèi)容-數(shù)據(jù)模型的元數(shù)據(jù) v企業(yè)概念模型vDW數(shù)據(jù)模型v數(shù)據(jù)源到目標(biāo)的映射 數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù)v從操作型環(huán)境到數(shù)據(jù)倉庫環(huán)境的映射需要數(shù)據(jù)轉(zhuǎn)換元數(shù)據(jù)，沒有這種映射，對接口進行控制是非常困難的。元數(shù)據(jù)的內(nèi)容-數(shù)據(jù)準(zhǔn)備區(qū)元數(shù)據(jù) v（1） 數(shù)據(jù)傳輸調(diào)度以及特定傳輸?shù)慕Y(jié)果v（2） 數(shù)據(jù)準(zhǔn)備區(qū)文件使用情況v（3） 用于連接來源、刪除字段、查找屬性的作業(yè)規(guī)范v（4） 數(shù)據(jù)清洗規(guī)范v（6） 數(shù)據(jù)增強和映射轉(zhuǎn)換v（6） DM所要求的轉(zhuǎn)換（比如解釋空值的度量值）v（7） 目標(biāo)模式設(shè)計、來源到目標(biāo)系統(tǒng)的數(shù)據(jù)流，目標(biāo)數(shù)據(jù)的所有者v

43、（8） 聚集定義、聚集使用統(tǒng)計、基本表使用統(tǒng)計v（9） 數(shù)據(jù)來源情況和審核檢查記錄（該記錄真正來自何地、何時）v（10）數(shù)據(jù)轉(zhuǎn)換運行時間v（11）數(shù)據(jù)轉(zhuǎn)換軟件的版本號v（12）數(shù)據(jù)抽取處理的業(yè)務(wù)描述v（13）有關(guān)抽取文件、軟件以及元數(shù)據(jù)的安全性設(shè)置v（14）數(shù)據(jù)傳輸?shù)陌踩栽O(shè)置v（16）數(shù)據(jù)準(zhǔn)備區(qū)的存檔日志和恢復(fù)程序v（16）數(shù)據(jù)準(zhǔn)備區(qū)存檔的安全性設(shè)置元數(shù)據(jù)的內(nèi)容-DBMS元數(shù)據(jù) v（1） 分區(qū)設(shè)置v（2） 索引v（3） DBMS層次的安全性特權(quán)與授權(quán)v（4） 視圖定義v（6） 存儲過程與SQL 管理腳本v（6） DBMS 備份狀態(tài)、備份程序以及備份安全性 數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù)v對于數(shù)據(jù)倉庫

44、環(huán)境中的元數(shù)據(jù)需要細致管理有另外一個重要原因，倉庫中數(shù)據(jù)會存在一段很長的時間從6年到1 0年。而在6年到1 0年這么長的時間段內(nèi)，數(shù)據(jù)倉庫改變它的結(jié)構(gòu)是很正常的。換句話說，一個數(shù)據(jù)結(jié)構(gòu)能在6到1 0年內(nèi)保持不變是很不平常的。那么，隨著時間的流逝來跟蹤數(shù)據(jù)結(jié)構(gòu)的變化，則是數(shù)據(jù)倉庫中元數(shù)據(jù)很自然的一項任務(wù)。數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù)元數(shù)據(jù)的內(nèi)容-前臺元數(shù)據(jù)v（1） 業(yè)務(wù)名稱和有關(guān)列、表以及分組的描述v（2） 現(xiàn)有的查詢和和報告定義v（3） 連接規(guī)范工具設(shè)置v（4） 打印工具規(guī)范v（6） 最終用戶文檔v（6） 網(wǎng)絡(luò)安全性用戶特權(quán)概況v（7） 網(wǎng)絡(luò)安全性身份驗證證書v（8） 網(wǎng)絡(luò)安全性使用統(tǒng)計，包括登錄嘗試、存取嘗試以及按位置報告的用戶標(biāo)識符v（9） 個人用戶概況v（10） 有關(guān)數(shù)據(jù)源、表、視圖以及報告的使用及存取映射 元數(shù)據(jù)在數(shù)據(jù)倉庫中的作用 v元數(shù)據(jù)實際上是要解決人在何時、何地、何因、如何使用DW的問題。 為數(shù)據(jù)倉庫服務(wù)與DSS分析員機高層決策人員服務(wù)提供便利。 DW元數(shù)據(jù)的廣義索引中存有每次數(shù)據(jù)裝載時產(chǎn)生的有關(guān)決策的數(shù)據(jù)，在做決策時，可以先查詢該部分?jǐn)?shù)據(jù)，再決定是否進行進一步的搜索。 解決操作型環(huán)境和DW的復(fù)雜關(guān)系。從OLTP到DW的轉(zhuǎn)換是復(fù)雜的多方面的。元數(shù)據(jù)應(yīng)包括對這種轉(zhuǎn)換的描述。并清晰的表示出來，管理起來。既保證這種轉(zhuǎn)換是