數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)管理

1、數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)管理余友波數(shù)據(jù)倉(cāng)庫(kù)之路原創(chuàng)資料1.1.1第一章 元數(shù)據(jù)概論企業(yè)的計(jì)算機(jī)系統(tǒng)每年會(huì)產(chǎn)生很多數(shù)據(jù)， 很多企業(yè)面臨著這樣的困境，難以有 效的管理大量的、繁雜的、不一致的數(shù)據(jù)，并方便地訪問(wèn)、利用這些數(shù)據(jù)進(jìn)行輔助 決策。建立數(shù)據(jù)倉(cāng)庫(kù)提供一個(gè)方法，把數(shù)據(jù)轉(zhuǎn)化為有用的、可信賴的信息，支持商業(yè) 決策。建立數(shù)據(jù)倉(cāng)庫(kù)一個(gè)重要的工作是元數(shù)據(jù)管理。元數(shù)據(jù)(metadata)就是數(shù)據(jù)的數(shù)據(jù)，用于建立、管理、維護(hù)和使用數(shù)據(jù)倉(cāng)庫(kù)。元數(shù)據(jù)管理是企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù) 中的關(guān)鍵組件，貫穿于建立數(shù)據(jù)倉(cāng)庫(kù)的整個(gè)過(guò)程。元數(shù)據(jù)使得用戶可以掌握數(shù)據(jù)的歷史情況，如數(shù)據(jù)從哪里來(lái)？流通時(shí)間有多長(zhǎng)？更新頻率是多大？數(shù)據(jù)元 素的含義是什么？

2、對(duì)它已經(jīng)進(jìn)行了哪些計(jì)算、轉(zhuǎn)換和篩選等等。在需求不確定情況下，在瞬間萬(wàn)變的商業(yè)環(huán)境 下，元數(shù)據(jù)可以更好的支持需求的變化，降低項(xiàng)目風(fēng)險(xiǎn)。通常把元數(shù)據(jù)分為技術(shù)元數(shù)據(jù)(technical metadata )和業(yè)務(wù)元數(shù)據(jù)(business metadata)o技術(shù)元數(shù)據(jù)是描述關(guān)于數(shù)據(jù)倉(cāng)庫(kù)技術(shù)細(xì)節(jié)的數(shù)據(jù)，這些元數(shù)據(jù)應(yīng)用于開(kāi)發(fā)、管理和維護(hù)數(shù)據(jù)倉(cāng)庫(kù)；業(yè)務(wù)元數(shù)據(jù)從商業(yè)和業(yè)務(wù)的 角度描述數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)，提供了良好的語(yǔ)義層定義，業(yè)務(wù)元數(shù)據(jù)使業(yè)務(wù)人員能夠更好的理解數(shù)據(jù)倉(cāng)庫(kù)分析出 來(lái)的數(shù)據(jù)。元數(shù)據(jù)貫徹于建立數(shù)據(jù)倉(cāng)庫(kù)的整個(gè)過(guò)程，不只是etl過(guò)程需要元數(shù)據(jù)的支持。圖1元數(shù)據(jù)的應(yīng)用在使用元數(shù)據(jù)的同時(shí)，隨著數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)的發(fā)展

3、，業(yè)界出現(xiàn)許多數(shù)據(jù)倉(cāng)庫(kù)管理 和分析的工具，各種工具使用不同的元數(shù)據(jù)標(biāo)準(zhǔn)來(lái)表示和處理，不同系統(tǒng)之間的遷移、數(shù)據(jù)交換變得困難。于是，我們希望用一種單一的元數(shù)據(jù)標(biāo)準(zhǔn)，使得各種組織 的元數(shù)據(jù)具有單一的元模型(metamodel)，因此，需要建立一種標(biāo)準(zhǔn)使得不同的 數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能系統(tǒng)之間可以相互交換元數(shù)據(jù)。1.1.2第二章 元數(shù)據(jù)標(biāo)準(zhǔn)1.1.2.1一、元數(shù)據(jù)標(biāo)準(zhǔn) cwmomg 于 2001 年頒布元數(shù)據(jù)標(biāo)準(zhǔn) cwm 1.0 (com mon warehouse metamodel version 1.0)。cwm定義一個(gè)描述數(shù)據(jù)源、數(shù)據(jù)目的、轉(zhuǎn)換、分析的元數(shù)據(jù)框架， 以及定義建立和管理數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程

4、和操作，提供使用信息的繼承。目前宣布支持 cwm 的廠商包括：ibm、oracle、hyperion、dimension edi、 gen esis iona、hp、ncr 和 un isys 等。cwm基于3個(gè)工業(yè)標(biāo)準(zhǔn)：uml - unified modeling language， omg建模標(biāo)準(zhǔn)；mof - meta object facility，omg建立元模型和模型庫(kù)的標(biāo)準(zhǔn)，提供在異 構(gòu)環(huán)境下的數(shù)據(jù)交換的接口；xmi - xml metadata interchange，omg元數(shù)據(jù)交換標(biāo)準(zhǔn)。uml在cwm中得到充分的應(yīng)用，擔(dān)任3個(gè)不同的角色：1) ，uml 用來(lái)做為與 mof對(duì)應(yīng)

5、的 meta-metamode。uml 相當(dāng)于 mof model,， uml notation 和ocl(object constraint language),被用來(lái)做為建模語(yǔ)言、圖形符號(hào)、 約束語(yǔ)言，定義和描述cwm。2) ，uml用來(lái)創(chuàng)建元模型。uml，特別是object model包描述的子集，用來(lái) 從其它元模型繼承等級(jí)和關(guān)聯(lián)以建立cwm。3) ， uml做為面向?qū)ο笤Ｐ?object-oriented metamode)。 uml被用來(lái)描 述面向?qū)ο蟮臄?shù)據(jù)。cwm元模型包括大量的子元模型(sub-metamode)，這些子元模型描述了建 立數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能的各個(gè)主要部分的通用數(shù)

6、據(jù)倉(cāng)庫(kù)元數(shù)據(jù)。主要包括：1) 、數(shù)據(jù)資源：包括各個(gè)元模型，描述了面向?qū)ο髷?shù)據(jù)、關(guān)系數(shù)據(jù)庫(kù)、記錄、 多維和xml等數(shù)據(jù)。2） 、數(shù)據(jù)分析：包括描述數(shù)據(jù)轉(zhuǎn)換、olap、數(shù)據(jù)挖掘、信息展現(xiàn)、商業(yè)術(shù) 語(yǔ)等的元模型。3）、數(shù)據(jù)倉(cāng)庫(kù)管理：這包括數(shù)據(jù)倉(cāng)庫(kù)過(guò)程以及數(shù)據(jù)倉(cāng)庫(kù)操作結(jié)果的元模型。the cwm metainodeli en ifarni a4i golapdwtiminin(gin 佃乜 m vibualizariioiriqh|«ct modvlr«latiorialmuhid irn«n iion.ilxhlbyshwts inform mi ohe 仲zmkink

7、tys andmappings9flw3*e d«pk!fyrn«ntmodfri''iiiifourkiciloini圖2 cwm元模型架構(gòu)圖cwm元模型設(shè)計(jì)的目的是最大化的重用對(duì)象模型 object model （uml的子 集），盡可能的共享通用的模型構(gòu)建。最典型的是，cwm重用/依賴對(duì)象模型來(lái)描述面向?qū)ο蟮臄?shù)據(jù)資源；另外，其它類型的數(shù)據(jù)資源的主要metamodel元素，在對(duì)象模型中都有相同的模型元素與之相對(duì)應(yīng)。1.122二、使用 cwm1、cwm的目標(biāo)使用者cwm標(biāo)準(zhǔn)包括了技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)的定義，涉及數(shù)據(jù)倉(cāng)庫(kù)生命周期的 所有階段，所以不只是實(shí)施

8、工程師和實(shí)施顧問(wèn)使用cwm，最終用戶也會(huì)受益于cwm。cwm的目標(biāo)使用者包括6類人員:1數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)和工具供應(yīng)商；2, 專業(yè)服務(wù)咨詢商；3, 數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)者；4, 數(shù)據(jù)倉(cāng)庫(kù)管理員；5，最終用戶；6,信息技術(shù)主管（cio）。2、基于cwm的數(shù)據(jù)倉(cāng)庫(kù)cwm的目標(biāo)使用者將會(huì)參與到開(kāi)發(fā)和使用基于cwm的數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中；但并不是所有的角色需要參與整個(gè)過(guò)程，而是參與到下面列舉的的4個(gè)階段中的一 個(gè)或多個(gè)：1）、establishment。實(shí)現(xiàn)和配置cwm，包括建立一個(gè)通用資料庫(kù)。2）、build。使用cwm定義一個(gè)基線數(shù)據(jù)倉(cāng)庫(kù)配置（建立數(shù)據(jù)源和目的的交換 路徑）。3）、operation。操作和使用基于

9、cwm的數(shù)據(jù)倉(cāng)庫(kù)。4）、maintenanceo維護(hù)使用了 cwm定義的數(shù)據(jù)倉(cāng)庫(kù)的配置。1.1.2.3三、cwm標(biāo)準(zhǔn)組織結(jié)構(gòu)cwm元模型使用包（package和包等級(jí)結(jié)構(gòu)來(lái)控制復(fù)雜性、提高理解性、支 持重用。模型元素包括下面的包：1,對(duì)象模型包對(duì)象模型包是構(gòu)建和描述其它c(diǎn)wm包的元模型類的基礎(chǔ)。?核心包。包括cwm核心對(duì)象模型的類和關(guān)聯(lián)，被其它 cwm包使用。?行為包。包括用來(lái)描述cwm對(duì)象的行為的類和關(guān)聯(lián)?關(guān)系包。包括用來(lái)描述各個(gè)cwm對(duì)象之間關(guān)系的類和關(guān)聯(lián)?實(shí)例包。包括用來(lái)描述cwm實(shí)例的類和關(guān)聯(lián)。2、基礎(chǔ)包基礎(chǔ)包是表示cwm概念和架構(gòu)的模型元素。?商業(yè)信息包。包括用來(lái)描述關(guān)于模型元素的商

10、業(yè)信息的類和關(guān)聯(lián)。?數(shù)據(jù)類型包。包括用來(lái)描述創(chuàng)建模型需要的特定數(shù)據(jù)類型構(gòu)建的類和關(guān)聯(lián)?表達(dá)式包。包括用來(lái)描述表達(dá)樹(shù)（expression trees的類和關(guān)聯(lián)。?關(guān)鍵字和索引包。包括用來(lái)描述主鍵和索引的類和關(guān)聯(lián)。?軟件部署包。包括用來(lái)描述軟件在數(shù)據(jù)倉(cāng)庫(kù)中如何部署和配置的類和關(guān)聯(lián)?類型映射包。包括用來(lái)描述兩個(gè)系統(tǒng)之間數(shù)據(jù)類型映射關(guān)系的類和關(guān)聯(lián)。3、資源包資源包是用來(lái)描述數(shù)據(jù)資源和記錄的信息。?關(guān)系包。包括用來(lái)描述關(guān)系型數(shù)據(jù)的元數(shù)據(jù)的類和關(guān)聯(lián)。?記錄包。包括用來(lái)描述記錄型數(shù)據(jù)的元數(shù)據(jù)的類和關(guān)聯(lián)。?多維包。包括用來(lái)描述多維型數(shù)據(jù)的元數(shù)據(jù)的類和關(guān)聯(lián)。? xml包。包括用來(lái)描述xml數(shù)據(jù)的元數(shù)據(jù)的類和關(guān)

11、聯(lián)。4、分析包分析包定義了如何對(duì)信息進(jìn)行加工和處理，以及信息展示。?轉(zhuǎn)換包。包括用來(lái)描述數(shù)據(jù)轉(zhuǎn)換工具的元數(shù)據(jù)的類和關(guān)聯(lián)。?olap包。包括用來(lái)描述olap工具的元數(shù)據(jù)的類和關(guān)聯(lián)。?data mi ning包。包括用來(lái)描述數(shù)據(jù)挖掘工具的元數(shù)據(jù)的類和關(guān)聯(lián)?信息展示包。包括用來(lái)描述信息展示工具的元數(shù)據(jù)的類和關(guān)聯(lián)。?商業(yè)術(shù)語(yǔ)包。包括用來(lái)描述商業(yè)分類學(xué)和術(shù)語(yǔ)表的元數(shù)據(jù)的類和關(guān)聯(lián) 5、管理包管理包用于數(shù)據(jù)倉(cāng)庫(kù)管理和維護(hù)。?倉(cāng)庫(kù)過(guò)程包。包括用來(lái)描述數(shù)據(jù)倉(cāng)庫(kù)過(guò)程的元數(shù)據(jù)的類和關(guān)聯(lián)。?倉(cāng)庫(kù)操作。包括用來(lái)描述數(shù)據(jù)倉(cāng)庫(kù)操作和查詢結(jié)果的元數(shù)據(jù)的類和關(guān)聯(lián)。1.1.3第三章 建立元數(shù)據(jù)庫(kù)元數(shù)據(jù)庫(kù)是用于存儲(chǔ)元數(shù)據(jù)的地方，元

12、數(shù)據(jù)庫(kù)最好選用主流的關(guān)系數(shù)據(jù)庫(kù)管理 系統(tǒng)，支持cwm標(biāo)準(zhǔn)。一個(gè)元數(shù)據(jù)庫(kù)還包含那些用于操作和查詢?cè)獢?shù)據(jù)的機(jī)制； 建立元數(shù)據(jù)庫(kù)的主要好處是提供了統(tǒng)一的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)和業(yè)務(wù)規(guī)則，易于將企業(yè)內(nèi)部的多個(gè)數(shù)據(jù)集市有機(jī)的結(jié)合起來(lái)；特別是，現(xiàn)在一些客戶傾向建立多個(gè)數(shù)據(jù)集市， 而不是一個(gè)龐大無(wú)比的數(shù)據(jù)倉(cāng)庫(kù)?？梢钥紤]在建立數(shù)據(jù)倉(cāng)庫(kù)（或數(shù)據(jù)集市）之前，先建立一個(gè)用于描述數(shù)據(jù)的、 用于應(yīng)用集成的元數(shù)據(jù)庫(kù)，做好數(shù)據(jù)倉(cāng)庫(kù)實(shí)施的初期支持工作， 對(duì)后續(xù)開(kāi)發(fā)和維護(hù) 有很大的幫助。在擁有不同廠商、不同功能和不同元數(shù)據(jù)庫(kù)的環(huán)境下，要實(shí)現(xiàn)兩種產(chǎn)品之間的 元數(shù)據(jù)同步是非常富有挑戰(zhàn)性的工作。因?yàn)楸仨殢囊环N產(chǎn)品中獲得足夠詳細(xì)的元數(shù) 據(jù)，將其映射到另一種產(chǎn)品中，再指出兩者意義或編碼的差別；通常系統(tǒng)有數(shù)百、 數(shù)千個(gè)元數(shù)據(jù)，必須對(duì)每個(gè)元數(shù)據(jù)重復(fù)這一過(guò)程。在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中，元數(shù)據(jù)管理工具可以從各個(gè)數(shù)據(jù)倉(cāng)庫(kù)組件中收集元數(shù) 據(jù)，存儲(chǔ)到元數(shù)據(jù)庫(kù)中，然后向業(yè)務(wù)用戶傳遞和展示正確的信息。采集、集成和描 述元數(shù)據(jù)可以擴(kuò)展到十分廣泛的范圍， 可以在設(shè)計(jì)和建模的過(guò)程中，可以在數(shù)據(jù)轉(zhuǎn) 換、清洗和過(guò)濾的過(guò)程中，也可以在數(shù)據(jù)移植的過(guò)程中；可以從數(shù)據(jù)庫(kù)/