《元數(shù)據(jù)管理與CWM標(biāo)準(zhǔn)》

1、 元數(shù)據(jù)管理與CWM標(biāo)準(zhǔn)中國移動業(yè)務(wù)支撐系統(tǒng)部2008-04 提綱 元數(shù)據(jù)管理基本概念 元數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標(biāo)準(zhǔn) CWM標(biāo)準(zhǔn)概述 對象模型層 基礎(chǔ)層 資源層 分析層 管理層 元數(shù)據(jù)定義 “關(guān)于數(shù)據(jù)的數(shù)據(jù)” 比一般意義的數(shù)據(jù)范疇更加廣泛 不僅表示數(shù)據(jù)的類型、名稱、值等信息 提供數(shù)據(jù)的上下文描述信息（比如數(shù)據(jù)的所屬區(qū)域、取值范圍、數(shù)據(jù)間的關(guān)系、業(yè)務(wù)規(guī)則、數(shù)據(jù)來源等等） 元數(shù)據(jù)定義TransformationRelationalTHE BUSINESSPEOPLEPROCESSINFORMATION SYSTEMSPRODUCTSGOALSPROJECTSROLESMeta Data

2、 經(jīng)營分析系統(tǒng)關(guān)心的元數(shù)據(jù) 業(yè)務(wù)元數(shù)據(jù) 業(yè)務(wù)名稱、定義、描述和別名來表示數(shù)據(jù)倉庫和業(yè)務(wù)系統(tǒng)中的各種屬性，直接供業(yè)務(wù)分析人員使用 業(yè)務(wù)元數(shù)據(jù)使經(jīng)營分析系統(tǒng)使用人員能夠更好理解、使用數(shù)據(jù)倉庫，成為經(jīng)營分析系統(tǒng)使用人員在數(shù)據(jù)倉庫中的業(yè)務(wù)向?qū)?經(jīng)營分析系統(tǒng)關(guān)心的元數(shù)據(jù) 技術(shù)元數(shù)據(jù)包含關(guān)于經(jīng)營分析系統(tǒng)數(shù)據(jù)技術(shù)層面的信息 數(shù)據(jù)源元數(shù)據(jù) ETL元數(shù)據(jù) 數(shù)據(jù)倉庫元數(shù)據(jù) 數(shù)據(jù)集市元數(shù)據(jù) OLAP SERVER元數(shù)據(jù) 前端展現(xiàn)元數(shù)據(jù) 其它類型元數(shù)據(jù)（挖掘模型，數(shù)據(jù)質(zhì)量分析結(jié)果等） 經(jīng)營分析系統(tǒng)關(guān)心的元數(shù)據(jù) 管理元數(shù)據(jù)主要是指經(jīng)營分析日常建設(shè)過程中，涉及開發(fā)、運(yùn)維等管理流程的基本信息。 提綱 元數(shù)據(jù)管理基本概念 元

3、數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標(biāo)準(zhǔn) CWM標(biāo)準(zhǔn)概述 對象模型層 基礎(chǔ)層 資源層 分析層 管理層 元數(shù)據(jù)管理 管理商業(yè)智能系統(tǒng)的元數(shù)據(jù) 貫穿商業(yè)智能系統(tǒng)的各個環(huán)節(jié) 系統(tǒng)的各個處理單元由元數(shù)據(jù)驅(qū)動 管理元數(shù)據(jù)的意義 有哪些數(shù)據(jù)？ 它們在哪里用？ 它的業(yè)務(wù)定義是什么？ 這個數(shù)據(jù)還叫什么？ 它與其他數(shù)據(jù)有什么關(guān)系？ 誰用這個數(shù)據(jù)？ 為什么我們要用它？ 最近修改是什么時(shí)候？ 這些數(shù)據(jù)準(zhǔn)確、可靠嗎？ 管理元數(shù)據(jù)的意義 理解企業(yè)內(nèi)部的信息資源 動態(tài)的數(shù)據(jù)字典 數(shù)據(jù)的瀏覽和歸納 數(shù)據(jù)在企業(yè)內(nèi)部橫向與縱向傳遞 保持整個企業(yè)的標(biāo)準(zhǔn)（保證企業(yè)內(nèi)部統(tǒng)一的商業(yè)定義和商業(yè)規(guī)則） 數(shù)據(jù)生命周期的管理 元數(shù)據(jù)管理的幾個概

4、念 元模型（元模型（meta model） 元數(shù)據(jù)庫（元數(shù)據(jù)庫（metadata repository） 元數(shù)據(jù)管理工具元數(shù)據(jù)管理工具 元模型 關(guān)于元數(shù)據(jù)的“元數(shù)據(jù)” MDIS (Meta Data Interchange Specification) 元數(shù)據(jù)聯(lián)盟發(fā)布的元數(shù)據(jù)交換規(guī)范 OIM (Open Information Model) CA和微軟的元數(shù)據(jù)標(biāo)準(zhǔn) OIM組織已經(jīng)解散 CWM (Common Warehouse Metamodel) OMG組織制定的標(biāo)準(zhǔn) 得到IBM，NCR，SAS，Hyperion等公司支持 利用XMI文件進(jìn)行交換 元數(shù)據(jù)庫 元數(shù)據(jù)庫就是一個邏輯上的統(tǒng)一存儲元

5、數(shù)據(jù)的地點(diǎn) 元數(shù)據(jù)存儲常見的形式 分散存儲 統(tǒng)一存儲，提供不同接口 統(tǒng)一存儲，統(tǒng)一接口 不同系統(tǒng)各自提供元數(shù)據(jù)接口n 實(shí)現(xiàn)復(fù)雜n元數(shù)據(jù)不統(tǒng)一n易成為”蜘蛛網(wǎng)” 中央元數(shù)據(jù)存儲n所有存取必須通過中央存儲n元數(shù)據(jù)交換不方便n中央元數(shù)據(jù)存儲必須對每一個系統(tǒng)有轉(zhuǎn)換接口 基于標(biāo)準(zhǔn)的中央元數(shù)據(jù)管理n有利于元數(shù)據(jù)的交換n屏蔽系統(tǒng)內(nèi)部變化n中央元數(shù)據(jù)只需要統(tǒng)一接口 元數(shù)據(jù)管理工具 元數(shù)據(jù)瀏覽、展示和管理的平臺 知名的元數(shù)據(jù)管理工具包括： Meta Center Meta Matrix Meta Integration DB2, Teradata,Oracle等數(shù)據(jù)倉庫中的元數(shù)據(jù)管理模塊 提綱 元數(shù)據(jù)管理基本概

6、念 元數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標(biāo)準(zhǔn) CWM標(biāo)準(zhǔn)概述 對象模型層 基礎(chǔ)層 資源層 分析層 管理層 CWM標(biāo)準(zhǔn)背景 OMG是一個擁有500多會員的國際標(biāo)準(zhǔn)化組織，著名的CORBA標(biāo)準(zhǔn)即出自該組織。 公共倉庫元模型（Common Warehouse Metamodel）的主要目的是在異構(gòu)環(huán)境下，幫助不同的數(shù)據(jù)倉庫工具、平臺和元數(shù)據(jù)知識庫進(jìn)行元數(shù)據(jù)交換。 CWM標(biāo)準(zhǔn)的意義 在形成標(biāo)準(zhǔn)以前，要進(jìn)行集成的情況如下圖所示：數(shù)據(jù)建模工具抽取與轉(zhuǎn)換工具前端訪問工具數(shù)據(jù)質(zhì)量評估工具 CWM標(biāo)準(zhǔn)的意義 在形成標(biāo)準(zhǔn)以后的情況如下圖所示：數(shù)據(jù)建模工具抽取與轉(zhuǎn)換工具前端訪問工具數(shù)據(jù)質(zhì)量評估工具元數(shù)據(jù)元數(shù)據(jù)存儲與

7、存儲與管理管理數(shù)據(jù)倉庫與元數(shù)據(jù)倉庫與元數(shù)據(jù)管理員數(shù)據(jù)管理員 CWM的發(fā)展?fàn)顩r 成為OMG提出的基于模型驅(qū)動的體系結(jié)構(gòu)（MDA）的核心之一（其它是MOF和UML） CWM標(biāo)準(zhǔn)概述 CWM標(biāo)準(zhǔn)是基于以下工業(yè)標(biāo)準(zhǔn)制定的： UML：它對CWM模型進(jìn)行建模。 MOF（元對象設(shè)施）：為CWM提供元模型的體系結(jié)構(gòu)和元模型語言的語義；MOF反射接口為存取CWM元數(shù)據(jù)提供通用的API接口；MOF到IDL的映射為存儲CWM元數(shù)據(jù)提供了一種產(chǎn)生CWM IDL 接口的機(jī)制。 XMI（XML元數(shù)據(jù)交換）：它可以使元數(shù)據(jù)以XML文件流的方式進(jìn)行交換。 CORBA IDL(CORBA 接口定義語言) OMG元數(shù)據(jù)體系結(jié)構(gòu)

8、OMG元數(shù)據(jù)體系結(jié)構(gòu)實(shí)例PRODUCT IDNAMECOLOR1001WidgetRed2002GizmoBlue2002SprogetTeal4034ThingamgigerGray5035GadgetYelloPRODUCT表和它的記錄表和它的記錄M0層層 OMG元數(shù)據(jù)體系結(jié)構(gòu)實(shí)例M1層層ProductIDNameColorisActive=TureDataType=“Integer”DataType=“String”DataType=“String”Product表元數(shù)據(jù)表元數(shù)據(jù) OMG元數(shù)據(jù)體系結(jié)構(gòu)實(shí)例M2層層簡單關(guān)系型表元模型簡單關(guān)系型表元模型 CWM元數(shù)據(jù)存儲和接口實(shí)現(xiàn) CWM的發(fā)

9、展?fàn)顩r 絕大多數(shù)數(shù)據(jù)倉庫和元數(shù)據(jù)管理工具已經(jīng)支持CWM，或已經(jīng)宣布在下一版本的產(chǎn)品中支持CWM。 已經(jīng)被JAVA標(biāo)準(zhǔn)化組織著手?jǐn)U展到J2EE體系結(jié)構(gòu)當(dāng)中，形成JMI（JAVA Metadata Interchange）規(guī)范、用于OLAP分析的JOLAP規(guī)范和用于數(shù)據(jù)挖掘的JDMAPI規(guī)范。 CWM的合作伙伴 IBM Unisys NCR Hyperion Oracle UBS Genesis Dimension EDI CWM的支持者 Deere SUN HP Data Access Inline Aonix Hitachi SAS Meta Integration Adaptive ETL產(chǎn)

10、品產(chǎn)品名稱 是否支持CWM 元數(shù)據(jù)互換其他形式 IBM DB2 Warehouse Manager 支持Metadata Interchange Specification (MDIS). 通過API輸入/輸出Oracle Warehouse Builder 是Sagent 不能確定通過API輸入/輸出 Informatica PowerCenter 是Cognos Decision Stream 支持通過API輸入/輸出 TeraData ETL組件 是 OLAP產(chǎn)品產(chǎn)品名稱 是否支持CWM 元數(shù)據(jù)互換其他形式 Essbase/DB2 OLAP Server 支持Metadata Inter

11、change Specification (MDIS). 通過API輸入/輸出Cognos支持通過API輸入/輸出 Oracle 9i OLAP是 數(shù)據(jù)倉庫元數(shù)據(jù)管理產(chǎn)品產(chǎn)品名稱 是否支持CWM 元數(shù)據(jù)互換其他形式 IBM DB2 Information Catalog 支持Metadata Interchange Specification (MDIS). 通過API輸入/輸出Warehouse Control Center 是CA PLATINUM Repository 是通過API輸入/輸出 TeraData Meta Data Services 是通過API輸入/輸出Oracle Wa

12、rehouse Builder Repository 是 提綱 元數(shù)據(jù)管理基本概念 元數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標(biāo)準(zhǔn) CWM標(biāo)準(zhǔn)概述 對象模型層 基礎(chǔ)層 資源層 分析層 管理層 CWM標(biāo)準(zhǔn)包及其分層倉庫過程倉庫操作轉(zhuǎn)換XML記錄型多維關(guān)系型資源業(yè)務(wù)信息軟件發(fā)布UML 1.3(基礎(chǔ)，行為元素，模型管理)對象 (UML)OLAP分析數(shù)據(jù)挖掘信息可視化業(yè)務(wù)術(shù)語數(shù)據(jù)類型表達(dá)式鍵索引類型映射管理管理資源資源分析分析基礎(chǔ)基礎(chǔ)對象模型對象模型 對象模型層（Object Model） CWM對象模型提供了描述其他所有包中元數(shù)據(jù)模型的類的基本結(jié)構(gòu)和相應(yīng)的類型屬性 定義基本元模型的概念，關(guān)系和約束 包括4

13、個基本包： 核心包(Core) 行為包(Behavioral) 關(guān)系包(Relationship) 實(shí)例包(Instance) 核心包(Core) 包含所有的其他CWM包使用的基本類和關(guān)聯(lián) 不依賴于其他任何包 行為包(Behavioral) 描述其他CWM包中類的行為特征，提供一個記錄特定行為請求的基礎(chǔ) 包括操作，方法，接口，事件等 關(guān)系包（Relationship） 描述CWM對象之間如何互相聯(lián)系 定義了兩種類型的關(guān)系 泛化(Generalization) 關(guān)聯(lián)(Association) 泛化是具有普遍性的對象和特定對象的關(guān)聯(lián)，層次化的結(jié)構(gòu) 關(guān)聯(lián)定義兩個或多個類元之間的特定關(guān)系 實(shí)例包（In

14、stance） 提供了在CWM交換中包含帶值元數(shù)據(jù)的基礎(chǔ)結(jié)構(gòu) 提綱 元數(shù)據(jù)管理基本概念 元數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標(biāo)準(zhǔn) CWM標(biāo)準(zhǔn)概述 對象模型層 基礎(chǔ)層 資源層 分析層 管理層 基礎(chǔ)層（Foundation）倉庫過程倉庫操作轉(zhuǎn)換XML記錄型多維關(guān)系型資源業(yè)務(wù)信息軟件發(fā)布UML 1.3(基礎(chǔ)，行為元素，模型管理)對象 (UML)OLAP分析數(shù)據(jù)挖掘信息可視化業(yè)務(wù)術(shù)語數(shù)據(jù)類型表達(dá)式鍵索引類型映射管理管理資源資源分析分析基礎(chǔ)基礎(chǔ)對象模型對象模型 基礎(chǔ)層（Foundation） 提供為駐留在更高層次的其他包提供CWM特定的服務(wù)的包 包括6個包 業(yè)務(wù)信息包（Business Informat

15、ion） 數(shù)據(jù)類型包（Data Types） 表達(dá)式包（Expression） 鍵和索引包（keys and indexes) 軟件部署包（Software Deployment） 類型映射包（Type Mapping） 業(yè)務(wù)信息包（Business Information） 業(yè)務(wù)信息元模型給所有CWM包提供了面向業(yè)務(wù)的信息 這里面向業(yè)務(wù)指的是支持?jǐn)?shù)據(jù)倉庫和商業(yè)智能 負(fù)責(zé)單位 如何聯(lián)絡(luò) 離線文檔 數(shù)據(jù)類型包（Data Types） 提供了支持定義基本數(shù)據(jù)類型和構(gòu)造數(shù)據(jù)類型所需的基本結(jié)構(gòu) CWM模型本身沒有定義很多的現(xiàn)有類型，但是通過數(shù)據(jù)類型包可以建立目前現(xiàn)有的大多數(shù)系統(tǒng)的數(shù)據(jù)類型 表達(dá)式包（E

16、xpression） 表達(dá)式包提供了統(tǒng)一的表達(dá)式樹的格式，可以為轉(zhuǎn)換包等進(jìn)行服務(wù)。 統(tǒng)一的表達(dá)式格式給ETL流程分析或其他的元數(shù)據(jù)分析提供了基礎(chǔ) 鍵和索引包（keys and indexes) 鍵和索引包提供了統(tǒng)一的對元素進(jìn)行標(biāo)識、排序和檢索所需的方法，可以為其它包所共享 索引是按順序安排的元素列表 鍵是一個或多個值的集合，用來確定數(shù)據(jù)庫中的某項(xiàng)記錄 類型映射包（Type Mapping） 定義了作為數(shù)據(jù)類型集合的類型系統(tǒng)的概念，還支持類型系統(tǒng)間數(shù)據(jù)類型的轉(zhuǎn)換 主要是為滿足不同系統(tǒng)之間數(shù)據(jù)類型差異進(jìn)行的映射 可以進(jìn)行多對多映射 軟件部署包（Software Deployment） 為了管理和記

17、錄各個軟件系統(tǒng)的分布和連接情況，用于記錄如何使用數(shù)據(jù)倉庫中的軟件和硬件 捕捉盡可能多的、其他CWM包需要的可操作的配置信息，而不是完全的通用模型 提綱 元數(shù)據(jù)管理基本概念 元數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標(biāo)準(zhǔn) CWM標(biāo)準(zhǔn)概述 對象模型層 基礎(chǔ)層 資源層 分析層 管理層 資源層倉庫過程倉庫操作轉(zhuǎn)換XML記錄型多維關(guān)系型資源業(yè)務(wù)信息軟件發(fā)布UML 1.3(基礎(chǔ)，行為元素，模型管理)對象 (UML)OLAP分析數(shù)據(jù)挖掘信息可視化業(yè)務(wù)術(shù)語數(shù)據(jù)類型表達(dá)式鍵索引類型映射管理管理資源資源分析分析基礎(chǔ)基礎(chǔ)對象模型對象模型 資源層(Resource) 描述以CWM為中介的交換中既可作為源又可作為目標(biāo)的數(shù)據(jù)資

18、源的結(jié)構(gòu) 包括5個包： 對象包（Object Model） 關(guān)系型包（Relational） 記錄包（Record） 多維包（Multidimensional） XML包（XML） 對象包（Object Model） CWM已經(jīng)在對象模型層包含了一個非常好的對象模型 對象模型層的核心包，行為包，關(guān)系包和實(shí)例包都可以直接建立面向?qū)ο蟮臄?shù)據(jù)資源描述 也用于描述面向?qū)ο髷?shù)據(jù)庫的結(jié)構(gòu)和面向?qū)ο髴?yīng)用組件的結(jié)構(gòu) 如果遇到不能處理的特征和功能時(shí)，可以定義擴(kuò)展包來增加處理能力 關(guān)系型包（Relational） 描述關(guān)系數(shù)據(jù)庫的模式 支持遵從SQL99標(biāo)準(zhǔn)及其面向?qū)ο髷U(kuò)展的關(guān)系數(shù)據(jù)庫描述 CWM中最大的包，涉及

19、的類總共68個 Containers Tables, Columns, and Data Types Structured Types and Object Extensions Keys Index Triggers Procedures Instances 列及數(shù)據(jù)類型應(yīng)用舉例 記錄包（Record） 提供了用于描述各種面向記錄的數(shù)據(jù)結(jié)構(gòu)的基礎(chǔ)結(jié)構(gòu) 包括記錄的結(jié)構(gòu)、記錄的實(shí)例、記錄文件等 多維包（Multidimensional） 提供關(guān)于多維數(shù)據(jù)庫的通用描述 包括多維模型中的維、維的層次，維屬性、維成員和維度量等數(shù)據(jù)結(jié)構(gòu)，以及鉆取等操作。 XML包（XML） 定義了 如何在CWM中使用X

20、ML文檔描述數(shù)據(jù)倉庫中的數(shù)據(jù)源 XML包 包含用于描述XML數(shù)據(jù)源的通用類和關(guān)聯(lián) 基于XML 1.0 提綱 元數(shù)據(jù)管理基本概念 元數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標(biāo)準(zhǔn) CWM標(biāo)準(zhǔn)概述 對象模型層 基礎(chǔ)層 資源層 分析層 管理層 分析層倉庫過程倉庫操作轉(zhuǎn)換XML記錄型多維關(guān)系型資源業(yè)務(wù)信息軟件發(fā)布UML 1.3(基礎(chǔ)，行為元素，模型管理)對象 (UML)OLAP分析數(shù)據(jù)挖掘信息可視化業(yè)務(wù)術(shù)語數(shù)據(jù)類型表達(dá)式鍵索引類型映射管理管理資源資源分析分析基礎(chǔ)基礎(chǔ)對象模型對象模型 轉(zhuǎn)換包 轉(zhuǎn)換包包括了所有BI中涉及到ETL過程的元模型 object-oriented Relational record mu

21、ltidimensional XML OLAP data mining. 轉(zhuǎn)換包 轉(zhuǎn)換包提供了描述ETL工具和ETL行為的通用的元數(shù)據(jù)，尤其是： 將ETL過程與數(shù)據(jù)源和數(shù)據(jù)目標(biāo)進(jìn)行關(guān)聯(lián)。數(shù)據(jù)源和數(shù)據(jù)目標(biāo)可以是任何類型（基于關(guān)系或面向?qū)ο螅?，任何粒度（類、屬性、表、列），并且可以是永久的或易失的?允許將ETL過程進(jìn)行分組，并行執(zhí)行以提高執(zhí)行效率。包括ETL過程的加載情況，行為和步驟等等。 OLAP包 定義了描述OLAP系統(tǒng)通用概念的元數(shù)據(jù)，提供了將OLAP中的元數(shù)據(jù)內(nèi)容映射到具體的物理數(shù)據(jù)源中的方法 將OLAP模型映射到CWM數(shù)據(jù)源的包中，如 CWM 關(guān)系型包（ROLAP）或 多維包（MOLA

22、P）. 數(shù)據(jù)挖掘包 為數(shù)據(jù)挖掘模型構(gòu)建較為通用的表示方法 除數(shù)據(jù)挖掘計(jì)劃和模型之外其他一些跨挖掘模型或者挖掘工具的實(shí)體（例如分類矩陣）以及它們之間的關(guān)系和對技術(shù)元數(shù)據(jù)的映射都包括在數(shù)據(jù)挖掘元數(shù)據(jù)的范圍之內(nèi) 經(jīng)營分析系統(tǒng)中有關(guān)數(shù)據(jù)挖掘的元數(shù)據(jù)分為七個領(lǐng)域：核心挖掘元數(shù)據(jù)、和聚類相關(guān)的元數(shù)據(jù)，關(guān)聯(lián)規(guī)則元數(shù)據(jù)，和監(jiān)督相關(guān)元數(shù)據(jù)，和分類相關(guān)元數(shù)據(jù)，和近似估計(jì)相關(guān)的元數(shù)據(jù)與屬性重要性的元數(shù)據(jù) 信息可視化包 信息可視化元模型定義了支持信息發(fā)布和信息可視化的元數(shù)據(jù) CWM信息可視化元模型定義了通用的容器，為實(shí)現(xiàn)更加復(fù)雜的可視化機(jī)制提供支持 業(yè)務(wù)術(shù)語包 數(shù)據(jù)倉庫的用戶需要很好的理解倉庫中包含的信息，以及倉庫提供的工具。比如信息的意義，信息來自于哪個數(shù)據(jù)源，有哪些工具可以管理及展示這些信息。 業(yè)務(wù)術(shù)語包提供了能表達(dá)業(yè)務(wù)元數(shù)據(jù)的實(shí)體和關(guān)系。 提綱 元數(shù)據(jù)管理基本概念 元數(shù)據(jù)定義 元數(shù)據(jù)管理 CWM元數(shù)據(jù)標(biāo)準(zhǔn) CWM標(biāo)準(zhǔn)概述 對象模型層 基礎(chǔ)層