基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)課件

1、基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)我的工作 提出了一個(gè)基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu) 基于該體系結(jié)構(gòu)，參與設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)提綱 背景介紹 數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹 CWM、MOF、UML、XMI規(guī)范介紹 基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì) 電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)設(shè)計(jì)背景介紹 數(shù)據(jù)倉庫的應(yīng)用越來越廣泛 不同數(shù)據(jù)倉庫工具之間無法進(jìn)行數(shù)據(jù)交換 企業(yè)的應(yīng)用受到工具的限制 利用元數(shù)據(jù)可以實(shí)現(xiàn)數(shù)據(jù)交換提綱 背景介紹 數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹 CWM、MOF、UML、XMI規(guī)范介紹 基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì) 電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)設(shè)計(jì) 元數(shù)據(jù) 定義描述數(shù)據(jù)的數(shù)據(jù) 研究元數(shù)據(jù)的原

2、因管理、使用數(shù)據(jù)的需求系統(tǒng)分布和互通的要求元數(shù)據(jù)重用、共享的要求元數(shù)據(jù)的建模和標(biāo)準(zhǔn)化 建模的兩大方向 元數(shù)據(jù)參考模型 元數(shù)據(jù)模型 標(biāo)準(zhǔn)化OMGMDC元數(shù)據(jù)的層次 Student（“張東”，“男”，）Student（“李芳”，“女”，）Record（“Student”，F(xiàn)ield（“name”，String），(Field（“sex”，String）) MetaClass（“Record”，MetaAttr(（“name”）,String),MetaAttr(“fields”),list)MetaClass（“Field”，）通用的元元模型信息，數(shù)據(jù)（M0）模型（M1）元模型（M2）元元模型（M

3、3）OMG規(guī)范和元數(shù)據(jù)層次的關(guān)系 元數(shù)據(jù)層次MOF術(shù)語示例M3元元模型MOF模型M2 元模型，元元數(shù)據(jù) UML元模型，CWM元模型M1 模型，元數(shù)據(jù) UML模型，CWM模型M0對(duì)象，數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)CWM和相關(guān)規(guī)范的關(guān)系 CWM和MOF的關(guān)系 CWM和UML的關(guān)系直接繼承了UML核心元模型使用UML圖形標(biāo)記使用UML中的OCL（對(duì)象約束語言） CWM和XMI的關(guān)系提綱 背景介紹 數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹 CWM、MOF、UML、XMI規(guī)范介紹 基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì) 電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)設(shè)計(jì)基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)數(shù)據(jù)源多種類型：關(guān)系型、多維、 記錄、XML以及其它一些工具類

4、型關(guān)系型：模式，物理表， 視圖，字段，索引，觸發(fā)器，外關(guān)鍵字 ，主關(guān)鍵字 ，數(shù)據(jù)類型，字段值，數(shù)據(jù)記錄，記錄的集合Relational元模型Relational元模型（續(xù)1）Relational元模型（續(xù)2）關(guān)系型數(shù)據(jù)源的主要接口 BaseTable：查詢和修改表的屬性、觸發(fā)器和結(jié)構(gòu) Catalog：查詢和修改包含的元素 Column：查詢和設(shè)置屬性 Row：查詢和修改一條記錄的內(nèi)容 RowSet：查詢和修改包含的記錄ETL組件的接口 黑盒變換：Transformation ，DataObjectSet ，TransformationUse 白盒變換：FeatureMap ，Classifie

5、rMap ，ClassifierFeatureMap ，TransformationMap 變換的執(zhí)行順序控制：TransformationTask ，TransformationStep ，TransformationActivity ，StepPrecedence ，PrecedenceConstraint 中央數(shù)據(jù)倉庫 數(shù)據(jù)粒度最細(xì)且多層次 數(shù)據(jù)是歷史的 數(shù)據(jù)是時(shí)間相關(guān)的 大數(shù)據(jù)量 數(shù)據(jù)是整合的 通用的、全局的 數(shù)據(jù)集市企 業(yè)數(shù) 據(jù)倉 庫最細(xì)粒度數(shù)據(jù)集市部門2粒度2數(shù)據(jù)集市部門1粒度1部門3粒度3外 部數(shù)據(jù)源數(shù)據(jù)集市數(shù)據(jù)集市的特點(diǎn) 面向部門應(yīng)用 規(guī)模小，投資少 使用方便且成本低 元數(shù)據(jù)庫

6、 類型：中央元數(shù)據(jù)庫本地元數(shù)據(jù)庫 內(nèi)容： 抽取過程：任務(wù)、執(zhí)行順序、映射關(guān)系、轉(zhuǎn)換規(guī)則描述數(shù)據(jù) ：方位圖、數(shù)據(jù)之間的商業(yè)關(guān)系、商業(yè)規(guī)則、數(shù)據(jù)的改變數(shù)據(jù)倉庫管理：安全性、運(yùn)行狀態(tài)、抽取過程的調(diào)度、I/O對(duì)象及其關(guān)系數(shù)據(jù)倉庫管理 訪問控制和安全性管理 數(shù)據(jù)增長管理 抽取過程的管理 性能管理 故障恢復(fù) 擴(kuò)充和演變管理 數(shù)據(jù)倉庫管理接口 抽取過程的調(diào)度（WarehouseProcess，WarehouseEvent，InternalEvent，ScheduleEvent，ExternalEvent） 抽取過程的執(zhí)行（TransformationExecution，StepExecution，Activ

7、ityExecution） 數(shù)據(jù)元素的變化（Measurement，ChangeRequest）OLAP組件接口 立方體的定義：Cube，CubeDimAssoc，CubeRegion，Dimension，Hierarchy，Level，Mearsure， LevelBasedHierarchy，HierarchyLevelAsso， ValueBasedHierarchy，MemberSelection，MemberSelGrp， 立方體到物理數(shù)據(jù)源的映射StructureMap， LevelBasedHierarchy， ValueBasedHierarchy數(shù)據(jù)挖掘組件的主要類及接口 M

8、iningModel：模型屬性和模型的輸入 MiningSettings：對(duì)象屬性，輸入?yún)?shù)的說明 ApplicationInputSpecification， ApplicationAttribute：使用模型時(shí)的參數(shù) MiningModelResult：挖掘的結(jié)果 SupervisedMiningModel: 描述預(yù)言性算法產(chǎn)生的模型 StatisticsSettings, AssociationRulesSettings, ClusteringSettings, ClassificationSettings, RegressionSettings：對(duì)應(yīng)模型的設(shè)置基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)的特點(diǎn)及優(yōu)點(diǎn) 統(tǒng)一的數(shù)據(jù)集市和數(shù)據(jù)倉庫 中央元數(shù)據(jù)庫驅(qū)動(dòng)機(jī)制 靈活高效的數(shù)據(jù)交換方式 易于升級(jí) 高度的可集成性 高度的可擴(kuò)展性基于CORBA的企業(yè)數(shù)據(jù)倉庫擴(kuò)展結(jié)構(gòu) 對(duì) 象 服 務(wù)企業(yè)數(shù)