基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計課件

1、基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計我的工作 提出了一個基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu) 基于該體系結(jié)構(gòu)，參與設(shè)計和實現(xiàn)了一個電信綜合業(yè)務(wù)信息服務(wù)平臺提綱 背景介紹 數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹 CWM、MOF、UML、XMI規(guī)范介紹 基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計 電信綜合業(yè)務(wù)信息服務(wù)平臺設(shè)計背景介紹 數(shù)據(jù)倉庫的應(yīng)用越來越廣泛 不同數(shù)據(jù)倉庫工具之間無法進行數(shù)據(jù)交換 企業(yè)的應(yīng)用受到工具的限制 利用元數(shù)據(jù)可以實現(xiàn)數(shù)據(jù)交換提綱 背景介紹 數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹 CWM、MOF、UML、XMI規(guī)范介紹 基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計 電信綜合業(yè)務(wù)信息服務(wù)平臺設(shè)計 元數(shù)據(jù) 定義描述數(shù)據(jù)的數(shù)據(jù) 研究元數(shù)據(jù)的原

2、因管理、使用數(shù)據(jù)的需求系統(tǒng)分布和互通的要求元數(shù)據(jù)重用、共享的要求元數(shù)據(jù)的建模和標準化 建模的兩大方向 元數(shù)據(jù)參考模型 元數(shù)據(jù)模型 標準化OMGMDC元數(shù)據(jù)的層次 Student（“張東”，“男”，）Student（“李芳”，“女”，）Record（“Student”，F(xiàn)ield（“name”，String），(Field（“sex”，String）) MetaClass（“Record”，MetaAttr(（“name”）,String),MetaAttr(“fields”),list)MetaClass（“Field”，）通用的元元模型信息，數(shù)據(jù)（M0）模型（M1）元模型（M2）元元模型（M

3、3）OMG規(guī)范和元數(shù)據(jù)層次的關(guān)系 元數(shù)據(jù)層次MOF術(shù)語示例M3元元模型MOF模型M2 元模型，元元數(shù)據(jù) UML元模型，CWM元模型M1 模型，元數(shù)據(jù) UML模型，CWM模型M0對象，數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)CWM和相關(guān)規(guī)范的關(guān)系 CWM和MOF的關(guān)系 CWM和UML的關(guān)系直接繼承了UML核心元模型使用UML圖形標記使用UML中的OCL（對象約束語言） CWM和XMI的關(guān)系提綱 背景介紹 數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹 CWM、MOF、UML、XMI規(guī)范介紹 基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計 電信綜合業(yè)務(wù)信息服務(wù)平臺設(shè)計基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)數(shù)據(jù)源多種類型：關(guān)系型、多維、 記錄、XML以及其它一些工具類

4、型關(guān)系型：模式，物理表， 視圖，字段，索引，觸發(fā)器，外關(guān)鍵字 ，主關(guān)鍵字 ，數(shù)據(jù)類型，字段值，數(shù)據(jù)記錄，記錄的集合Relational元模型Relational元模型（續(xù)1）Relational元模型（續(xù)2）關(guān)系型數(shù)據(jù)源的主要接口 BaseTable：查詢和修改表的屬性、觸發(fā)器和結(jié)構(gòu) Catalog：查詢和修改包含的元素 Column：查詢和設(shè)置屬性 Row：查詢和修改一條記錄的內(nèi)容 RowSet：查詢和修改包含的記錄ETL組件的接口 黑盒變換：Transformation ，DataObjectSet ，TransformationUse 白盒變換：FeatureMap ，Classifie

5、rMap ，ClassifierFeatureMap ，TransformationMap 變換的執(zhí)行順序控制：TransformationTask ，TransformationStep ，TransformationActivity ，StepPrecedence ，PrecedenceConstraint 中央數(shù)據(jù)倉庫 數(shù)據(jù)粒度最細且多層次 數(shù)據(jù)是歷史的 數(shù)據(jù)是時間相關(guān)的 大數(shù)據(jù)量 數(shù)據(jù)是整合的 通用的、全局的 數(shù)據(jù)集市企 業(yè)數(shù) 據(jù)倉 庫最細粒度數(shù)據(jù)集市部門2粒度2數(shù)據(jù)集市部門1粒度1部門3粒度3外 部數(shù)據(jù)源數(shù)據(jù)集市數(shù)據(jù)集市的特點 面向部門應(yīng)用 規(guī)模小，投資少 使用方便且成本低 元數(shù)據(jù)庫

6、 類型：中央元數(shù)據(jù)庫本地元數(shù)據(jù)庫 內(nèi)容： 抽取過程：任務(wù)、執(zhí)行順序、映射關(guān)系、轉(zhuǎn)換規(guī)則描述數(shù)據(jù) ：方位圖、數(shù)據(jù)之間的商業(yè)關(guān)系、商業(yè)規(guī)則、數(shù)據(jù)的改變數(shù)據(jù)倉庫管理：安全性、運行狀態(tài)、抽取過程的調(diào)度、I/O對象及其關(guān)系數(shù)據(jù)倉庫管理 訪問控制和安全性管理 數(shù)據(jù)增長管理 抽取過程的管理 性能管理 故障恢復(fù) 擴充和演變管理 數(shù)據(jù)倉庫管理接口 抽取過程的調(diào)度（WarehouseProcess，WarehouseEvent，InternalEvent，ScheduleEvent，ExternalEvent） 抽取過程的執(zhí)行（TransformationExecution，StepExecution，Activ

7、ityExecution） 數(shù)據(jù)元素的變化（Measurement，ChangeRequest）OLAP組件接口 立方體的定義：Cube，CubeDimAssoc，CubeRegion，Dimension，Hierarchy，Level，Mearsure， LevelBasedHierarchy，HierarchyLevelAsso， ValueBasedHierarchy，MemberSelection，MemberSelGrp， 立方體到物理數(shù)據(jù)源的映射StructureMap， LevelBasedHierarchy， ValueBasedHierarchy數(shù)據(jù)挖掘組件的主要類及接口 M

8、iningModel：模型屬性和模型的輸入 MiningSettings：對象屬性，輸入?yún)?shù)的說明 ApplicationInputSpecification， ApplicationAttribute：使用模型時的參數(shù) MiningModelResult：挖掘的結(jié)果 SupervisedMiningModel: 描述預(yù)言性算法產(chǎn)生的模型 StatisticsSettings, AssociationRulesSettings, ClusteringSettings, ClassificationSettings, RegressionSettings：對應(yīng)模型的設(shè)置基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)的特點及優(yōu)點 統(tǒng)一的數(shù)據(jù)集市和數(shù)據(jù)倉庫 中央元數(shù)據(jù)庫驅(qū)動機制 靈活高效的數(shù)據(jù)交換方式 易于升級 高度的可集成性 高度的可擴展性基于CORBA的企業(yè)數(shù)據(jù)倉庫擴展結(jié)構(gòu) 對 象 服 務(wù)企業(yè)數(shù)