基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計

1、基于基于CWM的的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計我的工作我的工作v 提出了一個基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)v 基于該體系結(jié)構(gòu)，參與設(shè)計和實現(xiàn)了一個電信綜合業(yè)務(wù)信息服務(wù)平臺提綱提綱v 背景介紹背景介紹v 數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹v CWM、MOF、UML、XMI規(guī)范介紹v 基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計v 電信綜合業(yè)務(wù)信息服務(wù)平臺設(shè)計背景介紹背景介紹v 數(shù)據(jù)倉庫的應(yīng)用越來越廣泛v 不同數(shù)據(jù)倉庫工具之間無法進行數(shù)據(jù)交換v 企業(yè)的應(yīng)用受到工具的限制v 利用元數(shù)據(jù)可以實現(xiàn)數(shù)據(jù)交換提綱提綱v 背景介紹v 數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹v CWM、MOF、UML、XMI規(guī)范介

2、紹v 基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計v 電信綜合業(yè)務(wù)信息服務(wù)平臺設(shè)計 數(shù)據(jù)倉庫理論v 數(shù)據(jù)倉庫的定義v 數(shù)據(jù)倉庫的建設(shè)v 數(shù)據(jù)倉庫的應(yīng)用v 國內(nèi)數(shù)據(jù)倉庫建設(shè)的問題元數(shù)據(jù)v 定義 描述數(shù)據(jù)的數(shù)據(jù)v 研究元數(shù)據(jù)的原因 管理、使用數(shù)據(jù)的需求 系統(tǒng)分布和互通的要求 元數(shù)據(jù)重用、共享的要求元數(shù)據(jù)的建模和標準化v 建模的兩大方向 元數(shù)據(jù)參考模型 元數(shù)據(jù)模型v 標準化 OMG MDC提綱提綱v 背景介紹v 數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹v CWM、MOF、UML、XMI規(guī)規(guī)范介紹范介紹v 基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計v 電信綜合業(yè)務(wù)信息服務(wù)平臺設(shè)計 元數(shù)據(jù)的層次元數(shù)據(jù)的層次 Student（“張東”，“男”

3、，）Student（“李芳”，“女”，）Record（“Student”，F(xiàn)ield（“name”，String），(Field（“sex”，String）) MetaClass（“Record”，MetaAttr(（“name”）,String),MetaAttr(“fields”),list)MetaClass（“Field”，）通用的元元模型信息，數(shù)據(jù)（M0）模型（M1）元模型（M2）元元模型（M3）OMGOMG規(guī)范和元數(shù)據(jù)層次的關(guān)系規(guī)范和元數(shù)據(jù)層次的關(guān)系 元數(shù)據(jù)元數(shù)據(jù)層次層次MOF術(shù)語術(shù)語示例示例M3元元模型MOF模型M2 元模型，元元數(shù)據(jù) UML元模型，CWM元模型M1 模型，元數(shù)據(jù)

4、 UML模型，CWM模型M0對象，數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)CWM和相關(guān)規(guī)范的關(guān)系v CWM和MOF的關(guān)系v CWM和UML的關(guān)系 直接繼承了UML核心元模型 使用UML圖形標記 使用UML中的OCL（對象約束語言）v CWM和XMI的關(guān)系CWM的組成v CWM元模型 基礎(chǔ)包 資源包 分析包 管理包v CWM DTD和CWM XMLv CWM IDL提綱提綱v 背景介紹v 數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹v CWM、MOF、UML、XMI規(guī)范介紹v 基于基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計v 電信綜合業(yè)務(wù)信息服務(wù)平臺設(shè)計OLTP系統(tǒng)遺留系統(tǒng)辦公系統(tǒng)外部數(shù)據(jù)DW管理系統(tǒng)抽 取清 潔轉(zhuǎn) 換裝 載數(shù)

5、據(jù)模型本地元數(shù)據(jù)庫本地元數(shù)據(jù)庫 元數(shù)據(jù)交換數(shù)據(jù)集市中央元數(shù)據(jù)庫OLAP工具挖掘工具報表工具中央數(shù)據(jù)倉庫O D S基于基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)的數(shù)據(jù)倉庫體系結(jié)構(gòu)數(shù)據(jù)源v OLTP數(shù)據(jù)庫v 遺留數(shù)據(jù)v 內(nèi)部辦公系統(tǒng)數(shù)據(jù)v 外部數(shù)據(jù)數(shù)據(jù)源多種類型：關(guān)系型、多維、 記錄、XML以及其它一些工具類型關(guān)系型關(guān)系型：模式，物理表， 視圖，字段，索引，觸發(fā)器，外關(guān)鍵字 ，主關(guān)鍵字 ，數(shù)據(jù)類型，字段值，數(shù)據(jù)記錄，記錄的集合Relational元模型ColumnSQLQueryColumnSetSQLDataTypeTableViewBaseTableCatalogProcedureIndexTriggerP

6、ackageRelational元模型（續(xù)1）AttributeLinkInstanceExtentRowSetColumnSetObjectDataValueColumnValueRowAttributeRelational元模型（續(xù)2）關(guān)系型數(shù)據(jù)源的主要接口v BaseTable：查詢和修改表的屬性、觸發(fā)器和結(jié)構(gòu)v Catalog：查詢和修改包含的元素v Column：查詢和設(shè)置屬性v Row：查詢和修改一條記錄的內(nèi)容v RowSet：查詢和修改包含的記錄ETLv 讀取數(shù)據(jù)v 清潔數(shù)據(jù)v 轉(zhuǎn)換數(shù)據(jù)v 裝載數(shù)據(jù)ETL組件的接口v 黑盒變換：Transformation ，DataObject

7、Set ，TransformationUse v 白盒變換：FeatureMap ，ClassifierMap ，ClassifierFeatureMap ，TransformationMap v 變換的執(zhí)行順序控制：TransformationTask ，TransformationStep ，TransformationActivity ，StepPrecedence ，PrecedenceConstraint 中央數(shù)據(jù)倉庫中央數(shù)據(jù)倉庫v 數(shù)據(jù)粒度最細且多層次v 數(shù)據(jù)是歷史的 v 數(shù)據(jù)是時間相關(guān)的 v 大數(shù)據(jù)量 v 數(shù)據(jù)是整合的 v 通用的、全局的 操作數(shù)據(jù)存儲ODS 操作型系統(tǒng)操作型系統(tǒng)

8、O D S1/21/2企企 業(yè)業(yè)數(shù)據(jù)倉庫數(shù)據(jù)倉庫數(shù)據(jù)集市企 業(yè)數(shù) 據(jù)倉 庫最細粒度數(shù)據(jù)集市部門部門2粒度2數(shù)據(jù)集市部門部門1粒度1部門部門3粒度3外 部數(shù)據(jù)源數(shù)據(jù)集市數(shù)據(jù)集市的特點v 面向部門應(yīng)用 v 規(guī)模小，投資少 v 使用方便且成本低 元數(shù)據(jù)元數(shù)據(jù)庫庫v 類型： 中央元數(shù)據(jù)庫 本地元數(shù)據(jù)庫v 內(nèi)容： 抽取過程：任務(wù)、執(zhí)行順序、映射關(guān)系、轉(zhuǎn)換規(guī)則 描述數(shù)據(jù) ：方位圖、數(shù)據(jù)之間的商業(yè)關(guān)系、商業(yè)規(guī)則、數(shù)據(jù)的改變 數(shù)據(jù)倉庫管理：安全性、運行狀態(tài)、抽取過程的調(diào)度、I/O對象及其關(guān)系數(shù)據(jù)倉庫管理 v 訪問控制和安全性管理 v 數(shù)據(jù)增長管理 v 抽取過程的管理 v 性能管理 v 故障恢復(fù) v 擴充和演變

9、管理 數(shù)據(jù)倉庫管理接口v 抽取過程的調(diào)度抽取過程的調(diào)度（WarehouseProcess，WarehouseEvent，InternalEvent，ScheduleEvent，ExternalEvent）v 抽取過程的執(zhí)行抽取過程的執(zhí)行（TransformationExecution，StepExecution，ActivityExecution）v 數(shù)據(jù)元素的變化數(shù)據(jù)元素的變化（Measurement，ChangeRequest）OLAP組件接口組件接口v 立方體的定義：Cube，CubeDimAssoc，CubeRegion，Dimension，Hierarchy，Level，Mearsu

10、re， LevelBasedHierarchy，HierarchyLevelAsso， ValueBasedHierarchy，MemberSelection，MemberSelGrp，v 立方體到物理數(shù)據(jù)源的映射StructureMap， LevelBasedHierarchy， ValueBasedHierarchy數(shù)據(jù)挖掘組件的主要類及接口v MiningModel：模型屬性和模型的輸入v MiningSettings：對象屬性，輸入?yún)?shù)的說明v ApplicationInputSpecification， ApplicationAttribute：使用模型時的參數(shù)v MiningMod

11、elResult：挖掘的結(jié)果v SupervisedMiningModel: 描述預(yù)言性算法產(chǎn)生的模型v StatisticsSettings, AssociationRulesSettings, ClusteringSettings, ClassificationSettings, RegressionSettings：對應(yīng)模型的設(shè)置基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)的特點及優(yōu)點 v 統(tǒng)一的數(shù)據(jù)集市和數(shù)據(jù)倉庫 v 中央元數(shù)據(jù)庫驅(qū)動機制v 靈活高效的數(shù)據(jù)交換方式v 易于升級v 高度的可集成性v 高度的可擴展性基于基于CORBA的企業(yè)數(shù)據(jù)倉庫擴展結(jié)構(gòu)的企業(yè)數(shù)據(jù)倉庫擴展結(jié)構(gòu) 對對 象象 服服 務(wù)務(wù)企業(yè)數(shù)據(jù)倉庫企業(yè)數(shù)據(jù)倉庫 平臺平臺C W M（IDL）通用數(shù)據(jù)倉庫通用數(shù)據(jù)倉庫 工具工具C W M（IDL）對象請求代理（對象請求代理（ORB）提綱提綱v 背景介紹v 數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹v CWM、MOF、UML、XMI規(guī)范介紹v 基