基于CWM的數(shù)據(jù)倉庫體系結構設計課件

基于CWM的

數(shù)據(jù)倉庫體系結構設計基于CWM的

數(shù)據(jù)倉庫體系結構設計我的工作

提出了一個基于CWM的數(shù)據(jù)倉庫體系結構基于該體系結構，參與設計和實現(xiàn)了一個

電信綜合業(yè)務信息服務平臺我的工作提出了一個基于CWM的數(shù)據(jù)倉庫體系結構提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹基于CWM的數(shù)據(jù)倉庫體系結構設計電信綜合業(yè)務信息服務平臺設計提綱背景介紹背景介紹

數(shù)據(jù)倉庫的應用越來越廣泛不同數(shù)據(jù)倉庫工具之間無法進行數(shù)據(jù)交換企業(yè)的應用受到工具的限制利用元數(shù)據(jù)可以實現(xiàn)數(shù)據(jù)交換背景介紹數(shù)據(jù)倉庫的應用越來越廣泛提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹基于CWM的數(shù)據(jù)倉庫體系結構設計電信綜合業(yè)務信息服務平臺設計

提綱背景介紹數(shù)據(jù)倉庫理論

數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫的建設數(shù)據(jù)倉庫的應用國內數(shù)據(jù)倉庫建設的問題數(shù)據(jù)倉庫理論數(shù)據(jù)倉庫的定義元數(shù)據(jù)

定義 描述數(shù)據(jù)的數(shù)據(jù)研究元數(shù)據(jù)的原因管理、使用數(shù)據(jù)的需求系統(tǒng)分布和互通的要求元數(shù)據(jù)重用、共享的要求元數(shù)據(jù)定義 元數(shù)據(jù)的建模和標準化

建模的兩大方向元數(shù)據(jù)參考模型元數(shù)據(jù)模型標準化OMGMDC元數(shù)據(jù)的建模和標準化建模的兩大方向提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹基于CWM的數(shù)據(jù)倉庫體系結構設計電信綜合業(yè)務信息服務平臺設計

提綱背景介紹元數(shù)據(jù)的層次

Student（“張東”，“男”，…）Student（“李芳”，“女”，…）……Record（“Student”，F(xiàn)ield（“name”，String），(Field（“sex”，String）…)MetaClass（“Record”，[MetaAttr(（“name”）,String),MetaAttr((“fields”),list<Field>)]MetaClass（“Field”，…）通用的元元模型信息，數(shù)據(jù)（M0）模型（M1）元模型（M2）元元模型（M3）元數(shù)據(jù)的層次Student（“張東”，“男”，…）RecoOMG規(guī)范和元數(shù)據(jù)層次的關系

元數(shù)據(jù)層次MOF術語示例M3元元模型MOF模型M2

元模型，元元數(shù)據(jù)UML元模型，CWM元模型M1

模型，元數(shù)據(jù)UML模型，CWM模型M0對象，數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)OMG規(guī)范和元數(shù)據(jù)層次的關系元數(shù)據(jù)層次示例M3元元模型MOCWM和相關規(guī)范的關系CWM和MOF的關系

CWM和UML的關系直接繼承了UML核心元模型使用UML圖形標記使用UML中的OCL（對象約束語言）

CWM和XMI的關系CWM和相關規(guī)范的關系CWM和MOF的關系CWM的組成CWM元模型基礎包資源包分析包管理包

CWMDTD和CWMXMLCWMIDLCWM的組成CWM元模型提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹

基于CWM的數(shù)據(jù)倉庫體系結構設計電信綜合業(yè)務信息服務平臺設計提綱背景介紹基于CWM的數(shù)據(jù)倉庫體系結構基于CWM的數(shù)據(jù)倉庫體系結構數(shù)據(jù)源OLTP數(shù)據(jù)庫遺留數(shù)據(jù)內部辦公系統(tǒng)數(shù)據(jù)外部數(shù)據(jù)數(shù)據(jù)源OLTP數(shù)據(jù)庫數(shù)據(jù)源多種類型：關系型、多維、記錄、XML

以及其它一些工具類型關系型：模式，物理表，視圖，字段，索引，觸發(fā)器，外關鍵字，主關鍵字，數(shù)據(jù)類型，字段值，數(shù)據(jù)記錄，記錄的集合數(shù)據(jù)源多種類型：關系型、多維、記錄、XML

以及其它一些工Relational元模型Relational元模型Relational元模型（續(xù)1）Relational元模型（續(xù)1）Relational元模型（續(xù)2）Relational元模型（續(xù)2）基于CWM的數(shù)據(jù)倉庫體系結構設計課件關系型數(shù)據(jù)源的主要接口BaseTable：查詢和修改表的屬性、觸發(fā)器和結構

Catalog：查詢和修改包含的元素

Column：查詢和設置屬性

Row：查詢和修改一條記錄的內容

RowSet：查詢和修改包含的記錄關系型數(shù)據(jù)源的主要接口BaseTable：查詢和修改表的屬ETL

讀取數(shù)據(jù)清潔數(shù)據(jù)轉換數(shù)據(jù)裝載數(shù)據(jù)ETL讀取數(shù)據(jù)ETL組件的接口

黑盒變換：

Transformation，DataObjectSet，TransformationUse

白盒變換：

FeatureMap，ClassifierMap，ClassifierFeatureMap，TransformationMap

變換的執(zhí)行順序控制：

TransformationTask，TransformationStep，TransformationActivity，StepPrecedence，PrecedenceConstraintETL組件的接口黑盒變換：

Transformation中央數(shù)據(jù)倉庫

數(shù)據(jù)粒度最細且多層次數(shù)據(jù)是歷史的

數(shù)據(jù)是時間相關的

大數(shù)據(jù)量

數(shù)據(jù)是整合的

通用的、全局的

中央數(shù)據(jù)倉庫數(shù)據(jù)粒度最細且多層次操作數(shù)據(jù)存儲ODS操作型系統(tǒng)ODS1/21/2企業(yè)數(shù)據(jù)倉庫操作數(shù)據(jù)存儲ODS操作型系統(tǒng)ODS1/21/2企業(yè)數(shù)據(jù)集市企業(yè)數(shù)據(jù)倉庫最細粒度數(shù)據(jù)集市部門2粒度2數(shù)據(jù)集市部門1粒度1部門3粒度3外部數(shù)據(jù)源數(shù)據(jù)集市數(shù)據(jù)集市企業(yè)最細粒度數(shù)據(jù)集市部門2粒度2數(shù)據(jù)集市部門1粒度數(shù)據(jù)集市的特點

面向部門應用

規(guī)模小，投資少

使用方便且成本低

數(shù)據(jù)集市的特點面向部門應用元數(shù)據(jù)庫

類型：中央元數(shù)據(jù)庫本地元數(shù)據(jù)庫內容：抽取過程：任務、執(zhí)行順序、映射關系、轉換規(guī)則描述數(shù)據(jù)：方位圖、數(shù)據(jù)之間的商業(yè)關系、商業(yè)規(guī)則、數(shù)據(jù)的改變數(shù)據(jù)倉庫管理：安全性、運行狀態(tài)、抽取過程的調度、I/O對象及其關系元數(shù)據(jù)庫類型：數(shù)據(jù)倉庫管理

訪問控制和安全性管理

數(shù)據(jù)增長管理

抽取過程的管理

性能管理

故障恢復

擴充和演變管理

數(shù)據(jù)倉庫管理訪問控制和安全性管理數(shù)據(jù)倉庫管理接口

抽取過程的調度（WarehouseProcess，WarehouseEvent，InternalEvent，ScheduleEvent，ExternalEvent）

抽取過程的執(zhí)行（TransformationExecution，StepExecution，ActivityExecution）

數(shù)據(jù)元素的變化（Measurement，ChangeRequest）數(shù)據(jù)倉庫管理接口抽取過程的調度（WarehouseProcOLAP組件接口

立方體的定義：

Cube，CubeDimAssoc，CubeRegion，Dimension，Hierarchy，Level，Mearsure，LevelBasedHierarchy，HierarchyLevelAsso，ValueBasedHierarchy，MemberSelection，MemberSelGrp，立方體到物理數(shù)據(jù)源的映射

StructureMap，LevelBasedHierarchy，ValueBasedHierarchyOLAP組件接口立方體的定義：

Cube，CubeDimA數(shù)據(jù)挖掘組件的主要類及接口MiningModel：模型屬性和模型的輸入

MiningSettings：對象屬性，輸入參數(shù)的說明

ApplicationInputSpecification，ApplicationAttribute：使用模型時的參數(shù)

MiningModelResult：挖掘的結果

SupervisedMiningModel:描述預言性算法產生的模型

StatisticsSettings,AssociationRulesSettings,ClusteringSettings,ClassificationSettings,RegressionSettings：對應模型的設置數(shù)據(jù)挖掘組件的主要類及接口MiningModel：模型屬性基于CWM的數(shù)據(jù)倉庫體系結構的

特點及優(yōu)點

統(tǒng)一的數(shù)據(jù)集市和數(shù)據(jù)倉庫

中央元數(shù)據(jù)庫驅動機制靈活高效的數(shù)據(jù)交換方式易于升級高度的可集成性高度的可擴展性基于CWM的數(shù)據(jù)倉庫體系結構的

特點及優(yōu)點統(tǒng)一的數(shù)據(jù)集市基于CORBA的企業(yè)數(shù)據(jù)倉庫擴展結構

對象服務企業(yè)數(shù)據(jù)倉庫平臺CWM（IDL）通用數(shù)據(jù)倉庫工具CWM（IDL）對象請求代理（ORB）基于CORBA的企業(yè)數(shù)據(jù)倉庫擴展結構對象服務企業(yè)數(shù)據(jù)提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹基于CWM的數(shù)據(jù)倉庫體系結構設計電信綜合業(yè)務信息服務平臺設計提綱背景介紹系統(tǒng)體系結構設計系統(tǒng)體系結構設計系統(tǒng)部署圖系統(tǒng)部署圖基于CWM的

數(shù)據(jù)倉庫體系結構設計基于CWM的

數(shù)據(jù)倉庫體系結構設計我的工作

提出了一個基于CWM的數(shù)據(jù)倉庫體系結構基于該體系結構，參與設計和實現(xiàn)了一個

電信綜合業(yè)務信息服務平臺我的工作提出了一個基于CWM的數(shù)據(jù)倉庫體系結構提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹基于CWM的數(shù)據(jù)倉庫體系結構設計電信綜合業(yè)務信息服務平臺設計提綱背景介紹背景介紹

數(shù)據(jù)倉庫的應用越來越廣泛不同數(shù)據(jù)倉庫工具之間無法進行數(shù)據(jù)交換企業(yè)的應用受到工具的限制利用元數(shù)據(jù)可以實現(xiàn)數(shù)據(jù)交換背景介紹數(shù)據(jù)倉庫的應用越來越廣泛提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹基于CWM的數(shù)據(jù)倉庫體系結構設計電信綜合業(yè)務信息服務平臺設計

提綱背景介紹數(shù)據(jù)倉庫理論

數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫的建設數(shù)據(jù)倉庫的應用國內數(shù)據(jù)倉庫建設的問題數(shù)據(jù)倉庫理論數(shù)據(jù)倉庫的定義元數(shù)據(jù)

定義 描述數(shù)據(jù)的數(shù)據(jù)研究元數(shù)據(jù)的原因管理、使用數(shù)據(jù)的需求系統(tǒng)分布和互通的要求元數(shù)據(jù)重用、共享的要求元數(shù)據(jù)定義 元數(shù)據(jù)的建模和標準化

建模的兩大方向元數(shù)據(jù)參考模型元數(shù)據(jù)模型標準化OMGMDC元數(shù)據(jù)的建模和標準化建模的兩大方向提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹基于CWM的數(shù)據(jù)倉庫體系結構設計電信綜合業(yè)務信息服務平臺設計

提綱背景介紹元數(shù)據(jù)的層次

Student（“張東”，“男”，…）Student（“李芳”，“女”，…）……Record（“Student”，F(xiàn)ield（“name”，String），(Field（“sex”，String）…)MetaClass（“Record”，[MetaAttr(（“name”）,String),MetaAttr((“fields”),list<Field>)]MetaClass（“Field”，…）通用的元元模型信息，數(shù)據(jù)（M0）模型（M1）元模型（M2）元元模型（M3）元數(shù)據(jù)的層次Student（“張東”，“男”，…）RecoOMG規(guī)范和元數(shù)據(jù)層次的關系

元數(shù)據(jù)層次MOF術語示例M3元元模型MOF模型M2

元模型，元元數(shù)據(jù)UML元模型，CWM元模型M1

模型，元數(shù)據(jù)UML模型，CWM模型M0對象，數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)OMG規(guī)范和元數(shù)據(jù)層次的關系元數(shù)據(jù)層次示例M3元元模型MOCWM和相關規(guī)范的關系CWM和MOF的關系

CWM和UML的關系直接繼承了UML核心元模型使用UML圖形標記使用UML中的OCL（對象約束語言）

CWM和XMI的關系CWM和相關規(guī)范的關系CWM和MOF的關系CWM的組成CWM元模型基礎包資源包分析包管理包

CWMDTD和CWMXMLCWMIDLCWM的組成CWM元模型提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹

基于CWM的數(shù)據(jù)倉庫體系結構設計電信綜合業(yè)務信息服務平臺設計提綱背景介紹基于CWM的數(shù)據(jù)倉庫體系結構基于CWM的數(shù)據(jù)倉庫體系結構數(shù)據(jù)源OLTP數(shù)據(jù)庫遺留數(shù)據(jù)內部辦公系統(tǒng)數(shù)據(jù)外部數(shù)據(jù)數(shù)據(jù)源OLTP數(shù)據(jù)庫數(shù)據(jù)源多種類型：關系型、多維、記錄、XML

以及其它一些工具類型關系型：模式，物理表，視圖，字段，索引，觸發(fā)器，外關鍵字，主關鍵字，數(shù)據(jù)類型，字段值，數(shù)據(jù)記錄，記錄的集合數(shù)據(jù)源多種類型：關系型、多維、記錄、XML

以及其它一些工Relational元模型Relational元模型Relational元模型（續(xù)1）Relational元模型（續(xù)1）Relational元模型（續(xù)2）Relational元模型（續(xù)2）基于CWM的數(shù)據(jù)倉庫體系結構設計課件關系型數(shù)據(jù)源的主要接口BaseTable：查詢和修改表的屬性、觸發(fā)器和結構

Catalog：查詢和修改包含的元素

Column：查詢和設置屬性

Row：查詢和修改一條記錄的內容

RowSet：查詢和修改包含的記錄關系型數(shù)據(jù)源的主要接口BaseTable：查詢和修改表的屬ETL

讀取數(shù)據(jù)清潔數(shù)據(jù)轉換數(shù)據(jù)裝載數(shù)據(jù)ETL讀取數(shù)據(jù)ETL組件的接口

黑盒變換：

Transformation，DataObjectSet，TransformationUse

白盒變換：

FeatureMap，ClassifierMap，ClassifierFeatureMap，TransformationMap

變換的執(zhí)行順序控制：

TransformationTask，TransformationStep，TransformationActivity，StepPrecedence，PrecedenceConstraintETL組件的接口黑盒變換：

Transformation中央數(shù)據(jù)倉庫

數(shù)據(jù)粒度最細且多層次數(shù)據(jù)是歷史的

數(shù)據(jù)是時間相關的

大數(shù)據(jù)量

數(shù)據(jù)是整合的

通用的、全局的

中央數(shù)據(jù)倉庫數(shù)據(jù)粒度最細且多層次操作數(shù)據(jù)存儲ODS操作型系統(tǒng)ODS1/21/2企業(yè)數(shù)據(jù)倉庫操作數(shù)據(jù)存儲ODS操作型系統(tǒng)ODS1/21/2企業(yè)數(shù)據(jù)集市企業(yè)數(shù)據(jù)倉庫最細粒度數(shù)據(jù)集市部門2粒度2數(shù)據(jù)集市部門1粒度1部門3粒度3外部數(shù)據(jù)源數(shù)據(jù)集市數(shù)據(jù)集市企業(yè)最細粒度數(shù)據(jù)集市部門2粒度2數(shù)據(jù)集市部門1粒度數(shù)據(jù)集市的特點

面向部門應用

規(guī)模小，投資少

使用方便且成本低

數(shù)據(jù)集市的特點面向部門應用元數(shù)據(jù)庫

類型：中央元數(shù)據(jù)庫本地元數(shù)據(jù)庫內容：抽取過程：任務、執(zhí)行順序、映射關系、轉換規(guī)則描述數(shù)據(jù)：方位圖、數(shù)據(jù)之間的商業(yè)關系、商業(yè)規(guī)則、數(shù)據(jù)的改變數(shù)據(jù)倉庫管理：安全性、運行狀態(tài)、抽取過程的調度、I/O對象及其關系元數(shù)據(jù)庫類型：數(shù)據(jù)倉庫管理

訪問控制和安全性管理

數(shù)據(jù)增長管理

抽取過程的管理

性能管理

故障恢復

擴充和演變管理

數(shù)據(jù)倉庫管理訪問控制和安全性管理數(shù)據(jù)倉庫管理接口

抽取過程的調度（WarehouseProcess，WarehouseEvent，InternalEvent，ScheduleEvent，ExternalEvent）

抽取過程的執(zhí)行（TransformationExecution，StepExecution，ActivityExecution）

數(shù)據(jù)元素的變化（Measurement，ChangeRequest）數(shù)據(jù)倉庫管理接口抽取過程的調度（WarehouseProcOLAP組件接口

立方體的定義：

Cube，CubeDimAssoc，CubeRegion，Dimension，Hierarchy，Level，Mearsure，LevelBasedHierarchy，HierarchyLevelAsso，ValueBasedHierarchy，MemberSelection，MemberSelGrp