基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)課件

基于CWM的

數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)基于CWM的

數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)我的工作

提出了一個(gè)基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)基于該體系結(jié)構(gòu)，參與設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)

電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)我的工作提出了一個(gè)基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)設(shè)計(jì)提綱背景介紹背景介紹

數(shù)據(jù)倉庫的應(yīng)用越來越廣泛不同數(shù)據(jù)倉庫工具之間無法進(jìn)行數(shù)據(jù)交換企業(yè)的應(yīng)用受到工具的限制利用元數(shù)據(jù)可以實(shí)現(xiàn)數(shù)據(jù)交換背景介紹數(shù)據(jù)倉庫的應(yīng)用越來越廣泛提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)設(shè)計(jì)

提綱背景介紹數(shù)據(jù)倉庫理論

數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫的建設(shè)數(shù)據(jù)倉庫的應(yīng)用國內(nèi)數(shù)據(jù)倉庫建設(shè)的問題數(shù)據(jù)倉庫理論數(shù)據(jù)倉庫的定義元數(shù)據(jù)

定義 描述數(shù)據(jù)的數(shù)據(jù)研究元數(shù)據(jù)的原因管理、使用數(shù)據(jù)的需求系統(tǒng)分布和互通的要求元數(shù)據(jù)重用、共享的要求元數(shù)據(jù)定義 元數(shù)據(jù)的建模和標(biāo)準(zhǔn)化

建模的兩大方向元數(shù)據(jù)參考模型元數(shù)據(jù)模型標(biāo)準(zhǔn)化OMGMDC元數(shù)據(jù)的建模和標(biāo)準(zhǔn)化建模的兩大方向提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)設(shè)計(jì)

提綱背景介紹元數(shù)據(jù)的層次

Student（“張東”，“男”，…）Student（“李芳”，“女”，…）……Record（“Student”，F(xiàn)ield（“name”，String），(Field（“sex”，String）…)MetaClass（“Record”，[MetaAttr(（“name”）,String),MetaAttr((“fields”),list<Field>)]MetaClass（“Field”，…）通用的元元模型信息，數(shù)據(jù)（M0）模型（M1）元模型（M2）元元模型（M3）元數(shù)據(jù)的層次Student（“張東”，“男”，…）RecoOMG規(guī)范和元數(shù)據(jù)層次的關(guān)系

元數(shù)據(jù)層次MOF術(shù)語示例M3元元模型MOF模型M2

元模型，元元數(shù)據(jù)UML元模型，CWM元模型M1

模型，元數(shù)據(jù)UML模型，CWM模型M0對象，數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)OMG規(guī)范和元數(shù)據(jù)層次的關(guān)系元數(shù)據(jù)層次示例M3元元模型MOCWM和相關(guān)規(guī)范的關(guān)系CWM和MOF的關(guān)系

CWM和UML的關(guān)系直接繼承了UML核心元模型使用UML圖形標(biāo)記使用UML中的OCL（對象約束語言）

CWM和XMI的關(guān)系CWM和相關(guān)規(guī)范的關(guān)系CWM和MOF的關(guān)系CWM的組成CWM元模型基礎(chǔ)包資源包分析包管理包

CWMDTD和CWMXMLCWMIDLCWM的組成CWM元模型提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹

基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)設(shè)計(jì)提綱背景介紹基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)數(shù)據(jù)源OLTP數(shù)據(jù)庫遺留數(shù)據(jù)內(nèi)部辦公系統(tǒng)數(shù)據(jù)外部數(shù)據(jù)數(shù)據(jù)源OLTP數(shù)據(jù)庫數(shù)據(jù)源多種類型：關(guān)系型、多維、記錄、XML

以及其它一些工具類型關(guān)系型：模式，物理表，視圖，字段，索引，觸發(fā)器，外關(guān)鍵字，主關(guān)鍵字，數(shù)據(jù)類型，字段值，數(shù)據(jù)記錄，記錄的集合數(shù)據(jù)源多種類型：關(guān)系型、多維、記錄、XML

以及其它一些工Relational元模型Relational元模型Relational元模型（續(xù)1）Relational元模型（續(xù)1）Relational元模型（續(xù)2）Relational元模型（續(xù)2）基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)課件關(guān)系型數(shù)據(jù)源的主要接口BaseTable：查詢和修改表的屬性、觸發(fā)器和結(jié)構(gòu)

Catalog：查詢和修改包含的元素

Column：查詢和設(shè)置屬性

Row：查詢和修改一條記錄的內(nèi)容

RowSet：查詢和修改包含的記錄關(guān)系型數(shù)據(jù)源的主要接口BaseTable：查詢和修改表的屬ETL

讀取數(shù)據(jù)清潔數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)裝載數(shù)據(jù)ETL讀取數(shù)據(jù)ETL組件的接口

黑盒變換：

Transformation，DataObjectSet，TransformationUse

白盒變換：

FeatureMap，ClassifierMap，ClassifierFeatureMap，TransformationMap

變換的執(zhí)行順序控制：

TransformationTask，TransformationStep，TransformationActivity，StepPrecedence，PrecedenceConstraintETL組件的接口黑盒變換：

Transformation中央數(shù)據(jù)倉庫

數(shù)據(jù)粒度最細(xì)且多層次數(shù)據(jù)是歷史的

數(shù)據(jù)是時(shí)間相關(guān)的

大數(shù)據(jù)量

數(shù)據(jù)是整合的

通用的、全局的

中央數(shù)據(jù)倉庫數(shù)據(jù)粒度最細(xì)且多層次操作數(shù)據(jù)存儲(chǔ)ODS操作型系統(tǒng)ODS1/21/2企業(yè)數(shù)據(jù)倉庫操作數(shù)據(jù)存儲(chǔ)ODS操作型系統(tǒng)ODS1/21/2企業(yè)數(shù)據(jù)集市企業(yè)數(shù)據(jù)倉庫最細(xì)粒度數(shù)據(jù)集市部門2粒度2數(shù)據(jù)集市部門1粒度1部門3粒度3外部數(shù)據(jù)源數(shù)據(jù)集市數(shù)據(jù)集市企業(yè)最細(xì)粒度數(shù)據(jù)集市部門2粒度2數(shù)據(jù)集市部門1粒度數(shù)據(jù)集市的特點(diǎn)

面向部門應(yīng)用

規(guī)模小，投資少

使用方便且成本低

數(shù)據(jù)集市的特點(diǎn)面向部門應(yīng)用元數(shù)據(jù)庫

類型：中央元數(shù)據(jù)庫本地元數(shù)據(jù)庫內(nèi)容：抽取過程：任務(wù)、執(zhí)行順序、映射關(guān)系、轉(zhuǎn)換規(guī)則描述數(shù)據(jù)：方位圖、數(shù)據(jù)之間的商業(yè)關(guān)系、商業(yè)規(guī)則、數(shù)據(jù)的改變數(shù)據(jù)倉庫管理：安全性、運(yùn)行狀態(tài)、抽取過程的調(diào)度、I/O對象及其關(guān)系元數(shù)據(jù)庫類型：數(shù)據(jù)倉庫管理

訪問控制和安全性管理

數(shù)據(jù)增長管理

抽取過程的管理

性能管理

故障恢復(fù)

擴(kuò)充和演變管理

數(shù)據(jù)倉庫管理訪問控制和安全性管理數(shù)據(jù)倉庫管理接口

抽取過程的調(diào)度（WarehouseProcess，WarehouseEvent，InternalEvent，ScheduleEvent，ExternalEvent）

抽取過程的執(zhí)行（TransformationExecution，StepExecution，ActivityExecution）

數(shù)據(jù)元素的變化（Measurement，ChangeRequest）數(shù)據(jù)倉庫管理接口抽取過程的調(diào)度（WarehouseProcOLAP組件接口

立方體的定義：

Cube，CubeDimAssoc，CubeRegion，Dimension，Hierarchy，Level，Mearsure，LevelBasedHierarchy，HierarchyLevelAsso，ValueBasedHierarchy，MemberSelection，MemberSelGrp，立方體到物理數(shù)據(jù)源的映射

StructureMap，LevelBasedHierarchy，ValueBasedHierarchyOLAP組件接口立方體的定義：

Cube，CubeDimA數(shù)據(jù)挖掘組件的主要類及接口MiningModel：模型屬性和模型的輸入

MiningSettings：對象屬性，輸入?yún)?shù)的說明

ApplicationInputSpecification，ApplicationAttribute：使用模型時(shí)的參數(shù)

MiningModelResult：挖掘的結(jié)果

SupervisedMiningModel:描述預(yù)言性算法產(chǎn)生的模型

StatisticsSettings,AssociationRulesSettings,ClusteringSettings,ClassificationSettings,RegressionSettings：對應(yīng)模型的設(shè)置數(shù)據(jù)挖掘組件的主要類及接口MiningModel：模型屬性基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)的

特點(diǎn)及優(yōu)點(diǎn)

統(tǒng)一的數(shù)據(jù)集市和數(shù)據(jù)倉庫

中央元數(shù)據(jù)庫驅(qū)動(dòng)機(jī)制靈活高效的數(shù)據(jù)交換方式易于升級(jí)高度的可集成性高度的可擴(kuò)展性基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)的

特點(diǎn)及優(yōu)點(diǎn)統(tǒng)一的數(shù)據(jù)集市基于CORBA的企業(yè)數(shù)據(jù)倉庫擴(kuò)展結(jié)構(gòu)

對象服務(wù)企業(yè)數(shù)據(jù)倉庫平臺(tái)CWM（IDL）通用數(shù)據(jù)倉庫工具CWM（IDL）對象請求代理（ORB）基于CORBA的企業(yè)數(shù)據(jù)倉庫擴(kuò)展結(jié)構(gòu)對象服務(wù)企業(yè)數(shù)據(jù)提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)設(shè)計(jì)提綱背景介紹系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)系統(tǒng)部署圖系統(tǒng)部署圖基于CWM的

數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)基于CWM的

數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)我的工作

提出了一個(gè)基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)基于該體系結(jié)構(gòu)，參與設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)

電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)我的工作提出了一個(gè)基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)設(shè)計(jì)提綱背景介紹背景介紹

數(shù)據(jù)倉庫的應(yīng)用越來越廣泛不同數(shù)據(jù)倉庫工具之間無法進(jìn)行數(shù)據(jù)交換企業(yè)的應(yīng)用受到工具的限制利用元數(shù)據(jù)可以實(shí)現(xiàn)數(shù)據(jù)交換背景介紹數(shù)據(jù)倉庫的應(yīng)用越來越廣泛提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)設(shè)計(jì)

提綱背景介紹數(shù)據(jù)倉庫理論

數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫的建設(shè)數(shù)據(jù)倉庫的應(yīng)用國內(nèi)數(shù)據(jù)倉庫建設(shè)的問題數(shù)據(jù)倉庫理論數(shù)據(jù)倉庫的定義元數(shù)據(jù)

定義 描述數(shù)據(jù)的數(shù)據(jù)研究元數(shù)據(jù)的原因管理、使用數(shù)據(jù)的需求系統(tǒng)分布和互通的要求元數(shù)據(jù)重用、共享的要求元數(shù)據(jù)定義 元數(shù)據(jù)的建模和標(biāo)準(zhǔn)化

建模的兩大方向元數(shù)據(jù)參考模型元數(shù)據(jù)模型標(biāo)準(zhǔn)化OMGMDC元數(shù)據(jù)的建模和標(biāo)準(zhǔn)化建模的兩大方向提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)設(shè)計(jì)

提綱背景介紹元數(shù)據(jù)的層次

Student（“張東”，“男”，…）Student（“李芳”，“女”，…）……Record（“Student”，F(xiàn)ield（“name”，String），(Field（“sex”，String）…)MetaClass（“Record”，[MetaAttr(（“name”）,String),MetaAttr((“fields”),list<Field>)]MetaClass（“Field”，…）通用的元元模型信息，數(shù)據(jù)（M0）模型（M1）元模型（M2）元元模型（M3）元數(shù)據(jù)的層次Student（“張東”，“男”，…）RecoOMG規(guī)范和元數(shù)據(jù)層次的關(guān)系

元數(shù)據(jù)層次MOF術(shù)語示例M3元元模型MOF模型M2

元模型，元元數(shù)據(jù)UML元模型，CWM元模型M1

模型，元數(shù)據(jù)UML模型，CWM模型M0對象，數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)OMG規(guī)范和元數(shù)據(jù)層次的關(guān)系元數(shù)據(jù)層次示例M3元元模型MOCWM和相關(guān)規(guī)范的關(guān)系CWM和MOF的關(guān)系

CWM和UML的關(guān)系直接繼承了UML核心元模型使用UML圖形標(biāo)記使用UML中的OCL（對象約束語言）

CWM和XMI的關(guān)系CWM和相關(guān)規(guī)范的關(guān)系CWM和MOF的關(guān)系CWM的組成CWM元模型基礎(chǔ)包資源包分析包管理包

CWMDTD和CWMXMLCWMIDLCWM的組成CWM元模型提綱

背景介紹數(shù)據(jù)倉庫、元數(shù)據(jù)理論介紹

CWM、MOF、UML、XMI規(guī)范介紹

基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)電信綜合業(yè)務(wù)信息服務(wù)平臺(tái)設(shè)計(jì)提綱背景介紹基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)數(shù)據(jù)源OLTP數(shù)據(jù)庫遺留數(shù)據(jù)內(nèi)部辦公系統(tǒng)數(shù)據(jù)外部數(shù)據(jù)數(shù)據(jù)源OLTP數(shù)據(jù)庫數(shù)據(jù)源多種類型：關(guān)系型、多維、記錄、XML

以及其它一些工具類型關(guān)系型：模式，物理表，視圖，字段，索引，觸發(fā)器，外關(guān)鍵字，主關(guān)鍵字，數(shù)據(jù)類型，字段值，數(shù)據(jù)記錄，記錄的集合數(shù)據(jù)源多種類型：關(guān)系型、多維、記錄、XML

以及其它一些工Relational元模型Relational元模型Relational元模型（續(xù)1）Relational元模型（續(xù)1）Relational元模型（續(xù)2）Relational元模型（續(xù)2）基于CWM的數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)課件關(guān)系型數(shù)據(jù)源的主要接口BaseTable：查詢和修改表的屬性、觸發(fā)器和結(jié)構(gòu)

Catalog：查詢和修改包含的元素

Column：查詢和設(shè)置屬性

Row：查詢和修改一條記錄的內(nèi)容

RowSet：查詢和修改包含的記錄關(guān)系型數(shù)據(jù)源的主要接口BaseTable：查詢和修改表的屬ETL

讀取數(shù)據(jù)清潔數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)裝載數(shù)據(jù)ETL讀取數(shù)據(jù)ETL組件的接口

黑盒變換：

Transformation，DataObjectSet，TransformationUse

白盒變換：

FeatureMap，ClassifierMap，ClassifierFeatureMap，TransformationMap

變換的執(zhí)行順序控制：

TransformationTask，TransformationStep，TransformationActivity，StepPrecedence，PrecedenceConstraintETL組件的接口黑盒變換：

Transformation中央數(shù)據(jù)倉庫

數(shù)據(jù)粒度最細(xì)且多層次數(shù)據(jù)是歷史的

數(shù)據(jù)是時(shí)間相關(guān)的

大數(shù)據(jù)量

數(shù)據(jù)是整合的

通用的、全局的

中央數(shù)據(jù)倉庫數(shù)據(jù)粒度最細(xì)且多層次操作數(shù)據(jù)存儲(chǔ)ODS操作型系統(tǒng)ODS1/21/2企業(yè)數(shù)據(jù)倉庫操作數(shù)據(jù)存儲(chǔ)ODS操作型系統(tǒng)ODS1/21/2企業(yè)數(shù)據(jù)集市企業(yè)數(shù)據(jù)倉庫最細(xì)粒度數(shù)據(jù)集市部門2粒度2數(shù)據(jù)集市部門1粒度1部門3粒度3外部數(shù)據(jù)源數(shù)據(jù)集市數(shù)據(jù)集市企業(yè)最細(xì)粒度數(shù)據(jù)集市部門2粒度2數(shù)據(jù)集市部門1粒度數(shù)據(jù)集市的特點(diǎn)

面向部門應(yīng)用

規(guī)模小，投資少

使用方便且成本低

數(shù)據(jù)集市的特點(diǎn)面向部門應(yīng)用元數(shù)據(jù)庫

類型：中央元數(shù)據(jù)庫本地元數(shù)據(jù)庫內(nèi)容：抽取過程：任務(wù)、執(zhí)行順序、映射關(guān)系、轉(zhuǎn)換規(guī)則描述數(shù)據(jù)：方位圖、數(shù)據(jù)之間的商業(yè)關(guān)系、商業(yè)規(guī)則、數(shù)據(jù)的改變數(shù)據(jù)倉庫管理：安全性、運(yùn)行狀態(tài)、抽取過程的調(diào)度、I/O對象及其關(guān)系元數(shù)據(jù)庫類型：數(shù)據(jù)倉庫管理

訪問控制和安全性管理

數(shù)據(jù)增長管理

抽取過程的管理

性能管理

故障恢復(fù)

擴(kuò)充和演變管理

數(shù)據(jù)倉庫管理訪問控制和安全性管理數(shù)據(jù)倉庫管理接口

抽取過程的調(diào)度（WarehouseProcess，WarehouseEvent，InternalEvent，ScheduleEvent，ExternalEvent）

抽取過程的執(zhí)行（TransformationExecution，StepExecution，ActivityExecution）

數(shù)據(jù)元素的變化（Measurement，ChangeRequest）數(shù)據(jù)倉庫管理接口抽取過程的調(diào)度（WarehouseProcOLAP組件接口

立方體的定義：

Cube，CubeDimAssoc，CubeRegion，Dimension，Hierarchy，Level，Mearsure，LevelBasedHierarchy，HierarchyLevelAsso，ValueBasedHierarchy，MemberSelection，MemberSelGrp