元數(shù)據(jù)管理平臺調研課件

1、元數(shù)據(jù)管理平臺演講人2021-08-0901.什么是元數(shù)據(jù)02.元數(shù)據(jù)管理架構目錄什么是元數(shù)據(jù)01什么是元數(shù)據(jù)概念+連接什么是元數(shù)據(jù)信息的維度傳統(tǒng)元數(shù)據(jù)元數(shù)據(jù)類型存儲介質元數(shù)據(jù)關系元數(shù)據(jù)類型業(yè)務元數(shù)據(jù)：業(yè)務規(guī)則、指標、術語等技術元數(shù)據(jù)：數(shù)據(jù)結構、接口信息等管理元數(shù)據(jù)：人員職責、管理流程等傳統(tǒng)元數(shù)據(jù)存儲介質模型設計工具：PowerDesigner等系統(tǒng)數(shù)據(jù)庫：mysql、oracle等ETL工具：datastage等規(guī)范文檔：excel、xml等傳統(tǒng)元數(shù)據(jù)元數(shù)據(jù)關系組合關系：庫包含表、表包含字段等依賴關系：指標加工、數(shù)據(jù)遷移等過程的數(shù)據(jù)流向傳統(tǒng)元數(shù)據(jù)什么是元數(shù)據(jù)廣義元數(shù)據(jù)1、簡單的庫表2、整個數(shù)

2、據(jù)平臺3、服務的管理元數(shù)據(jù)管理架構02元數(shù)據(jù)管理架構采集存儲管理和應用元數(shù)據(jù)管理架構采集采集原理01采集策略02采集原理如何采集采集過程采集步驟（串行）采集原理如何采集1、篩選元數(shù)據(jù)類型012、選擇不同適配器024、元數(shù)據(jù)存儲數(shù)據(jù)庫043、采集入庫程序03采集原理采集過程2、創(chuàng)建數(shù)據(jù)源021、篩選元數(shù)據(jù)類型013、配置采集任務034、執(zhí)行采集任務045、元數(shù)據(jù)存儲數(shù)據(jù)庫05采集原理采集步驟（串行）2、入臨時表025、得到元數(shù)據(jù)的變更信息051、獲取元數(shù)據(jù)014、更新元數(shù)據(jù)ID043、與正式表比對036、將元數(shù)據(jù)和變更信息入正式表06采集策略01 準備采集服務（主備）02 采集目標數(shù)據(jù)源與采集服

3、務映射031、元數(shù)據(jù)編碼+元數(shù)據(jù)類型+元數(shù)據(jù)父級路徑2、MD5加密生成的字符串作為元數(shù)據(jù)的ID3、通過ID將元數(shù)據(jù)和正式表數(shù)據(jù)作比對4、得到變化的元數(shù)據(jù)5、寫入到數(shù)據(jù)庫中的正式表采集任務執(zhí)行（并行，取消臨時表）元數(shù)據(jù)管理架構存儲元模型設計元數(shù)據(jù)表劃分和存儲存儲應用CWM元模型定義：對應一對一轉換成關系型數(shù)據(jù)庫表 舉例 1、T_SchemaList（數(shù)據(jù)庫記錄）2、T_TableList（表記錄）3、T_ColumnList（字段記錄）4、T_PrimaryKeyList（主鍵記錄）優(yōu)點：系統(tǒng)容易實現(xiàn)，庫表設計難度低 缺點：不支持擴展，支持有限范圍元數(shù)據(jù)管理 MOF元模型定義：存儲CWM元模型，

4、可支持任何類型的元數(shù)據(jù)擴展舉例優(yōu)點：支持擴展，支持所有種類的元數(shù)據(jù)管理缺點：系統(tǒng)實現(xiàn)復雜，庫表設計難度大舉例1、T_MM_CLASSILIER（類表）：schema、table、column、primarykey作為類存儲在此表2、T_MM_DATATYPE（數(shù)據(jù)類型表）3、T_MM_ENUMER（枚舉表）4、T_MM_PACKAGE（包）5、T_MM_CLASSES（類）6、T_MM_ATTRIBUTE（類屬性）7、T_MM_RELATION_COMP（類組合關系）8、T_MM_RELATION_DEP（類依賴關系）MOF元模型元數(shù)據(jù)系統(tǒng)管理表：元模型管理表（采用mysql+redis）元數(shù)據(jù)應用表：元數(shù)據(jù)關聯(lián)關系，其血緣關系、影響關系和數(shù)據(jù)地圖（存儲展示使用圖數(shù)據(jù)庫，檢索使用ES）元數(shù)據(jù)事實表：通過元數(shù)據(jù)采集適配器采集來的原始的元數(shù)據(jù)（HBase）元數(shù)據(jù)表劃分和存儲存儲應用圖數(shù)據(jù)庫存儲關聯(lián)關系 節(jié)點 關系屬性labelHBase存儲元數(shù)據(jù)對象 不變屬性：每一類元數(shù)據(jù)都固有