元數(shù)據(jù)技術(shù)架構(gòu)設(shè)計方案

1、元數(shù)據(jù)技術(shù)架構(gòu)設(shè)計方案元數(shù)據(jù)是什么元數(shù)據(jù)管理的架構(gòu)元數(shù)據(jù)的應(yīng)用價值元數(shù)據(jù)是什么？元數(shù)據(jù) = 概念 + 連接傳統(tǒng)元數(shù)據(jù)主要管理數(shù)據(jù)平臺中的元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)規(guī)則、術(shù)語、指標等技術(shù)元數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)、接口信息等管理元數(shù)據(jù)人員職責(zé)、管理流程等元數(shù)據(jù)類型模型設(shè)計工具ERWIN、Powerdesigner等系統(tǒng)數(shù)據(jù)庫oracle、db2等ETL工具powercenter、datastage等報表工具Cognos等規(guī)程文檔EXCEL、WORD等存儲介質(zhì)組合關(guān)系庫包含表、表包含字段等依賴關(guān)系指標加工、數(shù)據(jù)遷移等過程數(shù)據(jù)流向元數(shù)據(jù)關(guān)系廣義元數(shù)據(jù)將驅(qū)動微服務(wù)納入職能范疇不斷擴大的元數(shù)據(jù)管理邊界數(shù)據(jù)傳統(tǒng)元數(shù)據(jù)管理邊

2、界Microservices廣義元數(shù)據(jù)管理邊界元數(shù)據(jù)是什么元數(shù)據(jù)管理的架構(gòu)元數(shù)據(jù)的應(yīng)用價值應(yīng)用模型體系規(guī)范保證元數(shù)據(jù)管理的穩(wěn)定和擴展元數(shù)據(jù)來源眾多采集元數(shù)據(jù)類型多樣元數(shù)據(jù)頻繁變更元數(shù)據(jù)管理的關(guān)鍵環(huán)節(jié)基于統(tǒng)一標準實現(xiàn)元數(shù)據(jù)的共享、交換基于一套規(guī)范實現(xiàn)通用、擴展的元數(shù)據(jù)存儲存儲管理應(yīng)用元數(shù)據(jù)管理困難重重模型驅(qū)動保證穩(wěn)定和擴展采用MOF規(guī)范作為元數(shù)據(jù)管理的基礎(chǔ)MOF標準為不同類型元數(shù)據(jù)管理和交互奠定理論基礎(chǔ)MOF規(guī)范CWM規(guī)范UML規(guī)范XXX擴展規(guī)范易擴展的元數(shù)據(jù)采集標準統(tǒng)一的元數(shù)據(jù)存儲靈活方便的元數(shù)據(jù)應(yīng)用模型體系基于MOF規(guī)范的存儲方式是元模型存儲的優(yōu)先選擇將元模型對象一對一轉(zhuǎn)換為關(guān)系型數(shù)據(jù)庫表，

3、例如：庫、表、字段、主鍵、外鍵元模型轉(zhuǎn)化為下列表采用OMG所提出的MOF元元模型，存儲元模型，可以支持任何種類的元模型擴展優(yōu)點：系統(tǒng)實現(xiàn)容易，庫表設(shè)計難度低。缺點：不支持擴展，支持有限范圍元數(shù)據(jù)管理。 缺點：系統(tǒng)實現(xiàn)復(fù)雜，庫表設(shè)計難度大；優(yōu)點：支持擴展，支持所有種類元數(shù)據(jù)管理。 方式一：方式二：基于MOF的元數(shù)據(jù)三層架構(gòu)庫、表、字段、報表、ETL加工過程。CWM模型（M2）CMM微服務(wù)模型（M2）微服務(wù)元模型。 ID name classifier 1 Student Table 2 name Column 3 age Column元數(shù)據(jù)（M1） ID name parentID 2 name

4、 1 3 age 1 ID Atrribute1 . AtrributeN 2 Varchar2 128 3 Number 3元數(shù)據(jù)屬性MOF元元模型（M3）以MOF規(guī)范為基礎(chǔ)設(shè)計可擴展的元數(shù)據(jù)采集基于MOF元元模型規(guī)范設(shè)計元模型符合CWM模型范的的元模型規(guī)元數(shù)據(jù)獲取、集成、管理三層架構(gòu)下元數(shù)據(jù)管理的實現(xiàn)只需要元模型定義和元數(shù)據(jù)采集Student表內(nèi)含有name varchar（128）、age number（2）兩個字段包的建立類、類之間關(guān)系建立類屬性建立 ID name classifier 1 Student Table 2 name Column 3 age Column元數(shù)據(jù)管理需求

5、包的設(shè)計類、類之間關(guān)系設(shè)計類屬性的建立元數(shù)據(jù)采集 ID name parentID 2 name 1 3 age 1fromID fclassifier toID Tcalssifer元數(shù)據(jù)是什么元數(shù)據(jù)管理的架構(gòu)元數(shù)據(jù)的應(yīng)用價值元數(shù)據(jù)解決了現(xiàn)存的一些問題存儲分散集中管理，形成統(tǒng)一視圖，實現(xiàn)元數(shù)據(jù)共享關(guān)系獨立維護關(guān)系，關(guān)系鏈路自動分析，輔助開發(fā)運維多環(huán)境不一致標準制定，形成規(guī)范和落地手段，提升質(zhì)量元數(shù)據(jù)在大數(shù)據(jù)、微服務(wù)與業(yè)務(wù)等方面都能發(fā)揮很大作用元數(shù)據(jù)驅(qū)動業(yè)務(wù)業(yè)務(wù)流程分析業(yè)務(wù)流程優(yōu)化元數(shù)據(jù)驅(qū)動數(shù)據(jù)數(shù)據(jù)規(guī)范管理數(shù)據(jù)開放應(yīng)用元數(shù)據(jù)驅(qū)動微服務(wù)服務(wù)標準制定服務(wù)應(yīng)用優(yōu)化以元數(shù)據(jù)作為整個數(shù)據(jù)治理的核心元數(shù)據(jù)

6、大數(shù)據(jù)質(zhì)量大數(shù)據(jù)資產(chǎn)化大數(shù)據(jù)共享發(fā)布大數(shù)據(jù)標準大數(shù)據(jù)交換集成主數(shù)據(jù)業(yè)務(wù)信息的數(shù)據(jù)、編碼、屬性標準定義將大數(shù)據(jù)變成企業(yè)資產(chǎn)的一部分、將數(shù)據(jù)變現(xiàn)對大數(shù)據(jù)準確性、唯一性、及時性等數(shù)據(jù)的質(zhì)量各異構(gòu)數(shù)據(jù)之間按照一定的規(guī)范與數(shù)據(jù)標準進行數(shù)交換與集成，數(shù)據(jù)共性信息的分類、編碼、屬性標準定義。對于數(shù)據(jù)資源進行共享、發(fā)布，將數(shù)據(jù)以能力形式對外開放，提供給企業(yè)內(nèi)外的用戶使用用元數(shù)據(jù)管理應(yīng)用的上線、變更生產(chǎn)環(huán)境待上線環(huán)境開發(fā)環(huán)境JDBC手動上傳運行態(tài)設(shè)計態(tài)變更任務(wù)變更任務(wù)上游變更下游確認版本發(fā)布變更確認變更確認領(lǐng)導(dǎo)審核系統(tǒng)自動通知上游變更內(nèi)容系統(tǒng)自動發(fā)現(xiàn)變更系統(tǒng)自動發(fā)現(xiàn)變更開發(fā)新版本待上線新版本生產(chǎn)新版本跨庫比對時效性定時采集獲取變更全流程自動通知事中監(jiān)控一致性跨庫比對事后監(jiān)督歷史歸檔開發(fā)歸檔待上線歸檔生產(chǎn)歸檔開發(fā)恢復(fù)待上線恢復(fù)生產(chǎn)恢復(fù)跨庫比對數(shù)據(jù)庫元數(shù)據(jù)庫元數(shù)據(jù)庫元數(shù)據(jù)庫手動上傳用元數(shù)據(jù)管理微服務(wù)的全生命周期微服務(wù)A1使用者需求設(shè)計開發(fā)測試上架RTD運行下架EOL下線發(fā)布維護缺陷微服務(wù)A2規(guī)劃上線部署監(jiān)控提供者B微服務(wù)B1版本間元數(shù)據(jù)追溯分析使用元數(shù)據(jù)標準化元數(shù)