元數(shù)據(jù)管理平臺(tái)的建立

1、元數(shù)據(jù)管理平臺(tái)的建立元數(shù)據(jù)簡(jiǎn)介元數(shù)據(jù)被定義為：描述數(shù)據(jù)的數(shù)據(jù)，對(duì)數(shù)據(jù)及信息資源的描述性信息。元數(shù)據(jù)( Metadata )是描述其它數(shù)據(jù)的數(shù)據(jù)( data about other data ) ，或者說(shuō)是用于提供某種資源的有關(guān)信息的結(jié)構(gòu)數(shù)據(jù)( structured data ) 。元數(shù)據(jù)是描述信息資源或數(shù)據(jù)等對(duì)象的數(shù)據(jù)，其使用目的在于：識(shí)別資源；評(píng)價(jià)資源；追蹤資源在使用過(guò)程中的變化；實(shí)現(xiàn)簡(jiǎn)單高效地管理大量網(wǎng)絡(luò)化數(shù)據(jù)； 實(shí)現(xiàn)信息資源的有效發(fā)現(xiàn)、 查找、 一體化組織和對(duì)使用資源的有效管理。元數(shù)據(jù)的基本特點(diǎn)主要有：、元數(shù)據(jù)一經(jīng)建立，便可共享。元數(shù)據(jù)的結(jié)構(gòu)和完整性依賴(lài)于信息資源的價(jià)值和使用環(huán)境； 元數(shù)

2、據(jù)的開(kāi)發(fā)與利用環(huán)境往往是一個(gè)變化的分布式環(huán)境； 任何一種格式都不可能完全滿足不同團(tuán)體的不同需要；、元數(shù)據(jù)首先是一種編碼體系。元數(shù)據(jù)是用來(lái)描述數(shù)字化信息資源，特別是網(wǎng)絡(luò)信息資源的編碼體系， 這導(dǎo)致了元數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)編碼體系的根本區(qū)別； 元數(shù)據(jù)的最為重要的特征和功能是為數(shù)字化信息資源建立一種機(jī)器可理解框架。元數(shù)據(jù)體系構(gòu)建了企業(yè)業(yè)務(wù)的邏輯框架和基本模型,從而決定了企業(yè)業(yè)務(wù)的功能特征、運(yùn)行模式和系統(tǒng)運(yùn)行的總體性能。 企業(yè)業(yè)務(wù)的運(yùn)作都基于元數(shù)據(jù)來(lái)實(shí)現(xiàn)。 其主要作用有： 描述功能、整合功能、控制功能和代理功能。由于元數(shù)據(jù)也是數(shù)據(jù)，因此可以用類(lèi)似數(shù)據(jù)的方法在數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)和獲取。如果提供數(shù)據(jù)元的組織同時(shí)提

3、供描述數(shù)據(jù)元的元數(shù)據(jù)， 將會(huì)使數(shù)據(jù)元的使用變得準(zhǔn)確而高效。 用戶在使用數(shù)據(jù)時(shí)可以首先查看其元數(shù)據(jù)以便能夠獲取自己所需的信息。在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域中，元數(shù)據(jù)按用途分成技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。首先，元數(shù)據(jù)能提供基于用戶的信息，如記錄數(shù)據(jù)項(xiàng)的業(yè)務(wù)描述信息的元數(shù)據(jù)能幫助用戶使用數(shù)據(jù)。其次，元數(shù)據(jù)能支持系統(tǒng)對(duì)數(shù)據(jù)的管理和維護(hù)，如關(guān)于數(shù)據(jù)項(xiàng)存儲(chǔ)方法的元數(shù)據(jù)能支持系統(tǒng)以最有效的方式訪問(wèn)數(shù)據(jù)。具體來(lái)說(shuō)，在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中，元數(shù)據(jù)機(jī)制主要支持以下五類(lèi)系統(tǒng)管理功能(1)描述哪些數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中；(2)定義要進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)和從數(shù)據(jù)倉(cāng)庫(kù)中產(chǎn)生的數(shù)據(jù)；(3)記錄根據(jù)業(yè)務(wù)事件發(fā)生而隨之進(jìn)行的數(shù)據(jù)抽取工作時(shí)間安排；(4)記錄

4、并檢測(cè)系統(tǒng)數(shù)據(jù)一致性的要求和執(zhí)行情況；(5)衡量數(shù)據(jù)質(zhì)量。元數(shù)據(jù)管理平臺(tái)體系結(jié)構(gòu)分析應(yīng)用enterWeb門(mén)戶、用戶管理集成分析.管理BASB霎時(shí)元數(shù)據(jù)獲取開(kāi)放元數(shù)據(jù)獲取1無(wú)數(shù)據(jù) 存儲(chǔ)陳CMP子系筑他據(jù)怫制子系韁O元數(shù)據(jù)維護(hù)數(shù)據(jù)里市子系維BOSS非結(jié)構(gòu)化元數(shù)據(jù)wcrd/PDF結(jié)構(gòu)化元敖據(jù)CSV/文本等圖1元數(shù)據(jù)管理平臺(tái)體系結(jié)構(gòu)關(guān)鍵特性可擴(kuò)展的元模型： 元數(shù)據(jù)管理平臺(tái)采用可以擴(kuò)展的元模型設(shè)計(jì)。能夠滿足項(xiàng)目快速實(shí)施的需要，更可以適應(yīng)長(zhǎng)期用戶需求變化的需要。端到端的元數(shù)據(jù)管理： 元數(shù)據(jù)管理平臺(tái)作為真正端到端的元數(shù)據(jù)管理工具，提供企業(yè)級(jí)的元數(shù)據(jù)統(tǒng)一視圖 ,平臺(tái)是第一個(gè)提供清晰地分析和跟蹤業(yè)務(wù)運(yùn)作歷史數(shù)據(jù)

5、的實(shí)際可行的解決方案。實(shí)時(shí)元數(shù)據(jù)獲取： 元數(shù)據(jù)管理平臺(tái)采用多種操作方式簡(jiǎn)化元數(shù)據(jù)導(dǎo)入的復(fù)雜性，實(shí)時(shí)連接其他軟件工具的 ActiveLinx 技術(shù)是實(shí)時(shí)存取其他業(yè)務(wù)應(yīng)用系統(tǒng)元數(shù)據(jù)。主流開(kāi)放性：元數(shù)據(jù)管理平臺(tái)軟件是100%JAVA、按J2EE模式構(gòu)建、基于Web的瘦客戶端架構(gòu)，元數(shù)據(jù)存儲(chǔ)于主流關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)；能夠?qū)?、?dǎo)出符合CWM 國(guó)際規(guī)范的 XML文件；元數(shù)據(jù)管理平臺(tái)提供應(yīng)用編程接口（ API ） ，易于擴(kuò)展和應(yīng)用集成。元數(shù)據(jù)管理元數(shù)據(jù)管理實(shí)現(xiàn)針對(duì)元數(shù)據(jù)的基本管理功能。如元數(shù)據(jù)的添加、刪除、修改屬性等維護(hù)功能； 元數(shù)據(jù)之間關(guān)系的建立、 刪除和跟蹤等關(guān)系維護(hù)功能； 提供元數(shù)據(jù)發(fā)布流程管理，可以

6、更好地管理和跟蹤元數(shù)據(jù)的整個(gè)生命周期； 元數(shù)據(jù)自身質(zhì)量核查、 元數(shù)據(jù)查詢、 元數(shù)據(jù)統(tǒng)計(jì)、元數(shù)據(jù)使用情況分析、元數(shù)據(jù)變更、 元數(shù)據(jù)版本和生命周期管理等功能。其應(yīng)用案例如下：元數(shù)據(jù)連接大部分主流關(guān)系型數(shù)據(jù)庫(kù)（如 Oracle 、 DB2 、 SQL SERVER、 MYSQL 、POSTGRESQL 等） ， OLAP 應(yīng)用，非關(guān)系型結(jié)構(gòu)（如文本文件、 XML 文件等）和半結(jié)構(gòu)化數(shù)據(jù)。支持其他工業(yè)標(biāo)準(zhǔn)，比如主流ETL工具，BI工具等。支持元數(shù)據(jù)獲取調(diào)度功能，實(shí)現(xiàn)自動(dòng)化獲取元數(shù)據(jù)作業(yè)的配置；實(shí)現(xiàn)元數(shù)據(jù)獲取作業(yè)的 調(diào)度和管理；支持自動(dòng)完成元數(shù)據(jù)抽取、 轉(zhuǎn)換和加載；數(shù)據(jù)變更捕獲功能， 實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)元數(shù)據(jù)

7、的變化，減輕批量裝載元數(shù)據(jù)和映射的負(fù)載，觸發(fā)實(shí)時(shí)的數(shù)據(jù)集成過(guò)程，傳遞相關(guān)的變化到元數(shù)據(jù)和映射處理。如*”部gE也宜|%行鋁國(guó)山Otiecn LifeQ DiuNa TiwwaEaiiR-ffwMtorf皿功力皿HJUW1JtwnN iXtl -_ I ndiH4U圖7.2元數(shù)據(jù)調(diào)度功能自動(dòng)化獲取數(shù)據(jù)集成工具元數(shù)據(jù)，支持自動(dòng)化獲取PowerCenter等常見(jiàn)的數(shù)據(jù)集成工具的元數(shù)據(jù)獲取。靈活的任務(wù)調(diào)度，提供圖形化調(diào)度定制工具，為元數(shù)據(jù)抽取制定調(diào)度執(zhí)行的時(shí)間、頻率 和方式，完全實(shí)現(xiàn)自動(dòng)化的任務(wù)調(diào)度，支持時(shí)間、命令行等觸發(fā)方式。支持自定義元模型，對(duì)未知或者不提供預(yù)定義元模型的系統(tǒng)，提供自定義元模型能力

8、。L*n 4 MT討的-Cpftr期ng *41.印隼圖7.3元數(shù)據(jù)自定義元模型W*i TeI I口 j w Inlfcc Fcrtife* hori Ok曲1tlM餐幫him 。心 Imlhd input fkkl 15 0 AU Elko Input Pwrt Icoa C.i m Ati IniiKi 口H9 f ./ Irgiii J -心 inlM OuLpm Pwl kM 門(mén)1* Aft linrhci Piojsct Icon 二 10a Ab Inrba Source Eom 卜，出 Inlln Sub Gfdph kor0 0B：Kit口閩i度iiMBlMV * Au Kh

9、-i lb0Q HWW； J Ab Hute Fddev kert OE 1M而修率him儲(chǔ)藏庫(kù)版本和配置管理，數(shù)據(jù)變更捕獲功能，實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)元數(shù)據(jù)的變化，減輕批量裝載元數(shù)據(jù)和映射的負(fù)載，觸發(fā)實(shí)時(shí)的數(shù)據(jù)集成過(guò)程，傳遞相關(guān)的變化到元數(shù)據(jù)和映射處理。! intIr vt用 4E F bac ;-iTT-jtFf匚匚-r四? rsiiTtldllJ -JLJIJ _3lJPJJ.- E *：. AV- firrsci?rjrtr -y ”1r； ，Cl4” Mi：*但 Hl IlWIHIWb Mb .ViEllfiUKIKT 用.xnciKiiinjiPr* 3 pH 3l1C1JiH- -*IP“

10、 Jil Uri|iuH1*rZritved 1Mb lUKdN.Im1一l|iuAin)41u iKij9tfSfPDqH?0,nraeicknr,Wkfn SmMllflMPTIltf 廣-立IMfcrf14*tnn出即匚鄴鴻,iWilfilWk Utf|： T，y*u*|BM；電NsHKBinr. 3B 里rm坤rim;加琳!1升MWHM 午 J.dtl l的IfMHMU.WI.IV4I4T*f幅H電勒* /劉吊1，|叫孑11，吒th|Ui Wb|pd,j-rTTr-l/wUili圖7.4元數(shù)據(jù)數(shù)據(jù)變更支持對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)探查，加深對(duì)基本數(shù)據(jù)的理解，幫助快速評(píng)估數(shù)據(jù)血緣中不同節(jié)點(diǎn)的數(shù)據(jù)質(zhì)量

11、。fIJtlEfl叫l(wèi)lLlBElMldEl圖7.5元數(shù)據(jù)的數(shù)據(jù)探查權(quán)限及審計(jì)管理：可設(shè)定元數(shù)據(jù)管理的讀寫(xiě)執(zhí)行的權(quán)限控制，區(qū)分開(kāi)發(fā)、執(zhí)行、瀏覽等的不同權(quán)限限制，避免不相關(guān)人員的誤操作，并能記錄操作人員的使用情況。并且能審計(jì)操作人員的操作日志。E tflUK WAN WWH 柳 r .ffHW . 笠士討牙:1戶 IAKWM AftZBfiMfi MMs Em. 31Vlm IMoooooooooooooooooooXHtrr IfifKl Jtaripii . DNi Ftew wmc*- g Fftw-Mieci uiiWhi口 11毗111| Mi X- IMF修一I W RmoO QQO

12、-OQO。oooooooooo圖7.6元數(shù)據(jù)的權(quán)限管理支持信息的瀏覽、信息查詢。圖7.7元數(shù)據(jù)瀏覽查詢?cè)獢?shù)據(jù)分析元數(shù)據(jù)分析功能主要實(shí)現(xiàn)針對(duì)元數(shù)據(jù)的基本分析功能。包括血緣分析（血統(tǒng)分析）、影響分析、實(shí)體關(guān)聯(lián)分析、實(shí)體影響分析、主機(jī)拓?fù)浞治?、指?biāo)一致性分析等。各類(lèi)應(yīng)用軟件元素產(chǎn)生的元數(shù)據(jù)進(jìn)入元數(shù)據(jù)平臺(tái)后，元數(shù)據(jù)管理可通過(guò)元數(shù)據(jù)服務(wù)功能，為需要這些元數(shù)據(jù)的工具軟件或構(gòu)件提供元數(shù)據(jù)服務(wù)。如將前面所述的各種工具軟件的定義結(jié)果，以相應(yīng)的標(biāo)準(zhǔn)協(xié)議進(jìn)行打包形成方案（應(yīng)用腳本），提供給其它應(yīng)用環(huán)境中的物理表建立工具、ETL工具、多維模型建立工具、結(jié)果展現(xiàn)工具等底層工具，從而實(shí)現(xiàn)應(yīng)用的重用 和共享。同時(shí)，元數(shù)據(jù)服

13、務(wù)還可為業(yè)務(wù)應(yīng)用功能提供輔助的元數(shù)據(jù)幫助信息，如業(yè)務(wù)功能中加工結(jié)果和指標(biāo)的說(shuō)明、提示，及其血緣分析等，讓用戶可明確、直觀地了解數(shù)據(jù)的來(lái)源、 加工過(guò)程及加工算法等信息。7.4.1 數(shù)據(jù)血緣分析數(shù)據(jù)血緣 （Lineage ， Provenance ， Pedigree） 亦可譯為（血統(tǒng)、起源、世系、譜系） ，是近幾年隨著數(shù)據(jù)庫(kù)和網(wǎng)絡(luò)的發(fā)展而發(fā)展起來(lái)的一個(gè)研究領(lǐng)域， 其內(nèi)容主要包括數(shù)據(jù)血統(tǒng)的計(jì)算、存儲(chǔ)、傳播和查詢等。對(duì)于數(shù)據(jù)庫(kù)系統(tǒng)，有時(shí)需要追溯查詢結(jié)果的來(lái)源，以衡量數(shù)據(jù)的可信度、數(shù)據(jù)的質(zhì)量等。數(shù)據(jù)血統(tǒng)研究的目的主要是通過(guò)數(shù)據(jù)血統(tǒng)追蹤， 在分布數(shù)據(jù)共享時(shí)可以解決數(shù)據(jù)的可信度、質(zhì)量、版本信息等，對(duì)于各種導(dǎo)出數(shù)據(jù)集也能解決這些問(wèn)題。通過(guò)數(shù)據(jù)血統(tǒng)追蹤，根據(jù)集成視圖查詢數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)時(shí)， 可以獲得結(jié)果數(shù)據(jù)的來(lái)源信息。 更新數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中的統(tǒng)一視圖時(shí)，反應(yīng)原始數(shù)據(jù)庫(kù)的變化，可以維護(hù)時(shí)空一致性。 通過(guò)數(shù)據(jù)血統(tǒng)追蹤， 可以獲得數(shù)據(jù)在數(shù)據(jù)流中的演化過(guò)程。數(shù)據(jù)血統(tǒng)記載了對(duì)數(shù)據(jù)處理的整個(gè)歷史， 包括數(shù)據(jù)的起源和處理這些數(shù)據(jù)的所有后繼過(guò)程（數(shù)據(jù)產(chǎn)生、并隨著時(shí)間推移而演變的整個(gè)過(guò)程）。數(shù)據(jù)血統(tǒng)的相關(guān)研究近幾年吸引了數(shù)據(jù)集成、 Web 搜索、語(yǔ)義標(biāo)注、海量存儲(chǔ)等領(lǐng)域?qū)W者的廣泛關(guān)注。數(shù)據(jù)血統(tǒng)涉及的計(jì)算機(jī)研究方向有： 數(shù)據(jù)挖掘、 工作流、 時(shí)間自動(dòng)機(jī)、 不確定數(shù)據(jù)分析、復(fù)雜事件處理、