




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、數(shù)據(jù)倉庫與元數(shù)據(jù)管理1. 前言在事務(wù)處理系統(tǒng)中的數(shù)據(jù),主要用于記錄和查詢業(yè)務(wù)情況。隨著數(shù)據(jù)倉庫(DW)技術(shù)的不斷成熟,企業(yè)的數(shù)據(jù)逐漸變成了決策的主要依據(jù)。數(shù)據(jù)倉庫中的數(shù)據(jù)是從許多業(yè)務(wù)處理系統(tǒng)中抽取、轉(zhuǎn)換而來,對于這樣一個(gè)復(fù)雜的企業(yè)數(shù)據(jù)環(huán)境,如何以安全、高 效的方式來對它們進(jìn)行管理和訪問就變得尤為重要。 解決這一問題的關(guān)鍵是對元數(shù)據(jù)進(jìn) 行科學(xué)有效的管理。本文首先介紹了元數(shù)據(jù)的定義、作用和意義;然后討論了數(shù)據(jù)倉庫系統(tǒng)中元數(shù)據(jù)管 理的現(xiàn)狀和關(guān)于元數(shù)據(jù)的標(biāo)準(zhǔn)化情況; 最后提出了建立元數(shù)據(jù)管理系統(tǒng)的步驟和實(shí)施方 法。2. 元數(shù)據(jù)2.1 元數(shù)據(jù)的概念按照傳統(tǒng)的定義,元數(shù)據(jù)(Metadata)是關(guān)于數(shù)據(jù)的數(shù)
2、據(jù)。在數(shù)據(jù)倉庫系統(tǒng)中,元 數(shù)據(jù)可以幫助數(shù)據(jù)倉庫管理員和數(shù)據(jù)倉庫的開發(fā)人員非常方便地找到他們所關(guān)心的數(shù) 據(jù);元數(shù)據(jù)是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù),可將其按用途的不同分為 兩類:技術(shù)元數(shù)據(jù)(Technical Metadata和業(yè)務(wù)元數(shù)據(jù)(Business Metadata。技術(shù)元數(shù)據(jù)是存儲關(guān)于數(shù)據(jù)倉庫系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù), 是用于開發(fā)和管理數(shù)據(jù)倉庫 使用的數(shù)據(jù),它主要包括以下信息:數(shù)據(jù)倉庫結(jié)構(gòu)的描述,包括倉庫模式、視圖、維、層次結(jié)構(gòu)和導(dǎo)出數(shù)據(jù)的定義, 以及數(shù)據(jù)集市的位置和內(nèi)容;業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉庫和數(shù)據(jù)集市的體系結(jié)構(gòu)和模式 匯總用的算法,包括度量和維定義算法,數(shù)據(jù)粒度、主題領(lǐng)域、聚集、匯
3、總、 預(yù)定義的查詢與報(bào)告;由操作環(huán)境到數(shù)據(jù)倉庫環(huán)境的映射,包括源數(shù)據(jù)和它們的內(nèi)容、數(shù)據(jù)分割、數(shù) 據(jù)提取、清理、轉(zhuǎn)換規(guī)則和數(shù)據(jù)刷新規(guī)則、安全(用戶授權(quán)和存取控制) 。業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù),它提供了介于使用者和實(shí)際系統(tǒng)之間的語義層,使得不懂計(jì)算機(jī)技術(shù)的業(yè)務(wù)人員也能夠“讀懂”數(shù)據(jù)倉庫中的數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)主要包括以下信息:使用者的業(yè)務(wù)術(shù)語所表達(dá)的數(shù)據(jù)模型、對象名和屬性名;訪問數(shù)據(jù)的原則和數(shù)據(jù)的來源;系統(tǒng)所提供的分析方法以及公式和報(bào)表的信息;具體包括以下信息:企業(yè)概念模型:這是業(yè)務(wù)元數(shù)據(jù)所應(yīng)提供的重要的信息,它表示企業(yè)數(shù)據(jù)模型的高層信息、整個(gè)企業(yè)的業(yè)務(wù)概念和相互關(guān)系。以這個(gè)企業(yè)模型
4、為基礎(chǔ),不懂?dāng)?shù)據(jù)庫技術(shù)和SQL語句的業(yè)務(wù)人員對數(shù)據(jù)倉庫中的數(shù)據(jù)也能做到心中有數(shù)。多維數(shù)據(jù)模型:這是企業(yè)概念模型的重要組成部分,它告訴業(yè)務(wù)分析人員在數(shù)據(jù)集市當(dāng)中有哪些維、維的類別、數(shù)據(jù)立方體以及數(shù)據(jù)集市中的聚合規(guī)則。這里的數(shù)據(jù)立方體表示某主題領(lǐng)域業(yè)務(wù)事實(shí)表和維表的多維組織形式。業(yè)務(wù)概念模型和物理數(shù)據(jù)之間的依賴:以上提到的業(yè)務(wù)元數(shù)據(jù)只是表示出了數(shù)據(jù)的業(yè)務(wù)視圖,這些業(yè)務(wù)視圖與實(shí)際的數(shù)據(jù)倉庫或數(shù)據(jù)庫、多維數(shù)據(jù)庫中的表、字段、維、層次等之間的對應(yīng)關(guān)系也應(yīng)該在元數(shù)據(jù)知識庫中有所體現(xiàn)。2.2元數(shù)據(jù)的作用與其說數(shù)據(jù)倉庫是軟件開發(fā)項(xiàng)目,還不如說是系統(tǒng)集成項(xiàng)目,因?yàn)樗闹饕ぷ魇前阉璧臄?shù)據(jù)倉庫工具集成在一起,完
5、成數(shù)據(jù)的抽取、轉(zhuǎn)換和加載,OLAP分析和數(shù)據(jù)挖掘等。如圖1所示,業(yè)務(wù)元數(shù)據(jù)元數(shù)據(jù)知識庫技術(shù)元數(shù)據(jù)它的典型結(jié)構(gòu)由操作環(huán)境層、數(shù)據(jù)倉庫層和業(yè)務(wù)層等組成。V其中,第一層(操作環(huán)境層)是指整個(gè)企業(yè)內(nèi)有關(guān)業(yè)務(wù)的 OLTP 系統(tǒng)和一些外部數(shù)據(jù)源;第二層是通過把第一層的相關(guān)數(shù)據(jù)抽取到一個(gè)中心區(qū)而組成的數(shù)據(jù)倉庫層;第三 層是為了完成對業(yè)務(wù)數(shù)據(jù)的分析而由各種工具組成的業(yè)務(wù)層。 圖中左邊的部分是元數(shù)據(jù) 管理,它起到了承上啟下的作用,具體體現(xiàn)在以下幾個(gè)方面:(1) 元數(shù)據(jù)是進(jìn)行數(shù)據(jù)集成所必需的數(shù)據(jù)倉庫最大的特點(diǎn)就是它的集成性。這一特點(diǎn)不僅體現(xiàn)在它所包含的數(shù)據(jù)上,還 體現(xiàn)在實(shí)施數(shù)據(jù)倉庫項(xiàng)目的過程當(dāng)中。一方面,從各個(gè)數(shù)
6、據(jù)源中抽取的數(shù)據(jù)要按照一定 的模式存入數(shù)據(jù)倉庫中, 這些數(shù)據(jù)源與數(shù)據(jù)倉庫中數(shù)據(jù)的對應(yīng)關(guān)系及轉(zhuǎn)換規(guī)則都要存儲 在元數(shù)據(jù)知識庫中;另一方面,在數(shù)據(jù)倉庫項(xiàng)目實(shí)施過程中,直接建立數(shù)據(jù)倉庫往往費(fèi) 時(shí)、費(fèi)力,因此在實(shí)踐當(dāng)中,人們可能會按照統(tǒng)一的數(shù)據(jù)模型,首先建設(shè)數(shù)據(jù)集市,然 后在各個(gè)數(shù)據(jù)集市的基礎(chǔ)上再建設(shè)數(shù)據(jù)倉庫。不過,當(dāng)數(shù)據(jù)集市數(shù)量增多時(shí)很容易形成蜘蛛網(wǎng)”現(xiàn)象,而元數(shù)據(jù)管理是解決“蜘蛛網(wǎng)”的關(guān)鍵。如果在建立數(shù)據(jù)集市的過程 中,注意了元數(shù)據(jù)管理,在集成到數(shù)據(jù)倉庫中時(shí)就會比較順利;相反,如果在建設(shè)數(shù)據(jù) 集市的過程中忽視了元數(shù)據(jù)管理,那么最后的集成過程就會很困難,甚至不可能實(shí)現(xiàn)。(2) 元數(shù)據(jù)定義的語義層可以
7、幫助最終用戶理解數(shù)據(jù)倉庫中的數(shù)據(jù)最終用戶不可能象數(shù)據(jù)倉庫系統(tǒng)管理員或開發(fā)人員那樣熟悉數(shù)據(jù)庫技術(shù), 因此迫切 需要有一個(gè)“翻譯” ,能夠使他們清晰地理解數(shù)據(jù)倉庫中數(shù)據(jù)的含意。元數(shù)據(jù)可以實(shí)現(xiàn) 業(yè)務(wù)模型與數(shù)據(jù)模型之間的映射,因而可以把數(shù)據(jù)以用戶需要的方式“翻譯”出來,從 而幫助最終用戶理解和使用數(shù)據(jù)。(3) 元數(shù)據(jù)是保證數(shù)據(jù)質(zhì)量的關(guān)鍵數(shù)據(jù)倉庫或數(shù)據(jù)集市建立好以后, 使用者在使用的時(shí)候, 常常會產(chǎn)生對數(shù)據(jù)的懷疑。這些懷疑往往是由于底層的數(shù)據(jù)對于用戶來說是不“透明”的,使用者很自然地對結(jié)果 產(chǎn)生懷疑。而借助元數(shù)據(jù)管理系統(tǒng),最終的使用者對各個(gè)數(shù)據(jù)的來龍去脈以及數(shù)據(jù)抽取和轉(zhuǎn)換的規(guī)則都會很方便地得到,這樣他們
8、自然會對數(shù)據(jù)具有信心;當(dāng)然也可便捷地發(fā) 現(xiàn)數(shù)據(jù)所存在的質(zhì)量問題。甚至國外有學(xué)者還在元數(shù)據(jù)模型的基礎(chǔ)上引入質(zhì)量維 6,從更高的角度上來解決這一問題。(4) 元數(shù)據(jù)可以支持需求變化隨著信息技術(shù)的發(fā)展和企業(yè)職能的變化,企業(yè)的需求也在不斷地改變。如何構(gòu)造 個(gè)隨著需求改變而平滑變化的軟件系統(tǒng),是軟件工程領(lǐng)域中的一個(gè)重要問題。傳統(tǒng)的信 息系統(tǒng)往往是通過文檔來適應(yīng)需求變化,但是僅僅依靠文檔還是遠(yuǎn)遠(yuǎn)不夠的。成功的元 數(shù)據(jù)管理系統(tǒng)可以把整個(gè)業(yè)務(wù)的工作流、數(shù)據(jù)流和信息流有效地管理起來,使得系統(tǒng)不 依賴特定的開發(fā)人員,從而提高系統(tǒng)的可擴(kuò)展性。3.數(shù)據(jù)倉庫元數(shù)據(jù)管理現(xiàn)狀由以上幾節(jié)我們了解到元數(shù)據(jù)幾乎可以被稱為是數(shù)據(jù)倉
9、庫乃至商業(yè)智能( BI)系統(tǒng)的“靈魂”,正是由于元數(shù)據(jù)在整個(gè)數(shù)據(jù)倉庫生命周期中有著重要的地位,各個(gè)廠商的 數(shù)據(jù)倉庫解決方案都提到了關(guān)于對元數(shù)據(jù)的管理。但遺憾的是對于元數(shù)據(jù)的管理,各個(gè)解決方案都沒有明確提出一個(gè)完整的管理模式; 它們提供的僅僅是對特定的局部元數(shù)據(jù)的管理。當(dāng)前市場上與元數(shù)據(jù)有關(guān)的主要工具見圖2。建模工具:ERwinPo werDesig nerRose數(shù)據(jù)轉(zhuǎn)換工具:DataStageDecisi on BaseExtract元數(shù)據(jù)管理前端展現(xiàn)工具:BOBrioCognosDSS Age nt元數(shù)據(jù)存儲工具:Rep ositoryMetaStageWCC圖2當(dāng)前市場與元數(shù)據(jù)有關(guān)的主要
10、工具如圖2所示,與元數(shù)據(jù)相關(guān)的數(shù)據(jù)倉庫工具大致可分為四類:1.數(shù)據(jù)抽取工具:把業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)抽取、轉(zhuǎn)換、集成到數(shù)據(jù)倉庫中,如Ardent的 DataStage CA (原 Platinum)的 Decision Base和 ETI 的 Extract 等。這些工具僅提供了技術(shù)元數(shù)據(jù),幾乎沒有提供對業(yè)務(wù)元數(shù)據(jù)的支持。2.3.4.前端展現(xiàn)工具 :包括 OLAP 分析、報(bào)表和商業(yè)智能工具等,如 MicroStrategy 的DSS Age nt、Cog nos 的 PowerPlay、Busi ness Objects的 BO,以及 Brio 等。它們通過把關(guān)系表映射成與業(yè)務(wù)相關(guān)的事實(shí)和維來支持多
11、維業(yè)務(wù)視圖,進(jìn)而對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行多維分析。這些工具都提供了業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)相對 應(yīng)的語義層。建模工具 :為非技術(shù)人員準(zhǔn)備的業(yè)務(wù)建模工具,這些工具可以提供更高層的與 特定業(yè)務(wù)相關(guān)的語義。如 CA的ERwin、Sysbase的PowerDesigner以、Rational 的Rose等。元數(shù)據(jù)存儲工具 :元數(shù)據(jù)通常存儲在專用的數(shù)據(jù)庫中, 該數(shù)據(jù)庫就如同一個(gè) “黑盒子”,外部無法知道這些工具所用到和產(chǎn)生的元數(shù)據(jù)是如何存儲的。還有一類Repository, CA 的被稱為元數(shù)據(jù)知識庫(Metadata Repository)的工具,它們獨(dú)立于其它工具,為 元數(shù)據(jù)提供一個(gè)集中的存儲空間。這些
12、工具包括微軟的Repository、Ardent 的 MetaStage和 Sybase的 WCC 等。4. 元數(shù)據(jù)管理的標(biāo)準(zhǔn)化沒有規(guī)矩不成方圓。元數(shù)據(jù)管理之所以困難,一個(gè)很重要的原因就是缺乏統(tǒng)一的標(biāo)準(zhǔn)。在這種情況下,各公司的元數(shù)據(jù)管理解決方案各不相同。近幾年,隨著元數(shù)據(jù)聯(lián)盟MDC(Meta Data Coalition)的開放信息模型 OIM(Open Information Model)和 OMG 組織的公共倉庫模型 CWM (Common Warehouse Model)標(biāo)準(zhǔn)的逐漸完善,以及 MDC和 OMG 組織的合并,為數(shù)據(jù)倉庫廠商提供了統(tǒng)一的標(biāo)準(zhǔn),從而為元數(shù)據(jù)管理鋪平了道 路。從元
13、數(shù)據(jù)的發(fā)展歷史不難看出,元數(shù)據(jù)管理主要有兩種方法:(1) 對于相對簡單的環(huán)境,按照通用的元數(shù)據(jù)管理標(biāo)準(zhǔn)建立一個(gè)集中式的元數(shù)據(jù)知識庫。(2) 對于比較復(fù)雜的環(huán)境,分別建立各部分的元數(shù)據(jù)管理系統(tǒng),形成分布式元數(shù)據(jù) 知識庫,然后,通過建立標(biāo)準(zhǔn)的元數(shù)據(jù)交換格式,實(shí)現(xiàn)元數(shù)據(jù)的集成管理。MDC 的 OIM 標(biāo)準(zhǔn)和面我們分別介紹數(shù)據(jù)倉庫領(lǐng)域中兩個(gè)最主要的元數(shù)據(jù)標(biāo)準(zhǔn):OMG 的 CWM 標(biāo)準(zhǔn)。4.1 MDC 的 OIM 存儲模型MDC 成立于 1995年,是一個(gè)致力于建立與廠商無關(guān)的、不依賴于具體技術(shù)的企業(yè) 元數(shù)據(jù)管理標(biāo)準(zhǔn)的非贏利技術(shù)聯(lián)盟,該聯(lián)盟有 150 多個(gè)會員,其中包括微軟和 IBM 等 著名軟件廠商。
14、1999年7月MDC接受了微軟的建議,將OIM作為元數(shù)據(jù)標(biāo)準(zhǔn)。OIM 的目的是通過公共的元數(shù)據(jù)信息來支持不同工具和系統(tǒng)之間數(shù)據(jù)的共享和重 用。它涉及了信息系統(tǒng)(從設(shè)計(jì)到發(fā)布)的各個(gè)階段,通過對元數(shù)據(jù)類型的標(biāo)準(zhǔn)描述來 達(dá)到工具和知識庫之間的數(shù)據(jù)共享。 OIM 所聲明的元數(shù)據(jù)類型都采用統(tǒng)一建模語言UML ( Universal Modeling Language進(jìn)行描述,并被組織成易于使用、易于擴(kuò)展的多個(gè)主題范圍(Subject Areas,這些主題范圍包括:分析與設(shè)計(jì)( Analysis and Design ):主要用于軟件分析、設(shè)計(jì)和建模。該主題范圍又進(jìn)一步劃分為:UML包(Package、
15、UML擴(kuò)展包、通用元素(GenericEleme nts)包、公共數(shù)據(jù)類型(Com mon Data Typ es包和實(shí)體關(guān)系建模(En tity Relationship Modeling 包等。對象與組件(Object and Component:涉及面向?qū)ο箝_發(fā)技術(shù)的方方面面。該主題范圍只包含組件描述建模(Com pon e nt Descri ption Modeli ng)包。數(shù)據(jù)庫與數(shù)據(jù)倉庫(Database and Warehousing):為數(shù)據(jù)庫模式管理、復(fù)用和 建立數(shù)據(jù)倉庫提供元數(shù)據(jù)概念支持。該主題范圍進(jìn)一步劃分為:關(guān)系數(shù)據(jù)庫模式(Relational Database S
16、chem)包、OLAP 模式(OLAP Schema)包、數(shù)據(jù)轉(zhuǎn)換(Data TransformationS)包、面向記錄的數(shù)據(jù)庫模式(Record-Oriented DatabaseSchema 包、XML 模式(XML Schema)包和報(bào)表定義(Report Definitions)包等。業(yè)務(wù)工程( Business Engineering ):為企業(yè)運(yùn)作提供一個(gè)藍(lán)圖。該主題范圍進(jìn)步劃分為: 業(yè)務(wù)目標(biāo)( Business Goa)l 包、組織元素( Organizational Elements)包、業(yè)務(wù)規(guī)則(Business Rules包、商業(yè)流程(Business Processe)
17、包等。知識管理(Kno wledge Man agemen):涉及企業(yè)的信息結(jié)構(gòu)。該主題范圍進(jìn)一步 劃分為:知識描述( Knowledge Descriptions 包和語義定義( Semantic Definitions 包。上述主題范圍中的包都是采用 UML 定義的,可以說 UML 語言是整個(gè) OIM 標(biāo)準(zhǔn)的基礎(chǔ)。雖然 OIM 標(biāo)準(zhǔn)并不是專門針對數(shù)據(jù)倉庫的,但數(shù)據(jù)倉庫是它的主要應(yīng)用領(lǐng)域之。目前市場上基于該標(biāo)準(zhǔn)的元數(shù)據(jù)管理工具已經(jīng)比較成熟,例如微軟的Repositry和CA的Repositry均采用了 OIM標(biāo)準(zhǔn)。4.2 OMG組織的CWM模型OMG是一個(gè)擁有500多會員的國際標(biāo)準(zhǔn)化組織,著
18、名的 CORBA標(biāo)準(zhǔn)即出自該組織。公共倉庫元模型(Common Warehouse Metamod®的主要目的是在異構(gòu)環(huán)境下,幫助不同的數(shù)據(jù)倉庫工具、平臺和元數(shù)據(jù)知識庫進(jìn)行元數(shù)據(jù)交換。2001年3月,OMG頒布了 CWM 1.0標(biāo)準(zhǔn)。CWM模型既包括元數(shù)據(jù)存儲,也包括元數(shù)據(jù)交換,它是基于以下 三個(gè)工業(yè)標(biāo)準(zhǔn)制定的:(1) UML :它對CWM模型進(jìn)行建模。(2) MOF (元對象設(shè)施):它是OMG元模型和元數(shù)據(jù)的存儲標(biāo)準(zhǔn),提供在異構(gòu)環(huán)境 下對元數(shù)據(jù)知識庫的訪問接口。(3) XMI(XML元數(shù)據(jù)交換):它可以使元數(shù)據(jù)以XML文件流的方式進(jìn)行交換。OMG元數(shù)據(jù)知識庫體系結(jié)構(gòu)如圖3所示。圖3
19、 OMG的元數(shù)據(jù)倉儲體系結(jié)構(gòu)CWM為數(shù)據(jù)倉庫和商業(yè)智能(BI)工具之間共享元數(shù)據(jù),制定了一整套關(guān)于語法 和語義的規(guī)范。它主要包含以下四個(gè)方面的規(guī)范:(1) CWM元模型(Metamodel):描述數(shù)據(jù)倉庫系統(tǒng)的模型;CWM XML : CWM元模型的XML表示;CWM DTD : DW/BI共享元數(shù)據(jù)的交換格式CWM IDL : DW/BI共享元數(shù)據(jù)的應(yīng)用程序訪問接口( API)下面重點(diǎn)討論CWM元模型的組成,它與 OIM規(guī)范一樣,也是由很多包組成的。 組成CWM元模型的包結(jié)構(gòu)如圖4所示。倉庫過程倉庫操作OLA P數(shù)據(jù)信息可視化業(yè)務(wù)術(shù)語轉(zhuǎn)換分析挖掘?qū)ο?UML)關(guān)系型資源記錄型多維XML業(yè)務(wù)信
20、息數(shù)據(jù)表達(dá)式鍵類型映射軟件發(fā)布類型索引UML 1.3/ -/一 、f )(基礎(chǔ):仃為元素,模型管理管理分析資源基礎(chǔ)對象模型圖4 CWM元模型的包結(jié)構(gòu) 元模型(MetaModel)包:構(gòu)造和描述其它 CWM包中的元模型類的基礎(chǔ)。它 是UML的一個(gè)子集,由以下四個(gè)子包組成:a)b)C)核心(Core)包:它的類和關(guān)聯(lián)是該模型的核心,其它所有的包都以它為基 礎(chǔ)。行為(Behavioral)包:包括描述CWM對象行為的類與關(guān)聯(lián),并且它為描 述所定義的行為提供了基礎(chǔ)。實(shí)例(Instanee)包:包括表示CWM分類器(Classfier)的類與關(guān)聯(lián)。關(guān)系(Relationships)包:包括描述CWM對象
21、之間關(guān)系的類與關(guān)聯(lián)。d)(2)基礎(chǔ)包(Foundation):它包括表示CWM概念和結(jié)構(gòu)的模型元素,這些模型元 素又可被其他CWM包所共享,它由以下六個(gè)子包組成:a)b)C)d)e)業(yè)務(wù)信息(Bus in ess In formation)包:包括表示模型元素業(yè)務(wù)信息的類與關(guān)聯(lián)。數(shù)據(jù)類型(Data Types)包:包括表示建模者可以用來創(chuàng)建所需數(shù)據(jù)類型的 結(jié)構(gòu)的類與關(guān)聯(lián)。表達(dá)式(Expression包:包括表示表達(dá)式樹的類與關(guān)聯(lián)。關(guān)鍵字和索引(Keys and Indexe®包:包括表示鍵和索引的類與關(guān)聯(lián)。軟件發(fā)布(Software Deployment)包:包括軟件如何在數(shù)據(jù)倉庫中
22、發(fā)布的類與關(guān)聯(lián)。f)類型映射(Type Mapping)包:包括表示不同系統(tǒng)之間數(shù)據(jù)類型映射的類與關(guān)聯(lián)。(3)a)關(guān)系(Relational)包:包括表示關(guān)系型數(shù)據(jù)資源的元數(shù)據(jù)的類與關(guān)聯(lián)。b)記錄(Record)包:包括表示記錄型數(shù)據(jù)資源的元數(shù)據(jù)的類與關(guān)聯(lián)。c)多維Multidimensional )包:包括表示多維數(shù)據(jù)資源的元數(shù)據(jù)的類與關(guān)聯(lián)。XML包:包括表示 XML 數(shù)據(jù)資源的元數(shù)據(jù)的類與關(guān)聯(lián)。(4)d)分析(An alysis )包:它由以下五個(gè)子包組成:a)轉(zhuǎn)換(Transformation)包:包括表示數(shù)據(jù)抽取和轉(zhuǎn)換工具的元數(shù)據(jù)的類與關(guān)聯(lián)。b)OLAP 包:包括表示 OLAP 工具的
23、元數(shù)據(jù)的類與關(guān)聯(lián)。c)d)數(shù)據(jù)挖掘(Data Mining)包:包括表示數(shù)據(jù)挖掘工具的元數(shù)據(jù)的類與關(guān)聯(lián)。信息可視化(In formation Visualization)包:包括表示信息可視化工具的元數(shù)據(jù)的類與關(guān)聯(lián)。e)業(yè)務(wù)術(shù)語(Bus in ess Nome nclature包:包括表示分類業(yè)務(wù)的元數(shù)據(jù)的類與關(guān)聯(lián)。(5)管理(Managemen)包:用于描述數(shù)據(jù)倉庫管理的包,它包括以下兩個(gè)子包:a)倉庫過程(Warehouse Process包:包括表示倉庫過程的元數(shù)據(jù)的類與關(guān)聯(lián)。b)倉庫操作(Warehouse Op eration包:包括表示倉庫操作結(jié)果的元數(shù)據(jù)的類 與關(guān)聯(lián)。4.3 CW
24、M 與 OIM 之間的關(guān)系上兩節(jié)分別介紹了與數(shù)據(jù)倉庫相關(guān)的兩個(gè)主要標(biāo)準(zhǔn), CWM 實(shí)際上是專門為數(shù)據(jù)倉庫元數(shù)據(jù)而制定的一套標(biāo)準(zhǔn),而 OIM 并不是針對數(shù)據(jù)倉庫元數(shù)據(jù)的。 OIM 所關(guān)注的元數(shù)據(jù)的范圍比 CWM 要廣, CWM 只限定于數(shù)據(jù)倉庫領(lǐng)域, 而 OIM 模型卻包括有: 分析與設(shè)計(jì)模型、對象與組件、數(shù)據(jù)庫與數(shù)據(jù)倉庫、商業(yè)工程、知識管理等五個(gè)領(lǐng)域。OIM與 CWM 在建模語言的選擇(都選擇 UML 當(dāng)做自己的描述語言)、數(shù)據(jù)庫模型的支持、OLAP 分析模型的支持、數(shù)據(jù)轉(zhuǎn)換模型的支持方面都比較一致;但是 OIM 并不是基于資源包(Resource):用于描述數(shù)據(jù)資源的包,它包括以下四個(gè)子包:
25、OIM 必元對象設(shè)施(MOF)的,這意味著用OIM所描述的元數(shù)據(jù)需要通過其它的接口才能訪 問,而 CWM 所描述的元數(shù)據(jù)可以通過 CORBA IDL 來訪問;在數(shù)據(jù)交換方面, 須通過特定的轉(zhuǎn)換形成 XML 文件來交換元數(shù)據(jù), 而 CWM 可以用 XMI 來進(jìn)行交換。 盡 管如此,由于 OMG 與 MDC 兩個(gè)組織的合并, CWM 也會與 OIM 相互兼容以保護(hù)廠商 已有的投資。需要說明的是,MDC與OMG組織已經(jīng)合并,今后所有的工具都將遵循統(tǒng)一的 CWM標(biāo)準(zhǔn),不過支持 CWM 的工具才剛剛出現(xiàn),而支持 OIM 標(biāo)準(zhǔn)的工具已經(jīng)相對成熟。5. 針對元數(shù)據(jù)管理的相關(guān)研究工作在數(shù)據(jù)倉庫的研究課題當(dāng)中,
26、有許多是針對元數(shù)據(jù)的研究。文獻(xiàn)5描述了一個(gè)在數(shù)據(jù)倉庫環(huán)境中,基于微軟的Repositry的、元數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)轉(zhuǎn)換方法,它包含了技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù);文獻(xiàn) 6中描述了一個(gè)基于元數(shù)據(jù)的數(shù)據(jù)倉庫安全的解決 方法,它只限定在技術(shù)元數(shù)據(jù)級別;更有名的一個(gè)研究項(xiàng)目是數(shù)據(jù)倉庫質(zhì)量項(xiàng)目( DataWarehouse Quality,這個(gè)項(xiàng)目的核心是通過元數(shù)據(jù)模型來衡量整個(gè)數(shù)據(jù)倉庫中的數(shù)據(jù)質(zhì) 量。它是基于一個(gè)演繹數(shù)據(jù)庫 CONCEPTBASE 的,并且使用該數(shù)據(jù)庫特定的邏輯語言 進(jìn)行描述,目前該項(xiàng)目距離實(shí)用的階段還比較遠(yuǎn)。6. 元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)原則數(shù)據(jù)倉庫環(huán)境下的元數(shù)據(jù)管理系統(tǒng)的建設(shè)是十分困難的。 但是在
27、實(shí)際項(xiàng)目的實(shí)施過 程中,這個(gè)環(huán)節(jié)又是非常重要的。當(dāng)前情況下,我們認(rèn)為 OMG 組織的 CWM 標(biāo)準(zhǔn)將會 成為數(shù)據(jù)倉庫元數(shù)據(jù)領(lǐng)域事實(shí)上的標(biāo)準(zhǔn), 在元數(shù)據(jù)管理系統(tǒng)的建立過程中應(yīng)盡量參考這 個(gè)標(biāo)準(zhǔn),這樣使系統(tǒng)的可擴(kuò)展性增強(qiáng)??墒窃谂c之相關(guān)的工具成熟之前,我們完全可以 采用OIM中的元模型(因CWM對OIM是兼容的)以及支持它的元數(shù)據(jù)管理工具進(jìn)行 元數(shù)據(jù)管理系統(tǒng)的建設(shè),而且元數(shù)據(jù)所包含的范圍很廣。我們在建立元數(shù)據(jù)管理系統(tǒng)的 時(shí)候,絕對不能盲目追求大而全, 要堅(jiān)持目標(biāo)驅(qū)動(dòng)的原則, 在實(shí)施的時(shí)候要采取增量式、 漸進(jìn)式的建設(shè)原則。具體的建設(shè)步驟如下:1) 如果是在建設(shè)數(shù)據(jù)倉庫系統(tǒng)的初期,那么首先要確定系統(tǒng)的
28、邊界范圍,系統(tǒng)范圍確定的原則是首先保障重點(diǎn),不求大,只求精。2) 系統(tǒng)邊界確定以后,把現(xiàn)有系統(tǒng)的元數(shù)據(jù)整理出來,加入語義層的對應(yīng)。然后存到一個(gè)數(shù)據(jù)庫中,這個(gè)數(shù)據(jù)庫可以采用專用的元數(shù)據(jù)知識庫,也可以采用 一般的關(guān)系型數(shù)據(jù)庫。(3) 確定元數(shù)據(jù)管理的范圍。比如,我們只想通過元數(shù)據(jù)來管理數(shù)據(jù)倉庫中數(shù)據(jù)的轉(zhuǎn)換過程,以及有關(guān)數(shù)據(jù)的抽取路線,以使數(shù)據(jù)倉庫開發(fā)和使用人員明白倉 庫中數(shù)據(jù)的整個(gè)歷史過程。(4) 確定元數(shù)據(jù)管理的工具,采用一定的工具可以完成相應(yīng)的工作。當(dāng)前相關(guān)工具有微軟的Repositry,它帶有相應(yīng)的編程接口,可以借助于它來完成元模型出 入庫的功能;與之相似的還有 Platinum的OEE;另外還有Sybase的Wcc,它可MDIS的格式導(dǎo)出到以通過MDC以前的一個(gè)老標(biāo)準(zhǔn)一一MDIS來集成抽取工具與轉(zhuǎn)換工具,在一個(gè) 窗口中就可以表示數(shù)據(jù)抽取與轉(zhuǎn)換,并且可以把語義層以 一個(gè)前端工具當(dāng)中(比如 Cog nos的Improp tu)總之,建立元數(shù)據(jù)管理系統(tǒng)一定要堅(jiān)持關(guān)注標(biāo)準(zhǔn),又不被標(biāo)準(zhǔn)所束縛的原則,建立 符合自身目標(biāo)的元數(shù)據(jù)管理系統(tǒng)。參考文獻(xiàn)1 Stohr. T.Muller. R.and Rahm. E. An Integrative and
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年模具銷售與租賃合同樣本
- 2025年光伏組件購銷合同樣本
- 2025區(qū)域銷售代理合同范文
- 2025年家庭養(yǎng)老照料合同書
- 2025年官方車輛租賃合同樣本
- 4K8K電視技術(shù)-深度研究
- 金融監(jiān)管改革動(dòng)態(tài)-第1篇-深度研究
- 脂肪酸與攝食行為關(guān)系-深度研究
- 量子點(diǎn)LED壽命預(yù)測模型-深度研究
- 電影視覺快感的分析-深度研究
- 2025年湖南高速鐵路職業(yè)技術(shù)學(xué)院單招職業(yè)傾向性測試題庫附答案
- 《高鐵乘務(wù)安全管理與應(yīng)急處置(第3版)》全套教學(xué)課件
- 歷年湖北省公務(wù)員筆試真題2024
- 學(xué)校食品安全長效管理制度
- 2.2 說話要算數(shù) 第二課時(shí) 課件2024-2025學(xué)年四年級下冊道德與法治 統(tǒng)編版
- 滋補(bǔ)品項(xiàng)目效益評估報(bào)告
- 提綱作文(解析版)- 2025年天津高考英語熱點(diǎn)題型專項(xiàng)復(fù)習(xí)
- 2025年南京機(jī)電職業(yè)技術(shù)學(xué)院高職單招數(shù)學(xué)歷年(2016-2024)頻考點(diǎn)試題含答案解析
- 2025年春新人教版歷史七年級下冊全冊課件
- 2025年浙江臺州機(jī)場管理有限公司招聘筆試參考題庫含答案解析
- 《中式風(fēng)格陳設(shè)》課件
評論
0/150
提交評論