綜合分析系統(tǒng)技術(shù)規(guī)范元數(shù)據(jù)管理分冊(cè)

1、中國(guó)移動(dòng)綜合分析系統(tǒng)技術(shù)規(guī)范-元數(shù)據(jù)管理分冊(cè)業(yè)務(wù)需求版本號(hào)：V2.0.0中國(guó)移動(dòng)通信有限公司2010-06前 言本技術(shù)方案由中國(guó)移動(dòng)通信有限公司提出并歸口。本方案起草單位： 中國(guó)移動(dòng)通信集團(tuán)公司網(wǎng)絡(luò)部本方案主要起草人： 唐世萍、邱佳、沈萌、趙佳、陳燕琦、姚旭、方勝、孔祥凱、劉鳴東、丁朝陽(yáng)、李榮盛等本方案解釋單位：中國(guó)移動(dòng)通信集團(tuán)公司網(wǎng)絡(luò)部目 錄1范圍62引用文件73術(shù)語(yǔ)和縮略語(yǔ)83.1術(shù)語(yǔ)83.2縮略語(yǔ)84元數(shù)據(jù)管理104.1元數(shù)據(jù)管理范疇10元數(shù)據(jù)的定義10元數(shù)據(jù)管理目標(biāo)10元數(shù)據(jù)管理范疇11元數(shù)據(jù)管理內(nèi)容12數(shù)據(jù)源端元數(shù)據(jù)13ETL元數(shù)據(jù)13數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)14OLAP元數(shù)據(jù)14上層應(yīng)用元數(shù)

2、據(jù)144.2元數(shù)據(jù)管理模塊體系架構(gòu)15功能架構(gòu)15元數(shù)據(jù)獲取層16元數(shù)據(jù)存儲(chǔ)層17元數(shù)據(jù)功能層17元數(shù)據(jù)應(yīng)用層17技術(shù)架構(gòu)174.3元數(shù)據(jù)管理模塊主要功能19元數(shù)據(jù)基本功能19元數(shù)據(jù)的基本維護(hù)19元數(shù)據(jù)變更管理19元數(shù)據(jù)查詢20元數(shù)據(jù)統(tǒng)計(jì)20元數(shù)據(jù)質(zhì)量管理204.3.1.5.1.元數(shù)據(jù)一致性檢查204.3.1.5.2.元數(shù)據(jù)關(guān)系健全性檢查204.3.1.5.3.元數(shù)據(jù)屬性檢查21元數(shù)據(jù)權(quán)限管理22元數(shù)據(jù)分析功能224.3.2.1血統(tǒng)分析22影響分析22數(shù)據(jù)映射分析23差異分析23實(shí)體關(guān)聯(lián)分析234.4元數(shù)據(jù)管理模塊對(duì)外接口23外部元數(shù)據(jù)讀取接口23外部元數(shù)據(jù)寫(xiě)入接口24元數(shù)據(jù)對(duì)外服務(wù)接口254

3、.5用元數(shù)據(jù)的模塊周邊接口圖274.6元數(shù)據(jù)管理模塊技術(shù)要求28元數(shù)據(jù)獲取28元數(shù)據(jù)獲取方式28元數(shù)據(jù)自動(dòng)獲取管理功能29SQL腳本自動(dòng)解析304.6.1.3.1.SQL解析功能過(guò)程304.6.1.3.2.SQL腳本標(biāo)準(zhǔn)規(guī)范31元模型維護(hù)管理34元數(shù)據(jù)管理模塊系統(tǒng)集成34系統(tǒng)集成35界面集成35功能集成35數(shù)據(jù)集成354.7附錄一 元模型管理36元模型概述36CWM模型概述36綜合分析系統(tǒng)元模型36基礎(chǔ)層元模型374.7.3.1.1.對(duì)象模型包374.7.3.1.2.基礎(chǔ)服務(wù)包38采集轉(zhuǎn)換層元模型41數(shù)據(jù)層元模型434.7.3.3.1.數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)434.7.3.3.2.數(shù)據(jù)倉(cāng)庫(kù)管理元數(shù)據(jù)4

4、3訪問(wèn)層元模型444.7.3.4.1.OLAP包454.7.3.4.2.數(shù)據(jù)挖掘包454.7.3.4.3.信息可視化包46其他可選元模型474.8附錄二 FAQ47數(shù)據(jù)訂閱為何不納入元數(shù)據(jù)管理？47為何沒(méi)有相關(guān)元模型分冊(cè)？47為何管理元數(shù)據(jù)本期暫不考慮？47附圖目錄附圖1.CWM對(duì)象模型層的主要內(nèi)容15附圖2.CWM的基礎(chǔ)層元模型16附圖3.數(shù)據(jù)挖掘元數(shù)據(jù)領(lǐng)域關(guān)聯(lián)圖23附圖4.綜合分析系統(tǒng)元數(shù)據(jù)管理模塊功能結(jié)構(gòu)圖25附圖5.綜合分析系統(tǒng)元數(shù)據(jù)管理模塊技術(shù)結(jié)構(gòu)圖27附圖6.綜合分析系統(tǒng)元數(shù)據(jù)管理模塊邊界接口圖28附圖7.元數(shù)據(jù)獲取方式圖29附圖8.SQL腳本自動(dòng)解析獲取元數(shù)據(jù)過(guò)程32附圖9.元數(shù)

5、據(jù)服務(wù)接口技術(shù)實(shí)現(xiàn)圖401 范圍中國(guó)移動(dòng)綜合分析系統(tǒng)技術(shù)規(guī)范，定義中國(guó)移動(dòng)綜合分析系統(tǒng)的系統(tǒng)架構(gòu)、關(guān)鍵技術(shù)、邏輯模型、源系統(tǒng)接口、元數(shù)據(jù)與數(shù)據(jù)質(zhì)量管理、系統(tǒng)管理與安全管理和技術(shù)要求。2 引用文件下列文件中的條款通過(guò)本標(biāo)準(zhǔn)的引用而成為本標(biāo)準(zhǔn)的條款。凡是注日期的引用文件，其隨后所有的修改單（不包括勘誤的內(nèi)容）或修訂版均不適用于本標(biāo)準(zhǔn)，然而，鼓勵(lì)根據(jù)本標(biāo)準(zhǔn)達(dá)成協(xié)議的各方研究是否可使用這些文件的最新版本。凡是不注日期的引用文件，其最新版本適用于本標(biāo)準(zhǔn)。3 術(shù)語(yǔ)和縮略語(yǔ)3.1 術(shù)語(yǔ)下列術(shù)語(yǔ)、定義適用于本規(guī)范：術(shù)語(yǔ)代碼術(shù)語(yǔ)名詞術(shù)語(yǔ)解釋服務(wù)臺(tái)也稱為幫助臺(tái)，IT服務(wù)管理與用戶的接口，受理并處理用戶的服務(wù)請(qǐng)求。

6、事件管理和幫助臺(tái)一起組成事件處理流程，有效解決各類IT突發(fā)事件，盡快恢復(fù)IT服務(wù)。問(wèn)題管理尋求IT故障的根源，解決存在問(wèn)題的流程，能消除或減少I(mǎi)T事件的發(fā)生。配置管理管理各IT資產(chǎn)系統(tǒng)(配置元素，CI)的流程，包括相互間的關(guān)聯(lián)與依賴關(guān)系。變更管理對(duì)變更請(qǐng)求進(jìn)行記錄、跟蹤與管理的流程，消除或減少I(mǎi)T變更對(duì)生產(chǎn)環(huán)境和系統(tǒng)的影響和風(fēng)險(xiǎn)，保證變更的平穩(wěn)運(yùn)行。監(jiān)控管理完成對(duì)平臺(tái)部件、應(yīng)用的統(tǒng)一監(jiān)控、統(tǒng)一維護(hù)，包括集中監(jiān)測(cè)和故障定位與管理。運(yùn)維管理包括幫助臺(tái)/事件管理，配置管理，問(wèn)題管理和變更管理等流程，作為業(yè)務(wù)支撐網(wǎng)網(wǎng)管分階段實(shí)施所建議的第一階段。服務(wù)管理業(yè)務(wù)支撐網(wǎng)網(wǎng)管分階段實(shí)施所建議的第二階段，在企業(yè)

7、的IT環(huán)境中了解業(yè)務(wù)的IT服務(wù)級(jí)別需求，以此定義雙方同意的服務(wù)級(jí)別，并通過(guò)標(biāo)準(zhǔn)的流程進(jìn)行服務(wù)級(jí)別的監(jiān)視，匯報(bào)和改進(jìn)，最終實(shí)現(xiàn)量化管理， 實(shí)現(xiàn)連續(xù)的質(zhì)量改進(jìn)循環(huán)，把IT部門(mén)建設(shè)成為真正的服務(wù)中心。3.2 縮略語(yǔ)下列縮略語(yǔ)適用于本規(guī)范：縮寫(xiě)英文描述中文描述RESTRepresentational State Transfer表述性狀態(tài)轉(zhuǎn)移XMIXML Metadata InterchangeXML元數(shù)據(jù)交換OLAPOn-line Analysis Process在線分析處理ETLExtraction Transformation Loading抽取、轉(zhuǎn)換和加載DWData Warehouse數(shù)據(jù)倉(cāng)

8、庫(kù)CWMCommon Warehouse Metamodel公共倉(cāng)庫(kù)元模型4 元數(shù)據(jù)管理4.1 元數(shù)據(jù)管理范疇4.1.1 元數(shù)據(jù)的定義元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)（data about data），主要是描述數(shù)據(jù)屬性（property）信息，用來(lái)支持如指示數(shù)據(jù)來(lái)源、數(shù)據(jù)類型、數(shù)據(jù)有效期和有效性等屬性的管理和應(yīng)用等功能。元數(shù)據(jù)的描述范疇包括領(lǐng)域概念(Domain Concepts)、領(lǐng)域關(guān)系(Domain Roles)、領(lǐng)域規(guī)則(Domain Rules)的、領(lǐng)域語(yǔ)義(Semantics)和知識(shí)(Knowledge)。4.1.2 元數(shù)據(jù)管理目標(biāo)中國(guó)移動(dòng)的OSS2.0的數(shù)據(jù)管控體系（DMA）規(guī)劃中對(duì)數(shù)據(jù)

9、管控提出了數(shù)據(jù)要透明、數(shù)據(jù)質(zhì)量可評(píng)估、可建立數(shù)據(jù)質(zhì)量考評(píng)體系、數(shù)據(jù)可管理四大管理要求。綜合分析系統(tǒng)通過(guò)引入元數(shù)據(jù)管理來(lái)實(shí)現(xiàn)數(shù)據(jù)管控體系（DMA）中的數(shù)據(jù)要透明和可管理的要求，同時(shí)為建立數(shù)據(jù)質(zhì)量考評(píng)體系和數(shù)據(jù)質(zhì)量可評(píng)估提供支持。元數(shù)據(jù)管理的具體目標(biāo)包括：1. 實(shí)現(xiàn)元數(shù)據(jù)的全程統(tǒng)一管理把分散在不同系統(tǒng)、不同工具、不同人員中的元數(shù)據(jù)信息進(jìn)行統(tǒng)一管理，實(shí)現(xiàn)數(shù)據(jù)從業(yè)務(wù)層至技術(shù)層的全面貫通。具體至綜合分析系統(tǒng)，要完成系統(tǒng)的采集平臺(tái)、ODM-DB、ETL、數(shù)據(jù)倉(cāng)庫(kù)、OLAP、應(yīng)用和呈現(xiàn)整個(gè)過(guò)程的元數(shù)據(jù)管理；從而使得技術(shù)人員和業(yè)務(wù)人員可以統(tǒng)一地對(duì)綜合分析系統(tǒng)中的元數(shù)據(jù)進(jìn)行維護(hù)、監(jiān)督、探查和實(shí)現(xiàn)元數(shù)據(jù)的調(diào)用。2

10、. 實(shí)現(xiàn)數(shù)據(jù)透明管理要求通過(guò)對(duì)數(shù)據(jù)源定義、目標(biāo)定義、轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵信息的管理，達(dá)到數(shù)據(jù)透明的管理目標(biāo)，具體包括的數(shù)據(jù)結(jié)構(gòu)透明、數(shù)據(jù)含義透明、數(shù)據(jù)轉(zhuǎn)換規(guī)則透明等。3. 為數(shù)據(jù)質(zhì)量管理和考評(píng)提供支持 為數(shù)據(jù)質(zhì)量管理體系架構(gòu)中的功能層和應(yīng)用層提供信息支撐。以元數(shù)據(jù)管理為基礎(chǔ)建立數(shù)據(jù)質(zhì)量監(jiān)控模塊，進(jìn)行綜合分析系統(tǒng)數(shù)據(jù)質(zhì)量的全程監(jiān)控。4. 為綜合分析系統(tǒng)系統(tǒng)提供基礎(chǔ)信息支撐，提升系統(tǒng)的可用性、易用性通過(guò)對(duì)系統(tǒng)元數(shù)據(jù)的有效維護(hù)管理，以及全面的服務(wù)接口的提供，能夠使綜合分析系統(tǒng)的應(yīng)用范圍能到擴(kuò)展。隨著不斷完善和擴(kuò)充元數(shù)據(jù)對(duì)外服務(wù)接口內(nèi)容，使綜合分析系統(tǒng)有能力實(shí)現(xiàn)向外部模塊或子系統(tǒng)提供元數(shù)據(jù)內(nèi)容和元數(shù)據(jù)

11、分析服務(wù)。4.1.3 元數(shù)據(jù)管理范疇元數(shù)據(jù)管理的最終目標(biāo)是實(shí)現(xiàn)對(duì)OSS2.0支撐體系涉及的所有元數(shù)據(jù)的管理，實(shí)現(xiàn)整個(gè)OSS2.0支撐體系融入式的元數(shù)據(jù)管理。系統(tǒng)采用分步策略實(shí)現(xiàn)向最終目標(biāo)的演進(jìn)?，F(xiàn)階段元數(shù)據(jù)管理的范圍只限于管理綜合分析系統(tǒng)的元數(shù)據(jù)，具體管理的內(nèi)容包括數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)元數(shù)據(jù)、ETL過(guò)程、OLAP模型和綜合分析系統(tǒng)指標(biāo)、報(bào)表元數(shù)據(jù)等。綜合分析系統(tǒng)的元數(shù)據(jù)分類可以劃分為三類元數(shù)據(jù)：技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)。這兩種元數(shù)據(jù)的具體描述如下：1. 技術(shù)元數(shù)據(jù) 技術(shù)元數(shù)據(jù)是描述綜合分析系統(tǒng)中技術(shù)領(lǐng)域相關(guān)概念、關(guān)系和規(guī)則的數(shù)據(jù)，主要包括對(duì)數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)處理方面的特征描述，覆蓋綜合分析系統(tǒng)數(shù)據(jù)源接口、

12、數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市存儲(chǔ)、ETL、OLAP、數(shù)據(jù)封裝和前端展現(xiàn)等全部數(shù)據(jù)處理環(huán)節(jié)；對(duì)于技術(shù)元數(shù)據(jù)，需要包括以下信息：（1）數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)的描述，包括倉(cāng)庫(kù)模式、視圖、維、層次結(jié)構(gòu)和導(dǎo)出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容；（2）業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的體系結(jié)構(gòu)和模式；（3）匯總用的算法，包括度量和維定義算法，數(shù)據(jù)粒度、主題領(lǐng)域、聚集、匯總、預(yù)定義的查詢與報(bào)告；（4）由操作環(huán)境到數(shù)據(jù)倉(cāng)庫(kù)環(huán)境的映射，包括源數(shù)據(jù)和它們的內(nèi)容、數(shù)據(jù)分割、數(shù)據(jù)提取、清理、轉(zhuǎn)換規(guī)則和數(shù)據(jù)刷新規(guī)則。2. 業(yè)務(wù)元數(shù)據(jù) 業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了綜合分析系統(tǒng)中的數(shù)據(jù)，它提供了介于使用者和實(shí)際系統(tǒng)之間的語(yǔ)義層，使得業(yè)務(wù)使用人員不

13、需要了解技術(shù)實(shí)現(xiàn)原理，也能夠明白綜合分析系統(tǒng)中的數(shù)據(jù)脈絡(luò)和數(shù)據(jù)定義。業(yè)務(wù)元數(shù)據(jù)需要包括以下信息：（1）使用者的業(yè)務(wù)術(shù)語(yǔ)所表達(dá)的數(shù)據(jù)模型、對(duì)象名和屬性名；（2）訪問(wèn)數(shù)據(jù)的原則和數(shù)據(jù)的來(lái)源；（3）系統(tǒng)所提供的分析方法以及公式和報(bào)表的信息。附圖1. 綜合分析系統(tǒng)元數(shù)據(jù)管理范疇4.1.4 元數(shù)據(jù)管理內(nèi)容綜合分析系統(tǒng)的數(shù)據(jù)來(lái)源于不同的業(yè)務(wù)系統(tǒng)中，不同的業(yè)務(wù)系統(tǒng)使用不同的工具集成，元數(shù)據(jù)分布在各種工具中，依據(jù)不同的來(lái)源，根據(jù)綜合分析系統(tǒng)元數(shù)據(jù)涉及的環(huán)節(jié)可分為ETL元數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)、OLAP元數(shù)據(jù)、相關(guān)業(yè)務(wù)元數(shù)據(jù)等。4.1.4.1 ETL元數(shù)據(jù)ETL過(guò)程中的元數(shù)據(jù)，主要偏向于技術(shù)元數(shù)據(jù)，應(yīng)納入元數(shù)據(jù)管

14、理的范疇。管理的ETL產(chǎn)品應(yīng)包括“第三方ETL產(chǎn)品”和“自主開(kāi)發(fā)ETL產(chǎn)品”?！暗谌紼TL產(chǎn)品” 是指非綜合分析系統(tǒng)應(yīng)用軟件開(kāi)發(fā)商或集成商自己開(kāi)發(fā)的，以軟件產(chǎn)品形式在市場(chǎng)上銷售的且占有較大市場(chǎng)份額的通用ETL產(chǎn)品。例如：ODI、SSIS、DataStage等?！白灾鏖_(kāi)發(fā)ETL產(chǎn)品”，是指由綜合分析系統(tǒng)應(yīng)用軟件開(kāi)發(fā)商或集成商自己開(kāi)發(fā)的具有ETL功能的軟件。在綜合分析系統(tǒng)中，ETL元數(shù)據(jù)來(lái)源于ETL工具和ETL處理過(guò)程，包括：1) ETL映射規(guī)則2) ETL單元：ETL 作業(yè)名稱、存儲(chǔ)過(guò)程名稱、輸入數(shù)據(jù)集、輸出數(shù)據(jù)集3) ETL流程：開(kāi)始ETL單元、下一單元、結(jié)束單元4) ETL裝載記錄：ETL

15、流程開(kāi)始時(shí)間、ETL單元開(kāi)始時(shí)間、流程結(jié)束時(shí)間，單元結(jié)束時(shí)間4.1.4.2 數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)ODS元數(shù)據(jù)和DW元數(shù)據(jù)均屬于數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)，是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心元數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)RDBMS進(jìn)行數(shù)據(jù)的存儲(chǔ)和管理，設(shè)計(jì)模型采用星型模式、雪花模式等，遵循數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)準(zhǔn)則，實(shí)現(xiàn)主題、維、度量等多維模仿概念模型。1) 數(shù)據(jù)倉(cāng)庫(kù)邏輯模型：實(shí)體名稱、屬性名稱和類型、關(guān)系2) 數(shù)據(jù)倉(cāng)庫(kù)物理模型：數(shù)據(jù)庫(kù)名稱、模式名稱、表、字段、主鍵、外鍵、索引、分區(qū)4.1.4.3 OLAP元數(shù)據(jù)1) 維度：維名稱、維元素、鉆取路徑、級(jí)別2) 度量：度量名稱、格式、計(jì)算公式3) Cube：維度、度量、數(shù)據(jù)量4) 星型模式：事實(shí)表

16、、維表、匯總表4.1.4.4 相關(guān)業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)包括業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)以及業(yè)務(wù)規(guī)則等相關(guān)信息，系統(tǒng)中涉及到的指標(biāo)、報(bào)表、維度數(shù)據(jù)以及編碼都屬于業(yè)務(wù)元數(shù)據(jù)的范圍。業(yè)務(wù)元數(shù)據(jù)可以根據(jù)具體的業(yè)務(wù)發(fā)展進(jìn)行持續(xù)定義和維護(hù)管理。業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)之間的映射關(guān)系也屬于元數(shù)據(jù)的管理范圍，在綜合分析系統(tǒng)中，體現(xiàn)在語(yǔ)義層的數(shù)據(jù)業(yè)務(wù)含義與邏輯層、物理層的技術(shù)數(shù)據(jù)實(shí)體之間的關(guān)聯(lián)關(guān)系。例如一個(gè)KPI指標(biāo)在數(shù)據(jù)倉(cāng)庫(kù)中所對(duì)應(yīng)的庫(kù)表、字段以及相應(yīng)的轉(zhuǎn)換過(guò)程。4.2 元數(shù)據(jù)管理模塊體系架構(gòu)本章節(jié)對(duì)元數(shù)據(jù)管理系統(tǒng)體系架構(gòu)做出要求和描述，主要包括功能結(jié)構(gòu)和技術(shù)架構(gòu)。4.2.1 功能架構(gòu)描述元數(shù)據(jù)管理模塊體系架構(gòu)

17、，可包括元數(shù)據(jù)獲取層、元數(shù)據(jù)存儲(chǔ)層、元數(shù)據(jù)功能層和元數(shù)據(jù)應(yīng)用層，如附圖2所示。附圖2. 綜合分析系統(tǒng)元數(shù)據(jù)管理模塊功能結(jié)構(gòu)圖4.2.1.1 元數(shù)據(jù)獲取層從各專業(yè)網(wǎng)管系統(tǒng)、相關(guān)源系統(tǒng)、BI工具和業(yè)務(wù)資源中獲取元數(shù)據(jù)；要求支持手工和自動(dòng)獲取兩種方式。對(duì)于自動(dòng)獲取方式提供適配器管理，并能夠提供SQL解析和API接口抽取元數(shù)據(jù)等功能。對(duì)元數(shù)據(jù)手工獲取提供與各種元數(shù)據(jù)相適應(yīng)的元數(shù)據(jù)手工錄入功能支持。4.2.1.2 元數(shù)據(jù)存儲(chǔ)層從獲取層得到的各類元數(shù)據(jù)存儲(chǔ)在存儲(chǔ)層的元數(shù)據(jù)庫(kù)中，存儲(chǔ)的元數(shù)據(jù)包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)。4.2.1.3 元數(shù)據(jù)功能層元數(shù)據(jù)功能層為前端元數(shù)據(jù)應(yīng)用提供了基本的功能支撐，

18、主要包括元數(shù)據(jù)基本功能、元數(shù)據(jù)分析功能、元數(shù)據(jù)服務(wù)接口和元數(shù)據(jù)權(quán)限管理等。4.2.1.4 元數(shù)據(jù)應(yīng)用層在元數(shù)據(jù)管理模塊功能層的支持下，元數(shù)據(jù)應(yīng)用層通過(guò)對(duì)功能層的功能調(diào)用，可以針對(duì)業(yè)務(wù)面臨的實(shí)際問(wèn)題提供應(yīng)用解決方案。如報(bào)表管理、包含指標(biāo)管理和數(shù)據(jù)質(zhì)量管理等。4.2.2 技術(shù)架構(gòu)元數(shù)據(jù)管理模塊的技術(shù)結(jié)構(gòu)對(duì)內(nèi)要求具有良好擴(kuò)展性，以及能力公開(kāi)的特性。對(duì)外要求提供方便的集成方式，其前端界面需要集成到綜合分析門(mén)戶中。元數(shù)據(jù)管理模塊的技術(shù)結(jié)構(gòu)如附圖3所示。附圖3. 綜合分析系統(tǒng)元數(shù)據(jù)管理模塊技術(shù)結(jié)構(gòu)圖在上圖中，元數(shù)據(jù)、元模型和相關(guān)配置信息統(tǒng)一存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中。其中的元數(shù)據(jù)信息通過(guò)數(shù)據(jù)對(duì)象映射，轉(zhuǎn)換成滿足C

19、WM規(guī)范的數(shù)據(jù)對(duì)象，為元數(shù)據(jù)獲取組件和功能組件提供面向?qū)ο蟮臄?shù)據(jù)存取服務(wù)。元數(shù)據(jù)獲取的數(shù)據(jù)源包括數(shù)據(jù)處理過(guò)程、ER邏輯模型、OLAP對(duì)象和數(shù)據(jù)庫(kù)對(duì)象等。元數(shù)據(jù)獲取組件為元數(shù)據(jù)自動(dòng)獲取提供了一個(gè)可擴(kuò)展的框架。在該框架中，可以針對(duì)每種不同的數(shù)據(jù)源，提供專用的元數(shù)據(jù)獲取適配器。例如，對(duì)于數(shù)據(jù)處理元數(shù)據(jù)，可以提供SQL腳本解析器。元數(shù)據(jù)功能組件包括元數(shù)據(jù)的管理和應(yīng)用的基礎(chǔ)功能組件。例如對(duì)血緣分析、影響分析、元數(shù)據(jù)檢索和差異比較等功能。元數(shù)據(jù)功能組件為元數(shù)據(jù)應(yīng)用所調(diào)用，同時(shí)通過(guò)REST風(fēng)格的Web服務(wù)實(shí)現(xiàn)元數(shù)據(jù)訪問(wèn)接口的封裝，對(duì)外提供元數(shù)據(jù)公開(kāi)訪問(wèn)功能。要求元數(shù)據(jù)支持通過(guò)Portlet和IFrame等方

20、式集成到綜合分析系統(tǒng)中。此外，元數(shù)據(jù)管理模塊還要包括調(diào)度控制、流程控制和權(quán)限管理等基礎(chǔ)控制功能，為元數(shù)據(jù)應(yīng)用組件、功能組件和獲取組件的有機(jī)配合提供支持。附圖4. 元數(shù)據(jù)管理從系統(tǒng)各模塊：數(shù)據(jù)采集、ODM、DW等中獲取元數(shù)據(jù)信息附圖5. 元數(shù)據(jù)管理系統(tǒng)作為數(shù)據(jù)質(zhì)量管理系統(tǒng)的依據(jù)，指導(dǎo)數(shù)據(jù)質(zhì)量管理系統(tǒng)評(píng)價(jià)數(shù)據(jù)質(zhì)量附圖6. 元數(shù)據(jù)管理系統(tǒng)提供指標(biāo)庫(kù)數(shù)據(jù)供頁(yè)面呈現(xiàn)附圖7. 元數(shù)據(jù)管理系統(tǒng)通過(guò)API接口調(diào)用向外部暴露數(shù)據(jù)附圖8. 安全模塊獲取元數(shù)據(jù)的指標(biāo)敏感度描述附圖9. 元數(shù)據(jù)為DW數(shù)據(jù)的有效期管理提供指導(dǎo)4.3 元數(shù)據(jù)管理模塊主要功能本章節(jié)對(duì)元數(shù)據(jù)管理模塊自身具備的功能做出要求和描述，主要包括元數(shù)據(jù)

21、基本功能和元數(shù)據(jù)分析功能。4.3.1 元數(shù)據(jù)基本功能本章節(jié)對(duì)元數(shù)據(jù)管理模塊基本功能做出要求和描述，主要包括元數(shù)據(jù)基本維護(hù)、元數(shù)據(jù)變更管理、元數(shù)據(jù)查詢、元數(shù)據(jù)統(tǒng)計(jì)、元數(shù)據(jù)質(zhì)量管理和元數(shù)據(jù)權(quán)限管理。4.3.1.1 元數(shù)據(jù)的基本維護(hù)元數(shù)據(jù)維護(hù)提供對(duì)元數(shù)據(jù)的增加、刪除和修改等基本操作。對(duì)于元數(shù)據(jù)的增量維護(hù)，要求能保留歷史版本信息。元數(shù)據(jù)的維護(hù)操作是原子操作，這些原子操作可通過(guò)服務(wù)封裝的形式向綜合分析系統(tǒng)的其它模塊提供元數(shù)據(jù)維護(hù)接口。4.3.1.2 元數(shù)據(jù)變更管理元數(shù)據(jù)變更管理包括變更通知和版本管理兩個(gè)部分。變更通知是當(dāng)元數(shù)據(jù)發(fā)生改變時(shí)，系統(tǒng)自動(dòng)發(fā)送信息（郵件、短信）給訂閱用戶。用戶可以主動(dòng)訂閱自己關(guān)心

22、的元數(shù)據(jù)，幫助了解與自身工作相關(guān)的業(yè)務(wù)系統(tǒng)變更情況，提高工作的主動(dòng)性。版本管理是對(duì)不同時(shí)期進(jìn)入元數(shù)據(jù)庫(kù)的同一實(shí)體的元數(shù)據(jù)進(jìn)行管理。要求的基本功能是能夠顯示同一實(shí)體的元數(shù)據(jù)的修改歷史。另外還提供版本差異分析和版本變更分析等。并且能夠進(jìn)行單個(gè)元數(shù)據(jù)版本的恢復(fù)。元數(shù)據(jù)變更還要滿足元數(shù)據(jù)管理流程上的約束（注：具體流程由EOMS系統(tǒng)承載，未來(lái)考慮綜合分析系統(tǒng)與EOMS系統(tǒng)的流程對(duì)接，本期工程暫不考慮）。4.3.1.3 元數(shù)據(jù)查詢對(duì)元數(shù)據(jù)庫(kù)中的元數(shù)據(jù)基本信息進(jìn)行查詢的功能，通過(guò)該功能可以查詢數(shù)據(jù)庫(kù)表、維表、指標(biāo)、過(guò)程及參與的輸入輸出實(shí)體信息，以及其它納入管理的實(shí)體基本信息，查詢的信息按處理的層次及業(yè)務(wù)主題

23、進(jìn)行組織，查詢功能返回實(shí)體及其所屬的相關(guān)信息。元數(shù)據(jù)查詢功能要求支持對(duì)歷史版本信息的查詢，以了解具體實(shí)體的歷史變更情況。4.3.1.4 元數(shù)據(jù)統(tǒng)計(jì)元數(shù)據(jù)統(tǒng)計(jì)是指用戶可以按不同類別進(jìn)行元數(shù)據(jù)個(gè)數(shù)的統(tǒng)計(jì)。方便用戶全面了解元數(shù)據(jù)管理模塊中的元數(shù)據(jù)分布，該統(tǒng)計(jì)功能可以按元數(shù)據(jù)類型、元數(shù)據(jù)創(chuàng)建者和元數(shù)據(jù)的版本號(hào)來(lái)進(jìn)行統(tǒng)計(jì)。4.3.1.5 元數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理模塊應(yīng)具備對(duì)元數(shù)據(jù)本身質(zhì)量進(jìn)行檢查的功能。元數(shù)據(jù)質(zhì)量檢查包含但不限于以下內(nèi)容：元數(shù)據(jù)一致性、元數(shù)據(jù)關(guān)系的健全性、元數(shù)據(jù)屬性的填充率、元數(shù)據(jù)名稱重復(fù)性、元數(shù)據(jù)關(guān)鍵屬性的填充率和元數(shù)據(jù)關(guān)鍵屬性值的唯一性。對(duì)于以上檢查結(jié)果，元數(shù)據(jù)管理模塊可生成詳細(xì)的檢

24、查報(bào)告，并能夠支持相關(guān)人員對(duì)檢查報(bào)告的檢索和查找，能夠把指定的檢查報(bào)告導(dǎo)出成Excel、PPT等更易于閱讀的文檔。4.3.1.5.1. 元數(shù)據(jù)一致性檢查一致性檢查主要是指從運(yùn)營(yíng)分析系統(tǒng)中抽取元數(shù)據(jù)，并與元數(shù)據(jù)庫(kù)的對(duì)應(yīng)信息進(jìn)行比較，及時(shí)發(fā)現(xiàn)運(yùn)營(yíng)分析系統(tǒng)的應(yīng)用變更，保證元數(shù)據(jù)的及時(shí)更新。一致性檢查包括兩種方法：自動(dòng)檢查和人工檢查。自動(dòng)檢查：是指對(duì)于需要檢查的元數(shù)據(jù)，利用API或其它形式接口對(duì)綜合分析系統(tǒng)中的元數(shù)據(jù)進(jìn)行直接查詢?cè)L問(wèn)，獲得相應(yīng)的元數(shù)據(jù)，然后進(jìn)行比較，從而確定相應(yīng)的元數(shù)據(jù)是否保持同步。人工檢查：是指對(duì)于無(wú)法進(jìn)行自動(dòng)檢查的元數(shù)據(jù)，需要在綜合分析系統(tǒng)與元數(shù)據(jù)庫(kù)之間進(jìn)行人工比較，從而確定相應(yīng)的

25、元數(shù)據(jù)是否保持同步。人工檢查可以分為不定期人工檢查和定期人工檢查。在一致性檢查發(fā)現(xiàn)差異時(shí)，原則上不能直接修改元數(shù)據(jù)庫(kù)中的元數(shù)據(jù)，而是給出各類元數(shù)據(jù)的差異報(bào)告，結(jié)合元數(shù)據(jù)變更管理流程，并由元數(shù)據(jù)管理員確認(rèn)并審核后，利用元數(shù)據(jù)維護(hù)工具進(jìn)行元數(shù)據(jù)的更新。4.3.1.5.2. 元數(shù)據(jù)屬性檢查元數(shù)據(jù)屬性檢查是對(duì)元數(shù)據(jù)庫(kù)中實(shí)體屬性詳細(xì)信息方面的檢查，包括元數(shù)據(jù)屬性填充率檢查、元數(shù)據(jù)名稱重復(fù)性檢查和元數(shù)據(jù)關(guān)鍵屬性值的唯一性檢查等。對(duì)于元數(shù)據(jù)屬性填充率檢查，省公司可以根據(jù)自己的建設(shè)情況，抽樣檢查部分重要屬性，原則上必須涵蓋實(shí)體的關(guān)鍵屬性。對(duì)于元數(shù)據(jù)名稱重復(fù)性檢查，要求涵蓋指標(biāo)、維度、接口、數(shù)據(jù)庫(kù)表、存儲(chǔ)過(guò)程和

26、ETL處理過(guò)程等重要類型的實(shí)體。4.3.1.6 元數(shù)據(jù)權(quán)限管理元數(shù)據(jù)模塊的權(quán)限管理負(fù)責(zé)元數(shù)據(jù)管理功能的權(quán)限分派、審批以及訪問(wèn)日志記錄，實(shí)現(xiàn)對(duì)元數(shù)據(jù)管理模塊的數(shù)據(jù)訪問(wèn)和功能的使用進(jìn)行有效監(jiān)控。元數(shù)據(jù)管理模塊的權(quán)限管理工作應(yīng)納入綜合分析系統(tǒng)中統(tǒng)一管理。4.3.2 元數(shù)據(jù)分析功能本節(jié)詳細(xì)描述了綜合分析系統(tǒng)元數(shù)據(jù)管理模塊功能層的各個(gè)分析功能。本章節(jié)對(duì)元數(shù)據(jù)管理模塊分析功能做出要求和描述，主要包括元數(shù)據(jù)血統(tǒng)分析、元數(shù)據(jù)影響分析、數(shù)據(jù)映射分析、差異分析和實(shí)體關(guān)聯(lián)分析。4.3.2.1 血統(tǒng)分析血緣分析（也稱血統(tǒng)分析）是指從某一實(shí)體出發(fā)，往回追溯其處理過(guò)程，直到綜合分析系統(tǒng)的數(shù)據(jù)源接口采集層。對(duì)于不同類型的實(shí)

27、體，其涉及的轉(zhuǎn)換過(guò)程可能有不同類型，如：對(duì)于底層倉(cāng)庫(kù)實(shí)體，涉及的是ETL處理過(guò)程；而對(duì)于倉(cāng)庫(kù)匯總表，可能既涉及ETL處理過(guò)程，又涉及倉(cāng)庫(kù)匯總處理過(guò)程；而對(duì)于指標(biāo)，則除了上面的處理過(guò)程，還涉及指標(biāo)生成的處理過(guò)程。數(shù)據(jù)源接口實(shí)體由源系統(tǒng)提供，作為綜合分析系統(tǒng)的數(shù)據(jù)輸入，其它的數(shù)據(jù)實(shí)體都經(jīng)過(guò)了一個(gè)或多個(gè)不同類型的處理過(guò)程。血緣分析正是提供了這樣一種功能，可以讓使用者根據(jù)需要了解不同的處理過(guò)程，每個(gè)處理過(guò)程具體做什么，需要什么樣的輸入，又產(chǎn)生什么樣的輸出。為實(shí)現(xiàn)血緣分析，對(duì)于任何指定的實(shí)體，首先獲得該實(shí)體的所有前驅(qū)實(shí)體，然后對(duì)這些前驅(qū)實(shí)體遞歸地獲得各自的前驅(qū)實(shí)體，結(jié)束條件是所有實(shí)體到達(dá)數(shù)據(jù)源接口或者是

28、實(shí)體沒(méi)有相應(yīng)的前驅(qū)實(shí)體。血緣分析應(yīng)能夠以圖形的方式展現(xiàn)所有實(shí)體和處理過(guò)程。4.3.2.2 影響分析影響分析是指從某一實(shí)體出發(fā)，尋找依賴該實(shí)體的處理過(guò)程實(shí)體或其他實(shí)體。如果需要可以采用遞歸方式尋找所有的依賴過(guò)程實(shí)體或其他實(shí)體。該功能支持當(dāng)某些實(shí)體發(fā)生變化或者需要修改時(shí)，評(píng)估實(shí)體影響范圍。影響分析應(yīng)能夠以圖形的方式展現(xiàn)所有實(shí)體和關(guān)聯(lián)關(guān)系。4.3.2.3 數(shù)據(jù)映射分析用戶能夠查看數(shù)據(jù)處理程序內(nèi)部的映射關(guān)系，了解數(shù)據(jù)加工過(guò)程的細(xì)節(jié)。以圖形展現(xiàn)數(shù)據(jù)的處理過(guò)程。4.3.2.4 差異分析實(shí)體差異分析是對(duì)元數(shù)據(jù)的不同實(shí)體進(jìn)行檢查，用圖形和表格的形式展現(xiàn)它們之間的差異，包括名字、屬性及數(shù)據(jù)血緣和對(duì)系統(tǒng)其他部分影

29、響的差異等。4.3.2.5 實(shí)體關(guān)聯(lián)分析實(shí)體關(guān)聯(lián)分析是從某一實(shí)體關(guān)聯(lián)的其它實(shí)體和其參與的處理過(guò)程兩個(gè)角度來(lái)查看具體數(shù)據(jù)的使用情況，形成一張實(shí)體和所參與處理過(guò)程的網(wǎng)絡(luò)，從而進(jìn)一步了解該實(shí)體的重要程度。本功能可以用來(lái)支撐需求變更影響評(píng)估的應(yīng)用。對(duì)于關(guān)系數(shù)據(jù)表，可以分析與某個(gè)表有關(guān)的實(shí)體或處理過(guò)程，查看具體數(shù)據(jù)的使用情況，從而判斷該表的重要程度。該功能有助于尋找數(shù)據(jù)庫(kù)中關(guān)鍵表和冗余表，為系統(tǒng)調(diào)優(yōu)提供支持。4.4 元數(shù)據(jù)管理模塊對(duì)外接口本章節(jié)對(duì)元數(shù)據(jù)管理模塊與其他系統(tǒng)的數(shù)據(jù)傳輸接口做出要求和描述，主要包括元數(shù)據(jù)讀取接口、寫(xiě)入元數(shù)據(jù)接口、元數(shù)據(jù)調(diào)用接口、元數(shù)據(jù)應(yīng)用二次開(kāi)發(fā)接口和省部接口。4.4.1 外部

30、元數(shù)據(jù)讀取接口要求元數(shù)據(jù)系統(tǒng)能夠自動(dòng)讀取第三方工具軟件中的元數(shù)據(jù)信息，對(duì)于采用自動(dòng)獲取方式獲取的元數(shù)據(jù)，元數(shù)據(jù)管理模塊需要提供相應(yīng)的讀取接口。這些自動(dòng)獲取功能可以劃分為如下幾類：u XMI接口對(duì)于DataStage和PowerCenter等ETL工具，IBM DB2 Warehouse Manager,Oracle Warehouse Builder Repository等數(shù)據(jù)倉(cāng)庫(kù)管理工具，Oracle OLAP Server等OLAP工具和其它兼容CWM的前端展現(xiàn)工具可以通過(guò)XMI接口自動(dòng)獲取元數(shù)據(jù)。u 數(shù)據(jù)庫(kù)訪問(wèn)接口對(duì)于數(shù)據(jù)庫(kù)對(duì)象，例如Oracle等DBMS中的數(shù)據(jù)庫(kù)表、視圖、字段和存儲(chǔ)過(guò)

31、程等，要求支持通過(guò)ODBC/JDBC等數(shù)據(jù)庫(kù)訪問(wèn)接口自動(dòng)獲取元數(shù)據(jù)。u 工具API接口對(duì)于ERWIN、PowerDesigner等建模工具，Business Object Reporter等前端展現(xiàn)工具，Essbase/IBM DB2 OLAP Server、DB2 Cube Views、Cognos和SAS OLAP Server等OLAP工具，要求使用該工具特定的元數(shù)據(jù)訪問(wèn)接口自動(dòng)獲取元數(shù)據(jù)。u SQL解析對(duì)于DataStage中的源定義SQL語(yǔ)句，Essbase中的Rule文件映射SQL語(yǔ)句和數(shù)據(jù)處理運(yùn)行日志中的SQL語(yǔ)句，要求通過(guò)SQL自動(dòng)解析的方式獲取元數(shù)據(jù)。而TCL腳本程序要求通過(guò)

32、TCL腳本自動(dòng)解析的方式獲取元數(shù)據(jù)。元數(shù)據(jù)讀取接口隨實(shí)現(xiàn)元數(shù)據(jù)獲取方式的改變而增加或減少，本章節(jié)于本文章節(jié)互為參考。4.4.2 外部元數(shù)據(jù)寫(xiě)入接口要求元數(shù)據(jù)管理模塊支持元數(shù)據(jù)的寫(xiě)入，具體可分為兩種形式：l 系統(tǒng)運(yùn)維人員通過(guò)手工的方式將元數(shù)據(jù)批量導(dǎo)入元數(shù)據(jù)存儲(chǔ)庫(kù)。要求以文件形式提供元數(shù)據(jù)系統(tǒng)的元數(shù)據(jù)整理模版，例如Excel文件。系統(tǒng)運(yùn)維人員可以將元數(shù)據(jù)基本信息、元數(shù)據(jù)屬性信息和元數(shù)據(jù)關(guān)聯(lián)關(guān)系在模版中進(jìn)行整理，并一次性批量導(dǎo)入元數(shù)據(jù)庫(kù)。l 元數(shù)據(jù)模塊自動(dòng)獲取第三方工具中的元數(shù)據(jù)。關(guān)于以上元數(shù)據(jù)的手工獲取、自動(dòng)獲取部分，可參見(jiàn)本文檔章節(jié)元數(shù)據(jù)獲取部分內(nèi)容。4.4.3 元數(shù)據(jù)對(duì)外服務(wù)接口元數(shù)據(jù)管理模塊

33、通過(guò)API實(shí)現(xiàn)元數(shù)據(jù)對(duì)外服務(wù)，供外部系統(tǒng)對(duì)元數(shù)據(jù)進(jìn)行調(diào)用。要求元數(shù)據(jù)管理模塊提供數(shù)據(jù)調(diào)用API，整套API可以基于Java RMI等傳輸協(xié)議實(shí)現(xiàn)。外部系統(tǒng)通過(guò)所提供的API方法能夠?qū)崿F(xiàn)元模型、元數(shù)據(jù)及元數(shù)據(jù)基本功能的調(diào)用。要求通過(guò)API的內(nèi)容包括：ü 元模型調(diào)用與管理，元模型的增加、刪除、修改、查詢、讀取等操作可以通過(guò)API實(shí)現(xiàn)。ü 元數(shù)據(jù)的調(diào)用，元數(shù)據(jù)的增加、刪除、修改、查詢、讀取等操作可以通過(guò)API實(shí)現(xiàn)。ü 元數(shù)據(jù)基本功能的調(diào)用，提供血統(tǒng)分析、影響分析、差異分析等圖形化分析功能的對(duì)外調(diào)用。4.5 用元數(shù)據(jù)的模塊周邊接口圖附圖10. 綜合分析系統(tǒng)元數(shù)據(jù)管理模塊邊

34、界接口圖附圖11. 元數(shù)據(jù)管理從系統(tǒng)各模塊：數(shù)據(jù)數(shù)據(jù)源、ODM、DW、ETL、OLAP、上層應(yīng)用等中獲取元數(shù)據(jù)信息附圖12. 元數(shù)據(jù)管理系統(tǒng)作為數(shù)據(jù)質(zhì)量管理系統(tǒng)的依據(jù)，指導(dǎo)數(shù)據(jù)質(zhì)量管理系統(tǒng)評(píng)價(jià)數(shù)據(jù)質(zhì)量，主要體現(xiàn)為數(shù)據(jù)的完整性、準(zhǔn)確性和關(guān)聯(lián)一致性等附圖13. 元數(shù)據(jù)管理系統(tǒng)提供指標(biāo)庫(kù)數(shù)據(jù)供頁(yè)面呈現(xiàn)附圖14. 元數(shù)據(jù)管理為綜合分析系統(tǒng)的即席查詢功能提供了基礎(chǔ)。即席查詢功能利用元數(shù)據(jù)中存儲(chǔ)的業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)，生成后臺(tái)數(shù)據(jù)查詢所需的SQL語(yǔ)句，得到最終的查詢結(jié)果。附圖15. 元數(shù)據(jù)管理系統(tǒng)通過(guò)API接口調(diào)用向外部暴露數(shù)據(jù)附圖16. 安全模塊獲取元數(shù)據(jù)的指標(biāo)敏感度描述，為安全管理模塊提供數(shù)據(jù)支持1

35、. 元數(shù)據(jù)為DW數(shù)據(jù)的有效期管理提供指導(dǎo)，為實(shí)現(xiàn)數(shù)據(jù)自動(dòng)刪除提供數(shù)據(jù)支持2. 綜合分析系統(tǒng)的指標(biāo)關(guān)聯(lián)分析模塊基于元數(shù)據(jù)管理的指標(biāo)關(guān)聯(lián)模型等元數(shù)據(jù)信息，獲得不同指標(biāo)之間的關(guān)聯(lián)關(guān)系，查詢出某一指標(biāo)關(guān)聯(lián)的指標(biāo)集，進(jìn)行相關(guān)指標(biāo)的分析。4.6 元數(shù)據(jù)管理模塊技術(shù)要求本章節(jié)對(duì)元數(shù)據(jù)管理模塊技術(shù)能力做出要求和描述，主要包括元數(shù)據(jù)獲取、元模型的管理和元數(shù)據(jù)管理模塊集成。4.6.1 元數(shù)據(jù)獲取4.6.1.1 元數(shù)據(jù)獲取方式綜合分析系統(tǒng)元數(shù)據(jù)方式劃分為兩類：l 自動(dòng)獲取對(duì)于部分能提供專用的或者標(biāo)準(zhǔn)的元數(shù)據(jù)獲取接口的實(shí)體，例如數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)加工工具等，元數(shù)據(jù)管理模塊可以利用這些接口自動(dòng)抽取元數(shù)據(jù)。對(duì)于數(shù)據(jù)處理過(guò)程中

36、的SQL腳本等數(shù)據(jù)處理過(guò)程腳本程序，元數(shù)據(jù)管理模塊可以通過(guò)編譯技術(shù)自動(dòng)獲取數(shù)據(jù)處理元數(shù)據(jù)。l 手工獲取對(duì)于無(wú)法通過(guò)獲取接口或者編譯技術(shù)進(jìn)行自動(dòng)獲取的元數(shù)據(jù)，需要通過(guò)手工整理的方式進(jìn)行處理。元數(shù)據(jù)自動(dòng)獲取和手工獲取兩種方式都可以將元數(shù)據(jù)寫(xiě)入到XMI或EXCEL文件，再將這些文件提交到元數(shù)據(jù)管理系統(tǒng)中。如下圖所示：附圖17. 元數(shù)據(jù)獲取方式圖元數(shù)據(jù)管理模塊需要針對(duì)各類元數(shù)據(jù)提供相應(yīng)的元數(shù)據(jù)導(dǎo)入文件模板。在導(dǎo)入文件模板中規(guī)定元數(shù)據(jù)類型、屬性和關(guān)系等信息的填寫(xiě)格式，以及新增、修改和刪除操作的標(biāo)記方法。元數(shù)據(jù)管理模塊應(yīng)支持XMI文件和EXCEL文件兩種導(dǎo)入文件模板。采用手工獲取方式獲取的元數(shù)據(jù)，元數(shù)據(jù)模

37、塊需要根據(jù)各自元數(shù)據(jù)的特征提供相應(yīng)的元數(shù)據(jù)手工錄入功能。4.6.1.2 元數(shù)據(jù)自動(dòng)獲取管理功能元數(shù)據(jù)自動(dòng)獲取的數(shù)據(jù)來(lái)源分布在數(shù)據(jù)源系統(tǒng)、數(shù)據(jù)處理過(guò)程、數(shù)據(jù)倉(cāng)庫(kù)、前端展示工具以及各種工具等實(shí)體中。為了加強(qiáng)對(duì)元數(shù)據(jù)自動(dòng)獲取的管理，元數(shù)據(jù)管理模塊需要提供元數(shù)據(jù)自動(dòng)獲取管理的功能支持。元數(shù)據(jù)自動(dòng)獲取管理應(yīng)涵蓋五個(gè)方面的功能：l 元數(shù)據(jù)自動(dòng)獲取數(shù)據(jù)源管理要求元數(shù)據(jù)管理模塊對(duì)元數(shù)據(jù)獲取數(shù)據(jù)源以及這些數(shù)據(jù)源之間的關(guān)系進(jìn)行集中登記管理，形成自動(dòng)獲取數(shù)據(jù)源的全局視圖，以促進(jìn)元數(shù)據(jù)自動(dòng)獲取日常管理的規(guī)范化。l 元數(shù)據(jù)獲取能力管理元數(shù)據(jù)管理模塊需要建立元數(shù)據(jù)獲取能力的擴(kuò)展框架。在該框架下，可以針對(duì)系統(tǒng)中各種元數(shù)據(jù)獲

38、取數(shù)據(jù)源的特點(diǎn)，通過(guò)增加元數(shù)據(jù)獲取適配器的方式，擴(kuò)展相應(yīng)的元數(shù)據(jù)自動(dòng)獲取能力。l 元數(shù)據(jù)自動(dòng)獲取調(diào)度管理要求元數(shù)據(jù)管理模塊對(duì)元數(shù)據(jù)的自動(dòng)獲取提供持續(xù)穩(wěn)定的調(diào)度支持，能夠按預(yù)設(shè)的調(diào)度策略觸發(fā)相應(yīng)的元數(shù)據(jù)自動(dòng)獲取過(guò)程。要求提供元數(shù)據(jù)自動(dòng)獲取調(diào)度策略的統(tǒng)一配置管理功能，以滿足元數(shù)據(jù)自動(dòng)獲取在時(shí)效性和獲取時(shí)機(jī)等方面的需要。調(diào)度策略應(yīng)支持時(shí)間周期觸發(fā)和事件觸發(fā)兩種方式。例如，在每周星期一凌晨00:00到01:00之間觸發(fā)數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)的自動(dòng)獲取過(guò)程，或者在數(shù)據(jù)處理程序更新后12小時(shí)內(nèi)觸發(fā)相應(yīng)的映射關(guān)系元數(shù)據(jù)自動(dòng)獲取過(guò)程。l 元數(shù)據(jù)生成和入庫(kù)策略管理元數(shù)據(jù)的自動(dòng)生成和入庫(kù)需要滿足以下要求：Ø 元

39、數(shù)據(jù)命名策略應(yīng)確保元數(shù)據(jù)命名的確定性和唯一性。Ø 元數(shù)據(jù)組織方式應(yīng)確保元數(shù)據(jù)關(guān)聯(lián)關(guān)系和存放路徑的合理性。Ø 元數(shù)據(jù)入庫(kù)策略應(yīng)確保自動(dòng)生成的元數(shù)據(jù)與存儲(chǔ)庫(kù)中元數(shù)據(jù)之間不會(huì)出現(xiàn)錯(cuò)誤的覆蓋和冗余。要求元數(shù)據(jù)管理模塊提供元數(shù)據(jù)命名策略、組織方式、增量入庫(kù)和全量入庫(kù)策略的配置管理支持。l 元數(shù)據(jù)自動(dòng)處理過(guò)程和相關(guān)日志的管理元數(shù)據(jù)自動(dòng)處理過(guò)程和日志管理功能需要滿足以下要求：Ø 能夠?yàn)楦鞣N元數(shù)據(jù)自動(dòng)獲取數(shù)據(jù)源配置適應(yīng)的處理流程和環(huán)節(jié)。Ø 各個(gè)環(huán)節(jié)的處理關(guān)鍵信息和異常信息需要寫(xiě)入元數(shù)據(jù)獲取日志。要求提供日志查閱和審計(jì)功能，并對(duì)異常信息提供告警功能。4.6.1.3 SQL

40、腳本自動(dòng)解析4.6.1.3.1. SQL解析功能過(guò)程SQL腳本中所含的元數(shù)據(jù)屬于數(shù)據(jù)處理的技術(shù)元數(shù)據(jù)。SQL腳本自動(dòng)解析功能通過(guò)對(duì)SQL腳本的詞法、語(yǔ)法和語(yǔ)義分析，生成滿足CWM規(guī)范要求的數(shù)據(jù)處理元數(shù)據(jù)。SQL腳本自動(dòng)解析獲取元數(shù)據(jù)的過(guò)程可以分為數(shù)據(jù)處理日志生成、SQL解析處理和數(shù)據(jù)處理元數(shù)據(jù)生成三個(gè)主要環(huán)節(jié)，如下圖所示：附圖18. SQL腳本自動(dòng)解析獲取元數(shù)據(jù)過(guò)程要求按規(guī)定格式將每條提交數(shù)據(jù)庫(kù)執(zhí)行的SQL語(yǔ)句寫(xiě)入數(shù)據(jù)處理日志中。SQL解析器從數(shù)據(jù)處理日志中提取SQL語(yǔ)句進(jìn)行詞法語(yǔ)法分析，對(duì)每條SQL語(yǔ)句生成對(duì)應(yīng)的抽象語(yǔ)法樹(shù)。數(shù)據(jù)處理元數(shù)據(jù)生成環(huán)節(jié)對(duì)每條SQL語(yǔ)句的抽象語(yǔ)法樹(shù)進(jìn)行語(yǔ)義分析和語(yǔ)法

41、制導(dǎo)翻譯，生成滿足CWM規(guī)范的數(shù)據(jù)處理元數(shù)據(jù)。4.6.1.3.2. SQL腳本標(biāo)準(zhǔn)規(guī)范對(duì)于需要進(jìn)行SQL解析的腳本，應(yīng)是符合一定標(biāo)準(zhǔn)規(guī)范的腳本，按照標(biāo)準(zhǔn)的格式輸給SQL解析器；在進(jìn)行元數(shù)據(jù)解析前，需要對(duì)腳本檢查是否符合標(biāo)準(zhǔn)。SQL腳本自動(dòng)解析功能所處理的SQL語(yǔ)句來(lái)源于數(shù)據(jù)處理日志。為了滿足自動(dòng)處理的需要，下面明確生成數(shù)據(jù)處理日志的相關(guān)要求。ü 需要在日志中記錄SQL語(yǔ)句的數(shù)據(jù)處理過(guò)程在綜合分析系統(tǒng)中，所有需要通過(guò)SQL腳本自動(dòng)解析功能獲取元數(shù)據(jù)的數(shù)據(jù)處理過(guò)程，包括數(shù)據(jù)庫(kù)存儲(chǔ)過(guò)程、數(shù)據(jù)庫(kù)函數(shù)、Shell腳本程序、ProC腳本程序和Java程序等，都需要將提交到數(shù)據(jù)庫(kù)執(zhí)行的所有SQL語(yǔ)

42、句按規(guī)定格式寫(xiě)入數(shù)據(jù)處理日志。ü 數(shù)據(jù)處理日志的兩種存儲(chǔ)方式綜合分析系統(tǒng)可以采用如下兩種方式存儲(chǔ)數(shù)據(jù)處理日志：ü 日式文件方式，以文本文件存放日志內(nèi)容；ü 日志表方式，以數(shù)據(jù)庫(kù)表存放日志內(nèi)容。數(shù)據(jù)處理日志需要確保足夠長(zhǎng)的存儲(chǔ)周期，以滿足SQL腳本自動(dòng)解析的處理需要。ü 日志文件方式的具體要求l 數(shù)據(jù)處理過(guò)程在每次運(yùn)行時(shí)，需要生成一個(gè)的日志文件。同一個(gè)數(shù)據(jù)處理過(guò)程每次運(yùn)行所生成的日志文件應(yīng)存放在同一個(gè)目錄下；l 每個(gè)數(shù)據(jù)處理過(guò)程需要有固定的日志文件命名規(guī)則，以便SQL腳本解析功能確定數(shù)據(jù)處理過(guò)程與日志文件之間的對(duì)應(yīng)關(guān)系；l 日志文件的字符集應(yīng)該與UTF-8和GBK兼容；l 日志文件的內(nèi)容劃分文件頭和文件體兩個(gè)部分。文件頭用于記錄數(shù)據(jù)處理過(guò)程該次運(yùn)行的信息，文件體用于記錄數(shù)據(jù)庫(kù)連接的創(chuàng)建和SQL語(yǔ)句