元數(shù)據(jù)管理模塊方案

1、目錄1. 現(xiàn)狀分析 2.1.1 目前的困境 2.1.2 什么是元數(shù)據(jù)管理 3.2. 目標分析 3.2.1 建立完善的指標解釋體系 3.2.2 建立規(guī)范的元數(shù)據(jù)管理體系 4.2.3 建立有效的數(shù)據(jù)稽核體系 4.3. 功能概述 4.3.1 元數(shù)據(jù)管理 4.3.1.1 業(yè)務元數(shù)據(jù) 5.3.2.2 技術(shù)元數(shù)據(jù) 6.3.3 元數(shù)據(jù)分析 9.3.3.1 血統(tǒng)分析 9.3.3.2 影響分析 1.0.3.3.3 重要性分析 1.1.3.3.4 無關(guān)性分析 1.2.3.4數(shù)據(jù)稽核 1.2.3.4.1 稽核規(guī)則管理 1.3.3.4.2 稽核任務調(diào)度 1.3.3.4.3 稽核結(jié)果分析 1.4.3.4.4 數(shù)據(jù)質(zhì)量評

2、估 1.4.數(shù)據(jù)問題管理 1.4.2元數(shù)據(jù)管理系統(tǒng)概述1. 現(xiàn)狀分析隨著經(jīng)營分析系統(tǒng)規(guī)模不斷擴大， 系統(tǒng)所積累數(shù)據(jù)量也越來越大， 收集到的 海量數(shù)據(jù)背后隱藏著大量珍貴重要的信息，但也同時提高了系統(tǒng)的數(shù)據(jù)管理難 度：一方面難以對這些數(shù)據(jù)進行有效解釋， 缺乏對業(yè)務流程執(zhí)行的實時監(jiān)控和管 理；另一方面各部門數(shù)據(jù)與數(shù)據(jù)整合的難度也不斷加大， 影響到了經(jīng)營分析系統(tǒng) 中的數(shù)據(jù)質(zhì)量。如何對現(xiàn)有數(shù)據(jù)進行深層發(fā)掘， 并揭示出埋藏在元數(shù)據(jù)中的趨勢、 因果關(guān)系、 關(guān)聯(lián)模式等核心信息？這是下一步深化經(jīng)營分析系統(tǒng)應用的電信運營商需要解 決的頭等大事。構(gòu)建 BI，首先要保證的是數(shù)據(jù)質(zhì)量。元數(shù)據(jù)管理解決的問題就 是如何把業(yè)

3、務系統(tǒng)中的數(shù)據(jù)分門別類地進行管理，并建立數(shù)據(jù)與數(shù)據(jù)之間的關(guān) 系，為數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量監(jiān)控提供基礎素材。1.1 目前的困境使用者 (決策層、業(yè)務分析人員 )：1) 經(jīng)營分析系統(tǒng)中存在有很多報表，不同報表中存在一些相同的指標，這 些指標往往不一致， 給業(yè)務分析和決策工作造成很多困惑， 必須花費很大的 精力去檢查核實。2) 對于很多指標，不清楚其具體含義，不清楚其反映的問題，不清楚其具 體算法和來龍去脈。數(shù)據(jù)倉庫項目開發(fā)維護者：1) 不同報表中的同一指標不一致，必須花費很大的精力去檢查，目前基本 上是通過手工檢查表和存儲過程的方式，效率較低。2) 沒有完善的開發(fā)、維護規(guī)范。比如，新增一張分析報表，開

4、發(fā)人員根據(jù) 業(yè)務人員的需求制作完成之后， 往往沒有整理完善相應的數(shù)據(jù)指標解釋和元 數(shù)據(jù)管理，造成日后檢查困難。3) 開發(fā)、維護規(guī)范的執(zhí)行力較低，沒有行之有效的管控手段。不嚴格按照規(guī)范執(zhí)行，隨著項目的發(fā)展和時間的推移， 導致數(shù)據(jù)倉庫項目的健壯性和可 維護性呈幾何級數(shù)下降，給數(shù)據(jù)倉庫的建設帶來大量的重復工作。1.2 什么是元數(shù)據(jù)管理元數(shù)據(jù)最本質(zhì)，最抽象的定義為： data about data （ 關(guān)于數(shù)據(jù)的數(shù)據(jù) ）。 而對于經(jīng)營分析數(shù)據(jù)倉庫而言， 形象的定義為：元數(shù)據(jù)就是數(shù)據(jù)倉庫的規(guī)范 。 這些規(guī)范包括對各種指標的定義、 解釋； 包括對各表中數(shù)據(jù)的來龍去脈、 數(shù) 據(jù)的大小和格式的定義。元數(shù)據(jù)管理

5、，就是要建立一套行之有效的規(guī)范以及該規(guī)范的管控體系， 實現(xiàn)從管理到查詢到綜合分析的全面管控，管理層次從接口到 ETL 處理、 業(yè)務邏輯處理、 結(jié)果展現(xiàn)處理和指標分析的方方面面， 構(gòu)成數(shù)據(jù)倉庫應用系 統(tǒng)的核心和基礎。做到開發(fā)者能嚴格遵守規(guī)范， 維護者和使用者有規(guī)范可查， 有力的保障數(shù)據(jù)倉庫項目的健壯性和可維護性。2. 目標分析要走出目前的困境，有下面三個方面的問題急待解決：2.1 建立完善的指標解釋體系滿足用戶對業(yè)務和數(shù)據(jù)理解的需求， 建立標準的企業(yè)內(nèi)部知識傳承的信 息承載平臺，建立業(yè)務分析知識庫， 實現(xiàn)知識共享。 能夠回答諸如以下問題： 什么是出帳用戶數(shù)？在網(wǎng)用戶數(shù)和網(wǎng)上用戶數(shù)有何區(qū)別？什么是

6、套餐的生命周期？競爭對手新發(fā)展用戶數(shù)是怎么得來的？這個數(shù)據(jù)還叫什么名字？2.2 建立規(guī)范的元數(shù)據(jù)管理體系讓用戶能夠清晰的了解數(shù)據(jù)倉庫中數(shù)據(jù)流的來龍去脈，業(yè)務處理規(guī)則、 發(fā)展情況等，提高系統(tǒng)的可維護性、適應性和集成性，支持數(shù)據(jù)倉庫/集市的成長需求，減少因員工換崗造成的影響。具體來講， 主要是對數(shù)據(jù)倉庫建設、 運行和維護的規(guī)范的管理。 能夠回 答諸如以下的問題：哪張表是從業(yè)務系統(tǒng)抽取過來的原始話單表？ 競爭對手新發(fā)展用戶事實表中的數(shù)據(jù)，是從哪些表匯總計算出來的？ DW 用戶下的 P_XXX 這個存儲過程是誰寫的，現(xiàn)在還有用嗎？ 我是新手，要生成套餐生命周期演化分析事實表，我該怎么做？ 表空間不夠了

7、，哪些表的數(shù)據(jù)可以刪掉？2.3 建立有效的數(shù)據(jù)稽核體系促進數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量建設， 為提高整個系統(tǒng)的數(shù)據(jù)質(zhì)量奠定堅實的 基礎。建立報警、監(jiān)控機制，出現(xiàn)故障，能及時發(fā)現(xiàn)問題。提供整體系統(tǒng)運 營的情況分析。能夠回答諸如以下問題：今天的出帳用戶數(shù)過高，是怎么回事？數(shù)據(jù)集市層中的 DM_XXX 表中數(shù)據(jù)為空，什么原因？A 報表中的全省 ARPU 值和 B 報表中的 ARPU 值為什么不同？3. 功能概述3.1 元數(shù)據(jù)管理對數(shù)據(jù)倉庫的層次結(jié)構(gòu)、主題域劃分，各層的各種對象，如表、存儲過 程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。能夠清晰的展現(xiàn)各層次結(jié)構(gòu)之間的 數(shù)據(jù)流程，圖形化展現(xiàn)各對象之間的關(guān)系，展現(xiàn)表中數(shù)據(jù)的

8、來龍去脈。3.1.1業(yè)務元數(shù)據(jù)業(yè)務元數(shù)據(jù)包括以下信息：使用者的業(yè)務術(shù)語所表達的數(shù)據(jù)模型、對象 名和屬性名；訪問數(shù)據(jù)的原則和數(shù)據(jù)來源；系統(tǒng)所提供的分析方法及公式、 報表信息。業(yè)務元數(shù)據(jù)管理除了管理上述信息外，還提供對業(yè)務元數(shù)據(jù)來源的管理 和差異性對比功能，使用戶能夠方便的查詢、比較和追溯。包括兩個子模塊，指標管理和指標解釋接口。指標管理：主要實現(xiàn)對所有指標的維護功能，維護指標的基本信息、業(yè) 務規(guī)則和技術(shù)算法等。能夠展現(xiàn)各個主題分析中的指標，以及指標間的區(qū)別 等信息。指標解釋接口 ：提供統(tǒng)一的接口，使用戶能夠在經(jīng)營分析系統(tǒng)或CRM系統(tǒng)中，點擊任一指標名稱，即可查看該指標的詳細描述和解釋說明。322

9、技術(shù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)是存儲關(guān)于數(shù)據(jù)倉庫系統(tǒng)技術(shù)細節(jié)的數(shù)據(jù)，是用于開發(fā)和管 理數(shù)據(jù)倉庫的數(shù)據(jù)，主要包括數(shù)據(jù)倉庫結(jié)構(gòu)的描述（各個主題的定義，星型 模式或雪花型模式的描述定義等）、ODS層（操作數(shù)據(jù)存儲ODS .Operation Data Storage）的企業(yè)數(shù)據(jù)模型描述（以描述關(guān)系表及其關(guān)聯(lián)關(guān)系為形式）、 對數(shù)據(jù)稽核規(guī)則的定義、數(shù)據(jù)集市定義描述與裝載描述（包括Cube的維度、 層次、度量以及相應事實表、概要表的抽取規(guī)則）。系統(tǒng)除了維護技術(shù)員數(shù)據(jù)的基本信息外，更以圖形的方式展現(xiàn)和管理各 技術(shù)元數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系和來源。技術(shù)元數(shù)據(jù)管理主要包括以下幾個功能模塊：元數(shù)據(jù)查詢：按關(guān)鍵字、分類、主題域名稱

10、等維度進行查詢，展現(xiàn)該元 數(shù)據(jù)的基本信息，如業(yè)務描述、技術(shù)描述、計量單位、所屬分類等信息。元數(shù)據(jù)維護：對元數(shù)據(jù)的基本信息進行維護，包括增、刪、改。元數(shù)據(jù)關(guān)系查詢：展現(xiàn)元數(shù)據(jù)之間的關(guān)系，女口：按經(jīng)營分析數(shù)據(jù)倉庫的各個層次進行展現(xiàn)；按元數(shù)據(jù)之間的映射關(guān)系展現(xiàn)；按元數(shù)據(jù)的處理流程進行展現(xiàn)等等。遼蛙慣拜稱；Sft-ESA ,F.DM OPPOHEMT MOBILE NOH眼環(huán)脫控制，禺際右鋌點擊 某元鞭帚節(jié)點j進入諄元議霍 的矣茂維步卑而，對其與苴乜 工或耀之口笛乂樂蘭T増刪奴三也F ZW OPPOHEVT CNC MCM8#FA0T_VI?U5E#元數(shù)據(jù)關(guān)系管理：對元數(shù)據(jù)關(guān)系進行維護，包括增加、刪除

11、和修改元教詰矣型：全理 T元敢據(jù)名稱：出軼用戶數(shù)點擊陡擇*彈岀元戲!8遺捋界面遷疔培趙擇*【鐮1阿杞據(jù)按眾揑制屜標吉龍疸港 慕元數(shù)18爭海/進入懐元凱JS 的關(guān)手純護界面弼瓦與菽幡 元risi的產(chǎn)樂誨疔增鋁凸弟擊熹元對1&刊點巖現(xiàn)閃元 數(shù)聞的關(guān)爭虱i-t Er_GS'/_-_T_-増加上圾節(jié)點2 爆改元魏據(jù)信恿rttt.9#掛岳：出讀朋尸徽如上圖所示，鼠標右鍵點擊某個節(jié)點，對該節(jié)點進行增、刪、改操作。桎擊（JM®h彈出元數(shù)番趣逼界両，才行拮番土揺,#tt供擔匚感適*-.Bj増加三越和書占0"r3-<>0NXfraMiiy. BtAWM*上址主適：

12、出供弓戶弟甫洱H阻：#10點出血揮弾出元致?lián)嫇]界叛，迸h植確世客稱：|宙祐用戶戢選擇直詢?yōu)oG 日 F-口 S 間亠匚AL L_J= 2CC6-C23.3元數(shù)據(jù)分析血統(tǒng)分析、影響分析、表重要程度分析、表無關(guān)程度分析等等。通過上 述分析，讓用戶對整個數(shù)據(jù)倉庫總體上有清晰的認識和理解，解決數(shù)據(jù)孤島的問題。3.3.1血統(tǒng)分析數(shù)據(jù)血統(tǒng)Data Lin eage ,通過數(shù)據(jù)血統(tǒng)分析，用戶可以知道數(shù)據(jù)何時 更新、如何計算以及從何處而來，所有這些手段幫助用戶追溯報表中數(shù)據(jù)產(chǎn) 生的來源。這種深入洞查數(shù)據(jù)來龍去脈的能力對于幫助用戶更加信賴他們的 信息來說，具有至關(guān)重要的作用。ETI抽取話單營帳系統(tǒng)話單表業(yè)務生產(chǎn)

13、系統(tǒng).V _二聯(lián)通用戶通話詳單源數(shù)據(jù) SRC層從詳單中抽取與移動用戶的通話記錄ODS層與移動在網(wǎng)用戶比較匯總產(chǎn)生大客戶信息移動新入網(wǎng)用戶信息展現(xiàn)數(shù)據(jù)倉庫 DW層數(shù)據(jù)集市 DM層移動大客戶信息展現(xiàn)移動用戶通話詳單表3.3.2影響分析影響分析關(guān)注的重點是數(shù)據(jù)的流向，提供端對端影響分析，使您能夠看 見源系統(tǒng)發(fā)生變化時，BI報表受到的影響，而因此可以輕松地處理 BI環(huán)境 中的變化。前端展現(xiàn)專題分析模塊競爭專題大客戶明細競爭專題 用戶分析競爭專題 策反目標元數(shù)據(jù)對象高層決策 市場分析3.3.3重要性分析分析BI系統(tǒng)中，用戶最關(guān)心的分析主題、報表和指標，追溯這些分析 主題、報表和指標涉及到的元數(shù)據(jù)，這對于

14、 BI系統(tǒng)和數(shù)據(jù)倉庫開發(fā)團隊具 有重要的指導意義。KtEJSCAX34503442埜愛Vi2334L4S&:絢下備旳両的怯汰折分析數(shù)據(jù)倉庫中各層次的包、表分析各元數(shù)據(jù)對象之間的關(guān)聯(lián)密集度,等對象的重要程度，指導數(shù)據(jù)倉庫開發(fā)和維護團隊對重點元數(shù)據(jù)進行重點關(guān) 注和質(zhì)量監(jiān)控3.3.4無關(guān)性分析與重要性分析相反，隨著數(shù)據(jù)倉庫系統(tǒng)的規(guī)模不斷擴大， 業(yè)務需求的日 益變化，會產(chǎn)生一定數(shù)量的無關(guān)數(shù)據(jù)、信息和報表，找出這些無關(guān)的內(nèi)容, 結(jié)合業(yè)務需求分析其產(chǎn)生的根源，從而為用戶簡化工作負載，降低項目總擁 有成本，為用戶提供可信賴的數(shù)據(jù)和分析能力。報喪無關(guān)程廈報義名舔關(guān)注度（人次渠道明細日報面向贛導層而的決

15、策支捋0自定義套餐日報分新政策與市場對品牌炭展的戰(zhàn)曙能響2產(chǎn)品群分析芬析渠道的發(fā)展和收益3基站逮鑄量勞祈與a鬲業(yè)務運營相英曲數(shù)據(jù)7點擊報表名稱可直看該報表耕吸到囲相關(guān)數(shù)務乘的分祈"3.4數(shù)據(jù)稽核根據(jù)預先配置的規(guī)則、算法和質(zhì)量檢查度量，對數(shù)據(jù)的準確性、合理性 等多角度的檢查，以及時發(fā)現(xiàn)問題，解決問題。對于稽核結(jié)果，進行統(tǒng)計分析，形成結(jié)果報告，為以后的數(shù)據(jù)倉庫建設、 實施和維護的改進打下堅實的基礎。3.4.1 稽核規(guī)則管理接口數(shù)據(jù)檢驗 ：對接口數(shù)據(jù)的過程進行稽核和校驗，分為文件接口， DB-LINK 接口，其他異構(gòu)數(shù)據(jù)庫接口。處理過程檢驗 ：對數(shù)據(jù)處理過程進行監(jiān)控和稽核，分為 JOB 稽

16、核，工 作流稽核，其他處理方式稽核等。處理環(huán)境檢驗 ：對數(shù)據(jù)處理環(huán)境進行檢查， 針對不同的應用環(huán)境， 主要 分為數(shù)據(jù)庫系統(tǒng)檢查、主機系統(tǒng)檢查、接口機檢查、應用服務器檢查。日志監(jiān)控 ：在 ETL 自動運行的過程中可能出現(xiàn)各種各樣的錯誤，比如 ETL 過程申請的資源超過硬件的物理限制（存儲不足或者排序空間不足） 。 通過檢測 ETL 過程的日志可以判斷出該過程輸出的目標表數(shù)據(jù)是否完整。 提供選擇日志監(jiān)控的各種信息供選擇，如：過程名、所屬模塊（營業(yè)數(shù)據(jù)、 計費數(shù)據(jù)、維表數(shù)據(jù)等） 、執(zhí)行時間、完成時間、執(zhí)行時長、執(zhí)行用戶、執(zhí) 行結(jié)果、預警等。維度檢驗 ：如：所屬模塊（營業(yè)數(shù)據(jù)、計費數(shù)據(jù)、維表數(shù)據(jù)等） 、日期、 表名、維度名稱、緯度格式、緯度說明、緯度關(guān)聯(lián)編碼表、各緯度記錄分布 情況、是否有空值、空值記錄數(shù)、空值率、預警區(qū)間等指標。指標值檢驗 ：包括數(shù)據(jù)量校驗、單指標校驗、交叉校驗等。3.4.2 稽核任務調(diào)度在設定數(shù)據(jù)稽核的模板后， 可以對稽核任務實行自動化處理， 也可以通 過定制方式來完成，可以定時調(diào)用或觸發(fā)。由不同類型數(shù)據(jù)檢驗確定。比如：前序數(shù)據(jù)（計費營帳數(shù)據(jù)） ，可以使用定時調(diào)度任務檢查數(shù)據(jù)完 整性，后序數(shù)據(jù)（ DW 層數(shù)據(jù)直到數(shù)據(jù)集市展示層的匯總數(shù)據(jù)）的調(diào)用可以 通過日志記錄觸發(fā)開始， 每個表記錄完成后如果日志檢測執(zhí)行