元數(shù)據(jù)管理模塊方案

目錄現(xiàn)狀分析21.1目前的困境21.2什么是元數(shù)據(jù)管理3目標(biāo)分析42.1建立完善的指標(biāo)解釋體系42.2建立規(guī)的元數(shù)據(jù)管理體系42.3建立有效的數(shù)據(jù)稽核體系5功能概述53.1元數(shù)據(jù)管理5業(yè)務(wù)元數(shù)據(jù)5技術(shù)元數(shù)據(jù)63.3元數(shù)據(jù)分析7血統(tǒng)分析7影響分析7重要性分析8無(wú)關(guān)性分析83.4數(shù)據(jù)稽核9稽核規(guī)則管理9稽核任務(wù)調(diào)度10稽核結(jié)果分析10數(shù)據(jù)質(zhì)量評(píng)估10數(shù)據(jù)問(wèn)題管理10元數(shù)據(jù)管理系統(tǒng)概述現(xiàn)狀分析隨著經(jīng)營(yíng)分析系統(tǒng)規(guī)模不斷擴(kuò)大，系統(tǒng)所積累數(shù)據(jù)量也越來(lái)越大，收集到的海量數(shù)據(jù)背后隱藏著大量珍貴重要的信息，但也同時(shí)提高了系統(tǒng)的數(shù)據(jù)管理難度：一面難以對(duì)這些數(shù)據(jù)進(jìn)展有效解釋，缺乏對(duì)業(yè)務(wù)流程執(zhí)行的實(shí)時(shí)監(jiān)控和管理;另一面各部門數(shù)據(jù)與數(shù)據(jù)整合的難度也不斷加大，影響到了經(jīng)營(yíng)分析系統(tǒng)中的數(shù)據(jù)質(zhì)量。如對(duì)現(xiàn)有數(shù)據(jù)進(jìn)展深層開掘，并提醒出埋藏在元數(shù)據(jù)中的趨勢(shì)、因果關(guān)系、關(guān)聯(lián)模式等核心信息.這是下一步深化經(jīng)營(yíng)分析系統(tǒng)應(yīng)用的電信運(yùn)營(yíng)商需要解決的頭等大事。構(gòu)建BI，首先要保證的是數(shù)據(jù)質(zhì)量。元數(shù)據(jù)管理解決的問(wèn)題就是如把業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)分門別類地進(jìn)展管理，并建立數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系，為數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)質(zhì)量監(jiān)控提供根底素材。1.1目前的困境使用者決策層、業(yè)務(wù)分析人員）：1）經(jīng)營(yíng)分析系統(tǒng)中存在有很多報(bào)表，不同報(bào)表中存在一些一樣的指標(biāo)，這些指標(biāo)往往不一致，給業(yè)務(wù)分析和決策工作造成很多困惑，必須花費(fèi)很大的精力去檢查核實(shí)。2）對(duì)于很多指標(biāo)，不清楚其具體含義，不清楚其反映的問(wèn)題，不清楚其具體算法和來(lái)龍去脈。數(shù)據(jù)倉(cāng)庫(kù)工程開發(fā)維護(hù)者：1）不同報(bào)表中的同一指標(biāo)不一致，必須花費(fèi)很大的精力去檢查，目前根本上是通過(guò)手工檢查表和存儲(chǔ)過(guò)程的式，效率較低。2）沒(méi)有完善的開發(fā)、維護(hù)規(guī)。比方，新增一分析報(bào)表，開發(fā)人員根據(jù)業(yè)務(wù)人員的需求制作完成之后，往往沒(méi)有整理完善相應(yīng)的數(shù)據(jù)指標(biāo)解釋和元數(shù)據(jù)管理，造成日后檢查困難。3）開發(fā)、維護(hù)規(guī)的執(zhí)行力較低，沒(méi)有行之有效的管控手段。不格按照規(guī)執(zhí)行，隨著工程的開展和時(shí)間的推移，導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)工程的強(qiáng)健性和可維護(hù)性呈幾級(jí)數(shù)下降，給數(shù)據(jù)倉(cāng)庫(kù)的建立帶來(lái)大量的重復(fù)工作。1.2什么是元數(shù)據(jù)管理元數(shù)據(jù)最本質(zhì)，最抽象的定義為：dataaboutda魂于（數(shù)據(jù)的數(shù)據(jù)）。而對(duì)于經(jīng)營(yíng)分析數(shù)據(jù)倉(cāng)庫(kù)而言，形象的定義為：元數(shù)據(jù)就是數(shù)據(jù)倉(cāng)庫(kù)的規(guī)。這些規(guī)包括對(duì)各種指標(biāo)的定義、解釋；包括對(duì)各表中數(shù)據(jù)的來(lái)龍去脈、數(shù)據(jù)的大小和格式的定義。元數(shù)據(jù)管理，就是要建立一套行之有效的規(guī)以及該規(guī)的管控體系，實(shí)現(xiàn)從管理到查詢到綜合分析的全面管控，管理層次從接到ETL處理、業(yè)務(wù)邏輯處理、結(jié)果展現(xiàn)處理和指標(biāo)分析的面面，構(gòu)成數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用系統(tǒng)的核心和根底。做到開發(fā)者能格遵守規(guī)，維護(hù)者和使用者有規(guī)可查，有力的保障數(shù)據(jù)倉(cāng)庫(kù)工程的強(qiáng)健性和可維護(hù)性。目標(biāo)分析要走出目前的困境，有下面三個(gè)面的問(wèn)題急待解決：2.1建立完善的指標(biāo)解釋體系滿足用戶對(duì)業(yè)務(wù)和數(shù)據(jù)理解的需求，建立標(biāo)準(zhǔn)的企業(yè)部知識(shí)傳承的信息承載平臺(tái)，建立業(yè)務(wù)分析知識(shí)庫(kù)，實(shí)現(xiàn)知識(shí)共享。能夠答復(fù)諸如以下問(wèn)題：什么是出帳用戶數(shù).在網(wǎng)用戶數(shù)和網(wǎng)上用戶數(shù)有區(qū)別.什么是套餐的生命期.競(jìng)爭(zhēng)對(duì)手新開展用戶數(shù)是怎么得來(lái)的.這個(gè)數(shù)據(jù)還叫什么名字.2.2建立規(guī)的元數(shù)據(jù)管理體系讓用戶能夠清晰的了解數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)流的來(lái)龍去脈，業(yè)務(wù)處理規(guī)則、開展情況等，提高系統(tǒng)的可維護(hù)性、適應(yīng)性和集成性，支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)/集市的成長(zhǎng)需求，減少因員工換崗造成的影響。具體來(lái)講，主要是對(duì)數(shù)據(jù)倉(cāng)庫(kù)建立、運(yùn)行和維護(hù)的規(guī)的管理。能夠答復(fù)諸如以下的問(wèn)題：哪表是從業(yè)務(wù)系統(tǒng)抽取過(guò)來(lái)的原始話單表.競(jìng)爭(zhēng)對(duì)手新開展用戶事實(shí)表中的數(shù)據(jù)，是從哪些表匯總計(jì)算出來(lái)的.DW用戶下的P_***這個(gè)存儲(chǔ)過(guò)程是誰(shuí)寫的，現(xiàn)在還有用嗎.我是新手，要生成套餐生命期演化分析事實(shí)表，我該怎么做.表空間不夠了，哪些表的數(shù)據(jù)可以刪掉.2.3建立有效的數(shù)據(jù)稽核體系促進(jìn)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)質(zhì)量建立，為提高整個(gè)系統(tǒng)的數(shù)據(jù)質(zhì)量奠定堅(jiān)實(shí)的根底。建立報(bào)警、監(jiān)控機(jī)制，出現(xiàn)故障，能及時(shí)發(fā)現(xiàn)問(wèn)題。提供整體系統(tǒng)運(yùn)營(yíng)的情況分析。能夠答復(fù)諸如以下問(wèn)題：今天的出帳用戶數(shù)過(guò)高，是怎么回事.數(shù)據(jù)集市層中的DM_***表中數(shù)據(jù)為空，什么原因.A報(bào)表中的全省ARPU值和B報(bào)表中的ARPU值為什么不同.功能概述3.1元數(shù)據(jù)管理對(duì)數(shù)據(jù)倉(cāng)庫(kù)的層次構(gòu)造、主題域劃分，各層的各種對(duì)象，如表、存儲(chǔ)過(guò)程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。能夠清晰的展現(xiàn)各層次構(gòu)造之間的數(shù)據(jù)流程，圖形化展現(xiàn)各對(duì)象之間的關(guān)系，展現(xiàn)表中數(shù)據(jù)的來(lái)龍去脈。業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)包括以下信息：使用者的業(yè)務(wù)術(shù)語(yǔ)所表達(dá)的數(shù)據(jù)模型、對(duì)象名和屬性名；訪問(wèn)數(shù)據(jù)的原則和數(shù)據(jù)來(lái)源；系統(tǒng)所提供的分析法及公式、報(bào)表信息。業(yè)務(wù)元數(shù)據(jù)管理除了管理上述信息外，還提供對(duì)業(yè)務(wù)元數(shù)據(jù)來(lái)源的管理和差異性比照功能，使用戶能夠便的查詢、比較和追溯。包括兩個(gè)子模塊，指標(biāo)管理和指標(biāo)解釋接。指標(biāo)管理：主要實(shí)現(xiàn)對(duì)所有指標(biāo)的維護(hù)功能，維護(hù)指標(biāo)的根本信息、業(yè)務(wù)規(guī)則和技術(shù)算法等。能夠展現(xiàn)各個(gè)主題分析中的指標(biāo)，以及指標(biāo)間的區(qū)別等信息。指標(biāo)解釋接：提供統(tǒng)一的接，使用戶能夠在經(jīng)營(yíng)分析系統(tǒng)或CRM系統(tǒng)中，點(diǎn)擊任一指標(biāo)名稱，即可查看該指標(biāo)的詳細(xì)描述和解釋說(shuō)明。技術(shù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)是存儲(chǔ)關(guān)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，是用于開發(fā)和管理數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)，主要包括數(shù)據(jù)倉(cāng)庫(kù)構(gòu)造的描述〔各個(gè)主題的定義，星型模式或雪花型模式的描述定義等〕、ODS層〔操作數(shù)據(jù)存儲(chǔ)ODS.OperationDataStorage企業(yè)數(shù)據(jù)模型描述〔以描述關(guān)系表及其關(guān)聯(lián)關(guān)系為形式〕、對(duì)數(shù)據(jù)稽核規(guī)則的定義、數(shù)據(jù)集市定義描述與裝載描述〔包括Cube的維度、層次、度量以及相應(yīng)事實(shí)表、概要表的抽取規(guī)則〕。系統(tǒng)除了維護(hù)技術(shù)員數(shù)據(jù)的根本信息外，更以圖形的式展現(xiàn)和管理各技術(shù)元數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系和來(lái)源。技術(shù)元數(shù)據(jù)管理主要包括以下幾個(gè)功能模塊：元數(shù)據(jù)查詢：按關(guān)鍵字、分類、主題域名稱等維度進(jìn)展查詢，展現(xiàn)該元數(shù)據(jù)的根本信息，如業(yè)務(wù)描述、技術(shù)描述、計(jì)量單位、所屬分類等信息。元數(shù)據(jù)維護(hù)：對(duì)元數(shù)據(jù)的根本信息進(jìn)展維護(hù)，包括增、刪、改。元數(shù)據(jù)關(guān)系查詢：展現(xiàn)元數(shù)據(jù)之間的關(guān)系，如：按經(jīng)營(yíng)分析數(shù)據(jù)倉(cāng)庫(kù)的各個(gè)層次進(jìn)展展現(xiàn)；按元數(shù)據(jù)之間的映射關(guān)系展現(xiàn)；按元數(shù)據(jù)的處理流程進(jìn)展展現(xiàn)等等。元數(shù)據(jù)關(guān)系管理：對(duì)元數(shù)據(jù)關(guān)系進(jìn)展維護(hù)，包括增加、刪除和修改。如上圖所示，鼠標(biāo)右鍵點(diǎn)擊*個(gè)節(jié)點(diǎn)，對(duì)該節(jié)點(diǎn)進(jìn)展增、刪、改操作。3.3元數(shù)據(jù)分析血統(tǒng)分析、影響分析、表重要程度分析、表無(wú)關(guān)程度分析等等。通過(guò)上述分析，讓用戶對(duì)整個(gè)數(shù)據(jù)倉(cāng)庫(kù)總體上有清晰的認(rèn)識(shí)和理解，解決數(shù)據(jù)孤島的問(wèn)題。血統(tǒng)分析數(shù)據(jù)血統(tǒng)-DataLineage通過(guò)數(shù)據(jù)血統(tǒng)分析，用戶可以知道數(shù)據(jù)時(shí)更新、如計(jì)算以及從處而來(lái)，所有這些手段幫助用戶追溯報(bào)表中數(shù)據(jù)產(chǎn)生的來(lái)源。這種深入洞查數(shù)據(jù)來(lái)龍去脈的能力對(duì)于幫助用戶更加信賴他們的信息來(lái)說(shuō)，具有至關(guān)重要的作用。影響分析影響分析關(guān)注的重點(diǎn)是數(shù)據(jù)的流向，提供端對(duì)端影響分析，使您能夠看見(jiàn)源系統(tǒng)發(fā)生變化時(shí)，BI報(bào)表受到的影響，而因此可以輕松地處理BI環(huán)境中的變化。移動(dòng)用戶話務(wù)信息表處理大客戶信息前端展現(xiàn)專題分析模塊>移動(dòng)大客戶信息表目標(biāo)元數(shù)據(jù)對(duì)象競(jìng)爭(zhēng)專題>>大客戶明細(xì)高層決策>>競(jìng)爭(zhēng)對(duì)手競(jìng)爭(zhēng)專題>>用戶分析競(jìng)爭(zhēng)專題>>策反高層決策>>市場(chǎng)分析移動(dòng)用戶話務(wù)信息表處理大客戶信息前端展現(xiàn)專題分析模塊>移動(dòng)大客戶信息表目標(biāo)元數(shù)據(jù)對(duì)象競(jìng)爭(zhēng)專題>>大客戶明細(xì)高層決策>>競(jìng)爭(zhēng)對(duì)手競(jìng)爭(zhēng)專題>>用戶分析競(jìng)爭(zhēng)專題>>策反高層決策>>市場(chǎng)分析重要性分析分析BI系統(tǒng)中，用戶最關(guān)心的分析主題、報(bào)表和指標(biāo)，追溯這些分析主題、報(bào)表和指標(biāo)涉及到的元數(shù)據(jù)，這對(duì)于BI系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)開發(fā)團(tuán)隊(duì)具有重要的指導(dǎo)意義。分析各元數(shù)據(jù)對(duì)象之間的關(guān)聯(lián)密集度，分析數(shù)據(jù)倉(cāng)庫(kù)中各層次的包、表等對(duì)象的重要程度，指導(dǎo)數(shù)據(jù)倉(cāng)庫(kù)開發(fā)和維護(hù)團(tuán)隊(duì)對(duì)重點(diǎn)元數(shù)據(jù)進(jìn)展重點(diǎn)關(guān)注和質(zhì)量監(jiān)控。無(wú)關(guān)性分析與重要性分析相反，隨著數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的規(guī)模不斷擴(kuò)大，業(yè)務(wù)需求的日益變化，會(huì)產(chǎn)生一定數(shù)量的無(wú)關(guān)數(shù)據(jù)、信息和報(bào)表，找出這些無(wú)關(guān)的容，結(jié)合業(yè)務(wù)需求分析其產(chǎn)生的根源，從而為用戶簡(jiǎn)化工作負(fù)載，降低工程總擁有本錢，為用戶提供可信賴的數(shù)據(jù)和分析能力。3.4數(shù)據(jù)稽核根據(jù)預(yù)先配置的規(guī)則、算法和質(zhì)量檢查度量，對(duì)數(shù)據(jù)的準(zhǔn)確性、合理性等多角度的檢查，以及時(shí)發(fā)現(xiàn)問(wèn)題，解決問(wèn)題。對(duì)于稽核結(jié)果，進(jìn)展統(tǒng)計(jì)分析，形成結(jié)果報(bào)告，為以后的數(shù)據(jù)倉(cāng)庫(kù)建立、實(shí)施和維護(hù)的改進(jìn)打下堅(jiān)實(shí)的根底?；艘?guī)則管理接數(shù)據(jù)檢驗(yàn)：對(duì)接數(shù)據(jù)的過(guò)程進(jìn)展稽核和校驗(yàn)，分為文件接，DB-LINK接，其他異構(gòu)數(shù)據(jù)庫(kù)接。處理過(guò)程檢驗(yàn)：對(duì)數(shù)據(jù)處理過(guò)程進(jìn)展監(jiān)控和稽核，分為JOB稽核，工作流稽核，其他處理式稽核等。處理環(huán)境檢驗(yàn)：對(duì)數(shù)據(jù)處理環(huán)境進(jìn)展檢查，針對(duì)不同的應(yīng)用環(huán)境，主要分為數(shù)據(jù)庫(kù)系統(tǒng)檢查、主機(jī)系統(tǒng)檢查、接機(jī)檢查、應(yīng)用效勞器檢查。日志監(jiān)控：在ETL自動(dòng)運(yùn)行的過(guò)程中可能出現(xiàn)各種各樣的錯(cuò)誤，比方ETL過(guò)程申請(qǐng)的資源超過(guò)硬件的物理限制〔存儲(chǔ)缺乏或者排序空間缺乏〕。通過(guò)檢測(cè)ETL過(guò)程的日志可以判斷出該過(guò)程輸出的目標(biāo)表數(shù)據(jù)是否完整。提供選擇日志監(jiān)控的各種信息供選擇，如：過(guò)程名、所屬模塊〔營(yíng)業(yè)數(shù)據(jù)、計(jì)費(fèi)數(shù)據(jù)、維表數(shù)據(jù)等〕、執(zhí)行時(shí)間、完成時(shí)間、執(zhí)行時(shí)長(zhǎng)、執(zhí)行用戶、執(zhí)行結(jié)果、預(yù)警等。維度檢驗(yàn)：如：所屬模塊〔營(yíng)業(yè)數(shù)據(jù)、計(jì)費(fèi)數(shù)據(jù)、維表數(shù)據(jù)等〕、日期、表名、維度名稱、緯度格式、緯度說(shuō)明、緯度關(guān)聯(lián)編碼表、各緯度記錄分布情況、是否有空值、空值記錄數(shù)、空值率、預(yù)警區(qū)間等指標(biāo)。指標(biāo)值檢驗(yàn)：包括數(shù)據(jù)量校驗(yàn)、單指標(biāo)校驗(yàn)、穿插校驗(yàn)等?；巳蝿?wù)調(diào)度在設(shè)定數(shù)據(jù)稽核的模板后，可以對(duì)稽核任務(wù)實(shí)行自動(dòng)化處理，也可以通過(guò)定制式來(lái)完成，可以定時(shí)調(diào)用或觸發(fā)。由不同類型數(shù)據(jù)檢驗(yàn)確定。比方：前序數(shù)據(jù)〔計(jì)費(fèi)營(yíng)帳數(shù)據(jù)〕，可以使用定時(shí)調(diào)度任務(wù)檢查數(shù)據(jù)完整性，后序數(shù)據(jù)〔DW層數(shù)據(jù)直到數(shù)據(jù)集市展示層的匯總數(shù)據(jù)〕的調(diào)用可以通過(guò)日志記錄觸發(fā)開場(chǎng)，每個(gè)表記錄完成后如果日志檢測(cè)執(zhí)行正確，則進(jìn)展進(jìn)一步的數(shù)據(jù)稽核檢測(cè)?；?/p>