元數(shù)據(jù)及數(shù)據(jù)質(zhì)量介紹_企業(yè)管理_經(jīng)管營(yíng)銷_專業(yè)資料

1、元數(shù)據(jù)及數(shù)據(jù)質(zhì)量介紹201603032 Confidential議程內(nèi)容議程內(nèi)容 數(shù)據(jù)管控?cái)?shù)據(jù)管控 元數(shù)據(jù)元數(shù)據(jù) 數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量 問題與討論問題與討論隨著數(shù)據(jù)倉(cāng)庫的不斷成長(zhǎng)，你能回答下面的問題嗎？3 12/13/2021源系統(tǒng)發(fā)生變化源系統(tǒng)發(fā)生變化后數(shù)據(jù)倉(cāng)庫到底需要修改多少程序？發(fā)生了多少次變化？從年初到現(xiàn)在哪些系統(tǒng)變化變化最頻繁頻繁？某個(gè)ETL加工程序到底經(jīng)過多少開發(fā)人員的修改修改？每次改動(dòng)的內(nèi)容是什么？哪個(gè)源系統(tǒng)的數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量最好？哪個(gè)小組開發(fā)質(zhì)量最高？哪些字段采用了公共代碼？代碼映射規(guī)則是什么？哪些字段是需要做變形的敏感字段？在不同環(huán)境下同步的變形策略是什么？企業(yè)級(jí)信息管控體系企業(yè)

2、級(jí)信息管控企業(yè)級(jí)信息管控戰(zhàn)略性和策略性管理，項(xiàng)目所有權(quán)和優(yōu)先次序設(shè)定數(shù)據(jù)管理數(shù)據(jù)管理界定日常持續(xù)創(chuàng)建、使用和廢止數(shù)據(jù)的職責(zé)元數(shù)據(jù)管理元數(shù)據(jù)管理用來描述如何、何時(shí)和由誰來負(fù)責(zé)數(shù)據(jù)的接收、創(chuàng)建、訪問、修改和格式的數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)的業(yè)務(wù)、技術(shù)規(guī)范性文檔數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量數(shù)據(jù)滿足特定使用的適用度，包括完整性和業(yè)務(wù)規(guī)則遵從性數(shù)據(jù)整合數(shù)據(jù)整合對(duì)各主題進(jìn)行數(shù)據(jù)清理、轉(zhuǎn)換、整合和豐富的流程數(shù)據(jù)安全與隱私數(shù)據(jù)安全與隱私各業(yè)務(wù)主題對(duì)安全性和保密性的要求，包括審計(jì)能力主數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)以及定義企業(yè)運(yùn)營(yíng)的關(guān)系人員、流程和技術(shù)人員、流程和技術(shù)企業(yè)級(jí)信息管控?cái)?shù)據(jù)管理主數(shù)據(jù)主數(shù)據(jù)管理管理數(shù)據(jù)數(shù)據(jù)質(zhì)量質(zhì)量元數(shù)

3、據(jù)元數(shù)據(jù)管理管理數(shù)據(jù)模型數(shù)據(jù)模型&業(yè)務(wù)視圖業(yè)務(wù)視圖數(shù)據(jù)安全數(shù)據(jù)安全與隱私與隱私數(shù)據(jù)數(shù)據(jù)整合整合數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)4 12/13/20215 Confidential數(shù)據(jù)管控實(shí)施的三個(gè)方向平臺(tái)：數(shù)據(jù)管控團(tuán)隊(duì)的工作必須建立在自動(dòng)化的高效的信息平臺(tái)。接口：企業(yè)的信息系統(tǒng)之間應(yīng)按照數(shù)據(jù)管控接口規(guī)范進(jìn)行交互。模板：信息系統(tǒng)向數(shù)據(jù)管控平臺(tái)提交數(shù)據(jù)可以通過標(biāo)準(zhǔn)模板。技術(shù)流程：根據(jù)管控要求建立可執(zhí)行工作流程，并嚴(yán)格執(zhí)行工作流程。規(guī)范：企業(yè)的各工作崗位有數(shù)據(jù)管控團(tuán)隊(duì)制訂的工作規(guī)范。制度：企業(yè)須建立數(shù)據(jù)管控的制度。流程流程組織： 建立企業(yè)級(jí)的數(shù)據(jù)管控團(tuán)隊(duì)是數(shù)據(jù)管控的基礎(chǔ)。角色：團(tuán)隊(duì)中按照管控的內(nèi)容進(jìn)行崗位的

4、設(shè)置，即角色。職責(zé)：不同的角色擁有詳細(xì)的工作職責(zé)。組織組織6 Confidential數(shù)據(jù)管控特點(diǎn)數(shù)據(jù)管控特點(diǎn)企業(yè)的分析型應(yīng)用發(fā)展到一定的成熟度，就能發(fā)現(xiàn)數(shù)據(jù)管控的價(jià)值。數(shù)據(jù)管控是跨系統(tǒng)、跨部門跨系統(tǒng)、跨部門的管理。數(shù)據(jù)管控必須有先進(jìn)的管理方法論支持。數(shù)據(jù)管控是需要長(zhǎng)期的、漸進(jìn)式的長(zhǎng)期的、漸進(jìn)式的工作。數(shù)據(jù)倉(cāng)庫是執(zhí)行數(shù)據(jù)管控理想的平臺(tái)。7 Confidential企業(yè)數(shù)據(jù)管控成熟度企業(yè)數(shù)據(jù)管控成熟度系統(tǒng)A系統(tǒng)B系統(tǒng)n人員流程數(shù)據(jù)A數(shù)據(jù)B系統(tǒng)A系統(tǒng)B系統(tǒng)n人員數(shù)據(jù)管控部門系統(tǒng)A系統(tǒng)B系統(tǒng)n人員流程統(tǒng)一的數(shù)據(jù)管控系統(tǒng)標(biāo)準(zhǔn)企業(yè)級(jí)數(shù)據(jù)管控環(huán)境數(shù)據(jù)管控部門系統(tǒng)A系統(tǒng)B非系統(tǒng)人員流程標(biāo)準(zhǔn)服務(wù)符合業(yè)界規(guī)范的

5、雙向數(shù)據(jù)管控系統(tǒng)系統(tǒng)n成熟度1：未知級(jí)成熟度2：被動(dòng)級(jí)成熟度3：主動(dòng)級(jí)成熟度4：預(yù)測(cè)級(jí)8 Confidential數(shù)據(jù)管控成熟度模型數(shù)據(jù)管控成熟度模型我們建立了企業(yè)數(shù)據(jù)管控成熟度模型，該模型能夠使企業(yè)識(shí)別和量化數(shù)據(jù)管控的成熟度，為企業(yè)的下一步數(shù)據(jù)管控提供指導(dǎo)。你的企業(yè)處在哪一級(jí)？ Unaware：未知的 Reactive：被動(dòng)的 Proactive：能動(dòng)的 Predictive：預(yù)測(cè)的回報(bào)回報(bào)人員、流程、技術(shù)的整合程度人員、流程、技術(shù)的整合程度風(fēng)險(xiǎn)風(fēng)險(xiǎn)數(shù)據(jù)管控平臺(tái)架構(gòu) Database數(shù)據(jù)管控知識(shí)庫MetadataDQDSETL數(shù)據(jù)管控平臺(tái) B/S應(yīng)用DDLExcelXMLSource Dat

6、aSQL登錄瀏覽搜索管理下載分析管管理理安安全全MartPDMStage用戶層用戶層DBAAdmin Application Platform (TAP)業(yè)務(wù)單元MVC獨(dú)立單元系統(tǒng)管理數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)數(shù)據(jù)質(zhì)量需求管理數(shù)據(jù)安全靈活查詢?cè)L問層訪問層應(yīng)用層應(yīng)用層模型層模型層數(shù)據(jù)層數(shù)據(jù)層數(shù)據(jù)管控平臺(tái) C/S應(yīng)用ETLDBCPerl開發(fā)開發(fā)應(yīng)用應(yīng)用需求開發(fā)SDM信息調(diào)研版本控制測(cè)試ETL開發(fā)工作模板控制批量加工10 Confidential數(shù)據(jù)管控平臺(tái)應(yīng)用數(shù)據(jù)管控平臺(tái)應(yīng)用業(yè)業(yè)務(wù)務(wù)應(yīng)應(yīng)用用數(shù)據(jù)管控門戶數(shù)據(jù)管控門戶數(shù)據(jù)管控的統(tǒng)一的登錄網(wǎng)站，下列的數(shù)據(jù)管控系統(tǒng)均部署在數(shù)據(jù)管控門戶上元數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)是數(shù)據(jù)管控的

7、IT基礎(chǔ)，包含業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)。建立企業(yè)級(jí)的元數(shù)據(jù)管理平臺(tái)，支持雙向的、動(dòng)態(tài)的元數(shù)據(jù)。數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量企業(yè)級(jí)的數(shù)據(jù)質(zhì)量管理平臺(tái)，擁有統(tǒng)一的檢查規(guī)則管理、檢查規(guī)則的審批流程定義，并在各業(yè)務(wù)系統(tǒng)上部署檢查Agent程序，匯總檢查結(jié)果與錯(cuò)誤明細(xì)。數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)管理平臺(tái)，數(shù)據(jù)標(biāo)準(zhǔn)的維護(hù)與發(fā)布，標(biāo)準(zhǔn)與元數(shù)據(jù)建立對(duì)應(yīng)關(guān)系。在各業(yè)務(wù)系統(tǒng)部署標(biāo)準(zhǔn)執(zhí)行監(jiān)控Agent程序，統(tǒng)計(jì)標(biāo)準(zhǔn)執(zhí)行情況。數(shù)據(jù)安全數(shù)據(jù)安全統(tǒng)一的數(shù)據(jù)安全管理平臺(tái)，根據(jù)與元數(shù)據(jù)的關(guān)系，定義數(shù)據(jù)在整個(gè)業(yè)務(wù)線、數(shù)據(jù)線的安全管理規(guī)則。需求管理需求管理管理需求生命周期，需求確認(rèn)、需求跟蹤、需求變更等內(nèi)容，以及需求與開發(fā)模塊之間的關(guān)系，需求與

8、最終的接口、映射加工內(nèi)容等元數(shù)據(jù)的關(guān)系。倉(cāng)庫資源計(jì)費(fèi)倉(cāng)庫資源計(jì)費(fèi)通過給出資源（磁盤、CPU）的價(jià)格，計(jì)算出應(yīng)用在中消耗的資源成本，以計(jì)算應(yīng)用的ROI靈活查詢靈活查詢基于B/S的靈活查詢平臺(tái)，能進(jìn)行企業(yè)BI知識(shí)管理，數(shù)據(jù)挖掘與分析。管控知識(shí)庫管控知識(shí)庫數(shù)據(jù)管控的培訓(xùn)與交流平臺(tái)、支持遠(yuǎn)程網(wǎng)絡(luò)培訓(xùn)、倉(cāng)庫WiKi、學(xué)習(xí)材料下載、BI信息發(fā)布、提供企業(yè)的BI用戶交流、用戶投訴與反饋等技技術(shù)術(shù)應(yīng)應(yīng)用用數(shù)據(jù)生命周期數(shù)據(jù)生命周期數(shù)據(jù)生命周期管理平臺(tái)，能夠在企業(yè)范圍統(tǒng)一定義的數(shù)據(jù)生命周期，數(shù)據(jù)的業(yè)務(wù)請(qǐng)求級(jí)別，備份策略，數(shù)據(jù)分布。企業(yè)級(jí)企業(yè)級(jí)ECTL統(tǒng)一的ECTL平臺(tái)，定義與規(guī)劃高效率的ECTL流程與策略，并能有

9、效的嵌入其他管控工具。EDW開發(fā)開發(fā)集成的EDW、BI應(yīng)用開發(fā)管理平臺(tái)。11 Confidential議程內(nèi)容議程內(nèi)容 數(shù)據(jù)管控?cái)?shù)據(jù)管控 元數(shù)據(jù)元數(shù)據(jù) 數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量 問題與討論問題與討論12 Confidential什么是元數(shù)據(jù)什么是元數(shù)據(jù) 定義 官方定義(CWM)：描述數(shù)據(jù)的信息。Metadata is structured information that describes the characteristics/attributes of a data element. 數(shù)據(jù)分析界定義：分散在企業(yè)中的關(guān)鍵數(shù)據(jù)描述關(guān)鍵數(shù)據(jù)描述。Metadata describes critical

10、elements of data scattered across the organization. 通俗的說：如果數(shù)據(jù)倉(cāng)庫是一座城市的話，元數(shù)據(jù)就是城市的地圖。數(shù)據(jù)倉(cāng)庫元數(shù)據(jù)13 Confidential元數(shù)據(jù)的國(guó)際標(biāo)準(zhǔn)元數(shù)據(jù)的國(guó)際標(biāo)準(zhǔn)CWMCWM公共倉(cāng)庫元模型（CWM: Common Warehouse Metamodel） 是為數(shù)據(jù)倉(cāng)庫及商業(yè)智能環(huán)境間方便地交換元數(shù)據(jù)而制定的一個(gè)標(biāo)準(zhǔn)，其主要目的是在異構(gòu)環(huán)境下，幫助不同的數(shù)據(jù)倉(cāng)庫工具、平臺(tái)和元數(shù)據(jù)知識(shí)庫進(jìn)行元數(shù)據(jù)交換。CWM模型為數(shù)據(jù)倉(cāng)庫和商業(yè)智能（BI）工具之間共享元數(shù)據(jù)，制定了一整套關(guān)于語法和語義的規(guī)范。它主要包含以下四個(gè)方面的規(guī)范

11、：CWM元模型（Metamodel）：描述數(shù)據(jù)倉(cāng)庫系統(tǒng)的模型； CWM XML：CWM元模型的XML表示； CWM DTD：DW/BI共享元數(shù)據(jù)的交換格式；CWM IDL：DW/BI共享元數(shù)據(jù)的應(yīng)用程序訪問接口（API）。 CWM標(biāo)準(zhǔn)涉及到的元數(shù)據(jù)模型結(jié)構(gòu) 14 Confidential數(shù)據(jù)倉(cāng)庫為什么需要元數(shù)據(jù)管理數(shù)據(jù)倉(cāng)庫為什么需要元數(shù)據(jù)管理 普通應(yīng)用系統(tǒng)為什么不需要元數(shù)據(jù)管理? 表的數(shù)量少 數(shù)據(jù)加工簡(jiǎn)單 數(shù)據(jù)來源單一 訪問方式單一 交鑰匙的應(yīng)用 數(shù)據(jù)倉(cāng)庫為什么必須元數(shù)據(jù)管理? 上下游系統(tǒng)多,變更頻繁 數(shù)據(jù)加工復(fù)雜 用戶訪問方式復(fù)雜 維護(hù)周期長(zhǎng) 某銀行的DW數(shù)據(jù)舉例:上游系統(tǒng)60個(gè),下游系統(tǒng)2

12、0多個(gè),倉(cāng)庫內(nèi)部的表12000多個(gè),運(yùn)行的ETL任務(wù)6000多個(gè),每個(gè)月都有新版本上線元數(shù)據(jù)架構(gòu)元數(shù)據(jù)架構(gòu)16 Confidential功能清單元數(shù)據(jù)功能清單元數(shù)據(jù)元數(shù)據(jù)瀏覽元數(shù)據(jù)地圖瀏覽元數(shù)據(jù)統(tǒng)計(jì)信息瀏覽全局版本比對(duì)全局版本比對(duì)DW來源系統(tǒng)元數(shù)據(jù)DW集市元數(shù)據(jù)DW/PDM元數(shù)據(jù)LDM元數(shù)據(jù)ETL、映射信息元數(shù)據(jù)數(shù)據(jù)文件元數(shù)據(jù)用戶查詢樣例元數(shù)據(jù)對(duì)象版本查看與比對(duì)影響分析影響分析血緣分析血緣分析元數(shù)據(jù)質(zhì)量分析孤立對(duì)象分析全局檢索用戶注釋元數(shù)據(jù)下載批量元數(shù)據(jù)加載元數(shù)據(jù)加載元數(shù)據(jù)緩沖區(qū)管理元數(shù)據(jù)版本回滾業(yè)務(wù)元數(shù)據(jù)管理源系統(tǒng)元數(shù)據(jù)管理DW集市元數(shù)據(jù)管理DW/PDM元數(shù)據(jù)管理LDM元數(shù)據(jù)管理ETL元數(shù)據(jù)

13、管理數(shù)據(jù)文件元數(shù)據(jù)管理查詢樣例管理元數(shù)據(jù)上傳元數(shù)據(jù)模板管理元數(shù)據(jù)橋接器管理版本管理管理執(zhí)行元數(shù)據(jù)自動(dòng)更新模塊自動(dòng)更新模塊ETL相關(guān)數(shù)據(jù)同步SQL解析處理模塊17 Confidential元數(shù)據(jù)瀏覽的靈活性元數(shù)據(jù)瀏覽的靈活性元數(shù)據(jù)對(duì)象關(guān)系呈立體網(wǎng)狀立體網(wǎng)狀看本體看本體查看對(duì)象本身定義，例如表的名稱、注釋等信息。向上看向上看查看對(duì)象所屬對(duì)象的定義，例如表所歸屬的數(shù)據(jù)庫。向下看向下看查看對(duì)象包含的對(duì)象的定義，例如表所包含的字段、索引等。向前看向前看查看對(duì)象的上游信息對(duì)象，例如該表的數(shù)據(jù)的來源表。向后看向后看查看對(duì)象的下游信息對(duì)象，例如該表的數(shù)據(jù)的目標(biāo)表。看歷史看歷史查看對(duì)象的歷史變更信息。例如該表在

14、上一個(gè)版本中的內(nèi)容?？从燕徔从燕彶榭磁c對(duì)象有關(guān)系的其他對(duì)象，例如涉及該表的腳本等信息。歷史歷史對(duì)象對(duì)象所屬所屬對(duì)象對(duì)象包含包含對(duì)象對(duì)象目標(biāo)目標(biāo)對(duì)象對(duì)象來源來源對(duì)象對(duì)象本體本體對(duì)象對(duì)象友鄰友鄰對(duì)象對(duì)象友鄰友鄰對(duì)象對(duì)象友鄰友鄰對(duì)象對(duì)象友鄰友鄰對(duì)象對(duì)象18 Confidential核心價(jià)值：元數(shù)據(jù)分析功能核心價(jià)值：元數(shù)據(jù)分析功能影響分析向下向下分析一個(gè)元數(shù)據(jù)對(duì)象對(duì)下游對(duì)象的影響。血緣分析與影響分析的方向相反，向上向上追溯一個(gè)對(duì)象的數(shù)據(jù)來源。全鏈分析從某對(duì)象出發(fā)，向上下游雙方向進(jìn)行分析?；盍Ψ治龇治鲆粋€(gè)數(shù)據(jù)庫對(duì)象被訪問的頻度頻度。孤立對(duì)象分析分析數(shù)據(jù)準(zhǔn)備區(qū)(SData)、物理模型區(qū)(PData)中的孤

15、立元數(shù)據(jù)對(duì)象。一致性分析定期分析元模型中的元數(shù)據(jù)是否與實(shí)際情況一致一致。版本比對(duì)選擇任意兩個(gè)時(shí)點(diǎn)的版本進(jìn)行比對(duì)。質(zhì)量分析分析數(shù)據(jù)倉(cāng)庫中的元數(shù)據(jù)的質(zhì)量。19 Confidential徹底解決影響徹底解決影響/ /血緣分析放大的血緣分析放大的問題問題由于DW的LDM大多采用三范式建模，因此LDM的核心表會(huì)有大量的來源與目標(biāo)，一旦做影響分析，結(jié)果就會(huì)擴(kuò)散放大。最終導(dǎo)致分析結(jié)果無法使用。采用智能SQL解析器模塊，能分析數(shù)據(jù)的真實(shí)來源與目標(biāo)。此項(xiàng)技術(shù)是業(yè)界領(lǐng)先的。非精細(xì)化非精細(xì)化解析結(jié)果解析結(jié)果精細(xì)化精細(xì)化解析結(jié)果解析結(jié)果20 Confidential系統(tǒng)簡(jiǎn)要介紹元數(shù)據(jù)系統(tǒng)簡(jiǎn)要介紹元數(shù)據(jù)21 Confi

16、dential選擇的元數(shù)據(jù)管理的選擇的元數(shù)據(jù)管理的1010個(gè)理由個(gè)理由完美結(jié)合數(shù)據(jù)庫的產(chǎn)品，充分利用數(shù)據(jù)庫性能數(shù)據(jù)庫性能。完美結(jié)合的數(shù)據(jù)倉(cāng)庫實(shí)施方法論，貼合項(xiàng)目實(shí)際。是CWM規(guī)范制定者之一，符合業(yè)界標(biāo)準(zhǔn)的元數(shù)據(jù)產(chǎn)品。能快速動(dòng)態(tài)生成全域元數(shù)據(jù)地圖全域元數(shù)據(jù)地圖，DW信息一目了然。徹底解決影響解決影響/血緣分析放大血緣分析放大的問題。能夠直接導(dǎo)入LDM，并以圖形化顯示。是企業(yè)級(jí)數(shù)據(jù)管控架構(gòu)的基礎(chǔ)。元數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)倉(cāng)庫開發(fā)過程，支持模型設(shè)計(jì)、ETL開發(fā)?？蓴U(kuò)展性好，能夠無縫實(shí)現(xiàn)企業(yè)級(jí)元數(shù)據(jù)管理。功能強(qiáng)大，性能卓越，性價(jià)比高。22 Confidential議程內(nèi)容議程內(nèi)容 數(shù)據(jù)管控?cái)?shù)據(jù)管控 元數(shù)據(jù)元數(shù)據(jù)

17、 數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量 問題與討論問題與討論23 Confidential中國(guó)金融行業(yè)數(shù)據(jù)質(zhì)量管理的發(fā)中國(guó)金融行業(yè)數(shù)據(jù)質(zhì)量管理的發(fā)展歷程展歷程20032006200820101.簡(jiǎn)單的檢查腳本。2.少量的技術(shù)和業(yè)務(wù)檢查規(guī)則。3.沒有專門的數(shù)據(jù)質(zhì)量檢查團(tuán)隊(duì)，包含在ETL工作中。4.被動(dòng)式檢查，救火隊(duì)式工作。1.第一次開發(fā)出數(shù)據(jù)質(zhì)量檢查管理系統(tǒng)，并且在建行DW部署。2.大量的技術(shù)檢查，少量的業(yè)務(wù)檢查。3.有了專門的質(zhì)量小組。1.數(shù)據(jù)管理平臺(tái)開發(fā)完成，數(shù)據(jù)質(zhì)量與元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)等集成在一起，并在建行、工行部署。2.大量的技術(shù)和業(yè)務(wù)檢查規(guī)則。3. 主動(dòng)的技術(shù)檢查；被動(dòng)的業(yè)務(wù)檢查。1.完善數(shù)據(jù)管理平臺(tái)。2.

18、抽象出規(guī)范化的金融行業(yè)的業(yè)務(wù)檢查規(guī)則。3:推動(dòng)質(zhì)量檢查的閉環(huán)工作。4:實(shí)現(xiàn)主動(dòng)式的業(yè)務(wù)檢查。24 Confidential數(shù)據(jù)質(zhì)量管理的指標(biāo)數(shù)據(jù)質(zhì)量管理的指標(biāo) 我們需要什么樣的數(shù)據(jù)我們需要什么樣的數(shù)據(jù) 完整的 所需求的數(shù)據(jù)是否都已經(jīng)獲得 一致的 從不同應(yīng)用獲得數(shù)據(jù)能否保持一致 有效的 數(shù)據(jù)是否容易理解而不被曲解 準(zhǔn)確的 數(shù)據(jù)是否在任何時(shí)間點(diǎn)都反應(yīng)了數(shù)據(jù)的真實(shí)情況 相關(guān)的 有關(guān)聯(lián)的數(shù)據(jù)之間的關(guān)系是否準(zhǔn)確有效 及時(shí)的 從信息產(chǎn)生到數(shù)據(jù)可用需要多長(zhǎng)時(shí)間25 Confidential數(shù)據(jù)質(zhì)量問題成因魚骨圖分析數(shù)據(jù)質(zhì)量問題成因魚骨圖分析 數(shù)據(jù)質(zhì)量問題來源廣泛、復(fù)雜培訓(xùn)培訓(xùn)管理管理激勵(lì)激勵(lì)上崗培訓(xùn)進(jìn)修目標(biāo)

19、責(zé)任心優(yōu)先級(jí)反饋獎(jiǎng)勵(lì)元數(shù)據(jù)元數(shù)據(jù)模型定義加工完整性精確性度量度量有效性數(shù)據(jù)數(shù)據(jù)傳遞傳遞及時(shí)性漏傳基礎(chǔ)基礎(chǔ)設(shè)施設(shè)施OS網(wǎng)絡(luò)硬件實(shí)施實(shí)施復(fù)查產(chǎn)品產(chǎn)品性能缺陷測(cè)試配置覆蓋率數(shù)據(jù)數(shù)據(jù)變化頻度流程流程設(shè)計(jì)優(yōu)化架構(gòu)架構(gòu)設(shè)計(jì)工具26 Confidential數(shù)據(jù)質(zhì)量問題氣泡圖分析數(shù)據(jù)質(zhì)量問題氣泡圖分析項(xiàng)目組數(shù)據(jù)管理團(tuán)隊(duì)企業(yè)客戶可控 范圍 不可控技術(shù) 質(zhì)量性質(zhì) 業(yè)務(wù)唯一性唯一性完整性完整性管理管理客戶信息客戶信息源系統(tǒng)源系統(tǒng)系統(tǒng)調(diào)研系統(tǒng)調(diào)研樣本數(shù)據(jù)樣本數(shù)據(jù)開發(fā)開發(fā)測(cè)試測(cè)試外鍵外鍵主鍵主鍵架構(gòu)架構(gòu)值域值域業(yè)務(wù)規(guī)則業(yè)務(wù)規(guī)則模型模型有效性有效性相關(guān)性相關(guān)性溝通溝通及時(shí)性及時(shí)性27 Confidential數(shù)據(jù)質(zhì)量改

20、進(jìn)流程數(shù)據(jù)質(zhì)量改進(jìn)流程 PDCAPDCAPDCA環(huán)簡(jiǎn)稱Deming Cycle，由質(zhì)量大師戴明發(fā)明P計(jì)劃 D執(zhí)行 C檢查 A行動(dòng)沒有形成這個(gè)閉環(huán)，就不會(huì)有質(zhì)量的改進(jìn)根據(jù)PDCA原理，設(shè)計(jì)出適合企業(yè)的質(zhì)量提升流程計(jì)劃計(jì)劃PDCA環(huán)環(huán)執(zhí)行執(zhí)行檢查檢查行動(dòng)行動(dòng)PDCA例子P:在眾多的質(zhì)量問題中選擇某一個(gè)問題準(zhǔn)備改進(jìn)。D:在部分分支機(jī)構(gòu)執(zhí)行質(zhì)量改進(jìn)方案。C:通過DW反饋評(píng)估質(zhì)量改進(jìn)效果。A:制定數(shù)據(jù)質(zhì)量改進(jìn)指引，下發(fā)全部機(jī)構(gòu)，并監(jiān)督改進(jìn)情況。戴明名言戴明名言: 質(zhì)量無須驚人之舉。每個(gè)人都有客戶，如果他不知道自己的客戶是誰，也不知道客戶需要的是什么，那么他還沒有了解自己的工作。質(zhì)量提高不是來自于檢驗(yàn)而是

21、來源于過程的改進(jìn)。質(zhì)量提高不是來自于檢驗(yàn)而是來源于過程的改進(jìn)。企業(yè)買不到高質(zhì)量的方法。28 Confidential質(zhì)量以滿足客戶的需求為原則質(zhì)量以滿足客戶的需求為原則 數(shù)據(jù)流轉(zhuǎn)概述：核心系統(tǒng)核心系統(tǒng)的數(shù)據(jù)文件通過文件文件傳輸平臺(tái)傳輸平臺(tái)傳輸?shù)綌?shù)據(jù)倉(cāng)庫數(shù)據(jù)倉(cāng)庫，數(shù)據(jù)倉(cāng)庫加工數(shù)據(jù)后傳送給數(shù)據(jù)集市數(shù)據(jù)集市。 問題：數(shù)據(jù)集市報(bào)告數(shù)據(jù)倉(cāng)庫傳送的數(shù)據(jù)有錯(cuò)誤，但是據(jù)數(shù)據(jù)倉(cāng)庫的技術(shù)人員反饋，以前出過類似情況，這可能是核心系統(tǒng)下數(shù)錯(cuò)誤，也不排除文件傳輸平臺(tái)漏數(shù)的情況，因此，數(shù)據(jù)數(shù)據(jù)集市應(yīng)該就這個(gè)質(zhì)量問題找誰？集市應(yīng)該就這個(gè)質(zhì)量問題找誰？核心系統(tǒng)文件傳輸平臺(tái)數(shù)據(jù)倉(cāng)庫數(shù)據(jù)集市A:找數(shù)據(jù)倉(cāng)庫B:找文件傳輸平臺(tái)C:找

22、核心系統(tǒng)D:按順序全找正確答案：A企業(yè)要建立起下游即用戶，用戶永遠(yuǎn)是第一的原則，任何系統(tǒng)都要接受下游投訴并妥善處理的原則。29 Confidential完善開發(fā)管理流程完善開發(fā)管理流程 DW相關(guān)應(yīng)用開發(fā)遵守軟件開發(fā)管理流程 建立三套隔離環(huán)境：開發(fā)及SIT測(cè)試、UAT測(cè)試、生產(chǎn)30 Confidential數(shù)據(jù)管控的數(shù)據(jù)質(zhì)量組織角色與數(shù)據(jù)管控的數(shù)據(jù)質(zhì)量組織角色與職責(zé)職責(zé)數(shù)據(jù)質(zhì)量組組長(zhǎng)數(shù)據(jù)質(zhì)量組組長(zhǎng)(1)數(shù)據(jù)質(zhì)量組個(gè)人工作計(jì)劃收集,制定中長(zhǎng)期工作計(jì)劃定期向項(xiàng)目經(jīng)理匯報(bào)數(shù)據(jù)質(zhì)量治理情況協(xié)調(diào)本組與數(shù)據(jù)倉(cāng)庫各小組之間的工作數(shù)據(jù)質(zhì)量專家顧問數(shù)據(jù)質(zhì)量專家顧問(1)為數(shù)據(jù)質(zhì)量工作制定中長(zhǎng)期的建設(shè)規(guī)劃熟悉模型建

23、設(shè),應(yīng)用開發(fā),為數(shù)據(jù)質(zhì)量組工作提供指導(dǎo)審核數(shù)據(jù)質(zhì)量組組間的工作聯(lián)系單和檢核腳本質(zhì)量問題外部聯(lián)絡(luò)與追蹤人員質(zhì)量問題外部聯(lián)絡(luò)與追蹤人員(1)數(shù)據(jù)質(zhì)量組與源系統(tǒng)工作聯(lián)系單的收集與跟蹤數(shù)據(jù)倉(cāng)庫運(yùn)維過程中事故記錄與日常問題的整理數(shù)據(jù)質(zhì)量知識(shí)庫的維護(hù)日常檢查人員日常檢查人員(1-2)每日數(shù)據(jù)記錄,代碼檢查,主鍵重復(fù)等日常檢查的結(jié)果查看與報(bào)告數(shù)據(jù)質(zhì)量運(yùn)行平臺(tái)系統(tǒng)的維護(hù)專項(xiàng)檢查人員專項(xiàng)檢查人員(1-2)處理臨時(shí)性的協(xié)同工單數(shù)據(jù)質(zhì)量問題檢查專項(xiàng)的數(shù)據(jù)質(zhì)量問題治理檢查數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)治理與改進(jìn)31 Confidential數(shù)據(jù)管控的數(shù)據(jù)質(zhì)量問題治理流數(shù)據(jù)管控的數(shù)據(jù)質(zhì)量問題治理流程程32 Confidential數(shù)據(jù)

24、管理平臺(tái)數(shù)據(jù)質(zhì)量管理子數(shù)據(jù)管理平臺(tái)數(shù)據(jù)質(zhì)量管理子系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)33 Confidential數(shù)據(jù)質(zhì)量管理的手段與工具數(shù)據(jù)質(zhì)量管理的手段與工具 數(shù)據(jù)質(zhì)量手段分類 數(shù)據(jù)收集手段 數(shù)據(jù)分析手段 文檔技術(shù)手段 結(jié)果展現(xiàn)手段 問題與改進(jìn)手段 QA控制手段 數(shù)據(jù)質(zhì)量技術(shù)與工具 數(shù)據(jù)質(zhì)量指標(biāo)積分卡 數(shù)據(jù)質(zhì)量管理平臺(tái)(含元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)) 用戶調(diào)查表、溝通 成本分析、問題起源分析、時(shí)間行動(dòng)分析 評(píng)估與選擇、頭腦風(fēng)暴、優(yōu)先級(jí)技術(shù) 過程文檔、項(xiàng)目管理 圖表（清單、柱圖、原因效果矩陣圖、帕累托圖、數(shù)據(jù)流程圖） 質(zhì)量回顧、質(zhì)量循環(huán) 知識(shí)庫、論壇 培訓(xùn)34 Confidential數(shù)據(jù)質(zhì)量指標(biāo)積分卡數(shù)據(jù)質(zhì)量指標(biāo)積分卡

25、- Summary Scorecard Example -權(quán)權(quán)重重得得分分加加權(quán)權(quán)貢貢獻(xiàn)獻(xiàn)評(píng)評(píng)級(jí)級(jí)完整性6%85%5.1% B精確性（現(xiàn)實(shí)角度）10%74%7.4% C精確性(獲取角度)10%92%9.2% A精確性 (數(shù)據(jù)概括)6%78%4.7% C+非副本記錄20%47%9.4% F一致性20%46%9.2% F及時(shí)性10%56%5.6% F可訪問性6%77%4.6% C+清晰度6%74%4.4% C可用性6%86%5.2% B總總計(jì)計(jì)100%65% F35 Confidential功能清單數(shù)據(jù)質(zhì)量功能清單數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量瀏覽檢查任務(wù)運(yùn)行情況日期匯總檢查任務(wù)運(yùn)行情況類型匯總單個(gè)檢查任務(wù)執(zhí)行

26、情況圖表我關(guān)注的檢查任務(wù)ETL錯(cuò)誤瀏覽數(shù)據(jù)質(zhì)量清潔度指標(biāo)瀏覽檢查類型清單與明細(xì)瀏覽檢查任務(wù)清單與明細(xì)瀏覽檢查任務(wù)與元數(shù)據(jù)關(guān)系瀏覽檢查任務(wù)執(zhí)行結(jié)果瀏覽錯(cuò)誤數(shù)據(jù)瀏覽與下載質(zhì)量登記簿瀏覽全局檢索用戶注釋檢查類型管理檢查任務(wù)管理數(shù)據(jù)質(zhì)量清潔度指標(biāo)管理檢查任務(wù)批量加載檢查任務(wù)腳本在線測(cè)試質(zhì)量登記簿管理關(guān)注任務(wù)管理檢查任務(wù)批量參數(shù)設(shè)置元數(shù)據(jù)變更影響分析ETL錯(cuò)誤與質(zhì)量登記簿關(guān)聯(lián)檢查任務(wù)執(zhí)行結(jié)果與質(zhì)量登記簿關(guān)聯(lián)管理執(zhí)行ETL嵌入嵌入模塊批量運(yùn)行模塊離線檢查模塊應(yīng)用服務(wù)器定時(shí)執(zhí)行模塊自動(dòng)報(bào)表36 Confidential系統(tǒng)簡(jiǎn)要介紹數(shù)據(jù)質(zhì)量系統(tǒng)簡(jiǎn)要介紹數(shù)據(jù)質(zhì)量37 Confidential某金融客戶的部分質(zhì)量

27、檢查規(guī)則某金融客戶的部分質(zhì)量檢查規(guī)則編號(hào)檢查名稱檢查描述檢查任務(wù)數(shù)2,001 SDATA層代碼檢查檢查SDATA層代碼檢查是否存在非法值8932,002 SDATA主鍵重復(fù)檢查檢查ODS提供的源數(shù)據(jù)存在重復(fù)記錄的情況1,6682,003 SDATA空記錄數(shù)檢查檢查sdata提供的源表是否存在空記錄的情況5532,004 SDATA標(biāo)準(zhǔn)代碼檢查監(jiān)控標(biāo)準(zhǔn)代碼相關(guān)問題342,005 SDATA空記錄檢查(周末允許為空)SDATA空記錄檢查(周末允許為空)522,007 SDATA業(yè)務(wù)規(guī)則檢查檢查sdata提供的源表是否符合正常的業(yè)務(wù)規(guī)則722,008 SDATA非法日期格式檢查檢查源表非法日期格式，即不在這三種格式中的日期（YYYY-MM-DD，YYYYMMDD，YYMMDD）512,009 SDATA空記錄檢查(帳單日非空，其它時(shí)段不管)SDATA空記錄檢查(帳單日非空，其它時(shí)段不管)12,010 SDATA層字段亂碼檢查SDATA層字段亂碼檢查12,011 SDATA前天記錄數(shù)/數(shù)值上下波動(dòng)率檢查(帶閾值) SDATA前天記錄數(shù)/數(shù)值上下波動(dòng)率檢查(帶閾值)12,012 SDATA上月記錄數(shù)/數(shù)值上下波動(dòng)率檢查(