數(shù)據集市建設、數(shù)據質量及數(shù)據管理方法ppt課件

1、集市建立及數(shù)據管理方法 (初稿)目錄數(shù)據集市數(shù)據集市：數(shù)據倉庫的子集經過ETL流程的一定粒度匯總數(shù)據面向部門級業(yè)務針對特定主題的數(shù)據集星型方式(不遵照3NF構造)緩解倉庫訪問瓶頸實現(xiàn)方式：獨立型(Ralph Kimball)倉庫是集市的結合數(shù)據來源于業(yè)務系統(tǒng)首先滿足數(shù)據展現(xiàn)的需求必需一致的數(shù)據倉庫建立思想協(xié)調從屬型(Bill Inmon)集市是倉庫的子集數(shù)據來源于倉庫提供更強的數(shù)據一致性和靈敏性長期規(guī)劃實現(xiàn)目的合并不同系統(tǒng)數(shù)據源非實時更新數(shù)據的訪問信息發(fā)布面向特定用戶群體合理的查詢呼應時間快速一致的視圖訪問 獨立型 從屬型實現(xiàn)步驟：定義商業(yè)目的了解數(shù)據源確定匯總粒度定義數(shù)據模型實現(xiàn)原那么：一致

2、構建總體指點穩(wěn)定性可順應性可擴展性數(shù)據分層架構針對性營銷數(shù)據集市基于EDW/ODS ，經過對EDW/ODS中的數(shù)據進展一定粒度的匯總，滿足針對性營銷IT支撐需求的數(shù)據集合 包括營銷分析數(shù)據和營銷事務數(shù)據 營銷分析數(shù)據數(shù)據發(fā)掘寬表自助取數(shù)匯總表外部數(shù)據寬表 數(shù)據發(fā)掘寬表 旨在為數(shù)據發(fā)掘模型的建立和分析提供根底支撐，并為之提供有效的數(shù)據集合，提升系統(tǒng)效率。 包含客戶屬性類數(shù)據、客戶擁有類數(shù)據、客戶行為類數(shù)據、客戶價值類數(shù)據和客戶交互類數(shù)據。 自助取數(shù)匯總表 自助取數(shù)匯總表主要包含按照客戶、用戶等維度進展數(shù)據的初級匯總和整合，實現(xiàn)自助取數(shù)系統(tǒng)對客戶、產品等相關信息數(shù)據提取 外部數(shù)據寬表(外部調研數(shù)據

3、)在勝利獲取了外部數(shù)據后，可構建適宜的數(shù)據集市，納入系統(tǒng)的外部數(shù)據可包括：競爭對手信息、客戶偏好信息、客戶稱心度信息等 外部數(shù)據涵蓋的范圍非常廣泛，將一切的外部數(shù)據都加載到針對性營銷的數(shù)據集市中存在較大難度。營銷事務數(shù)據營銷事務數(shù)據用以支撐營銷活動的制定與開展套餐資料庫營銷資料庫營銷資源庫 套餐資料庫套餐資料庫存儲已有的套餐資料，為套餐梳理和套餐方案設計環(huán)節(jié)提供數(shù)據支撐。 套餐的構造包括根本套餐和可選套餐兩部分。根本套餐是套餐的主體部分，它包含了套餐的中心產品及主要優(yōu)惠規(guī)那么，可以獨立存在；可選套餐是由客戶自行選擇的疊加套餐，普通不單獨提供，需以購買根本套餐為前提。營銷資料庫營銷資料庫包含了整

4、個營銷活動的謀劃、分析、評價環(huán)節(jié)所涉及到的除了套餐以外的內容：市場調研所需的問卷題庫營銷腳本宣傳方案促銷方案營銷活動案例營銷資源庫營銷資源庫包含了電信公司所擁有的渠道、銷售品、外呼中心等資源的，供營銷謀劃人員在謀劃時可以查詢當前營銷活動可以利用的營銷資源；用于對營銷活動所需資源的可利用性進展檢查人力資源財務預算廣告資源渠道資源協(xié)作同伴促銷品資源包括贈送品、搭售品等其他支撐系統(tǒng)功能如計費系統(tǒng) 目錄目錄數(shù)據整合整合預備：源/目的模型數(shù)據預處置整合過程：數(shù)據抽取數(shù)據轉換數(shù)據加載整合規(guī)那么：數(shù)據編碼一致保證數(shù)據質量支持異常控制流程可維護異常處置流程管理輸出：規(guī)那么分析包括：候選數(shù)據源確定、源與目的的映

5、射關系、估計行數(shù)等執(zhí)行分析包括：執(zhí)行時間、執(zhí)行方式、執(zhí)行順序、執(zhí)行頻度等異常報告包括：異常位置、異常緣由、處置方式等版本控制數(shù)據整合總體流程總體處置流程目錄目錄數(shù)據質量處理方法數(shù)據質量處理方法信息問題域信息問題域技術問題域流程問題域管理問題域數(shù)據質量管理流程 數(shù)據質量評價分析 問題處理和驗證 數(shù)據質量問題分析源系統(tǒng)數(shù)據人員ODS系統(tǒng)維護人員數(shù)據質量管理人員數(shù)據質量檢查人員數(shù)據質量檢查問題匯總數(shù)據質量稽核分析問題問題展現(xiàn)ETL處置過程數(shù)據質量問題發(fā)現(xiàn)問題工單生成派單派單判別源系統(tǒng)問題工單ODS系統(tǒng)問題工單工單處置問題處理N數(shù)據質量分析評價問題驗證數(shù)據質量考核源系統(tǒng)評價報告ODS系統(tǒng)評價報告數(shù)據質

6、量檢查稽核數(shù)據質量評價監(jiān)控管理功能源系統(tǒng)1源系統(tǒng)2ETL/EAI企業(yè)數(shù)據平臺數(shù)據質量義務派發(fā)數(shù)據質量角色管理數(shù)據質量組織管理數(shù)據質量工單管理數(shù)據質量權限管理數(shù)據屬性關系檢查數(shù)據屬性檢查數(shù)據表關系檢查數(shù)據對比稽核異常處置數(shù)據對比展現(xiàn)數(shù)據質量分析數(shù)據質量評價數(shù)據質量告警數(shù)據質量異常跟蹤數(shù)據質量修正跟蹤數(shù)據質量監(jiān)控數(shù)據質量管理平臺數(shù)據質量根底管理規(guī)那么配置數(shù)據處置情況考核算法配置一致目的定義流程配置異常流程跟蹤接口定義數(shù)據質量管理總體流程 總體處置流程：目錄目錄元數(shù)據管理元數(shù)據定義元數(shù)據最本質，最籠統(tǒng)的定義為:data about data (關于數(shù)據的數(shù)據) 在數(shù)據倉庫領域中，元數(shù)據被定義為：描畫

7、數(shù)據及其環(huán)境的數(shù)據元數(shù)據存儲技術元數(shù)據：為企業(yè)技術用戶和IT人員提供支持的元數(shù)據業(yè)務元數(shù)據：為企業(yè)業(yè)務用戶提供支持的元數(shù)據元數(shù)據管理元數(shù)據管理技術公共倉庫元模型CWM CWM 公共倉庫元模型Common Warehouse Metamodel是OMG國際規(guī)范化組織提出的，主要目的是在異構環(huán)境下，使不同數(shù)據倉庫工具、平臺和元數(shù)據知識庫進展元數(shù)據交換。元數(shù)據管理支持五類系統(tǒng)管理功能描畫哪些數(shù)據在數(shù)據倉庫中;定義要進入數(shù)據倉庫中的數(shù)據和從數(shù)據倉庫中產生的數(shù)據;記錄根據業(yè)務事件發(fā)生而隨之進展的數(shù)據抽取任務時間安排;記錄并檢測系統(tǒng)數(shù)據一致性的要求和執(zhí)行情況;衡量數(shù)據質量。數(shù)據倉庫元數(shù)據管理數(shù)據倉庫涉及的

8、元數(shù)據管理包括：數(shù)據源元數(shù)據ETL規(guī)那么元數(shù)據數(shù)據倉庫元數(shù)據報表元數(shù)據接口文件格式元數(shù)據商業(yè)元數(shù)據其他元數(shù)據 各類元數(shù)據管理方法：數(shù)據源元數(shù)據數(shù)據源元數(shù)據主要是數(shù)據庫模型設計文檔、為綜合統(tǒng)計分析平臺提供數(shù)據的各種業(yè)務系統(tǒng)的數(shù)據字典及數(shù)據接口文件等。數(shù)據源元數(shù)據的管理：由相關人員對各類文檔進展一致版本的管理。各類元數(shù)據管理方法： ETL規(guī)那么元數(shù)據 ETL規(guī)那么元數(shù)據中涉及到數(shù)據源元數(shù)據、目的系統(tǒng)元數(shù)據、ETL流程、源與目的的映射關系等元數(shù)據信息。 數(shù)據源元數(shù)據包括業(yè)務系統(tǒng)元數(shù)據和數(shù)據倉庫元數(shù)據等；目的系統(tǒng)元數(shù)據能夠是數(shù)據倉庫元數(shù)據、數(shù)據集市元數(shù)據等。 ETL規(guī)那么元數(shù)據的管理：由數(shù)據庫開發(fā)人員

9、根據各個模塊的ETL過程以及過程運轉的順序，構成相關元數(shù)據管理文檔進展一致管理。各類元數(shù)據管理方法： 數(shù)據倉庫元數(shù)據 數(shù)據倉庫采用RDBMS進展數(shù)據的存儲和管理，設計方式遵照數(shù)據倉庫的設計準那么，實現(xiàn)主題、維、度量等多維概念模型，這些元素在RDBMS中物理上是詳細的數(shù)據表，這些表與詳細多維模型的映射關系需求經過元數(shù)據進展描畫和定義。 數(shù)據倉庫元數(shù)據的管理：制定數(shù)據倉庫模型設計文檔記錄現(xiàn)實表、維度、屬性、層次等信息，物理表與多維模型的映射關系等信息 ，對文檔進展一致版本的管理。各類元數(shù)據管理方法： 報表元數(shù)據 包括對報表和報表中詳細目的度量的描畫信息等 報表元數(shù)據的管理：對數(shù)據集上可以計算的度量

10、進展相關元數(shù)據的管理，包括詳細設計文檔中對各個表中度量的定義、描畫等；對一切表和度量之間的關系進展嚴厲的文檔記錄，包括度量的計算、度量之間的相互依賴關系、以及歷史信息進展元數(shù)據管理 各類元數(shù)據管理方法： 接口文件格式元數(shù)據 接口數(shù)據文件格式，包括接口數(shù)據文件的命名、傳輸周期、格式等闡明信息。 接口文件格式元數(shù)據：與ETL規(guī)那么元數(shù)據進展一致管理。各類元數(shù)據管理方法： 商業(yè)元數(shù)據 系統(tǒng)中對各項目的的業(yè)務含義的描畫性信息，在綜合統(tǒng)計分析平臺中，包括維、度量的業(yè)務含義描畫，主題的分析目的描畫，報表目的的解釋信息等。 商業(yè)元數(shù)據的管理可以分解成數(shù)據倉庫元數(shù)據的管理和報表元數(shù)據的管理。各類元數(shù)據管理方法： 其他元數(shù)據 數(shù)據訪問日志、數(shù)據裝載日志