數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法課件

集市建設(shè)及數(shù)據(jù)管理方法 (初稿)目錄

數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市：數(shù)據(jù)倉(cāng)庫(kù)的子集經(jīng)過(guò)ETL流程的一定粒度匯總數(shù)據(jù)面向部門級(jí)業(yè)務(wù)針對(duì)特定主題的數(shù)據(jù)集星型模式(不遵循3NF結(jié)構(gòu))緩解倉(cāng)庫(kù)訪問(wèn)瓶頸實(shí)現(xiàn)方式：獨(dú)立型(RalphKimball)倉(cāng)庫(kù)是集市的聯(lián)合數(shù)據(jù)來(lái)源于業(yè)務(wù)系統(tǒng)首先滿足數(shù)據(jù)展示的需求必需統(tǒng)一的數(shù)據(jù)倉(cāng)庫(kù)建設(shè)思想?yún)f(xié)調(diào)從屬型(BillInmon)集市是倉(cāng)庫(kù)的子集數(shù)據(jù)來(lái)源于倉(cāng)庫(kù)提供更強(qiáng)的數(shù)據(jù)一致性和靈活性長(zhǎng)期規(guī)劃獨(dú)立型從屬型實(shí)現(xiàn)原則：統(tǒng)一構(gòu)建總體指導(dǎo)穩(wěn)定性可適應(yīng)性可擴(kuò)展性數(shù)據(jù)分層架構(gòu)針對(duì)性營(yíng)銷數(shù)據(jù)集市基于EDW/ODS，通過(guò)對(duì)EDW/ODS中的數(shù)據(jù)進(jìn)行一定粒度的匯總，滿足針對(duì)性營(yíng)銷IT支撐需求的數(shù)據(jù)集合包括營(yíng)銷分析數(shù)據(jù)和營(yíng)銷事務(wù)數(shù)據(jù)營(yíng)銷分析數(shù)據(jù)數(shù)據(jù)挖掘?qū)挶碜灾?shù)匯總表外部數(shù)據(jù)寬表數(shù)據(jù)挖掘?qū)挶碇荚跒閿?shù)據(jù)挖掘模型的建立和分析提供基礎(chǔ)支撐，并為之提供有效的數(shù)據(jù)集合，提升系統(tǒng)效率。包含客戶屬性類數(shù)據(jù)、客戶擁有類數(shù)據(jù)、客戶行為類數(shù)據(jù)、客戶價(jià)值類數(shù)據(jù)和客戶交互類數(shù)據(jù)。自助取數(shù)匯總表自助取數(shù)匯總表主要包含按照客戶、用戶等維度進(jìn)行數(shù)據(jù)的初級(jí)匯總和整合，實(shí)現(xiàn)自助取數(shù)系統(tǒng)對(duì)客戶、產(chǎn)品等相關(guān)信息數(shù)據(jù)提取外部數(shù)據(jù)寬表(外部調(diào)研數(shù)據(jù))在成功獲取了外部數(shù)據(jù)后，可構(gòu)建合適的數(shù)據(jù)集市，納入系統(tǒng)的外部數(shù)據(jù)可包括：競(jìng)爭(zhēng)對(duì)手信息、客戶偏好信息、客戶滿意度信息等外部數(shù)據(jù)涵蓋的范圍非常廣泛，將所有的外部數(shù)據(jù)都加載到針對(duì)性營(yíng)銷的數(shù)據(jù)集市中存在較大難度。套餐資料庫(kù)套餐資料庫(kù)存儲(chǔ)已有的套餐資料，為套餐梳理和套餐方案設(shè)計(jì)環(huán)節(jié)提供數(shù)據(jù)支撐。套餐的結(jié)構(gòu)包括基本套餐和可選套餐兩部分?；咎撞褪翘撞偷闹黧w部分，它包含了套餐的核心產(chǎn)品及主要優(yōu)惠規(guī)則，可以獨(dú)立存在；可選套餐是由客戶自行選擇的疊加套餐，一般不單獨(dú)提供，需以購(gòu)買基本套餐為前提。營(yíng)銷資料庫(kù)營(yíng)銷資料庫(kù)包含了整個(gè)營(yíng)銷活動(dòng)的策劃、分析、評(píng)估環(huán)節(jié)所涉及到的除了套餐以外的內(nèi)容：市場(chǎng)調(diào)研所需的問(wèn)卷題庫(kù)營(yíng)銷腳本宣傳方案促銷方案營(yíng)銷活動(dòng)案例目錄

數(shù)據(jù)集市

數(shù)據(jù)管理數(shù)據(jù)整合數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理數(shù)據(jù)整合整合準(zhǔn)備：源/目標(biāo)模型數(shù)據(jù)預(yù)處理整合過(guò)程：數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)加載整合規(guī)則：數(shù)據(jù)編碼統(tǒng)一保證數(shù)據(jù)質(zhì)量支持異?？刂屏鞒炭删S護(hù)異常處理流程管理輸出：規(guī)則分析包括：候選數(shù)據(jù)源確定、源與目標(biāo)的映射關(guān)系、估計(jì)行數(shù)等執(zhí)行分析包括：執(zhí)行時(shí)間、執(zhí)行方式、執(zhí)行順序、執(zhí)行頻度等異常報(bào)告包括：異常位置、異常原因、處理方式等版本控制數(shù)據(jù)整合總體流程總體處理流程數(shù)據(jù)質(zhì)量解決方法信息問(wèn)題域流程問(wèn)題域管理問(wèn)題域數(shù)據(jù)質(zhì)量管理流程數(shù)據(jù)質(zhì)量評(píng)估分析問(wèn)題解決和驗(yàn)證數(shù)據(jù)質(zhì)量問(wèn)題分析源系統(tǒng)數(shù)據(jù)人員ODS系統(tǒng)維護(hù)人員數(shù)據(jù)質(zhì)量管理人員數(shù)據(jù)質(zhì)量檢查人員數(shù)據(jù)質(zhì)量檢查問(wèn)題匯總數(shù)據(jù)質(zhì)量稽核分析問(wèn)題問(wèn)題展現(xiàn)ETL處理過(guò)程數(shù)據(jù)質(zhì)量問(wèn)題發(fā)現(xiàn)問(wèn)題工單生成派單派單判斷源系統(tǒng)問(wèn)題工單ODS系統(tǒng)問(wèn)題工單工單處理問(wèn)題解決N數(shù)據(jù)質(zhì)量分析評(píng)估問(wèn)題驗(yàn)證數(shù)據(jù)質(zhì)量考核源系統(tǒng)評(píng)估報(bào)告ODS系統(tǒng)評(píng)估報(bào)告數(shù)據(jù)質(zhì)量檢查稽核數(shù)據(jù)質(zhì)量評(píng)估監(jiān)控管理功能源系統(tǒng)1源系統(tǒng)2ETL/EAI企業(yè)數(shù)據(jù)平臺(tái)數(shù)據(jù)質(zhì)量任務(wù)派發(fā)數(shù)據(jù)質(zhì)量角色管理數(shù)據(jù)質(zhì)量組織管理數(shù)據(jù)質(zhì)量工單管理數(shù)據(jù)質(zhì)量權(quán)限管理數(shù)據(jù)屬性關(guān)系檢查數(shù)據(jù)屬性檢查數(shù)據(jù)表關(guān)系檢查數(shù)據(jù)對(duì)比稽核異常處理數(shù)據(jù)對(duì)比展現(xiàn)數(shù)據(jù)質(zhì)量分析數(shù)據(jù)質(zhì)量評(píng)估數(shù)據(jù)質(zhì)量告警數(shù)據(jù)質(zhì)量異常跟蹤數(shù)據(jù)質(zhì)量修正跟蹤數(shù)據(jù)質(zhì)量監(jiān)控?cái)?shù)據(jù)質(zhì)量管理平臺(tái)數(shù)據(jù)質(zhì)量基礎(chǔ)管理規(guī)則配置數(shù)據(jù)處理情況考核算法配置統(tǒng)一指標(biāo)定義流程配置異常流程跟蹤接口定義數(shù)據(jù)質(zhì)量管理總體流程總體處理流程：目錄

數(shù)據(jù)集市

數(shù)據(jù)管理數(shù)據(jù)整合數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理元數(shù)據(jù)管理元數(shù)據(jù)定義元數(shù)據(jù)最本質(zhì)，最抽象的定義為:dataaboutdata(關(guān)于數(shù)據(jù)的數(shù)據(jù))在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域中，元數(shù)據(jù)被定義為：描述數(shù)據(jù)及其環(huán)境的數(shù)據(jù)元數(shù)據(jù)存儲(chǔ)技術(shù)元數(shù)據(jù)：為企業(yè)技術(shù)用戶和IT人員提供支持的元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)：為企業(yè)業(yè)務(wù)用戶提供支持的元數(shù)據(jù)元數(shù)據(jù)管理元數(shù)據(jù)管理技術(shù)——公共倉(cāng)庫(kù)元模型CWMCWM公共倉(cāng)庫(kù)元模型（CommonWarehouseMetamodel）是OMG國(guó)際標(biāo)準(zhǔn)化組織提出的，主要目的是在異構(gòu)環(huán)境下，使不同數(shù)據(jù)倉(cāng)庫(kù)工具、平臺(tái)和元數(shù)據(jù)知識(shí)庫(kù)進(jìn)行元數(shù)據(jù)交換。元數(shù)據(jù)管理－支持五類系統(tǒng)管理功能描述哪些數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中;定義要進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)和從數(shù)據(jù)倉(cāng)庫(kù)中產(chǎn)生的數(shù)據(jù);記錄根據(jù)業(yè)務(wù)事件發(fā)生而隨之進(jìn)行的數(shù)據(jù)抽取工作時(shí)間安排;記錄并檢測(cè)系統(tǒng)數(shù)據(jù)一致性的要求和執(zhí)行情況;衡量數(shù)據(jù)質(zhì)量。數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)管理數(shù)據(jù)倉(cāng)庫(kù)涉及的元數(shù)據(jù)管理包括：數(shù)據(jù)源元數(shù)據(jù)ETL規(guī)則元數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)報(bào)表元數(shù)據(jù)接口文件格式元數(shù)據(jù)商業(yè)元數(shù)據(jù)其他元數(shù)據(jù)各類元數(shù)據(jù)管理辦法：數(shù)據(jù)源元數(shù)據(jù)數(shù)據(jù)源元數(shù)據(jù)主要是數(shù)據(jù)庫(kù)模型設(shè)計(jì)文檔、為綜合統(tǒng)計(jì)分析平臺(tái)提供數(shù)據(jù)的各種業(yè)務(wù)系統(tǒng)的數(shù)據(jù)字典及數(shù)據(jù)接口文件等。數(shù)據(jù)源元數(shù)據(jù)的管理：由相關(guān)人員對(duì)各類文檔進(jìn)行統(tǒng)一版本的管理。各類元數(shù)據(jù)管理辦法：ETL規(guī)則元數(shù)據(jù)ETL規(guī)則元數(shù)據(jù)中涉及到數(shù)據(jù)源元數(shù)據(jù)、目標(biāo)系統(tǒng)元數(shù)據(jù)、ETL流程、源與目標(biāo)的映射關(guān)系等元數(shù)據(jù)信息。數(shù)據(jù)源元數(shù)據(jù)包括業(yè)務(wù)系統(tǒng)元數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)等；目標(biāo)系統(tǒng)元數(shù)據(jù)可能是數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)、數(shù)據(jù)集市元數(shù)據(jù)等。ETL規(guī)則元數(shù)據(jù)的管理：由數(shù)據(jù)庫(kù)開(kāi)發(fā)人員根據(jù)各個(gè)模塊的ETL過(guò)程以及過(guò)程運(yùn)行的順序，形成相關(guān)元數(shù)據(jù)管理文檔進(jìn)行統(tǒng)一管理。各類元數(shù)據(jù)管理辦法：數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)采用RDBMS進(jìn)行數(shù)據(jù)的存儲(chǔ)和管理，設(shè)計(jì)模式遵循數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)準(zhǔn)則，實(shí)現(xiàn)主題、維、度量等多維概念模型，這些元素在RDBMS中物理上是具體的數(shù)據(jù)表，這些表與具體多維模型的映射關(guān)系需要通過(guò)元數(shù)據(jù)進(jìn)行描述和定義。數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)的管理：制定數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)文檔記錄事實(shí)表、維度、屬性、層次等信息，物理表與多維模型的映射關(guān)系等信息，對(duì)文檔進(jìn)行統(tǒng)一版本的管理。各類元數(shù)據(jù)管理辦法：報(bào)表元數(shù)據(jù)包括對(duì)報(bào)表和報(bào)表中具體指標(biāo)（度量）的描述信息等報(bào)表元數(shù)據(jù)的管理：對(duì)數(shù)據(jù)集上可以計(jì)算的度量進(jìn)行相關(guān)元數(shù)據(jù)的管理，包括詳細(xì)設(shè)計(jì)文檔中對(duì)各個(gè)表中度量的定義、描述等；對(duì)所有表和度量之間的關(guān)系進(jìn)行嚴(yán)格的文檔記錄，包括度量的計(jì)算、度量之間的相互依賴關(guān)系、以及歷史信息進(jìn)行元數(shù)據(jù)管理各類元數(shù)據(jù)管理辦法：接口文件格式元數(shù)據(jù)接口數(shù)據(jù)文件格式，包括接口數(shù)據(jù)文件的命名、傳輸周期、格式等說(shuō)明信息。接口文件格式元數(shù)據(jù)：與ETL規(guī)則元數(shù)據(jù)進(jìn)行統(tǒng)一管理。各類元數(shù)據(jù)管理辦法：商業(yè)元數(shù)據(jù)系統(tǒng)中對(duì)各項(xiàng)指標(biāo)的業(yè)務(wù)含義的描述性信息，在綜合統(tǒng)計(jì)分析平臺(tái)中，包括維、度量的業(yè)務(wù)含義描述，主題的分析目標(biāo)描述，報(bào)表指標(biāo)的解釋信息等。商業(yè)元數(shù)據(jù)的管理可以分解成數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)的管理和報(bào)表元數(shù)據(jù)的管理。各類元數(shù)據(jù)管理辦法：其他元數(shù)據(jù)數(shù)據(jù)訪問(wèn)日志、數(shù)據(jù)裝載日志等信息。數(shù)據(jù)訪問(wèn)日志記錄數(shù)據(jù)