數(shù)據(jù)管理知識體系

數(shù)據(jù)管理知識體系當前第1頁\共有19頁\編于星期五\0點

數(shù)據(jù)管理的演進風險回報：風險非常高，因為數(shù)據(jù)問題會導致客戶流失（因為錯誤理解客戶價值）或不合理的業(yè)務(wù)流程；雖然沒有制定相關(guān)的流程來分析孰是孰非，但還是有一些人成為替罪羊，從而受到指責；回報低，除了個別員工或部門獲得成功之外，企業(yè)幾乎沒有從數(shù)據(jù)管理中獲得任何收益風險回報：風險高，缺少數(shù)據(jù)整合，整個公司范圍內(nèi)數(shù)據(jù)的整體準確性不佳；偶爾會進行數(shù)據(jù)分析和更正，但涉及跨職能時仍然會發(fā)生一些數(shù)據(jù)錯誤；回報有限，大多數(shù)都不確切；多數(shù)投資回報都是通過個體流程或員工個體取得的；公司層面幾乎沒有意識到數(shù)據(jù)管理的好處風險回報：風險中等到較低；通過提供更優(yōu)信息提高了決策的可靠性，從而降低了風險；回報中等到高；數(shù)據(jù)質(zhì)量的改進通常只局限于某個職能領(lǐng)域，然后隨著更多員工加入其中，質(zhì)量改進會拓展到更寬泛的領(lǐng)域風險回報：風險低；數(shù)據(jù)完全統(tǒng)一，并被嚴格控制，幫助企業(yè)維護有關(guān)客戶、前景、庫存、產(chǎn)品的高質(zhì)量信息；回報高；在全公司范圍內(nèi)執(zhí)行數(shù)據(jù)管理，有助于更好地理解企業(yè)當前的業(yè)務(wù)概況，幫助管理層提高在根據(jù)數(shù)據(jù)做決策時的信心2當前第2頁\共有19頁\編于星期五\0點

當前保險企業(yè)普遍存在不少數(shù)據(jù)的問題，如：數(shù)據(jù)來源不唯一、數(shù)據(jù)共享性差、數(shù)據(jù)準確度低、指標口徑不統(tǒng)一等.國內(nèi)保險企業(yè)數(shù)據(jù)管理現(xiàn)狀分析-現(xiàn)狀數(shù)據(jù)管理現(xiàn)狀沒有獨立的數(shù)據(jù)管理組織數(shù)據(jù)生命周期管理不完整缺少數(shù)據(jù)活動管理無企業(yè)級架構(gòu)各部門用戶對數(shù)據(jù)架構(gòu)沒有共識缺乏數(shù)據(jù)質(zhì)量管理體系缺乏數(shù)據(jù)標準缺少主數(shù)據(jù)管理數(shù)據(jù)安全認識不全無元數(shù)據(jù)管理當前第3頁\共有19頁\編于星期五\0點新一代數(shù)據(jù)中心-目標新一代數(shù)據(jù)中心定義

新一代數(shù)據(jù)中心是基于標準構(gòu)建模塊，通過模塊化軟件實現(xiàn)自動化7×24H無人值守計算與管理，并以供應鏈方式提供共享的基礎(chǔ)設(shè)施、信息與應用等IT服務(wù)新一代數(shù)據(jù)中心特征1：模塊化的標注基礎(chǔ)設(shè)施2：虛擬化資源與環(huán)境3：自動化管理4：快速的可擴展能力5：節(jié)能及節(jié)省空間6：高IT資源利用率7：高可靠性和低冗余8：面向服務(wù)的計算平臺4當前第4頁\共有19頁\編于星期五\0點數(shù)據(jù)倉庫設(shè)計--TheBasicStructureoftheCIF

ExternalworldERPInternetEnterprisetransactions

DataacquisitionReferenceDataApplicationsERP(tx)Integration/transformationlayerODSPrimarystoragemanagementHistoricalReferenceDataAlternativestorageDataworehouseDatadeliveryExplorationwarehouseDataminingwarehouseStatisticalAnalysiseCommCRMERP(rpt)BusIntDSSapplicationsfinancesalesMarketingAccountingDatamartsRawdetaileddataExternaldataOperationalreports5當前第5頁\共有19頁\編于星期五\0點數(shù)據(jù)倉庫設(shè)計--CIF&MD體系結(jié)構(gòu)比較

CIF體系結(jié)構(gòu)

MD體系結(jié)構(gòu)準備數(shù)據(jù)倉（ODS）DWDMDMDM。E/R模型。主題域。事務(wù)級細節(jié)。斜線以上限制終端用戶存取。多維設(shè)計和其他設(shè)計。根據(jù)業(yè)務(wù)功能的數(shù)據(jù)集市設(shè)計。匯總與細節(jié)級數(shù)據(jù)。在一個數(shù)據(jù)庫實例中可能有多個數(shù)據(jù)集市準備數(shù)據(jù)區(qū)數(shù)據(jù)倉庫總線原子DM原子DM聚集DM聚集DM個人DM。多維的。事務(wù)和匯總數(shù)據(jù)。數(shù)據(jù)集市單主題域（即事實表）。在一個數(shù)據(jù)庫實例中可能有多個數(shù)據(jù)集市。E/R設(shè)計或平面文件。斜線以上禁止終端用戶存取用戶存取事務(wù)6當前第6頁\共有19頁\編于星期五\0點數(shù)據(jù)的生命周期如何映射到DW&其他系統(tǒng)蒱獲編輯調(diào)入應用程序在線訪問與其他應用程序集成（企業(yè)數(shù)據(jù)）調(diào)入數(shù)據(jù)倉庫使用頻率下載近線數(shù)據(jù)存儲存檔存儲數(shù)據(jù)生命周期EDW數(shù)據(jù)倉庫&其他系統(tǒng)映射7當前第7頁\共有19頁\編于星期五\0點數(shù)據(jù)標準--標準規(guī)范的應用&建設(shè)8當前第8頁\共有19頁\編于星期五\0點數(shù)據(jù)管理---數(shù)據(jù)模型模型設(shè)計階段模型建設(shè)方法維度建模法范式建模法數(shù)據(jù)倉庫財務(wù)賬戶活動理賠事件收付費處理資金供應角色實物地理位置協(xié)議產(chǎn)品實體建模法實體事件實體說明9當前第9頁\共有19頁\編于星期五\0點數(shù)據(jù)管理--ESB企業(yè)數(shù)據(jù)服務(wù)總線

SOA基本結(jié)構(gòu)SOA服務(wù)協(xié)作服務(wù)描述服務(wù)描述服務(wù)發(fā)現(xiàn)發(fā)布綁定、調(diào)用企業(yè)數(shù)據(jù)服務(wù)總線服務(wù)管理其他服務(wù)協(xié)作服務(wù)應用服務(wù)訪問服務(wù)表示服務(wù)流程服務(wù)信息服務(wù)公共服務(wù)10當前第10頁\共有19頁\編于星期五\0點數(shù)據(jù)管理-數(shù)據(jù)交換平臺功能架構(gòu)

數(shù)據(jù)交換服務(wù)1應用功能數(shù)據(jù)交換服務(wù)2數(shù)據(jù)交換服務(wù)3數(shù)據(jù)交換服務(wù)4數(shù)據(jù)交換服務(wù)…企業(yè)數(shù)據(jù)服務(wù)總線

元數(shù)據(jù)管理安全管理平臺監(jiān)控

數(shù)據(jù)采集數(shù)據(jù)采集任務(wù)調(diào)度數(shù)據(jù)復制ETL工具全量復制增量復制全量抽取增量抽取數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)裝載數(shù)據(jù)存儲專用數(shù)據(jù)采集接口11當前第11頁\共有19頁\編于星期五\0點數(shù)據(jù)管理---數(shù)據(jù)交換（縱向&橫向）一級數(shù)據(jù)交換平臺一級業(yè)務(wù)系統(tǒng)一級業(yè)務(wù)系統(tǒng)二級業(yè)務(wù)系統(tǒng)二級業(yè)務(wù)系統(tǒng)二級數(shù)據(jù)交換平臺三級業(yè)務(wù)系統(tǒng)三級業(yè)務(wù)系統(tǒng)三級數(shù)據(jù)交換平臺一級ODS/DW二級ODS/DW橫向交換橫向交換橫向交換縱向交換12當前第12頁\共有19頁\編于星期五\0點數(shù)據(jù)管理---元數(shù)據(jù)管理框架

元數(shù)據(jù)管理平臺系統(tǒng)管理數(shù)據(jù)規(guī)則管理變化管理業(yè)務(wù)邏輯管理數(shù)據(jù)展現(xiàn)管理

外部數(shù)據(jù)靈活查詢多維分析報表數(shù)據(jù)挖掘數(shù)據(jù)利用業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)庫ODSEDWDM13當前第13頁\共有19頁\編于星期五\0點數(shù)據(jù)管理--數(shù)據(jù)挖掘

原始數(shù)據(jù)數(shù)據(jù)集目標數(shù)據(jù)預處理數(shù)據(jù)模式知識發(fā)現(xiàn)集成選擇預處理數(shù)據(jù)挖掘解釋評價運用數(shù)據(jù)準備階段數(shù)據(jù)挖掘階段分析評價階段

基本步驟挖掘類型

挖掘算法14當前第14頁\共有19頁\編于星期五\0點數(shù)據(jù)管理實施規(guī)劃P8.建立內(nèi)容管理系統(tǒng)P10.建立企業(yè)數(shù)據(jù)模型P11.優(yōu)化整合企業(yè)物理模型P12.定義企業(yè)數(shù)據(jù)架構(gòu)P13.建立企業(yè)級數(shù)據(jù)交換平臺數(shù)據(jù)管控參考數(shù)據(jù)和主數(shù)據(jù)數(shù)據(jù)服務(wù)管理數(shù)據(jù)庫運營管理

元數(shù)據(jù)管理數(shù)據(jù)管理十大領(lǐng)域文檔和內(nèi)容管理數(shù)據(jù)研發(fā)P9.建立數(shù)據(jù)標準P15.建立數(shù)據(jù)管理機制數(shù)據(jù)質(zhì)量管理數(shù)據(jù)架構(gòu)管理數(shù)據(jù)安全管理P5.實施ECIF實現(xiàn)客戶主數(shù)據(jù)管理P16.建立元數(shù)據(jù)管理平臺P14.建立數(shù)據(jù)質(zhì)量管理平臺P1.在E服務(wù)平臺增加數(shù)據(jù)服務(wù)功能P2.研究和設(shè)計總分一體化的數(shù)據(jù)服務(wù)架構(gòu)P3.建立總部決策支持系統(tǒng)P4.建立分公司銷售分析系統(tǒng)P6.建立面向業(yè)務(wù)部門的深度數(shù)據(jù)分析平臺P7.建立客戶信息深度挖掘平臺P15.建立數(shù)據(jù)管理機制當前第15頁\共有19頁\編于星期五\0點數(shù)據(jù)管理實施規(guī)劃人/流程/策略/規(guī)劃建立元數(shù)據(jù)管理機制建立企業(yè)數(shù)據(jù)標準IT技術(shù)/系統(tǒng)E-p平臺數(shù)據(jù)服務(wù)建立企業(yè)數(shù)據(jù)交換平臺建立企業(yè)數(shù)據(jù)模型建立企業(yè)數(shù)據(jù)架構(gòu)設(shè)計一體化數(shù)據(jù)服務(wù)架構(gòu)建立決策支持系統(tǒng)優(yōu)化整合企業(yè)數(shù)據(jù)模型建立銷售管理系統(tǒng)建立數(shù)據(jù)挖掘系統(tǒng)建立數(shù)據(jù)分析平臺建立元數(shù)據(jù)管理平臺建立元數(shù)據(jù)質(zhì)量管理平臺建立文檔、內(nèi)容管理平臺建立數(shù)據(jù)安全管理機制建立數(shù)據(jù)災難備份系統(tǒng)建立ECIF系統(tǒng)建立ACRM系統(tǒng)建立OCRM系統(tǒng)當前第16頁\共有19頁\編于星期五\0點大集中管理流程化管理虛擬化管理自動化管理 * 資料來源： 新一代數(shù)據(jù)中心新理念流程化管理---ITIL（IT基