數(shù)據(jù)倉庫架構培訓

1、1,目 錄,2,廠商的數(shù)據(jù)倉庫架構,3,IBM數(shù)據(jù)倉庫架構,4,NCR數(shù)據(jù)倉庫架構,5,SAP的數(shù)據(jù)倉庫,6,兩級數(shù)據(jù)倉庫架構,7,公司的數(shù)據(jù)倉庫架構,8,業(yè)務系統(tǒng),數(shù)據(jù)存儲平臺,數(shù)據(jù)倉庫應用平臺,EDW,DDS,對外接口,數(shù)據(jù)交換平臺,數(shù)據(jù)挖掘 與分析系統(tǒng),其它應用,OLAP,ADS,DM,系統(tǒng)總體架構圖,歷史數(shù)據(jù)存儲（HDS）,操作數(shù)據(jù)存儲（ODS）,主數(shù)據(jù),ETL,數(shù)據(jù) 質(zhì)量 管理,9,業(yè)務系統(tǒng),數(shù)據(jù)存儲平臺,數(shù)據(jù)倉庫應用平臺,EDW,DDS,對外接口,數(shù)據(jù)交換平臺,數(shù)據(jù)挖掘 與分析系統(tǒng),其它應用,OLAP,ADS,公司實施常用架構,歷史數(shù)據(jù)存儲（HDS）,DM,ETL,數(shù)據(jù) 質(zhì)量 管理

2、,10,數(shù)據(jù)存儲與ETL,11,數(shù)據(jù)存儲,12,主數(shù)據(jù)存儲,模型特點 ER模型：與業(yè)務系統(tǒng)中代碼信息存放方式類似 數(shù)據(jù)標準：在企業(yè)中采用統(tǒng)一的編碼規(guī)則和標準 保留歷史：保留主數(shù)據(jù)變化的版本,13,ODS數(shù)據(jù)存儲,模型特點 ER模型：與業(yè)務系統(tǒng)中模型基本一致，盡量減少由于數(shù)據(jù)處理帶來的時間消耗 實時性：保存實時變化的數(shù)據(jù),14,EDW數(shù)據(jù)存儲,模型特點 采用3NF方式建模，采用面向?qū)ο蟮慕７绞?從業(yè)務模型入手，結合實際的業(yè)務系統(tǒng)的數(shù)據(jù)，使用主題域?qū)?shù)據(jù)進行抽象 建模原則 全面性：最終應該能夠覆蓋到客戶經(jīng)營活動中所有的業(yè)務數(shù)據(jù) 抽象性：從業(yè)務的角度把客戶的所有業(yè)務要素抽象成若干對象，采用面向?qū)ο?/p>

3、的設計方法 擴展性：其體系結構應該能夠適應客戶今后業(yè)務的發(fā)展 高效性：應該注意不要使對象之間的關系過于復雜，導致在實際查詢時的速度過慢,15,DDS數(shù)據(jù)存儲,模型特點 星型模型：以維度表和事實表的方式對數(shù)據(jù)進行組織和存放 面向需求：從滿足應用需求的角度進行設計，從中找出維度，維和分析變量 粒度較粗：從明細數(shù)據(jù)匯總得到,16,數(shù)據(jù)抽取,數(shù)據(jù)加載,數(shù)據(jù)映射,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)清洗,從HDS或ODS中獲取所需數(shù)據(jù),清除錯誤的、不符合業(yè)務邏輯的數(shù)據(jù),將業(yè)務系統(tǒng)的數(shù)據(jù)字段對應到主數(shù)據(jù)的數(shù)據(jù)字段,將數(shù)據(jù)轉(zhuǎn)換成主數(shù)據(jù)的模型,將轉(zhuǎn)換完畢的數(shù)據(jù)寫入物理數(shù)據(jù)庫,數(shù)據(jù)標準化,按照數(shù)據(jù)的標準，對數(shù)據(jù)進行統(tǒng)一,主數(shù)據(jù)加載,

4、17,數(shù)據(jù)抽取,數(shù)據(jù)加載,數(shù)據(jù)映射,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)清洗,從HDS或ODS中獲取所需數(shù)據(jù),清除錯誤的、不符合業(yè)務邏輯的數(shù)據(jù),將業(yè)務系統(tǒng)的數(shù)據(jù)字段對應到EDW的數(shù)據(jù)字段,將數(shù)據(jù)轉(zhuǎn)換成EDW的模型,將轉(zhuǎn)換完畢的數(shù)據(jù)寫入物理數(shù)據(jù)庫,數(shù)據(jù)標準化,按照數(shù)據(jù)的標準，對數(shù)據(jù)進行統(tǒng)一,EDW數(shù)據(jù)加載,18,數(shù)據(jù)抽取,數(shù)據(jù)加載,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)匯總,數(shù)據(jù)映射,從EDW數(shù)據(jù)存儲中獲取所需數(shù)據(jù),將EDW存儲模型的字段，對應到DDS存儲模型的字段,把數(shù)據(jù)從EDW的ER模型轉(zhuǎn)換為DDS的多維存儲模型,把EDW中的數(shù)據(jù)進行一定程度的匯總,將轉(zhuǎn)換完畢的數(shù)據(jù)寫入物理數(shù)據(jù)庫,DDS數(shù)據(jù)加載,19,前端業(yè)務應用與管理系統(tǒng),20,應用

5、服務層,數(shù)據(jù)中心存儲平臺,DDS,OLAP,DM,Meta Data,數(shù)據(jù)服務層,OLAP引擎,元數(shù)據(jù)管理服務,管理和審計服務,BI引擎,統(tǒng) 一 的 安 全 管 理,EDS,數(shù) 據(jù) 訪 問 層 代 理,Web Server,瀏覽器,GUI應用程序,ODS,數(shù)據(jù)交換服務,主數(shù)據(jù)管理服務,21,分析型應用,企業(yè)績效 KPI,業(yè)務報務、業(yè)務應用,跨部門、跨業(yè)務應用,應用層次規(guī)劃,22,資產(chǎn)分析,成本分析,業(yè)務分類,財務,生產(chǎn),銷售,KPI,庫存,物流,盈利,產(chǎn)量,原料,質(zhì)檢,銷量,市場,競爭對手,市場,生產(chǎn)指標,財務指標,銷售指標,庫存分析,應用分類,23,管理系統(tǒng)：元數(shù)據(jù)管理,主數(shù)據(jù),數(shù)據(jù)中心,O

6、DS,EDS,DDS,DM,應用系統(tǒng),ETL,元數(shù)據(jù)數(shù)據(jù)源,元數(shù)據(jù)存儲平臺,業(yè)務元數(shù)據(jù),業(yè)務指標,維度,技術元數(shù)據(jù),維度,ADS,ETL信息,應用系統(tǒng)信息,管理元數(shù)據(jù),ETL日志,應用系統(tǒng)日志,權限,元數(shù)據(jù)應用平臺,維護功能,業(yè)務元數(shù)據(jù)維護,技術元數(shù)據(jù)維護,查詢功能,分類導航,全文檢索,日志查詢,權限查詢,展現(xiàn)功能,動態(tài)指標解釋,信息展示,血緣關系,OLAP,業(yè)務指標/需求,24,主數(shù)據(jù)管理,25,商務智能工具,SOA技術,WEB技術,實施技術,26,實施過程,27,數(shù)據(jù)倉庫實施方法,自下而上 從業(yè)務數(shù)據(jù)入手，建立數(shù)據(jù)模型 建立完整的后臺數(shù)據(jù) 自上而下 完全基于業(yè)務需求分析的結果 以需求確定后

7、臺的數(shù)據(jù)范圍 迭代開發(fā) 整個建設過程分為多個迭代過程 從關鍵的業(yè)務入手，即考慮后臺數(shù)據(jù)，又提供前端展現(xiàn),28,項目組架構,29,實施流程,項目準備,項目規(guī)劃,技術架構,源數(shù)據(jù)分析 數(shù)據(jù)建模,應用設計開發(fā),ETL設計 開發(fā),集成測試,系統(tǒng)上線,運行維護 系統(tǒng)演進,項 目 管 理,30,實施案例,31,業(yè)務系統(tǒng),數(shù)據(jù)存儲平臺,數(shù)據(jù)倉庫應用平臺,EDW,DDS,對外接口,數(shù)據(jù)交換平臺,數(shù)據(jù)挖掘 與分析系統(tǒng),其它應用,OLAP,ADS,DM,數(shù)據(jù)中心-案例1,歷史數(shù)據(jù)存儲（HDS）,操作數(shù)據(jù)存儲（ODS）,主數(shù)據(jù),ETL,數(shù)據(jù) 質(zhì)量 管理,32,業(yè)務系統(tǒng),數(shù)據(jù)存儲平臺,數(shù)據(jù)倉庫應用平臺,EDW,DDS

8、,對外接口,數(shù)據(jù)交換平臺,數(shù)據(jù)挖掘 與分析系統(tǒng),其它應用,OLAP,ADS,DM,數(shù)據(jù)倉庫-案例2,歷史數(shù)據(jù)存儲（HDS）,操作數(shù)據(jù)存儲（ODS）,主數(shù)據(jù),ETL,數(shù)據(jù) 質(zhì)量 管理,33,業(yè)務系統(tǒng),數(shù)據(jù)存儲平臺,數(shù)據(jù)倉庫應用平臺,EDW,DDS,對外接口,數(shù)據(jù)交換平臺,數(shù)據(jù)挖掘 與分析系統(tǒng),其它應用,OLAP,ADS,DM,數(shù)據(jù)倉庫-案例3,歷史數(shù)據(jù)存儲（HDS）,操作數(shù)據(jù)存儲（ODS）,主數(shù)據(jù),ETL,數(shù)據(jù) 質(zhì)量 管理,34,業(yè)務系統(tǒng),數(shù)據(jù)存儲平臺,數(shù)據(jù)倉庫應用平臺,EDW,DDS,對外接口,數(shù)據(jù)交換平臺,數(shù)據(jù)挖掘 與分析系統(tǒng),其它應用,OLAP,ADS,DM,數(shù)據(jù)倉庫-案例4,歷史數(shù)據(jù)存儲（HDS）,操作數(shù)據(jù)存儲（ODS）,主數(shù)據(jù),ETL,數(shù)據(jù) 質(zhì)量 管理,35,業(yè)務系統(tǒng),數(shù)據(jù)存儲平臺,數(shù)據(jù)倉庫應用平臺,EDW,DDS,對外接口,數(shù)據(jù)交換平臺,數(shù)據(jù)挖掘 與分析系統(tǒng),其它應用,OLAP,ADS,DM,數(shù)據(jù)倉庫-案例5,歷史數(shù)據(jù)存儲（HDS）,操作數(shù)據(jù)存儲（ODS）,主數(shù)據(jù),ETL,數(shù)據(jù) 質(zhì)量 管理,36,業(yè)務系