數(shù)據(jù)倉庫邏輯模型介紹

1、數(shù)據(jù)倉庫邏輯模型介紹數(shù)據(jù)倉庫邏輯模型介紹數(shù)據(jù)倉庫邏輯模型介紹Tony2010-3-152內(nèi)容內(nèi)容F相關(guān)概念介紹相關(guān)概念介紹F數(shù)據(jù)倉庫實(shí)施方法論數(shù)據(jù)倉庫實(shí)施方法論FLDM介紹介紹F學(xué)習(xí)經(jīng)驗(yàn)分享學(xué)習(xí)經(jīng)驗(yàn)分享3一、概念一、概念 -1F(1)為什么要建設(shè)數(shù)據(jù)倉庫為什么要建設(shè)數(shù)據(jù)倉庫?蜘蛛網(wǎng)問題蜘蛛網(wǎng)問題數(shù)據(jù)缺乏可信性數(shù)據(jù)處理效率低下 難以將數(shù)據(jù)轉(zhuǎn)化為信息 4圖圖1 1 蜘蛛網(wǎng)現(xiàn)象蜘蛛網(wǎng)現(xiàn)象5一、概念一、概念 -1F(1)為什么要建設(shè)數(shù)據(jù)倉庫為什么要建設(shè)數(shù)據(jù)倉庫?統(tǒng)一數(shù)據(jù)源統(tǒng)一數(shù)據(jù)源統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)6一、概念一、概念 -2F(2) ODS、數(shù)據(jù)倉庫、數(shù)據(jù)倉庫、數(shù)據(jù)集市數(shù)據(jù)集市操作數(shù)據(jù)存儲(chǔ)操作數(shù)據(jù)

2、存儲(chǔ)(Operational Data Store)(Operational Data Store)是一個(gè)面向主題的、是一個(gè)面向主題的、集成的、可變的、當(dāng)前的細(xì)節(jié)數(shù)據(jù)集合，用于支持企業(yè)對(duì)于集成的、可變的、當(dāng)前的細(xì)節(jié)數(shù)據(jù)集合，用于支持企業(yè)對(duì)于即時(shí)性的、操作性的、集成的全體信息的需求。常常被作為即時(shí)性的、操作性的、集成的全體信息的需求。常常被作為數(shù)據(jù)倉庫的過渡，也是數(shù)據(jù)倉庫項(xiàng)目的可選項(xiàng)之一。數(shù)據(jù)倉庫的過渡，也是數(shù)據(jù)倉庫項(xiàng)目的可選項(xiàng)之一。數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的( (不可更新不可更新) )、反映、反映歷史變化（不同時(shí)間）的數(shù)據(jù)集合，用以支持經(jīng)營管理中的

3、歷史變化（不同時(shí)間）的數(shù)據(jù)集合，用以支持經(jīng)營管理中的決策制定過程。決策制定過程。(Inmon,1991)(Inmon,1991)數(shù)據(jù)集市也可叫做數(shù)據(jù)集市也可叫做“小數(shù)據(jù)倉庫小數(shù)據(jù)倉庫”。如果說數(shù)據(jù)倉庫是建立。如果說數(shù)據(jù)倉庫是建立在企業(yè)級(jí)的數(shù)據(jù)模型之上的話。那么數(shù)據(jù)集市就是企業(yè)級(jí)數(shù)在企業(yè)級(jí)的數(shù)據(jù)模型之上的話。那么數(shù)據(jù)集市就是企業(yè)級(jí)數(shù)據(jù)倉庫的一個(gè)子集，他主要面向部門級(jí)業(yè)務(wù)，并且只面向某據(jù)倉庫的一個(gè)子集，他主要面向部門級(jí)業(yè)務(wù)，并且只面向某個(gè)特定的主題。數(shù)據(jù)集市可以在一定程度上緩解訪問數(shù)據(jù)倉個(gè)特定的主題。數(shù)據(jù)集市可以在一定程度上緩解訪問數(shù)據(jù)倉庫的瓶頸。庫的瓶頸。 7一、概念一、概念 -2FODS與數(shù)據(jù)

4、倉庫與數(shù)據(jù)倉庫共同點(diǎn)：面向主題的和集成的，需要進(jìn)行轉(zhuǎn)換、加工處理共同點(diǎn)：面向主題的和集成的，需要進(jìn)行轉(zhuǎn)換、加工處理區(qū)別：主要體現(xiàn)數(shù)據(jù)的可變性和當(dāng)前性上區(qū)別：主要體現(xiàn)數(shù)據(jù)的可變性和當(dāng)前性上ODS數(shù)據(jù)倉庫數(shù)據(jù)倉庫實(shí)時(shí)的、可動(dòng)態(tài)刷新的實(shí)時(shí)的、可動(dòng)態(tài)刷新的非實(shí)時(shí)的、靜態(tài)的非實(shí)時(shí)的、靜態(tài)的當(dāng)前運(yùn)行系統(tǒng)的數(shù)據(jù)當(dāng)前運(yùn)行系統(tǒng)的數(shù)據(jù)除了保存當(dāng)前數(shù)據(jù)，還需除了保存當(dāng)前數(shù)據(jù)，還需要保存大量的歷史數(shù)據(jù)要保存大量的歷史數(shù)據(jù)明細(xì)數(shù)據(jù)明細(xì)數(shù)據(jù)保存明細(xì)和匯總數(shù)據(jù)保存明細(xì)和匯總數(shù)據(jù)8一、概念一、概念 -2數(shù)據(jù)倉庫數(shù)據(jù)倉庫數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)來源數(shù)據(jù)來源OLTP系統(tǒng)、外部數(shù)據(jù)系統(tǒng)、外部數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)倉庫范圍范圍企業(yè)級(jí)企業(yè)級(jí)部門

5、級(jí)或工作組級(jí)部門級(jí)或工作組級(jí)主題主題企業(yè)主題企業(yè)主題部門或特殊的分析主題部門或特殊的分析主題數(shù)據(jù)粒度數(shù)據(jù)粒度最細(xì)的粒度最細(xì)的粒度較粗的粒度較粗的粒度數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)規(guī)范化結(jié)構(gòu)（第規(guī)范化結(jié)構(gòu)（第3范式）范式）星型模式、雪花模式、或星型模式、雪花模式、或兩者混合兩者混合歷史數(shù)據(jù)歷史數(shù)據(jù)大量的歷史數(shù)據(jù)大量的歷史數(shù)據(jù)適度的歷史數(shù)據(jù)適度的歷史數(shù)據(jù)優(yōu)化優(yōu)化處理海量數(shù)據(jù)、數(shù)據(jù)處理海量數(shù)據(jù)、數(shù)據(jù)探索探索便于訪問和分析、快速查便于訪問和分析、快速查詢詢9一、概念一、概念 -3F(3)ETLETL是數(shù)據(jù)抽?。ㄊ菙?shù)據(jù)抽取（Extract）、轉(zhuǎn)換（）、轉(zhuǎn)換（Transform）、清洗）、清洗（Cleansing）、裝

6、載（）、裝載（Load）的過程。）的過程。是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗據(jù)，經(jīng)過數(shù)據(jù)清洗,最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。 ETL主要解決各源數(shù)據(jù)的異構(gòu)性和低質(zhì)量主要解決各源數(shù)據(jù)的異構(gòu)性和低質(zhì)量(標(biāo)準(zhǔn)化、清除噪聲標(biāo)準(zhǔn)化、清除噪聲數(shù)據(jù)數(shù)據(jù) ) 、計(jì)算和匯總指標(biāo)數(shù)據(jù)。、計(jì)算和匯總指標(biāo)數(shù)據(jù)。10一、概念一、概念 -4F(4)數(shù)據(jù)加載策略數(shù)據(jù)加載策略更新更新(Upsert、delete/insert)拉鏈拉鏈(時(shí)間拉鏈時(shí)間拉鏈

7、/自拉鏈自拉鏈, 歷史歷史)追加追加(直接直接insert，防止重復(fù)加載先，防止重復(fù)加載先delete當(dāng)天當(dāng)天)當(dāng)前表、歷史表、流水表當(dāng)前表、歷史表、流水表11一、概念一、概念 -5F(5)元數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)：是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)。元數(shù)據(jù)：是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)。可將其按用途的不同分為兩類，技術(shù)元數(shù)據(jù)和商業(yè)元數(shù)據(jù)?？蓪⑵浒从猛镜牟煌譃閮深悾夹g(shù)元數(shù)據(jù)和商業(yè)元數(shù)據(jù)。技術(shù)元數(shù)據(jù)是數(shù)據(jù)倉庫的設(shè)計(jì)和管理人員用于開發(fā)和日常管技術(shù)元數(shù)據(jù)是數(shù)據(jù)倉庫的設(shè)計(jì)和管理人員用于開發(fā)和日常管理數(shù)據(jù)倉庫時(shí)用的數(shù)據(jù)。包括：數(shù)據(jù)源信息；數(shù)據(jù)轉(zhuǎn)換的描理數(shù)據(jù)倉庫時(shí)用的數(shù)據(jù)。包括：數(shù)據(jù)源

8、信息；數(shù)據(jù)轉(zhuǎn)換的描述；數(shù)據(jù)倉庫內(nèi)對(duì)象和數(shù)據(jù)結(jié)構(gòu)的定義；數(shù)據(jù)清理和數(shù)據(jù)更述；數(shù)據(jù)倉庫內(nèi)對(duì)象和數(shù)據(jù)結(jié)構(gòu)的定義；數(shù)據(jù)清理和數(shù)據(jù)更新時(shí)用的規(guī)則；源數(shù)據(jù)到目標(biāo)的數(shù)據(jù)映射；用戶訪問權(quán)限，新時(shí)用的規(guī)則；源數(shù)據(jù)到目標(biāo)的數(shù)據(jù)映射；用戶訪問權(quán)限，數(shù)據(jù)備份歷史記錄，數(shù)據(jù)導(dǎo)入歷史記錄，信息發(fā)布?xì)v史記錄數(shù)據(jù)備份歷史記錄，數(shù)據(jù)導(dǎo)入歷史記錄，信息發(fā)布?xì)v史記錄等。等。12一、概念一、概念 -5F(5)元數(shù)據(jù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)的角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)。它提供業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)的角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)。它提供了介于使用者和實(shí)際系統(tǒng)之間的語義層，使得不懂計(jì)算機(jī)技了介于使用者和實(shí)際系統(tǒng)之間的語義層，使得不懂計(jì)算機(jī)技術(shù)的業(yè)務(wù)

9、人員也能夠術(shù)的業(yè)務(wù)人員也能夠“讀懂讀懂”數(shù)據(jù)倉庫中的數(shù)據(jù)。使用者的數(shù)據(jù)倉庫中的數(shù)據(jù)。使用者的業(yè)務(wù)術(shù)語所表達(dá)的數(shù)據(jù)模型、對(duì)象名和屬性名；訪問數(shù)據(jù)的業(yè)務(wù)術(shù)語所表達(dá)的數(shù)據(jù)模型、對(duì)象名和屬性名；訪問數(shù)據(jù)的原則和數(shù)據(jù)的來源；系統(tǒng)所提供的分析方法以及公式和報(bào)表原則和數(shù)據(jù)的來源；系統(tǒng)所提供的分析方法以及公式和報(bào)表的信息。的信息。元數(shù)據(jù)為訪問數(shù)據(jù)倉庫提供了一個(gè)信息目錄（元數(shù)據(jù)為訪問數(shù)據(jù)倉庫提供了一個(gè)信息目錄（information directory），這個(gè)目錄全面描述了數(shù)據(jù)倉庫中都有什么數(shù)據(jù)、），這個(gè)目錄全面描述了數(shù)據(jù)倉庫中都有什么數(shù)據(jù)、這些數(shù)據(jù)怎么得到的、和怎么訪問這些數(shù)據(jù)。它是數(shù)據(jù)倉庫這些數(shù)據(jù)怎么得到的

10、、和怎么訪問這些數(shù)據(jù)。它是數(shù)據(jù)倉庫運(yùn)行和維護(hù)的中心，數(shù)據(jù)倉庫服務(wù)器利用他來存貯和更新數(shù)運(yùn)行和維護(hù)的中心，數(shù)據(jù)倉庫服務(wù)器利用他來存貯和更新數(shù)據(jù)，用戶通過他來了解和訪問數(shù)據(jù)。據(jù)，用戶通過他來了解和訪問數(shù)據(jù)。13一、概念一、概念 -6F(6)數(shù)據(jù)粒度數(shù)據(jù)粒度粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)的細(xì)化或綜合程度粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)的細(xì)化或綜合程度的級(jí)別（詳細(xì)程度的級(jí)別（詳細(xì)程度 ）。細(xì)化程度越高，粒度級(jí)就越??；相反，）。細(xì)化程度越高，粒度級(jí)就越?。幌喾?，細(xì)化程度越低，粒度級(jí)就越大。細(xì)化程度越低，粒度級(jí)就越大。取決于：數(shù)據(jù)量大小取決于：數(shù)據(jù)量大小 、存儲(chǔ)設(shè)備的容量、查詢分析的需要、存儲(chǔ)設(shè)

11、備的容量、查詢分析的需要一定的時(shí)間窗內(nèi)存放細(xì)的粒度數(shù)據(jù)，超過一定的時(shí)期，只提一定的時(shí)間窗內(nèi)存放細(xì)的粒度數(shù)據(jù)，超過一定的時(shí)期，只提供粗粒度的匯總數(shù)據(jù)，從而在性能與需求上達(dá)到一種平衡。供粗粒度的匯總數(shù)據(jù)，從而在性能與需求上達(dá)到一種平衡。 14一、概念一、概念 -7F(7)OLAP及其相關(guān)及其相關(guān)OLAP、維度、事實(shí)、度量值、維度、事實(shí)、度量值切片、切塊、上鉆、下鉆、旋轉(zhuǎn)切片、切塊、上鉆、下鉆、旋轉(zhuǎn)星型模型、雪花模型星型模型、雪花模型15二、數(shù)據(jù)倉庫實(shí)施方法論二、數(shù)據(jù)倉庫實(shí)施方法論 -1F(1)實(shí)施流程實(shí)施流程 16二、數(shù)據(jù)倉庫實(shí)施方法論二、數(shù)據(jù)倉庫實(shí)施方法論 -2F(2)信息調(diào)研信息調(diào)研源系統(tǒng)調(diào)研

12、源系統(tǒng)調(diào)研數(shù)據(jù)源分析數(shù)據(jù)源分析數(shù)據(jù)質(zhì)量分析數(shù)據(jù)質(zhì)量分析數(shù)據(jù)缺口分析數(shù)據(jù)缺口分析數(shù)據(jù)更新周期及更新方式分析數(shù)據(jù)更新周期及更新方式分析用戶需求分析用戶需求分析內(nèi)部培訓(xùn) 源系統(tǒng)介紹 數(shù)據(jù)字典整理 樣本數(shù)據(jù)分析 表級(jí)和字段級(jí)分析17二、數(shù)據(jù)倉庫實(shí)施方法論二、數(shù)據(jù)倉庫實(shí)施方法論 -3F(3)邏輯數(shù)據(jù)模型設(shè)計(jì)邏輯數(shù)據(jù)模型設(shè)計(jì) 基于概念數(shù)據(jù)模型基于概念數(shù)據(jù)模型(CDM)由一系列表和實(shí)體詳細(xì)描述組成由一系列表和實(shí)體詳細(xì)描述組成通用的業(yè)務(wù)語言通用的業(yè)務(wù)語言便于業(yè)務(wù)與業(yè)務(wù)之間的功能理解便于業(yè)務(wù)與業(yè)務(wù)之間的功能理解集成當(dāng)前和未來數(shù)據(jù)的藍(lán)圖集成當(dāng)前和未來數(shù)據(jù)的藍(lán)圖獨(dú)立于技術(shù)獨(dú)立于技術(shù)為物理數(shù)據(jù)庫設(shè)計(jì)作準(zhǔn)備為物理數(shù)據(jù)庫

13、設(shè)計(jì)作準(zhǔn)備是是IT人員和業(yè)務(wù)人員溝通的工具人員和業(yè)務(wù)人員溝通的工具18二、數(shù)據(jù)倉庫實(shí)施方法論二、數(shù)據(jù)倉庫實(shí)施方法論 -3F(3)邏輯數(shù)據(jù)模型設(shè)計(jì)邏輯數(shù)據(jù)模型設(shè)計(jì)了解業(yè)務(wù)流程了解業(yè)務(wù)流程分析源數(shù)據(jù)分析源數(shù)據(jù)建立實(shí)體模型建立實(shí)體模型建立實(shí)體間依賴關(guān)系建立實(shí)體間依賴關(guān)系填寫并完善實(shí)體屬性填寫并完善實(shí)體屬性19二、數(shù)據(jù)倉庫實(shí)施方法論二、數(shù)據(jù)倉庫實(shí)施方法論 -4F(4)物理數(shù)據(jù)庫設(shè)計(jì)物理數(shù)據(jù)庫設(shè)計(jì) 轉(zhuǎn)換邏輯模型為物理模型轉(zhuǎn)換邏輯模型為物理模型定義主索引、次索引定義主索引、次索引非正則化處理非正則化處理數(shù)據(jù)庫建立數(shù)據(jù)庫建立設(shè)計(jì)優(yōu)化設(shè)計(jì)優(yōu)化數(shù)據(jù)庫功能測試數(shù)據(jù)庫功能測試20二、數(shù)據(jù)倉庫實(shí)施方法論二、數(shù)據(jù)倉庫實(shí)

14、施方法論 -5F(5)數(shù)據(jù)模型的演變數(shù)據(jù)模型的演變概念數(shù)據(jù)模型概念數(shù)據(jù)模型(CDM)邏輯數(shù)據(jù)模型邏輯數(shù)據(jù)模型(LDM)擴(kuò)展邏輯數(shù)據(jù)模型擴(kuò)展邏輯數(shù)據(jù)模型(ELDM)物理數(shù)據(jù)模型物理數(shù)據(jù)模型(PDM)21三、三、LDM -1AT&T ETL服務(wù)器數(shù)據(jù)清洗轉(zhuǎn)換加載文本文件LEM心MDMGVSPLM數(shù)據(jù)源面向業(yè)務(wù)應(yīng)用3NF數(shù)據(jù)集市Data Mart最終用戶邏輯數(shù)據(jù)模型保留詳細(xì)交易數(shù)據(jù)面向關(guān)鍵主題域3NF LDM 數(shù)據(jù)倉庫面向分析主題匯總數(shù)據(jù)Star Schema 建模視圖F(1)邏輯模型在倉庫中的地位邏輯模型在倉庫中的地位 提供一個(gè)統(tǒng)一的數(shù)據(jù)組織結(jié)構(gòu) ODS22主題例子-財(cái)務(wù)（Finance） 財(cái)務(wù)（財(cái)務(wù)（FinanceFinance）：主要包括的總帳信息，是描述科目組織、控制、）：主要包括的總帳信息，是描述科目組織、控制、內(nèi)部核算等銀行核心科目帳