數(shù)據(jù)倉庫OLAP技術(shù)

1、10/13/2022大數(shù)據(jù)培訓(xùn)-數(shù)據(jù)倉庫olap技術(shù)模型講師：楊勇 2015年7月電話：133820447282/11/2020議題OLAP技術(shù)簡介介OLAP技術(shù)簡介介OLAP分析方法法小結(jié)2/11/2020OLAP技術(shù)簡簡介OLAP發(fā)展背背景及定定義OLAP相關(guān)基基本概念念OLAP基本特特征OLAP多維數(shù)數(shù)據(jù)結(jié)構(gòu)構(gòu)OLAP多維數(shù)數(shù)據(jù)分析析方法OLAP分類OLAP評(píng)價(jià)準(zhǔn)準(zhǔn)則OLAP新的發(fā)發(fā)展特征征OLAP工具在在移動(dòng)業(yè)業(yè)務(wù)分析析中是否否能發(fā)揮揮作用，為什么么？2/11/2020發(fā)展背景景（一）60年代代，關(guān)系系型數(shù)據(jù)據(jù)庫之父父E.F.Codd提提出了關(guān)關(guān)系模型型，促進(jìn)進(jìn)了OLTP（ OnLin

2、eTransactionProcessing，聯(lián)機(jī)機(jī)事務(wù)處處理）模模型的發(fā)發(fā)展。1993年，E.F.Codd提出出了OLAP（OnLine AnalyticalProcessing聯(lián)機(jī)機(jī)分析處處理）概概念，認(rèn)認(rèn)為OLTP已已不能滿滿足終端端用戶對對數(shù)據(jù)庫庫查詢分分析的需需要，SQL對對大型數(shù)數(shù)據(jù)庫進(jìn)進(jìn)行的簡簡單查詢詢也不能能滿足終終端用戶戶分析的的要求。用戶的的決策分分析需要要對關(guān)系系數(shù)據(jù)庫庫進(jìn)行大大量計(jì)算算才能得得到結(jié)果果，而查查詢的結(jié)結(jié)果并不不能滿足足決策者者提出的的需求。因此，E.F.Codd提提出了多多維數(shù)據(jù)據(jù)庫和多多維分析析的概念念，即OLAP。OLAP技術(shù)簡簡介2/11/2020發(fā)

3、展背景景（二）OLAP技術(shù)簡簡介OLTP數(shù)據(jù)OLAP數(shù)據(jù)原始數(shù)據(jù)導(dǎo)出數(shù)據(jù)細(xì)節(jié)性數(shù)據(jù)綜合性和提煉性數(shù)據(jù)當(dāng)前值數(shù)據(jù)歷史數(shù)據(jù)可更新不可更新，但周期性刷新一次處理的數(shù)據(jù)量小一次處理的數(shù)據(jù)量大面向應(yīng)用，事務(wù)驅(qū)動(dòng)面向分析，分析驅(qū)動(dòng)面向操作人員，支持日常操作面向決策人員，支持管理需要從數(shù)據(jù)角角度看，OLTP系統(tǒng)統(tǒng)與OLAP系系統(tǒng)的主主要差異異如下：2/11/2020OLAP定義OLAP技術(shù)簡簡介定義1：OLAP(聯(lián)機(jī)分分析處理理)是針針對特定定問題的的聯(lián)機(jī)數(shù)數(shù)據(jù)訪問問和分析析。通過過對信息息(維數(shù)數(shù)據(jù))的的多種可可能的觀觀察形式式進(jìn)行快快速、穩(wěn)穩(wěn)定一致致和交互互性的存存取，允允許管理理決策人人員對數(shù)數(shù)據(jù)進(jìn)行

4、行深入觀觀察。定義2：OLAP(聯(lián)機(jī)分分析處理理)是是使分析析人員、管理人人員或執(zhí)執(zhí)行人員員能夠從從多種角角度對從從原始數(shù)數(shù)據(jù)中轉(zhuǎn)轉(zhuǎn)化出來來的、能能夠真正正為用戶戶所理解解的、并并真實(shí)反反映企業(yè)業(yè)維特性性的信息息進(jìn)行快快速、一一致、交交互地存存取，從從而獲得得對數(shù)據(jù)據(jù)的更深深入了解解的一類類軟件技技術(shù)。(OLAP委員員會(huì)的定定義)。OLAP的目標(biāo)標(biāo)：滿足足決策支支持或多多維環(huán)境境特定的的查詢和和報(bào)表需需求，它它的技術(shù)術(shù)核心是是“維”這個(gè)概概念，因因此OLAP也也可以說說是多維維數(shù)據(jù)分分析工具具的集合合2/11/2020OLAP的相關(guān)基基本概念念OLAP技術(shù)簡簡介維（Dimension）：是人們

5、觀觀察數(shù)據(jù)據(jù)的特定定角度，是考慮慮問題時(shí)時(shí)的一類類屬性，屬性集集合構(gòu)成成一個(gè)維維（時(shí)間間維、地地理維等等）。維的層次次（Generation，Level ）：人們觀察察數(shù)據(jù)的的某個(gè)特特定角度度（即某某個(gè)維）還可以以存在細(xì)細(xì)節(jié)程度度不同的的各個(gè)描描述方面面（時(shí)間間維：日日期、月月份、季季度、年年）。維的成員員（Member）：維的一個(gè)個(gè)取值。是數(shù)據(jù)據(jù)項(xiàng)在某某維中位位置的描描述。（“某年年某月某某日”是是在時(shí)間間維上位位置的描描述）多維數(shù)組組：維和變量量的組合合表示。一個(gè)多多維數(shù)組組可以表表示為：（維1，維2，維n，變量量）。（時(shí)間，地區(qū)，漫游類類型，通通話費(fèi)）數(shù)據(jù)單元元（Cell ）：多維數(shù)組組

6、的取值值。（2000年1月月1日，上海，國際漫漫游，通通話費(fèi)XXXX元）2/11/2020OLAP的基本特特征OLAP技術(shù)簡簡介快速性：用戶對OLAP的快速速反應(yīng)能能力有很很高的要要求。系系統(tǒng)對用用戶的大大部分分分析要求求的響應(yīng)應(yīng)速度應(yīng)應(yīng)該為秒秒級(jí)?？煞治鲂孕裕篛LAP系統(tǒng)能能處理與與應(yīng)用有有關(guān)的任任何邏輯輯分析和和統(tǒng)計(jì)分分析。多維性：多維性是是OLAP的關(guān)關(guān)鍵屬性性。系統(tǒng)統(tǒng)提供對對數(shù)據(jù)的的多維視視圖和分分析,包包括對層層次維和和多重層層次維的的完全支支持。信息性：不論數(shù)據(jù)據(jù)量有多多大，也也不管數(shù)數(shù)據(jù)存儲(chǔ)儲(chǔ)在何處處，OLAP系系統(tǒng)應(yīng)能能及時(shí)獲獲得信息息，并且且具有管管理大容容量信息息的能力力2

7、/11/2020OLAP的多維數(shù)數(shù)據(jù)結(jié)構(gòu)構(gòu)OLAP技術(shù)簡簡介超立方體體結(jié)構(gòu)：超立方方結(jié)構(gòu)指指用三維維或更多多的維數(shù)數(shù)來描述述一個(gè)對對象,每每個(gè)維彼彼此垂直直。數(shù)據(jù)據(jù)的測量量值發(fā)生生在維的的交叉點(diǎn)點(diǎn)上,數(shù)數(shù)據(jù)空間間的各個(gè)個(gè)部分都都有相同同的維屬屬性。多立方體體結(jié)構(gòu)：即將超立立方結(jié)構(gòu)構(gòu)變?yōu)樽幼恿⒎浇Y(jié)結(jié)構(gòu)。面面向某一一特定應(yīng)應(yīng)用對維維進(jìn)行分分割,它它具有有很強(qiáng)的的靈活性性,提高高了數(shù)據(jù)據(jù)（特別別是稀疏疏數(shù)據(jù)）的分析析效率。2/11/2020OLAP分類（一一）OLAP技術(shù)簡簡介MOLAP（Multidimensional OnLineAnalytical Processing）：數(shù)據(jù)以多多維方式式存

8、儲(chǔ)，每一個(gè)個(gè)數(shù)據(jù)單單元（Cell）都可以以通過維維度的定定位直接接訪問。db2ROLAP（Relational OnLineAnalytical Processing）：數(shù)據(jù)存放放于關(guān)系系型數(shù)據(jù)據(jù)庫中，用戶的的多維查查詢請求求由ROLAP引擎處理理為SQL查詢，結(jié)結(jié)果以多多維方式式呈現(xiàn)。oracleHOLAP（Hybridonline analyticalprocessing）：MOLAP與ROLAP的結(jié)合形形式，兼兼具M(jìn)OLAP的查詢效效率高和和ROLAP的存儲(chǔ)效效率高的的優(yōu)點(diǎn)，預(yù)存儲(chǔ)儲(chǔ)按照存儲(chǔ)儲(chǔ)類型，OLAP可以以分為以以下三種種類型：2/11/2020OLAP分類（三三）OLAP技術(shù)簡簡

9、介以多維立立方體和和預(yù)計(jì)算算來存儲(chǔ)儲(chǔ)，實(shí)際際數(shù)據(jù)的的稀疏分分布以及及預(yù)計(jì)算算是導(dǎo)致致MOLAP空空間急劇劇膨脹的的主要因因素。MOLAP的邏邏輯存儲(chǔ)儲(chǔ)模型：XXXXX2/11/2020OLAP分類（二二）OLAP技術(shù)簡簡介ROLAP存儲(chǔ)儲(chǔ)模式：ROLAP數(shù)據(jù)以星星型模式式（StarSchema）或雪雪花型模模式存儲(chǔ)儲(chǔ)：事實(shí)表：用來存存儲(chǔ)事實(shí)實(shí)的度量量值和各各個(gè)維的的碼值。維表：用用來存放放維的元元數(shù)據(jù)（維的層層次、成成員類別別等描述述信息）。Time_idSales TableDiscount%DollarsUnitsFact TableMarket_idProduct_idScenarioP

10、roduct_idProduct TableSizeBrandProduct_DescDimension TableTime_idYearQuarterPeriod_DescPeriod TableDimension TableScenario TableActualProfitScenarioDimension TableMarket_idMarket TableRegionDistrictMarket_DescDimension Table2/11/2020OLAP分類（四四）OLAP技術(shù)簡簡介沒有大小小限制。（因?yàn)闉镾tarSchema本本身不需需要額外外的存儲(chǔ)儲(chǔ)空間）?，F(xiàn)有的關(guān)關(guān)系數(shù)據(jù)

11、據(jù)庫的技技術(shù)可以以沿用?？梢酝ㄟ^過SQL實(shí)現(xiàn)詳詳細(xì)數(shù)據(jù)據(jù)與概要要數(shù)據(jù)的的存儲(chǔ)?，F(xiàn)有關(guān)系系型數(shù)據(jù)據(jù)庫已經(jīng)經(jīng)對OLAP做做了很多多優(yōu)化，包括并并行存儲(chǔ)儲(chǔ)、并行行查詢、并行數(shù)數(shù)據(jù)管理理、基于于成本的的查詢優(yōu)優(yōu)化、位位圖索引引、SQL的的OLAP擴(kuò)展展（cube，rollup）等大大大提高高ROALP的的速度ROLAP的優(yōu)勢：性能好、響應(yīng)速速度快。專為OLAP所所設(shè)計(jì)。支持高性性能的決決策支持持計(jì)算。MOLAP的優(yōu)優(yōu)勢：2/11/2020OLAP分類（五五）OLAP技術(shù)簡簡介比MOLAP響響應(yīng)速度度相差極極遠(yuǎn)。不支持有有關(guān)預(yù)計(jì)計(jì)算的讀讀寫操作作。SQL無無法完成成部分計(jì)計(jì)算。ROLAP的缺缺點(diǎn)：增加系

12、統(tǒng)統(tǒng)復(fù)雜度度，增加加系統(tǒng)培培訓(xùn)與維維護(hù)費(fèi)用用。需要進(jìn)行行預(yù)計(jì)算算，可能能導(dǎo)致數(shù)數(shù)據(jù)急劇劇膨脹。支持維的的動(dòng)態(tài)變變化比較較困難。MOLAP的缺缺點(diǎn)：2/11/2020OLAP分類（六六）OLAP技術(shù)簡簡介ROLAPArchitecture：SQL Result SetInfo.RequestResult SetDatabase Server R DBMSFront-end ToolROALP ArchitectureROLAP ServerMetadataRequestProcessing2/11/2020OLAP分類（七七）OLAP技術(shù)簡簡介MOLAPArchitecture：Info.Req

13、uestResult SetLoadDatabase Server RDBMSFront-end ToolMOALP ArchitectureMOLAP ServerMetadataRequestProcessing2/11/2020OLAP分類（八八）OLAP技術(shù)簡簡介MOLAPArchitecture：SQLResultSetInfo.RequestResultSetLoadDatabase Server RDBMSFront-end ToolHybridArchitectureMOLAP ServerIntegrationServerInfo.Request2/11/2020OLAP的多

14、維數(shù)數(shù)據(jù)分析析方法簡簡介（一一）OLAP技術(shù)簡簡介切片和切切塊(Sliceand Dice)：在確定某某些維數(shù)數(shù)據(jù)的確確定情況況下對其其他維進(jìn)進(jìn)行觀察察，在多維數(shù)數(shù)據(jù)結(jié)構(gòu)構(gòu)中,按二維進(jìn)進(jìn)行切片片,按三維進(jìn)進(jìn)行切塊塊,可得到所所需要的的數(shù)據(jù)。如在“城市、時(shí)間、漫游”三維立立方體中中進(jìn)行切切塊和切切片,可得到各各城市、各漫游游類型的的費(fèi)用情情況。鉆取(Drill)：在一個(gè)維維內(nèi)沿著著從高到到低或者者從低到到高的方方向考察察數(shù)據(jù)，鉆取包含含向下鉆鉆?。―rill-down）和向上上鉆?。―rill-up）/上卷（Roll-up）操作， 鉆取取的深度度與維所所劃分的的層次相相對應(yīng)。旋轉(zhuǎn)(Rotate)

15、/轉(zhuǎn)軸(Pivot):通過旋轉(zhuǎn)轉(zhuǎn)可以得得到不同同視角的的數(shù)據(jù)，按不同同的順序序組織維維，對結(jié)結(jié)果進(jìn)行行考察穿透：是指從多多維數(shù)據(jù)據(jù)庫向關(guān)關(guān)系型數(shù)數(shù)據(jù)庫讀讀取明細(xì)細(xì)數(shù)據(jù)OLAP的三種基基本分析析手段：多維視視圖2/11/2020時(shí)間地區(qū)漫游2003年2003年1月2003年1月1日2003年1月2日2003年1月3日2003年2月考察一個(gè)個(gè)特定的的維時(shí)間維，包括每每一個(gè)地地區(qū)漫游游業(yè)務(wù)量量鉆取到下下面的層層次來考考察詳細(xì)細(xì)情況OLAP的多維維數(shù)據(jù)分分析方法法簡介（二）：鉆取OLAP技術(shù)簡簡介2/11/2020時(shí)間地區(qū)漫游按照不同同的順序序組合維維，對數(shù)數(shù)據(jù)進(jìn)行行考察OLAP的多維維數(shù)據(jù)分分析方法

16、法簡介（二）：旋轉(zhuǎn)OLAP技術(shù)簡簡介地區(qū)漫游時(shí)間2/11/2020OLAP的多維維數(shù)據(jù)分分析方法法簡介（三）：切片、切塊OLAP技術(shù)簡簡介Ad Hoc ViewRegional Mgr. ViewProduct Mgr. ViewTIme Mgr. ViewPRODUCTregionTIMESALES2/11/2020OLAP的多維維數(shù)據(jù)分分析方法法簡介（四）：穿透OLAP技術(shù)簡簡介關(guān)系型數(shù)數(shù)據(jù)庫2/11/2020OLAP分類的評(píng)評(píng)價(jià)標(biāo)準(zhǔn)準(zhǔn)OLAP技術(shù)簡簡介OLAP模型必必須提供供多維概概念模型型。透明性準(zhǔn)準(zhǔn)則，存存儲(chǔ)無法法清除。存取能力力準(zhǔn)則。穩(wěn)定的報(bào)報(bào)表性能能客戶/服服務(wù)器體體系結(jié)構(gòu)構(gòu)維的

17、等同同性準(zhǔn)則則，按照照維度存存儲(chǔ)動(dòng)態(tài)稀疏疏矩陣處處理準(zhǔn)則則：dense,sparse多用戶支支持能力力準(zhǔn)則,并行非受限的的跨維操操作，多多cube,多多數(shù)據(jù)庫庫的關(guān)聯(lián)聯(lián)查詢靈活的報(bào)報(bào)表生成成非受限的的維與維維的層次次2/11/2020OLAP技術(shù)發(fā)展新特特征OLAP技術(shù)簡簡介聚集存儲(chǔ)儲(chǔ)數(shù)據(jù)庫庫 (AggregateStorageDatabase)：支持聚集集存儲(chǔ)數(shù)數(shù)據(jù)庫（由新的的聚集存存儲(chǔ)核心心提供）實(shí)現(xiàn)了了在數(shù)據(jù)據(jù)庫聚集集時(shí)間和和維度可可量測性性兩方面面的動(dòng)態(tài)態(tài)可量測測性的提提高。聚聚集存儲(chǔ)儲(chǔ)數(shù)據(jù)庫庫典型只只滿足只只讀，“機(jī)架堆疊疊”具有大量量維度的的應(yīng)用聚聚集數(shù)據(jù)據(jù)可以同同時(shí)滿足足讀取和和

18、計(jì)算存儲(chǔ)高效效性能，存儲(chǔ)量量很小存儲(chǔ)高效效性和讀讀取效率率可以取取得平衡衡點(diǎn)預(yù)計(jì)算可可以在數(shù)數(shù)據(jù)讀取取是進(jìn)行行，也可可以預(yù)處處理計(jì)算算節(jié)點(diǎn)2/11/2020OLAP在日常常分析中中隨處可可見KPI展示EIS多維分析數(shù)據(jù)挖掘OLAP使用分分析思路路（二）2/11/2020OLAP分析方方法的應(yīng)應(yīng)用主題分析析數(shù)據(jù)挖掘掘應(yīng)用報(bào)表KPI專題分析析經(jīng)營分析析、決策策支持系系統(tǒng)平臺(tái)臺(tái)工具APIOLAP挖掘技術(shù)OLAP分析SQLOLAP分析SQLOLAP分析SQL、挖掘OLAP分析OLAP分析方方法2/11/2020OLAP分析獨(dú)立個(gè)人分析基礎(chǔ)應(yīng)用分析專題分析應(yīng)用OLAP分析案案例講解解思路（一）2/11/

19、2020時(shí)間基礎(chǔ)使用案例驗(yàn)證問題發(fā)現(xiàn)問題尋找答案綜合使用分析之獨(dú)立分析主題獨(dú)立完成分析需求組織數(shù)據(jù)數(shù)據(jù)分析分析報(bào)告OLAP分析使使用使用現(xiàn)有有系統(tǒng)獨(dú)立完成成集成商的輔助之下分析需求組織數(shù)據(jù)形成方案，形成分析方法綜合使用之專題分析OLAP分析使使用思路路（二）在集成商商參與下下合作完完成2/11/2020OLAP分析案案例講解解思路（一）。PPT、EXECEL工具數(shù)據(jù)挖掘技術(shù)報(bào)表，前端工具使用數(shù)據(jù)庫sql專題分析析獨(dú)立業(yè)務(wù)務(wù)分析AnalysisProjectExecutingOlap分析方法2/11/2020議題OLAP技術(shù)簡介介OLAP分析方法法小結(jié)OLAP分析方法法小結(jié)2/11/2020OLAP分析課程要點(diǎn)點(diǎn)1.OLAP技技術(shù)的簡簡單介紹紹2.OLAP的的基礎(chǔ)分分析案例例3.OLAP的的綜合分分析案例例，包括括套餐專專題和世世界風(fēng)分分析4.OLAP分分析的重重要性5.不要要孤立的的使用