數(shù)據(jù)倉庫OLAP技術(shù)課件

1、數(shù)據(jù)倉庫OLAP技術(shù)2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)議題OLAP技術(shù)簡介OLAP技術(shù)簡介OLAP分析方法小結(jié)2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP技術(shù)簡介OLAP發(fā)展背景及定義OLAP相關(guān)基本概念OLAP基本特征OLAP多維數(shù)據(jù)結(jié)構(gòu)OLAP多維數(shù)據(jù)分析方法OLAP分類OLAP評價準(zhǔn)則OLAP新的發(fā)展特征 OLAP工具在移動業(yè)務(wù)分析中是否能發(fā)揮作用，為什么？2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)發(fā)展背景（一）60年代，關(guān)系型數(shù)據(jù)庫之父E.F.Codd提出了關(guān)系模型，促進(jìn)了OLTP（ OnLine Transaction Processing，聯(lián)機事務(wù)處理）模型的發(fā)展。1993年，E

2、.F.Codd提出了OLAP（OnLine Analytical Processing聯(lián)機分析處理）概念，認(rèn)為OLTP已不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要，SQL對大型數(shù)據(jù)庫進(jìn)行的簡單查詢也不能滿足終端用戶分析的要求。用戶的決策分析需要對關(guān)系數(shù)據(jù)庫進(jìn)行大量計算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。因此，E.F.Codd提出了多維數(shù)據(jù)庫和多維分析的概念，即OLAP。OLAP技術(shù)簡介2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)發(fā)展背景（二）OLAP技術(shù)簡介OLTP數(shù)據(jù)OLAP數(shù)據(jù)原始數(shù)據(jù)導(dǎo)出數(shù)據(jù)細(xì)節(jié)性數(shù)據(jù)綜合性和提煉性數(shù)據(jù)當(dāng)前值數(shù)據(jù)歷史數(shù)據(jù)可更新不可更新，但周期性刷新一次處理的數(shù)據(jù)量

3、小一次處理的數(shù)據(jù)量大面向應(yīng)用，事務(wù)驅(qū)動面向分析，分析驅(qū)動面向操作人員，支持日常操作面向決策人員，支持管理需要從數(shù)據(jù)角度看，OLTP系統(tǒng)與OLAP系統(tǒng)的主要差異如下：2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP定義OLAP技術(shù)簡介定義1 ：OLAP(聯(lián)機分析處理)是針對特定問題的聯(lián)機數(shù)據(jù)訪問和分析。通過對信息(維數(shù)據(jù))的多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對數(shù)據(jù)進(jìn)行深入觀察。定義2 ：OLAP(聯(lián)機分析處理) 是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而

4、獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。(OLAP委員會的定義) 。OLAP的目標(biāo)：滿足決策支持或多維環(huán)境特定的查詢和報表需求，它的技術(shù)核心是“維”這個概念，因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP的相關(guān)基本概念OLAP技術(shù)簡介維（ Dimension ）：是人們觀察數(shù)據(jù)的特定角度，是考慮問題時的一類屬性，屬性集合構(gòu)成一個維（時間維、地理維等） 。維的層次（ Generation，Level ）：人們觀察數(shù)據(jù)的某個特定角度（即某個維）還可以存在細(xì)節(jié)程度不同的各個描述方面（時間維：日期、月份、季度、年） 。維的成員（ Member ）：維的一個取值

5、。是數(shù)據(jù)項在某維中位置的描述。（“某年某月某日”是在時間維上位置的描述）多維數(shù)組：維和變量的組合表示。一個多維數(shù)組可以表示為：（維1，維2，維n，變量）。（時間，地區(qū)，漫游類型，通話費）數(shù)據(jù)單元（ Cell ）：多維數(shù)組的取值。（2000年1月1日，上海，國際漫游，通話費XXXX元）2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP的基本特征OLAP技術(shù)簡介快速性：用戶對OLAP的快速反應(yīng)能力有很高的要求。系統(tǒng)對用戶的大部分分析要求的響應(yīng)速度應(yīng)該為秒級。 可分析性：OLAP系統(tǒng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計分析。多維性：多維性是OLAP的關(guān)鍵屬性。系統(tǒng)提供對數(shù)據(jù)的多維視圖和分析,包括對層次維

6、和多重層次維的完全支持。信息性：不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲在何處，OLAP系統(tǒng)應(yīng)能及時獲得信息，并且具有管理大容量信息的能力2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP的多維數(shù)據(jù)結(jié)構(gòu)OLAP技術(shù)簡介超立方體結(jié)構(gòu)：超立方結(jié)構(gòu)指用三維或更多的維數(shù)來描述一個對象,每個維彼此垂直。數(shù)據(jù)的測量值發(fā)生在維的交叉點上,數(shù)據(jù)空間的各個部分都有相同的維屬性。 多立方體結(jié)構(gòu)：即將超立方結(jié)構(gòu)變?yōu)樽恿⒎浇Y(jié)構(gòu)。面向某一特定應(yīng)用對維進(jìn)行分割, 它具有很強的靈活性,提高了數(shù)據(jù)（特別是稀疏數(shù)據(jù)）的分析效率。2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP分類（一）OLAP技術(shù)簡介MOLAP（Multidimension

7、al OnLine Analytical Processing ） ：數(shù)據(jù)以多維方式存儲，每一個數(shù)據(jù)單元（Cell）都可以通過維度的定位直接訪問。 db2ROLAP（Relational OnLine Analytical Processing ） ：數(shù)據(jù)存放于關(guān)系型數(shù)據(jù)庫中，用戶的多維查詢請求由ROLAP引擎處理為SQL查詢，結(jié)果以多維方式呈現(xiàn)。oracleHOLAP（Hybrid online analytical processing ）： MOLAP與ROLAP的結(jié)合形式，兼具M(jìn)OLAP的查詢效率高和ROLAP的存儲效率高的優(yōu)點，預(yù)存儲按照存儲類型，OLAP可以分為以下三種類型：202

8、2/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP分類（三）OLAP技術(shù)簡介以多維立方體和預(yù)計算來存儲，實際數(shù)據(jù)的稀疏分布以及預(yù)計算是導(dǎo)致MOLAP空間急劇膨脹的主要因素。 MOLAP的邏輯存儲模型：XXXXX2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP分類（二）OLAP技術(shù)簡介ROLAP存儲模式：ROLAP數(shù)據(jù)以星型模式（Star Schema）或雪花型模式存儲：事實表：用來存儲事實的度量值和各個維的碼值。 。 維表：用來存放維的元數(shù)據(jù)（維的層次、成員類別等描述信息） 。Time_idSales TableDiscount%DollarsUnitsFact TableMarket_idProduct

9、_idScenarioProduct_idProduct TableSizeBrandProduct_DescDimension TableTime_idYearQuarterPeriod_DescPeriod TableDimension TableScenario TableActualProfitScenarioDimension TableMarket_idMarket TableRegionDistrictMarket_DescDimension Table2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP分類（四）OLAP技術(shù)簡介沒有大小限制。（因為Star Schema本身不需要額外

10、的存儲空間） ?，F(xiàn)有的關(guān)系數(shù)據(jù)庫的技術(shù)可以沿用?？梢酝ㄟ^SQL實現(xiàn)詳細(xì)數(shù)據(jù)與概要數(shù)據(jù)的存儲?，F(xiàn)有關(guān)系型數(shù)據(jù)庫已經(jīng)對OLAP做了很多優(yōu)化，包括并行存儲、并行查詢、并行數(shù)據(jù)管理、基于成本的查詢優(yōu)化、位圖索引、SQL 的OLAP擴展（cube，rollup）等大大提高ROALP的速度ROLAP的優(yōu)勢：性能好、響應(yīng)速度快。專為OLAP所設(shè)計。支持高性能的決策支持計算。MOLAP的優(yōu)勢：2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP分類（五）OLAP技術(shù)簡介比MOLAP響應(yīng)速度相差極遠(yuǎn)。不支持有關(guān)預(yù)計算的讀寫操作。SQL無法完成部分計算。ROLAP的缺點：增加系統(tǒng)復(fù)雜度，增加系統(tǒng)培訓(xùn)與維護(hù)費用。需要進(jìn)行

11、預(yù)計算，可能導(dǎo)致數(shù)據(jù)急劇膨脹。支持維的動態(tài)變化比較困難。MOLAP的缺點：2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP分類（六）OLAP技術(shù)簡介ROLAP Architecture：SQL Result SetInfo.RequestResult SetDatabase Server R DBMSFront-end ToolROALP ArchitectureROLAP ServerMetadataRequestProcessing2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP分類（七）OLAP技術(shù)簡介MOLAP Architecture：Info.RequestResult SetLoad

12、Database Server RDBMSFront-end ToolMOALP ArchitectureMOLAP ServerMetadataRequestProcessing2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP分類（八）OLAP技術(shù)簡介MOLAP Architecture：SQL Result SetInfo. RequestResult SetLoadDatabase Server RDBMSFront-end ToolHybrid ArchitectureMOLAP ServerIntegration ServerInfo. Request2022/7/26數(shù)據(jù)倉庫OLAP

13、技術(shù)OLAP的多維數(shù)據(jù)分析方法簡介（一）OLAP技術(shù)簡介切片和切塊(Slice and Dice) ：在確定某些維數(shù)據(jù)的確定情況下對其他維進(jìn)行觀察，在多維數(shù)據(jù)結(jié)構(gòu)中,按二維進(jìn)行切片,按三維進(jìn)行切塊,可得到所需要的數(shù)據(jù)。如在“城市、時間、漫游”三維立方體中進(jìn)行切塊和切片,可得到各城市、各漫游類型的費用情況。 鉆取(Drill)：在一個維內(nèi)沿著從高到低或者從低到高的方向考察數(shù)據(jù)，鉆取包含向下鉆取（Drill-down）和向上鉆取（Drill-up） / 上卷（Roll-up）操作， 鉆取的深度與維所劃分的層次相對應(yīng)。旋轉(zhuǎn)(Rotate) / 轉(zhuǎn)軸(Pivot):通過旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)，按不

14、同的順序組織維，對結(jié)果進(jìn)行考察穿透：是指從多維數(shù)據(jù)庫向關(guān)系型數(shù)據(jù)庫讀取明細(xì)數(shù)據(jù)OLAP的三種基本分析手段：多維視圖2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)時間地區(qū)漫游2003年2003年1月2003年1月1日2003年1月2日2003年1月3日2003年2月考察一個特定的維時間維，包括每一個地區(qū)漫游業(yè)務(wù)量鉆取到下面的層次來考察詳細(xì)情況OLAP的多維數(shù)據(jù)分析方法簡介（二）：鉆取OLAP技術(shù)簡介2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)時間地區(qū)漫游按照不同的順序組合維，對數(shù)據(jù)進(jìn)行考察OLAP的多維數(shù)據(jù)分析方法簡介（二）：旋轉(zhuǎn)OLAP技術(shù)簡介地區(qū)漫游時間2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP的多維

15、數(shù)據(jù)分析方法簡介（三）：切片、切塊OLAP技術(shù)簡介Ad Hoc ViewRegional Mgr. ViewProduct Mgr. ViewTIme Mgr. ViewPRODUCTregionTIMESALES2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP的多維數(shù)據(jù)分析方法簡介（四）：穿透OLAP技術(shù)簡介關(guān)系型數(shù)據(jù)庫2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP分類的評價標(biāo)準(zhǔn)OLAP技術(shù)簡介OLAP模型必須提供多維概念模型。透明性準(zhǔn)則，存儲無法清除。存取能力準(zhǔn)則。穩(wěn)定的報表性能客戶/服務(wù)器體系結(jié)構(gòu)維的等同性準(zhǔn)則，按照維度存儲動態(tài)稀疏矩陣處理準(zhǔn)則：dense,sparse多用戶支持能力準(zhǔn)則,

16、并行非受限的跨維操作，多cube,多數(shù)據(jù)庫的關(guān)聯(lián)查詢靈活的報表生成非受限的維與維的層次2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP技術(shù)發(fā)展新特征OLAP技術(shù)簡介聚集存儲數(shù)據(jù)庫 (Aggregate Storage Database)：支持聚集存儲數(shù)據(jù)庫（由新的聚集存儲核心提供）實現(xiàn)了在數(shù)據(jù)庫聚集時間和維度可量測性兩方面的動態(tài)可量測性的提高。聚集存儲數(shù)據(jù)庫典型只滿足只讀，“機架堆疊”具有大量維度的應(yīng)用聚集數(shù)據(jù)可以同時滿足讀取和計算存儲高效性能，存儲量很小存儲高效性和讀取效率可以取得平衡點預(yù)計算可以在數(shù)據(jù)讀取是進(jìn)行，也可以預(yù)處理計算節(jié)點2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP在日常分析中隨

17、處可見KPI展示EIS多維分析數(shù)據(jù)挖掘OLAP使用分析思路（二）2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP分析方法的應(yīng)用主題分析數(shù)據(jù)挖掘應(yīng)用報表KPI專題分析經(jīng)營分析、決策支持系統(tǒng)平臺工具APIOLAP挖掘技術(shù)OLAP分析SQLOLAP分析SQLOLAP分析SQL、挖掘OLAP分析OLAP分析方法2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP分析獨立個人分析基礎(chǔ)應(yīng)用分析專題分析應(yīng)用OLAP分析案例講解思路（一）2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)時間基礎(chǔ)使用案例驗證問題發(fā)現(xiàn)問題尋找答案綜合使用分析之獨立分析主題獨立完成分析需求組織數(shù)據(jù)數(shù)據(jù)分析分析報告OLAP分析使用 使用現(xiàn)有系統(tǒng)獨立完成

18、集成商的輔助之下分析需求組織數(shù)據(jù)形成方案，形成分析方法綜合使用之專題分析OLAP分析使用思路（二）在集成商參與下合作完成2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP分析案例講解思路（一）。PPT、EXECEL工具數(shù)據(jù)挖掘技術(shù)報表，前端工具使用數(shù)據(jù)庫sql專題分析獨立業(yè)務(wù)分析AnalysisProjectExecutingOlap分析方法2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)議題OLAP技術(shù)簡介OLAP分析方法小結(jié)OLAP分析方法小結(jié)2022/7/26數(shù)據(jù)倉庫OLAP技術(shù)OLAP分析課程要點1.OLAP技術(shù)的簡單介紹2.OLAP的基礎(chǔ)分析案例3.OLAP的綜合分析案例，包括套餐專題和世界風(fēng)分析4.OLAP分析的重要性5.不要孤立的使用OLAP分析6.OLAP分析是經(jīng)營分析系統(tǒng)或者是數(shù)據(jù)倉庫系統(tǒng)中眾多分析方法中的一種7.作為一個好的分析員，應(yīng)該可以