商務智能教學課件：05 OLAP 聯(lián)機分析處理

1、聯(lián)機分析處理OLAP2聯(lián)機分析處理（OLAP）聯(lián)機分析處理（OLAP）OLAP的特征及衡量標準OLAP中的幾個基本概念OLAP中的數(shù)據(jù)構(gòu)造方式OLAP的基本數(shù)據(jù)模型數(shù)據(jù)立方體（Data Cube）多維數(shù)據(jù)分析3從聯(lián)機事務處理（OLTP）到聯(lián)機分析處理（OLAP）60年代末E.F. Codd提出的關(guān)系數(shù)據(jù)庫模型促進了關(guān)系數(shù)據(jù)庫及OLTP的發(fā)展數(shù)據(jù)量從80年代的M字節(jié)及G字節(jié)過渡到現(xiàn)在的T字節(jié)和P字節(jié)在這樣的數(shù)據(jù)量的前提下，兼顧事務操作和分析操作在性能上越來越不可能實際的情況要求為兩種目的、特點有很大差異的應用提供不同的解決技術(shù)，OLAP應運而生4OLAP通過專門的數(shù)據(jù)綜合引擎，輔之以更加直觀的數(shù)

2、據(jù)訪問界面，力圖統(tǒng)一分散的公共應用邏輯，在短時間內(nèi)響應非數(shù)據(jù)處理專業(yè)人員的復雜查詢要求。1993年，E.F. Codd將這類技術(shù)定義為OLAPOLAP（聯(lián)機分析處理）是針對特定問題的聯(lián)機數(shù)據(jù)訪問和分析。通過對信息（這些信息已經(jīng)從原始的數(shù)據(jù)進行了轉(zhuǎn)換，以反映用戶能理解的企業(yè)的真實的“維”）的很多種可能的觀察形式進行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對數(shù)據(jù)進行深入觀察5OLAP vs. OLTP比較項目OLAPOLTP應用基礎(chǔ)數(shù)據(jù)倉庫DBMS用戶決策者（高級管理人員）一般操作員（管理人員）目的為決策和管理提供支持為日常工作服務數(shù)據(jù)特征導出數(shù)據(jù)原始數(shù)據(jù)數(shù)據(jù)細節(jié)綜合性數(shù)據(jù)，細節(jié)程度低細節(jié)程

3、度高時間特征歷史數(shù)據(jù)，橫跨一個時段當前數(shù)據(jù)更新方法周期性刷新可實時更新數(shù)據(jù)量需求一次處理需大量數(shù)據(jù)一次處理需少量數(shù)據(jù)6聯(lián)機分析處理（OLAP）聯(lián)機分析處理（OLAP）OLAP的特征及衡量標準OLAP中的幾個基本概念OLAP中的數(shù)據(jù)構(gòu)造方式OLAP的基本數(shù)據(jù)模型數(shù)據(jù)立方體（Data Cube）多維數(shù)據(jù)分析7Codd關(guān)于OLAP的評價準則（1/4）OLAP必須提供多維概念視圖從多個維度考察對象透明性準則OLAP在體系結(jié)構(gòu)中的位置對用戶是透明的OLAP的數(shù)據(jù)源對用戶也是透明的存取能力準則將OLAP的概念視圖映射到異質(zhì)的數(shù)據(jù)存儲上，能訪問數(shù)據(jù)并執(zhí)行所需轉(zhuǎn)換，從而提供單一、完整、連續(xù)的用戶視圖8Codd

4、關(guān)于OLAP的評價準則（2/4）穩(wěn)定的報表功能數(shù)據(jù)的維數(shù)和數(shù)據(jù)的綜合層次增加時，提供給最終分析人員的報表能力和響應速度不應該有明顯的降低和減慢客戶/服務器體系結(jié)構(gòu)服務器保證透明性和建立統(tǒng)一的公共概念模式、邏輯模式和物理模式?？蛻舳素撠煈眠壿嫼徒缑婢S的同等性原則每一數(shù)據(jù)維在數(shù)據(jù)結(jié)構(gòu)和操作能力上都是等同的9Codd關(guān)于OLAP的評價準則（3/4）動態(tài)的稀疏矩陣處理準則OLAP工具必須使得模型的物理模式充分適應指定的維數(shù)，尤其是特定模型的數(shù)據(jù)分布多用戶支持能力準則OLAP工具必須提供并發(fā)訪問、數(shù)據(jù)完整性及安全性機制非受限的跨維操作對于多維數(shù)據(jù)之間存在的固有的層次關(guān)系，OLAP工具應自己推導而不是由

5、用戶明確定義相關(guān)計算對于無法從固有關(guān)系中得出得計算，提供計算完備的語言來定義各種計算公式10Codd關(guān)于OLAP的評價準則（4/4）直觀的數(shù)據(jù)操作靈活的報表生成不受限維與聚集層次維數(shù)不應小于15任意聚集層次11FASMI 另一個評價準則FASMI （Fast Analysis of Shared Multidimensional Information）FastAnalysisSharedMultidimensionalInformation12聯(lián)機分析處理（OLAP）聯(lián)機分析處理（OLAP）OLAP的特征及衡量標準OLAP中的幾個基本概念OLAP中的數(shù)據(jù)構(gòu)造方式OLAP的基本數(shù)據(jù)模型數(shù)據(jù)立方

6、體（Data Cube）多維數(shù)據(jù)分析13度量值度量值，在分析型處理中，我們所關(guān)心和分析的對象在多維數(shù)據(jù)集中，度量值是一組值，而且通常為數(shù)字值度量值是所分析的多維數(shù)據(jù)集的中心值，即：度量值是最終用戶瀏覽多維數(shù)據(jù)集時重點查看的數(shù)值型數(shù)據(jù)度量值的選擇取決于最終用戶所請求的信息類型一些常見的度量值有銷售金額 sales成本金額 cost庫存數(shù)量 production count消費金額 expenditures14維觀察度量值的角度例如：可以從三個“維”角度觀察“銷售金額”這個度量值時間維可從時間角度統(tǒng)計（所有）商品在不同時間段內(nèi)的銷售（總）金額，以便于分析其與時間之間的關(guān)系商品維根據(jù)商品的分類情況統(tǒng)

7、計每一類商品的銷售金額，以便于分析其與商品類型之間的關(guān)系地域維可根據(jù)每個連鎖店所在的地域統(tǒng)計其銷售（總）金額，以便于分析其與地域之間的關(guān)系15層在分析型應用中，對度量值可以在不同的深度層面上進行分析與觀察，并可能得到不同的分析結(jié)果。因此，“層” 反映了對度量值的觀察深度一般而言，“層”是與“維”相關(guān)聯(lián)的。在一個“維”中可允許存在若干個“層”，并且可以采用多種不同的“層”次劃分方法維中的“層”通常被組織成一個層次結(jié)構(gòu)，在數(shù)據(jù)倉庫系統(tǒng)的元數(shù)據(jù)中需要記錄不同“層”之間的包含關(guān)系，以便于能夠在數(shù)據(jù)倉庫中已有的統(tǒng)計結(jié)果上正確地執(zhí)行新的統(tǒng)計查詢16時間維日 月 季 年日 周 年17地域維市 省 國 洲18

8、商品維（1/2）按商品的類別可以分為家電(大家電(電視機, 洗衣機, 冰箱, ), 小家電(), )服裝(男式，女式，童裝)日用品(.)19商品維（2/2）按如下的方法進行層次劃分按商品的價格分為高檔，中檔，低檔按商品的供應商分為外資，合資，國營，私營，個體按購買商品的顧客信息分為按照年齡層次來劃分：老年，中年，青年，少年兒童，嬰兒按照所從事的職業(yè)來劃分：.20維成員維的一個取值稱為該維的一個“維成員”如果一個維是多層次的，則該維的“維成員”可以是在不同維層次上的取值的組合 例如：對具有日，月，年三個層次的“時間維”來說，“某年某月某日”、“某年某月”、“某月某日”、“某年”都是其維成員，如：

9、1998年，1月，1998年1月，1998年1月1日，1月1日在某個維層次上的取值例如：“地域”維中的“江蘇”，“南京”，.例如：“商品”維中的“電視機”，“服裝”，.對一個度量值來說，維成員是該度量值在某維中位置的描述21多維數(shù)組一個多維數(shù)組可以表示為(維1, 維2, ., 維n, 變量)其中：“變量” 表示我們所觀察的度量值維1、維2、維n分別表示我們觀察該度量值的角度（維）如：（時間，商品種類，商店，銷售額）是一個有關(guān)商品銷售額的三維數(shù)組，其中的數(shù)據(jù)成員可以表示為：（2000年，家電，南京市，5000萬）（2000年7月，女式服裝，江蘇省，2000萬）22數(shù)據(jù)單元（單元格）多維數(shù)組可以被

10、看成是一個根據(jù)多個下標進行定位的值的集合當多維數(shù)組的每一維都選中一個維成員，這些維成員的組合就唯一確定了一個度量值，即：（維成員1，維成員2，維成員n，度量值）這樣一個值或存放該值的地方我們稱其為一個“數(shù)據(jù)單元”23多維數(shù)組和聯(lián)機分析處理假設(shè)：在一個分析型應用中需要若干個度量值（設(shè)為r個）， 以它們?yōu)榫劢裹c作不同角度（設(shè)每個分析對象有m個維）與深度（設(shè)每個維上又分為n個層）的分析，那么可以得到多種不同的統(tǒng)計分析結(jié)果（共為（rnm）種），即可以構(gòu)造出（ rnm ）種多維數(shù)組。為了方便快速地查到這些統(tǒng)計分析結(jié)果，OLAP需要解決以下兩個問題：OLAP的數(shù)據(jù)構(gòu)造方式OLAP的基本數(shù)據(jù)模型24聯(lián)機分析

11、處理（OLAP）聯(lián)機分析處理（OLAP）OLAP的特征及衡量標準OLAP中的幾個基本概念OLAP中的數(shù)據(jù)構(gòu)造方式OLAP的基本數(shù)據(jù)模型數(shù)據(jù)立方體（Data Cube）多維數(shù)據(jù)分析25OLAP的數(shù)據(jù)構(gòu)造方式ROLAP： （Relational OLAP）用傳統(tǒng)的“關(guān)系數(shù)據(jù)庫管理系統(tǒng)”（RDBMS）管理，將星型（雪花型）模式用二維表形式存儲，表間用關(guān)鍵字相連，從而構(gòu)成一個關(guān)系模式，它稱為ROLAP用戶在ROLAP上的查詢操作將被改寫成RDBMS中的查詢操作并執(zhí)行獲得查詢結(jié)果MOLAP：（Multi-Dimensional OLAP）用“多維數(shù)據(jù)庫管理系統(tǒng)”管理，多維數(shù)據(jù)庫采用的基本數(shù)據(jù)模式就是“多

12、維數(shù)組”。在MOLAP中，“事實表”被表示成一個“多維數(shù)組”，“維”的屬性值被映射成“多維數(shù)組”的下標，而“度量值”（包括綜合數(shù)據(jù)）則作為多維數(shù)組的取值存儲在數(shù)據(jù)單元中。在查詢時，可以通過下標的取值來找到相應多維數(shù)組中的“度量值”混合聯(lián)機分析處理（HOLAP） 26MOLAP 與 ROLAP27MDSQL列出1996年1月至6月彩電在北京地區(qū)的銷售量和成本語法1語法228MOLAP vs. ROLAPMOLAPROLAP專為OLAP所設(shè)計沿用現(xiàn)有的關(guān)系數(shù)據(jù)庫的技術(shù)性能好、響應速度快 響應速度比MOLAP慢數(shù)據(jù)裝載速度慢數(shù)據(jù)裝載速度快需要進行預計算，可能導致數(shù)據(jù)爆炸，維數(shù)有限；無法支持維的動態(tài)變

13、化 存儲空間耗費小，維數(shù)沒有限制受操作系統(tǒng)平臺中文件大小的限制，難以達到TB級(只能1020g) 借用RDBMS存儲數(shù)據(jù)，沒有文件大小限制缺乏數(shù)據(jù)模型和數(shù)據(jù)訪問的標準可以通過結(jié)構(gòu)化查詢語言（sql）實現(xiàn)詳細數(shù)據(jù)與概要數(shù)據(jù)的存儲支持高性能的決策支持計算:復雜的跨維計算；多用戶的讀寫操作；行級的計算 不支持有關(guān)預計算的讀寫操作：sql無法完成部分計算；無法完成多行的計算；無法完成維之間的計算管理簡便 維護困難29混合聯(lián)機分析處理（HOLAP）試圖將 MOLAP 和ROLAP進行融合從而在大量數(shù)據(jù)上獲得高效率方式同時提供多維數(shù)據(jù)庫（MDDB）和關(guān)系數(shù)據(jù)庫（RDB）將 RDB的查詢結(jié)果存儲到 MDDB

14、使用MDDB存儲高層次數(shù)據(jù)，RDB存儲細節(jié)數(shù)據(jù)30OLAP需解決的問題（1/2）OLAP服務器必須提高對OLAP數(shù)據(jù)的訪問效率，包括：數(shù)據(jù)抽取、轉(zhuǎn)換及加載的效率OLAP數(shù)據(jù)查詢效率OLAP數(shù)據(jù)更新效率31OLAP需解決的問題（2/2）目前可有多種方法以提高ROLAP中的處理效率：采用物化視圖方式將視圖這種“虛表”形式轉(zhuǎn)換成實際存在的二維表，以達到快速取得綜合數(shù)據(jù)的目的采用特殊的索引與集簇方式，以加速星型模式內(nèi)表的聯(lián)接速度盡量采用并行操作方式以提高處理速度采用OLAP中的查詢優(yōu)化技術(shù)，如共享排序技術(shù)等采用增量技術(shù)，在OLAP數(shù)據(jù)更新時保留不變的數(shù)據(jù)，僅更改變動的數(shù)據(jù)以加快數(shù)據(jù)更新速度32聯(lián)機分析

15、處理（OLAP）聯(lián)機分析處理（OLAP）OLAP的特征及衡量標準OLAP中的幾個基本概念OLAP中的數(shù)據(jù)構(gòu)造方式OLAP的基本數(shù)據(jù)模型數(shù)據(jù)立方體（Data Cube）多維數(shù)據(jù)分析33OLAP的基本數(shù)據(jù)模型MOLAP，多維數(shù)據(jù)庫（MDDB，Multi-Dimensional Database）ROLAP，常用的兩種ROLAP數(shù)據(jù)模型星形模型雪花模型34MDDB vs. RDBMS35多維聯(lián)機分析處理（MOLAP）MOLAP使用專門的多維數(shù)據(jù)庫來存放所需要的數(shù)據(jù)數(shù)據(jù)以多維的方式存放，并且使用多維的方式進行展現(xiàn)。多維數(shù)組比關(guān)系數(shù)據(jù)表表達更清晰且占用存儲?。ㄔ谔幚沓砻軘?shù)據(jù)時）高速的綜合速度，MOLAP

16、適用于需要高速處理的復雜分析維護多維數(shù)組需要大量資源36多維數(shù)據(jù)庫存取經(jīng)壓縮的、類似于數(shù)組的對象構(gòu)成這些對象帶有高度壓縮的索引及指針結(jié)構(gòu)并非維間的每種維成員組合都對應合理的度量值，MDDB必須具有高效的稀疏數(shù)據(jù)處理能力，能略過零元、缺失和重復數(shù)據(jù)使用多維查詢語言MDSQL37關(guān)系聯(lián)機分析處理（ROLAP）ROLAP使用通用的關(guān)系數(shù)據(jù)庫來存儲所需數(shù)據(jù)ROLAP 適應于處理大量數(shù)據(jù)低效率現(xiàn)有的關(guān)系型數(shù)據(jù)庫已經(jīng)對OLAP做了很多優(yōu)化，包括并行存儲、并行查詢、并行數(shù)據(jù)管理、基于成本的查詢優(yōu)化、位圖索引、SQL的OLAP擴展(cube, rollup)等，性能有所提高38二維數(shù)據(jù)模型39星型模式（1/4

17、）星型模式是一種多維表結(jié)構(gòu)，它一般由兩種不同性質(zhì)的二維表組成：事實表（Fact table）存放多維表中的主要事實，稱為度量值（Measure）維表（Dimension Table）存放多維表中的維成員的取值一般一個n維的多維表往往有n個維表和一個事實表，它們構(gòu)成了一個星形結(jié)構(gòu)，因而稱其為“星型模式”在星型模式中主體是事實表，而有關(guān)維的細節(jié)則放置于維表內(nèi)以達到簡化事實表的目的，事實表與維表間由公共屬性相連以使它們構(gòu)成一個整體40星型模式（2/4）銷售金額日期標識符商店標識符產(chǎn)品標識符大類別類別產(chǎn)品標識符年季月日日期標識符洲名國名省名市名商店標識符銷售表產(chǎn)品表商店表日期表41星型模式（3/4）上

18、述的星型模式可以轉(zhuǎn)化成下面的四個關(guān)系：事實表：銷售表（產(chǎn)品標識符，商店標識符，日期標識符，銷售額）維表1：產(chǎn)品表（產(chǎn)品標識符，類別，大類別）維表2：商店表（商店標識符，市名，省名，國名，洲名）維表3：時間表（時間標識符，日期，月份，季度，年份）42星型模式（4/4）43雪花模式（1/4）雪花模型是對星型模型的擴展雪花模型對星型模型的維表進一步層次化，原有的各維表可能被擴展為小的事實表，形成一些局部的“層次”區(qū)域優(yōu)點使維表盡可能地規(guī)范化，最大限度地減少維表的數(shù)據(jù)存儲量缺點執(zhí)行查詢時需要更多的連接操作，可能會影響查詢性能44雪花模式（2/4）例如：前面的維表1“產(chǎn)品表”也可以是一個如下所示的星型結(jié)

19、構(gòu)：產(chǎn)品（類別，供應商，顧客） 在前面的“星型模式”中，我們只考慮產(chǎn)品的分類（“類別”屬性），在這里我們還可以從產(chǎn)品的“供應商”或“購買顧客”角度來考慮對產(chǎn)品進行分析也可以以其中的“供應商”為中心再構(gòu)成一個 “星型模式”45雪花模式（3/4）銷售事實表（產(chǎn)品no，商店no，日期no，銷售額）產(chǎn)品（產(chǎn)品no，類別no，供應商no，顧客no）類別（類別no，層1，層2，）顧客（顧客no，年齡層次，職業(yè)類型）年齡層次（名稱）職業(yè)類型（名稱）供應商（供應商no，供應商類別，）產(chǎn)品維表46雪花模式（4/4）其他擴展模式星座模式通過公共維度連接多個星型模式雪暴模式通過公共維度連接多個雪花模式4748聯(lián)機分

20、析處理（OLAP）聯(lián)機分析處理（OLAP）OLAP中的幾個基本概念OLAP的特征及衡量標準OLAP的基本數(shù)據(jù)模型OLAP中的數(shù)據(jù)構(gòu)造方式數(shù)據(jù)立方體（Data Cube）多維數(shù)據(jù)分析49數(shù)據(jù)立方體（1/4）數(shù)據(jù)倉庫的數(shù)據(jù)模式通常可以看成是定義在多個數(shù)據(jù)源上的數(shù)據(jù)視圖，其中存儲的分析型數(shù)據(jù)通常是一些經(jīng)過統(tǒng)計而獲得的綜合性數(shù)據(jù)獲取這些綜合性數(shù)據(jù)的常用方法是在視圖中用統(tǒng)計函數(shù)進行計算，但這種方法的缺點是顯見的：時間開銷太大物化視圖為了提高對統(tǒng)計信息的查詢速度，我們可以預先計算好數(shù)據(jù)視圖中的統(tǒng)計信息并保存在數(shù)據(jù)倉庫中，這稱為“物化視圖”，即將虛的視圖轉(zhuǎn)變成實際的視圖存放物化視圖的三維數(shù)據(jù)模型叫“數(shù)據(jù)立方

21、體”50數(shù)據(jù)立方體（2/4）以前面的星型模式為例，其事實表共有三維，即產(chǎn)品P(product)、商店S(store)及日期D(Date)，可以為它們定義一系列的物化視圖。PSD視圖 PS、SD、PD視圖采用類似的方法也可以定義出SD、PD視圖51數(shù)據(jù)立方體（3/4）P、S、D視圖采用類似的方法也可以定義出S、D視圖。ALL視圖ALL視圖表示不分組，該視圖中的銷售總額表示銷售表中所有銷售金額之和。其定義如下：52數(shù)據(jù)立方體（4/4）DateProductStoreAll, All, Allsumsum TVVCRPC1Qtr2Qtr3Qtr4QtrU.S.ACanadaMexicosum53數(shù)據(jù)

22、超立方體（1/3）在數(shù)據(jù)立方體中進行的是一個三維的分析應用。但當應用中分析對象超過三維時，則構(gòu)成一個多維（或稱n維, n4）應用，此時無法用數(shù)據(jù)立方體表示其中的數(shù)據(jù)，而只能通過虛擬的n（n4）維空間建立n維立方體，它稱為“數(shù)據(jù)超立方體”54數(shù)據(jù)超立方體（2/3）55數(shù)據(jù)超立方體（3/3）56方體格（1/2）n維方體稱為基本方體0維方體代表最高層次的抽象，稱作頂點方體方體格構(gòu)成數(shù)據(jù)立方體allproductdatecountryproduct,dateproduct,countrydate, countryproduct, date, country0-D(apex) cuboid1-D cub

23、oids2-D cuboids3-D(base) cuboid57方體格（2/2）alltimeitemlocationsuppliertime,itemtime,locationtime,supplieritem,locationitem,supplierlocation,suppliertime,item,locationtime,item,suppliertime,location,supplieritem,location,suppliertime, item, location, supplier0-D(apex) cuboid1-D cuboids2-D cuboids3-D cu

24、boids4-D(base) cuboid58星形網(wǎng)查詢模式 Shipping MethodAIR-EXPRESSTRUCKORDERCONTRACTSCustomerProductPRODUCT GROUPPRODUCT LINEPRODUCT ITEMSALES PERSONDISTRICTDIVISIONOrganizationPromotionCITYCOUNTRYREGIONLocationDAILYQTRLYANNUALYTimeEach circle is called a footprint59數(shù)據(jù)立方體的物化不進行物化全物化n維 L層的立方體包含 種子方部分物化確定要物化的方

25、體子集冰山方體利用查詢處理時物化的方體在裝入和刷新時，有效地更新物化的方體MultiWay Array Aggregation Partition arrays into chunks (a small subcube which fits in memory). Compressed sparse array addressing: (chunk_id, offset)Compute aggregates in “multiway” by visiting cube cells in the order which minimizes the # of times to visit each

26、 cell, and reduces memory access and storage cost.60What is the best traversing order to do multi-way aggregation?AB29303132123459131415166463626148474645a1a0c3c2c1c 0b3b2b1b0a2a3CB442856402452362060MultiWay Array Aggregation 61AB29303132123459131415166463626148474645a1a0c3c2c1c 0b3b2b1b0a2a3C442856

27、402452362060BMultiWay Array Aggregation 62AB29303132123459131415166463626148474645a1a0c3c2c1c 0b3b2b1b0a2a3C442856402452362060BMultiWay Array Aggregation63AB29303132123459131415166463626148474645a1a0c3c2c1c 0b3b2b1b0a2a3C442856402452362060BMultiWay Array Aggregation64Total: 156,000AB29303132123459131415166463626148474645a1a0c3c2c1c 0b3b2b1b0a2a3C442856402452362060BFor BC plane: 100*1000=100,000For AC plane: 40*1000=40,000For AB plane: 40*400=16,000A: 10, B:100, C: 1000The minimal memory required for holding all relevant 2-D planes in chunk memory:If the dimensions are sorted as:MultiWay Ar