第4章：聯(lián)機(jī)分析處理技術(shù)

1、第四章聯(lián)機(jī)分析處理技術(shù)OLAP概述OLAP中的多維分析操作OLAP的基本數(shù)據(jù)模型OLAP的衡量標(biāo)準(zhǔn)內(nèi)容OLAP概述OLAP的由來 聯(lián)機(jī)事務(wù)處理（OLTP）：利用關(guān)系數(shù)據(jù)庫存儲和管理業(yè)務(wù)數(shù)據(jù)，并建立相應(yīng)的應(yīng)用系統(tǒng)來支持日常業(yè)務(wù)運(yùn)作。這種應(yīng)用以支持業(yè)務(wù)處理為主要目的。所存儲的數(shù)據(jù)被稱為操作型數(shù)據(jù)或業(yè)務(wù)數(shù)據(jù) 對OLTP數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行再加工，形成一個(gè)綜合的、面向分析的、更好的支持決策制定的決策支持系統(tǒng)（DSS）OLAP概述 聯(lián)機(jī)分析處理（OnLine Analysis Processing，OLAP）在數(shù)據(jù)倉庫系統(tǒng)中，聯(lián)機(jī)分析處理是重要的數(shù)據(jù)分析工具。 OLAP的基本思想是從多方面和多角度以多維的

2、形式來觀察企業(yè)的狀態(tài)和了解企業(yè)的變化。 OLAP是獨(dú)立于數(shù)據(jù)倉庫的一種技術(shù)概念 當(dāng)OLAP與數(shù)據(jù)倉庫結(jié)合時(shí)，OLAP的數(shù)據(jù)源為數(shù)據(jù)倉庫，數(shù)據(jù)倉庫的大量數(shù)據(jù)是根據(jù)多維方式組織的。OLAP概述OLAP的由來 Codd提出了多維數(shù)據(jù)庫和多維分析的概念，即聯(lián)機(jī)分析處理OLAP的定義 OLAP是一種軟件技術(shù)，它使分析人員能夠迅速、一致、交是一種軟件技術(shù)，它使分析人員能夠迅速、一致、交互地從各個(gè)方面觀察信息，以達(dá)到深入理解數(shù)據(jù)的目的?；サ貜母鱾€(gè)方面觀察信息，以達(dá)到深入理解數(shù)據(jù)的目的。這些信息是從原始數(shù)據(jù)轉(zhuǎn)換過來的，按照用戶的理解，它這些信息是從原始數(shù)據(jù)轉(zhuǎn)換過來的，按照用戶的理解，它反映了企業(yè)真實(shí)的方方面面

3、。（反映了企業(yè)真實(shí)的方方面面。（ OLAP理事會理事會）OLAP概述OLAP的基本概念 維dimension 人們觀察數(shù)據(jù)的特定角度 如產(chǎn)品維、顧客維、時(shí)間維等 維層次level 人們觀察數(shù)據(jù)的某個(gè)特定角度（即某個(gè)維）還可以存在細(xì)節(jié)程度不同的各個(gè)描述方面 如時(shí)間維的日、月、季、年OLAP概述OLAP的基本概念 維成員member 維的一個(gè)取值稱為該維的一個(gè)維成員 是數(shù)據(jù)項(xiàng)在某維中位置的描述 如“2012年9月10日”是在時(shí)間維上位置的描述OLAP概述OLAP的基本概念 多維數(shù)據(jù)集 是決策支持的支柱 OLAP的核心 又稱立方體或超立方體 三維數(shù)據(jù)可以利用三維坐標(biāo)建立立方體進(jìn)行表示 超三維數(shù)據(jù)可以

4、利用一個(gè)多維表來進(jìn)行顯示OLAP概述OLAP的基本概念 數(shù)據(jù)單元 在多維數(shù)據(jù)集中每個(gè)維都選定一個(gè)維成員后，這些維成員的組合就唯一確定了一個(gè)數(shù)據(jù)單元 多維數(shù)據(jù)集的度量值 在多維數(shù)據(jù)集中有一組度量值，這些值是基于多維數(shù)據(jù)集中事實(shí)表的一列或多列數(shù)字 度量值是多維數(shù)據(jù)集的核心值，是最終用戶在數(shù)據(jù)倉庫應(yīng)用中所需要查看的數(shù)據(jù)事實(shí)表維表OLAP概述OLAP的基本概念 數(shù)據(jù)立方體由維和事實(shí)定義； 每一個(gè)維都有一個(gè)表與之相關(guān)聯(lián)，這些表叫維表； 每一個(gè)維表包含各種屬性； 多維數(shù)據(jù)模型圍繞中心主題組織； 該主題用事實(shí)表示； 事實(shí)是數(shù)值度量的； 一個(gè)電子公司的銷售一般從三個(gè)方面分析銷售額：一個(gè)電子公司的銷售一般從三個(gè)

5、方面分析銷售額： 時(shí)間：時(shí)間：在某一段時(shí)間內(nèi)的銷售情況，其度量為（年、在某一段時(shí)間內(nèi)的銷售情況，其度量為（年、季度、月、旬、天）季度、月、旬、天） 地區(qū)：地區(qū)：在某個(gè)地區(qū)的銷售情況，度量可分為（地區(qū)、在某個(gè)地區(qū)的銷售情況，度量可分為（地區(qū)、國家、省、市）國家、省、市） 產(chǎn)品：產(chǎn)品：某類或某型號產(chǎn)品的銷售情況，度量可分為某類或某型號產(chǎn)品的銷售情況，度量可分為（類別、型號等）（類別、型號等） 此處，（時(shí)間，地區(qū)，產(chǎn)品）就構(gòu)成了三個(gè)維。此處，（時(shí)間，地區(qū)，產(chǎn)品）就構(gòu)成了三個(gè)維。維有層次結(jié)構(gòu)，可以在某個(gè)層上察看數(shù)據(jù)。維有層次結(jié)構(gòu)，可以在某個(gè)層上察看數(shù)據(jù)。11維的例子 地區(qū)的層次12維的例子全國江蘇北京

6、上海蘇州市揚(yáng)州市寶應(yīng)縣OLAP數(shù)據(jù)立方體的計(jì)算（物化）數(shù)據(jù)立方體的計(jì)算（物化） 一般，若有一般，若有n個(gè)維，則立方體個(gè)數(shù)是個(gè)維，則立方體個(gè)數(shù)是nnnnnccc2.1013(city,item,date),(city,item),(city,date), (item,date),(city),(item),(date),all all 表示不對任何維分組，這組形成了該數(shù)據(jù)立方體的方體格OLAP概述OLAP的基本概念 事實(shí)表包括事實(shí)的名稱或度量，以及每個(gè)相關(guān)維表的關(guān)鍵字； 數(shù)據(jù)立方體是對多維數(shù)據(jù)存儲的一種比喻； 實(shí)際維上有分層，如（年、季度、月、星期、日），所以實(shí)際的實(shí)際維上有分層，如（年、季度、

7、月、星期、日），所以實(shí)際的立方體個(gè)數(shù)是極大的。所以，實(shí)時(shí)計(jì)算的工作量極大，但全部事立方體個(gè)數(shù)是極大的。所以，實(shí)時(shí)計(jì)算的工作量極大，但全部事先計(jì)算，則存儲量又極大。先計(jì)算，則存儲量又極大。 方體的選擇計(jì)算：方體的選擇計(jì)算： 不物化：即不預(yù)先計(jì)算任何不物化：即不預(yù)先計(jì)算任何“非基本非基本”方體方體 全物化：預(yù)先計(jì)算所有的方體全物化：預(yù)先計(jì)算所有的方體 部分物化：在整個(gè)可能的方體集中，有選擇地物化部分物化：在整個(gè)可能的方體集中，有選擇地物化一些適當(dāng)一些適當(dāng)?shù)牡淖蛹蛹?在在OLAP中一般采用部分物化，應(yīng)考慮三個(gè)因素中一般采用部分物化，應(yīng)考慮三個(gè)因素: (1)確定要物化的方體子集；確定要物化的方體子集

8、； (2)利用查詢處理時(shí)物化的方體；利用查詢處理時(shí)物化的方體； (3)在裝入和刷新時(shí)，有效地更新物化的方體。在裝入和刷新時(shí)，有效地更新物化的方體。15OLAP數(shù)據(jù)立方體的計(jì)算（物化）數(shù)據(jù)立方體的計(jì)算（物化）OLAP概述 OLAP的基本概念 概念分層（concept hierarchy）：定義一映射序列，將低層概念映射到更一般的高層概念； 如維location的概念分層：城市省國家OLAP概述OLAP的定義與特征 使分析、管理或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對數(shù)據(jù)更深入了解的一類軟件技術(shù) 從不

9、同的角度看同樣的數(shù)據(jù)！OLAP概述OLAP的定義與特征 如分析銷售數(shù)據(jù) 時(shí)間周期 產(chǎn)品類別 分銷渠道 地理分布 客戶群類OLAP概述OLAP的定義與特征 主要特征 快速性 系統(tǒng)必須能快速響應(yīng)用戶的分析查詢要求，對于用戶大部分分析要求在5秒鐘內(nèi)作出反應(yīng) 可分析性 OLAP系統(tǒng)能處理任何與用戶和應(yīng)用有關(guān)的邏輯分析和統(tǒng)計(jì)分析，在需要的情況下還允許用戶無需編程就可為分析和生成報(bào)表定義一些新的特殊運(yùn)算 多維性指對數(shù)據(jù)分析的多維視圖和分析 信息性 能管理大量的數(shù)據(jù)并即時(shí)地獲得用戶所需信息 數(shù)據(jù)的透明性O(shè)LAP中的多維分析操作鉆取Drill/Roll up , Drill down 改變維的層次，變換分析的

10、粒度 分向上鉆取和向下鉆取 向上鉆?。涸谀骋痪S上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)，或者減少維數(shù) 向下鉆?。簭膮R總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察或增加新維OLAP中的多維分析操作OLAP中的多維分析操作切片和切塊 切片：在給定數(shù)據(jù)立方體的一個(gè)維上進(jìn)行選擇操作，切片的結(jié)果是得到一個(gè)二維平面數(shù)據(jù)，如銀行分行=“分行1”O(jiān)LAP中的多維分析操作切片和切塊 切塊：在給定數(shù)據(jù)立方體的兩個(gè)或多個(gè)維上進(jìn)行選擇操作，切塊的結(jié)果是得到一個(gè)子立方體，如（銀行分行=“分行1”O(jiān)R “分行2”）AND (時(shí)間=“2007年”O(jiān)R “2008年”) AND（銀行支行=支行1”O(jiān)R “支行2” ）OLAP中的多維分析操

11、作旋轉(zhuǎn) 變換維的方向，即在表格中重新安排維的放置，如行列互換OLAP中的多維分析操作旋轉(zhuǎn) 變換維的方向，即在表格中重新安排維的放置，如行列互換OLAP中的多維分析操作概化（generalize） 通過用高層抽象（如time維的year）值替換低層抽象（如time維的day）值，概念分層可以用于概化數(shù)據(jù)；特化（specialize） 通過用低層抽象（如time維的day）值替換高層抽象（如time維的year）值，概念分層可以用于特化數(shù)據(jù)；OLAP的基本數(shù)據(jù)模型OLAP系統(tǒng)一般以數(shù)據(jù)倉庫作為基礎(chǔ)，從數(shù)據(jù)倉庫中抽取詳細(xì)數(shù)據(jù)的一個(gè)子集，經(jīng)過必要的聚集存儲到OLAP存儲器中供前端分析工具讀取為了保證信

12、息處理所需的數(shù)據(jù)以合適的粒度、合理的抽象程度和標(biāo)準(zhǔn)化程度存儲，按照其數(shù)據(jù)存儲格式可以分為關(guān)系OLAP（ROLAP）、多維OLAP（MOLAP）和混合OLAP（HOLAP）OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機(jī)分析處理ROLAP的數(shù)據(jù)模型以關(guān)系型的結(jié)果進(jìn)行多維數(shù)據(jù)的表示與存儲數(shù)據(jù)的預(yù)處理程度不高，靈活性高一般采用星狀模式或雪花模式來表達(dá)多維數(shù)據(jù)視圖OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機(jī)分析處理ROLAP的數(shù)據(jù)模型星狀模式 一個(gè)事實(shí)表：包含大批數(shù)據(jù)并且不含冗余的中心表 一組小的維表，每維一個(gè)OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機(jī)分析處理ROLAP的數(shù)據(jù)模型星狀模式OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機(jī)分析處理ROLAP的數(shù)據(jù)模型

13、雪花模式 是星狀模式的變種 某些維是規(guī)范化的，把數(shù)據(jù)進(jìn)一步分解到附加表中OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機(jī)分析處理ROLAP的數(shù)據(jù)模型雪花模式OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機(jī)分析處理ROLAP的數(shù)據(jù)模型雪花模式與星狀模式的區(qū)別 雪花狀的維表可能是規(guī)范化形式，以便減少冗余，易于維護(hù)，節(jié)省存儲空間 由于執(zhí)行查詢需要更多的連接操作，雪花狀結(jié)構(gòu)可能降低瀏覽的性能OLAP的基本數(shù)據(jù)模型多維聯(lián)機(jī)分析處理MOLAP利用一種專有的多維數(shù)據(jù)庫來存儲OLAP分析所需要的數(shù)據(jù)數(shù)據(jù)采用n維數(shù)組的多維方式存儲，形成“立方體”結(jié)構(gòu)MOLAP存儲模式將數(shù)據(jù)與計(jì)算結(jié)果都存儲在立方體結(jié)構(gòu)中，即將多維數(shù)據(jù)集區(qū)的聚合、維度、匯總數(shù)據(jù)以及

14、其源數(shù)據(jù)的副本等信息均以多維結(jié)構(gòu)存儲在分析服務(wù)器上。MOLAP的數(shù)據(jù)模型 MOLAPMOLAP是表現(xiàn)為是表現(xiàn)為“超立方超立方”結(jié)構(gòu)，采用類似于結(jié)構(gòu)，采用類似于多維數(shù)多維數(shù)組組的結(jié)構(gòu)。的結(jié)構(gòu)。 例如，二維例如，二維MDDB（數(shù)組，即矩陣）的數(shù)據(jù)組織見下（數(shù)組，即矩陣）的數(shù)據(jù)組織見下表表北京上海廣州衣服600700500鞋800900700帽子1002008035OLAP的基本數(shù)據(jù)模型多維聯(lián)機(jī)分析處理MOLAP的優(yōu)缺點(diǎn)迅速響應(yīng)決策分析人員的分析請求（預(yù)處理程度高）用戶很難對維數(shù)進(jìn)行動(dòng)態(tài)變化，如增加一維對數(shù)據(jù)變化的適應(yīng)能力較差-需重構(gòu)多維數(shù)據(jù)庫處理大量細(xì)節(jié)數(shù)據(jù)的能力差OLAP的基本數(shù)據(jù)模型MOLAP

15、和ROLAP的比較 ROLAP服務(wù)器需要將服務(wù)器需要將SQL語句轉(zhuǎn)化為多維存儲語句，語句轉(zhuǎn)化為多維存儲語句，臨時(shí)臨時(shí)“拼合拼合”出多維數(shù)據(jù)立方體。因此，出多維數(shù)據(jù)立方體。因此，ROLAP的的響應(yīng)時(shí)間較長。響應(yīng)時(shí)間較長。 MOLAP在數(shù)據(jù)存儲速度上性能好，響應(yīng)速度快。在數(shù)據(jù)存儲速度上性能好，響應(yīng)速度快。 38數(shù)據(jù)存取速度數(shù)據(jù)存取速度 ROLAP使用的傳統(tǒng)關(guān)系數(shù)據(jù)庫的存儲方法，在存使用的傳統(tǒng)關(guān)系數(shù)據(jù)庫的存儲方法，在存儲容量上基本沒有限制。儲容量上基本沒有限制。 MOLAP通常采用多平面疊加成立體的方式存放通常采用多平面疊加成立體的方式存放數(shù)據(jù)。數(shù)據(jù)。 MOLAP受操作系統(tǒng)平臺中文件大小的限制，受操

16、作系統(tǒng)平臺中文件大小的限制，當(dāng)當(dāng)數(shù)據(jù)量超過操作系統(tǒng)最大文件長度時(shí)，需要進(jìn)行數(shù)據(jù)量超過操作系統(tǒng)最大文件長度時(shí)，需要進(jìn)行數(shù)據(jù)分割。數(shù)據(jù)分割。 多維數(shù)據(jù)庫的數(shù)據(jù)量級難以達(dá)到多維數(shù)據(jù)庫的數(shù)據(jù)量級難以達(dá)到TB TB 級級( (只能只能1020G1020G）39數(shù)據(jù)存儲的容量數(shù)據(jù)存儲的容量 MOLAP增加新的維度，則多維數(shù)據(jù)庫通常需要重新增加新的維度，則多維數(shù)據(jù)庫通常需要重新建立。建立。 ROLAP對于維表的變更有很好的適應(yīng)性。對于維表的變更有很好的適應(yīng)性。40維度變化的適應(yīng)性維度變化的適應(yīng)性 當(dāng)數(shù)據(jù)頻繁的變化時(shí)，MOLAP需要進(jìn)行大量的重新計(jì)算，甚至重新建立索引乃至重構(gòu)多維數(shù)據(jù)庫。 在ROLAP中靈活性

17、較好，對于數(shù)據(jù)變化的適應(yīng)性高。41數(shù)據(jù)變化的適應(yīng)性數(shù)據(jù)變化的適應(yīng)性42MOLAP VS ROLAPMOLAPMOLAPROLAPROLAP固定維固定維可變維可變維維交叉計(jì)算維交叉計(jì)算多維視圖多維視圖行級計(jì)算行級計(jì)算超大型數(shù)據(jù)庫超大型數(shù)據(jù)庫讀讀- -寫應(yīng)用寫應(yīng)用維數(shù)據(jù)變化速度快維數(shù)據(jù)變化速度快數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)倉庫數(shù)據(jù)倉庫OLAP的基本數(shù)據(jù)模型 混合型聯(lián)機(jī)分析處理 原始數(shù)據(jù)存儲在原來的關(guān)系數(shù)據(jù)庫中 聚合數(shù)據(jù)則以多維的形式存儲 準(zhǔn)則 維數(shù)可以被動(dòng)態(tài)更新 可根據(jù)關(guān)系數(shù)據(jù)庫管理系統(tǒng)的元數(shù)據(jù)產(chǎn)生多維視圖 可以快速地存取各種級別的匯總數(shù)據(jù) 可適應(yīng)大數(shù)據(jù)量數(shù)據(jù)的分析 可以方便地對計(jì)算和匯總算法進(jìn)行維護(hù)和修改OLAP的衡量標(biāo)準(zhǔn)1993年，E.F.Codd提出了關(guān)于OLAP的12條標(biāo)準(zhǔn)目的是加深對OLAP的理解已成為OLAP工具所應(yīng)有的關(guān)鍵特性的最小描述OLAP的衡量標(biāo)準(zhǔn) 準(zhǔn)則1：OLAP 模型必須提供多維概念視圖 準(zhǔn)則2：透明性準(zhǔn)則 OLAP的數(shù)據(jù)源對用戶是透明的 準(zhǔn)則3：存取能力準(zhǔn)則 提供高效的存取策略 準(zhǔn)則4：穩(wěn)定的報(bào)表性能 當(dāng)維數(shù)和數(shù)據(jù)綜合層次增加時(shí)，其報(bào)表能力和響應(yīng)速度不