第4章：聯(lián)機(jī)分析處理技術(shù)

第四章

聯(lián)機(jī)分析處理技術(shù)

OLAP概述OLAP中的多維分析操作OLAP的基本數(shù)據(jù)模型OLAP的衡量標(biāo)準(zhǔn)內(nèi)容OLAP概述OLAP的由來聯(lián)機(jī)事務(wù)處理（OLTP）：利用關(guān)系數(shù)據(jù)庫存儲(chǔ)和管理業(yè)務(wù)數(shù)據(jù)，并建立相應(yīng)的應(yīng)用系統(tǒng)來支持日常業(yè)務(wù)運(yùn)作。這種應(yīng)用以支持業(yè)務(wù)處理為主要目的。所存儲(chǔ)的數(shù)據(jù)被稱為操作型數(shù)據(jù)或業(yè)務(wù)數(shù)據(jù)對OLTP數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行再加工，形成一個(gè)綜合的、面向分析的、更好的支持決策制定的決策支持系統(tǒng)（DSS）OLAP概述聯(lián)機(jī)分析處理（OnLineAnalysisProcessing，OLAP）在數(shù)據(jù)倉庫系統(tǒng)中，聯(lián)機(jī)分析處理是重要的數(shù)據(jù)分析工具。OLAP的基本思想是從多方面和多角度以多維的形式來觀察企業(yè)的狀態(tài)和了解企業(yè)的變化。OLAP是獨(dú)立于數(shù)據(jù)倉庫的一種技術(shù)概念當(dāng)OLAP與數(shù)據(jù)倉庫結(jié)合時(shí)，OLAP的數(shù)據(jù)源為數(shù)據(jù)倉庫，數(shù)據(jù)倉庫的大量數(shù)據(jù)是根據(jù)多維方式組織的。OLAP概述OLAP的由來Codd提出了多維數(shù)據(jù)庫和多維分析的概念，即聯(lián)機(jī)分析處理OLAP的定義OLAP是一種軟件技術(shù)，它使分析人員能夠迅速、一致、交互地從各個(gè)方面觀察信息，以達(dá)到深入理解數(shù)據(jù)的目的。這些信息是從原始數(shù)據(jù)轉(zhuǎn)換過來的，按照用戶的理解，它反映了企業(yè)真實(shí)的方方面面。（OLAP理事會(huì)）OLAP概述OLAP的基本概念維dimension人們觀察數(shù)據(jù)的特定角度如產(chǎn)品維、顧客維、時(shí)間維等維層次level人們觀察數(shù)據(jù)的某個(gè)特定角度（即某個(gè)維）還可以存在細(xì)節(jié)程度不同的各個(gè)描述方面如時(shí)間維的日、月、季、年OLAP概述OLAP的基本概念維成員member維的一個(gè)取值稱為該維的一個(gè)維成員是數(shù)據(jù)項(xiàng)在某維中位置的描述如“2012年9月10日”是在時(shí)間維上位置的描述OLAP概述OLAP的基本概念多維數(shù)據(jù)集是決策支持的支柱OLAP的核心又稱立方體或超立方體三維數(shù)據(jù)可以利用三維坐標(biāo)建立立方體進(jìn)行表示超三維數(shù)據(jù)可以利用一個(gè)多維表來進(jìn)行顯示OLAP概述OLAP的基本概念數(shù)據(jù)單元在多維數(shù)據(jù)集中每個(gè)維都選定一個(gè)維成員后，這些維成員的組合就唯一確定了一個(gè)數(shù)據(jù)單元多維數(shù)據(jù)集的度量值在多維數(shù)據(jù)集中有一組度量值，這些值是基于多維數(shù)據(jù)集中事實(shí)表的一列或多列數(shù)字度量值是多維數(shù)據(jù)集的核心值，是最終用戶在數(shù)據(jù)倉庫應(yīng)用中所需要查看的數(shù)據(jù)事實(shí)表維表OLAP概述OLAP的基本概念數(shù)據(jù)立方體由維和事實(shí)定義；每一個(gè)維都有一個(gè)表與之相關(guān)聯(lián)，這些表叫維表；每一個(gè)維表包含各種屬性；多維數(shù)據(jù)模型圍繞中心主題組織；該主題用事實(shí)表示；事實(shí)是數(shù)值度量的；一個(gè)電子公司的銷售一般從三個(gè)方面分析銷售額：時(shí)間：在某一段時(shí)間內(nèi)的銷售情況，其度量為（年、季度、月、旬、天）地區(qū)：在某個(gè)地區(qū)的銷售情況，度量可分為（地區(qū)、國家、省、市）產(chǎn)品：某類或某型號(hào)產(chǎn)品的銷售情況，度量可分為（類別、型號(hào)等）此處，（時(shí)間，地區(qū)，產(chǎn)品）就構(gòu)成了三個(gè)維。維有層次結(jié)構(gòu)，可以在某個(gè)層上察看數(shù)據(jù)。11維的例子地區(qū)的層次12維的例子全國江蘇北京上海蘇州市揚(yáng)州市寶應(yīng)縣OLAP數(shù)據(jù)立方體的計(jì)算（物化）一般，若有n個(gè)維，則立方體個(gè)數(shù)是13{(city,item,date),(city,item),(city,date),(item,date),(city),(item),(date),all}all表示不對任何維分組，這組形成了該數(shù)據(jù)立方體的方體格OLAP概述OLAP的基本概念事實(shí)表包括事實(shí)的名稱或度量，以及每個(gè)相關(guān)維表的關(guān)鍵字；數(shù)據(jù)立方體是對多維數(shù)據(jù)存儲(chǔ)的一種比喻；實(shí)際維上有分層，如（年、季度、月、星期、日），所以實(shí)際的立方體個(gè)數(shù)是極大的。所以，實(shí)時(shí)計(jì)算的工作量極大，但全部事先計(jì)算，則存儲(chǔ)量又極大。方體的選擇計(jì)算：不物化：即不預(yù)先計(jì)算任何“非基本”方體全物化：預(yù)先計(jì)算所有的方體部分物化：在整個(gè)可能的方體集中，有選擇地物化一些適當(dāng)?shù)淖蛹贠LAP中一般采用部分物化，應(yīng)考慮三個(gè)因素:(1)確定要物化的方體子集；(2)利用查詢處理時(shí)物化的方體；(3)在裝入和刷新時(shí)，有效地更新物化的方體。15OLAP數(shù)據(jù)立方體的計(jì)算（物化）OLAP概述OLAP的基本概念概念分層（concepthierarchy）：定義一映射序列，將低層概念映射到更一般的高層概念；如維location的概念分層：城市—省—國家OLAP概述OLAP的定義與特征使分析、管理或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對數(shù)據(jù)更深入了解的一類軟件技術(shù)從不同的角度看同樣的數(shù)據(jù)！OLAP概述OLAP的定義與特征如分析銷售數(shù)據(jù)時(shí)間周期產(chǎn)品類別分銷渠道地理分布客戶群類OLAP概述OLAP的定義與特征主要特征快速性系統(tǒng)必須能快速響應(yīng)用戶的分析查詢要求，對于用戶大部分分析要求在5秒鐘內(nèi)作出反應(yīng)可分析性O(shè)LAP系統(tǒng)能處理任何與用戶和應(yīng)用有關(guān)的邏輯分析和統(tǒng)計(jì)分析，在需要的情況下還允許用戶無需編程就可為分析和生成報(bào)表定義一些新的特殊運(yùn)算多維性

指對數(shù)據(jù)分析的多維視圖和分析信息性能管理大量的數(shù)據(jù)并即時(shí)地獲得用戶所需信息數(shù)據(jù)的透明性O(shè)LAP中的多維分析操作鉆取Drill/Rollup,Drilldown改變維的層次，變換分析的粒度分向上鉆取和向下鉆取向上鉆取：在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)，或者減少維數(shù)向下鉆?。簭膮R總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察或增加新維OLAP中的多維分析操作OLAP中的多維分析操作切片和切塊切片：在給定數(shù)據(jù)立方體的一個(gè)維上進(jìn)行選擇操作，切片的結(jié)果是得到一個(gè)二維平面數(shù)據(jù)，如銀行分行=“分行1”O(jiān)LAP中的多維分析操作切片和切塊切塊：在給定數(shù)據(jù)立方體的兩個(gè)或多個(gè)維上進(jìn)行選擇操作，切塊的結(jié)果是得到一個(gè)子立方體，如（銀行分行=“分行1”O(jiān)R“分行2”）AND(時(shí)間=“2007年”O(jiān)R“2008年”)AND（銀行支行=支行1”O(jiān)R“支行2”

）OLAP中的多維分析操作旋轉(zhuǎn)變換維的方向，即在表格中重新安排維的放置，如行列互換OLAP中的多維分析操作旋轉(zhuǎn)變換維的方向，即在表格中重新安排維的放置，如行列互換OLAP中的多維分析操作概化（generalize）通過用高層抽象（如time維的year）值替換低層抽象（如time維的day）值，概念分層可以用于概化數(shù)據(jù)；特化（specialize）通過用低層抽象（如time維的day）值替換高層抽象（如time維的year）值，概念分層可以用于特化數(shù)據(jù)；OLAP的基本數(shù)據(jù)模型OLAP系統(tǒng)一般以數(shù)據(jù)倉庫作為基礎(chǔ)，從數(shù)據(jù)倉庫中抽取詳細(xì)數(shù)據(jù)的一個(gè)子集，經(jīng)過必要的聚集存儲(chǔ)到OLAP存儲(chǔ)器中供前端分析工具讀取為了保證信息處理所需的數(shù)據(jù)以合適的粒度、合理的抽象程度和標(biāo)準(zhǔn)化程度存儲(chǔ)，按照其數(shù)據(jù)存儲(chǔ)格式可以分為關(guān)系OLAP（ROLAP）、多維OLAP（MOLAP）和混合OLAP（HOLAP）OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機(jī)分析處理ROLAP的數(shù)據(jù)模型以關(guān)系型的結(jié)果進(jìn)行多維數(shù)據(jù)的表示與存儲(chǔ)數(shù)據(jù)的預(yù)處理程度不高，靈活性高一般采用星狀模式或雪花模式來表達(dá)多維數(shù)據(jù)視圖OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機(jī)分析處理ROLAP的數(shù)據(jù)模型星狀模式一個(gè)事實(shí)表：包含大批數(shù)據(jù)并且不含冗余的中心表一組小的維表，每維一個(gè)OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機(jī)分析處理ROLAP的數(shù)據(jù)模型星狀模式OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機(jī)分析處理ROLAP的數(shù)據(jù)模型雪花模式是星狀模式的變種某些維是規(guī)范化的，把數(shù)據(jù)進(jìn)一步分解到附加表中OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機(jī)分析處理ROLAP的數(shù)據(jù)模型雪花模式OLAP的基本數(shù)據(jù)模型關(guān)系聯(lián)機(jī)分析處理ROLAP的數(shù)據(jù)模型雪花模式與星狀模式的區(qū)別雪花狀的維表可能是規(guī)范化形式，以便減少冗余，易于維護(hù)，節(jié)省存儲(chǔ)空間由于執(zhí)行查詢需要更多的連接操作，雪花狀結(jié)構(gòu)可能降低瀏覽的性能OLAP的基本數(shù)據(jù)模型多維聯(lián)機(jī)分析處理MOLAP利用一種專有的多維數(shù)據(jù)庫來存儲(chǔ)OLAP分析所需要的數(shù)據(jù)數(shù)據(jù)采用n維數(shù)組的多維方式存儲(chǔ)，形成“立方體”結(jié)構(gòu)MOLAP存儲(chǔ)模式將數(shù)據(jù)與計(jì)算結(jié)果都存儲(chǔ)在立方體結(jié)構(gòu)中，即將多維數(shù)據(jù)集區(qū)的聚合、維度、匯總數(shù)據(jù)以及其源數(shù)據(jù)的副本等信息均以多維結(jié)構(gòu)存儲(chǔ)在分析服務(wù)器上。MOLAP的數(shù)據(jù)模型MOLAP是表現(xiàn)為“超立方”結(jié)構(gòu)，采用類似于多維數(shù)組的結(jié)構(gòu)。例如，二維MDDB（數(shù)組，即矩陣）的數(shù)據(jù)組織見下表北京上海廣州衣服600700500鞋800900700帽子1002008035OLAP的基本數(shù)據(jù)模型多維聯(lián)機(jī)分析處理MOLAP的優(yōu)缺點(diǎn)迅速響應(yīng)決策分析人員的分析請求（預(yù)處理程度高）用戶很難對維數(shù)進(jìn)行動(dòng)態(tài)變化，如增加一維對數(shù)據(jù)變化的適應(yīng)能力較差-需重構(gòu)多維數(shù)據(jù)庫處理大量細(xì)節(jié)數(shù)據(jù)的能力差OLAP的基本數(shù)據(jù)模型MOLAP和ROLAP的比較ROLAP服務(wù)器需要將SQL語句轉(zhuǎn)化為多維存儲(chǔ)語句，臨時(shí)“拼合”出多維數(shù)據(jù)立方體。因此，ROLAP的響應(yīng)時(shí)間較長。

MOLAP在數(shù)據(jù)存儲(chǔ)速度上性能好，響應(yīng)速度快。38數(shù)據(jù)存取速度ROLAP使用的傳統(tǒng)關(guān)系數(shù)據(jù)庫的存儲(chǔ)方法，在存儲(chǔ)容量上基本沒有限制。MOLAP通常采用多平面疊加成立體的方式存放數(shù)據(jù)。MOLAP受操作系統(tǒng)平臺(tái)中文件大小的限制，當(dāng)數(shù)據(jù)量超過操作系統(tǒng)最大文件長度時(shí)，需要進(jìn)行數(shù)據(jù)分割。多維數(shù)據(jù)庫的數(shù)據(jù)量級難以達(dá)到TB級(只能10~20G）39數(shù)據(jù)存儲(chǔ)的容量MOLAP增加新的維度，則多維數(shù)據(jù)庫通常需要重新建立。ROLAP對于維表的變更有很好的適應(yīng)性。40維度變化的適應(yīng)性當(dāng)數(shù)據(jù)頻繁的變化時(shí)，MOLAP需要進(jìn)行大量的重新計(jì)算，甚至重新建立索引乃至重構(gòu)多維數(shù)據(jù)庫。在ROLAP中靈活性較好，對于數(shù)據(jù)變化的適應(yīng)性高。41數(shù)據(jù)變化的適應(yīng)性42MOLAPVSROLAPMOLAPROLAP固定維可變維維交叉計(jì)算多維視圖行級計(jì)算超大型數(shù)據(jù)庫讀-寫應(yīng)用維數(shù)據(jù)變化速度快數(shù)據(jù)集市數(shù)據(jù)倉庫OLAP的基本數(shù)據(jù)模型混合型聯(lián)機(jī)分析處理原始數(shù)據(jù)存儲(chǔ)在原來的關(guān)系數(shù)據(jù)庫中聚合數(shù)據(jù)則以多維的形式存儲(chǔ)準(zhǔn)則維數(shù)可以被動(dòng)態(tài)更新可根據(jù)關(guān)系數(shù)據(jù)庫管理系統(tǒng)的元數(shù)據(jù)產(chǎn)生多維視圖可以快速地存取各種級別的匯總數(shù)據(jù)可適應(yīng)大數(shù)據(jù)量數(shù)據(jù)的分析可以方便地對計(jì)算和匯總算法進(jìn)行維護(hù)和修改OLAP的衡量標(biāo)準(zhǔn)1993年，E.F.Codd提出了關(guān)于OLAP的12條標(biāo)準(zhǔn)目的是加深對OLAP的理解已成為OLAP工具所應(yīng)有的關(guān)鍵特性的最小描述OLAP的衡量標(biāo)準(zhǔn)準(zhǔn)則1：OLAP模型必須提供多維概念視圖準(zhǔn)則2：透明性準(zhǔn)則OLAP的數(shù)據(jù)源對用戶是透明的準(zhǔn)則3：存取能力準(zhǔn)則提供高效的存取策略準(zhǔn)則4：穩(wěn)定的報(bào)表性能當(dāng)維數(shù)和數(shù)據(jù)綜合層次增加時(shí)，其報(bào)表能力和響應(yīng)速度不應(yīng)該有明顯的降低和減慢OLAP的衡量標(biāo)準(zhǔn)準(zhǔn)則5：客戶/服務(wù)器體系結(jié)構(gòu)建立統(tǒng)一的公共概念模