OLAP的三大實現(xiàn)技術(shù)-課件

OLAP的三大實現(xiàn)技術(shù)1100214019計算機(jī)應(yīng)用技術(shù)2020/11/241目錄OLAP的實現(xiàn)技術(shù)OLAP實例分析2020/11/242精品資料2020/11/243你怎么稱呼老師？如果老師最后沒有總結(jié)一節(jié)課的重點的難點，你是否會認(rèn)為老師的教學(xué)方法需要改進(jìn)？你所經(jīng)歷的課堂，是講座式還是討論式？教師的教鞭“不怕太陽曬，也不怕那風(fēng)雨狂，只怕先生罵我笨，沒有學(xué)問無顏見爹娘……”“太陽當(dāng)空照，花兒對我笑，小鳥說早早早……”2020/11/244OLAP的實現(xiàn)技術(shù)關(guān)系型聯(lián)機(jī)分析處理（ROLAP，RelationalOLAP）多維聯(lián)機(jī)分析處理（MOLAP，Multi-DimensionalOLAP）混合型聯(lián)機(jī)分析處理（HOLAP，HybridOLAP）2020/11/245關(guān)系數(shù)據(jù)存儲與多維數(shù)據(jù)存儲關(guān)系型OLAP數(shù)據(jù)存儲

在關(guān)系數(shù)據(jù)庫中，沒有數(shù)組的概念，因此多維數(shù)據(jù)必須被映像成平面型的關(guān)系表中的行。具有代表性的是非標(biāo)準(zhǔn)化的星型模式的設(shè)計，它將基本信息存儲在一個單獨的事實表中，而有關(guān)維的支持信息則被存儲在其他表中。

預(yù)處理的結(jié)果一般被存放在大量的綜合匯總表中，這些綜合匯總表分別有不同的聚集及組合。他們每個都需要關(guān)鍵字來標(biāo)識，并且通過索引來獲得高效的訪問。

2020/11/246多維數(shù)據(jù)存儲與關(guān)系數(shù)據(jù)存儲多維數(shù)據(jù)庫中的數(shù)據(jù)存儲多維數(shù)據(jù)庫是由許多經(jīng)壓縮的，類似于數(shù)組的對象構(gòu)成，這種對象通常帶有高度壓縮的索引及指針結(jié)構(gòu)。每個對象由聚集成組的單元塊組成，每個單元塊都類似于多維數(shù)組的結(jié)構(gòu)存儲，并通過直接偏移計算進(jìn)行存取。

由于索引只需一個較小的數(shù)來標(biāo)識單元塊，因此多維數(shù)據(jù)庫的索引一般較小，只占數(shù)據(jù)空間的一小部分，正因為它們?nèi)绱酥?，以至于可以很容易地將整個索引裝進(jìn)內(nèi)存，這將極大地提高性能。

在實際分析過程中，可能需要把任一維與其他維進(jìn)行組合，因而需要能夠旋轉(zhuǎn)數(shù)據(jù)立方體及切片的視圖，即以多維方式顯示數(shù)據(jù)。

在多維數(shù)據(jù)庫中，并非維間的每種組合都會產(chǎn)生具體的值，實際上，許多組合沒有具體值，是空的或者值為0。另外，許多值重復(fù)，如一年中的價格可能不變。因此多維數(shù)據(jù)庫必須具有高效的稀疏數(shù)據(jù)處理能力，能略過零元、缺失和重復(fù)數(shù)據(jù)。

2020/11/247多維數(shù)據(jù)存儲與關(guān)系數(shù)據(jù)存儲關(guān)系數(shù)據(jù)存儲與多維數(shù)據(jù)存儲的比較關(guān)系數(shù)據(jù)庫按表中存放的關(guān)鍵字記錄來存放數(shù)據(jù)，數(shù)據(jù)可用通用語言SQL來訪問；而多維數(shù)據(jù)存儲在邏輯上按數(shù)組保存數(shù)據(jù)，它既沒有通用或一致的多維模型，也沒有標(biāo)準(zhǔn)的或通用的數(shù)據(jù)訪問方法。利用關(guān)系數(shù)據(jù)存儲，數(shù)據(jù)倉庫的尺寸可以非常大。通過使用索引和一些特殊的技術(shù)，可以增大存儲的尺寸，以便在多維查詢時獲得可接受的性能。在多維存儲中，數(shù)據(jù)存儲的大小通常是有限的，但數(shù)據(jù)存儲可利用壓縮技術(shù)，例如稀疏矩陣壓縮，可以在較少空間存放更多數(shù)據(jù)。存儲在多維數(shù)據(jù)庫中的信息具有更詳盡的索引，可以常駐內(nèi)存。且在邏輯上按數(shù)組保存數(shù)據(jù)，所以它可以在不影響索引的情況下更新數(shù)據(jù)。2020/11/248關(guān)系型聯(lián)機(jī)分析處理（ROLAP）ROLAPROLAP將分析用的多維數(shù)據(jù)存儲在關(guān)系數(shù)據(jù)庫中，并根據(jù)應(yīng)用的需要有選擇的定義一批實視圖作為表也存儲在關(guān)系數(shù)據(jù)庫中。ROLAP主要通過一些軟件工具或中間軟件實現(xiàn)，物理層仍采用關(guān)系數(shù)據(jù)庫的存儲結(jié)構(gòu)，因此稱為虛擬OLAP（VirtualOLAP）。盡管數(shù)據(jù)按關(guān)系型格式存儲，但對用戶來說，數(shù)據(jù)卻是按多維方式給出。為了隱藏存儲格式，應(yīng)創(chuàng)建元數(shù)據(jù)的語義層，此層將映射到關(guān)系表。為改善響應(yīng)時間，還應(yīng)為概括數(shù)據(jù)或聚集數(shù)據(jù)生成元數(shù)據(jù)。所有元數(shù)據(jù)存放于可被維護(hù)和管理的關(guān)系數(shù)據(jù)庫中。DBDW基礎(chǔ)數(shù)據(jù)元數(shù)據(jù)計算結(jié)果多維綜合引擎多維視圖SQL存取多維存取RDBMS服務(wù)器關(guān)系型OLAP服務(wù)器客戶2020/11/249關(guān)系型聯(lián)機(jī)分析處理（ROLAP）設(shè)計基本步驟：

（1）利用星型模式、雪花模式、混合模式等技術(shù)來構(gòu)造維模型。

（2）添加適當(dāng)?shù)木奂透爬〝?shù)據(jù)。

（3）把大的數(shù)據(jù)庫分解成可管理的部分來提高效率。

（4）添加生成的索引或位模式索引來增強(qiáng)功能。

（5）生成并存儲元數(shù)據(jù)。元數(shù)據(jù)包括對維的定義、維到關(guān)系表格的映射、維間的層次關(guān)系、概括和聚集的定義和描述、公式和計算及其他數(shù)據(jù)等。2020/11/2410關(guān)系型聯(lián)機(jī)分析處理（ROLAP）執(zhí)行查詢的步驟：

（1）利用數(shù)據(jù)的應(yīng)用視圖或維視圖來構(gòu)造客戶工具。

（2）從客戶工具查詢OLAP并實時檢查元數(shù)據(jù)。

（3）創(chuàng)建多種SELECT語句和/或相關(guān)子查詢，并把它們提交給關(guān)系數(shù)據(jù)庫。

（4）在數(shù)據(jù)庫查詢結(jié)果上完成多維功能，例如公式和計算，從字節(jié)到應(yīng)用描述的轉(zhuǎn)換。

（5）將結(jié)果返回給客戶工具以便進(jìn)一步處理和顯示，或者立即進(jìn)行顯示。2020/11/2411關(guān)系型聯(lián)機(jī)分析處理（ROLAP）提供給用戶和管理員的主要功能有：

（1）關(guān)系數(shù)據(jù)庫的商業(yè)視圖。

（2）維層次支持。

（3）計算、統(tǒng)計和財會功能，它們都可由用戶擴(kuò)充。

（4）細(xì)剖細(xì)節(jié)層次。

（5）選擇前后端工具。

（6）數(shù)據(jù)庫管理員可以增強(qiáng)已有的備份和恢復(fù)功能，并可提供數(shù)據(jù)庫的子集來進(jìn)行個例分析。

（7）利用元數(shù)據(jù)導(dǎo)航。（8）具有使用權(quán)限的多級安全性控制。2020/11/2412關(guān)系型聯(lián)機(jī)分析處理（ROLAP）可能會遇到的問題：

（1）此方法允許使用星型和雪花模式分解數(shù)據(jù)并進(jìn)行特殊處理。這增強(qiáng)了功能，但代價卻為關(guān)系數(shù)據(jù)庫的靈活性和可擴(kuò)充性帶來了負(fù)面影響。這使得修改數(shù)據(jù)庫會產(chǎn)生更多困難，而且可能需要批量修改。

（2）除非是批量裝載，所用的星型模式及其變形，以及所用的聚集和概括數(shù)據(jù)都假定數(shù)據(jù)是靜態(tài)的。

（3）進(jìn)行行一級的計算，例如，當(dāng)利潤等于收入減成本時，需要置換行和列。即使采用多個SELECT語句，此種計算仍會受到限制。

（4）管理并維護(hù)元數(shù)據(jù)是一個長期的問題，并且長期消耗成本。2020/11/2413關(guān)系型聯(lián)機(jī)分析處理（ROLAP）ROLAP的實現(xiàn)將數(shù)據(jù)的多維結(jié)構(gòu)劃分為兩類表：事實表（用來存儲事實的度量值及各個維的碼值）維度表（維的描述信息，包括維的層次及成員類別等）按照兩種結(jié)構(gòu)設(shè)計：星型模型雪花模型2020/11/2414關(guān)系型聯(lián)機(jī)分析處理（ROLAP）用關(guān)系模式表達(dá)多維概念的示例圖——星型模式

銷售事物表

產(chǎn)品代碼郵政編碼銷售商代碼財政周序號銷售數(shù)量銷售成本總銷售額財政周序號產(chǎn)品代碼銷售商代碼郵政編碼產(chǎn)品維表時間維表銷售渠道維表地理維表2020/11/2415關(guān)系型聯(lián)機(jī)分析處理（ROLAP）用關(guān)系模式表達(dá)多維概念的示例圖——雪花模式

銷售事物表

產(chǎn)品代碼郵政編碼銷售商代碼財政周序號銷售數(shù)量銷售成本總銷售額財政周序號產(chǎn)品代碼銷售商代碼郵政編碼商標(biāo)代碼公司代碼產(chǎn)品類代碼產(chǎn)品小類代碼產(chǎn)品代碼當(dāng)前時間財政周序號財政年度序號銷售店代碼零售商代碼城市名稱國家地區(qū)郵政編碼商標(biāo)代碼商標(biāo)名稱產(chǎn)品代碼產(chǎn)品名稱產(chǎn)品小類代碼產(chǎn)品小類名稱公司代碼公司名稱零售商代碼零售商名稱銷售店代碼零售店名稱財政周序號財政周名稱財政年度序號財政年度名稱產(chǎn)品類代碼產(chǎn)品類名稱商標(biāo)表產(chǎn)品表產(chǎn)品類表產(chǎn)品小類表公司表產(chǎn)品維表地理維表銷售渠道維表零售商表銷售商店表時間維表財政年度表財政周表2020/11/2416關(guān)系型聯(lián)機(jī)分析處理（ROLAP）注：在ROLAP中，多維數(shù)據(jù)立方體并沒有真正存在，通常需要在接受客戶OLAP請求后，ROLAP服務(wù)器需要將SQL語句轉(zhuǎn)化為多維存取語句，并利用連接運算拼合出多維數(shù)據(jù)立方體，因此ROLAP的響應(yīng)時間較長。2020/11/2417關(guān)系型聯(lián)機(jī)分析處理（ROLAP）銷售事物表產(chǎn)品維表時間維表銷售渠道維表地理維表JOIN產(chǎn)品代碼產(chǎn)品維地區(qū)維銷售商代碼財政周序號郵政編碼時間維通過聯(lián)接提取事實2020/11/2418多維聯(lián)機(jī)分析處理（MOLAP）MOLAP

MLOAP是基于多維數(shù)據(jù)庫的OLAP技術(shù)，在多維數(shù)據(jù)存儲的方式,OLAP的服務(wù)設(shè)施包含OLAP服務(wù)軟件和多維數(shù)據(jù)庫，數(shù)據(jù)在邏輯上按數(shù)組存儲，一般可選用超立方體或多立方體方式。在超立方體方式中，大于三位的對象用平面來描述，每一維都把它看成與其他維成直角。

維的屬性值被映射為多維數(shù)組的下標(biāo)值或下標(biāo)的范圍，而總結(jié)數(shù)據(jù)作為多維數(shù)組的值存儲在數(shù)組的單元中。

由于MOLAP采用了新的存儲結(jié)構(gòu)，從物理層實現(xiàn)起，因此又稱為物理OLAP(PhysicalOLAP)。2020/11/2419多維聯(lián)機(jī)分析處理（MOLAP）基于多維數(shù)據(jù)庫(MDDB)的OLAP－MOLAPOLAP服務(wù)器：存儲OLAP服務(wù)軟件和多維數(shù)據(jù)庫MDDB存儲：采用“超立方體”形式MDDB存取：多維操作DBDW多維視圖

基礎(chǔ)數(shù)據(jù)計算結(jié)果多維數(shù)據(jù)庫引擎客戶多維存取2020/11/2420多維聯(lián)機(jī)分析處理（MOLAP）設(shè)計基本步驟：

（1）選擇功能，例如，銷售收入分析和財經(jīng)分析報表。

（2）指明數(shù)字信息，例如存儲類似銷售收入和顧客的度量信息。

（3）確定維（時間，地區(qū)和產(chǎn)品等）以及每一維的粒度，例如，時間是按月和季度，地區(qū)按市、縣或地區(qū)等。

（4）定義邏輯模型并裝載多維數(shù)據(jù)存儲，這可以直接從數(shù)據(jù)源中獲得，也可以過濾并匹配數(shù)據(jù)倉庫所選內(nèi)容。2020/11/2421多維聯(lián)機(jī)分析處理（MOLAP）提供給用戶的主要功能：

（1）對內(nèi)涵查詢的快速響應(yīng)，只有快速響應(yīng)才能保證分析和思考的過程。

（2）與多位數(shù)據(jù)庫進(jìn)行交互，使其支持預(yù)測、預(yù)先計劃、進(jìn)行預(yù)算等應(yīng)用。

（3）發(fā)掘各維元素或信息間豐富的聯(lián)系，以便發(fā)現(xiàn)微妙的關(guān)系。

（4）強(qiáng)大的計算引擎和比較分析，包括分級、比較、按百分比分類、最大值、最小值、平均值、平均轉(zhuǎn)手率、按時期比較等。

（5）交叉維計算，或?qū)陔娮颖砀竦膽?yīng)用按行計算。

（6）綜合統(tǒng)計和財務(wù)功能，如現(xiàn)金轉(zhuǎn)賬、趨勢分析、時間序列分析等。

（7）靈巧計時，日期中的年、當(dāng)前時刻、財務(wù)或內(nèi)部的日歷等。

（8）具有查詢數(shù)據(jù)倉庫底層細(xì)節(jié)數(shù)據(jù)的能力。

（9）沿單維或多維處理的基準(zhǔn)點、表格、細(xì)剖和統(tǒng)覽以及其他強(qiáng)有力的導(dǎo)航功能。2020/11/2422多維聯(lián)機(jī)分析處理（MOLAP）可能會遇到的問題：

（1）所支持的多維數(shù)據(jù)庫的尺寸小于關(guān)系數(shù)據(jù)庫的尺寸。這時可利用稀疏矩陣技術(shù)來節(jié)省空間，其副作用是增加操作、因為，存儲的是概括和聚集信息，所以存儲的需求要比原來的小。

（2）按粒度的級別（概括的、聚集的、預(yù)計算和派生的數(shù)據(jù)）來存儲數(shù)據(jù)會帶來副作用，如細(xì)剖無法達(dá)到細(xì)節(jié)數(shù)據(jù)級。

（3）高層次級別的數(shù)據(jù)具有訪問和安全性控制，但沒有基于使用的權(quán)限和子集級的訪問控制。

（4）維結(jié)構(gòu)的改變需要重組多維數(shù)據(jù)庫，常用的備份和恢復(fù)功能會受限。

（5）因需要特定的前后端，會限制選擇。但在擴(kuò)充多維數(shù)據(jù)庫的前后端后，又會導(dǎo)致它不能移植至另一多維數(shù)據(jù)庫。2020/11/2423多維聯(lián)機(jī)分析處理（MOLAP）MOLAP首先對事實表中的所有外鍵進(jìn)行排序，并將排序后的具體指標(biāo)數(shù)值一一寫進(jìn)虛擬的多維立方體中。當(dāng)然，虛擬的多維立方體只是為了便于理解而構(gòu)想的，MOLAP實際的數(shù)據(jù)存儲放在數(shù)據(jù)文件(DataFile)中，其數(shù)據(jù)放置的順序與虛擬的多維立方體按x,y,z坐標(biāo)展開的順序是一致的(如上圖)。同時，為了數(shù)據(jù)查找的方便，MOLAP需要預(yù)先建立維度的索引，這個索引被放置在MOLAP的概要文件(Outline)中。圖中左邊是ROLAP方式，右邊是MOLAP方式，兩者對應(yīng)的是同一個三維模型。2020/11/2424

概要文件是MOLAP的核心，相當(dāng)于ROLAP的數(shù)據(jù)模型設(shè)計。概要文件包括所有維的定義（包括復(fù)雜的維度結(jié)構(gòu)）以及各個層次的數(shù)據(jù)匯總關(guān)系(例如在時間維，日匯總至月，月匯總至季，季匯總至年)，這些定義往往從關(guān)系型維表中直接引入即可。概要文件也包括分析指標(biāo)的定義，因此可以在概要文件中包含豐富的衍生指標(biāo)，這些衍生指標(biāo)由基礎(chǔ)指標(biāo)計算推導(dǎo)出來。一旦概要文件定義好，MOLAP系統(tǒng)可以自動安排數(shù)據(jù)存儲的方式和進(jìn)行數(shù)據(jù)查詢。從MOLAP的數(shù)據(jù)文件與ROLAP的事實表的對比可以看出，MOLAP的數(shù)據(jù)文件完全不需要紀(jì)錄維度的外鍵，在維度比較多的情況下，這種數(shù)據(jù)存儲方式大量地節(jié)省了空間。多維聯(lián)機(jī)分析處理（MOLAP）2020/11/2425

但是，如果數(shù)據(jù)相當(dāng)稀疏，虛擬的多維立方體中很多數(shù)值為空時，MOLAP的數(shù)據(jù)文件需要對相關(guān)的位置留空，而ROLAP的事實表卻不會存儲這些紀(jì)錄。為了有效地解決這種情況，MOLAP采用了稀疏維和密集維相結(jié)合的處理方式。多維聯(lián)機(jī)分析處理（MOLAP）2020/11/2426多維聯(lián)機(jī)分析處理（MOLAP）在實際應(yīng)用中，不可能所有分析的維度都是密集的，也絕少存在所有分析的維度都是稀疏的，因此稀疏維和密集維并用的模式幾乎主導(dǎo)了所有的MOLAP應(yīng)用。而稀疏維和密集維的定義全部集中在概要文件中，因此，只要預(yù)先定義好概要文件，所有的數(shù)據(jù)分布就自動確定了。在這種模式中，密集維的組合組成了的數(shù)據(jù)塊(DataBlock)，每個數(shù)據(jù)塊是I/O讀寫的基礎(chǔ)單位(如上圖)，所有的數(shù)據(jù)塊組成了數(shù)據(jù)文件。稀疏維的組合組成了索引文件，索引文件的每一個數(shù)據(jù)紀(jì)錄的末尾都帶有一個指針，指向要讀寫的數(shù)據(jù)塊。因此，進(jìn)行數(shù)據(jù)查詢時，系統(tǒng)先搜索索引文件紀(jì)錄，然后直接調(diào)用指針指向的數(shù)據(jù)塊進(jìn)行I/O讀寫(如果該數(shù)據(jù)塊尚未駐留內(nèi)存)，將相應(yīng)數(shù)據(jù)塊調(diào)入內(nèi)存后，根據(jù)密集維的數(shù)據(jù)放置順序直接計算出要查詢的數(shù)據(jù)距離數(shù)據(jù)塊頭的偏移量，直接提取數(shù)據(jù)下傳到客戶端。因此，MOLAP方式基本上是索引搜索與直接尋址的查詢方式相結(jié)合，比起ROLAP的表/索引搜索和表連接方式，速度要快得多。2020/11/2427ROLAP和MOLAP的優(yōu)缺點比較2020/11/2428混合型聯(lián)機(jī)分析處理（HOLAP）HOLAP：

迄今為止，對HOLAP還沒有一個正式的定義。但很明顯，HOLAP結(jié)構(gòu)不應(yīng)該是MOLAP與ROLAP結(jié)構(gòu)的簡單組合，而是這兩種結(jié)構(gòu)技術(shù)優(yōu)點的有機(jī)結(jié)合，能滿足用戶各種復(fù)雜的分析請求。

2020/11/2429混合型聯(lián)機(jī)分析處理（HOLAP）對于常用的維度和維層次，在HOLAP中使用多維數(shù)據(jù)表來記錄。對于不常用的維度和數(shù)據(jù)，采用類似于ROLAP星型結(jié)構(gòu)來存儲。允許將大量詳細(xì)數(shù)據(jù)存放在關(guān)系數(shù)據(jù)庫中，而聚集保持在分離的MOLAP存儲中。HOLAP在主要性能上都介于MOLAP和ROLAP之間，其技術(shù)復(fù)雜度高于MOLAP和ROLAP。HOLAP得益于ROLAP的可伸縮性,和MOLAP的快速計算。（如MSSQLSERVER)在HOLAP的多維數(shù)據(jù)表中的數(shù)據(jù)維度少于MOLAP中的維度表，數(shù)據(jù)存儲容量也少于MOLAP方式。HOLAP在數(shù)據(jù)存取速度上又低于MOLAP。2020/11/2430OLAP實例分析2020/11/2431混合型聯(lián)機(jī)分析處理（HOLAP）2020/11/2432混合型聯(lián)機(jī)分析處理（HOLAP）2020/11/2433混合型聯(lián)機(jī)分析處理（HOLAP）2020/11/2434混合型聯(lián)機(jī)分析處理（HOLAP）2020/11/2435混合型聯(lián)機(jī)分析處理（HOLAP）2020/11/2436混合型聯(lián)機(jī)分析處理（HOLAP）2020/11/2437混合型聯(lián)機(jī)分析處理（HOLAP）2020/11/2438混合型聯(lián)機(jī)分析處理（HOLAP）2020/11/2439混合型聯(lián)機(jī)分析處理（HOLAP）2020/11/2440混合型聯(lián)機(jī)分析處理（HOLAP）2020/