聯(lián)機(jī)分析處理OLAP技術(shù)不講課件

1、第13章聯(lián)機(jī)分析處理(OLAP)技術(shù) 13.1 什么是什么是OLAP13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.3 OLAP的實(shí)現(xiàn)的實(shí)現(xiàn)13.4 小結(jié)小結(jié) 13.1 什么是什么是OLAPOLAP（On_Line Analytical Processing）即聯(lián)機(jī)分析處理，是以海量數(shù)據(jù)為基礎(chǔ)的復(fù)雜分析技術(shù)。 OLAP概念是由 E.F.Codd于1993年提出的。 OLAP軟件提供的是多維分析和輔助決策功能。對(duì)于深層次的分析和發(fā)現(xiàn)數(shù)據(jù)中隱含的規(guī)律和知識(shí)，則需要數(shù)據(jù)挖掘（Data Mining）技術(shù)和相應(yīng)的數(shù)據(jù)挖掘軟件來完成。13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型變量（變量（Measure）變量也稱度量，是

2、數(shù)據(jù)的實(shí)際意義，即描述數(shù)據(jù)“是什么”。例如：數(shù)據(jù)“10000”本身并沒有意義或者說意義未定，它可能是一個(gè)學(xué)校的學(xué)生人數(shù)，也可能是某產(chǎn)品的單價(jià)，還可能是某商品的銷售量等。一般情況下，變量是一個(gè)數(shù)值的度量指標(biāo)，例如：“人數(shù)”、“單價(jià)”、“銷售量”等都是變量或稱為度量，而“10000萬元”則是變量的一個(gè)值，銷售量10000萬元常稱為度量值。13.2.1 基本概念基本概念13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.1 基本概念基本概念維（維（Dimension）維是人們觀察數(shù)據(jù)的特定角度。例如，企業(yè)常常關(guān)心產(chǎn)品銷售量隨時(shí)間的變化情況, 這時(shí)他是從時(shí)間的角度來觀察產(chǎn)品的銷售, 所以時(shí)間就是一個(gè)維（時(shí)間維

3、）。企業(yè)也時(shí)常關(guān)心自己的產(chǎn)品在不同的地區(qū)的銷售分布情況，這時(shí)他是從地區(qū)分布的角度來觀察產(chǎn)品的銷售，所以地區(qū)也是一個(gè)維（地區(qū)維）。 “維”是OLAP中十分重要的概念。13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.1 基本概念基本概念維的層次（維的層次（Hierarchy）人們觀察數(shù)據(jù)的某個(gè)特定角度（即某個(gè)維）還可能存在細(xì)節(jié)程度不同的多個(gè)描述方面，我們稱這多個(gè)描述方面為維的層次。例如：描述時(shí)間維時(shí)，可以從年、季、月、日等不同層次來描述，那么年、季、月、日等就是時(shí)間維的一種層次；同樣，縣、市、省、大區(qū)、國(guó)家等構(gòu)成了地區(qū)維的一種層次。13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.1 基本概念基本概念維成員

4、維成員(Member)維的一個(gè)取值稱為該維的一個(gè)維成員，也稱作維值。如果一個(gè)維的某種層次具有多個(gè)層，那么該維的維成員是不同維層的取值的組合。假設(shè)時(shí)間維的層次是年、月、日這三個(gè)層，分別在年、月、日上各取一個(gè)值組合起來，就得到了時(shí)間維的一個(gè)維成員，即“某日某月某年”。一個(gè)維成員并不一定在每個(gè)維層上都要取值，例如，“某年某月”、“ 某月某日”、“某年”等都是時(shí)間維的維成員。 13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.1 基本概念基本概念多維立方體多維立方體(Cube)多維數(shù)據(jù)模型的數(shù)據(jù)結(jié)構(gòu)可以用這樣來一個(gè)多維數(shù)組來表示：(維1，維2，,維n，度量值)，例如：圖13.1所示的電器商品銷售數(shù)據(jù)是按時(shí)間

5、、地區(qū)、商品，加上變量“銷售額”組成的一個(gè)三維數(shù)組：(地區(qū)，時(shí)間，商品，銷售額)。三維數(shù)組可以用一個(gè)立方體來直觀的表示。一般地多維數(shù)組用多維立方體CUBE來表示。多維立方體CUBE也稱為超立方體。13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.1 基本概念基本概念圖圖13.1按商品、時(shí)間和地區(qū)組織的電器商品銷售數(shù)據(jù)按商品、時(shí)間和地區(qū)組織的電器商品銷售數(shù)據(jù)銷 售 額 （ 萬元）時(shí)間地區(qū)商品電視機(jī)洗衣機(jī)電冰箱北京1 2 3 413.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.1 基本概念基本概念數(shù)據(jù)單元（數(shù)據(jù)單元（Cell）多維立方體多維立方體CUBE的取值稱為數(shù)據(jù)單元。當(dāng)多的取值稱為數(shù)據(jù)單元。當(dāng)多維立方體

6、的各個(gè)維都選中一個(gè)維成員，這些維成維立方體的各個(gè)維都選中一個(gè)維成員，這些維成員的組合就唯一確定了一個(gè)變量的值。員的組合就唯一確定了一個(gè)變量的值。對(duì)于三維以上的超立方體，很難用可視化的對(duì)于三維以上的超立方體，很難用可視化的方式直觀地表示出來。為此人們用較形象的星型方式直觀地表示出來。為此人們用較形象的星型模式模式”(Star Schema)和和“雪片模式雪片模式”(Snow Flake Schema)來描述多維數(shù)據(jù)模型。來描述多維數(shù)據(jù)模型。 13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.1 基本概念基本概念星型模式通常由一個(gè)中心表（事實(shí)表）和一組維表組成。 銷售事實(shí)表銷售員維顧客維時(shí)間維產(chǎn)品維制造

7、商維圖13.2星型模式 13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.1 基本概念基本概念星型模式的事實(shí)表與所有的維表相連，而每一個(gè)維表只與事實(shí)表相連。維表與事實(shí)表的連接是通過碼來體現(xiàn)的，如圖13.3所示。 顧客代碼顧客維表制造商維表銷售事務(wù)表銷售員維制造商代 碼日期顧客代碼制造商代碼銷售員代碼產(chǎn)品代碼銷售額銷售員代 碼產(chǎn)品維表產(chǎn)品代碼圖13.3 星型模式示例13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.1 基本概念基本概念雪片模式就是對(duì)維表按層次進(jìn)一步細(xì)化后形成的。如圖13.4，在 “星型” 維表的角上又出現(xiàn)了分支，這樣變形的星型模式被稱為“雪片模式”(Snow Flake Schema)。13

8、.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.1 基本概念基本概念銷售事實(shí)表銷售員維顧客維時(shí)間維產(chǎn)品維制造商維日月周位置顧客地區(qū)工廠類型產(chǎn)品類型地區(qū)銷售員圖13.4 雪片模式 13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.2 多維分析的基本操作多維分析的基本操作切片（切片（Slice)在超立方體cube的某一維上選定一個(gè)維成員的操作稱為切片。一次切片使原來的Cube維數(shù)減一，即結(jié)果為一個(gè)維數(shù)減一的subcube，如圖13.5所示。切塊（切塊（Dice）：）：在超立方體Cube上選定兩個(gè)或更多個(gè)維成員的操作稱為切塊。 13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.2 多維分析的基本操作多維分析的基本操作

9、數(shù)據(jù)切片數(shù)據(jù)切片選定時(shí)間維的維成員1997年4月 1997年4月 產(chǎn) 品 銷 售情況地區(qū)時(shí)間商品商品地區(qū) 產(chǎn)品 銷售情況圖13.5(a) 切片 13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.2 多維分析的基本操作多維分析的基本操作圖13.5(b) 切片 銷售額 北京 上海天津重慶冰箱500600100150洗衣機(jī)300200150200電視機(jī)60055020018013.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.2 多維分析的基本操作多維分析的基本操作旋轉(zhuǎn)（旋轉(zhuǎn)（Pivot）：）：改變一個(gè)超立方體Cube的維方向的操作稱為旋轉(zhuǎn)。旋轉(zhuǎn)用于改變對(duì)Cube的視角，即用戶可以從不同的角度來觀察Cube。如圖

10、13.6(a)，是把一個(gè)橫向?yàn)闀r(shí)間，縱向?yàn)楫a(chǎn)品的二維表旋轉(zhuǎn)為橫向?yàn)楫a(chǎn)品和縱向?yàn)闀r(shí)間的二維視圖。假如對(duì)圖13.1的Cube把商品維、時(shí)間維、地區(qū)維執(zhí)行旋轉(zhuǎn)操作就得到對(duì)13.6(b)。 13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.2 多維分析的基本操作多維分析的基本操作時(shí)間維產(chǎn)品維產(chǎn)品維時(shí)間維 行列交換行列交換圖13.6 旋轉(zhuǎn)操作示例(a) 13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型時(shí)間維地區(qū)維時(shí)間維地區(qū)維旋轉(zhuǎn)以改變視角 電器商品種類 電器商品種類 電器商品種類 圖13.6 旋轉(zhuǎn)操作示例(b) 13.2.2 多維分析的基本操作多維分析的基本操作13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.2 多維分析的基本

11、操作多維分析的基本操作向上綜合（向上綜合（Roll-up）：）：Roll-up也稱為上鉆操作。提供Cube上的聚集操作。包括兩種形式，一種是在某個(gè)維的某一層次上由低到高的聚集操作，例如在時(shí)間維上由日聚集到月，由月聚集到年；另一種是通過減少維的個(gè)數(shù)進(jìn)行聚集操作，例如兩維Cube中包含有時(shí)間維和地區(qū)維，如果我們把地區(qū)維去掉，則得到一個(gè)按時(shí)間維對(duì)所有地區(qū)進(jìn)行聚集操作。13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.2 多維分析的基本操作多維分析的基本操作向下鉆取（向下鉆?。―rill-down）：）：Drill-down 也稱為下鉆操作。Drill-down是Roll-up的逆操作。它同樣包括兩種形式，

12、在某個(gè)維的某一層次上由高到低的鉆取操作，找到更詳細(xì)的數(shù)據(jù)?；蛘咄ㄟ^增加新的維來獲取更加細(xì)節(jié)的數(shù)據(jù)。 13.2 多維數(shù)據(jù)模型多維數(shù)據(jù)模型13.2.2 多維分析的基本操作多維分析的基本操作銷售額(萬元)1996 第1季度第2季度第3季度第4季度北京78453456上海90678791Roll UpDrill Down銷售額(萬元)1996 1月2月3月北京302622上海283032圖13.7 Drill-down和Roll-up操作 13.3 OLAP的實(shí)現(xiàn)的實(shí)現(xiàn)MOLAP結(jié)構(gòu)直接以多維立方體CUBE來組織數(shù)據(jù)，以多維數(shù)組來存儲(chǔ)數(shù)據(jù)，支持直接對(duì)多維數(shù)據(jù)的各種操作。人們也常常稱這種按照多維立方體來

13、組織和存儲(chǔ)的數(shù)據(jù)結(jié)構(gòu)為多維數(shù)據(jù)庫(kù)( Multi-Dimension DataBase，簡(jiǎn)記為MDDB)。Arbor公司的Essbase是一個(gè)MOLAP服務(wù)器。MOLAP結(jié)構(gòu)的系統(tǒng)環(huán)境如圖13.8所示。13.3.1 MOLAP結(jié)構(gòu)結(jié)構(gòu)13.3 OLAP的實(shí)現(xiàn)的實(shí)現(xiàn)13.3.1 MOLAP結(jié)構(gòu)結(jié)構(gòu)MOLAP服務(wù)器多維存取用戶DB多維視圖DW多維數(shù)據(jù)庫(kù)圖13.8 MOLAP結(jié)構(gòu)的系統(tǒng)環(huán)境 13.3 OLAP的實(shí)現(xiàn)的實(shí)現(xiàn)MOLAP如何以多維立方體Cube來組織數(shù)據(jù)的呢？前面我們已經(jīng)講解了多維立方體Cube的數(shù)據(jù)單元可以表示為：（維1維成員，維2維成員 ， ，維n維成員，度量值）。多維數(shù)組只存儲(chǔ)Cube

14、的度量值，維值由數(shù)組的下標(biāo)隱式給出。關(guān)系表則維值和度量值都存儲(chǔ)。 13.3.1 MOLAP結(jié)構(gòu)結(jié)構(gòu)13.3 OLAP的實(shí)現(xiàn)的實(shí)現(xiàn)首先，和關(guān)系表相比，多維數(shù)據(jù)庫(kù)組只存儲(chǔ)Cube的度量值。例如圖13.1中只存儲(chǔ)銷售量的值（在表的之間），不存儲(chǔ)地區(qū)維和商品維的維成員值。多維數(shù)組的存儲(chǔ)效率高；其次，多維數(shù)組可以通過數(shù)組的下標(biāo)直接尋址，和關(guān)系表（通過表中列的內(nèi)容尋址，常常需要索引或全表掃描）相比，它的訪問速度快。更重要的是，多維數(shù)組有著高速的綜合速度，因此可以較好地支持向上綜合、向下鉆取等多維分析操作。13.3.1 MOLAP結(jié)構(gòu)結(jié)構(gòu)13.3 OLAP的實(shí)現(xiàn)的實(shí)現(xiàn)多維數(shù)組存儲(chǔ)方式存在如下不足：1. 多維

15、數(shù)組的物理存放方式通常是按照某個(gè)預(yù)定的維序線性存放的，不同維的訪問效率差別很大。以圖13-9（b）二維數(shù)組為例，如果按行存放的話，則訪問某電器產(chǎn)品的銷售額時(shí)，效率很高，因?yàn)橐淮蜪/O讀取的頁面包含了多個(gè)行值；但訪問某地區(qū)的銷售額時(shí)，效率就會(huì)降低。13.3.1 MOLAP結(jié)構(gòu)結(jié)構(gòu)13.3 OLAP的實(shí)現(xiàn)的實(shí)現(xiàn)2. 在數(shù)據(jù)稀疏的情況下，即Cube的許多數(shù)據(jù)單元（維1維成員，維2維成員 ，,維n維成員，度量值）上無度量值，多維數(shù)組由于大量無效值的存在，存儲(chǔ)效率會(huì)下降。 13.3.1 MOLAP結(jié)構(gòu)結(jié)構(gòu)13.3 OLAP的實(shí)現(xiàn)的實(shí)現(xiàn)13.3.2 ROLAP結(jié)構(gòu)結(jié)構(gòu)ROLAP將多維立方體結(jié)構(gòu)劃分為兩類表

16、，一類是事實(shí)(Fact)表，另一類是維表。事實(shí)表用來描述和存儲(chǔ)多維立方體的度量值及各個(gè)維的碼值；維表用來描述維信息，包括維的層次及成員類別等。ROLAP用關(guān)系數(shù)據(jù)庫(kù)的二維表來表示事實(shí)表和維表。也就是說ROLAP用“星型模式”和“雪片模式”來表示多維數(shù)據(jù)模型。 13.3 OLAP的實(shí)現(xiàn)的實(shí)現(xiàn)13.3.2 ROLAP結(jié)構(gòu)結(jié)構(gòu)同MOLAP相比，關(guān)系數(shù)據(jù)庫(kù)表達(dá)多維立方體不大自然，由于關(guān)系數(shù)據(jù)庫(kù)的技術(shù)較為成熟，ROLAP在數(shù)據(jù)的存儲(chǔ)容量、適應(yīng)性上占有優(yōu)勢(shì)。當(dāng)維數(shù)增加、減少時(shí)只需增加、刪除相應(yīng)的關(guān)系，修改事實(shí)表的模式，較容易適應(yīng)多維立方體的變化。因此，ROLAP的可擴(kuò)展性好。13.3 OLAP的實(shí)現(xiàn)的實(shí)現(xiàn)13.3.2 ROLAP結(jié)構(gòu)結(jié)構(gòu)但其數(shù)據(jù)存取較MOLAP復(fù)雜。首先，用戶的分析請(qǐng)求（通常用MDX語言來表達(dá)），這就需要由ROLAP服務(wù)器把