數(shù)據(jù)立方體與OLAP

數(shù)據(jù)立方體與OLAP2010年8月29日由joegh留言》前面的一篇文章——數(shù)據(jù)倉(cāng)庫(kù)的多維數(shù)據(jù)模型中已經(jīng)簡(jiǎn)單介紹過(guò)多維模型的定義和結(jié)構(gòu)，以及事實(shí)表(FactTable)和維表(DimensionTable)的概念。多維數(shù)據(jù)模型作為一種新的邏輯模型賦予了數(shù)據(jù)新的組織和存儲(chǔ)形式，而真正體現(xiàn)其在分析上的優(yōu)勢(shì)還需要基于模型的有效的操作和處理，也就是OLAP(On-lineAnalyticalProcessing ，聯(lián)機(jī)分析處理)。數(shù)據(jù)立方體關(guān)于數(shù)據(jù)立方體(DataCube)，這里必須注意的是數(shù)據(jù)立方體只是多維模型的一個(gè)形象的說(shuō)法。立方體其本身只有三維，但多維模型不僅限于三維模型，可以組合更多的維度，但一方面是出于更方便地解釋和描述，同時(shí)也是給思維成像和想象的空間；另一方面是為了與傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的二維表區(qū)別開來(lái)，于是就有了數(shù)據(jù)立方體的叫法。所以本文中也是引用立方體，也就是把多維模型以三維的方式為代表進(jìn)行展現(xiàn)和描述，其實(shí)上Google圖片搜索“OLAP”會(huì)有一大堆的數(shù)據(jù)立方體圖片，這里我自己畫了一個(gè)：OLAPOLAP(On-lineAnalyticalProcessing，聯(lián)機(jī)分析處理)是在基于數(shù)據(jù)倉(cāng)庫(kù)多維模型的基礎(chǔ)上實(shí)現(xiàn)的面向分析的各類操作的集合。 可以比較下其與傳統(tǒng)的OLTP(On-lineTransactionProcessing ，聯(lián)機(jī)事務(wù)處理)的區(qū)別來(lái)看一下它的特點(diǎn)：OLAP與OLTP數(shù)據(jù)處理類型OLTPOLAP面向?qū)ο髽I(yè)務(wù)開發(fā)人員分析決策人員功能實(shí)現(xiàn)日常事務(wù)處理面向分析決策 ，數(shù)據(jù)模型關(guān)系模型多維模型數(shù)據(jù)量幾條或幾十條記錄百萬(wàn)千萬(wàn)條記錄 ―操作類型查詢、插入、更新、刪除查詢?yōu)橹鱋LAP的類型首先要聲明的是這里介紹的有關(guān)多維數(shù)據(jù)模型和 OLAP的內(nèi)容基本都是基于ROLAP，因?yàn)槠渌麕追N類型極少接觸，而且相關(guān)的資料也不多。MOLAP(Multidimensional)即基于多維數(shù)組的存儲(chǔ)模型，也是最原始的 OLAP，但需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理才能形成多維結(jié)構(gòu)。ROLAP(Relational)比較常見的OLAP類型，這里介紹和討論的也基本都是 ROLAP類型，可以從多維數(shù)據(jù)模型的那篇文章的圖中看到，其實(shí) ROLAP是完全基于關(guān)系模型進(jìn)行存放的，只是它根據(jù)分析的需要對(duì)模型的結(jié)構(gòu)和組織形式進(jìn)行的優(yōu)化，更利于OLAP。HOLAP(Hybrid)介于MOLAP和ROLAP的類型，我的理解是細(xì)節(jié)的數(shù)據(jù)以ROLAP的形式存放，更加方便靈活，而高度聚合的數(shù)據(jù)以MOLAP的形式展現(xiàn)，更適合于高效的分析處理。另外還有WOLAP(Web-basedOLAP)、DOLAP(DesktopOLAP)、RTOLAP(Real-TimeOLAP)，具體可以參開維基百科上的解釋——OLAPOLAP的基本操作我們已經(jīng)知道OLAP的操作是以查詢一一也就是數(shù)據(jù)庫(kù)的SELECT操作為主，但是查詢可以很復(fù)雜，比如基于關(guān)系數(shù)據(jù)庫(kù)的查詢可以多表關(guān)聯(lián)，

可以使用COUNT、SUM、AVG等聚合函數(shù)。OLAP正是基于多維模型定義了一些常見的面向分析的操作類型是這些操作顯得更加直觀。OLAP的多維分析操作包括：鉆?。―rill-down）、上卷（Roll-up）切片（Slice）、切塊（Dice）以及旋轉(zhuǎn)（Pivot），下面還是以上面的數(shù)據(jù)立方體為例來(lái)逐一解釋下：鉆取(Drill-down) 上卷(Roll-up)鉆?。―rill-down）:在維的不同層次間的變化，從上層降到下一層，或者說(shuō)是將匯總數(shù)據(jù)拆分到更細(xì)節(jié)的數(shù)據(jù)，比如通過(guò)對(duì) 2010年第二季度的總銷售數(shù)據(jù)進(jìn)行鉆取來(lái)查看 2010年第二季度4、5、6每個(gè)月的消費(fèi)數(shù)據(jù)，如上圖；當(dāng)然也可以鉆取浙江省來(lái)查看杭州市、寧波市、溫州市……這些城市的銷售數(shù)據(jù)。上卷（Roll-up）:鉆取的逆操作，即從細(xì)粒度數(shù)據(jù)向高層的聚合，如將江蘇省、上海市和浙江省的銷售數(shù)據(jù)進(jìn)行匯總來(lái)查看江浙滬地區(qū)的銷售數(shù)據(jù)，如上圖。切片（Slice）:選擇維中特定的值進(jìn)行分析，比如只選擇電子產(chǎn)品的銷售數(shù)據(jù)，或者2010年第二季度的數(shù)據(jù)。切塊（Dice）:選擇維中特定區(qū)間的數(shù)據(jù)或者某批特定值進(jìn)行分析，比如選擇2010年第一季度到2010年第二季度的銷售數(shù)據(jù)，或者是電子產(chǎn)品和日用品的銷售數(shù)據(jù)。旋轉(zhuǎn)（Pivot）:即維的位置的互換，就像是二維表的行列轉(zhuǎn)換，如圖中通過(guò)旋轉(zhuǎn)實(shí)現(xiàn)產(chǎn)品維和地域維的互換。OLAP的優(yōu)勢(shì)首先必須說(shuō)的是，OLAP的優(yōu)勢(shì)是基于數(shù)據(jù)倉(cāng)庫(kù)面向主題、集成的、保留歷史及不可變更的數(shù)據(jù)存儲(chǔ)，以及多維模型多視角多層次的數(shù)據(jù)組織形式，如果脫離的這兩點(diǎn)，OLAP將不復(fù)存在，也就沒(méi)有優(yōu)勢(shì)可言。數(shù)據(jù)展現(xiàn)方式基于多維模型的數(shù)據(jù)組織讓數(shù)據(jù)的展示更加直觀， 它就像是我們平?？创鞣N事物的方式，可以從多個(gè)角度多個(gè)層面去發(fā)現(xiàn)事物的不同特性，而OLAP正是將這種尋常的思維模型應(yīng)用到了數(shù)據(jù)分析上。查詢效率多維模型的建立是基于對(duì)OLAP操作的優(yōu)化基礎(chǔ)上的，比如基于各個(gè)維的索引、對(duì)于一些常用查詢所建的視圖等，這些優(yōu)化使得對(duì)百萬(wàn)千萬(wàn)甚至上億數(shù)量級(jí)的運(yùn)算變得得心應(yīng)手。分析的靈活性我們知道多維數(shù)據(jù)模型可以從不同的角度和層面來(lái)觀察數(shù)據(jù)， 同時(shí)可以用上面介紹的各類OLAP操作對(duì)數(shù)據(jù)進(jìn)