數(shù)據(jù)倉庫與數(shù)據(jù)挖掘基礎(chǔ)第2章OLAP(趙志升)2015修改

1、河北北方(bifng)學院：趙志升 數(shù)據(jù)(shj)倉庫與數(shù)據(jù)挖掘Data Warehouse and Data Mining共八十三頁41 OLAP概念、特點與分類(fn li)42 OLAP的基本操作43 OLAP的數(shù)據(jù)模型44 基于多維數(shù)據(jù)庫的OLAP(MOLAP)45 基于關(guān)系數(shù)據(jù)庫的OLAP(ROLAP)46 OLAP實現(xiàn)47 OLAP的衡量和特性第4章 聯(lián)機(lin j)分析處理共八十三頁4.1 OLAP的定義(dngy)、特點OLAP（On-Line Analysis Processing）定義 是數(shù)據(jù)倉庫上的分析展示工具，它建立在數(shù)據(jù)多維視圖的基礎(chǔ)上。聯(lián)機分析處理。 OLAP的主

2、要特點 一是在線性(On Line)，體現(xiàn)(txin)為對用戶請求的快速響應和交互式操作； 二是多維分析(Multi_Analysis)，這是OLAP技術(shù)的核心所在。 共八十三頁4.1 OLAP的定義(dngy)和特點 Codd提出了多維數(shù)據(jù)庫和多維分析的概念，即OLAP。OLAP委員會對聯(lián)機分析處理的定義為：使分析人員、管理人員或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實反映企業(yè)維特性的信息進行快速、一致、交互地存取，從而獲得對數(shù)據(jù)的更深入了解(lioji)的一類軟件技術(shù)。OLAP的目標是滿足決策支持或多維環(huán)境特定的查詢和報表需求，它的技術(shù)核心是“維”這個

3、概念，因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。 共八十三頁4.1 OLAP的定義(dngy)和特點 整個數(shù)據(jù)（倉）庫系統(tǒng)的工具層大致可以分為三類，或者說三個發(fā)展階段：（1）以MIS為代表的查詢、報表類工具（2）以O(shè)LAP為代表的驗證型工具（3）以及(yj)以DM為代表的挖掘型工具 共八十三頁4.1 OLAP的分類(fn li) OLAP系統(tǒng)按照其存儲器的數(shù)據(jù)(shj)存儲格式可以分為關(guān)系OLAP（RelationalOLAP，簡稱ROLAP）、多維OLAP（MultidimensionalOLAP，簡稱MOLAP）和混合型OLAP（HybridOLAP，簡稱HOLAP）三種類型。 1.R

4、OLAP ROLAP將分析用的多維數(shù)據(jù)存儲在關(guān)系數(shù)據(jù)庫中并根據(jù)應用的需要有選擇的定義一批實視圖作為表也存儲在關(guān)系數(shù)據(jù)庫中。不必要將每一個SQL查詢都作為實視圖保存，只定義那些應用頻率比較高、計算工作量比較大的查詢作為實視圖。對每個針對OLAP服務(wù)器的查詢，優(yōu)先利用已經(jīng)計算好的實視圖來生成查詢結(jié)果以提高查詢效率。同時用作ROLAP存儲器的RDBMS也針對OLAP作相應的優(yōu)化，比如并行存儲、并行查詢、并行數(shù)據(jù)管理、基于成本的查詢優(yōu)化、位圖索引、SQL的OLAP擴展(cube,rollup)等等。 共八十三頁4.1 OLAP的分類(fn li) 1.ROLAP 存儲模式使得分區(qū)的聚合存儲在關(guān)系數(shù)據(jù)庫

5、的表（在分區(qū)數(shù)據(jù)源中指定）中。但是，可為分區(qū)數(shù)據(jù)使用(shyng)ROLAP存儲模式，而不在關(guān)系數(shù)據(jù)庫中創(chuàng)建聚合。 同樣，如果分區(qū)源數(shù)據(jù)存儲在SQL Server 2000中，而且滿足特定條件，則將創(chuàng)建索引視圖而不創(chuàng)建表。 與MOLAP存儲模式不同，ROLAP不會使源數(shù)據(jù)的復本存儲起來；當結(jié)果無法從聚合或客戶端高速緩存派生時，將訪問分區(qū)的事實數(shù)據(jù)表以回答查詢。在ROLAP存儲模式下，查詢響應一般較其它兩種存儲模式下要慢。ROLAP通常用于不經(jīng)常查詢的大數(shù)據(jù)集，如年份較早的歷史數(shù)據(jù)。 共八十三頁4.1 OLAP的分類(fn li)2.MOLAP MOLAP將OLAP分析所用到的多維數(shù)據(jù)(shj)

6、物理上存儲為多維數(shù)組的形式，形成“立方體”的結(jié)構(gòu)。 維的屬性值被映射成多維數(shù)組的下標值或下標的范圍，而總結(jié)數(shù)據(jù)作為多維數(shù)組的值存儲在數(shù)組的單元中。 由于MOLAP采用了新的存儲結(jié)構(gòu)，從物理層實現(xiàn)起，因此又稱為物理OLAP（PhysicalOLAP）； 而ROLAP主要通過一些軟件工具或中間軟件實現(xiàn)，物理層仍采用關(guān)系數(shù)據(jù)庫的存儲結(jié)構(gòu)，因此稱為虛擬OLAP（VirtualOLAP）。共八十三頁4.1 OLAP的分類(fn li)2.MOLAP MOLAP存儲模式使得分區(qū)的聚合和其源數(shù)據(jù)的復本以多維結(jié)構(gòu)存儲在分析服務(wù)器計算機上。根據(jù)分區(qū)定義為是本地分區(qū)還是遠程分區(qū)，該計算機可以是定義分區(qū)的分析服務(wù)器

7、計算機，或別的分析服務(wù)器計算機。用于存儲分區(qū)數(shù)據(jù)的多維結(jié)構(gòu)位于分析服務(wù)器Data文件夾的子文件夾中。 由于分析服務(wù)器計算機上駐留有源數(shù)據(jù)的一個復本，所以即使查詢結(jié)果無法從分區(qū)的聚合中獲得，也可以不用訪問分區(qū)的源數(shù)據(jù)而解決查詢。根據(jù)分區(qū)聚合的百分比和設(shè)計，MOLAP 存儲模式為達到最快查詢響應時間提供了潛在(qinzi)可能性?？偠灾琈OLAP更加適合于頻繁使用的多維數(shù)據(jù)集中的分區(qū)和對快速查詢響應的需要。共八十三頁4.1 OLAP的分類(fn li)共八十三頁4.1 OLAP的分類(fn li)3.HOLAP 由于MOLAP和ROLAP有著各自的優(yōu)點和缺點（如下表所示）,且它們的結(jié)構(gòu)迥然不同

8、，這給分析人員設(shè)計OLAP結(jié)構(gòu)提出了難題。為此一個新的OLAP結(jié)構(gòu)混合型OLAP（HOLAP）被提出，它能把MOLAP和ROLAP兩種結(jié)構(gòu)的優(yōu)點結(jié)合起來。迄今為止，對HOLAP還沒有一個正式的定義(dngy)。但很明顯，HOLAP結(jié)構(gòu)不應該是MOLAP與ROLAP結(jié)構(gòu)的簡單組合，而是這兩種結(jié)構(gòu)技術(shù)優(yōu)點的有機結(jié)合，能滿足用戶各種復雜的分析請求。共八十三頁4.1 OLAP的分類(fn li)HOLAP 存儲(cn ch)模式結(jié)合了MOLAP和ROLAP二者的特性。同MOLAP一樣，HOLAP使得分區(qū)的聚合按多維結(jié)構(gòu)存儲(cn ch)在分析服務(wù)器計算機上。HOLAP不會使源數(shù)據(jù)的復本存儲起來。對于只

9、訪問包含于分區(qū)聚合中的匯總數(shù)據(jù)的查詢，HOLAP與MOLAP特性相同。訪問源數(shù)據(jù)的查詢（例如深化至原子多維數(shù)據(jù)集單元，而該單元沒有對應的聚合數(shù)據(jù)）必須從關(guān)系數(shù)據(jù)庫中檢索數(shù)據(jù)，并且將不如源數(shù)據(jù)存儲在MOLAP結(jié)構(gòu)中那樣快速。 按HOLAP存儲的分區(qū)小于同一個按MOLAP存儲的分區(qū)，而比ROLAP分區(qū)響應涉及匯總數(shù)據(jù)的查詢要快。一般情況下，HOLAP存儲模式適用于要求對基于大量源數(shù)據(jù)的匯總能夠?qū)崿F(xiàn)快速查詢響應的多維數(shù)據(jù)集中的分區(qū)。共八十三頁4.1 OLAP與OLTP的區(qū)別(qbi) （1）OLTP主要面向公司職員;OLAP則主要面向公司領(lǐng)導者。 （2）OLTP應用主要是用來完成客戶的事務(wù)處理，其數(shù)

10、據(jù)基礎(chǔ)是操作型數(shù)據(jù)庫，如民航訂票系統(tǒng)、銀行儲蓄系統(tǒng)等等，通常需要進行大量的更新操作，同時對響應時間要求較高; 而OLAP是以數(shù)據(jù)倉庫或數(shù)據(jù)多維視圖為基礎(chǔ)的數(shù)據(jù)分析處理，是針對特定問題的聯(lián)機數(shù)據(jù)訪問和分析，它一般不對倉庫數(shù)據(jù)作修改處理，而只是查詢，其應用主要是對客戶當前及歷史數(shù)據(jù)進行分析，輔助領(lǐng)導決策，其典型的應用有對銀行信用卡風險(fngxin)的分析與預測、公司市場營銷策略的制定等，主要是進行大量的查詢操作，對時間的要求不太嚴格。共八十三頁OLAP與OLTP的不同(b tn)共八十三頁OLAP與數(shù)據(jù)挖掘的比較(bjio) 相同之處 OLAP與DM都是數(shù)據(jù)庫(數(shù)據(jù)倉庫)上的分析工具； 不同之處

11、 （1）在實際應用中各有側(cè)重。前者是驗證型的,后者是挖掘型的； （2）前者建立在多維視圖的基礎(chǔ)之上，強調(diào)執(zhí)行效率和對用戶請求(qngqi)命令的及時響應，而且其直接數(shù)據(jù)源一般是數(shù)據(jù)倉庫；后者建立在各種數(shù)據(jù)源的基礎(chǔ)上,重在發(fā)現(xiàn)隱藏在數(shù)據(jù)深層次的對人們有用的模式,一般并不過多考慮執(zhí)行效率和響應速度。 共八十三頁OLAP與數(shù)據(jù)挖掘的比較(bjio) （3）數(shù)據(jù)挖掘與OLAP不同，主要體現(xiàn)在它分析數(shù)據(jù)的深入和分析過程的自動化，自動化的含義是其分析過程不需要客戶的參與，這是它的優(yōu)點，也正是其不足。因為在實際中，客戶也希望參與到挖掘中來，例如只想對數(shù)據(jù)的某一子集進行挖掘，對不同抽取(chu q)、集成水平

12、的數(shù)據(jù)進行挖掘，或是根據(jù)自己的需要動態(tài)選擇挖掘算法等等。 因此，OLAP與數(shù)據(jù)挖掘各有所長。共八十三頁OLAP與DM都是數(shù)據(jù)庫（數(shù)據(jù)倉庫）的分析工具，在實際應用中各有側(cè)重： OLAP的在線性體現(xiàn)在與用戶的交互和快速響應上，多維性則體現(xiàn)在它建立在多維視圖的基礎(chǔ)上。用戶積極參與分析過程，動態(tài)地提出分析要求，選擇分析算法，對數(shù)據(jù)進行由淺及深的分析。 DM與OLAP不同，主要體現(xiàn)在它分析數(shù)據(jù)的深入和分析過程的自動化。其中，自動化是指其分析過程不需要用戶的參與。這是它的優(yōu)點，也正是它的不足。因為在實際中，用戶也希望參與到挖掘中來，如只想對數(shù)據(jù)的某一子集(z j)進行挖掘，以及對不同抽取、集成水平的數(shù)據(jù)進

13、行挖掘，還有想根據(jù)自己的需要動態(tài)選擇挖掘算法等等。 由此可見，OLAP與DM各有所長，如果能將二者結(jié)合起來，發(fā)展一種建立在olap和數(shù)據(jù)倉庫基礎(chǔ)上的新的挖掘技術(shù)，將更能適應實際的需要。而OLAM（on-line analytical mining或olap mining），正是這種結(jié)合的產(chǎn)物。共八十三頁OLAP與數(shù)據(jù)挖掘的結(jié)合(jih)OLAM 將OLAP與數(shù)據(jù)挖掘結(jié)合起來，發(fā)展出一種為數(shù)據(jù)挖掘服務(wù)的具有新型OLAP的數(shù)據(jù)倉庫，將更能適應實際的需要。 OLAM（On Line Analytical Mining，聯(lián)機分析(fnx)挖掘）正是這種結(jié)合的產(chǎn)物。 聯(lián)機分析挖掘，又稱為OLAP Min

14、ing。它是聯(lián)機分析處理技術(shù)與數(shù)據(jù)挖掘技術(shù)在數(shù)據(jù)庫或數(shù)據(jù)倉庫應用中的結(jié)合，是聯(lián)機分析處理技術(shù)的新發(fā)展，也是近年來數(shù)據(jù)庫領(lǐng)域的研究重點和熱點。共八十三頁OLAM產(chǎn)生(chnshng)的原因 OLAP與DM雖同為數(shù)據(jù)庫或數(shù)據(jù)倉庫的分析工具，但兩者側(cè)重點不同。同時，隨著OLAP與DM技術(shù)的應用和發(fā)展，數(shù)據(jù)庫領(lǐng)域在OLAP基礎(chǔ)上對深層次分析的需求(xqi)與人工智能領(lǐng)域中數(shù)據(jù)挖掘技術(shù)的融合最終促成了聯(lián)機分析挖掘技術(shù)。共八十三頁OLAM產(chǎn)生(chnshng)的原因一方面，分析工具OLAP功能雖強大，能為客戶端應用程序提供完善的查詢和分析，但它也存在以下不足: 1) OLAP是一種驗證型分析工具，是由用戶

15、驅(qū)動的。即在某個假設(shè)的前提下通過數(shù)據(jù)查詢和分析來驗證或否定(fudng)這個假設(shè)，這很大程度上受到用戶假設(shè)能力的限制。 2) OLAP分析事先需要對用戶的需求有全面而深入的了解，然而用戶的需求并不是確定的，難以把握。所以O(shè)LAP分析常常采用試湊法在大型數(shù)據(jù)庫或倉庫中搜索，不僅花時間，而且可能產(chǎn)生一些無用的結(jié)果。 3) 即使搜索到了有用的信息，由于缺乏應有的維度，從不同的視圖得到的結(jié)果可能并不相同，容易產(chǎn)生誤導。共八十三頁OLAM產(chǎn)生(chnshng)的原因另一方面，數(shù)據(jù)挖掘雖然可以使用復雜算法來分析數(shù)據(jù)和創(chuàng)建模型表示有關(guān)數(shù)據(jù)的信息，用戶也不必提出確切的要求，系統(tǒng)就能夠根據(jù)數(shù)據(jù)本身的規(guī)律性，自動

16、地挖掘數(shù)據(jù)潛在的模式，或通過聯(lián)想，建立新的業(yè)務(wù)模型以輔助決策。但它也存在一些缺點: 1) DM是挖掘型分析工具，是由數(shù)據(jù)驅(qū)動的。用戶需要事先提出挖掘任務(wù)。但對于用戶來講，很多時候預先是不知道想挖掘什么樣的知識的。 2)由于數(shù)據(jù)庫或數(shù)據(jù)倉庫中存有大量數(shù)據(jù)和信息，用戶僅僅指出挖掘任務(wù)，而不提供其他搜索線索，這樣DM工具就會遍歷整個數(shù)據(jù)庫，導致搜索空間太大。計算機將處于長時間的工作，而且(r qi)結(jié)果中可能會生成很多無用信息。 3)即使挖掘出了潛在有價值的信息，但它究竟用來做什么分析用，用戶也可能不清楚。共八十三頁OLAM產(chǎn)生(chnshng)兩種技術(shù)各存在不足，但同時也可以相輔相成。如果將OLA

17、P同DM配合集成，一方面OLAP的分析結(jié)果給DM提供挖掘的依據(jù)，引導DM的進行;另一方面，在數(shù)據(jù)挖掘的結(jié)果中進行OLAP分析，則OLAP分析的深度就可拓展。這樣用戶就可以靈活(ln hu)選擇所需的數(shù)據(jù)挖掘功能，并動態(tài)交換挖掘任務(wù)，在數(shù)據(jù)倉庫的基礎(chǔ)上提供更有效的決策支持。 鑒于OLAP與DM技術(shù)在決策分析中的這種互補性，促成了OLAM技術(shù)的形成。共八十三頁發(fā)展olam的原始驅(qū)動力有以下幾點： （1）data mining工具需要的數(shù)據(jù)是一些經(jīng)過凈化、集成處理的數(shù)據(jù)，通常這種處理過程也是昂貴的；而dw（data warehouse，數(shù)據(jù)倉庫）作為olap的數(shù)據(jù)源，存儲的就是這樣的數(shù)據(jù)。它能為ol

18、ap提供數(shù)據(jù)，當然也可以為dm提供數(shù)據(jù)。 （2）dm是一項嶄新的技術(shù)，很多人在研究它。圍繞著它有許多工具或是體系結(jié)構(gòu)。而dm作為數(shù)據(jù)分析工具的一種，不是孤立的，必然要與其他的工具發(fā)生聯(lián)系。因此，考慮到如何最大限度地利用這些現(xiàn)成的工具，也是olam發(fā)展之初所關(guān)心的問題。 （3）成功的數(shù)據(jù)挖掘(wju)需要對數(shù)據(jù)進行鉆探性（exporatory）分析。例如，挖掘(wju)所需的數(shù)據(jù)可能只是一部分、一定范圍的數(shù)據(jù)。因此，對多維數(shù)據(jù)模型的切片、切塊、下鉆等操作，同樣可以應用于dm的過程中。也就是說，可以將dm建立在多維模型（或說超級立方體）的基礎(chǔ)之上。 （4）用戶的參與對dm非常重要，它動態(tài)地提出挖掘

19、要求，選擇挖掘算法。故可以將olap的clientserver結(jié)構(gòu)應用于dm中來。共八十三頁OLAM產(chǎn)生(chnshng)聯(lián)機分析挖掘(wju)概念正式提出是在1997年，由加拿大Simon Fraser大學教授Jiawei Han等在數(shù)據(jù)立方體的基礎(chǔ)上提出多維數(shù)據(jù)挖掘(wju)的概念，稱為OLAP mining。這實際上是在OLAP系統(tǒng)的基礎(chǔ)上，把數(shù)據(jù)分析算法、數(shù)據(jù)挖掘(wju)算法引人進來，解決多維數(shù)據(jù)環(huán)境的數(shù)據(jù)挖掘(wju)問題。共八十三頁OLAM體系結(jié)構(gòu)共八十三頁OLAM體系結(jié)構(gòu)OLAM的挖掘分析處理是建立在數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)立方體基礎(chǔ)上的。數(shù)據(jù)立方體的組織模型、計算和操作對與系統(tǒng)的執(zhí)

20、行效率和響應速度起著至關(guān)重要的作用。OLAM集成了傳統(tǒng)的OLAP和數(shù)據(jù)挖掘技術(shù)，為用戶的在線分析挖掘操作提供接口。OLAM引擎通過用戶圖形接口接收用戶的分析請求指令和數(shù)據(jù)，在元數(shù)據(jù)的指導下，對數(shù)據(jù)立方體進行相應的操作，包括集合(jh)運算(如求和、求平均)和導向運算(如選擇、旋轉(zhuǎn)、上鉆與下鉆)等，然后將挖掘分析的結(jié)果以可視化的形式展現(xiàn)給用戶，整個分析挖掘過程是動態(tài)進行的。共八十三頁OLAM的系統(tǒng)(xtng)特征 OLAM系統(tǒng)的主要目的就是實現(xiàn)OLAP與數(shù)據(jù)挖掘(wju)的功能互補，提高數(shù)據(jù)分析挖掘(wju)的性能。建立在龐大復雜的數(shù)據(jù)倉庫基礎(chǔ)上的OLAM在實現(xiàn)過程中面臨最大的挑戰(zhàn)是數(shù)據(jù)分析挖掘

21、(wju)執(zhí)行的效率的提高和對用戶請求的快速準確響應。目前專門的OLAM產(chǎn)品還沒有正式出現(xiàn)，但根據(jù)OLAM系統(tǒng)的設(shè)計目的和用戶要求，OLAM應具有其自己的系統(tǒng)及功能特征。共八十三頁OLAM的系統(tǒng)(xtng)特征（1）多維分析和數(shù)據(jù)挖掘無縫集成，即多維分析與數(shù)據(jù)挖掘的完美結(jié)合需要(xyo)理論基礎(chǔ)，需要(xyo)一套系統(tǒng)構(gòu)建方法。比如借助于OLAP對數(shù)據(jù)立方體進行切片、切塊、旋轉(zhuǎn)、向下鉆取、向上匯總等操作的支持，應能方便地對任何一部分數(shù)據(jù)和不同抽象級別地數(shù)據(jù)進行挖掘。共八十三頁OLAM的系統(tǒng)(xtng)特征（2）具有較高的執(zhí)行(zhxng)效率和較快的響應速度。OLAM系統(tǒng)快速響應能力的獲得是一

22、個十分有挑戰(zhàn)性的問題，可以認為是OLAM技術(shù)中最困難的問題之一。往往數(shù)據(jù)挖掘算法復雜且耗時，這時要求協(xié)調(diào)執(zhí)行效率和挖掘精度兩者的關(guān)系。 共八十三頁OLAM的系統(tǒng)(xtng)特征（3）支持迭代分析過程，即系統(tǒng)(xtng)應提供“回溯”能力，以便隨時標記分析過程中的時空狀態(tài)點，并在分析過程中隨時回到這一點，有利于分析的靈活進行，防止在進行由淺人深的分析過程中用戶“迷失方向”。共八十三頁OLAM的系統(tǒng)(xtng)特征（4）支持復雜信息建模，即要求(yoqi)OLAM系統(tǒng)支持多種異構(gòu)DBMS中多種數(shù)據(jù)類型的融合，全面處理企業(yè)內(nèi)的各種決策支持應用。一方面，決策分析的數(shù)據(jù)對象來自于不同開發(fā)環(huán)境和目的的分立

23、應用系統(tǒng)，數(shù)據(jù)的管理方法和數(shù)據(jù)結(jié)構(gòu)也可能不同，這就要求OLAM在數(shù)據(jù)方面有很強的包容性;另一方面，不同的數(shù)據(jù)挖掘方法要求不同的數(shù)據(jù)結(jié)構(gòu)支撐。共八十三頁OLAM的系統(tǒng)(xtng)特征(5)良好的可擴展性。要求OLAM系統(tǒng)支持多種挖掘算法的模塊(m kui)的添加、多種工作對象的建構(gòu)、多種數(shù)據(jù)源的集成、多種前端工具的利用等擴展功能。用戶能根據(jù)實際問題的不同，選用不同的挖掘算法。此外，OLAM因該具有支持這些擴展的通用接口，以便與其它工具和算法銜接，或者嵌人用戶自己的算法。共八十三頁OLAM的系統(tǒng)(xtng)特征(6)靈活友好的人機交互能力。OLAM中的決策分析過程是要在人的指導(zhdo)下進行的

24、，人作為系統(tǒng)的有機組成部分和系統(tǒng)應用密不可分。人利用自己掌握的領(lǐng)域知識在OLAM系統(tǒng)的輔助下完成領(lǐng)域內(nèi)問題的求解，在這個過程中人與計算機分別承擔各自最擅長的工作，達到資源的合理配置。共八十三頁OLAM的系統(tǒng)(xtng)特征(7)支持復雜事務(wù)模型及多任務(wù)優(yōu)化和調(diào)度(diod)。OLAM事務(wù)是有“內(nèi)部結(jié)構(gòu)”的數(shù)據(jù)庫操作集合，是一個有層次的復雜網(wǎng)絡(luò)結(jié)構(gòu)，傳統(tǒng)的無內(nèi)部結(jié)構(gòu)、彼此孤立的、最小原子特性的事務(wù)模型只是這種模型的特例。OLAM事務(wù)之間具有廣泛的聯(lián)系，考慮在對事務(wù)分解的基礎(chǔ)上，充分利用不同事務(wù)中的公共子事務(wù)來優(yōu)化事務(wù)的調(diào)度(diod)。共八十三頁OLAM的分析(fnx)操作從OLAM的定義來看，

25、它是建立在多維數(shù)據(jù)視圖基礎(chǔ)之上的。因此，對于OLAM的操作應是超立方體計算與傳統(tǒng)挖掘算法的結(jié)合。這里所說的立方體計算方法一般指切片、切塊、上卷、下鉆、旋轉(zhuǎn)等操作;而挖掘算法則是指關(guān)聯(lián)規(guī)則、分類、聚類等挖掘算法。根據(jù)立方體計算和數(shù)據(jù)挖掘所進行的次序的不同(b tn)組合可以有不同(b tn)的模式。共八十三頁OLAM的分析(fnx)操作先進行立方體計算、后進行數(shù)據(jù)挖掘。在進行數(shù)據(jù)挖掘以前，先對多維數(shù)據(jù)進行二定的立方體計算，以選擇合適的數(shù)據(jù)范圍和恰當?shù)某橄蠹墑e。先對多維數(shù)據(jù)作數(shù)據(jù)挖掘，然后再利用(lyng)立方體計算算法對挖掘出來的結(jié)果做進一步的深入分析。立方體計算與數(shù)據(jù)挖掘同時進行。在挖掘的過程

26、中，可以根據(jù)需要對數(shù)據(jù)視圖做相應的多維操作。這也意味著同一個挖掘算法可以應用于多維數(shù)據(jù)視圖的不同部分?；厮莶僮?。OLAM的標簽和回溯特性，允許用戶回溯一步或幾步，或回溯至標志處，然后沿著另外的途徑進行挖掘，這樣用戶在挖掘分析中可以交互式的進行立方體計算和數(shù)據(jù)挖掘。共八十三頁OLAM技術(shù)(jsh)的發(fā)展趨勢OLAM技術(shù)實現(xiàn)了OLAP和DM技術(shù)的互補，它的發(fā)展趨勢是兩者更加可靠的集成、融合，有自己合理優(yōu)化的結(jié)構(gòu)體系和一套完備的技術(shù)理論基礎(chǔ)，從整體上為決策分析提供完美支持。OLAM技術(shù)是一門交叉學科，涉及機器學習、模式識別、統(tǒng)計學、智能數(shù)據(jù)庫、人工智能、高性能計算、數(shù)據(jù)可視化、專家系統(tǒng)等綜合技術(shù)。這

27、些相關(guān)(xinggun)學科的發(fā)展，無疑也將會推動OLAM技術(shù)的發(fā)展。特別是，近年來隨著數(shù)據(jù)庫技術(shù)的發(fā)展，出現(xiàn)了不同數(shù)據(jù)類型的高級數(shù)據(jù)庫，如面向?qū)ο髷?shù)據(jù)庫、對象關(guān)系型數(shù)據(jù)庫、空間數(shù)據(jù)庫、超文本數(shù)據(jù)庫、多媒體數(shù)據(jù)庫、時序數(shù)據(jù)庫等。因此，未來的OLAM技術(shù)應用應基于這些高級數(shù)據(jù)庫展開。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，全球信息的共享，基于Web的聯(lián)機分析挖掘(Web0LAM)，也將成為OLAM技術(shù)發(fā)展的一個新方向。P87頁共八十三頁4.2 OLAP的典型(dinxng)操作 OLAP對數(shù)據(jù)倉庫中數(shù)據(jù)的操作是針對多維數(shù)據(jù)視圖（又稱為超立方體）進行的。對立方體的典型操作包括：切片、切塊以及旋轉(zhuǎn)等。切片 選定多維數(shù)

28、組的一個二維子集；切塊 選定多維數(shù)組的一個三維子集；旋轉(zhuǎn) 改變一個(y )立方體顯示的維方向，人們可以從不同的角度更加清晰、直觀地觀察數(shù)據(jù)。共八十三頁共八十三頁多維數(shù)據(jù)(shj)Sales volume as a function of product, month, and regionProductRegionMonthDimensions: Product, Location, TimeHierarchical summarization pathsIndustry Region YearCategory Country QuarterProduct City Month Week Of

29、fice Day共八十三頁立方體實例(shl)Total annual salesof TV in U.S.A.DateProductCountryAll, All, Allsumsum TVVCRPC1Qtr2Qtr3Qtr4QtrU.S.ACanadaMexicosum共八十三頁數(shù)據(jù)(shj)立方體的瀏覽VisualizationOLAP capabilitiesInteractive manipulation共八十三頁第一節(jié) 多維數(shù)據(jù)模型1、 數(shù)據(jù)立方體 數(shù)據(jù)倉庫和OLAP工具基于多維數(shù)據(jù)模型，多維數(shù)據(jù)模型將數(shù)據(jù)看作數(shù)據(jù)立方體（data cube）形式。數(shù)據(jù)立方體允許以多維對數(shù)據(jù)建模和觀

30、察，由維和事實(shsh)定義。 共八十三頁第一節(jié) 多維數(shù)據(jù)模型1、 數(shù)據(jù)立方體 數(shù)據(jù)倉庫和OLAP工具基于多維數(shù)據(jù)模型，多維數(shù)據(jù)模型將數(shù)據(jù)看作數(shù)據(jù)立方體（data cube）形式。數(shù)據(jù)立方體允許(ynx)以多維對數(shù)據(jù)建模和觀察，由維和事實定義。 共八十三頁第一節(jié) 多維數(shù)據(jù)模型OLAP展現(xiàn)在用戶面前的是一幅幅多維視圖。 聯(lián)機分析處理 維（Dimension）：是人們觀察數(shù)據(jù)的特定角度，是考慮問題時的一類屬性，屬性集合構(gòu)成一個維（時間維、地理維等）。 維的層次（Level）：人們觀察數(shù)據(jù)的某個特定角度（即某個維）還可以存在細節(jié)程度不同的各個(gg)描述方面（時間維：日期、月份、季度、年）。 維的

31、成員（Member）：維的一個取值，是數(shù)據(jù)項在某維中位置的描述。（“某年某月某日”是在時間維上位置的描述）。 度量（Measure）：多維數(shù)組的取值。（2000年1月，上海，筆記本電腦，0000）。 共八十三頁第一節(jié) 多維數(shù)據(jù)模型1、 數(shù)據(jù)(shj)立方體 維是關(guān)于一個組織想要記錄的透視或?qū)嶓w； 每一個維都有一個表與之相關(guān)聯(lián)，該表稱 為維表，它進一步描述維； 多維數(shù)據(jù)模型圍繞中心主題組織，主題用 事實表表示； 事實是數(shù)值的度量，事實表包括事實的名 稱或度量，以及每個相關(guān)維表的關(guān)鍵字。共八十三頁第一節(jié) 多維數(shù)據(jù)模型1、 數(shù)據(jù)立方體 設(shè)某BSEK北星易家連鎖(lin su)公司由下列關(guān)系表描述：C

32、ustomer（cust_id，name，address，age，）Item（item_id， name，type，price，）Employee （empl_id， name，salary，）purchases（trans_id， cust_id ， empl_id ， date，time，method_paid，amount，）Branch（branch_id， name，address）共八十三頁第一節(jié) 多維數(shù)據(jù)模型1、 數(shù)據(jù)立方體 例如，BSEK可能創(chuàng)建一個數(shù)據(jù)倉庫sales，記錄商店的銷售情況(qngkung)，涉及time，item和location。典型3-D立方體如圖：time

33、locationitem共八十三頁多維模型(mxng)事實度量(Metrics)時間維時間維的屬性共八十三頁第一節(jié) 多維數(shù)據(jù)模型2、 多維數(shù)據(jù)庫模式 E-R數(shù)據(jù)模型適用于OLTP，而數(shù)據(jù)倉庫需要簡明的、面向主題的模式，便于聯(lián)機數(shù)據(jù)分析。數(shù)據(jù)倉庫的數(shù)據(jù)模型采用多維數(shù)據(jù)模型。 星型模式 雪花(xuhu)模式 事實星座模式 共八十三頁第三節(jié) 數(shù)據(jù)倉庫的實現(xiàn)(shxin)1、數(shù)據(jù)立方體的有效計算 多維數(shù)據(jù)分析的核心是有效地計算多個(du )維集合上的聚集，類似于SQL中的分組。 基本立方操作及實現(xiàn) 部分物化 數(shù)據(jù)立方體計算中多路數(shù)組聚集 共八十三頁第三節(jié) 數(shù)據(jù)倉庫的實現(xiàn)(shxin)2、索引OLAP數(shù)

34、據(jù)(shj) 位圖索引 連接索引 復合連接索引 共八十三頁第四節(jié) 基于(jy)數(shù)據(jù)倉庫的數(shù)據(jù)挖掘1、 數(shù)據(jù)倉庫的使用 數(shù)據(jù)倉庫的三種應用： 信息處理 分析(fnx)處理 數(shù)據(jù)挖掘共八十三頁第四節(jié) 基于(jy)數(shù)據(jù)倉庫的數(shù)據(jù)挖掘1、 數(shù)據(jù)倉庫的使用 信息處理：支持查詢和基本的統(tǒng)計分析，并使用交叉表、表、圖表或圖進行(jnxng)報告。數(shù)據(jù)倉庫信息處理的當前趨勢是構(gòu)造低成本的基于Web的存取工具，然后與Web瀏覽器集成在一起。共八十三頁第四節(jié) 基于(jy)數(shù)據(jù)倉庫的數(shù)據(jù)挖掘1、 數(shù)據(jù)倉庫的使用 分析處理：支持基本的OLAP操作，包括切片與切塊、下鉆、上卷和轉(zhuǎn)軸(zhunzhu)。一般在匯總的和細節(jié)

35、的歷史數(shù)據(jù)上操作，它支持數(shù)據(jù)倉庫的多維數(shù)據(jù)分析。共八十三頁第四節(jié) 基于(jy)數(shù)據(jù)倉庫的數(shù)據(jù)挖掘1、 數(shù)據(jù)倉庫的使用 數(shù)據(jù)挖掘：支持知識發(fā)現(xiàn)，包括找出隱藏的模式和關(guān)聯(lián)(gunlin)，構(gòu)造分析模型，進行分類和預測，并用可視化工具提供挖掘結(jié)果。 數(shù)據(jù)挖掘不限于分析數(shù)據(jù)倉庫中的數(shù)據(jù)，比OLAP更自動化，更深入，應用更廣。共八十三頁第四節(jié) 基于(jy)數(shù)據(jù)倉庫的數(shù)據(jù)挖掘2、 從OLAP到OLAM OLAM聯(lián)機分析挖掘?qū)⒙?lián)機分析處理(chl)與數(shù)據(jù)挖掘以及多維數(shù)據(jù)庫中的發(fā)現(xiàn)知識集成在一起。 數(shù)據(jù)倉庫中的數(shù)據(jù)高質(zhì)量 環(huán)繞數(shù)據(jù)倉庫的有價值的信息處理基礎(chǔ)設(shè)施 基于OLAP的探測式數(shù)據(jù)分析 數(shù)據(jù)挖掘功能的聯(lián)機

36、選擇共八十三頁4.2 多維數(shù)據(jù)模型上的OLAP操作(cozu)：4、 多維數(shù)據(jù)模型上的OLAP操作：有鉆?。―rill-up和Drill-down）、切片（Slice）和切塊（Dice）、以及旋轉(zhuǎn)（Pivot）等。 鉆?。菏歉淖兙S的層次(cngc)，變換分析的粒度。它包括向下鉆取（Drill-down）和向上鉆?。―rill-up）/上卷(Roll-up)。Drill-up是在某一維上將低層次(cngc)的細節(jié)數(shù)據(jù)概括到高層次(cngc)的匯總數(shù)據(jù)，或者減少維數(shù)；而Drill-down則相反，它從匯總數(shù)據(jù)深入到細節(jié)數(shù)據(jù)進行觀察或增加新維。 切片和切塊：是在一部分維上選定值后，關(guān)心度量數(shù)據(jù)在剩余

37、維上的分布。如果剩余的維只有兩個，則是切片；如果有三個或以上，則是切塊。 旋轉(zhuǎn)：是變換維的方向，即在表格中重新安排維的放置（例如行列互換）。共八十三頁4、 多維數(shù)據(jù)模型上的OLAP操作 概念分層將屬性或維組織成漸進的抽象層，它將低層概念映射到更一般的高層(o cn)概念。概念分層對于多抽象層上的挖掘有用。4.2 多維數(shù)據(jù)模型上的OLAP操作(cozu)：共八十三頁4、 多維數(shù)據(jù)模型上的OLAP操作 上卷（roll-up） 下鉆（drill-down） 切片(qi pin)（slice）、切塊（dice） 轉(zhuǎn)軸 （pivot） 鉆過（ drill-across） 鉆透（ drill-throug

38、h） 4.2 多維數(shù)據(jù)模型上的OLAP操作(cozu)：共八十三頁4、 多維數(shù)據(jù)模型上的OLAP操作 上卷：通過一個維的概念分層向上(xingshng)攀升或通過維歸約，在數(shù)據(jù)立方體上進行聚集。 下鉆：通過沿維的概念分層向下或引入新的維來實現(xiàn)，它是上卷的逆操作，由不太詳細的數(shù)據(jù)到更詳細的數(shù)據(jù)。4.2 多維數(shù)據(jù)模型上的OLAP操作(cozu)：共八十三頁4、 多維數(shù)據(jù)模型上的OLAP操作 切片：切片操作在給定的數(shù)據(jù)立方體的一個維上進行選擇，導致(dozh)一個子方。 切塊：切塊操作通過對兩個或多個維執(zhí)行選擇，定義子方。 轉(zhuǎn)軸：是一種目視操作，它轉(zhuǎn)動數(shù)據(jù)的視角，提供數(shù)據(jù)的替代表示。4.2 多維數(shù)據(jù)

39、模型上的OLAP操作(cozu)：共八十三頁4、 多維數(shù)據(jù)模型上的OLAP操作 鉆過：執(zhí)行涉及多個事實表的查詢。 鉆透：操作使用關(guān)系SQL機制(jzh)，鉆到數(shù)據(jù)立方體的底層，到后端關(guān)系表。 OLAP的許多特征體現(xiàn)在統(tǒng)計數(shù)據(jù)庫（SDB）的早期工作中，而SDB 關(guān)注社會經(jīng)濟應用，OLAP旨在商務(wù)應用以及有效處理海量數(shù)據(jù)。例如書P49 4.2 多維數(shù)據(jù)模型上的OLAP操作(cozu)：共八十三頁OLAP服務(wù)器的類型(lixng)3、 OLAP服務(wù)器的類型 關(guān)系(gun x)OLAP（ROLAP）服務(wù)器 多維OLAP（MOLAP）服務(wù)器 混合OLAP（HOLAP）服務(wù)器 特殊的SQL服務(wù)器共八十三頁

40、OLAP的12條準則1、Multidimensional conceptual view OLAP模型必須提供多維概念視圖 User-analysts would view an enterprise as being multidimensional in nature for example, profits could be viewed by region, product, time period, or scenario (such as actual, budget, or forecast). Multi-dimensional data models enable more

41、straightforward and intuitive manipulation of data by users, including slicing and dicing. 分析用戶能自然的視企業(yè)為一個多維模型，例如，利潤可以按區(qū)域，產(chǎn)品(chnpn)，時間，或方案（如實際，預算或預測）查看。多維數(shù)據(jù)模型能讓用戶更直接和方便的操作數(shù)據(jù)，包括“切片和切塊”2、Transparency 透明性 When OLAP forms part of the users customary spreadsheet or graphics package, this should be transpa

42、rent to the user. OLAP should be part of an open systems architecture which can be embedded in any place desired by the user without adversely affecting the functionality of the host tool. The user should not be exposed to the source of the data supplied to the OLAP tool, which may be homogeneous or

43、 heterogeneous. 當OLAP以用戶習慣的方式提供電子表格或圖形顯示時，這對用戶應該是透明的。OLAP應該是開發(fā)系統(tǒng)架構(gòu)的一部分，這個架構(gòu)能按用戶的需要嵌入到任何地方，而不會對主機工具的功能產(chǎn)生副作用。用戶不應該接觸到提供給OLAP工具的數(shù)據(jù)源，這些數(shù)據(jù)可能是同構(gòu)的或是異構(gòu)的共八十三頁OLAP的12條準則3、Accessibility 存取能力準則 The OLAP tool should be capable of applying its own logical structure to access heterogeneous sources of data and perf

44、orm any conversions necessary to present a coherent view to the user. The tool (and not the user) should be concerned with where the physical data comes from. OLAP工具應該(ynggi)有能力利用自有的邏輯結(jié)構(gòu)訪問異構(gòu)數(shù)據(jù)源，并且進行必要的轉(zhuǎn)換以提供給用戶一個連貫的展示。是OLAP工具而不是用戶需要關(guān)心物理數(shù)據(jù)的來源4、Consistent reporting performance 穩(wěn)定的報表能力 Performance of th

45、e OLAP tool should not suffer significantly as the number of dimensions is increased. OLAP工具的性能不應該因維度增加而受到明顯的影響共八十三頁OLAP的12條準則5、Client/server architecture 客戶/服務(wù)器體系結(jié)構(gòu) The server component of OLAP tools should be sufficiently intelligent that the various clients can be attached with minimum effort. Th

46、e server should be capable of mapping and consolidating data between disparate databases. OLAP工具的服務(wù)器端應該足夠的智能讓多客戶的以最小的代價連接(linji)。服務(wù)器應該有能力映射和鞏固不同數(shù)據(jù)庫的數(shù)據(jù)6、Generic dimensionality 維的等同性準則 Every data dimension should be equivalent in its structure and operational capabilities. 每個數(shù)據(jù)維度應該具有等同的結(jié)構(gòu)和操作能力共八十三頁OLA

47、P的12條準則7、Dynamic sparse matrix handling 動態(tài)的稀疏矩陣處理 The OLAP servers physical structure should have optimal sparse matrix handling. OLAP服務(wù)器的物理結(jié)構(gòu)應能處理最優(yōu)稀疏矩陣8、 Multi-user support 多用戶支持能力 OLAP tools must provide concurrent retrieval and update access, integrity and security. OLAP應提供(tgng)并發(fā)獲取和更新訪問，保證完整和安全

48、的能力9、 Unrestricted cross-dimensional operations 非受限的跨維操作 Computational facilities must allow calculation and data manipulation across any number of data dimensions, and must not restrict any relationship between data cells. 計算設(shè)備必需允許跨數(shù)據(jù)維度的計算和數(shù)據(jù)操作，不能限制任何數(shù)據(jù)單元間的關(guān)系。共八十三頁OLAP的12條準則10、Intuitive data manipu

49、lation 直觀的數(shù)據(jù)操縱 Data manipulation inherent in the consolidation path, such as drilling down or zooming out, should be accomplished via direct action on the analytical models cells, and not require use of a menu or multiple trips across the user interface. 數(shù)據(jù)操作應在固定的路徑下，例如鉆或縮小，應該(ynggi)通過直接在分析模型的單元上完成，

50、而不需要目錄貨多次的用戶交互11、Flexible reporting 靈活的報表生成 Reporting facilities should present information in any way the user wants to view it. 報表設(shè)備應該能以用戶需要的任何方式展現(xiàn)信息12、Unlimited dimensions and aggregation levels. 不受限的維與聚集層次 The number of data dimensions supported should, to all intents and purposes, be unlimited.

51、 Each generic dimensions should enable an essentially unlimited number of user-defined aggregation levels within any given consolidation path.數(shù)據(jù)維度數(shù)量應該是無限的，用戶在每個通用維度上定義的聚集聚合層次應該是無限的。共八十三頁主要廠商產(chǎn)品介紹1、HyperionHyperionEssbaseOLAPServer，在上面有超過100個的應用程序，有300多個用Essbase作為平臺的開發(fā)商。具有幾百個計算公式，支持過程的腳本預言(yyn)，及統(tǒng)計和基于

52、維的計算。 強大的OLAP查詢能力，利用EssbaseQueryDesigner，商業(yè)用戶可以不用IT人員的幫助自己構(gòu)件復雜的查詢。 廣泛的應用支持，可以擴展數(shù)據(jù)倉庫和ERP系統(tǒng)的價值，建立對電子商務(wù)、CRM、金融、制造業(yè)、零售和CPG（consumerpackagedgoods）等應用的分析程序。 Speed-of-Thought的響應時間，支持多用戶同時讀寫 Web-Enabled的，以服務(wù)器為中心的體系結(jié)構(gòu)，支持SMP 強大的合作伙伴提供完整的解決方案，60多個包裝好的解決方案，300多個咨詢和實施公司。 豐富的前端工具，有30多個前端工具可供選擇，其中包括Hyperion自己的Wire

53、dforOLAP、Spider-ManWebApplication、Objects、EssbaseSpreadsheetAdd-In、WebGateway、Reporting。 共八十三頁主要廠商產(chǎn)品介紹1、HyperionHyperionEnterprise，為跨國公司提供(tgng)的財務(wù)整合、報告和分析的解決方案。有3000多家組織在使用此套系統(tǒng)。 功能豐富：支持多種財務(wù)標準USGAAP，CanadianGAAP，UKGAAP，國際會計標準（ISA），F(xiàn)ASB，HGB。分公司間交易的自動平帳。FAS52貨幣轉(zhuǎn)換。FAS94。 易用：可通過Excel，Lotus1-2-3和各種瀏覽器訪問系

54、統(tǒng)。 支持公司結(jié)構(gòu)的調(diào)整?？鐕镜闹С郑和瑫r支持6種語言及各個不同國家的法律和稅收要求。 完整的過程控制和審計跟蹤，及安全等級的設(shè)置。 能與ERP或其他數(shù)據(jù)源集成 HyperionPillar，預算和計劃工具。全球用戶超過1500家，提供基于活動的預算，基于項目的計劃，集中式計劃，銷售預測和綜合計劃。 分布式體系結(jié)構(gòu) 詳細計劃的制訂：允許一線經(jīng)理制訂詳細的計劃 復雜的建模和分析能力 共八十三頁主要廠商產(chǎn)品介紹2、OracleExpressServer提供全面的OLAP能力，有全球超過3000家用戶 用戶可通過Web和電子表格使用 靈活的數(shù)據(jù)組織方式，數(shù)據(jù)可以存放在ExpressServer內(nèi)

55、，也可直接在RDB上使用 有內(nèi)建的分析函數(shù)和4GL來用戶自己定制查詢 3、CognosPowerPlay，為商務(wù)效率評價BPM（BusinessPerformanceMeasurement）提供全面的報告和分析環(huán)境。向決策者提供企業(yè)運行效率的各種關(guān)鍵數(shù)據(jù)，進行各種各樣的分析。 只用鼠標點擊、拖拉就可以瀏覽多維數(shù)據(jù) 自動利用(lyng)Web發(fā)布得到的分析報告 支持多種OLAPServer：MicrosoftOLAPServices、HyperionEssbase、SAPBW、IBMOLAPforDB2 完備的授權(quán)和安全體系 NovaView，是MicrosoftSQLServer7.0OLAP

56、Services的客戶端應用程序。 共八十三頁主要廠商產(chǎn)品介紹5、MicroStrategyMicroStrategy7，是新一代的智能(zh nn)平臺（IntelligencePlatform）面向電子商務(wù)應用e-business和電子客戶關(guān)系管理eCRM。 具有強大的分析能力 以Web為中心的界面 支持上百萬的用戶和TB的數(shù)據(jù) 快速開發(fā)能力，可直接利用已有的數(shù)據(jù)模式 6、Intelligence Server，One for all analytic applications Microsoft SQL Server7.0O LAP Services，是SQLServer7.0的OLAP模塊，可以使用任何關(guān)系數(shù)據(jù)庫或平面文件作為數(shù)據(jù)源，其中的PivotTableService提供了客戶端的數(shù)據(jù)緩存和計算能力。 智能的Client/Server數(shù)據(jù)管理，提高響應速度，降低網(wǎng)絡(luò)流量 ，通過OLEDBforOLAP，允許不同的客戶端訪問 。共八十三頁主要廠商產(chǎn)品介紹7、Business ObjectsBusiness Objects，是易用的BI工具，允許用戶存取、分析和共享數(shù)據(jù)(shj)。 可應用多種數(shù)據(jù)源：RDB，ERP，OLAP，Excel等 可