數(shù)據(jù)倉庫與OLAP技術(shù)概述課件

1數(shù)據(jù)倉庫與數(shù)據(jù)挖掘

—第3章—數(shù)據(jù)倉庫與OLAP概述1數(shù)據(jù)倉庫與數(shù)據(jù)挖掘

—第3章—數(shù)據(jù)倉庫與OLAP概述2第3章數(shù)據(jù)倉庫與OLAP技術(shù)概述什么是數(shù)據(jù)倉庫?多維數(shù)據(jù)模型數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)數(shù)據(jù)倉庫實(shí)現(xiàn)從數(shù)據(jù)倉庫到數(shù)據(jù)挖掘2第3章數(shù)據(jù)倉庫與OLAP技術(shù)概述什么是數(shù)據(jù)倉庫?數(shù)據(jù)倉庫的發(fā)展IBM:在其DB2UDB發(fā)布一年后的1998年9月發(fā)布5.2版，并于1998年12月推向中國市場，除了用于OLAP（聯(lián)機(jī)分析處理）的后臺(tái)服務(wù)器DB2OLAPServer外，IBM還提供了一系列相關(guān)的產(chǎn)品，包括前端工具，形成一整套解決方案。Informix公司:在其動(dòng)態(tài)服務(wù)器IDS（InformixDynamicServer）中提供一系列相關(guān)選件，如高級(jí)決策支持選件（AdvancedDecisionSupportOption）、OLAP選件（MetaCubeROLAPOption）、擴(kuò)展并行選件（ExtendedParallelOption）等，這種體系結(jié)構(gòu)嚴(yán)謹(jǐn)、管理方便、索引機(jī)制完善，并行處理的效率更高，其中數(shù)據(jù)倉庫和數(shù)據(jù)庫查詢的SQL語句的一致性使得用戶開發(fā)更加簡便。數(shù)據(jù)倉庫的發(fā)展IBM:在其DB2UDB發(fā)布一年后的1998數(shù)據(jù)倉庫的發(fā)展微軟公司:在其SQLServer7.0以及SQLServer2000中集成了代號(hào)為Plato的OLAP服務(wù)器。Sybase:提供了專門的OLAP服務(wù)器SybaseIQ，并將其與數(shù)據(jù)倉庫相關(guān)工具打包成WarehouseStudio。PLATINUM:提出了由InfoPump（數(shù)據(jù)倉庫建模與數(shù)據(jù)加載工具）和Forest&Trees（前端報(bào)表工具）構(gòu)成的一套較有特色的整體方案。；Oracle公司:則推出從數(shù)據(jù)倉庫構(gòu)建、OLAP到數(shù)據(jù)集市管理等一系列產(chǎn)品包（如OracleWarehouseBuilder、OracleExpress、DataMartSuit等）。

數(shù)據(jù)倉庫的發(fā)展微軟公司:在其SQLServer7.0以及數(shù)據(jù)倉庫的我國的發(fā)展前景：隨著計(jì)算機(jī)技術(shù)的發(fā)展，尤其是分布式技術(shù)的發(fā)展，數(shù)據(jù)倉庫在我國有著廣闊的發(fā)展空間和良好的發(fā)展前景。例如：由于銀行商業(yè)化的步伐正在加大，各大中型銀行在入世的機(jī)遇和挑戰(zhàn)下，開始重新考慮自身的業(yè)務(wù)，特別是信貸風(fēng)險(xiǎn)管理方面特別注意，因而有關(guān)信貸風(fēng)險(xiǎn)管理和風(fēng)險(xiǎn)規(guī)章的基于數(shù)據(jù)倉庫的決策支持系統(tǒng)的需求逐漸增多；由于電子商務(wù)的迅速發(fā)展，越來越多的電子商務(wù)網(wǎng)站，開始考慮如何將數(shù)據(jù)倉庫應(yīng)用于商品銷售分析、顧客的誠信度分析等，為客戶提供更進(jìn)一步的個(gè)性化服務(wù)；如移動(dòng)通信等各大型企業(yè)也開始考慮著手進(jìn)行決策支持以及數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫的我國的發(fā)展前景：隨著計(jì)算機(jī)技術(shù)的發(fā)展，尤其是分布式數(shù)據(jù)挖掘的發(fā)展數(shù)據(jù)挖掘是與數(shù)據(jù)倉庫密切相關(guān)的一個(gè)信息技術(shù)新領(lǐng)域，它是信息技術(shù)自然演化的結(jié)果。隨著數(shù)據(jù)庫技術(shù)的迅速發(fā)展以及數(shù)據(jù)庫管理系統(tǒng)的廣泛應(yīng)用，人們積累的數(shù)據(jù)越來越多，但缺乏挖掘數(shù)據(jù)中隱藏的知識(shí)的手段，導(dǎo)致了“數(shù)據(jù)爆炸但知識(shí)貧乏的”現(xiàn)象。自80年代后期以來，聯(lián)機(jī)分析處理（OLAP）和數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。數(shù)據(jù)挖掘的發(fā)展數(shù)據(jù)挖掘是與數(shù)據(jù)倉庫密切相關(guān)的一個(gè)信息技術(shù)新領(lǐng)3.1什么是數(shù)據(jù)倉庫數(shù)據(jù)倉庫用來保存從多個(gè)數(shù)據(jù)庫或其它信息源選取的數(shù)據(jù),并為上層應(yīng)用提供統(tǒng)一用戶接口，完成數(shù)據(jù)查詢和分析。數(shù)據(jù)倉庫是作為DSS服務(wù)基礎(chǔ)的分析型DB，用來存放大容量的只讀數(shù)據(jù)，為制定決策提供所需要的信息。數(shù)據(jù)倉庫是與操作型系統(tǒng)相分離的、基于標(biāo)準(zhǔn)企業(yè)模型集成的、帶有時(shí)間屬性的、面向主題及不可更新的數(shù)據(jù)集合。W.H.Inmon對(duì)數(shù)據(jù)倉庫所下的定義：數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、時(shí)變的和非易失的數(shù)據(jù)集合，支持管理部門的決策過程。3.1什么是數(shù)據(jù)倉庫數(shù)據(jù)倉庫用來保存從多個(gè)數(shù)據(jù)庫或其它信息源數(shù)據(jù)倉庫的適用范圍信息源中的數(shù)據(jù)變化穩(wěn)定或可預(yù)測應(yīng)用不需要最新的數(shù)據(jù)或允許有延遲應(yīng)用要求有較高的查詢性能 而降低精度要求數(shù)據(jù)倉庫的適用范圍信息源中的數(shù)據(jù)變化穩(wěn)定數(shù)據(jù)倉庫中數(shù)據(jù)的特點(diǎn)

面向主題集成性非易失性時(shí)變性數(shù)據(jù)倉庫中數(shù)據(jù)的特點(diǎn)面向主題面向主題主題：是一個(gè)抽象的概念，是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進(jìn)行分析利用的抽象。在邏輯上，它對(duì)應(yīng)于企業(yè)中某一宏觀分析領(lǐng)域所涉及的分析對(duì)象。面向主題的數(shù)據(jù)組織方式可在較高層次上對(duì)分析對(duì)象的數(shù)據(jù)給出完整、一致的描述，能完整、統(tǒng)一的刻畫各個(gè)分析對(duì)象所涉及的企業(yè)的各項(xiàng)數(shù)據(jù)以及數(shù)據(jù)之間的聯(lián)系，從而適應(yīng)企業(yè)各個(gè)部門的業(yè)務(wù)活動(dòng)特點(diǎn)和企業(yè)數(shù)據(jù)的動(dòng)態(tài)特征，從根本上實(shí)現(xiàn)數(shù)據(jù)與應(yīng)用的分離。面向主題主題：是一個(gè)抽象的概念，是在較高層次上將企業(yè)信息系統(tǒng)集成性數(shù)據(jù)倉庫中的數(shù)據(jù)是從原有分散的源數(shù)據(jù)庫中提取出來的，其每一個(gè)主題所對(duì)應(yīng)的源數(shù)據(jù)在原有的數(shù)據(jù)庫中有許多冗余和不一致，且與不同的應(yīng)用邏輯相關(guān)。為了創(chuàng)建一個(gè)有效的主題域，必須將這些來自不同數(shù)據(jù)源的數(shù)據(jù)集成起來，使之遵循統(tǒng)一的編碼規(guī)則。因此，數(shù)據(jù)倉庫在提取數(shù)據(jù)時(shí)必須經(jīng)過數(shù)據(jù)集成，消除源數(shù)據(jù)中的矛盾，并進(jìn)行數(shù)據(jù)綜合和計(jì)算。經(jīng)過數(shù)據(jù)集成后，數(shù)據(jù)倉庫所提供的信息比數(shù)據(jù)庫提供的信息更概括、更本質(zhì)。

集成性數(shù)據(jù)倉庫中的數(shù)據(jù)是從原有分散的源數(shù)據(jù)庫中提取出來的，其非易失性數(shù)據(jù)倉庫中的數(shù)據(jù)反映的是一段時(shí)間內(nèi)歷史數(shù)據(jù)的內(nèi)容，是不同時(shí)點(diǎn)的數(shù)據(jù)庫快照的集合，以及基于撰寫快照進(jìn)行統(tǒng)計(jì)、綜合和重組的導(dǎo)出數(shù)據(jù)，而不是聯(lián)機(jī)處理的數(shù)據(jù)。主要供企業(yè)高層決策分析之用，所涉及的數(shù)據(jù)操作主要是查詢，一般情況下并不進(jìn)行修改操作，即數(shù)據(jù)倉庫中的數(shù)據(jù)是不可實(shí)時(shí)更新的，僅當(dāng)超過規(guī)定的存儲(chǔ)期限，才將其從數(shù)據(jù)倉庫中刪除，提取新的數(shù)據(jù)經(jīng)集成后輸入數(shù)據(jù)倉庫。非易失性數(shù)據(jù)倉庫中的數(shù)據(jù)反映的是一段時(shí)間內(nèi)歷史數(shù)據(jù)的內(nèi)容，是時(shí)變性時(shí)變性：許多商業(yè)分析要求對(duì)發(fā)展趨勢做出預(yù)測，對(duì)發(fā)展趨勢的分析需要訪問歷史數(shù)據(jù)。因此數(shù)據(jù)倉庫必須不斷捕捉OLTP數(shù)據(jù)庫中變化的數(shù)據(jù)，生成數(shù)據(jù)庫的快照，經(jīng)集成后增加到數(shù)據(jù)倉庫中去；另外數(shù)據(jù)倉庫還需要隨時(shí)間的變化刪去過期的、對(duì)分析沒有幫助的數(shù)據(jù)，并且還需要按規(guī)定的時(shí)間段增加綜合數(shù)據(jù)。時(shí)變性時(shí)變性：許多商業(yè)分析要求對(duì)發(fā)展趨勢做出預(yù)測，對(duì)發(fā)展趨勢支持管理決策數(shù)據(jù)倉庫支持OLAP（聯(lián)機(jī)分析處理）、數(shù)據(jù)挖掘和決策分析。OLAP從數(shù)據(jù)倉庫中的綜合數(shù)據(jù)出發(fā)，提供面向分析的多維模型，并使用多維分析的方法從多個(gè)角度、多個(gè)層次對(duì)多維數(shù)據(jù)進(jìn)行分析，使決策者能夠以更加自然的方式來分析數(shù)據(jù)。數(shù)據(jù)挖掘則以數(shù)據(jù)倉庫和多維數(shù)據(jù)庫中的數(shù)據(jù)為基礎(chǔ)，發(fā)現(xiàn)數(shù)據(jù)中的潛在模式和進(jìn)行預(yù)測。因此，數(shù)據(jù)倉庫的功能是支持管理層進(jìn)行科學(xué)決策，而不是事務(wù)處理。支持管理決策數(shù)據(jù)倉庫的技術(shù)要求大量數(shù)據(jù)的組織和管理：包含了大量的歷史數(shù)據(jù)，它是從數(shù)據(jù)庫中提取得來的，不必關(guān)心它的數(shù)據(jù)安全性和數(shù)據(jù)完整性。復(fù)雜分析的高性能體現(xiàn)：涉及大量數(shù)據(jù)的聚集、綜合等，在進(jìn)行復(fù)雜查詢時(shí)經(jīng)常會(huì)使用多表的聯(lián)接、累計(jì)、分類、排序等操作。對(duì)提取出來的數(shù)據(jù)進(jìn)行集成：數(shù)據(jù)倉庫中的數(shù)據(jù)是從多個(gè)應(yīng)用領(lǐng)域中提取出來的，在不同的應(yīng)用領(lǐng)域和不同的數(shù)據(jù)庫系統(tǒng)中都有不同的結(jié)構(gòu)和形式，所以如何對(duì)數(shù)據(jù)進(jìn)行集成也是構(gòu)建數(shù)據(jù)倉庫的一個(gè)重要方面。對(duì)進(jìn)行高層決策的最終用戶的界面支持：提供各種分析應(yīng)用工具。數(shù)據(jù)倉庫的技術(shù)要求大量數(shù)據(jù)的組織和管理：包含了大量的歷史數(shù)據(jù)操作數(shù)據(jù)庫與數(shù)據(jù)倉庫的區(qū)別操作數(shù)據(jù)庫系統(tǒng)的主要任務(wù)是聯(lián)機(jī)事務(wù)處理OLTP數(shù)據(jù)倉庫在數(shù)據(jù)分析和決策方面為用戶提供服務(wù),這種系統(tǒng)稱為聯(lián)機(jī)分析處理OLAP操作數(shù)據(jù)庫與數(shù)據(jù)倉庫的區(qū)別操作數(shù)據(jù)庫系統(tǒng)的主要任務(wù)是聯(lián)機(jī)事務(wù)事務(wù)型處理與分析型處理事務(wù)型處理：即操作型處理，是指對(duì)數(shù)據(jù)庫的聯(lián)機(jī)操作處理。事務(wù)型處理是用來協(xié)助企業(yè)對(duì)響應(yīng)事件或事務(wù)的日常商務(wù)活動(dòng)進(jìn)行處理。它是事件驅(qū)動(dòng)、面向應(yīng)用的，通常是對(duì)一個(gè)或一組記錄的增、刪、改以及簡單查詢等。事務(wù)型處理的應(yīng)用程序和數(shù)據(jù)是緊緊圍繞著所管理的事件來構(gòu)造的。在事務(wù)型處理環(huán)境中，數(shù)據(jù)庫要求能支持日常事務(wù)中的大量事務(wù)，用戶對(duì)數(shù)據(jù)的存取操作頻率高而每次操作處理的時(shí)間短。事務(wù)型處理與分析型處理事務(wù)型處理：即操作型處理，是指對(duì)數(shù)據(jù)庫分析型處理分析型處理：用于管理人員的決策分析，例如DSS、EIS、和多維分析等。它幫助決策者分析數(shù)據(jù)以察看趨向、判斷問題。分析型處理經(jīng)常要訪問大量的歷史數(shù)據(jù)，支持復(fù)雜的查詢。在分析型處理中，并不是對(duì)從事務(wù)型處理環(huán)境中得到的細(xì)節(jié)數(shù)據(jù)進(jìn)行分析。細(xì)節(jié)數(shù)據(jù)量太大，會(huì)嚴(yán)重影響分析的效率，而且太多的細(xì)節(jié)數(shù)據(jù)不利于分析人員將注意力集中于有用的信息。分析型處理過程中經(jīng)常用到外部數(shù)據(jù)，這部分?jǐn)?shù)據(jù)不是由事務(wù)型處理系統(tǒng)產(chǎn)生的，而是來自于其他外部數(shù)據(jù)源。分析型處理分析型處理：用于管理人員的決策分析，例如DSS、事務(wù)型處理數(shù)據(jù)和分析型處理數(shù)據(jù)的區(qū)別

事務(wù)型處理數(shù)據(jù) 分析型處理數(shù)據(jù)

細(xì)節(jié)的綜合的，或提煉的 在存取瞬間是準(zhǔn)確的代表過去的數(shù)據(jù) 可更新 不可更新，只讀的 操作需求事先可知道 操作需求事先不知 生命周期符合SDLC 完全不同的生命周期對(duì)性能要求高對(duì)性能要求寬松一個(gè)時(shí)刻操作一個(gè)單元 一個(gè)時(shí)刻操作一個(gè)事務(wù)驅(qū)動(dòng) 分析驅(qū)動(dòng) 面向應(yīng)用 面向分析一次操作數(shù)據(jù)量小 一次操作數(shù)據(jù)量大 支持日常操作 支持管理需求

事務(wù)型處理數(shù)據(jù)和分析型處理數(shù)據(jù)的區(qū)別事務(wù)型處理數(shù)據(jù) OLTP和OLAP的區(qū)別用戶和系統(tǒng)的面向性:OLTP是面向顧客的,用于事務(wù)和查詢處理OLAP是面向市場的,用于數(shù)據(jù)分析數(shù)據(jù)內(nèi)容:OLTP系統(tǒng)管理當(dāng)前數(shù)據(jù).OLAP系統(tǒng)管理大量歷史數(shù)據(jù),提供匯總和聚集機(jī)制.OLTP和OLAP的區(qū)別用戶和系統(tǒng)的面向性:數(shù)據(jù)庫設(shè)計(jì):OLTP采用實(shí)體-聯(lián)系ER模型和面向應(yīng)用的數(shù)據(jù)庫設(shè)計(jì).OLAP采用星型或雪花模型和面向主題的數(shù)據(jù)庫設(shè)計(jì).視圖:OLTP主要關(guān)注一個(gè)企業(yè)或部門內(nèi)部的當(dāng)前數(shù)據(jù),不涉及歷史數(shù)據(jù)或不同組織的數(shù)據(jù)OLAP則相反.數(shù)據(jù)庫設(shè)計(jì):訪問模式:OLTP系統(tǒng)的訪問主要由短的原子事務(wù)組成.這種系統(tǒng)需要并行和恢復(fù)機(jī)制.OLAP系統(tǒng)的訪問大部分是只讀操作.訪問模式:為什么需要分離的數(shù)據(jù)倉庫分離操作數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫的主要原因是提高兩個(gè)系統(tǒng)的性能.操作數(shù)據(jù)庫系統(tǒng)是為已知的任務(wù)和負(fù)載設(shè)計(jì)的,而數(shù)據(jù)倉庫的查詢通常是復(fù)雜的,涉及大量數(shù)據(jù)在匯總級(jí)的計(jì)算,在操作數(shù)據(jù)庫系統(tǒng)上處理OLAP查詢,可能會(huì)大大降低操作任務(wù)的性能.為什么需要分離的數(shù)據(jù)倉庫分離操作數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫的主要3.2多維數(shù)據(jù)模型數(shù)據(jù)倉庫和OLAP工具基于多維數(shù)據(jù)模型,該模型將數(shù)據(jù)看作數(shù)據(jù)立方體形式數(shù)據(jù)立方體允許以多維對(duì)數(shù)據(jù)建模和觀察.具體圖形詳見71頁圖3-13.2多維數(shù)據(jù)模型數(shù)據(jù)倉庫和OLAP工具基于多維數(shù)據(jù)模型,多維數(shù)據(jù)庫模式星型,雪花和事實(shí)星座模式是主要的存在形式星型模式包含一個(gè)大的包含大批數(shù)據(jù)的事實(shí)表和一系列維表.如73頁圖3-4雪花模式是星型模式的變種,不同的是將某些維表規(guī)范化.如74頁圖3-5事實(shí)星座模式對(duì)應(yīng)多個(gè)事實(shí)表共享維表.如74頁圖3-6多維數(shù)據(jù)庫模式星型,雪花和事實(shí)星座模式是主要的存在形式26星形模式例子

time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcitystate_or_provincecountrylocationSalesFactTable

time_key

item_key

branch_key

location_key

units_sold

dollars_sold

avg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranch26星形模式例子time_keytimelocatio27雪花形模式time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcity_keylocationSalesFactTable

time_key

item_key

branch_key

location_key

units_sold

dollars_sold

avg_salesMeasuresitem_keyitem_namebrandtypesupplier_keyitembranch_keybranch_namebranch_typebranchsupplier_keysupplier_typesuppliercity_keycitystate_or_provincecountrycity27雪花形模式time_keytimelocation_ke28事實(shí)星座形time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcityprovince_or_statecountrylocationSalesFactTabletime_key

item_key

branch_key

location_key

units_sold

dollars_sold

avg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchShippingFactTabletime_key

item_key

shipper_key

from_location

to_location

dollars_cost

units_shippedshipper_keyshipper_namelocation_keyshipper_typeshipper28事實(shí)星座形time_keytimelocation_ke定義模式的例子定義圖3-4的星型模式:定義立方體:Definecubesales_star[time,item,branch,location]:dollars_sold=sum(sales_in_dollars),units_old=count(*)定義模式的例子定義圖3-4的星型模式:定義維

Definedimensiontimeas(time_key,day,day_of_week,month,quarter,year)定義維度量的分類和計(jì)算分布的:

設(shè)數(shù)據(jù)被劃分為n個(gè)集合,函數(shù)在每一部分上的計(jì)算得到一個(gè)聚集值.如果將函數(shù)用于n個(gè)聚集值得到的結(jié)果,與將函數(shù)用于所有數(shù)據(jù)得到的結(jié)果一樣則該度量是分布的,如count(),sum()等度量的分類和計(jì)算分布的:代數(shù)的:

如果一個(gè)聚集函數(shù)能夠由一個(gè)具有M個(gè)參數(shù)的代數(shù)函數(shù)計(jì)算,且每個(gè)參數(shù)都可以用一個(gè)分布聚集函數(shù)求得.如avg()可以由sum()/count()計(jì)算,其中sum()和count()是分布聚集函數(shù).代數(shù)的:整體的:

如果一個(gè)聚集函數(shù)無法用具有M個(gè)參數(shù)的代數(shù)函數(shù)進(jìn)行這一計(jì)算,則這個(gè)函數(shù)稱是整體的,如rand()等許多度量可以用關(guān)系的聚集操作計(jì)算對(duì)應(yīng)圖2-4,我們也可寫出SQL語句.整體的:計(jì)算dollars_sold和units_soldSelectsum(s.number_of_units_sold*s.price)Sum(s.number_of_units_sold)Fromtimet,itemi,branchb,locationl,saless,Wheres.time_key=t.time_keyands.item_key=i.item_keyands.branch_key=b.branch_keyands.loation_key=l.location_keyGroupbys.time_key,s.item_key,s.branch_key,s.location_key計(jì)算dollars_sold和units_soldSelec概念分層全序相關(guān)偏序相關(guān)

CountryyearCityquartermonthweekStreetday概念分層全序相關(guān)36概念分層allEuropeNorth_AmericaMexicoCanadaSpainGermanyVancouverM.WindL.Chan..................allregionofficecountryTorontoFrankfurtcity36概念分層allEuropeNorth_AmericaMe37倉庫與概念視圖SpecificationofhierarchiesSchemahierarchyday<{month<quarter;week}<yearSet_groupinghierarchy{1..10}<inexpensive37倉庫與概念視圖Specificationofhier38多維數(shù)據(jù)Salesvolumeasafunctionofproduct,month,andregionProductRegionMonthDimensions:Product,Location,TimeHierarchicalsummarizationpathsIndustryRegionYearCategoryCountryQuarterProductCityMonthWeekOfficeDay38多維數(shù)據(jù)Salesvolumeasafuncti39ASampleDataCubeTotalannualsalesofTVinU.S.A.DateProductCountryAll,All,Allsumsum

TVVCRPC1Qtr2Qtr3Qtr4QtrU.S.ACanadaMexicosum39ASampleDataCubeTotalannu多維數(shù)據(jù)模型的OLAP操作上卷操作,通過維規(guī)約,在數(shù)據(jù)立方體上進(jìn)行聚集.下鉆操作,是上卷操作的逆操作,由不太詳細(xì)的數(shù)據(jù)到更詳細(xì)的數(shù)據(jù).切片和切塊,切片在給定的數(shù)據(jù)立方體的一個(gè)維上進(jìn)行選擇,切塊則是在兩個(gè)或兩個(gè)以上的維進(jìn)行選擇.轉(zhuǎn)軸操作,轉(zhuǎn)動(dòng)數(shù)據(jù)的視覺,是目視操作.如圖3-10所示多維數(shù)據(jù)模型的OLAP操作上卷操作,通過維規(guī)約,在數(shù)據(jù)立方體41圖3.10典型OLAP操作41圖3.10典型OLAP操作3.3數(shù)據(jù)倉庫的系統(tǒng)結(jié)構(gòu)自頂向下視圖,使我們可以選擇數(shù)據(jù)倉庫所需的相關(guān)信息.數(shù)據(jù)源視圖,揭示被操作數(shù)據(jù)庫系統(tǒng)捕獲存儲(chǔ)和管理的信息.數(shù)據(jù)倉庫視圖,包括事實(shí)表和維表.商務(wù)查詢視圖,從最終用戶的角度透視數(shù)據(jù)倉庫中的數(shù)據(jù).3.3數(shù)據(jù)倉庫的系統(tǒng)結(jié)構(gòu)自頂向下視圖,使我們可以選擇數(shù)據(jù)43數(shù)據(jù)倉庫的設(shè)計(jì):商業(yè)分析框架四種視圖自定向下視圖allowsselectionoftherelevantinformationnecessaryforthedatawarehouse數(shù)據(jù)源視圖exposestheinformationbeingcaptured,stored,andmanagedbyoperationalsystems數(shù)據(jù)倉庫視圖consistsoffacttablesanddimensiontables商業(yè)查詢視圖

seestheperspectivesofdatainthewarehousefromtheviewofend-user43數(shù)據(jù)倉庫的設(shè)計(jì):商業(yè)分析框架四種視圖數(shù)據(jù)倉庫設(shè)計(jì)過程選取待建模的商務(wù)處理選取商務(wù)處理的粒度,例如單個(gè)事務(wù),一天的快照等選取用于每個(gè)事實(shí)表記錄的維.選取將安放在事實(shí)表中的度量如圖3-4中的dollars_sold和units_sold數(shù)據(jù)倉庫設(shè)計(jì)過程選取待建模的商務(wù)處理45數(shù)據(jù)倉庫:多層結(jié)構(gòu)DataWarehouseExtractTransformLoadRefreshOLAP引擎AnalysisQueryReportsDataminingMonitor&IntegratorMetadata數(shù)據(jù)源前端工具ServeDataMartsOperationalDBsOthersources數(shù)據(jù)存儲(chǔ)OLAPServer45數(shù)據(jù)倉庫:多層結(jié)構(gòu)DataExtractOLAP引擎三層數(shù)據(jù)倉庫結(jié)構(gòu)底層數(shù)據(jù)倉庫服務(wù)器,使用稱作網(wǎng)間連接程序的應(yīng)用程序,由操作數(shù)據(jù)庫和外部數(shù)據(jù)源提取數(shù)據(jù).中間層是OLAP服務(wù)器,實(shí)現(xiàn)方法有關(guān)系OLAP模型,在多維數(shù)據(jù)上的操作映射為標(biāo)準(zhǔn)的關(guān)系操作多維OLAP模型,直接實(shí)現(xiàn)多維數(shù)據(jù)的操作三層數(shù)據(jù)倉庫結(jié)構(gòu)底層數(shù)據(jù)倉庫服務(wù)器,使用稱作網(wǎng)間連接程序的應(yīng)頂層是客戶,它包括查詢和報(bào)告工具,分析工具和數(shù)據(jù)挖掘工具(例如趨勢分析,預(yù)測等)頂層是客戶,它包括查詢和報(bào)告工具,分析工具和數(shù)據(jù)挖掘工具(例數(shù)據(jù)倉庫的類型企業(yè)倉庫:企業(yè)倉庫收集了關(guān)于主題的所有信息,跨越整個(gè)組織,它提供企業(yè)范圍內(nèi)的數(shù)據(jù)集成.數(shù)據(jù)集市:包含企業(yè)范圍數(shù)據(jù)的一個(gè)子集,對(duì)于特定的用戶是有用的,其范圍限于選定的主題.虛擬倉庫:是操作數(shù)據(jù)庫上的視圖集合.為了有效地處理查詢,只有一些可能的匯總視圖被物化,虛擬倉庫易于建立,但需要操作數(shù)據(jù)庫服務(wù)器具有剩余能力.數(shù)據(jù)倉庫的類型企業(yè)倉庫:企業(yè)倉庫收集了關(guān)于主題的所有信息,跨49數(shù)據(jù)倉庫開發(fā)的推薦方法Defineahigh-levelcorporatedatamodelDataMartDataMartDistributedDataMartsMulti-TierDataWarehouseEnterpriseDataWarehouseModelrefinementModelrefinement49數(shù)據(jù)倉庫開發(fā)的推薦方法Defineahigh-lev50數(shù)據(jù)倉庫后端工具和實(shí)用程序數(shù)據(jù)提取getdatafrommultiple,heterogeneous,andexternalsources數(shù)據(jù)清理detecterrorsinthedataandrectifythemwhenpossible數(shù)據(jù)變換convertdatafromlegacyorhostformattowarehouseformat裝入sort,summarize,consolidate,computeviews,checkintegrity,andbuildindiciesandpartitions刷新propagatetheupdatesfromthedatasourcestothewarehouse50數(shù)據(jù)倉庫后端工具和實(shí)用程序數(shù)據(jù)提取OLAP服務(wù)器類型關(guān)系OLAP(ROLAP)模型,使用關(guān)系或擴(kuò)充關(guān)系DBMS存放并管理數(shù)據(jù)倉庫多維OLAP(MOLAP)服務(wù)器,這些服務(wù)器通過基于數(shù)組的多維存儲(chǔ),支持?jǐn)?shù)組的多維視圖混合OLAP(HOLAP)服務(wù)器,結(jié)合ROLAP和MOLAP技術(shù),得宜于ROLAP的可伸縮性,和MOLAP的快速計(jì)算.OLAP服務(wù)器類型關(guān)系OLAP(ROLAP)模型,使用關(guān)系或特殊的SQL服務(wù)器,為了滿足在關(guān)系數(shù)據(jù)庫中日益增長的OLAP需要,實(shí)現(xiàn)了特殊的SQL服務(wù)器,提供高級(jí)查詢語言和查詢處理,在星型和雪花模式上支持SQL查詢.特殊的SQL服務(wù)器,為了滿足在關(guān)系數(shù)據(jù)庫中日益增長的OLAP數(shù)據(jù)立方體的有效計(jì)算計(jì)算量:對(duì)一個(gè)n維數(shù)據(jù)立方體,第i維的層次是Li,則可能產(chǎn)生的立方體總數(shù)是T=(L1+1)*…*(Ln+1)如果10維每維4個(gè)層次產(chǎn)生的方體數(shù)是5的10次方=9800000.預(yù)先計(jì)算并物化所有可能產(chǎn)生的方體是不現(xiàn)實(shí)的,較合理的是部分物化3.4數(shù)據(jù)倉庫實(shí)現(xiàn)數(shù)據(jù)立方體的有效計(jì)算計(jì)算量:對(duì)一個(gè)n維數(shù)據(jù)立方體,第i維的層方體的選擇計(jì)算不物化:導(dǎo)致運(yùn)行時(shí)計(jì)算昂貴的多維聚集,速度極慢.全物化:需要海量存儲(chǔ)空間,存放所有預(yù)先計(jì)算的方體.部分物化:在存儲(chǔ)空間和響應(yīng)時(shí)間二者之間提供了很好的折衷.方體的選擇計(jì)算不物化:導(dǎo)致運(yùn)行時(shí)計(jì)算昂貴的多維聚集,速度極慢多路數(shù)組聚集將數(shù)組分成塊,塊的大小能夠放入立方體計(jì)算時(shí)可用的內(nèi)存.通過訪問立方體單元進(jìn)行聚集,使得每個(gè)單元必須重新訪問的次數(shù)最小化.多路數(shù)組聚集將數(shù)組分成塊,塊的大小能夠放入立方體計(jì)算時(shí)可用的索引OLAP數(shù)據(jù)位圖索引:如圖3-17所示,與散列和樹索引相比,位圖索引將比較,連接和聚集都變成了位算術(shù)運(yùn)算,大大減少了運(yùn)行時(shí)間.連接索引:源于關(guān)系數(shù)據(jù)庫的查詢處理.位圖連接索引:將連接索引和位圖索引集成.索引OLAP數(shù)據(jù)位圖索引:如圖3-17所示,與散列和樹索引相OLAP查詢的有效處理確定那些操作應(yīng)當(dāng)在可利用的方體上執(zhí)行,這涉及將查詢中的選擇投影上卷下鉆操作轉(zhuǎn)換成對(duì)應(yīng)的SQL或OLAP操作.確定相關(guān)操作應(yīng)當(dāng)使用哪些物化的方體,這涉及到找出可能用于查詢的所有物化方體.OLAP查詢的有效處理確定那些操作應(yīng)當(dāng)在可利用的方體上執(zhí)行,具體步驟考察的方體必須與查詢具有相同的維集合,或是它的超集.選擇代價(jià)最小的方體.具體步驟考察的方體必須與查詢具有相同的維集合,或是它的超集.元數(shù)據(jù)存儲(chǔ)元數(shù)據(jù)是定義數(shù)據(jù)倉庫對(duì)象的數(shù)據(jù).元數(shù)據(jù)的存儲(chǔ)包括數(shù)據(jù)倉庫結(jié)構(gòu)的描述對(duì)元數(shù)據(jù)的操作匯總用的算法由操作環(huán)境到數(shù)據(jù)倉庫的映射關(guān)于系統(tǒng)性能的數(shù)據(jù)商務(wù)元數(shù)據(jù)元數(shù)據(jù)存儲(chǔ)元數(shù)據(jù)是定義數(shù)據(jù)倉庫對(duì)象的數(shù)據(jù).元數(shù)據(jù)數(shù)據(jù)倉庫后端工具數(shù)據(jù)提取:從多個(gè)異種的外部數(shù)據(jù)源收集數(shù)據(jù).數(shù)據(jù)清理:檢測錯(cuò)誤,可能時(shí)修改錯(cuò)誤.數(shù)據(jù)變換:將數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)倉庫格式.裝入:排序,綜合,合并,計(jì)算視圖,檢查整體性,并建立索引和劃分.刷新:傳播由數(shù)據(jù)源到數(shù)據(jù)倉庫的更新.數(shù)據(jù)倉庫后端工具數(shù)據(jù)提取:從多個(gè)異種的外部數(shù)據(jù)源收集數(shù)據(jù).數(shù)據(jù)倉庫的維護(hù)系統(tǒng)維護(hù)：是在系統(tǒng)已經(jīng)交付使用之后為了改正錯(cuò)誤和為了滿足新的需要而修改系統(tǒng)的過程。數(shù)據(jù)倉庫中數(shù)據(jù)的日常管理工作：清除過時(shí)的、不再使用的數(shù)據(jù)；定期從源數(shù)據(jù)中提取數(shù)據(jù)，刷新數(shù)據(jù)倉庫中的數(shù)據(jù)；管理元數(shù)據(jù)等。數(shù)據(jù)倉庫系統(tǒng)的完善工作：改正性維護(hù)：在數(shù)據(jù)倉庫設(shè)計(jì)與開發(fā)過程中，雖然已經(jīng)進(jìn)行了嚴(yán)格的測試，但對(duì)于一個(gè)大型的系統(tǒng)可能還潛藏著一些錯(cuò)誤，改正性維護(hù)就是為了發(fā)現(xiàn)和改正這些錯(cuò)誤而進(jìn)行的過程。適應(yīng)性維護(hù)：數(shù)據(jù)倉庫的構(gòu)建是基于當(dāng)時(shí)的技術(shù)條件的，由于計(jì)算機(jī)科學(xué)技術(shù)發(fā)展十分迅速，每隔一定的周期硬件設(shè)備和系統(tǒng)軟件都會(huì)發(fā)生重大的變革，適應(yīng)性維護(hù)就是為了與變化了的環(huán)境相配合而進(jìn)行的對(duì)系統(tǒng)進(jìn)行修改的活動(dòng)。完善性維護(hù)：因?yàn)閿?shù)據(jù)倉庫系統(tǒng)一般是采用快速原型法開發(fā)的，需要在系統(tǒng)的運(yùn)行過程中不斷地聽取用戶對(duì)已有功能的修改建議和增加新功能的需求，使系統(tǒng)日趨完善，這項(xiàng)工作稱為完善性維護(hù)。預(yù)防性維護(hù)：預(yù)防性維護(hù)則是指為了改進(jìn)系統(tǒng)未來的性能和功能打下基礎(chǔ)而進(jìn)行的修改工作。數(shù)據(jù)倉庫的維護(hù)進(jìn)一步發(fā)展和探討發(fā)現(xiàn)驅(qū)動(dòng)的探查:預(yù)計(jì)算的度量指出數(shù)據(jù)異常,避免人工檢查數(shù)據(jù).擴(kuò)充SQL語句的實(shí)現(xiàn)(多粒度上的復(fù)雜聚集).聯(lián)機(jī)聚集,可以顯示迄今為止所知道的,而不是等待查詢完全處理完.最高N查詢,只查詢最高的N項(xiàng),而不是整個(gè)排序的表,這導(dǎo)致較快的響應(yīng)時(shí)間并減少資源浪費(fèi).進(jìn)一步發(fā)展和探討發(fā)現(xiàn)驅(qū)動(dòng)的探查:預(yù)計(jì)算的度量指出數(shù)據(jù)異常,避3.5從數(shù)據(jù)倉庫到數(shù)據(jù)挖掘信息處理:支持查詢和基本的統(tǒng)計(jì)分析,并使用表或圖進(jìn)行報(bào)告.分析處理:支持基本的OLAP操作,在匯總的和細(xì)節(jié)的歷史數(shù)據(jù)上操作.數(shù)據(jù)挖掘:支持知識(shí)發(fā)現(xiàn),包括找出隱藏的模式和關(guān)聯(lián),構(gòu)造分析模型,進(jìn)行分類和預(yù)測,并用可視化工具提供挖掘結(jié)果.數(shù)據(jù)倉庫的應(yīng)用3.5從數(shù)據(jù)倉庫到數(shù)據(jù)挖掘信息處理:支持查詢和基本的統(tǒng)計(jì)分聯(lián)機(jī)分析挖掘(OLAM)將聯(lián)機(jī)分析處理與數(shù)據(jù)挖掘集成,有以下幾個(gè)原因:數(shù)據(jù)倉庫中數(shù)據(jù)的高質(zhì)量:大部分?jǐn)?shù)據(jù)挖掘工具需要在集成的一致的和清理過的數(shù)據(jù)上進(jìn)行,經(jīng)由這些預(yù)處理而構(gòu)造的數(shù)據(jù)倉庫不僅用作OLAP而且也用作數(shù)據(jù)挖掘的數(shù)據(jù)源.聯(lián)機(jī)分析挖掘(OLAM)將聯(lián)機(jī)分析處理與數(shù)據(jù)挖掘集成,有以下環(huán)繞數(shù)據(jù)倉庫的有價(jià)值的信息處理基礎(chǔ)設(shè)施:謹(jǐn)慎的做法是盡量利用可用的基礎(chǔ)設(shè)施,而不是一切從頭做起.基于OLAP的探測式數(shù)據(jù)分析:有效的數(shù)據(jù)挖掘需要探測式數(shù)據(jù)分析.用戶常常想在不同粒度上分析它們.聯(lián)機(jī)分析挖掘提供在不同的數(shù)據(jù)子集和不同的抽象層上進(jìn)行數(shù)據(jù)挖掘的工具.數(shù)據(jù)挖掘功能的聯(lián)機(jī)選擇:用戶常常不知道想挖掘些什么.通過將OLAP與多種數(shù)據(jù)挖掘功能集成在一起,聯(lián)機(jī)分析挖掘?yàn)橛脩暨x擇所期望的數(shù)據(jù)挖掘功能動(dòng)態(tài)修改挖掘任務(wù)提供了靈活性環(huán)繞數(shù)據(jù)倉庫的有價(jià)值的信息處理基礎(chǔ)設(shè)施:謹(jǐn)慎的做法是盡量利用66一個(gè)OLAM系統(tǒng)架構(gòu)DataWarehouseMetaDataMDDBOLAMEngineOLAPEngineUserGUIAPIDataCubeAPIDatabaseAPIDatacleaningDataintegrationLayer3OLAP/OLAMLayer2MDDBLayer1DataRepositoryLayer4UserInterfaceFiltering&IntegrationFilteringDatabasesMiningqueryMiningresult66一個(gè)OLAM系統(tǒng)架構(gòu)DataMetaDataMD676768數(shù)據(jù)倉庫與數(shù)據(jù)挖掘

—第3章—數(shù)據(jù)倉庫與OLAP概述1數(shù)據(jù)倉庫與數(shù)據(jù)挖掘

—第3章—數(shù)據(jù)倉庫與OLAP概述69第3章數(shù)據(jù)倉庫與OLAP技術(shù)概述什么是數(shù)據(jù)倉庫?多維數(shù)據(jù)模型數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)數(shù)據(jù)倉庫實(shí)現(xiàn)從數(shù)據(jù)倉庫到數(shù)據(jù)挖掘2第3章數(shù)據(jù)倉庫與OLAP技術(shù)概述什么是數(shù)據(jù)倉庫?數(shù)據(jù)倉庫的發(fā)展IBM:在其DB2UDB發(fā)布一年后的1998年9月發(fā)布5.2版，并于1998年12月推向中國市場，除了用于OLAP（聯(lián)機(jī)分析處理）的后臺(tái)服務(wù)器DB2OLAPServer外，IBM還提供了一系列相關(guān)的產(chǎn)品，包括前端工具，形成一整套解決方案。Informix公司:在其動(dòng)態(tài)服務(wù)器IDS（InformixDynamicServer）中提供一系列相關(guān)選件，如高級(jí)決策支持選件（AdvancedDecisionSupportOption）、OLAP選件（MetaCubeROLAPOption）、擴(kuò)展并行選件（ExtendedParallelOption）等，這種體系結(jié)構(gòu)嚴(yán)謹(jǐn)、管理方便、索引機(jī)制完善，并行處理的效率更高，其中數(shù)據(jù)倉庫和數(shù)據(jù)庫查詢的SQL語句的一致性使得用戶開發(fā)更加簡便。數(shù)據(jù)倉庫的發(fā)展IBM:在其DB2UDB發(fā)布一年后的1998數(shù)據(jù)倉庫的發(fā)展微軟公司:在其SQLServer7.0以及SQLServer2000中集成了代號(hào)為Plato的OLAP服務(wù)器。Sybase:提供了專門的OLAP服務(wù)器SybaseIQ，并將其與數(shù)據(jù)倉庫相關(guān)工具打包成WarehouseStudio。PLATINUM:提出了由InfoPump（數(shù)據(jù)倉庫建模與數(shù)據(jù)加載工具）和Forest&Trees（前端報(bào)表工具）構(gòu)成的一套較有特色的整體方案。；Oracle公司:則推出從數(shù)據(jù)倉庫構(gòu)建、OLAP到數(shù)據(jù)集市管理等一系列產(chǎn)品包（如OracleWarehouseBuilder、OracleExpress、DataMartSuit等）。

數(shù)據(jù)倉庫的發(fā)展微軟公司:在其SQLServer7.0以及數(shù)據(jù)倉庫的我國的發(fā)展前景：隨著計(jì)算機(jī)技術(shù)的發(fā)展，尤其是分布式技術(shù)的發(fā)展，數(shù)據(jù)倉庫在我國有著廣闊的發(fā)展空間和良好的發(fā)展前景。例如：由于銀行商業(yè)化的步伐正在加大，各大中型銀行在入世的機(jī)遇和挑戰(zhàn)下，開始重新考慮自身的業(yè)務(wù)，特別是信貸風(fēng)險(xiǎn)管理方面特別注意，因而有關(guān)信貸風(fēng)險(xiǎn)管理和風(fēng)險(xiǎn)規(guī)章的基于數(shù)據(jù)倉庫的決策支持系統(tǒng)的需求逐漸增多；由于電子商務(wù)的迅速發(fā)展，越來越多的電子商務(wù)網(wǎng)站，開始考慮如何將數(shù)據(jù)倉庫應(yīng)用于商品銷售分析、顧客的誠信度分析等，為客戶提供更進(jìn)一步的個(gè)性化服務(wù)；如移動(dòng)通信等各大型企業(yè)也開始考慮著手進(jìn)行決策支持以及數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫的我國的發(fā)展前景：隨著計(jì)算機(jī)技術(shù)的發(fā)展，尤其是分布式數(shù)據(jù)挖掘的發(fā)展數(shù)據(jù)挖掘是與數(shù)據(jù)倉庫密切相關(guān)的一個(gè)信息技術(shù)新領(lǐng)域，它是信息技術(shù)自然演化的結(jié)果。隨著數(shù)據(jù)庫技術(shù)的迅速發(fā)展以及數(shù)據(jù)庫管理系統(tǒng)的廣泛應(yīng)用，人們積累的數(shù)據(jù)越來越多，但缺乏挖掘數(shù)據(jù)中隱藏的知識(shí)的手段，導(dǎo)致了“數(shù)據(jù)爆炸但知識(shí)貧乏的”現(xiàn)象。自80年代后期以來，聯(lián)機(jī)分析處理（OLAP）和數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。數(shù)據(jù)挖掘的發(fā)展數(shù)據(jù)挖掘是與數(shù)據(jù)倉庫密切相關(guān)的一個(gè)信息技術(shù)新領(lǐng)3.1什么是數(shù)據(jù)倉庫數(shù)據(jù)倉庫用來保存從多個(gè)數(shù)據(jù)庫或其它信息源選取的數(shù)據(jù),并為上層應(yīng)用提供統(tǒng)一用戶接口，完成數(shù)據(jù)查詢和分析。數(shù)據(jù)倉庫是作為DSS服務(wù)基礎(chǔ)的分析型DB，用來存放大容量的只讀數(shù)據(jù)，為制定決策提供所需要的信息。數(shù)據(jù)倉庫是與操作型系統(tǒng)相分離的、基于標(biāo)準(zhǔn)企業(yè)模型集成的、帶有時(shí)間屬性的、面向主題及不可更新的數(shù)據(jù)集合。W.H.Inmon對(duì)數(shù)據(jù)倉庫所下的定義：數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、時(shí)變的和非易失的數(shù)據(jù)集合，支持管理部門的決策過程。3.1什么是數(shù)據(jù)倉庫數(shù)據(jù)倉庫用來保存從多個(gè)數(shù)據(jù)庫或其它信息源數(shù)據(jù)倉庫的適用范圍信息源中的數(shù)據(jù)變化穩(wěn)定或可預(yù)測應(yīng)用不需要最新的數(shù)據(jù)或允許有延遲應(yīng)用要求有較高的查詢性能 而降低精度要求數(shù)據(jù)倉庫的適用范圍信息源中的數(shù)據(jù)變化穩(wěn)定數(shù)據(jù)倉庫中數(shù)據(jù)的特點(diǎn)

面向主題集成性非易失性時(shí)變性數(shù)據(jù)倉庫中數(shù)據(jù)的特點(diǎn)面向主題面向主題主題：是一個(gè)抽象的概念，是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進(jìn)行分析利用的抽象。在邏輯上，它對(duì)應(yīng)于企業(yè)中某一宏觀分析領(lǐng)域所涉及的分析對(duì)象。面向主題的數(shù)據(jù)組織方式可在較高層次上對(duì)分析對(duì)象的數(shù)據(jù)給出完整、一致的描述，能完整、統(tǒng)一的刻畫各個(gè)分析對(duì)象所涉及的企業(yè)的各項(xiàng)數(shù)據(jù)以及數(shù)據(jù)之間的聯(lián)系，從而適應(yīng)企業(yè)各個(gè)部門的業(yè)務(wù)活動(dòng)特點(diǎn)和企業(yè)數(shù)據(jù)的動(dòng)態(tài)特征，從根本上實(shí)現(xiàn)數(shù)據(jù)與應(yīng)用的分離。面向主題主題：是一個(gè)抽象的概念，是在較高層次上將企業(yè)信息系統(tǒng)集成性數(shù)據(jù)倉庫中的數(shù)據(jù)是從原有分散的源數(shù)據(jù)庫中提取出來的，其每一個(gè)主題所對(duì)應(yīng)的源數(shù)據(jù)在原有的數(shù)據(jù)庫中有許多冗余和不一致，且與不同的應(yīng)用邏輯相關(guān)。為了創(chuàng)建一個(gè)有效的主題域，必須將這些來自不同數(shù)據(jù)源的數(shù)據(jù)集成起來，使之遵循統(tǒng)一的編碼規(guī)則。因此，數(shù)據(jù)倉庫在提取數(shù)據(jù)時(shí)必須經(jīng)過數(shù)據(jù)集成，消除源數(shù)據(jù)中的矛盾，并進(jìn)行數(shù)據(jù)綜合和計(jì)算。經(jīng)過數(shù)據(jù)集成后，數(shù)據(jù)倉庫所提供的信息比數(shù)據(jù)庫提供的信息更概括、更本質(zhì)。

集成性數(shù)據(jù)倉庫中的數(shù)據(jù)是從原有分散的源數(shù)據(jù)庫中提取出來的，其非易失性數(shù)據(jù)倉庫中的數(shù)據(jù)反映的是一段時(shí)間內(nèi)歷史數(shù)據(jù)的內(nèi)容，是不同時(shí)點(diǎn)的數(shù)據(jù)庫快照的集合，以及基于撰寫快照進(jìn)行統(tǒng)計(jì)、綜合和重組的導(dǎo)出數(shù)據(jù)，而不是聯(lián)機(jī)處理的數(shù)據(jù)。主要供企業(yè)高層決策分析之用，所涉及的數(shù)據(jù)操作主要是查詢，一般情況下并不進(jìn)行修改操作，即數(shù)據(jù)倉庫中的數(shù)據(jù)是不可實(shí)時(shí)更新的，僅當(dāng)超過規(guī)定的存儲(chǔ)期限，才將其從數(shù)據(jù)倉庫中刪除，提取新的數(shù)據(jù)經(jīng)集成后輸入數(shù)據(jù)倉庫。非易失性數(shù)據(jù)倉庫中的數(shù)據(jù)反映的是一段時(shí)間內(nèi)歷史數(shù)據(jù)的內(nèi)容，是時(shí)變性時(shí)變性：許多商業(yè)分析要求對(duì)發(fā)展趨勢做出預(yù)測，對(duì)發(fā)展趨勢的分析需要訪問歷史數(shù)據(jù)。因此數(shù)據(jù)倉庫必須不斷捕捉OLTP數(shù)據(jù)庫中變化的數(shù)據(jù)，生成數(shù)據(jù)庫的快照，經(jīng)集成后增加到數(shù)據(jù)倉庫中去；另外數(shù)據(jù)倉庫還需要隨時(shí)間的變化刪去過期的、對(duì)分析沒有幫助的數(shù)據(jù)，并且還需要按規(guī)定的時(shí)間段增加綜合數(shù)據(jù)。時(shí)變性時(shí)變性：許多商業(yè)分析要求對(duì)發(fā)展趨勢做出預(yù)測，對(duì)發(fā)展趨勢支持管理決策數(shù)據(jù)倉庫支持OLAP（聯(lián)機(jī)分析處理）、數(shù)據(jù)挖掘和決策分析。OLAP從數(shù)據(jù)倉庫中的綜合數(shù)據(jù)出發(fā)，提供面向分析的多維模型，并使用多維分析的方法從多個(gè)角度、多個(gè)層次對(duì)多維數(shù)據(jù)進(jìn)行分析，使決策者能夠以更加自然的方式來分析數(shù)據(jù)。數(shù)據(jù)挖掘則以數(shù)據(jù)倉庫和多維數(shù)據(jù)庫中的數(shù)據(jù)為基礎(chǔ)，發(fā)現(xiàn)數(shù)據(jù)中的潛在模式和進(jìn)行預(yù)測。因此，數(shù)據(jù)倉庫的功能是支持管理層進(jìn)行科學(xué)決策，而不是事務(wù)處理。支持管理決策數(shù)據(jù)倉庫的技術(shù)要求大量數(shù)據(jù)的組織和管理：包含了大量的歷史數(shù)據(jù)，它是從數(shù)據(jù)庫中提取得來的，不必關(guān)心它的數(shù)據(jù)安全性和數(shù)據(jù)完整性。復(fù)雜分析的高性能體現(xiàn)：涉及大量數(shù)據(jù)的聚集、綜合等，在進(jìn)行復(fù)雜查詢時(shí)經(jīng)常會(huì)使用多表的聯(lián)接、累計(jì)、分類、排序等操作。對(duì)提取出來的數(shù)據(jù)進(jìn)行集成：數(shù)據(jù)倉庫中的數(shù)據(jù)是從多個(gè)應(yīng)用領(lǐng)域中提取出來的，在不同的應(yīng)用領(lǐng)域和不同的數(shù)據(jù)庫系統(tǒng)中都有不同的結(jié)構(gòu)和形式，所以如何對(duì)數(shù)據(jù)進(jìn)行集成也是構(gòu)建數(shù)據(jù)倉庫的一個(gè)重要方面。對(duì)進(jìn)行高層決策的最終用戶的界面支持：提供各種分析應(yīng)用工具。數(shù)據(jù)倉庫的技術(shù)要求大量數(shù)據(jù)的組織和管理：包含了大量的歷史數(shù)據(jù)操作數(shù)據(jù)庫與數(shù)據(jù)倉庫的區(qū)別操作數(shù)據(jù)庫系統(tǒng)的主要任務(wù)是聯(lián)機(jī)事務(wù)處理OLTP數(shù)據(jù)倉庫在數(shù)據(jù)分析和決策方面為用戶提供服務(wù),這種系統(tǒng)稱為聯(lián)機(jī)分析處理OLAP操作數(shù)據(jù)庫與數(shù)據(jù)倉庫的區(qū)別操作數(shù)據(jù)庫系統(tǒng)的主要任務(wù)是聯(lián)機(jī)事務(wù)事務(wù)型處理與分析型處理事務(wù)型處理：即操作型處理，是指對(duì)數(shù)據(jù)庫的聯(lián)機(jī)操作處理。事務(wù)型處理是用來協(xié)助企業(yè)對(duì)響應(yīng)事件或事務(wù)的日常商務(wù)活動(dòng)進(jìn)行處理。它是事件驅(qū)動(dòng)、面向應(yīng)用的，通常是對(duì)一個(gè)或一組記錄的增、刪、改以及簡單查詢等。事務(wù)型處理的應(yīng)用程序和數(shù)據(jù)是緊緊圍繞著所管理的事件來構(gòu)造的。在事務(wù)型處理環(huán)境中，數(shù)據(jù)庫要求能支持日常事務(wù)中的大量事務(wù)，用戶對(duì)數(shù)據(jù)的存取操作頻率高而每次操作處理的時(shí)間短。事務(wù)型處理與分析型處理事務(wù)型處理：即操作型處理，是指對(duì)數(shù)據(jù)庫分析型處理分析型處理：用于管理人員的決策分析，例如DSS、EIS、和多維分析等。它幫助決策者分析數(shù)據(jù)以察看趨向、判斷問題。分析型處理經(jīng)常要訪問大量的歷史數(shù)據(jù)，支持復(fù)雜的查詢。在分析型處理中，并不是對(duì)從事務(wù)型處理環(huán)境中得到的細(xì)節(jié)數(shù)據(jù)進(jìn)行分析。細(xì)節(jié)數(shù)據(jù)量太大，會(huì)嚴(yán)重影響分析的效率，而且太多的細(xì)節(jié)數(shù)據(jù)不利于分析人員將注意力集中于有用的信息。分析型處理過程中經(jīng)常用到外部數(shù)據(jù)，這部分?jǐn)?shù)據(jù)不是由事務(wù)型處理系統(tǒng)產(chǎn)生的，而是來自于其他外部數(shù)據(jù)源。分析型處理分析型處理：用于管理人員的決策分析，例如DSS、事務(wù)型處理數(shù)據(jù)和分析型處理數(shù)據(jù)的區(qū)別

事務(wù)型處理數(shù)據(jù) 分析型處理數(shù)據(jù)

細(xì)節(jié)的綜合的，或提煉的 在存取瞬間是準(zhǔn)確的代表過去的數(shù)據(jù) 可更新 不可更新，只讀的 操作需求事先可知道 操作需求事先不知 生命周期符合SDLC 完全不同的生命周期對(duì)性能要求高對(duì)性能要求寬松一個(gè)時(shí)刻操作一個(gè)單元 一個(gè)時(shí)刻操作一個(gè)事務(wù)驅(qū)動(dòng) 分析驅(qū)動(dòng) 面向應(yīng)用 面向分析一次操作數(shù)據(jù)量小 一次操作數(shù)據(jù)量大 支持日常操作 支持管理需求

事務(wù)型處理數(shù)據(jù)和分析型處理數(shù)據(jù)的區(qū)別事務(wù)型處理數(shù)據(jù) OLTP和OLAP的區(qū)別用戶和系統(tǒng)的面向性:OLTP是面向顧客的,用于事務(wù)和查詢處理OLAP是面向市場的,用于數(shù)據(jù)分析數(shù)據(jù)內(nèi)容:OLTP系統(tǒng)管理當(dāng)前數(shù)據(jù).OLAP系統(tǒng)管理大量歷史數(shù)據(jù),提供匯總和聚集機(jī)制.OLTP和OLAP的區(qū)別用戶和系統(tǒng)的面向性:數(shù)據(jù)庫設(shè)計(jì):OLTP采用實(shí)體-聯(lián)系ER模型和面向應(yīng)用的數(shù)據(jù)庫設(shè)計(jì).OLAP采用星型或雪花模型和面向主題的數(shù)據(jù)庫設(shè)計(jì).視圖:OLTP主要關(guān)注一個(gè)企業(yè)或部門內(nèi)部的當(dāng)前數(shù)據(jù),不涉及歷史數(shù)據(jù)或不同組織的數(shù)據(jù)OLAP則相反.數(shù)據(jù)庫設(shè)計(jì):訪問模式:OLTP系統(tǒng)的訪問主要由短的原子事務(wù)組成.這種系統(tǒng)需要并行和恢復(fù)機(jī)制.OLAP系統(tǒng)的訪問大部分是只讀操作.訪問模式:為什么需要分離的數(shù)據(jù)倉庫分離操作數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫的主要原因是提高兩個(gè)系統(tǒng)的性能.操作數(shù)據(jù)庫系統(tǒng)是為已知的任務(wù)和負(fù)載設(shè)計(jì)的,而數(shù)據(jù)倉庫的查詢通常是復(fù)雜的,涉及大量數(shù)據(jù)在匯總級(jí)的計(jì)算,在操作數(shù)據(jù)庫系統(tǒng)上處理OLAP查詢,可能會(huì)大大降低操作任務(wù)的性能.為什么需要分離的數(shù)據(jù)倉庫分離操作數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫的主要3.2多維數(shù)據(jù)模型數(shù)據(jù)倉庫和OLAP工具基于多維數(shù)據(jù)模型,該模型將數(shù)據(jù)看作數(shù)據(jù)立方體形式數(shù)據(jù)立方體允許以多維對(duì)數(shù)據(jù)建模和觀察.具體圖形詳見71頁圖3-13.2多維數(shù)據(jù)模型數(shù)據(jù)倉庫和OLAP工具基于多維數(shù)據(jù)模型,多維數(shù)據(jù)庫模式星型,雪花和事實(shí)星座模式是主要的存在形式星型模式包含一個(gè)大的包含大批數(shù)據(jù)的事實(shí)表和一系列維表.如73頁圖3-4雪花模式是星型模式的變種,不同的是將某些維表規(guī)范化.如74頁圖3-5事實(shí)星座模式對(duì)應(yīng)多個(gè)事實(shí)表共享維表.如74頁圖3-6多維數(shù)據(jù)庫模式星型,雪花和事實(shí)星座模式是主要的存在形式93星形模式例子

time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcitystate_or_provincecountrylocationSalesFactTable

time_key

item_key

branch_key

location_key

units_sold

dollars_sold

avg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranch26星形模式例子time_keytimelocatio94雪花形模式time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcity_keylocationSalesFactTable

time_key

item_key

branch_key

location_key

units_sold

dollars_sold

avg_salesMeasuresitem_keyitem_namebrandtypesupplier_keyitembranch_keybranch_namebranch_typebranchsupplier_keysupplier_typesuppliercity_keycitystate_or_provincecountrycity27雪花形模式time_keytimelocation_ke95事實(shí)星座形time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcityprovince_or_statecountrylocationSalesFactTabletime_key

item_key

branch_key

location_key

units_sold

dollars_sold

avg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchShippingFactTabletime_key

item_key

shipper_key

from_location

to_location

dollars_cost

units_shippedshipper_keyshipper_namelocation_keyshipper_typeshipper28事實(shí)星座形time_keytimelocation_ke定義模式的例子定義圖3-4的星型模式:定義立方體:Definecubesales_star[time,item,branch,location]:dollars_sold=sum(sales_in_dollars),units_old=count(*)定義模式的例子定義圖3-4的星型模式:定義維

Definedimensiontimeas(time_key,day,day_of_week,month,quarter,year)定義維度量的分類和計(jì)算分布的:

設(shè)數(shù)據(jù)被劃分為n個(gè)集合,函數(shù)在每一部分上的計(jì)算得到一個(gè)聚集值.如果將函數(shù)用于n個(gè)聚集值得到的結(jié)果,與將函數(shù)用于所有數(shù)據(jù)得到的結(jié)果一樣則該度量是分布的,如count(),sum()等度量的分類和計(jì)算分布的:代數(shù)的:

如果一個(gè)聚集函數(shù)能夠由一個(gè)具有M個(gè)參數(shù)的代數(shù)函數(shù)計(jì)算,且每個(gè)參數(shù)都可以用一個(gè)分布聚集函數(shù)求得.如avg()可以由sum()/count()計(jì)算,其中sum()和count()是分布聚集函數(shù).代數(shù)的:整體的:

如果一個(gè)聚集函數(shù)無法用具有M個(gè)參數(shù)的代數(shù)函數(shù)進(jìn)行這一計(jì)算,則這個(gè)函數(shù)稱是整體的,如rand()等許多度量可以用關(guān)系的聚集操作計(jì)算對(duì)應(yīng)圖2-4,我們也可寫出SQL語句.整體的:計(jì)算dollars_sold和units_soldSelectsum(s.number_of_units_sold*s.price)Sum(s.number_of_units_sold)Fromtimet,itemi,branchb,locationl,saless,Wheres.time_key=t.time_keyands.item_key=i.item_keyands.branch_key=b.branch_keyands.loation_key=l.location_keyGroupbys.time_key,s.item_key,s.branch_key,s.location_key計(jì)算dollars_sold和units_soldSelec概念分層全序相關(guān)偏序相關(guān)

CountryyearCityquartermonthweekStreetday概念分層全序相關(guān)103概念分層allEuropeNorth_AmericaMexicoCanadaSpainGermanyVancouverM.WindL.Chan..................allregionofficecountryTorontoFrankfurtcity36概念分層allEuropeNorth_AmericaMe104倉庫與概念視圖SpecificationofhierarchiesSchemahierarchyday<{month<quarter;week}<yearSet_groupinghierarchy{1..10}<inexpensive37倉庫與概念視圖Specificationofhier105多維數(shù)據(jù)Salesvolumeasafunctionofproduct,month,andregionProductRegionMonthDimensions:Product,Location,TimeHierarchicalsummarizationpathsIndustryRegionYearCategoryCountryQuarterProductCityMonthWeekOfficeDay38多維數(shù)據(jù)Salesvolumeasafuncti106ASampleDataCubeTotalannualsalesofTVinU.S.A.DateProductCountryAll,All,Allsumsum

TVVCRPC1Qtr2Qtr3Qtr4QtrU.S.ACanadaMexicosum39ASampleDataCubeTotalannu多維數(shù)據(jù)模型的OLAP操作上卷操作,通過維規(guī)約,在數(shù)據(jù)立方體上進(jìn)行聚集.下鉆操作,是上卷操作的逆操作,由不太詳細(xì)的數(shù)據(jù)到更詳細(xì)的數(shù)據(jù).切片和切塊,切片在給定的數(shù)據(jù)立方體的一個(gè)維上進(jìn)行選擇,切塊則是在兩個(gè)或兩個(gè)以上的維進(jìn)行選擇.轉(zhuǎn)軸操作,轉(zhuǎn)動(dòng)數(shù)據(jù)的視覺,是目視操作.如圖3-10所示多維數(shù)據(jù)模型的OLAP操作上卷操作,通過維規(guī)約,在數(shù)據(jù)立方體108圖3.10典型OLAP操作41圖3.10典型OLAP操作3.3數(shù)據(jù)倉庫的系統(tǒng)結(jié)構(gòu)自頂向下視圖,使我們可以選擇數(shù)據(jù)倉庫所需的相關(guān)信息.數(shù)據(jù)源視圖,揭示被操作數(shù)據(jù)庫系統(tǒng)捕獲存儲(chǔ)和管理的信息.數(shù)據(jù)倉庫視圖,包括事實(shí)表和維表.商務(wù)查詢視圖,從最終用戶的角度透視數(shù)據(jù)倉庫中的數(shù)據(jù).3.3數(shù)據(jù)倉庫的系統(tǒng)結(jié)構(gòu)自頂向下視圖,使我們可以選擇數(shù)據(jù)110數(shù)據(jù)倉庫的設(shè)計(jì):商業(yè)分析框架四種視圖自定向下視圖allowsselectionoftherelevantinformationnecessaryforthedatawarehouse數(shù)據(jù)源視圖exposestheinformationbeingcaptured,stored,andmanagedbyoperationalsystems數(shù)據(jù)倉庫視圖consistsoffacttablesanddimensiontables商業(yè)查詢視圖

seestheperspectivesofdatainthewarehousefromtheviewofend-user43數(shù)據(jù)倉庫的設(shè)計(jì):商業(yè)分析框架四種視圖數(shù)據(jù)倉庫設(shè)計(jì)過程選取待建模的商務(wù)處理選取商務(wù)處理的粒度,例如單個(gè)事務(wù),一天的快照等選取用于每個(gè)事實(shí)表記錄的維.選取將安放在事實(shí)表中的度量如圖3-4中的dollars_sold和units_sold數(shù)據(jù)倉庫設(shè)計(jì)過程選取待建模的商務(wù)處理112數(shù)據(jù)倉庫:多層結(jié)構(gòu)DataWarehouseExtractTransformLoadRefreshOLAP引擎AnalysisQueryReportsDataminingMonitor&IntegratorMetadata數(shù)據(jù)源前端工具ServeDataMartsOperationalDBsOthersources數(shù)據(jù)存儲(chǔ)OLAPServer45數(shù)據(jù)倉庫:多層結(jié)構(gòu)DataExtractOLAP引擎三層數(shù)據(jù)倉庫結(jié)構(gòu)底層數(shù)據(jù)倉庫服務(wù)器,使用稱作網(wǎng)間連接程序的應(yīng)用程序,由操作數(shù)據(jù)庫和外部數(shù)據(jù)源提取數(shù)據(jù).中間層是OLAP服務(wù)器,實(shí)現(xiàn)方法有關(guān)系OLAP模型,在多維數(shù)據(jù)上的操作映射為標(biāo)準(zhǔn)的關(guān)系操作多維OLAP模型,直接實(shí)現(xiàn)多維數(shù)據(jù)的操作三層數(shù)據(jù)倉庫結(jié)構(gòu)底層數(shù)據(jù)倉庫服務(wù)器,使用稱作網(wǎng)間連接程序的應(yīng)頂層是客戶,它包括查詢和報(bào)告工具,分析工具和數(shù)據(jù)挖掘工具(例如趨勢分析,預(yù)測等)頂層是客戶,它包括查詢和報(bào)告工具,分析工具和數(shù)據(jù)挖掘工具(例數(shù)據(jù)倉庫的類型企業(yè)倉庫:企業(yè)倉庫收集了關(guān)于主題的所有信息,跨越整個(gè)組織,它提供企業(yè)范圍內(nèi)的數(shù)據(jù)集成.數(shù)據(jù)集市:包含企業(yè)范圍數(shù)據(jù)的一個(gè)子集,對(duì)于特定的用戶是有用的,其范圍限于選定的主題.虛擬倉庫:是操作數(shù)據(jù)庫上的視圖集合.為了有效地處理查詢,只有一些可能的匯總視圖被物化,虛擬倉庫易于建立,但需要操作數(shù)據(jù)庫服務(wù)器具有剩余能力.數(shù)據(jù)倉庫的類型企業(yè)倉庫:企業(yè)倉庫收集了關(guān)于主題的所有信息,跨116數(shù)據(jù)倉庫開發(fā)的推薦方法Defineahigh-levelcorporatedatamodelDataMartDataMartDistributedDataMartsMulti-TierDataWarehouseEnterpriseDataWarehouseModelrefinementModelrefinement49數(shù)據(jù)倉庫開發(fā)的推薦方法Defineahigh-lev117數(shù)據(jù)倉庫后端工具和實(shí)用程序數(shù)據(jù)提取getdatafrommultiple,heterogeneous,andexternalsources數(shù)據(jù)清理detecterrorsinthedataandrectifythemwhenpossible數(shù)據(jù)變換convertdatafromlegacyorhostformattowarehouseformat裝入sort,summarize,consolidate,computeviews,checkintegrity,andbuildindiciesandpartitions刷新propagatetheupdatesfromthedatasourcestothewarehouse50數(shù)據(jù)倉庫后端工具和實(shí)用程序數(shù)據(jù)提取OLAP服務(wù)器類型關(guān)系OLAP(ROLAP)模型,使用關(guān)系或擴(kuò)充關(guān)系DBMS存放并管理數(shù)據(jù)倉庫多維OLAP(MOLAP)服務(wù)器,這些服務(wù)器通過基于數(shù)組的多維存儲(chǔ),支持?jǐn)?shù)組的多維視圖混合OLAP(HOLAP)服務(wù)器,結(jié)合ROLAP和MOLAP技術(shù),得宜于ROLAP的可伸縮性,和MOLAP的快速計(jì)算.OLAP服務(wù)器類型關(guān)系OLAP(ROLAP)模型,使用關(guān)系或特殊的SQL服務(wù)器,為了滿足在關(guān)系數(shù)據(jù)庫中日益增長的OLAP需要,實(shí)現(xiàn)了特殊的SQL服