數據庫與數據倉庫的區(qū)別

1、數據庫與數據倉庫的區(qū)別簡而言之，數據庫是面向事務的設計，數據倉庫是面向主題設計的。數據庫一般存儲在線交易數據，數據倉庫存儲的一般是歷史數據。數據庫設計是盡量避免冗余，一般采用符合范式的規(guī)則來設計，數據倉庫在設計是有意引入冗余，采用反范式的方式來設計。數據庫是為捕獲數據而設計，數據倉庫是為分析數據而設計，它的兩個基本的元素是維表和事實表。維是看問題的角度，比如時間，部門，維表放的就是這些東西的定義，事實表里放著要查詢的數據，同時有維的 ID 。單從概念上講，有些晦澀。任何技術都是為應用服務的，結合應用可以很容易地理解。以銀行業(yè)務為例。數據庫是事務系統(tǒng)的數據平臺，客戶在銀行做的每筆交易都會寫入數據

2、庫，被記錄下來，這里，可以簡單地理解為用數據庫記帳。數據倉庫是分析系統(tǒng)的數據平臺，它從事務系統(tǒng)獲取數據，并做匯總、加工，為決策者提供決策的依據。比如，某銀行某分行一個月發(fā)生多少交易，該分行當前存款余額是多少。如果存款又多，消費交易又多，那么該地區(qū)就有必要設立ATM了。顯然，銀行的交易量是巨大的，通常以百萬甚至千萬次來計算。事務系統(tǒng)是實時的，這就要求時效性，客戶存一筆錢需要幾十秒是無法忍受的，這就要求數據庫只能存儲很短一段時間的數據。而分析系統(tǒng)是事后的，它要提供關注時間段內所有的有效數據。這些數據是海量的，匯總計算起來也要慢一些，但是，只要能夠提供有效的分析數據就達到目的了?！懊嫦蛑黝}的” :

3、傳統(tǒng)數據庫主要是為應用程序進行數據處理，未必按照同一主題存儲數據; 數據倉庫側重于數據分析工作，是按照主題存儲的。這一點，類似于傳統(tǒng)農貿市場與超市的區(qū)別市場里面，白菜、蘿卜、香菜會在一個攤位上，如果它們是一個小販賣的 ; 而超市里，白菜、蘿卜、香菜則各自一塊。也就是說，市場里的菜（ 數據 ） 是按照小販（ 應用程序 ） 歸堆 （ 存儲 ） 的，超市里面則是按照菜的類型（ 同主題 ） 歸堆的。“與時間相關” : 數據庫保存信息的時候，并不強調一定有時間信息。數據倉庫則不同，出于決策的需要，數據倉庫中的數據都要標明時間屬性。決策中，時間屬性很重要。同樣都是累計購買過九車產品的顧客，一位是最近三個月

4、購買九車，一位是最近一年從未買過，這對于決策者意義是不同的。“不可修改” : 數據倉庫中的數據并不是最新的，而是來源于其它數據源。數據倉庫反映的是歷史信息，并不是很多數據庫處理的那種日常事務數據（ 有的數據庫例如電信計費數據庫甚至處理實時信息 ） 。因此，數據倉庫中的數據是極少或根本不修改的 ; 當然，向數據倉庫添加數據是允許的。數據倉庫的出現(xiàn)，并不是要取代數據庫。目前，大部分數據倉庫還是用關系數據庫管理系統(tǒng)來管理的。可以說，數據庫、數據倉庫相輔相成、各有千秋。補充一下，數據倉庫的方案建設的目的，是為前端查詢和分析作為基礎，由于有較大的冗余，所以需要的存儲也較大。為了更好地為前端應用服務，數據

5、倉庫必須有如下幾點優(yōu)點，否則是失敗的數據倉庫方案。1. 效率足夠高。客戶要求的分析數據一般分為日、周、月、季、年等，可以看出，日為周期的數據要求的效率最高，要求24小時甚至 12小時內，客戶能看到昨天的數據分析。由于有的企業(yè)每日的數據量很大，設計不好的數據倉庫經常會出問題，延遲1-3 日才能給出數據，顯然不行的。2. 數據質量。客戶要看各種信息，肯定要準確的數據，但由于數據倉庫流程至少分為3步，2次ETL復雜的架構會更多層次，那么由于數據源有臟數 據或者代碼不嚴謹，都可以導致數據失真，客戶看到錯誤的信息就可能導致分析出錯誤的決策，造成損失，而不是效益。3. 擴展性。之所以有的大型數據倉庫系統(tǒng)架

6、構設計復雜，是因為考慮到了未來 3-5 年的擴展性，這樣的話，客戶不用太快花錢去重建數據倉庫系統(tǒng)，就能很穩(wěn)定運行。主要體現(xiàn)在數據建模的合理性，數據倉庫方案中多出一些中間層，使海量數據流有足夠的緩沖，不至于數據量大很多，就運行不起來了。數據倉庫是面向分析的,數據庫是面向事務處理.數據倉庫的數據是基本不變得,而數據庫的數據是由日常的業(yè)務產生的,常更新數據倉庫的數據一般有數據庫的數據經過一定的規(guī)則轉換得到得數據倉庫主要用來分析數據, 一般是 tb 級的的數據,比如決策支持系統(tǒng),數據挖掘等.數據庫系統(tǒng)作為數據管理手段，從它的誕生開始，就主要用于事務處理。經過數十年的發(fā)展，在這些數據庫中已經保存了大量的

7、日常業(yè)務數據。傳統(tǒng)的業(yè)務系統(tǒng)一般是直接建立在這種事務處理環(huán)境上的。隨著技術的進步，人們試圖讓計算機擔任更多的工作，而數據庫技術也一直力圖使自己能勝任從事務處理、批處理到分析處理的各種類型的信息處理任務。后來人們逐漸認識到，在目前的計算機處理能力上，根本無法實現(xiàn)這種功能，而且，另一方面，事物處理和分析處理具有極不相同的性質，直接使用事務處理環(huán)境來支持決策是行不通的。事務處理環(huán)境不適宜 DSS 應用的原因主要有以下五條：（ 1）事務處理和分析處理的性能特性不同。在事務處理環(huán)境中，用戶的行為特點是數據的存取操作頻率高而每次操作處理的時間短；在分析處理環(huán)境中，用戶的行為模式與此完全不同，某個DSS 應

8、用程序可能需要連續(xù)幾個小時，從而消耗大量的系統(tǒng)資源。將具有如此不同處理性能的兩種應用放在同一個環(huán)境中運行顯然是不適當的。（ 2）數據集成問題。DSS 需要集成的數據。全面而正確的數據是有效的分析和決策的首要前提，相關數據收集得月完整，得到的結果就越可靠。當前絕大多數企業(yè)內數據的真正狀況是分散而非集成的。造成這種分散的原因有多種，主要有事務處理應用分散、“蜘蛛網”問題、數據不一致問 題、外部數據和非結構化數據。(3)數據動態(tài)集成問題。靜態(tài)集成的最大缺點在于，如果在數據集成后數據源中數據發(fā)生了變化，這些變化將不能反映給決策者，導致決策者使用的是過時的數據。集成數據必須以一定的周期(例如24小時)進

9、行刷新，我們稱其為動態(tài)集成。顯然，事務處理系統(tǒng)不具備動態(tài)集成的能力。(4)歷史數據問題。事務處理一般只需要當前數據，在數據庫中一般也是存儲短期數據，切不同數據的保存期 限也不一樣，即使有一些歷史數據保存下來了，也被束之高閣，未得到充分利用。但對于決策 分析而言，歷史數據是相當重要的，許多分析方法必須一大量的歷史數據為依托。沒有歷史數 據的詳細分析，是難以把握企業(yè)的發(fā)展趨勢的。DSS對數據在空間和時間的廣度上都有了更高的要求，而事務處理環(huán)境難以滿足這些要求。(5)數據的綜合問題。在事務處理系統(tǒng)中積累了大量的細節(jié)數據，一般而言，DSS并不對這些細節(jié)數據進行分析。在分析前，往往需要對細節(jié)數據進行不同

10、程度的綜合。而事務處理系統(tǒng)不具備這種綜合能 力，根據規(guī)范化理論，這種綜合還往往因為是一種數據冗余而加以限制。要提高分析和決策的效率和有效性，分析型處理及其數據必須與操作型處理及其數據相分 離。必須把分析型數據從事務處理環(huán)境中提取出來，按照DSS處理的需要進行重新組織，建立單獨的分析處理環(huán)境，數據倉庫正是為了構建這種新的分析處理環(huán)境而出現(xiàn)的一種數據存儲和 組織技術。?數據倉庫的關鍵技術那么，數據倉庫都有哪些組成部分和關鍵技術呢？與關系數據庫不同，數據倉庫并沒有嚴格 的數學理論基礎，它更偏向于工程。由于數據倉庫的這種工程性，因而在技術上可以根據它的 工作過程分為：數據的抽取、存儲和管理、數據的表現(xiàn)

11、以及數據倉庫的設計的技術咨詢四個方 面。為此，我們將分別討論每一個環(huán)節(jié)。3.1 ?數據的抽取數據的抽取是數據進入倉庫的入口。由于數據倉庫是一個獨立的數據環(huán)境，它需要通過抽取 過程將數據從聯(lián)機事務處理系統(tǒng)、外部數據源、脫機的數據存儲介質中導入到數據倉庫。數據 抽取在技術上主要涉及互連、復制、增量、轉換、調度和監(jiān)控等幾個方面。數據倉庫的數據并 不要求與聯(lián)機事務處理系統(tǒng)保持實時的同步，因此數據抽取可以定時進行，但多個抽取操作執(zhí) 行的時間、相互的順序、成敗對數據倉庫中信息的有效性則至關重要。在技術發(fā)展上，數據抽取所涉及的單個技術環(huán)節(jié)都已相對成熟，其中有一些是躲不開編程的， 但整體的集成度還很不夠。目前

12、市場上所提供的大多是數據抽取工具。這些工具通過用戶選定 源數據和目標數據的對應關系，會自動生成數據抽取的代碼。但數據抽取工具支持的數據種類 是有限的；同時數據抽取過程涉及數據的轉換，它是一個與實際應用密切相關的部分，其復雜 性使得不可嵌入用戶編程的抽取工具往往不能滿足要求。因此，實際的數據倉庫實施過程中往 往不一定使用抽取工具。整個抽取過程能否因工具的使用而納入有效的管理、調度和維護則更 為重要。從市場發(fā)展來看，以數據抽取、異構互連產品為主項的數據倉庫廠商一般都很有可能 被其它擁有數據庫產品的公司吞并。在數據倉庫的世界里，它們只能成為輔助的角色。3.2 ?數據的存儲和管理數據倉庫的真正關鍵是數

13、據的存儲和管理。數據倉庫的組織管理方式決定了它有別于傳統(tǒng) 數據庫的特性，同時也決定了其對外部數據表現(xiàn)形式。要決定采用什么產品和技術來建立數據 倉庫核心，則需要從數據倉庫的技術特點著手分析數據倉庫遇到的第一個問題是對大量數據的存儲和管理。這里所涉及的數據量比傳統(tǒng)事務處理大得多，且隨時間的推移而累積。從現(xiàn)有技術和產品來看，只有關系數據庫系統(tǒng)能夠擔當 此任。關系數據庫經過近 30年的發(fā)展，在數據存儲和管理方面已經非常成熟，非其它數據管理 系統(tǒng)可比。目前不少關系數據庫系統(tǒng)已支持數據分割技術，能夠將一個大的數據庫表分散在多 個物理存儲設備中，進一步增強了系統(tǒng)管理大數據量的擴展能力。采用關系數據庫管理數百

14、個 GB甚至到TB的數據已是一件平常的事情。一些廠商還專門考慮大數據量的系統(tǒng)備份問題，好 在數據倉庫對聯(lián)機備份的要求并不高。數據倉庫要解決的第二個問題是并行處理。在傳統(tǒng)聯(lián)機事務處理應用中，用戶訪問系統(tǒng)的 特點是短小而密集；對于一個多處理機系統(tǒng)來說，能夠將用戶的請求進行均衡分擔是關鍵，這 便是并發(fā)操作。而在數據倉庫系統(tǒng)中，用戶訪問系統(tǒng)的特點是龐大而稀疏，每一個查詢和統(tǒng)計 都很復雜，但訪問的頻率并不是很高。此時系統(tǒng)需要有能力將所有的處理機調動起來為這一個 復雜的查詢請求服務，將該請求并行處理。因此，并行處理技術在數據倉庫中比以往更加重 要。大家可以注意以下，在針對數據倉庫的TPC-D基準測試中，比

15、以往增加了一個單用戶環(huán)境的測試，成為“系統(tǒng)功力"（QPPD）。系統(tǒng)的并行處理能力對QPPD的值有重要影響。目前，關系數據庫系統(tǒng)在并行處理方面已能做到對查詢語句的分解并行、基于數據分割的并行、以及支持 跨平臺多處理機的群集環(huán)境和MPP環(huán)境，能夠支持多達上百個處理機的硬件系統(tǒng)并保持性能的擴展能力。數據倉庫的第三個問題是針對決策支持查詢的優(yōu)化。這個問題主要針對關系數據庫而言， 因為其它數據管理環(huán)境連基本的通用查詢能力都還不完善。在技術上，針對決策支持的優(yōu)化涉 及數據庫系統(tǒng)的索引機制、查詢優(yōu)化器、連接策略、數據排序和采樣等諸多部分。普通關系數 據庫采用B樹類的索引，對于性別、年齡、地區(qū)等具有

16、大量重復值的字段幾乎沒有效果。而擴 充的關系數據庫則引入了位圖索引的機制，以二進制位表示字段的狀態(tài)，將查詢過程變?yōu)楹Y選 過程，單個計算機的基本操作便可篩選多條記錄。由于數據倉庫中各數據表的數據量往往極不 均勻，普通查詢優(yōu)化器所得出得最佳查詢路徑可能不是最優(yōu)的。因此，面向決策支持的關系數 據庫在查詢優(yōu)化器上也作了改進，同時根據索引的使用特性增加了多重索引掃描的能力。？以關系數據庫建立的數據倉庫在應用時會遇到大量的表間連接操作，而連接操作對于關系 數據庫來說是一件耗時的操作。擴充的關系數據庫中對連接操作可以做預先的定義，我們稱之 為連接索引，使得數據庫在執(zhí)行查詢時可直接獲取數據而不必實施具體的連接

17、操作。數據倉庫 的查詢常常只需要數據庫中的部分記錄，如最大的前50家客戶，等等。普通關系數據庫沒有提供這樣的查詢能力，只好將整個表的記錄進行排序，從而耗費了大量的時間。決策支持的關系 數據庫在此做了改進，提供了這一功能。此外，數據倉庫的查詢并不需要像事務處理系統(tǒng)那樣 精確，但在大容量數據環(huán)境中需要有足夠短的系統(tǒng)響應時間。因此，一些數據庫系統(tǒng)增加了采 樣數據的查詢能力，在精確度允許的范圍內，大幅度提高系統(tǒng)查詢效率?？傊?，將普通關系數據庫改造成適合擔當數據倉庫的服務器有許多工作可以做，它已成為 關系數據庫技術的一個重要研究課題和發(fā)展方向?？梢?，對于決策支持的擴充是傳統(tǒng)關系數據 庫進入數據倉庫市場的

18、重要技術措施。？數據倉庫的第四個問題是支持多維分析的查詢模式，這也是關系數據庫在數據倉庫領域遇到的 最嚴峻的挑戰(zhàn)之一。用戶在使用數據倉庫時的訪問方式與傳統(tǒng)的關系數據庫有很大的不同。對 于數據倉庫的訪問往往不是簡單的表和記錄的查詢，而是基于用戶業(yè)務的分析模式，即聯(lián)機分 析。如圖1.3所示，它的特點是將數據想象成多維的立方體，用戶的查詢便相當于在其中的部分 維（棱）上施加條件，對立方體進行切片、分割，得到的結果則是數值的矩陣或向量，并將其制 成圖表或輸入數理統(tǒng)計的算法。關系數據庫本身沒有提供這種多維分析的查詢功能，而且在數據倉庫發(fā)展的早期，人們發(fā)?數據倉庫中的數據組織?數據倉庫中數據的四個基本特征

19、在本章國中已經介紹過了，下面就要分析清楚這些問題：數據倉庫存儲哪些數據呢？數據如何組織，存儲？組織形式有哪些？等等。通過對數據倉 庫中存放的數據內容及其組織形式的介紹，本節(jié)將對這些問題做出回答，以加深對數據倉庫數 據四個基本特征的理解。？ 2.1 ?數據倉庫的數據組織結構一個典型的數據倉庫的數據組織結構如圖1.2所示：數據倉庫中的數據分為四個級別：早期細節(jié)級、當前細節(jié)級、輕度綜合級、高度綜合級。源數 據經過綜合后，首先進入當前細節(jié)級，并根據具體需要進行進一步的綜合，從而進入輕度綜合 級乃至高度綜合級，老化的數據將進入早期細節(jié)級由此可見，數據倉庫中存在著不同的綜合級 別，一般稱之為 “粒度&qu

20、ot;。粒度越大，表示細節(jié)程度越低，綜合程度越高。數據倉庫中還有一種重要的數據-元數據（metadata）。元數據是 "關于數據的數據 "，如在傳統(tǒng)數據庫中的數據字典就是一種元數據。在數據倉庫環(huán)境下，主要有兩種元數據：第一種是為 了從操作性環(huán)境向數據倉庫轉化而建立的元數據，包含了所有源數據項名、圖1.2 ? DW數據組織結構 ？2.2粒度與分割1 .粒度粒度是數據倉庫的重要概念。粒度可以分為兩種形式，第一種粒度是對數據倉庫中的數據 的綜合程度高低的一個度量，它既影響數據倉庫中的數據量的多少，也影響數據倉庫所能回答 詢問的種類。在數據倉庫中，多維粒度是必不可少的。由于數據倉庫

21、的主要作用是DSS分析，因而絕大多數查詢都基于一定程度的綜合數據之上的，只有極少數查詢涉及到細節(jié)。所以應該 將大粒度數據存儲于快速設備如磁盤上，小粒度數據存于低速設備如磁帶上。還有一種粒度形式，即樣本數據庫。它根據給定的采樣率從細節(jié)數據庫中抽取出一個子集。這 樣樣本數據庫中的粒度就不是根據綜合程度的不同來劃分的，而是有采樣率的高低來劃分，采 樣粒度不同的樣本數據庫可以具有相同的數據綜合程度。2 .分割分割是數據倉庫中的另一個重要概念 ，它的目的同樣在于提高效率。它是將數據分散到？各自的物理單元中去，以便能分別獨立處理。有許多數據分割的標準可供參考：如日期、地 ？域、業(yè)務領域等等，也可以是其組合

22、。一般而言 ，分割標準總應包括日期項 ，它十分自然而且分割均勻。2.3 ?數據倉庫的數據組織形式這里簡單介紹數據倉庫中常見的數據組織形式：1. ?簡單堆積文件:?它將每日由數據庫中提取并加工的數據逐天積累并存儲起來。2. ?輪轉綜合文件:?數據存儲單位被分為日、周、月、年等幾個級別。在一個星期的七天中， 數據被逐一記錄在每日數據集中；然后，七天的數據被綜合并記錄在周數據集中；接下去的一個星期，日數據集被重新使用，以記錄新數據。同理，周數據集達到五個后，數據再一次被綜合并記入月數據集。以此類推。輪轉綜合結構十分簡捷，數據量較簡單堆積結構大大減少。當然， 它是以損失數據細節(jié)為代價的，越久遠的數據，

23、細節(jié)損失越多。3. ?簡化直接文件:?它類似于簡單堆積文件，但它是間隔一定時間的數據庫快照，比如每隔一 星期或一個月作一次。4. ?連續(xù)文件:?通過兩個連續(xù)的簡化直接文件，可以生成另一種連續(xù)文件，它是通過比較兩個 簡單直接文件的不同而生成的。當然，連續(xù)文件同新的簡單直接文件也可生成新的連續(xù)文件。對于各種文件結構的最終實現(xiàn)，在關系數據庫中仍然要依靠"表”這種最基本的結構。2.4 ?數據倉庫的數據追加如何定期向數據倉庫追加數據也是一個十分重要的技術。我們知道，數據倉庫的數據是 ？來自OLTP的數據庫中，問題是我們如何知道究竟哪些數據是在上一次追加過程之后新生成？的。常用的技術和方法有：時

24、標方法：？如果數據含有時標，對新插入或更新的數據記錄，在記錄中加更新時的時標， 那么只需根據時標判斷即可。但并非所有的數據庫中的數據都含有時標。DELTA文件：？它是由應用生成的，記錄了應用所改變的所有內容。利用 DELTA文件效率？ 很高，它避免了掃描整個數據庫，但同樣的問題是生成DELTA文件的應用并不普遍。此外，還有更改應用代碼的方法，使得應用在生成新數據時可以自動將其記錄下來。但應用成千上萬， 且修改代碼十分繁瑣，這種方法很難實現(xiàn)。前后映象文件的方法：？在抽取數據前后對數據庫各作一次快照，然后比較兩幅快照的不同 從而確定新數據。它占用大量資源，對性能影響極大，因此并無多大實際意義。日志

25、文件：？最可取的技術大概是利用日志文件了，因為它是 DB的固有機制，不會影響 O ？ LTP的性能。同時，它還具有 DELTA文件的優(yōu)越性質，提取數據只要局限日志文件即可， 不用掃描整個數據庫。當然，原來日志文件的格式是依據DB系統(tǒng)的要求而確定的，它包含的數據對于數據倉庫而言可能有許多冗余。比如，對一個記錄的多次更新，日志文件將全部變化過 程都記錄下來；而對于數據倉庫，只需要最終結果。但比較而言，日志文件仍然是最可行的一 種選擇。數據倉庫技術簡介作者：周永鑾發(fā)布時間：2001/07/21數據倉庫是近年來興起的一種新的數據庫應用。在各大數據庫廠商紛紛宣布產品支持數據倉庫并提出一整套用以建立和使用

26、數據倉庫的產品是，業(yè)界掀起了數據庫熱。比如 INFORMIXGONGSIDE 公司的數據倉庫解決方案； ORACLE公司的數據倉庫解決方案； Sybase 公司的交互式數據倉庫解決方案等等。這同時也引起了學術界的極大興趣，國際上許多重要的學術會議，如超大型數據庫國際會議（ VLDB ）,數據工程國際會議（ Data ? Engineering ）等， 都出現(xiàn)了專門研究數據倉庫（Data ？ Warehousing,簡記為 DW）、聯(lián)機分析處理（ On-Line ？Analytical ？ Processing,簡記為 OLAP ）、數據挖掘（Data ？ Mining, ？ 簡記為 DM ）的

27、論文。對我 國許多企業(yè)而言，在建立或發(fā)展自己的信息系統(tǒng)常常困擾于這樣的問題：為什么要在原有的數 據庫上建立數據倉庫？數據倉庫能否代替?zhèn)鹘y(tǒng)的數據庫？怎樣建立數據倉庫？等等。本章將簡要介紹一下用到的數據倉庫技術背景，并在下一章結合數據清理系統(tǒng)設計實例，更深一步闡述 數據倉庫技術在現(xiàn)實中的重大意義§1 ？從數據庫到數據倉庫傳統(tǒng)的數據庫技術是以單一的數據資源，即數據庫為中心，進行事務處理、批處理、決策分析等各種數據處理工作，主要的劃分為兩大類：操作型處理和分析型處理（或信息型處理）。？操作型處理也叫事務處理，是指對數據庫聯(lián)機的日常操作，通常是對一個或一組紀錄的查詢和 修改，主要為企業(yè)的特定應

28、用服務的，注重響應時間，數據的安全性和完整性；分析型處理則 用于管理人員的決策分析，經常要訪問大量的歷史數據。而傳統(tǒng)數據庫系統(tǒng)優(yōu)于企業(yè)的日常事 務處理工作，而難于實現(xiàn)對數據分析處理要求，已經無法滿足數據處理多樣化的要求。操作型處理和分析型處理的分離成為必然。近年來，隨著數據庫技術的應用和發(fā)展，人們嘗試對DB中的數據進行再加工，形成一個綜合的，面向分析的環(huán)境，以更好支持決策分析，從而形成了數據倉庫技術（Data ？ Warehousing ,簡稱 DW）。作為決策支持系統(tǒng) （Decision-making ？ Support ？ System ,簡稱 DSS）, 數據倉庫系統(tǒng)包括：？數據倉庫技術

29、；？聯(lián)機分析處理技術 （On-Line ？ Analytical ？ Processing ,簡稱 OLAP）；？數據挖掘技術（Data ? Mining ,簡稱DM）；數據倉庫彌補了原有的數據庫的缺點，將原來的以單一數據庫為中心的數據環(huán)境發(fā)展為一種新環(huán)境：體系化環(huán)境。如圖 1.1所示：圖1.1數據倉庫體系化環(huán)境?什么是數據倉庫數據倉庫中的數據面向主題，與傳統(tǒng)數據庫面向應用相對應。主題是一個在較高層次上將 數據歸類的標準，每一個主題對應一個宏觀的分析領域：數據倉庫的集成特性是指在數據進入 數據倉庫之前，必須經過數據加工和集成，這是建立數據倉庫的關鍵步驟，首先要統(tǒng)一原始數 據中的矛盾之處，還要將

30、原始數據結構做一個從面向應用向面向主題的轉變；數據倉庫的穩(wěn)定 性是指數據倉庫反映的是歷史數據的內，而不是日常事務處理產生的數據，數據經加工和集成 進入數據倉庫后是極少或根本不修改的；數據倉庫是不同時間的數據集合，它要求數據倉庫中 的數據保存時限能滿足進行決策分析的需要，而且數據倉庫中的數據都要標明該數據的歷史時 期。數據倉庫最根本的特點是物理地存放數據，而且這些數據并不是最新的、專有的，而是來 源于其它數據庫的。數據倉庫的建立并不是要取代數據庫，它要建立在一個較全面和完善的信 息應用的基礎上，用于支持高層決策分析，而事務處理數據庫在企業(yè)的信息環(huán)境中承擔的是日 常操作性的任務。數據倉庫是數據庫技

31、術的一種新的應用，而且到目前為止，數據倉庫還是用 關系數據庫管理系統(tǒng)來管理其中的數據。1.2 ?數據倉庫的產生近幾十年來，大量新技術、新思路的涌現(xiàn)出來并被用于關系型數據庫系統(tǒng)的開發(fā)和實現(xiàn)：客戶/服務器系統(tǒng)結構、存儲過程、多線索并發(fā)內核、異步 I/O、代價優(yōu)化，等等，這一切足以 使得關系數據庫系統(tǒng)的處理能力毫不遜色于傳統(tǒng)封閉的數據庫系統(tǒng)。而關系數據庫在訪問邏輯 和應用上所帶來的好處則遠遠不止這些，SQL的使用已成為一個不可阻擋的潮流，加上近些年來計算機硬件的處理能力呈數量級的遞增，關系數據庫最終成為聯(lián)機事務處理系統(tǒng)的主宰。整個80年代直到90年代初，聯(lián)機事務處理一直是數據庫應用的主流。然而，應用

32、在不斷地進 步。當聯(lián)機事務處理系統(tǒng)應用到一定階段后，用戶便發(fā)現(xiàn)單靠擁有聯(lián)機事務處理已經不足以獲 得市場競爭的優(yōu)勢，他們需要對其自身業(yè)務的運作以及整個市場相關行業(yè)的情況進行分析，而 做出有利的決策。這種決策需要對大量的業(yè)務數據包括歷史業(yè)務數據進行分析才能得到。在如 今這樣激烈的市場競爭環(huán)境下，這種基于業(yè)務數據的決策分析，我們把它稱為聯(lián)機分析處理， 比以往任何時候都顯得更為重要。如果說傳統(tǒng)聯(lián)機事務處理強調的是更新數據庫-向數據庫中添加信息，那么聯(lián)機分析處理就是從數據庫中獲取信息、利用信息。因此，著名的數據倉庫專 家Ralph ? Kimball寫道："我們花了二十多年的時間將數據放入數據

33、庫，如今是該將它們拿出 來的時候了。”事實上，將大量的業(yè)務數據應用于分析和統(tǒng)計原本是一個非常簡單和自然的想法。但在實 際的操作中，人們卻發(fā)現(xiàn)要獲得有用的信息并非如想象的那么容易，這主要表現(xiàn)在以下幾 點：？?所有聯(lián)機事務處理強調的是密集的數據更新處理性能和系統(tǒng)的可靠性，并不關心數據查 詢的方便與快捷。聯(lián)機分析和事務處理對系統(tǒng)的要求不同，同一個數據庫在理論上都難以做到 兩全。?業(yè)務數據往往存放于分散的異構環(huán)境中，不易統(tǒng)一查詢訪問，而且還有大量的歷史數據 處于脫機狀態(tài)，形同虛設。'?業(yè)務數據的模式針對事務處理系統(tǒng)而設計，數據的格式和描述方式并不適合非計算機專業(yè)人員進行業(yè)務上的分析和查詢因此有

34、人感嘆：20年前查詢不到數據是因為數據太少了，而今天查詢不到數據是因為數據太多了。針對這一問題，人們設想專門為業(yè)務的統(tǒng)計分析建立一個數據中心，它的數據從聯(lián)機的事務處理系統(tǒng)中來、從異構的外部數據源來、從脫機的歷史業(yè)務數據中來？。這個數據中心是一個聯(lián)機的系統(tǒng)，它是專門為分析統(tǒng)計和決策支持應用服務的，通過它可以滿足決策支持和聯(lián)機分析應用所要求的一切。這個數據中心就叫做數據倉庫。這個概念在90年代初被提出來。如果需要給數據倉庫一個定義的話，那么數據倉庫就是一個作為決策支持系統(tǒng)和聯(lián)機分析 應用數據源的結構化數據環(huán)境。數據倉庫所要研究和解決的問題就是從數據庫中獲取信息的問題。？以辨證的眼光看，數據倉庫的興

35、起實際是數據管理的一種回歸，是螺旋式的上升。今天的數據庫就好比當年的層次數據庫和網狀數據庫，它們面向事務處理；今天的數據倉庫就好比是當年的關系數據庫，它針對聯(lián)機分析。所不同的是，今天的數據倉庫不必再為聯(lián)機事務處理的特性而無謂奔忙，由于技術的專業(yè)化，它可更專心于聯(lián)機分析領域的發(fā)展和探索數據倉庫的概念一經出現(xiàn)，就首先被用于金融、電信、保險等主要傳統(tǒng)數據處理密集型行業(yè)。國外許多大型的數據倉庫在1996-1997年建立。那么，什么樣的行業(yè)最需要和可能建立數據倉庫呢？有兩個基本條件：第一，該行業(yè)有較為成熟的聯(lián)機事務處理系統(tǒng)，它為數據倉庫提供客觀條件；第二，該行業(yè)面臨市場競爭的壓力，它為數據倉庫的建立提供

36、外在的動力。聯(lián)機分析處理(OLAP )和聯(lián)機事務處理(OLTP )的區(qū)別默認分類 2010-04-12 21:34:13 閱讀188評論0 ?字號：大中??？訂閱聯(lián)機分析處理 (OLAP)OLAP的提出引起了很大的反響，OLAP作為一類產品同聯(lián)機事務處理(OLTP)? 明顯區(qū)分開來。當今的數據處理大致可以分成兩大類：聯(lián)機事務處理OLTP (on-line transactionprocessing )、聯(lián)機分析處理 OLAP(On-Line Analytical Processing)。OLTP是傳統(tǒng)的關系型數據庫的主要應用，主要是基本的、日常的事務處理，例如銀行交易，火車售票等。OLAP是數據

37、倉庫系統(tǒng)的主要應用，支持復雜的分析操作，側重決策支持，并且提供直觀易懂的查詢結果。下表列出了OLTP與OLAP之間的比較? ? ? ?OLTP? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? OLAP用戶？ ？ ？? |操作人員，低層管理人員？ ？ ？ ? ? 決策人員，高級管理人 員I功能？ ？ ？ I 日常操作處理 ？ ？ ？ ? ? ? ? ? ? ? ? ? 分析決策DB 設計？ ？ ？ ？ 面向應用？ ？ ？ ? ? ? ? ? ? ? 面向主題數據？ ？ ？ ？ 當前的，最新的細節(jié)的,? ?二維的分立的？ ？ ？?？ ? 歷史的，聚集的，多維的集成

38、的，統(tǒng)一的存取？ ？ ？ ？ 讀/寫數十條記錄 ？ ？ ？ ? ? ?讀上百萬條記錄工作單位? ? ? ? 簡單的事務 ? ? ? ? ? ? ? ? ? ? ? 復雜的查詢用戶數？ ？ ？ ？ 上千個？ ？ 上百個DB 大?。?？ ？ ？ 100MB-GB？ ？ ？ ？ ？ ？ ？ ？ ？ ？ 100GB-TB需要baby注意的一點就是 OLAP中的存取里面沒有提到寫，當然這并不意味著OLAP數據應用不用寫數據，不寫的話數據怎么得來的呢？只是說并不像OLTP那樣頻繁的修改數據，OLAP所做的只是加載歷史數據，換句話說，就是只有 insert ,而且是批量的，而沒有 delete和updata

39、 的操作。附：位圖索引？? ?位圖索引儲存主要用來節(jié)省空間，減少 DB2對數據塊的訪問，它采用位圖偏移方式來與表的行ID號對應，采用位圖索引一般是重復值太多的表字段。位圖索引在實際密集型OLTP (數據事務處理)中用得比較少，因為 OLTP會對表進行大量的刪除、修改、新建操作，ORACLE每次進行操作都會對要操作的數據塊加鎖，所以多人操作很容易產生數據塊鎖等待甚至死鎖現(xiàn) 象。在OLAP (數據分析處理)中應用位圖有優(yōu)勢，因為 OLAP中大部分是對數據庫的查詢操作，而且一般采用數據倉庫技術，所以大量 數據采用位圖索引節(jié)省空間比較明顯。聯(lián)機事務處理系統(tǒng)(On-Line Transaction Pr

40、ocessing)也稱為面向交易的處理系統(tǒng)，其基本特征是顧客的原始數據可以立即傳送到 計算中心進行處理，并在很短的時間內給出處理結果。 這樣做的最大優(yōu)點是可以 即時地處理輸入的數據，及時 地回答。也稱為實時系統(tǒng)(Real time System)。衡 量聯(lián)機事務處理系統(tǒng)的一個重要性能指標是系統(tǒng)性能，具體體現(xiàn)為實時響應時間 (Response Time),即用戶在終端上送入數據之后，到計算機對這個請求給出答 復所需要的時間。OLTP數據庫旨在使事務應用程序僅寫入所需的數據，以便盡 快處理單個事務。？?？?主要特征： ?支持大量并發(fā)用戶定期添加和修改數據。包含大量數據，其中包括用于驗證事務的大量數

41、據具有復雜的結構?？梢赃M行優(yōu)化以對事務活動做出響應。提供用于支持單位日常運營的技術基礎結構。聯(lián)機分析處理?隨著數據庫技術的發(fā)展和應用，數據庫存儲的數據量從20世紀80年代的兆(M)字節(jié)及千兆(G字節(jié)過渡到現(xiàn)在的兆兆(T)字節(jié)和千兆兆(P)字節(jié)， 同時，用戶的查詢需求也越來越復雜，涉及的已不僅是查詢或操縱一張關系表 中的一條或幾條記錄，而且要對多張表中千萬條記錄的數據進行數據分析和信 息綜合，關系數據庫系統(tǒng)已不能全部滿足這一要求。操作型應用和分析型應 用，特別是在性能上難以兩全，人們常常在關系數據庫中放寬了對冗余的限 制，引入了統(tǒng)計及綜合數據，但這些統(tǒng)計綜合數據的應用邏輯是分散而雜亂 分、非系統(tǒng)

42、化的，因此分析功能有限，不靈活，維護困難。在國外，不少軟件 廠商采取了發(fā)展其前端產品來彌補關系數據庫管理系統(tǒng)支持的不足，他們通過 專門的數據綜合引擎，輔之以更加直觀的數據訪問界面，力圖統(tǒng)一分散的公共 應用邏輯，在短時間內響應非數據處理專業(yè)人員的復雜查詢要求。(比如話單是一張典型的關系數據庫二維表，OLTPffl來迅速查找用戶的話費時長等，要進行 經營分析，必須話單表及其他業(yè)務表聯(lián)合進行數據抽取清洗和裝載，得出一目 了然的結果，比如怎么樣搭配套餐能有更好的收益等等)當今的數據處理大致可以分成兩大類：聯(lián)機事務處理OLTP(on-linetransaction processing )、聯(lián)機分析處理

43、 OLAP (On-Line Analytical Processing ) 。 OLTPt傳統(tǒng)的關系型數據庫的主要應用，主要是基本的、日常 的事務處理，例如銀行交易。OLAP1數據倉庫系統(tǒng)的主要應用，支持復雜的分 析操作，側重決策支持，并且提供直觀易懂的查詢結果。？?？OLAP和OLTP的區(qū)別OLAP :聯(lián)機分析處理(OLAP : Online Analytical Processing )聯(lián)機分析處理(OLAP)指的是對存儲在數據庫或數據倉庫中的數據提供分析的一種軟件。OLAP工具能快速提供復雜數據庫查詢的答案，并幫助用戶分析多維數據中的各維情況。通常 OLAP應用于數據倉庫中的數據處理過

44、程，即所謂的“數據挖掘” ( Data Mining )。關系數據庫中，是將經過規(guī)范化的實體存放在分散的表格中。該結構非常適用于操作型數據庫，但該結構對于復雜的、包含多個表的查詢，速度相對較慢。多維數據庫是一種更好的查 詢模式，但其操作性能較差。OLAP的主要組成部件是OLAP服務器，它位于客戶機和數據庫管理系統(tǒng)( DBMS )之間。OLAP服務器清楚數據如何被組織成數據庫，并具有關于數據分析的特定功能。例如，OLAP軟件獲取關系數據庫的一個映像后，重新構建一個多維數據，然后便可重新對此查詢。由操作型數據創(chuàng)建而來的OLAP結構被稱之為 OLAP數據集(OLAP cube)。OLAP數據集中可能

45、包含每個查詢的所有答復。OLAP數據集采用的星型模式指：事實表列出關鍵事實，然后由中心進行查詢的一種方式。大量的維度表與事實表相鏈接。為避免計算所有可能的數集，所以只對預先確定的數進行完全的計算，其它的作為備用。OLAP具有三種類型：多維OLAP ( MOLAP ) MOLAP 是OLAP中較為“流行”的一種。它使用摘要型數據庫，具有一個專用數據庫引擎，并且按照需求創(chuàng)建包含基本數據和數據集合的多緯度模式。MOLAP在小型數據設置方面占有一定優(yōu)勢，集合計算和返回答案的速度都比較快，但同時也能快速創(chuàng)建海量數據。關系OLAP (ROLAP) ROLAP與關系數據庫直接相關，基本數據和緯度表代表關系表

46、，此外創(chuàng)建一個包含數據集合信息的新表。ROLAP是較MOLAP更為高級的一種類型，優(yōu)點是占有空間小，但其預處理和查詢性能也是最低的。混合 OLAP （ HOLAP ） 混合 OLAP 使用關系表表示基本數據和緯度表。在所有領域中HOLAP 介于 MOLAP 和 ROLAP 之間，但它能提供快速預處理和良好的衡量。實現(xiàn) OLAP 的主要難點是查詢構成、基本數據選擇和模式開發(fā)。這使得大多數現(xiàn)代OLAP 產品與大型預置查詢庫結合使用。另一個問題是基本數據必須完全一致。OLAP ：聯(lián)機分析處理應用 OLAP, 你可以向數據倉庫提問 ,"如果糖漿價格每加侖上升0.10 美元 ,而運輸費用每英里

47、下降 0.05 美元 ,那么對軟飲料分銷商有什么影響?"OLAP 和數據倉庫是互為補充的。 OLAP 系統(tǒng)不但可以回答 "是誰 "、 "是什么 "等問題 ,還可以回答 "如果 .是什么 " 、 "為什么"等問題,這正是它強于數據倉庫的地方。數據倉庫存儲和管理數據 ,OLAP 則把數據倉庫里的數據轉換為策略性的信息。在這篇文章里,我們要定義什么是聯(lián)機分析處理（OLAP,On-Line Analytical Processig）,講述誰需要用聯(lián)機分析處理和為什么要用聯(lián)機分析處理。什么是 OLAP在過去十年中,

48、有相當大比例的公共數據已經轉向用關系數據庫管理。關系數據庫在操作和控制領域用得尤其廣泛, 如制造過程控制、代理貿易,這些領域特別強調事務處理。為了使關系數據庫成功地用于這些領域,數據庫廠商們花費了很多精力使關系數據庫能夠高效處理大量事務,并且有很強的數據容錯能力。最近以來 ,關系數據庫廠商們已經開始把他們的數據庫當作建造數據倉庫的工具來銷售。數據倉庫策略性地存儲信息,可以回答有關過去事件的"誰"和"什么"等問題,如提交給數據倉庫的一個典型查詢是:"在第三季度東部區(qū)域的總收入是多少?"把數據倉庫的功能和OLAP 系統(tǒng)的功能區(qū)分開來是很重

49、要的。數據倉庫一般建立在關系數據模型的基礎上,而 OLAP 則是從多角度、多方面來觀察、處理作為一個整體存在的數據,為進一步的分析迅速提供所需的信息。OLAP 要對原始的數據進行轉換 ,使數據以人們易于理解的形式真實地反映事物本身。通過 OLAP, 分析人員、管理人員和執(zhí)行人員可以從廣泛的角度快捷、緊湊地交互訪問各自所需的信息,有利于對未來的行動作出決定。OLAP 的功能很廣 ,有基本的導航和瀏覽功能,有計算功能,還有更為重要的分析功能,如時間安排和復雜建模等。決策者要利用 OLAP 高級功能,他們要求的東西不僅僅是數據訪問,而是更為高級的策略性信息和知識。一個典型的 OLAP 計算比簡單的數

50、據累加要復雜得多,如"如果糖漿價格每加侖上升0.10 美元而運輸費用每英里下降0.05 美元 ,那么對軟飲料分銷商有什么影響?"誰需要 OLAPOLAP 應用適用于不同的部門。財政部門可以利用 OLAP 進行預算、行動花費 （調撥 ）、財政性能分析和財政建模等; 銷售部門可以利用 OLAP 進行銷售分析和預測 ; 市場部門可以利用 OLAP 進行市場調查分析、銷售預測、促銷分析、顧客分析和市場/顧客群體劃分等。制造部門利用 OLAP 的典型例子是產品計劃和故障分析。在上面所有OLAP 應用中 ,最重要的一點就是在管理人員作出決策時向他們提供所需的信息, 因此判斷一個OLAP

51、 應用是否成功的關鍵一點就是其提供所需信息的能力 ,如它為決策提供實時信息的能力。要做到這一點,就不可能只是簡單地提供一些數據。實時信息是反映復雜關系的計算后數據,如計算飛機飛行時的參數得到的數據。一般情況下 , 只有計算反應時間相當短時,對復雜關系的分析與建模才有實際意義。另外,由于對數據關系的特性事先可能并不知道,因此還要求數據模型有改變的靈活性。一種真正靈活的數據模型使 OLAP 系統(tǒng)能夠對變化的業(yè)務要求作出反應,以滿足決策的需要。雖然 OLAP 應用能夠用于各式各樣的場合,但它們都有下面幾個關鍵特性:對數據的多維觀察、密集型計算能力和時間智能。對數據的多維觀察多維觀察是實際業(yè)務模型固有

52、的要求,很少有少于三維的業(yè)務模型。例如,管理人員在查看財務數據時,他會看總表（如實際支出與預算的比較）、分類表、單獨執(zhí)行項目和時間等查看銷售數據時,會看產品情況、地理分布、銷售渠道和時間等數據。通過對數據的多維觀察 ,OLAP 應用能夠更靈活地訪問數據,為對事情的分析處理提供良好的基礎。設計數據庫時不再需要事先考慮可以對哪些數據進行哪些操作, 這些操作速度如何等等問題。管理人員可以從任何角度、對任何集合的數據進行分析,并且這些分析操作的功能和使用方便程度都一樣。OLAP 軟件從一種自然的、合乎人的思維心理的角度來觀察數據,用戶不必考慮那些復雜的查詢語法。畢竟,管理者們沒有必要去理解復雜的表格安

53、排、精巧的表連接和概括表等技術問題。某種產品在所有地理區(qū)域各周的銷售情況如何?特定產品在某個城市每天銷售情況如何?對類似上面這樣的查詢,OLAP 必須有固定的反應時間。下面這些情況是不可接受的 :管理者們?yōu)榱颂峤粡碗s的查詢,必須要費大力編寫查詢命令;或者提交復雜查詢后,要等很長時間才有答復。復雜計算對 OLAP 數據庫的真正考驗是其提供復雜計算的能力 ,OLAP 數據庫要做的決不僅僅是對數據簡單歸并。對分析過程來說,常需要對數據進行深入的加工,把數據簡單陳列給管理人員是不夠的。復雜計算的例子有份額計算（ 占總數的百分之多少） 、分配（要用到從頂端往下層的等級結構圖）等。關鍵的行為指示因子常常要

54、用到代數方程。銷售預測要用到趨勢代數式子,如移動平均線、百分比增長等。分析一個特定公司與其競爭對手的銷售和促銷情況需要對各公司的復雜關系建立模型。真實的世界是復雜的在分析處理應用程序中 ,對復雜關系的建模是關鍵所在。OLAP 軟件應該提供豐富多樣、功能強大的分析工具 ,但同時計算方法又應該簡單明了。為了使開發(fā)者能高效地進行開發(fā),使商業(yè)用戶能積極主動使用OLAP 軟件滿足自己的要求,計算方法應該清楚,并且是非過程（nonprocedural） 的。如果產生計算結果的方法不清楚,那么開發(fā)和使用都將是一件受折磨的事情。如果計算方法是過程化的 ,那么對系統(tǒng)的改變將不能及時完成 ,并且也不能訪問即時信息

55、。評價事務處理系統(tǒng)好壞的標準是其收集和管理數據的能力 ,而評價分析處理系統(tǒng)好壞的標準則是其從數據得出信息的能力。時間智能對任何分析應用程序來說 , 時間都是不可缺少的一個因素。時間只有一維, 因為它只能從前往后延伸。那些真正的 OLAP 系統(tǒng)應該理解時間的這種序列特性。商業(yè)行為幾乎肯定要根據時間來作出判斷。時間數量和其他因素的數量在使用上并不會是一樣的。例如 ,一個管理人員可能會要求看五月份的銷售情況,或者看1995 年頭五個月的銷售情況;他還可能會看藍襯衫的銷售情況但他幾乎不可能會要求看頭五件襯衫的銷售情況。在OLAP 系統(tǒng)中,不同年份的同期比較和同一年份的期間比較應該很容易定義。另外 ,O

56、LAP 系統(tǒng)還必須理解時間平衡這個概念。例如 ,一個公司賣襯衫 ,一月份賣了 10 件,二月份賣了5 件 ,而三月份又賣了10 件 ,那么這個季度總的平衡銷售量是25 件襯衫。另一方面,一個公司一月份招進了10 名員工 ,二月份只招進了 5 名 ,三月份又招進了10 名 ,那么這個季度員工增加量是多少呢 ?大多數公司都會用平均平衡量。在資金方面,大多數公司都用最后平衡量。OLAP 的好處成功的 OLAP 應用程序會提高商業(yè)管理人員、開發(fā)人員和整個公司的生產效率。 OLAP 系統(tǒng)與生俱來的靈活性意味著OLAP 應用程序的用戶能夠更加積極主動地利用系統(tǒng)滿足自己的要求。管理人員不必再依靠 IT 人員來改變自己的業(yè)務綱要,來創(chuàng)立連接,或者來滿足自己的其他要求。OLAP 使得管理人員可以對一些問題建立模型,對那些策略性的信息更有效、更及時的訪問也就等于更有效的決策。而那些缺乏靈活性的系統(tǒng)由于有漫長并且不固定的反應時間 ,因而無法用于這一方面。,可以更好地提供服務。,這可以進一步減少應用程序積壓未交付,OLAP 應用程序要依靠數據倉庫和事務處IT 開發(fā)人員也可以從合適的 OLAP 軟件中得到好處。如果使用專門為 OLAP 設計的軟件,那么開發(fā)人員可以更快地向商業(yè)用戶發(fā)布應用程序OLAP 可以使商業(yè)用戶建立