創(chuàng)建數(shù)據(jù)倉庫的方法.doc

創(chuàng)建數(shù)據(jù)倉庫的方法、模型與步驟一、 引言 隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展和企業(yè)界不斷地提出新的需求,數(shù)據(jù)倉庫技術(shù)應(yīng)運(yùn)而生。傳統(tǒng)的數(shù)據(jù)庫技術(shù)是以單一的數(shù)據(jù)資源為中心,同時(shí)進(jìn)行從事務(wù)處理、批處理到?jīng)Q策分析的各種類型的處理。 近年來,人們逐漸認(rèn)識(shí)到計(jì)算機(jī)系統(tǒng)中存在著兩類不同的處理:操作型處理和分析型處理(或信息型處理)。操作型處理也叫事務(wù)處理,是指對(duì)數(shù)據(jù)庫聯(lián)機(jī)地進(jìn)行日常操作,通常是對(duì)一個(gè)或一組記錄的查詢和修改,主要是為企業(yè)的特定應(yīng)用服務(wù)的。對(duì)此,人們關(guān)心的是響應(yīng)時(shí)間、數(shù)據(jù)的安全性和完整性。分析型處理則用于管理人員的決策分析。例如SS、EIS和多維分析等,經(jīng)常要訪問大量的歷史數(shù)據(jù)。 二者的巨大差異使得操作型處理和分析型處理的分離成為必然。于是,數(shù)據(jù)庫由操作型環(huán)境發(fā)展為一種新環(huán)境:體系化環(huán)境。體系化環(huán)境由操作型環(huán)境和分析型環(huán)境(數(shù)據(jù)倉庫級(jí)、部門級(jí)、個(gè)人級(jí))構(gòu)成。數(shù)據(jù)倉庫是體系化環(huán)境的核心,它是建立決策支持系統(tǒng)(DSS)的基礎(chǔ)。 二、 數(shù)據(jù)倉庫的系統(tǒng)設(shè)計(jì)方法:CLDS 數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的。數(shù)據(jù)以數(shù)據(jù)模型中所定義的各個(gè)主題域?yàn)榛A(chǔ),與應(yīng)用相獨(dú)立。主題域又可分為表示企業(yè)中一系列基本實(shí)體的主題,以及表示實(shí)體間聯(lián)系的主題。 正是由于數(shù)據(jù)倉庫中的數(shù)據(jù)是面向主題的,從而決定了其設(shè)計(jì)由數(shù)據(jù)驅(qū)動(dòng)。傳統(tǒng)的操作型環(huán)境則是面向應(yīng)用、由需求驅(qū)動(dòng)的。在操作型環(huán)境中,業(yè)務(wù)過程和規(guī)則比較規(guī)范和固定。系統(tǒng)設(shè)計(jì)人員能夠清晰地了解應(yīng)用的需求和數(shù)據(jù)流程。系統(tǒng)的設(shè)計(jì)一般采取系統(tǒng)生命周期法(SDLC-Systems Development Life Cycle)。 而在分析型環(huán)境中,DSS分析員一般是企業(yè)的中上層管理人員,他們對(duì)決策分析的需求不能預(yù)先做出規(guī)范說明。他們對(duì)開發(fā)人員說:讓我看看我能得到什么,然后我才能告訴你我真正需要什么。 數(shù)據(jù)倉庫應(yīng)該在極大量的數(shù)據(jù)中為用戶提供有用、及時(shí)、全面的信息,以幫助用戶做出正確的決策。所以數(shù)據(jù)倉庫的系統(tǒng)設(shè)計(jì)采取與系統(tǒng)生命周期法相反的方法,稱為CLDS(與SDLC相反)。CLDS由數(shù)據(jù)開始,對(duì)已有的數(shù)據(jù)進(jìn)行集成,生成各個(gè)主題域,然后根據(jù)數(shù)據(jù)來編制程序。用戶根據(jù)查詢和分析的結(jié)果,將需求反饋給開發(fā)人員。 數(shù)據(jù)倉庫的系統(tǒng)設(shè)計(jì)是一個(gè)動(dòng)態(tài)的反饋和循環(huán)的過程。一方面數(shù)據(jù)倉庫的數(shù)據(jù)內(nèi)容、結(jié)構(gòu)、粒度、分割以及其它物理設(shè)計(jì)根據(jù)用戶所返回的信息不斷地調(diào)整和完善,提高系統(tǒng)的效率和性能。另一方面,通過不斷地理解需求,使得最終用戶能做出更準(zhǔn)確、更有用的決策分析。三、數(shù)據(jù)倉庫的數(shù)據(jù)模型 數(shù)據(jù)模型是對(duì)現(xiàn)實(shí)世界進(jìn)行抽象的工具。操作型環(huán)境和分析型環(huán)境的數(shù)據(jù)模型均由整體數(shù)據(jù)模型發(fā)展而來。整體數(shù)據(jù)模型僅含有原始數(shù)據(jù)。從整體數(shù)據(jù)模型到操作型數(shù)據(jù)模型的變化是很少的,兩種數(shù)據(jù)模型基本等價(jià),只是在操作型數(shù)據(jù)模型中增加了一些性能因素,以提高系統(tǒng)的性能。而數(shù)據(jù)倉庫的數(shù)據(jù)模型的變化卻很大:首先刪除了那些純操作型的數(shù)據(jù);其次,擴(kuò)充了碼結(jié)構(gòu),增加了時(shí)間屬性;并增加了一些導(dǎo)出數(shù)據(jù);最后,操作型環(huán)境中數(shù)據(jù)的完整性在數(shù)據(jù)倉庫中被轉(zhuǎn)化為由artifact實(shí)現(xiàn)。 有文獻(xiàn)提出了數(shù)據(jù)倉庫中三級(jí)數(shù)據(jù)模型的概念:高級(jí)別的模型,即ERD(Entity-Relationship Diagram);中級(jí)別的模型,稱為DIS(Data Item Set數(shù)據(jù)項(xiàng)集合);低級(jí)別的模型,即物理數(shù)據(jù)模型。 當(dāng)前的數(shù)據(jù)倉庫一般建立在RDB的基礎(chǔ)上,我們認(rèn)為該三級(jí)模型可通過ERD和關(guān)系模型實(shí)現(xiàn)。ERD的設(shè)計(jì)是很重要的一步,它屬于概念模型,獨(dú)立于具體的系統(tǒng),它描述了企業(yè)內(nèi)的實(shí)體和聯(lián)系,即主題域,是企業(yè)最高層次的抽象。整體ERD由各分ERD綜合而成,不僅消除了分ERD之間的不一致,而且消除了不必要的冗余。ERD在邏輯上實(shí)現(xiàn)了數(shù)據(jù)倉庫集成和面向主題的特點(diǎn)。下一步是設(shè)計(jì)數(shù)據(jù)倉庫的邏輯數(shù)據(jù)模型,擴(kuò)充每個(gè)主題域,以得到主碼(包括時(shí)間主屬性)和各屬性,并實(shí)現(xiàn)主題域之間的聯(lián)系。物理數(shù)據(jù)模型設(shè)計(jì)要確定數(shù)據(jù)倉庫在物理設(shè)備上的存儲(chǔ)結(jié)構(gòu)和存取方法,這與具體的系統(tǒng)是有關(guān)的。 四、提高數(shù)據(jù)倉庫的性能 建立數(shù)據(jù)倉庫過程中的一個(gè)重要問題是系統(tǒng)的性能。 提高系統(tǒng)性能尤其是系統(tǒng)的物理I/O性能,是數(shù)據(jù)倉庫設(shè)計(jì)人員的一個(gè)重要目標(biāo)。這是由于I/O常常成為影響系統(tǒng)性能的瓶頸。在數(shù)據(jù)倉庫的設(shè)計(jì)中,應(yīng)使得每次I/O返回盡量多的紀(jì)錄。事實(shí)上,數(shù)據(jù)倉庫中的數(shù)據(jù)量很大,但數(shù)據(jù)極少甚至不再更新,所以數(shù)據(jù)倉庫的物理設(shè)計(jì)有著自己的特點(diǎn)。 1.劃分粒度 對(duì)數(shù)據(jù)倉庫開發(fā)者來說,劃分粒度是設(shè)計(jì)過程中最重要的問題之一。所謂粒度是指數(shù)據(jù)倉庫中數(shù)據(jù)單元的詳細(xì)程度和級(jí)別。數(shù)據(jù)越詳細(xì),粒度越小,級(jí)別就越低;數(shù)據(jù)綜合度越高,粒度越大,級(jí)別就越高。在傳統(tǒng)的操作型系統(tǒng)中,對(duì)數(shù)據(jù)的處理和操作都是在詳細(xì)數(shù)據(jù)級(jí)別上的,即最低級(jí)的粒度。 但是在數(shù)據(jù)倉庫環(huán)境中,主要是分析型處理,粒度的劃分將直接影響到數(shù)據(jù)倉庫中的數(shù)據(jù)量和所適合的查詢類型。一般需要將數(shù)據(jù)劃分為:詳細(xì)數(shù)據(jù)、輕度綜合、高度綜合三級(jí)或更多級(jí)粒度。不同粒度級(jí)別的數(shù)據(jù)用于不同類型的分析處理。粒度的劃分對(duì)數(shù)據(jù)倉庫中其它的設(shè)計(jì)工作有很大影響,粒度劃分是否正確將影響數(shù)據(jù)倉庫的設(shè)計(jì)。 正確劃分粒度的第一步是估算數(shù)據(jù)倉庫中數(shù)據(jù)的行數(shù)和所需的DASD( Direct Access Storage Device)數(shù);然后根據(jù)估算出的數(shù)據(jù)量和DASD, 決定是否有必要和如何劃分粒度。有一點(diǎn)需要說明,粒度劃分的決定性因素并非總的數(shù)據(jù)量,而是總的行數(shù)。這是因?yàn)閷?duì)數(shù)據(jù)的存取通常是通過存取索引來實(shí)現(xiàn)的。 從一開始就要完整地設(shè)計(jì)數(shù)據(jù)倉庫的所有粒度層次是不可取的。通常是先以經(jīng)驗(yàn)來選擇粒度水平,然后再在建立和使用數(shù)據(jù)倉庫的反饋中循環(huán)地進(jìn)行調(diào)整。 2.進(jìn)行分割 數(shù)據(jù)的分割是指把邏輯上統(tǒng)一的數(shù)據(jù)分割成較小的、可以獨(dú)立管理的物理單元(稱為分片)進(jìn)行存儲(chǔ),以便于重構(gòu)、重組和恢復(fù),以提高索引創(chuàng)建和順序掃描的效率。數(shù)據(jù)的分割使數(shù)據(jù)倉庫的開發(fā)人員和用戶具有更大的靈活性。 數(shù)據(jù)分割分為系統(tǒng)級(jí)和應(yīng)用級(jí)兩種。系統(tǒng)級(jí)的分割是由DBMS和操作系統(tǒng)實(shí)現(xiàn)的;而應(yīng)用級(jí)的分割是由開發(fā)人員和程序員通過應(yīng)用代碼來直接控制的。通常分割是按日期、業(yè)務(wù)、機(jī)構(gòu)、地域或它們的組合進(jìn)行的,所以應(yīng)用級(jí)的分割更為靈活,更利于提高系統(tǒng)的性能。因此,在數(shù)據(jù)倉庫的設(shè)計(jì)中,應(yīng)用級(jí)的分割使用得更為普遍。 對(duì)數(shù)據(jù)分割的正確性,可以用這樣一個(gè)問題來檢驗(yàn):能否將索引加到一個(gè)分片上而不影響其它的操作。如果增加一個(gè)索引的操作非常復(fù)雜,就有必要對(duì)數(shù)據(jù)的分割進(jìn)行調(diào)整或重新進(jìn)行分割。 3.其它物理設(shè)計(jì) (1)表的合并。物理模型設(shè)計(jì)的結(jié)果是生成了許多只含有很少量記錄的表,通常每個(gè)物理塊上存有多個(gè)表。因此,將相關(guān)的表預(yù)先合并在同一物理塊中將會(huì)減少I/O的次數(shù)。 (2)建立數(shù)據(jù)矩陣。在數(shù)據(jù)倉庫中,一些數(shù)據(jù)通常是按一定的順序來存取的,將數(shù)據(jù)矩陣存放在一個(gè)物理塊中,可以大大減少系統(tǒng)I/O。 一個(gè)明顯的例子是,按照時(shí)間的順序?qū)⒛骋粫r(shí)期內(nèi)的數(shù)據(jù)存放到一個(gè)數(shù)據(jù)矩陣中。 (3)引入冗余。數(shù)據(jù)倉庫的分析通常要涉及不同表的多個(gè)屬性,因此可將那些比較穩(wěn)定、存取頻率較高的屬性復(fù)制到多個(gè)主題中,以減少被存取的表的個(gè)數(shù)。 (4)進(jìn)一步細(xì)分?jǐn)?shù)據(jù)。每個(gè)主題中的各個(gè)屬性的存取頻率是不同的?？梢詫⒁粡埍戆凑崭鲗傩员淮嫒〉念l率分成兩個(gè)或多個(gè)表。 (5)生成導(dǎo)出數(shù)據(jù)。如果事先在原始數(shù)據(jù)的基礎(chǔ)上進(jìn)行總結(jié)或計(jì)算,生成導(dǎo)出數(shù)據(jù),那么就可以在應(yīng)用中直接利用這些導(dǎo)出數(shù)據(jù)。這樣,既減少了I/O的次數(shù), 又免去了計(jì)算或匯總的步驟。 (6)建立索引。當(dāng)數(shù)據(jù)從操作型環(huán)境移植到數(shù)據(jù)倉庫中時(shí),要建立索引。 (7)參照完整性的實(shí)現(xiàn)。與操作型環(huán)境相比,數(shù)據(jù)倉庫中的數(shù)據(jù)量非常大,數(shù)據(jù)不被更新,一部分?jǐn)?shù)據(jù)的清除對(duì)其它數(shù)據(jù)的影響較小,在數(shù)據(jù)倉庫中需要對(duì)業(yè)務(wù)規(guī)則進(jìn)行更詳細(xì)的描述。因此,數(shù)據(jù)之間的聯(lián)系在一段時(shí)期內(nèi)是靜態(tài)的,必須采用與傳統(tǒng)的數(shù)據(jù)參照完整性不同的技術(shù)。 五、創(chuàng)建數(shù)據(jù)倉庫的步驟 數(shù)據(jù)倉庫的創(chuàng)建不是一蹴而就的。從原有的操作型環(huán)境移植到體系化環(huán)境是一項(xiàng)復(fù)雜而艱巨的工作,它需要將許多系統(tǒng)和產(chǎn)品集成。數(shù)據(jù)倉庫的建立將會(huì)面臨很大的風(fēng)險(xiǎn),在得到回報(bào)之前要經(jīng)歷一個(gè)長時(shí)期的不斷反饋的循環(huán)過程。下面討論一個(gè)建立數(shù)據(jù)倉庫的方法,該方法已經(jīng)在很多企業(yè)中獲得了成功。 1.建立數(shù)據(jù)倉庫的數(shù)據(jù)模型 數(shù)據(jù)倉庫建立的第一步是設(shè)計(jì)數(shù)據(jù)倉庫的數(shù)據(jù)模型。通過數(shù)據(jù)模型,我們可以得到企業(yè)完整而清晰的描述信息。數(shù)據(jù)模型是面向主題建立的,同時(shí)又為多個(gè)面向應(yīng)用的數(shù)據(jù)源的集成提供了統(tǒng)一的標(biāo)準(zhǔn)。數(shù)據(jù)倉庫的數(shù)據(jù)模型一般包括:企業(yè)的各個(gè)主題域、主題域之間的聯(lián)系、描述主題的碼和屬性組。 2.定義記錄系統(tǒng)(System of Records) 數(shù)據(jù)倉庫中的數(shù)據(jù)來源于多個(gè)已有的操作型系統(tǒng)。一方面,各個(gè)系統(tǒng)的數(shù)據(jù)都是面向應(yīng)用的,不能完整地描述企業(yè)中的主題域;另一方面,多個(gè)數(shù)據(jù)源的數(shù)據(jù)之間存在著許多不一致,如命名、結(jié)構(gòu)、單位不一致等,甚至數(shù)據(jù)的內(nèi)容也可能不一致。所以必須在已有系統(tǒng)中定義記錄系統(tǒng)。記錄系統(tǒng)是一個(gè)內(nèi)容正確、在多個(gè)數(shù)據(jù)源間起決定作用的操作型數(shù)據(jù)源。它的特點(diǎn)是:數(shù)據(jù)最完整、最準(zhǔn)確、最及時(shí),結(jié)構(gòu)最適合于數(shù)據(jù)倉庫,并且與外部數(shù)據(jù)源最為接近。數(shù)據(jù)倉庫的數(shù)據(jù)將由記錄系統(tǒng)轉(zhuǎn)換而來。 3.將數(shù)據(jù)模型轉(zhuǎn)換成數(shù)據(jù)倉庫的設(shè)計(jì) 數(shù)據(jù)倉庫的設(shè)計(jì)以數(shù)據(jù)模型為基礎(chǔ),并進(jìn)行了一些修改:刪去了純操作型數(shù)據(jù),在碼中增加了時(shí)間屬性,用arti-fact替代了參照完整性,生成了導(dǎo)出數(shù)據(jù)。此外,還包括許多有關(guān)物理特性的設(shè)計(jì)。 需要說明的是,在進(jìn)行數(shù)據(jù)倉庫的設(shè)計(jì)之前,必需對(duì)系統(tǒng)的技術(shù)環(huán)境進(jìn)行估計(jì)和準(zhǔn)備。比如,用于數(shù)據(jù)倉庫的軟件和工具、系統(tǒng)所需的DASD數(shù)、如何建立網(wǎng)絡(luò)等。技術(shù)環(huán)境是建立數(shù)據(jù)倉庫的基礎(chǔ)。 4.建立記錄系統(tǒng)與數(shù)據(jù)倉庫的接口 至此,我們已經(jīng)確定了數(shù)據(jù)倉庫的數(shù)據(jù)模型,并在操作型環(huán)境中定義了記錄系統(tǒng),接下來的工作是如何建立和設(shè)計(jì)兩者之間的接口。接口與抽取程序不同,抽取程序只是將兩種數(shù)據(jù)源之間的數(shù)據(jù)進(jìn)行轉(zhuǎn)換。在記錄系統(tǒng)到數(shù)據(jù)倉庫的轉(zhuǎn)換過程中,面向應(yīng)用的多個(gè)數(shù)據(jù)源的混亂狀態(tài)經(jīng)過集成,生成了含有完整、準(zhǔn)確、統(tǒng)一描述信息的主題域,并得到了一系列的歷史數(shù)據(jù)和導(dǎo)出數(shù)據(jù)。 在該過程中,還有一個(gè)如何高效率地對(duì)操作型環(huán)境中的數(shù)據(jù)進(jìn)行掃描以便追加的問題。一般采取以下幾種方法:對(duì)操作型數(shù)據(jù)加時(shí)標(biāo)、創(chuàng)建delta 文件、使用系統(tǒng)日志或?qū)徲?jì)日志、修改程序代碼、使用前映象或后映象文件。 在數(shù)據(jù)倉庫的建立過程中,大約有80%的工作量用于這一步驟。 5.建立第一個(gè)主題域,在反饋和循環(huán)中逐漸建立其它主題域 最初,只使用一部分?jǐn)?shù)據(jù)來生成第一個(gè)主題域。原因在于,只建立一個(gè)主題域使得設(shè)計(jì)人員能夠輕易且迅速地對(duì)已做工作進(jìn)行調(diào)整,而且能夠盡早地實(shí)施數(shù)據(jù)倉庫的應(yīng)用。這樣,既可以在經(jīng)濟(jì)上最快地得到回報(bào),又能夠通過最終用戶的使用發(fā)現(xiàn)問題并提出新的需求,然后反饋給設(shè)計(jì)人員。設(shè)計(jì)人員繼續(xù)對(duì)系統(tǒng)改進(jìn)、擴(kuò)展,將更多的主題域加入到數(shù)據(jù)倉庫中。經(jīng)過這樣一個(gè)不斷的反饋過程,數(shù)據(jù)倉庫就逐漸建立起來了。 6.數(shù)據(jù)倉庫的實(shí)施 數(shù)據(jù)倉庫建立之后,一方面,各個(gè)級(jí)別的最終用戶,從企業(yè)的決策人員、中級(jí)管理人員到普通的職員,都使用數(shù)據(jù)倉庫進(jìn)行決策或者分析,來解決一些諸如顧客需要什么,企業(yè)應(yīng)提供何種服務(wù),近期的生產(chǎn)情況如何的問題。同時(shí),用戶將使用情況和新的需求意見反饋給開發(fā)人員。另一方面,開發(fā)人員進(jìn)一步完善系統(tǒng),并管理數(shù)據(jù)倉庫的一些日?；顒?dòng):刷新數(shù)據(jù)倉庫的當(dāng)前詳細(xì)數(shù)據(jù),將過時(shí)的數(shù)據(jù)轉(zhuǎn)化成歷史數(shù)據(jù),清除不再使用的數(shù)據(jù),并調(diào)整粒度級(jí)別。其中的一個(gè)問題是:如何利用接口定期從操作型環(huán)境向數(shù)據(jù)倉庫追加數(shù)據(jù)?？梢园凑盏谒牟剿岬降膸追N方法直接從OLTP數(shù)據(jù)庫追加數(shù)據(jù),也可以通過ODS來實(shí)現(xiàn)。 另一個(gè)問題是:數(shù)據(jù)倉庫的數(shù)據(jù)刷新頻率。Imnom 給出了一條規(guī)則:刷新頻率應(yīng)大于24小時(shí),否則數(shù)據(jù)倉庫就變成了操作型環(huán)境。 六、 其它 1.元數(shù)據(jù) 元數(shù)據(jù)的設(shè)計(jì)和管理在數(shù)據(jù)倉庫中具有很重要的地位。元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù),類似傳統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)字典。利用元數(shù)據(jù)能最有效地管理數(shù)據(jù)倉庫。元數(shù)據(jù)的定義包括:面向程序員的數(shù)據(jù)結(jié)構(gòu),面向DSS分析員的數(shù)據(jù)結(jié)構(gòu),數(shù)據(jù)倉庫的數(shù)據(jù)來源,從操作型環(huán)境到數(shù)據(jù)倉庫的映象,數(shù)據(jù)模型,數(shù)據(jù)模型與數(shù)據(jù)倉庫的聯(lián)系等。 2.外部數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù) 通常,企業(yè)還需要來自企業(yè)外部的數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。企業(yè)既可以通過重新格式化將它們集成到數(shù)據(jù)倉庫中,并設(shè)計(jì)相應(yīng)的元數(shù)據(jù);也可以不存放到數(shù)據(jù)倉庫中,只在元數(shù)據(jù)中增加外部數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)信息和結(jié)構(gòu)信息。 3.數(shù)據(jù)倉庫體系和數(shù)據(jù)倉庫/ODS體系 企業(yè)的某些應(yīng)用是處于操作型和分析型之間的。因此,可以考慮是使用數(shù)據(jù)倉庫體系,還是數(shù)據(jù)倉庫/ODS體系。 4.完整的體系化環(huán)境 隨著數(shù)據(jù)倉庫數(shù)據(jù)量的膨脹,以及更多的部門和個(gè)人來使用數(shù)據(jù)倉庫,有必要建立完整的體系化環(huán)境。通過進(jìn)一步的抽取,可以在數(shù)據(jù)倉庫的基礎(chǔ)上建立部門級(jí)和個(gè)人級(jí)的局部數(shù)據(jù)倉庫。 七、 結(jié)論 (1)數(shù)據(jù)倉庫創(chuàng)建的方法、模型和步驟與傳統(tǒng)的操作型環(huán)境相比是有區(qū)別的。數(shù)據(jù)倉庫的設(shè)計(jì)由數(shù)據(jù)驅(qū)動(dòng),采取與系統(tǒng)生命周期法相反的CLDS法。 (2)數(shù)據(jù)模型是在