數(shù)據(jù)倉庫技術(shù)制定方案

1、數(shù)據(jù)倉庫制定方案在當下的數(shù)據(jù)倉庫系統(tǒng)安全控制模塊中，我國數(shù)據(jù)倉庫安全分為不同的等級。總體來說，我國的數(shù)據(jù)倉庫安全性是比較低。為更好的健全計算機數(shù)據(jù)倉庫體系，進行數(shù)據(jù)倉庫安全體系的研究是必要的。很多軟件都是因為其比較缺乏安全性而得不到較大范圍的應(yīng)用，歸根結(jié)底是數(shù)據(jù)倉庫安全性級別比較低。為滿足現(xiàn)階段數(shù)據(jù)倉庫安全工作的需要，有利于數(shù)據(jù)倉庫保密性的控制，保證這些數(shù)據(jù)存儲與調(diào)用的一致性。當前數(shù)據(jù)倉庫安全控制過程中，首先需要對這些數(shù)據(jù)進行可用性的分析，從而有利于避免數(shù)據(jù)倉庫遭到破壞，更有利于進行數(shù)據(jù)倉庫的損壞控制及其修復。其次為了保證數(shù)據(jù)倉庫的安全性、效益性，也離不開對數(shù)據(jù)倉庫整體安全性方案的應(yīng)用。最后必

2、須對數(shù)據(jù)倉庫進行的一切操作進行跟蹤記錄，以實現(xiàn)對修改和訪問數(shù)據(jù)倉庫的用戶進行追蹤，從而方便追查并防止非法用戶對數(shù)據(jù)倉庫進行操作。2.1數(shù)據(jù)倉庫安全整體規(guī)劃 本方案通過對電力行業(yè)敏感信息泄露安全威脅的分析，對數(shù)據(jù)倉庫安全進行整體設(shè)計與規(guī)劃，通過全系列數(shù)據(jù)倉庫安全產(chǎn)品相互之間分工協(xié)作，共同形成整體的防護體系，覆蓋了數(shù)據(jù)倉庫安全防護的事前診斷、事中控制和事后分析。制定嚴密可行的實施計劃，整個工程嚴格按照計劃進行；公司質(zhì)量控制部利用ISO9000質(zhì)量管理規(guī)范對工程的軟件開發(fā)及實施全過程進行監(jiān)督和控制；建立完善的軟件開發(fā)和工程實施的文檔體系。對程序進行測試，對各個模塊之間的關(guān)聯(lián)情況下可能出現(xiàn)的問題進行嚴

3、密的測試，并不斷完善在測試過程中暴露出來的問題。在這過程中質(zhì)量控制小組將全程參與，確保軟件質(zhì)量。需求調(diào)研是數(shù)據(jù)倉庫開發(fā)的最重要的環(huán)節(jié)之一，在調(diào)研的過程中能否真實、準確地描述客戶的需求，對于數(shù)據(jù)倉庫的開發(fā)有著舉足輕重的影響。與客戶溝通不夠?qū)е聦ν粋€事物的描述或者理解有分歧和差異，或者調(diào)研過程中流于表面文字，而沒有進入實際的操作，都可能造成在需求調(diào)研的過程中造成對需求不精確的理解。失之毫厘，謬之千里，需求調(diào)研的微小差異可能會在軟件的開發(fā)過程中造成較大的偏差，直接影響了工程的建設(shè)質(zhì)量。為此我們?yōu)樾枨笳{(diào)研工作分配了充裕的人力的時間，制定了完善的調(diào)研方案，對需求調(diào)研的深度和廣度做了規(guī)范性的描述。確保需

4、求調(diào)研的工作質(zhì)量。2.2數(shù)據(jù)倉庫開發(fā)階段劃分與目標2.2.1、需求分析階段主要對供電公司的需求、軟硬件條件、數(shù)據(jù)狀況等情況進行調(diào)研，對需求調(diào)研的結(jié)果進行分析，同時考慮需求的廣泛適用性，歸結(jié)出其中共同的部分和相異的部分，以便下一步根據(jù)需求完成系統(tǒng)軟件開發(fā)。2.2.2、物理建模階段依照需求分析得到的邏輯模式，設(shè)計數(shù)據(jù)倉庫中的數(shù)據(jù)倉庫，開發(fā)數(shù)據(jù)倉庫中數(shù)據(jù)的物理存儲結(jié)構(gòu)，即設(shè)計多維數(shù)據(jù)結(jié)構(gòu)的事實表和維表。2.2.3、數(shù)據(jù)轉(zhuǎn)換階段此階段實現(xiàn)從多個源系統(tǒng)中抽取、清理、一致化、綜合、裝載數(shù)據(jù)等過程的設(shè)計和編碼。2.2.4、生成多維模式并搭建立方體階段在已創(chuàng)建的倉庫模式的基礎(chǔ)上，對維定義了層和層次；創(chuàng)建了需要

5、預(yù)計算的量度；利用優(yōu)化器根據(jù)業(yè)務(wù)進行了切片優(yōu)化和預(yù)處理，生成MQT（物化視圖）；在模式中建立立方體，供查詢和多維分析使用。2.2.5、多維分析及展現(xiàn)階段使用數(shù)據(jù)分析和展現(xiàn)工具，開發(fā)多維分析程序以及展現(xiàn)頁面。2.2.6、數(shù)據(jù)挖掘階段使用數(shù)據(jù)挖掘建模工具進行聚類、關(guān)聯(lián)、分類、預(yù)測，使用數(shù)據(jù)挖掘模型圖示化工具，使用圖形展示挖掘結(jié)果。2.2.7、數(shù)據(jù)倉庫項目目標使數(shù)據(jù)倉庫達到一致性、有效性、易用性、便攜性、安全性、共享、糾錯、速度、原子事物處理、持久性和備份、降低成本和可擴展性、復雜的計算、CRUD把信息系統(tǒng)中大量的數(shù)據(jù)按一定的模型組織起來，提供儲存、維護、檢索數(shù)據(jù)的功能，使信息系統(tǒng)可以方便、及時、準

6、確地從數(shù)據(jù)倉庫中獲得所需的信息。2.3數(shù)據(jù)倉庫技術(shù)要求和范圍項目方案要面向未來，技術(shù)必須具有合理性和前瞻性，應(yīng)當符合以下幾點要求： 2.3.1可擴展性系統(tǒng)的數(shù)據(jù)倉庫技術(shù)方案要能將現(xiàn)有各種資源和應(yīng)用系統(tǒng)有效地集成在一起，系統(tǒng)數(shù)據(jù)倉庫的結(jié)構(gòu)要合理，要具有良好的可擴展性，由于IT 領(lǐng)域技術(shù)發(fā)展十分迅速，應(yīng)用環(huán)境，系統(tǒng)硬件及系統(tǒng)軟件都會不可避免將被更新，因此系統(tǒng)的可擴充性及版本的兼容性好壞，直接影響著應(yīng)用系統(tǒng)和用戶需求的發(fā)展和功能的提升。另一方面，它還要有與其它系統(tǒng)的接口能力，利用各系統(tǒng)功能之長，進行優(yōu)勢互補。2.3.2標準化現(xiàn)有信息技術(shù)的發(fā)展越來越快，為了使該系統(tǒng)在未來運行過程中其技術(shù)能和整個信息技

7、術(shù)的發(fā)展同步，系統(tǒng)數(shù)據(jù)倉庫應(yīng)具有備靈活適應(yīng)性和良好的可擴展性，系統(tǒng)的結(jié)構(gòu)設(shè)計和產(chǎn)品選型要堅持標準化，首先采用國家標準和國際標準，其次采用廣為流傳的實用化工業(yè)標準。2.3.3可管理性本系統(tǒng)數(shù)據(jù)倉庫是一個比較大、較復雜的系統(tǒng)，它包含大量硬件設(shè)備、軟件系統(tǒng)和數(shù)據(jù)信息資源，這些資源分布在各個不同的地點，因此系統(tǒng)的技術(shù)方案要提供多層次、方便、有效的管理手段，為系統(tǒng)正常運行提供技術(shù)管理保障。2.3.4可配臵性由于整個系統(tǒng)數(shù)據(jù)倉庫涉及的系統(tǒng)比較多，業(yè)務(wù)種類比較復雜，因此系統(tǒng)的靈活配臵性就顯得非常重要，系統(tǒng)的可配臵性應(yīng)包括部門配臵、人員角色配臵、公文樣式配臵、處理流程配臵等。2.3.5數(shù)據(jù)倉庫項目范圍1、 數(shù)

8、據(jù)倉庫是信息系統(tǒng)的核心和基礎(chǔ)2、 數(shù)據(jù)倉庫是信息系統(tǒng)的各個部分是否能緊密地結(jié)合在一起以及如何結(jié)合的關(guān)鍵所在。3、 數(shù)據(jù)倉庫設(shè)計是信息系統(tǒng)開發(fā)和建設(shè)的重要組成部分2.4開發(fā)過程和結(jié)構(gòu)選擇2.4.1.結(jié)構(gòu)開發(fā)在數(shù)據(jù)倉庫規(guī)劃中一般需要經(jīng)歷這樣幾個過程：選擇實現(xiàn)策略、確定數(shù)據(jù)倉庫的開發(fā)目標和實現(xiàn)范圍、選擇數(shù)據(jù)倉庫體系結(jié)構(gòu)、建立商業(yè)和項目規(guī)劃預(yù)算。當數(shù)據(jù)倉庫規(guī)劃完成后，需要編制相應(yīng)的數(shù)據(jù)倉庫規(guī)劃說明書，說明數(shù)據(jù)倉庫與企業(yè)戰(zhàn)略的關(guān)系，以及與企業(yè)急需處理的、范圍相對有限的開發(fā)機會，重點支持的職能部門和今后數(shù)據(jù)倉庫開發(fā)工作的建議，實際使用方案和開發(fā)預(yù)算，作為數(shù)據(jù)倉庫實際開發(fā)的依據(jù)。2.4.2.結(jié)構(gòu)選擇 數(shù)據(jù)倉

9、庫的結(jié)構(gòu)可以進行靈活的選擇，可將組織所使用的各種平臺進行恰當?shù)姆指?，把?shù)據(jù)源、數(shù)據(jù)倉庫和最終用戶使用的工作站分割開來進行恰當?shù)脑O(shè)計。2.5數(shù)據(jù)倉庫的應(yīng)用結(jié)構(gòu)基于業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)倉庫在這種結(jié)構(gòu)中，將運作的數(shù)據(jù)用于無需修改數(shù)據(jù)的只讀應(yīng)用程序中。具有這種結(jié)構(gòu)的數(shù)據(jù)倉庫元數(shù)據(jù)倉庫是一種虛庫，而不是數(shù)據(jù)倉庫自身的元數(shù)據(jù)。在數(shù)據(jù)倉庫元數(shù)據(jù)倉庫的直接指導下，對數(shù)據(jù)倉庫的查詢就是簡單的從數(shù)據(jù)倉庫中抽取數(shù)據(jù)。單純數(shù)據(jù)倉庫利用在數(shù)據(jù)倉庫中的數(shù)據(jù)源凈化、集成、概括和集成等操作，將數(shù)據(jù)源從業(yè)務(wù)處理系統(tǒng)中傳輸進集中的數(shù)據(jù)倉庫，各部門的數(shù)據(jù)倉庫應(yīng)用只在數(shù)據(jù)倉庫中進行。這種結(jié)構(gòu)經(jīng)常發(fā)生在多部門、少用戶使用數(shù)據(jù)倉庫的情況下

10、。這里的集中僅僅是邏輯上的，物理上可能是分散的。單純數(shù)據(jù)集市 數(shù)據(jù)集市是指在部門中使用的數(shù)據(jù)倉庫，因為企業(yè)中的各個職能部門都有自己的特殊需要，而統(tǒng)一的數(shù)據(jù)倉庫可能不能滿足這些部門的特殊要求。這種體系結(jié)構(gòu)經(jīng)常發(fā)生在個別部門對數(shù)據(jù)倉庫的應(yīng)用感興趣，而組織中其他部門卻對數(shù)據(jù)倉庫的應(yīng)用十分冷漠之時，由熱心的部門單獨開發(fā)式所采用。數(shù)據(jù)倉庫和數(shù)據(jù)集市企業(yè)各部門擁有滿足自己需要的數(shù)據(jù)集市，其數(shù)據(jù)從企業(yè)數(shù)據(jù)倉庫中獲取，而數(shù)據(jù)倉庫從企業(yè)各種數(shù)據(jù)源中收集和分配。這種體系結(jié)構(gòu)是一種較為完善的數(shù)據(jù)倉庫體系結(jié)構(gòu)，往往發(fā)生在組織整體對數(shù)據(jù)倉庫應(yīng)用感興趣之時所采用的體系結(jié)構(gòu)。2.6數(shù)據(jù)倉庫的技術(shù)平臺結(jié)構(gòu)單層結(jié)構(gòu)單層結(jié)構(gòu)主要

11、是在數(shù)據(jù)源和數(shù)據(jù)倉庫之間共享平臺，或者讓數(shù)據(jù)源、數(shù)據(jù)倉庫、數(shù)據(jù)集市與最終用戶工作站使用同一個平臺。共享一個平臺可以降低數(shù)據(jù)抽取和數(shù)據(jù)轉(zhuǎn)換的復雜性，但是共享平臺在應(yīng)用中可能遇到性能和管理方面的問題，這種體系結(jié)構(gòu)一般在數(shù)據(jù)倉庫規(guī)模較小，而組織的業(yè)務(wù)系統(tǒng)平臺具有較大潛力之時所采用。客戶/服務(wù)器兩層結(jié)構(gòu)一層為客戶機，一層為服務(wù)器，最終用戶訪問工具在客戶層上運行，而數(shù)據(jù)源、數(shù)據(jù)倉庫和數(shù)據(jù)集市位于服務(wù)器上，該技術(shù)機構(gòu)一般用于普通規(guī)模的數(shù)據(jù)倉庫。 三層客戶/服務(wù)器結(jié)構(gòu)基于工作站的客戶層、基于服務(wù)器的中間層和基于主機的第三層。主機層負責管理數(shù)據(jù)源和可選的源數(shù)據(jù)轉(zhuǎn)換；服務(wù)器運行數(shù)據(jù)倉庫和數(shù)據(jù)集市軟件，并且存儲倉

12、庫的數(shù)據(jù)；客戶工作站運行查詢和報表運用程序，且還可以存儲從數(shù)據(jù)集市或數(shù)據(jù)倉庫卸載的局部數(shù)據(jù)。在數(shù)據(jù)倉庫稍具規(guī)模，兩層數(shù)據(jù)倉庫結(jié)構(gòu)已經(jīng)不能滿足客戶的需求，要講數(shù)據(jù)倉庫的數(shù)據(jù)存儲管理、數(shù)據(jù)倉庫的應(yīng)用處理和客戶端應(yīng)用分開之時，可以采用這種結(jié)構(gòu)。多層式結(jié)構(gòu) 這是在三層機構(gòu)基礎(chǔ)上發(fā)展起來的數(shù)據(jù)倉庫結(jié)構(gòu)，在該結(jié)構(gòu)中從最內(nèi)數(shù)據(jù)層到最外層的客戶層依次是：單獨的數(shù)據(jù)倉庫存儲層、對數(shù)據(jù)倉庫和數(shù)據(jù)集市進行管理的數(shù)據(jù)倉庫服務(wù)層、進行數(shù)據(jù)倉庫查詢處理的查詢服務(wù)層、完成數(shù)據(jù)倉庫應(yīng)用處理的應(yīng)用服務(wù)層和面向最終用戶的客戶層。體系層次可能多達五層，這種體系結(jié)構(gòu)一般用于超規(guī)模數(shù)據(jù)倉庫系統(tǒng)。2.7數(shù)據(jù)倉庫使用方案和項目規(guī)劃預(yù)算數(shù)據(jù)

13、倉庫的實際使用方案與開發(fā)預(yù)算，是數(shù)據(jù)倉庫規(guī)劃中最后需要確定的問題。因為數(shù)據(jù)倉庫主要用于對企業(yè)管理人員的決策支持，確保其實用性是十分重要的，因此需要讓最終用戶參與數(shù)據(jù)倉庫的功能設(shè)計。這種參與是通過用戶的實際使用方案進行的，使用方案是一個非常重要的需求模型。實際使用方案必須有助于闡明最終用戶對數(shù)據(jù)倉庫的要求，這些要求有的只使用適當?shù)臄?shù)據(jù)源就可以得到基本滿足，而有的卻需要來自企業(yè)外部的數(shù)據(jù)源，這就需要通過使用方案將這些不同的要求聯(lián)系起來。實際使用方案還可以將最終用戶的決策支持要求與數(shù)據(jù)倉庫的技術(shù)要求聯(lián)系起來。因為當用戶確定最終要求后，為元數(shù)據(jù)倉庫的范圍確定一個界限。還可以確定所需要的歷史信息的數(shù)量，

14、當根據(jù)特定的用戶進行數(shù)據(jù)倉庫的規(guī)劃時，就可確定最終用戶所關(guān)心的維度（時間、方位、商業(yè)單位和生產(chǎn)企業(yè)），因為維度與所需要的概括操作有明顯的關(guān)系，必須選擇對最終用戶有實際意義的維度，如：“月”、“季度”、“年”等。最后，還可以確定數(shù)據(jù)集市/數(shù)據(jù)倉庫的結(jié)構(gòu)需要，使設(shè)計人員確定采用單純數(shù)據(jù)倉庫結(jié)構(gòu)，還是單純的數(shù)據(jù)集市結(jié)構(gòu)或者是兩者相結(jié)合的結(jié)構(gòu)。在實際使用開發(fā)方案確定后，還需要對開發(fā)方案的預(yù)算進行估計，確定項目的投資數(shù)額。投資方案的確定可以依據(jù)以往的軟件開發(fā)成本，但是這種預(yù)算的評估比較粗糙。另一種方法是參照結(jié)構(gòu)進行成本評估，也就是說，將數(shù)據(jù)倉庫實際使用方案所確定的構(gòu)件進行分解，根據(jù)各個構(gòu)件的成本進行預(yù)算估算。數(shù)據(jù)倉庫的構(gòu)件包含在數(shù)據(jù)源、數(shù)據(jù)倉庫、數(shù)據(jù)集市、最終用戶存取、數(shù)據(jù)管理、元數(shù)據(jù)管理、傳輸基礎(chǔ)等部分中，這些構(gòu)件有的在企業(yè)原有信息系統(tǒng)中已經(jīng)具備，有的可以選擇商品化構(gòu)件，有的則需要自我開發(fā)。根據(jù)這些構(gòu)件的不同來源，可以確定比較準確的預(yù)算。在完成數(shù)據(jù)倉庫規(guī)劃后，就需要編制數(shù)據(jù)倉庫開發(fā)說明書，說明系統(tǒng)