數(shù)據(jù)庫系統(tǒng)總體設計原則

文檔編號產(chǎn)品版本密級

1.0

共87頁

數(shù)據(jù)倉庫系統(tǒng)

總體設計

文檔作者：_______日期：2001/12/20

項目經(jīng)理：_______日期：2001/12/28

部門經(jīng)理：_____日期：2002/01/08

總工辦：_______日期：2002/01/08

目錄

I概述..............................................................7

1.1背景.........................................................7

1.1.1待開發(fā)的軟件系統(tǒng)名稱...........................................8

1.1.2系統(tǒng)的基本概念.................................................8

1.1.3項目組名稱.....................................................8

1.1.4項目代號.......................................................8

1.2術語和縮寫詞.................................................8

1.3設計目標.....................................................9

2系統(tǒng)設計..........................................................9

2.1設計原則.....................................................9

2.2系統(tǒng)結構....................................................II

2.2.1子系統(tǒng)劃分....................................................II

2.3系統(tǒng)數(shù)據(jù)結構................................................17

2.3.1邏輯結構......................................................12

2.3.2層次結構......................................................13

2.3.3網(wǎng)絡拓撲結構..................................................14

2.3.4網(wǎng)絡層次結構..................................................16

2.4行業(yè)特殊需求................................................17

2.5底層數(shù)據(jù)庫（倉庫）設計......................................19

2.5.1設計原則......................................................19

2.5.2數(shù)據(jù)現(xiàn)狀......................................................20

2.5.3數(shù)據(jù)存儲整體規(guī)劃..............................................21

2.6ETL系統(tǒng)....................................................24

2.6.1需求規(guī)定......................................................24

2.6.2運行環(huán)境......................................................24

2.6.3設計思想......................................................24

2.6.4結構說明......................................................25

2.6.5處理流程......................................................26

2.7系統(tǒng)管理.................................................................................27

2.7.1需求規(guī)定.......................................................................................27

2.7.2運行環(huán)境.......................................................................................28

2.7.3設計思想.......................................................................................28

2.7.4結構說明.......................................................................................28

2.7.5處理流程.......................................................................................29

2.8數(shù)據(jù)展現(xiàn).................................................................................30

2.8.1需求規(guī)定........................................................................................30

282運行環(huán)境........................................................................................32

2.8.3設計思想....................................................................................32

2.8.4結構說明.......................................................................................32

2.8.5處理流程........................................................................................34

2.9界面設計...................................錯誤!未定義書簽。

2.9.1需求規(guī)定......................................錯誤!未定義書簽。

292主程序界面....................................錯誤!未定義書簽。

2.9.3主要頁面設計..................................錯誤!未定義書簽。

2.10接口設計.................................................................................34

2.10.1外部接口........................................................................................34

2.10.2內(nèi)部接口......................................................35

2.11安全設計...................................................35

2.11.1網(wǎng)絡安全......................................................35

2.11.2數(shù)據(jù)庫安全...................................................38

2.12系統(tǒng)可靠性設計.............................................39

2.12.1可靠性........................................................39

2.12.2可維護性.....................................................39

2.12.3可擴展性.....................................................40

2.12.4健壯性........................................................40

2.12.5性能保證.....................................................40

2.12.6出錯處理.....................................................41

2.12.7備份與恢復...................................................41

2.13運行設計...................................................42

2.14相關工具選擇...............................................42

2.14.1數(shù)據(jù)庫選擇....................................................43

2.14.2WEB服務器和應用服務器......................................43

2.14.3數(shù)據(jù)庫建模工具...............................................44

2.14.4分析型工具...................................................44

2.14.5OLAP工具介紹...............................................45

2.14.6ORACLE公司OLAP介紹......................................46

2.15開發(fā)環(huán)境...................................................47

2.15.1硬件環(huán)境......................................................47

2.15.2操作系統(tǒng).....................................................48

2.15.3開發(fā)語言.....................................................48

2.15.4數(shù)據(jù)庫系統(tǒng)...................................................48

2.15.5中間件系統(tǒng)...................................................48

2.15.6應用系統(tǒng).....................................................49

3系統(tǒng)調(diào)試和測試..................................................49

3.1目的........................................................49

3.2基本要求....................................................50

3.2.1測試計戈ij............................................................................................................50

3.2.2測試說明......................................................50

3.2.3測試環(huán)境建立..................................................50

3.2.4測試報告......................................................50

3.3應遵循的原則................................................50

3.4測試方法....................................................51

3.5測試重點....................................................51

4項目進度.........................................................52

4.1項目資源計劃................................................52

4.1.1項目組........................................................52

4.1.2數(shù)據(jù)倉庫領導小組辦公室........................................52

4.2項目工期計劃................................................52

4.3時間進度計劃................................................52

4.3.1數(shù)據(jù)倉庫系統(tǒng)需求調(diào)查與兩會系統(tǒng)................................53

4.4第一期開發(fā)主題..............................................53

4.5第二期開發(fā)主題..............................................53

4.6工作量分配計劃..............................................53

5小結.............................................................54

6參考文獻..........................................................56

7附錄.............................................................57

7.1Oracle性能評估報告..........................................57

7.2主流WEB服務器比較........................................61

7.3IBM小型機性能評估報告.....................................72

7.4詳細網(wǎng)絡拓撲圖及設備清單...................................74

7.5在多層體系結構下建立數(shù)據(jù)倉庫...............................79

摘要

數(shù)據(jù)倉庫系統(tǒng)的建立可以解決傳統(tǒng)數(shù)據(jù)庫不能很好提供分析決策功能的問

題，可以發(fā)掘歷史數(shù)據(jù)中隱含的大量有價值的信息，為國民經(jīng)濟的發(fā)展和宏觀決

策提供大量有效的參考信息。系統(tǒng)數(shù)據(jù)來源復雜，在數(shù)據(jù)倉庫設計中不能采用常

規(guī)方法解決問題；主題眾多且分析熱點會隨時間變化而變化，要求主題下所含的

信息在一定范圍可變；主題下指標可能需要調(diào)整等實際情況，這和數(shù)據(jù)倉庫的數(shù)

據(jù)的不可修改性有矛盾；等等。我們結合數(shù)據(jù)倉庫的特點和系統(tǒng)實際情況，提供

了一套完整的數(shù)據(jù)倉庫系統(tǒng)的解決方案。整個數(shù)據(jù)倉庫系統(tǒng)從數(shù)據(jù)采集到數(shù)據(jù)展

現(xiàn)共分為四部分：1、數(shù)據(jù)抽取、轉換、加載；2、系統(tǒng)管理（包括數(shù)據(jù)庫維護）；

3、數(shù)據(jù)展現(xiàn)；4、支撐整個系統(tǒng)的數(shù)據(jù)庫的設計（包括ETL中間數(shù)據(jù)庫和數(shù)據(jù)倉

庫）保證系統(tǒng)具有相當?shù)撵`活性。各個部分獨立完成本部分功能，同時緊密協(xié)作

組成數(shù)據(jù)倉庫系統(tǒng)。數(shù)據(jù)倉庫系統(tǒng)管理與數(shù)據(jù)導入部分采用C/S模式有針對性的

開發(fā)；數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)展現(xiàn)采用流行的B/S模式向用戶提供數(shù)據(jù)查詢、決策

分析。

關鍵詞：

指標，主題，數(shù)據(jù)倉庫，聯(lián)機分析，數(shù)據(jù)挖掘，決策支持。

1概述

1.1背景

經(jīng)過2個多月的需求分析調(diào)查，確定了數(shù)據(jù)倉庫系統(tǒng)總體定位（省政府數(shù)據(jù)

倉庫是以充分發(fā)揮信息的社會作用和經(jīng)濟效益為最終目的）和系統(tǒng)功能需求。現(xiàn)

根據(jù)需求分析規(guī)定和局具體情況，確定數(shù)據(jù)倉庫整體方案，以指導數(shù)據(jù)倉庫系統(tǒng)

研究、開發(fā)、實現(xiàn)。

省政府局數(shù)據(jù)具有建立數(shù)據(jù)倉庫系統(tǒng)的基本條件：

?積累r大量歷史數(shù)據(jù)，這是數(shù)據(jù)倉庫存在的必要條件；

?隨著市場經(jīng)濟的發(fā)展，社會各界（如金融投資等領域為了規(guī)避市場

風險，提高決策的準確度，開發(fā)新的市場和利潤增長點，挖掘市場

潛力）對數(shù)據(jù)的需求不斷增大，社會各界迫切需要利用數(shù)據(jù)進行決

策分析，指導經(jīng)濟建設。

省政府數(shù)據(jù)倉庫建設存在以下困難：

?當前局各個處室沒有統(tǒng)一規(guī)劃的數(shù)據(jù)庫系統(tǒng)；

?只有少量數(shù)據(jù)以電子文件形式存在，大部分歷史數(shù)據(jù)保存在紙介

質(zhì)上，到目前為止，建國以來的數(shù)據(jù)有一般以上以紙介質(zhì)方式存

儲；

?由于我國制度在不斷發(fā)展完善，指標在不同的歷史時期的口徑不

同，為了使同類指標具有可比性，要確定不同時期各個指標的調(diào)

整規(guī)則，并對歷史數(shù)據(jù)按規(guī)則進行調(diào)整，這種調(diào)整除了少數(shù)指標

可以按統(tǒng)一的算法進行以外，大部分調(diào)整工作需要人工參與；

因此，省政府數(shù)據(jù)倉庫的建設中數(shù)據(jù)的整理加載工作量極大，ETL（Extract,

TransformCleaning、Load）工具開發(fā)難度大；完善的、與數(shù)據(jù)倉庫系統(tǒng)良好聯(lián)

接的、統(tǒng)一規(guī)劃的各個處室的數(shù)據(jù)庫系統(tǒng)是據(jù)倉庫系統(tǒng)的具有長久生命力的基本

保障，因此各處室數(shù)據(jù)庫的建設應同步進行。

1.1.1待開發(fā)的軟件系統(tǒng)名稱

省政府數(shù)據(jù)倉庫系統(tǒng)

1.1.2系統(tǒng)的基本概念

指標：系統(tǒng)的數(shù)據(jù)以指標為載體，所有的數(shù)據(jù)都是指標在不同時間，不同地

域上的取值，統(tǒng)一指標可能有年度、月度、季度、半年、連續(xù)某幾個月等時間段

的數(shù)據(jù)，可能有國家、省、地、市、縣、鄉(xiāng)、村的數(shù)據(jù)，甚至有居民戶、具體企

業(yè)單位的明細數(shù)據(jù)，數(shù)據(jù)倉庫中的數(shù)據(jù)就是這些數(shù)據(jù)的有機集合。

主題：數(shù)據(jù)倉庫中的數(shù)據(jù)按主題組織，這是由數(shù)據(jù)倉庫以分析決策為主要目

的決定的。主題是一個在較高層次上將數(shù)據(jù)歸類的標準，每一個主題對應一個宏

觀的分析領域。省政府數(shù)據(jù)倉庫是將指標數(shù)據(jù)按分析主題集成起來，供查詢、分

析、輔助決策。

1.1.3項目組名稱

數(shù)據(jù)倉庫項目組

1.1.4項目代號

XhnTJDW001-00l9

1.2術語和縮寫詞

指標:StatisticalParameter

數(shù)據(jù)倉庫：DW(DataWarehouse)

主題：Subject

數(shù)據(jù)集市：DataMart

元數(shù)據(jù)：MetaData

數(shù)據(jù)抽取、轉換、加載:ETL(ExtractTransformCleaning>Load)

聯(lián)機分析處理：OLAP(On-LineAnalyticalProcessing)

聯(lián)機事務處理：OLTP(On-LineTransactionProcessing)

決策支持系統(tǒng)：DSS(DecisionSupportSystem)

數(shù)據(jù)挖掘：DM(DataMining)

應用服務器：AS(ApplicationServer)

Web服務器：Webserver

1.3設計目標

省政府數(shù)據(jù)倉庫系統(tǒng)是以充分發(fā)揮信息的社會效益和經(jīng)濟價值為最終目的。

將大量事務處理數(shù)據(jù)庫中的數(shù)據(jù)進行清理、抽取和轉換，并按決策主題進行

多維重組，在高效的網(wǎng)絡平臺上充分發(fā)揮系統(tǒng)作為社會“數(shù)據(jù)庫，信息庫，思想

庫，智囊?guī)臁钡淖饔?，直接向黨政領導、社會各界提供數(shù)據(jù)、信息服務，為信息

工程建設提供一個“決策數(shù)據(jù)管理與分析中心”的基本解決方案。

為省政府局建立一套面向黨政領導、專業(yè)分析人員、廣大社會群眾對外發(fā)布

信息的數(shù)據(jù)倉庫系統(tǒng)。整個系統(tǒng)集數(shù)據(jù)采集、管理、維護、展現(xiàn)于一體，旨在建

立數(shù)據(jù)倉庫后既減輕局工作人員工作量，又能很好的為公眾服務。前端數(shù)據(jù)展現(xiàn)

要有通用性，采用瀏覽器瀏覽數(shù)據(jù)，是瘦客戶端。后端維護系統(tǒng)要具有高效性，

能及時、高效處理、管理數(shù)據(jù)，功能強大，是胖客戶端。

數(shù)據(jù)倉庫系統(tǒng)重在建立一個適應分析的系統(tǒng)環(huán)境，首期開發(fā)“兩會”信息咨

詢，企業(yè)名錄、人口普查、字典、工業(yè)經(jīng)濟、農(nóng)業(yè)經(jīng)濟等主題。

2系統(tǒng)設計

2.1設計原則

從充分發(fā)揮系統(tǒng)作為社會“數(shù)據(jù)庫，信息庫，思想庫，智囊?guī)臁钡淖饔?，?/p>

接向黨政領導、社會各界提供“快、精、準”的信息服務的需要出發(fā)，采用當今

數(shù)據(jù)庫領域成熟穩(wěn)定的數(shù)據(jù)倉庫、決策分析等技術，在高效的網(wǎng)絡平臺上為全省

信息工程建設提供一個“決策數(shù)據(jù)管理與分析中心”的基本解決方案。

1、系統(tǒng)采用多層體系結構，建立一個良好開放性的數(shù)據(jù)倉庫系統(tǒng)環(huán)境，適

應不斷增加和變化的業(yè)務需求。多層體系結構通過引入中間層組件，擴

大了傳統(tǒng)的客戶/服務器和兩層計算模式。多層結構可由以下三類分層來

定義：前端的客戶層，負責提供可移植的表達邏輯；中間的應用層，允

許用戶通過將其與實際應用隔離而共享和控制'業(yè)務邏輯；后端的數(shù)據(jù)管

理與服務層，提供對專門服務（例如數(shù)據(jù)庫服務器）的訪問。多層結構

與傳統(tǒng)的客戶/服務器結構的區(qū)別在于：在傳統(tǒng)的客戶/服務器兩層結構

中，用戶將實際的業(yè)務邏輯放置到客戶端（作為對表達邏輯的增補）或放置

到后端數(shù)據(jù)庫（作為數(shù)據(jù)邏輯的一部分包含在存儲過程中）。而在多層結構

中，用戶將業(yè)務邏輯放到中間層上。這種模塊化方法明確地劃分了表達

邏輯、業(yè)務邏輯和數(shù)據(jù)存儲。多層結構通過將應用邏輯集中到中間層，

開發(fā)者可以迅速更新業(yè)務邏輯，而無需重新將應用遞交到成千上萬的桌

面系統(tǒng)上。提高數(shù)據(jù)庫的性能、改善系統(tǒng)的開放性、可擴展性和數(shù)據(jù)的

安全性，并降低管理的復雜性。

2、結構化、層次化、模塊化。采用面向?qū)ο蠹夹g，使系統(tǒng)高度結構化、模

塊化、層次化，整個系統(tǒng)由接口定義良好的多個模塊組成，每個模塊都

有詳細的功能說明和設計文稿，每個模塊完成相對獨立的功能，模塊之

間的接口定義規(guī)范，使模塊功能的變化相對獨立，不影響整個系統(tǒng)的功

能和結構，便于系統(tǒng)升級，維護。

3、具有良好的平臺移植性。選用支持多種操作平臺的數(shù)據(jù)庫服務器、應用

服務器、WEB服務器等服務器軟件系統(tǒng)，選用具有良好平臺移植性的

B/S和C/S模式下的開發(fā)語言開發(fā)應用程序和應用中間件，提高應用系統(tǒng)

的平臺移植性；

4、統(tǒng)一性和多樣性相結合。面向用戶的各個應用系統(tǒng)，盡量保持統(tǒng)一風格

以適應用戶的操作習慣，但各個系統(tǒng)根據(jù)內(nèi)容具有各自的特色，整個系

統(tǒng)和諧統(tǒng)一，清新明了。

5、自主開發(fā)和利用現(xiàn)有工具相結合。盡量利用各成熟的數(shù)據(jù)倉庫系統(tǒng)軟件

（工具）為數(shù)據(jù)倉庫這個具有特殊性的項目服務，針對具有特殊性的需

求，開發(fā)特定的系統(tǒng)軟件，縮短數(shù)據(jù)倉庫開發(fā)周期，降低開發(fā)成本，保

證系統(tǒng)正常開發(fā)。

6、安全性的考慮。系統(tǒng)安全和數(shù)據(jù)安全是一個網(wǎng)絡應用系統(tǒng)應該首先考慮

的問題，數(shù)據(jù)倉庫系統(tǒng)的設計要從網(wǎng)絡安全、系統(tǒng)安全、數(shù)據(jù)安全等各

個方面充分考慮，保障系統(tǒng)安全穩(wěn)定。

7、分散與集中相結合。數(shù)據(jù)倉庫系統(tǒng)是一個非常龐大的系統(tǒng)，所有數(shù)據(jù)集

中存儲，但局各處室能分別維護本處室數(shù)據(jù)，數(shù)據(jù)倉庫根據(jù)需要能對系

統(tǒng)管理分別設置權限，不同用戶維護不同數(shù)據(jù)。

8、穩(wěn)定優(yōu)先，注重效率。數(shù)據(jù)倉庫的海量數(shù)據(jù)存儲和高效杳詢是一對矛盾,

在當今硬件技術不斷發(fā)展和成本不斷降低的形式下，我們優(yōu)先考慮系統(tǒng)

效率，但是在系統(tǒng)穩(wěn)定性和效率不可兼顧時，以系統(tǒng)穩(wěn)定優(yōu)先。。例如在

數(shù)據(jù)倉庫設計方面，我們通過逆規(guī)范化（引進適當冗余）來提高系統(tǒng)查

詢效率。

9、以最簡單的方式實現(xiàn)復雜的功能。為提高系統(tǒng)的穩(wěn)定性和可讀性，可維

護性，盡量采用簡潔易懂的方式實現(xiàn)系統(tǒng)功能，不追求復雜、深奧的算

法。

2.2系統(tǒng)結構

2.2.1子系統(tǒng)劃分

整個系統(tǒng)按功能分為四大系統(tǒng)，各系統(tǒng)分別為：

I.數(shù)據(jù)庫系統(tǒng)

＞中間數(shù)據(jù)庫

＞數(shù)據(jù)倉庫

2.ETL系統(tǒng)

＞指標數(shù)據(jù)抽取子系統(tǒng)

＞指標數(shù)據(jù)加載子系統(tǒng)

3.系統(tǒng)管理系統(tǒng)

＞ETL管理管理子系統(tǒng)

＞數(shù)據(jù)倉庫管理子系統(tǒng)

元數(shù)據(jù)管理子系統(tǒng)

4.數(shù)據(jù)展現(xiàn)系統(tǒng)

A應用服務器子系統(tǒng)

>WEB服務器子系統(tǒng)

>OLAP多維分柝決策支持分析子系統(tǒng)

>數(shù)據(jù)挖掘子系統(tǒng)

帶格巍:符號和編號

A圖形展示子系統(tǒng)

A報表處理子系統(tǒng)

A數(shù)據(jù)導出子系統(tǒng)

2.2.2邏輯結構

界I川

圖形展示于系統(tǒng)數(shù)甥導出了系統(tǒng)報表處理子系統(tǒng)

皿OLAP決策分析了系統(tǒng)數(shù)甥尼掘子系統(tǒng)

WEBJR務盟ilu

OLAP服務器

應用服務耦

...................................

指

指

標

標

數(shù)

數(shù)

據(jù)

郡

加

孥

孥

系

秦

統(tǒng)

數(shù)據(jù)倉庫饞理子系統(tǒng)

數(shù)據(jù)展現(xiàn)

圖形屣示子系統(tǒng)

報表處理子系統(tǒng)

據(jù)導出子系統(tǒng)

決策分析

數(shù)據(jù)倉庫數(shù)據(jù)挖掘|服務稀

應

用WEB服務拼

服

務

器ETLJJL

ETL數(shù)就4力11耳又了重豕

中間數(shù)據(jù)庫

ETL數(shù)據(jù)加載子系統(tǒng)

系統(tǒng)管理

理至素統(tǒng)

數(shù)據(jù)倉庫管理子系統(tǒng)

2.2.3層次結構

Brows

整個系統(tǒng)在邏輯上分為三層：原始數(shù)據(jù)層，中間邏輯層（業(yè)務邏輯層、WEB服

務層、安全服務層），應用層。

原始數(shù)據(jù)層：以統(tǒng)一規(guī)范的方式存儲數(shù)據(jù);

中間邏輯層：解析應用層的業(yè)務邏輯，使應用層和原始數(shù)據(jù)相互獨立，提高應用

層系統(tǒng)（程序）的可擴展性、可移植性；

應用層：面向最終用戶，提供友好、簡潔、方便的用戶界面，具有良好的業(yè)務無

關性。

2.2.4網(wǎng)絡拓撲結構

我們根據(jù)以下列出的幾點，確定硬件系統(tǒng)結構：

1.系統(tǒng)已經(jīng)擁有比較完備的內(nèi)部網(wǎng)絡系統(tǒng)，此系統(tǒng)是全國系統(tǒng)的專用

網(wǎng)絡。

2.省政府數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)、信息既能夠在系統(tǒng)的網(wǎng)絡內(nèi)最大限度

的實現(xiàn)數(shù)據(jù)共享，又能將可以對公眾發(fā)布的信息分不同的級別向外

界發(fā)布。

3.盡可能在網(wǎng)絡設計上考慮防止黑客攻擊、病毒傳播等破壞數(shù)據(jù)的手

段和方式。

4.盡可能利用現(xiàn)有網(wǎng)絡系統(tǒng)，包括系統(tǒng)專有網(wǎng)，公共Internet網(wǎng)，政府

辦公局域網(wǎng)等。

我們設計了一個在物理上可以隨時隔離或連接、由兩大部分組成的網(wǎng)絡

系統(tǒng)結構，如下圖所示：

工作站工作站工作站工作站

說明：

1、出于網(wǎng)絡安全的原因，將整個網(wǎng)絡分為內(nèi)部網(wǎng)絡和外部網(wǎng)絡兩部分。

2、內(nèi)部網(wǎng)絡與外部網(wǎng)絡的系統(tǒng)機構基本相同。外部網(wǎng)絡基本上用在對外發(fā)布，

不包括保密信息。

3、外部網(wǎng)絡需要的發(fā)布數(shù)據(jù)從內(nèi)部網(wǎng)絡中通過ETL工具獲得，存放在外部網(wǎng)

絡的數(shù)據(jù)倉庫中。

4、外部網(wǎng)絡經(jīng)過防火墻、路由器與Internet相連。

5、為保證數(shù)據(jù)安全，只在外部網(wǎng)絡從內(nèi)部網(wǎng)絡抽取數(shù)據(jù)時，兩者才是連通的（且

要經(jīng)過防火墻），其余時間兩個網(wǎng)絡物理隔離。

6、工作站分別為各個處室的個人PC機，也可以是單獨的工作站，功能為向ETL

服務器提供倉庫所需數(shù)據(jù)及通過瀏覽器訪問數(shù)據(jù)倉庫數(shù)據(jù)信息。

7、ETL工具定期從各個處室的數(shù)據(jù)庫系統(tǒng)抽取數(shù)據(jù)，且ETL服務器兼中間數(shù)

據(jù)庫服務器，抽取的數(shù)據(jù)暫時保存在ETL服務器上，在導入數(shù)據(jù)倉庫之前容

許修改。

8、考慮到數(shù)據(jù)倉庫系統(tǒng)決策分析時需要大量數(shù)據(jù)信息，所以要求交換機容量應

為1000M,

9、OLAP服務器和應用服務器結合比較緊密，在實際的應用中共享一臺設備。

10、入侵檢測系統(tǒng)是一臺單獨的設備，放在路由之后，起到防止非法入侵的作

用。

11、安全隱患掃描系統(tǒng)可以運行在一臺高性能的PC機上，提供及時的安全掃

描，及早發(fā)現(xiàn)問題。

詳細的硬件配置及全局網(wǎng)絡拓撲參見附件：詳細網(wǎng)絡拓撲圖及設備清單

2.2.5網(wǎng)絡層次結構

系統(tǒng)內(nèi)核層：

數(shù)據(jù)倉庫內(nèi)部系統(tǒng)

系統(tǒng)安全層：

網(wǎng)絡防護體系

公共網(wǎng)絡層：

Internet

外部應用層：

PC瀏覽器（B/S）

其他客戶系統(tǒng)

整個數(shù)據(jù)倉庫系統(tǒng)由內(nèi)而外分為四層：

1、系統(tǒng)內(nèi)核層：

包括數(shù)據(jù)倉庫服務系統(tǒng)及應用系統(tǒng)。

2、系統(tǒng)安全層:

使用網(wǎng)絡安全產(chǎn)品，與局現(xiàn)有網(wǎng)絡系統(tǒng)兼容，保護內(nèi)部數(shù)據(jù)安全，網(wǎng)上

信息傳送安全、防止黑客破壞或惡意入侵。

3、公共網(wǎng)絡層：

基于TCP/IP的城域網(wǎng)和廣域網(wǎng)（省局目前開通的幀中繼網(wǎng)），使用現(xiàn)在已

經(jīng)建成的公共網(wǎng)絡將數(shù)據(jù)、信息、知識發(fā)布出去。

4、外部應用層:

各種數(shù)據(jù)倉庫系統(tǒng)的客戶應用系統(tǒng)，通過外部應用系統(tǒng)用戶可以獲得系

統(tǒng)提供的向外發(fā)布的各種信息。

2.3系統(tǒng)數(shù)據(jù)結構

省四仁數(shù)據(jù)倉庫的數(shù)據(jù)是基于多維建模理論的關系型數(shù)據(jù)存儲方式，采

用多星型結構存儲維度和事實數(shù)據(jù)。

2.4行業(yè)特殊需求

＞主題的增加

系統(tǒng)的分析方向眾多，涉及社會各界，且熱點每年都會發(fā)生變化，分析主

題會隨著社會經(jīng)濟的發(fā)展不斷有所增加，我們采用自頂向下的設計方法來設計局

數(shù)據(jù)倉庫系統(tǒng)，采用自底向上的方式實施，這樣每增加一個主題就是建設一個新

的數(shù)據(jù)集市，每個數(shù)據(jù)集市都是整體數(shù)據(jù)倉庫的有機組成部分，分步驟分階段建

成完整的數(shù)據(jù)倉庫，在完整的數(shù)據(jù)倉庫建立起來以后，就可以更快的建立更多的

數(shù)據(jù)集市，滿足系統(tǒng)不斷增加的主題需求。

＞主題所含指標的修改

主題的內(nèi)容是由指標來體現(xiàn)，主題的分析目標可能在一定的范圍內(nèi)發(fā)生變

化，起其所包含的指標就會有相應的增加或減少，由于數(shù)據(jù)倉庫采用的是多維方

式的數(shù)據(jù)存儲方式，某個主題下指標的增加（減少），只需要在相應的指標維表、

事實表中增加（減少）新的數(shù)據(jù)即可；每個主題在數(shù)據(jù)庫對應一個指標代碼表，

具體解釋主題下所含指標。每個主題相關數(shù)據(jù)組成一個事實表。這樣主題可以很

方便增加，且效率比較高，主題下指標可以適當調(diào)整。

＞指標數(shù)據(jù)修改

數(shù)據(jù)倉庫中一個非常重要的原則，數(shù)據(jù)具有不可修改性。然而制度在不斷地

專業(yè)事實表數(shù)據(jù)調(diào)整主題事實表

（原始數(shù)據(jù)）（用戶使用數(shù)據(jù)）

完善，指標口徑會發(fā)生變化，為保持同一指標不同歷史時期的數(shù)據(jù)具有可比性，

則要求數(shù)據(jù)在一定范圍內(nèi)可調(diào)整。為了解決這一矛盾.，我們在數(shù)據(jù)庫設計時把數(shù)

據(jù)分為原始專業(yè)數(shù)據(jù)和主題事實數(shù)據(jù)，的原始數(shù)據(jù)一旦進入數(shù)據(jù)倉庫（專'業(yè)事實

表）將不容許發(fā)生變化，對指標進行調(diào)整都是基于原始專業(yè)數(shù)據(jù)進行的，調(diào)整后

的數(shù)據(jù)放入主題數(shù)據(jù)表中，用戶查詢的是調(diào)整后具有可比性的數(shù)據(jù)。這種設計可

以容許對同一數(shù)據(jù)在不同歷史時期進行不同的調(diào)整，同時又能保存最原始的歷史

數(shù)據(jù)不丟失，保持歷史的真實性。

＞數(shù)據(jù)更新權限

由于數(shù)據(jù)倉庫的數(shù)據(jù)維護由分散的多個處室在不同的時間進行，為了防止數(shù)

據(jù)的異步操作給系統(tǒng)的數(shù)據(jù)一致性問題。我們通過數(shù)據(jù)庫操作權限的控制，保證

每個指標數(shù)據(jù)只有唯一的用戶擁有更新（增加、刪除、修改）權限，但可以有多

個用戶有查詢權限。

＞定時報警

定時檢測各個處室的數(shù)據(jù)是否按設計要求及時導入數(shù)據(jù)倉庫，否則以適當方

式報警。

＞決策算法的擴展

由系統(tǒng)結構的高度模塊化實現(xiàn)。

＞跨主題指標的查詢

通過調(diào)整主題指標，減少跨主題指標的查詢；

臨時性的跨主題指標查詢，利用全局指標庫，從不同的主題事實表中查詢。

＞本地文件讀寫

基于C/S模式的應用，將查詢分析結果保存在本地是一件很容易的事情，

但基于B/S模式的應用，雖然基于安全角度上的考慮，IE限制了ActiveX.

JavaScript,、JavaApplet等對本地文件的讀寫；但對于JavaScript,ActiveX,可以

通過配置IE的安全屬性，來讀寫本地文件，當然，這種配置也會帶來一些安全

隱患，為一些惡意代碼對本地文件系統(tǒng)造成破壞提供了機會,就JavaApplet而言，

Java安全提供了API和工具集用于向應用程序或JavaApplet“注入”安全。提供

細粒度(fine-grained)和可配置的訪問控制的架構被內(nèi)置到核心Java安全體系結構

之中，這是通過使用Java2權限、策略文件、訪問控制微功能和數(shù)字簽名實現(xiàn)的。

＞高頻指標智能維護

系統(tǒng)實現(xiàn)高頻指標自適應功能：用戶每次查詢數(shù)據(jù)時，數(shù)據(jù)庫自動指標查詢

次數(shù)，系統(tǒng)定時刷新高頻指標表，完成高頻指標的自動維護。

2.5底層數(shù)據(jù)庫(倉庫)設計

2.5.1設計原則

數(shù)據(jù)庫設計是整個數(shù)據(jù)倉庫系統(tǒng)的核心，其設計的好壞關系著整個數(shù)據(jù)倉

庫系統(tǒng)建設的成敗。根據(jù)數(shù)據(jù)倉庫系統(tǒng)需求及Oracle9i數(shù)據(jù)庫系統(tǒng)的特性，我

們對數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)庫設計應遵循如下設計原則：

1、規(guī)范化原則：數(shù)據(jù)倉庫系統(tǒng)是一個數(shù)據(jù)量大，開發(fā)周期長，投入資金

大，涉及面廣的系統(tǒng)工程。為開發(fā)和將來系統(tǒng)維護的方便我們對數(shù)據(jù)倉

庫中的所有對象如表空間、數(shù)據(jù)文件、日志文件、表、視圖、索引、存

儲過程、歹“，都要求有嚴格的命名規(guī)范

2、簡潔性原則：數(shù)據(jù)庫設計盡可能簡潔和易理解，對常用的數(shù)據(jù)集可通

過自定義數(shù)據(jù)類型來實現(xiàn)。

3、高效性原則：數(shù)據(jù)倉庫中的數(shù)據(jù)達到TB級別，對查詢速度的提高是

我們考慮的重點，可通過建Index,Cluster,盡可能的用存儲過程，允

許適當?shù)臄?shù)據(jù)冗余等技術來保證查詢效率。

4、靈活性原則：設計要充分考慮主題，指標等的變化

5、合理性原則：數(shù)據(jù)應在源頭輸入。數(shù)據(jù)庫的生成和維護應盡量靠近信

息源和使用點，使信息按最短的路徑存取，以確保信息合理和快速流動。

6、獨立性原則：數(shù)據(jù)庫與應用程序嚴格的相互獨立，確保數(shù)據(jù)的存貯對

應用程序的獨立性，它的改變不影響應用程序。

7、安全性原則：由于局是國家?級保密單位，其信息對特定的用戶有特

定的保密要求，我們在設計數(shù)據(jù)庫時要有必要的安全機制設計嚴格的數(shù)

據(jù)操作權限和級別控制，保證數(shù)據(jù)不被非法用戶訪問，數(shù)據(jù)庫不被黑客

破壞，如在數(shù)據(jù)庫的主鍵中加入操作用戶的信息等等。

2.5.2數(shù)據(jù)現(xiàn)狀

1、數(shù)據(jù)格式多種多樣，一致性較差，并存在數(shù)據(jù)冗余

各個處室使用的數(shù)據(jù)格式均不相同，有Oracle,dbf.sarp.MITT,Excel,

Word,Text格式，且各個系統(tǒng)相對獨立。

2、數(shù)據(jù)來源多，但數(shù)據(jù)存放相對分散，缺乏統(tǒng)一管理

數(shù)據(jù)不僅來源于局內(nèi)部各個專業(yè)處室，而且大來源于直報企業(yè)和其他相

關部門或外部單位的報送。這些數(shù)據(jù)一般分散存放在各個專業(yè)科室的數(shù)據(jù)庫

中，缺乏集中存放和管理

3、數(shù)據(jù)量很大，但對數(shù)據(jù)資源的開發(fā)利用不充分

業(yè)務涉及到各行各業(yè)和眾多企業(yè)，指標很多，數(shù)據(jù)量很大，各級局只能

做到將這些數(shù)據(jù)匯總成為報表、年鑒、縣卡，還不能對專業(yè)數(shù)據(jù)進行各種深

層次分析、綜合、提煉、挖掘。不便于分析、預測。

4、偏重于上報報表

在計劃經(jīng)濟時期，局的職能主要是為上級機關報送報表;在市場經(jīng)濟時期,

局不僅要為上級機關報送報表，而且還要更多地為輔助本級政府宏觀決策和

企業(yè)微觀決策及時提供各種信息和情報。新時期對信息的質(zhì)量提出了更高的

要求：

?為了對復雜的動態(tài)環(huán)境做出及時響應，現(xiàn)代管理要求在大量的數(shù)據(jù)中找

出有價值的信息和情報作為決策時參考的依據(jù)；

?在決策過程中，一旦需要，決策人員可以很快得到方方面面詳盡的信息

和情報支持，包括歷史的、當前的、未來的各種信息和情報資源；

?支持對分布在不同地點的數(shù)據(jù)或信息進行操作，包括內(nèi)部、外部或遠程

的數(shù)據(jù)和信息；

?支持對不同類型和格式的數(shù)據(jù)或信息進行操作；

?信息要為更廣大的社會用戶尤其是企業(yè)的微觀決策提供支持；

?要求信息資源能實現(xiàn)充分共享與快速交流。

2.5.3數(shù)據(jù)存儲整體規(guī)劃

根據(jù)省局數(shù)據(jù)的特點，數(shù)據(jù)倉庫的數(shù)據(jù)分為專業(yè)數(shù)據(jù)，主題數(shù)據(jù)和4ft拈

數(shù)據(jù)庫模型

專業(yè)數(shù)據(jù)是從局各處室的數(shù)據(jù)庫系統(tǒng)中抽取，轉換，清洗而來的數(shù)據(jù)；主題

數(shù)據(jù)是從專業(yè)數(shù)據(jù)通過增加一定的列或一定的數(shù)據(jù)運算、修改等而得到的數(shù)據(jù)；

決策數(shù)據(jù)數(shù)據(jù)集市存放數(shù)據(jù)存儲層的數(shù)據(jù),供分析決策用。還有一類很重要的對

數(shù)據(jù)倉庫的描述數(shù)據(jù)即元數(shù)據(jù)，包括主題描述表，主題指標描述表等。

專業(yè)數(shù)據(jù)層建立在相應的子系統(tǒng)中，是為專業(yè)子系統(tǒng)服務的。其數(shù)據(jù)主要是

與某專業(yè)子系統(tǒng)直接相關的數(shù)據(jù)。一般與其他專業(yè)子系統(tǒng)不發(fā)生頻繁的數(shù)據(jù)共

享，它的物理位置可以設置在網(wǎng)絡服務器上，集中存儲，亦可設置在各專業(yè)子系

統(tǒng)的微機上，呈分布式存儲。

數(shù)據(jù)存儲層，其數(shù)據(jù)來源于專業(yè)數(shù)據(jù)層，但這些數(shù)據(jù)一般不限于某個專業(yè)子

系統(tǒng)調(diào)用，而往往被其他專業(yè)子系統(tǒng)頻繁地共享，為若干個子系統(tǒng)和領導層提供

信息服務。

數(shù)據(jù)集市中存放對整個行業(yè)來說，帶全局性的計劃、技術經(jīng)濟指標，各種和

實時數(shù)據(jù)分析，其數(shù)據(jù)除了來源于各主題數(shù)據(jù)庫以外，還有模型庫和方法庫給予

支持，作為領導提供預測和決策的支持。

單個主題的數(shù)據(jù)庫邏輯設計

指標維表

時間雒表

-------?指標編號

時間編號專業(yè)事實表

指標名稱

時間名稱<----------指標編號

???

—時間編號

地域維表地域編號

地域編號<----------數(shù)據(jù)

地域名稱???

???

主題表主題所屬指標

主題編碼■主題編號

---------

主題描述指標編號

??????

指標維表

時間維表

指標編號

主題事實表-------?

時間編碼?~

指標名稱

指標編碼—

時間名稱

???

時間編碼

地域維表

地域編碼—

-------?地域編號

數(shù)據(jù)

地域名稱

2.6ETL系統(tǒng)

2.6.1需求規(guī)定

＞采用自動加手動的方式導入數(shù)據(jù)。

＞數(shù)據(jù)導入以定期自動導入為主，設立到期自動報警功能。

＞各個處室可以在任何時候向ETL服務器導入數(shù)據(jù)，而只在確定的時間從

ETL服務器向數(shù)據(jù)倉庫導入數(shù)據(jù)。

＞提供導入數(shù)據(jù)的接口，直接與各個處室的數(shù)據(jù)庫連接，盡可能利用現(xiàn)有

系統(tǒng)數(shù)據(jù)，減輕各處室工作量。

A能夠與通用的數(shù)據(jù)文件進行連接，適應各專業(yè)處室可能的數(shù)據(jù)庫平臺的

變更，能導入同種類型的不同格式的數(shù)據(jù)。

2.6.2運行環(huán)境

赧務端指你致抑;。邀子系統(tǒng)運行于主流UNIX操作系統(tǒng)

客心端指和數(shù)據(jù)抽取子系統(tǒng)運行在高性能PC上,Windows98以上版本操作系統(tǒng),

需要有Oracle客戶端支持。

2.6.3設計思想

指標數(shù)據(jù)抽取子系統(tǒng)

1、建立靈活的數(shù)據(jù)導入方式，直接利用中間件ODBC訪問各種數(shù)據(jù)庫系統(tǒng)。

2、建立統(tǒng)一的環(huán)境，各個處室在統(tǒng)一的環(huán)境下向中間數(shù)據(jù)庫導入數(shù)據(jù)。

3、通過用戶權限區(qū)別各個處室應該導入的數(shù)據(jù)，讓不同用戶在導入數(shù)據(jù)時不會

發(fā)生混亂。

指標數(shù)據(jù)加載子系統(tǒng)

I、程序自動運行的同時引進人工干預，定時啟動加載系統(tǒng)，自動進行中間數(shù)據(jù)

庫向數(shù)據(jù)倉庫導入數(shù)據(jù)的工作。

2、建立一個數(shù)據(jù)導入的環(huán)境，各種數(shù)據(jù)操作按中間數(shù)據(jù)庫模型庫中的規(guī)定執(zhí)行。

2.6.4結構說明

局各種行業(yè)數(shù)據(jù)不是在統(tǒng)一的時間生成，數(shù)據(jù)在進入數(shù)據(jù)倉庫之前需要經(jīng)過

大量的運算，為了不影響原有系統(tǒng)的正常運行和保證導入數(shù)據(jù)倉庫數(shù)據(jù)的正確性

與有效性，設置中間數(shù)據(jù)庫。中間數(shù)據(jù)庫起所有數(shù)據(jù)從傳統(tǒng)數(shù)據(jù)庫導入到數(shù)據(jù)倉

庫的過渡作用。處室數(shù)據(jù)存放在不同媒介中，提供手動輸入界面、程序自動導入

功能、半自動導入等等。接收從局各個處室收集的指標數(shù)據(jù)，經(jīng)過抽取、清洗,

存放在中間數(shù)據(jù)庫，在特定的時間檢查數(shù)據(jù)倉庫需要的數(shù)據(jù)是否齊全，齊全后一

次性加載到數(shù)據(jù)倉庫的專業(yè)事實表中。

數(shù)

各A

人工輸入

據(jù)

個

倉

處T

中間數(shù)據(jù)庫

庫

室

自動導入

數(shù)據(jù)抽取、清洗、轉換、加載過程高度模塊化，ETL系統(tǒng)用數(shù)據(jù)抽取

模型從各處室抽取數(shù)據(jù)、用數(shù)據(jù)清洗模型清洗數(shù)據(jù)、用轉換模型轉換不同類

型的數(shù)據(jù)、用加載模型加載數(shù)據(jù)到數(shù)據(jù)倉庫。

ETL系統(tǒng)是一個體系環(huán)境，各種數(shù)據(jù)操作按中間數(shù)據(jù)庫模型庫中的規(guī)定

執(zhí)行。維護系統(tǒng)則通過維護中間數(shù)據(jù)庫的模型庫達到維護ETL服務器的目

的。

數(shù)據(jù)抽取、清洗、轉換、加載有以下子系統(tǒng)：

1.指標數(shù)據(jù)抽取子系統(tǒng)。

這個系統(tǒng)又可以稱為數(shù)據(jù)導入。

功能：數(shù)據(jù)抽取、數(shù)據(jù)清洗。把各個處室不同格式的數(shù)據(jù)按指標進行抽

取、經(jīng)過清洗后存入中間數(shù)據(jù)庫，容許數(shù)據(jù)修改。

指標數(shù)據(jù)抽取子系統(tǒng)能收集各種通用格式的數(shù)據(jù)，提供輸入界面手動輸

入數(shù)據(jù)。

能轉換以下幾種數(shù)據(jù)格式：Sybase、Oracle、db2、dbf等可以通過odbc