環(huán)保局統(tǒng)一污染源數(shù)據(jù)庫方案書

1、環(huán)保局統(tǒng)一污染源數(shù)據(jù)庫方案書第一章.公司介紹7第二章.環(huán)保局信息系統(tǒng)分析82.1 環(huán)保局信息系統(tǒng)現(xiàn)狀82.1.1產(chǎn)生的問題82.1.2 問題產(chǎn)生的原因92.1.3結(jié)論102.2 需求分析102.2.1“統(tǒng)一污染源數(shù)據(jù)庫”定義102.2.2統(tǒng)一污染源數(shù)據(jù)庫的數(shù)據(jù)102.2.3處室-系統(tǒng)-數(shù)據(jù)對應(yīng)關(guān)系112.2.4各處室與統(tǒng)一污染源數(shù)據(jù)的關(guān)系122.2.5數(shù)據(jù)整合和集成需求122.3 統(tǒng)一污染源數(shù)據(jù)庫實質(zhì)上是一個部門級數(shù)據(jù)倉庫.142.4 統(tǒng)一污染源數(shù)據(jù)庫是環(huán)保局信息門戶的先鋒.152.5 需求的總結(jié)16統(tǒng)一數(shù)據(jù)16統(tǒng)一操作界面16統(tǒng)一認證17統(tǒng)一接口.17第三章.系統(tǒng)解決方案183.1 系統(tǒng)解決

2、方案原則183.1.1可擴充性183.1.2易維護性183.1.3安全性183.1.4合理性183.1.5開放性183.2 技術(shù)路線183.3業(yè)務(wù)體系結(jié)構(gòu)193.3.1污染源數(shù)據(jù)內(nèi)容233.3.2基礎(chǔ)數(shù)據(jù)庫243.3.3數(shù)據(jù)倉庫243.3.4地理信息系統(tǒng)243.3.5信息門戶綜合發(fā)布系統(tǒng)253.3.6綜合辦公系統(tǒng)253.4技術(shù)體系結(jié)構(gòu)25第四章 污染源統(tǒng)一數(shù)據(jù)庫274.1 數(shù)據(jù)庫設(shè)計274.1.1 數(shù)據(jù)庫設(shè)計主線274.1.2 數(shù)據(jù)庫規(guī)范化設(shè)計304.1.3 粒度設(shè)計324.1.4 元數(shù)據(jù)管理。324.1.5 性能優(yōu)化344.2 etl(抽取.轉(zhuǎn)換.裝載)354.2.1 抽取374.2.2 轉(zhuǎn)

3、換和清洗384.2.3 裝載384.2.4 自動調(diào)度394.3 olap(聯(lián)機在線分析)394.4 表現(xiàn)層404.4.1 表現(xiàn)層結(jié)構(gòu)404.4.2 表現(xiàn)層功能41第五章 信息門戶設(shè)計435.1 信息門戶的概念435.2 athene信息門戶系統(tǒng).435.2.1底層數(shù)據(jù)信息存儲445.2.2內(nèi)容管理整合445.3 athene信息門戶特點.45第六章 其他功能設(shè)計476.1 外圍接口設(shè)計476.1.2 接口分類.486.2 備份設(shè)計486.2.1日常備份486.2.2 計劃內(nèi)下線496.2.3 數(shù)據(jù)恢復49第七章 系統(tǒng)特點49第八章 項目的組織和實施508.1 組織機構(gòu)及職責508.1.1項目經(jīng)

4、理508.1.2專家顧問組508.1.3項目執(zhí)行組508.1.4業(yè)務(wù)組508.1.5軟件開發(fā)組518.1.6測試驗收組518.1.7 文檔組518.1.8支持組518.2 實施方法528.3 項目實施計劃538.4培訓計劃538.4.1培訓對象與目標：538.4.2培訓內(nèi)容54第九章 技術(shù)支持和服務(wù)55共同制訂明確的服務(wù)和支持計劃55系統(tǒng)維護的承諾55熱線服務(wù)系統(tǒng)55客戶檔案管理55常規(guī)性維護服務(wù)55應(yīng)用軟件服務(wù)的承諾56技術(shù)轉(zhuǎn)移56技術(shù)文檔移交56第一章.公司介紹第二章.環(huán)保局信息系統(tǒng)分析2.1 環(huán)保局信息系統(tǒng)現(xiàn)狀隨著數(shù)據(jù)庫技術(shù)的廣泛運用，環(huán)保局信息系統(tǒng)的運營環(huán)境逐漸轉(zhuǎn)化為以數(shù)據(jù)庫為中心的運

5、營環(huán)境。同時因為環(huán)保局內(nèi)部對數(shù)據(jù)的需求是多方面的，所以根據(jù)工作職能的不同而建立了部門級的數(shù)據(jù)庫。比如監(jiān)督處關(guān)注環(huán)保局環(huán)境監(jiān)督管理，許可證的管理，因此建立了環(huán)保業(yè)務(wù)系統(tǒng)；監(jiān)理所關(guān)注排污收費，現(xiàn)場檢查，接受投訴糾紛等內(nèi)容，因此建立了排污收費系統(tǒng)，監(jiān)控中心系統(tǒng)；監(jiān)測站關(guān)注監(jiān)測數(shù)據(jù)所以有了監(jiān)測系統(tǒng)；而由于根據(jù)不同環(huán)保局不同部門管理的現(xiàn)狀，在監(jiān)督處、監(jiān)理所，各區(qū)分局內(nèi)部都是用了同一套排污申報系統(tǒng).隨著環(huán)保局信息化建設(shè)的深入以及各部門的業(yè)務(wù)聯(lián)系的需求，部門與部門之間的數(shù)據(jù)交互日益增多，比如在監(jiān)理所的業(yè)務(wù)流程中需要監(jiān)測站的監(jiān)測數(shù)據(jù)，需要監(jiān)督處的許可證數(shù)據(jù)；監(jiān)督處需要察看監(jiān)理所監(jiān)測到的環(huán)保局違規(guī)數(shù)據(jù)；信息中心

6、需要將各部門的排污申報數(shù)據(jù)進行匯總，以供上層領(lǐng)導參考。于是環(huán)保局內(nèi)部系統(tǒng)也都做出了數(shù)據(jù)抽取的努力和嘗試，例如監(jiān)理所系統(tǒng)中增加監(jiān)測數(shù)據(jù)的接口、審批資料接口；結(jié)合gis系統(tǒng)建立了污染源信息匯總的一套查詢系統(tǒng)以供內(nèi)部使用等等。2.1.1產(chǎn)生的問題可以看出，隨著數(shù)據(jù)的交互抽取，很可能會形成“蜘蛛網(wǎng)”現(xiàn)象，使得數(shù)據(jù)的抽取和訪問顯得錯綜復雜。這種演變不是人為制造的，而是自然演變的結(jié)果，如果不在體系結(jié)構(gòu)上進行調(diào)整，“蜘蛛網(wǎng)”問題將會越來越嚴重。因為錯綜復雜的抽取與訪問將會產(chǎn)生很多問題：2.1.1.1、數(shù)據(jù)分析的結(jié)果缺乏可靠性例如在環(huán)保局內(nèi)部存在著多套排污申報系統(tǒng)，不同部門各自進行匯總的信息與統(tǒng)一匯總的信息經(jīng)

7、常會不一致，這樣在領(lǐng)導面前就會出現(xiàn)不一致，缺乏可靠性的數(shù)據(jù)。2.1.1.2、數(shù)據(jù)處理的效率低下在錯綜復雜的體系結(jié)構(gòu)中，不同級別的數(shù)據(jù)庫可能使用不同類型的數(shù)據(jù)庫系統(tǒng)，環(huán)保局內(nèi)部就存在了sqlserver，sybase，foxpro等等數(shù)據(jù)庫，根據(jù)各種不同數(shù)據(jù)庫的開發(fā)工具的不同，抽取程序應(yīng)用的技術(shù)不同，因而難以集成。2.1.1.3、數(shù)據(jù)共享困難對于大量的數(shù)據(jù)不能提供一個統(tǒng)一的數(shù)據(jù)接口，不能采用一種通用的標準和規(guī)范（如使用不同的指標代碼體系和編碼體系），共享通用的數(shù)據(jù)源。隨著業(yè)務(wù)的增加，管理人員的操作越來越復雜，操作越來越多，用戶分散，相互聯(lián)系程度低，信息相對封閉，共享程度低2.1.1.4、難以將數(shù)

8、據(jù)轉(zhuǎn)化為信息此外，“蜘蛛網(wǎng)”式的結(jié)構(gòu)還難以將數(shù)據(jù)轉(zhuǎn)化為決策信息。因為每個數(shù)據(jù)庫由于其數(shù)據(jù)量和業(yè)務(wù)處理的需求不同，同時對歷史數(shù)據(jù)的存儲時間也不同，因此以現(xiàn)有的數(shù)據(jù)庫系統(tǒng)難以提供完整的歷史數(shù)據(jù)。鑒于這樣的原因，用戶根本不可能從這些數(shù)據(jù)中提取出完整的信息。例如污染源執(zhí)法系統(tǒng)所提供的數(shù)據(jù)就不能夠滿足統(tǒng)一污染源的需求。2.1.2 問題產(chǎn)生的原因最根本的原因是由于各業(yè)務(wù)系統(tǒng)建設(shè)和實施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其它經(jīng)濟和人為因素等因素影響，導致在發(fā)展過程中積累了大量采用不同存儲方式的業(yè)務(wù)數(shù)據(jù)，包括采用的數(shù)據(jù)管理系統(tǒng)也大不相同，從簡單的文件數(shù)據(jù)庫到復雜的網(wǎng)絡(luò)數(shù)據(jù)庫，它們構(gòu)成了環(huán)保局的異構(gòu)數(shù)據(jù)源。這些分散

9、的不同業(yè)務(wù)的數(shù)據(jù)管理系統(tǒng)雖然能夠滿足業(yè)務(wù)數(shù)據(jù)存儲和管理要求，但在許多情況下，為作出一個決策，可能需要訪問分布在網(wǎng)絡(luò)不同位置上的多個業(yè)務(wù)數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)。環(huán)保局數(shù)據(jù)源異構(gòu)性主要表現(xiàn)在兩方面：2.1.2.1、系統(tǒng)異構(gòu)即數(shù)據(jù)源所依賴的業(yè)務(wù)應(yīng)用系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)乃至操作系統(tǒng)之間的不同構(gòu)成了系統(tǒng)異構(gòu)。2.1.2.2、模式異構(gòu)即數(shù)據(jù)源在存儲模式上的不同。存儲模式主要包括關(guān)系模式、對象模式、對象關(guān)系模式和文檔嵌套模式等幾種，其中關(guān)系模式（關(guān)系數(shù)據(jù)庫）為主流存儲模式。同時，即便是同一類存儲模式，它們的模式結(jié)構(gòu)可能也存在著差異。例如不同的關(guān)系數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)類型等方面并不是完全一致的，如db2、orac

10、le、sybase、informix、sqlserver、foxpro等。2.1.2.3、來源異構(gòu)即環(huán)保局內(nèi)部數(shù)據(jù)源和外部數(shù)據(jù)源之間的異構(gòu)。2.1.3結(jié)論異構(gòu)數(shù)據(jù)源的整和、集成是環(huán)保局信息化建設(shè)過程經(jīng)常遇到的一個現(xiàn)實問題。也是制約環(huán)保局各種應(yīng)用信息系統(tǒng)建設(shè)和數(shù)據(jù)共享程度，以及信息化建設(shè)投資重復或負擔重的一個重要因素。由此可知，解決好現(xiàn)階段環(huán)保局信息系統(tǒng)整合的問題，必須要建立一套基于整體、集成各個業(yè)務(wù)異構(gòu)數(shù)據(jù)源的綜合信息倉庫，包括信息基礎(chǔ)數(shù)據(jù)庫和一個強大的分布式應(yīng)用系統(tǒng)。2.2 需求分析針對環(huán)保局現(xiàn)有整體系統(tǒng)結(jié)構(gòu)比較復雜，業(yè)務(wù)系統(tǒng)多的情況，建立環(huán)境基礎(chǔ)數(shù)據(jù)庫及在該基礎(chǔ)數(shù)據(jù)庫上開展的分布式應(yīng)用系統(tǒng)

11、需要對現(xiàn)有業(yè)務(wù)系統(tǒng)需求進行詳細地分析。2.2.1“統(tǒng)一污染源數(shù)據(jù)庫”定義“統(tǒng)一污染源數(shù)據(jù)庫”可以從兩方面來理解。首先，該系統(tǒng)是一“數(shù)據(jù)庫”，其存儲的數(shù)據(jù)包括了污染源的所有相關(guān)信息。將原有各個系統(tǒng)的數(shù)據(jù)進行收集和格式轉(zhuǎn)化，實現(xiàn)數(shù)據(jù)的統(tǒng)一集中管理，以改善目前環(huán)境信息存在的利用率低、共享程度差等問題。其次，該系統(tǒng)注重的是“統(tǒng)一”，因為現(xiàn)有污染源相關(guān)的數(shù)據(jù)來源比較多，多處存在數(shù)據(jù)不一致的情況，因此有必要通過數(shù)據(jù)的抽取、過濾、轉(zhuǎn)換成為統(tǒng)一的，標準的數(shù)據(jù)，并把原來面向事務(wù)的數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)化為面向分析和決策的結(jié)構(gòu)，這樣才能夠使得數(shù)據(jù)共享變得有意義，同時也便于利用統(tǒng)一后的數(shù)據(jù)進行分析，統(tǒng)計，決策。從這一立場來看，

12、“統(tǒng)一污染源數(shù)據(jù)庫”可以看成是面向“污染源”主題的數(shù)據(jù)倉庫的建立。2.2.2統(tǒng)一污染源數(shù)據(jù)庫的數(shù)據(jù)統(tǒng)一污染源數(shù)據(jù)庫的數(shù)據(jù)是原有業(yè)務(wù)系統(tǒng)中涉及到污染源信息的主要業(yè)務(wù)流程產(chǎn)生的數(shù)據(jù)，換句話說就是確定哪些信息內(nèi)容需要納入到統(tǒng)一污染源數(shù)據(jù)庫，也就是在統(tǒng)一污染源數(shù)據(jù)庫上集中管理的內(nèi)容。通過對環(huán)保局內(nèi)部系統(tǒng)的詳細了解，我們初步確定了以下業(yè)務(wù)流程數(shù)據(jù)：從上圖中可以看到統(tǒng)一污染源數(shù)據(jù)庫應(yīng)該包括的信息數(shù)據(jù)，這些數(shù)據(jù)分散在各個處室，不同處室不僅使用不同的系統(tǒng)，也有可能使用相同的系統(tǒng)單機版（比如排污申報軟件）。2.2.3處室-系統(tǒng)-數(shù)據(jù)對應(yīng)關(guān)系下圖表明了上述污染源相關(guān)數(shù)據(jù)與環(huán)保局內(nèi)各處室、業(yè)務(wù)系統(tǒng)的對應(yīng)關(guān)系：上圖每

13、一縱列中的綠色模塊表示處室部門，黃色模塊表示該部門該部門使用的業(yè)務(wù)系統(tǒng)，白色模塊表示該業(yè)務(wù)系統(tǒng)中包含的與污染源相關(guān)的信息數(shù)據(jù)。由上面兩張圖可以大致歸納出統(tǒng)一污染源數(shù)據(jù)庫需要集中管理的內(nèi)容包括：1、污染源審批信息（審批清單、環(huán)保設(shè)施、產(chǎn)品原材料、驗收信息）2、排污申報（水氣聲渣申報、水氣聲渣統(tǒng)計）3、排污許可證（排放量、年審信息）4、排污收費（每月每年排污費統(tǒng)計）5、現(xiàn)場檢查（統(tǒng)計信息、投訴信息）6、污染源監(jiān)測信息（監(jiān)測報告）7、環(huán)境統(tǒng)計信息8、固體廢物處理信息9、環(huán)境執(zhí)法信息（限期整改、整治、罰款、停業(yè) 立案-審議-處罰決定）2.2.4各處室與統(tǒng)一污染源數(shù)據(jù)的關(guān)系當統(tǒng)一污染源數(shù)據(jù)庫之后，各處室

14、可以：向統(tǒng)一污染源數(shù)據(jù)庫提供其自身擁有的相關(guān)數(shù)據(jù)從統(tǒng)一數(shù)據(jù)庫中得到更為一致性，全面的業(yè)務(wù)數(shù)據(jù)從統(tǒng)一數(shù)據(jù)庫中得到其他處室提供的業(yè)務(wù)數(shù)據(jù)因此，從信息共享的角度來看，各處室對上述不同信息的關(guān)注程度是不一樣的。下圖中大致表明了各處室關(guān)注統(tǒng)一污染源數(shù)據(jù)庫中的那些數(shù)據(jù)：2.2.5數(shù)據(jù)整合和集成需求對各處室的異構(gòu)數(shù)據(jù)源數(shù)據(jù)進行整合、集成成為統(tǒng)一污染源數(shù)據(jù)庫的目的是為環(huán)保局提供綜合的、統(tǒng)一的、安全的、快捷的信息查詢、數(shù)據(jù)挖掘和決策支持服務(wù)。為了滿足這個需求條件，各處室整合、集成后的數(shù)據(jù)必須保證一定的集成性、完整性、一致性和訪問安全性。2.2.5.1、集成性各種原先孤立的業(yè)務(wù)信息系統(tǒng)數(shù)據(jù)經(jīng)過整合、集成后，應(yīng)該達

15、到查詢一個綜合信息不必再到各個處室業(yè)務(wù)系統(tǒng)中進行分別查詢和人工處理，只要在整合、集成后的數(shù)據(jù)信息倉庫中就可以直接訪問到，即整合、集成后的綜合信息倉庫的數(shù)據(jù)是各異構(gòu)業(yè)務(wù)數(shù)據(jù)的有機集成和關(guān)聯(lián)存儲（整合、發(fā)掘出各業(yè)務(wù)數(shù)據(jù)間的內(nèi)在關(guān)聯(lián)關(guān)系），而不是簡單、孤立的堆放在一個數(shù)據(jù)庫系統(tǒng)里。2.2.5.2、完整性包括數(shù)據(jù)完整性和約束完整性兩方面。數(shù)據(jù)完整性是指完整提取數(shù)據(jù)本身，約束完整性，約束是指數(shù)據(jù)與數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，是唯一表征數(shù)據(jù)間邏輯的特征。保證約束的完整性是良好的數(shù)據(jù)發(fā)布和交換的前提，可以方便數(shù)據(jù)處理過程，提高效率。2.2.5.3、一致性不同業(yè)務(wù)信息資源之間存在著語義上的區(qū)別。這些語義上的不同會引起

16、各種不完整甚至錯誤信息的產(chǎn)生，從簡單的名字語義沖突（不同的名字代表相同的概念），到復雜的結(jié)構(gòu)語義沖突（不同的模型表達同樣的信息）。語義沖突會帶來數(shù)據(jù)集成結(jié)果的冗余，干擾數(shù)據(jù)處理、發(fā)布和交換。整合、集成后的數(shù)據(jù)應(yīng)該根據(jù)一定的數(shù)據(jù)轉(zhuǎn)換模式和商業(yè)規(guī)則進行統(tǒng)一數(shù)據(jù)結(jié)構(gòu)和字段語義編碼轉(zhuǎn)換。2.2.5.4、訪問安全性由于數(shù)據(jù)庫資源可能歸屬不同的單位，各業(yè)務(wù)數(shù)據(jù)系統(tǒng)有著各自的用戶權(quán)限管理模式，訪問和安全管理很不方便，不能集中、統(tǒng)一管理，所以保證在訪問異構(gòu)數(shù)據(jù)源數(shù)據(jù)基礎(chǔ)上保障原有數(shù)據(jù)庫的權(quán)限不被侵犯，實現(xiàn)對原有數(shù)據(jù)源訪問權(quán)限的隔離和控制，就需要設(shè)計基于整合、集成后的綜合信息倉庫的統(tǒng)一的用戶安全管理模式來解決此

17、問題。 綜上所述，異構(gòu)數(shù)據(jù)源的整合與集成如下圖所示：2.3 統(tǒng)一污染源數(shù)據(jù)庫實質(zhì)上是一個部門級數(shù)據(jù)倉庫.在分析過程中,我們發(fā)現(xiàn)污染源統(tǒng)一數(shù)據(jù)庫有以下的特點.1 面向決策分析的.2 污染源信息的集成性.3 面向污染源主題的4 相對穩(wěn)定5 反映歷史變化同時,我們注意到美國著名信息工程學家w.h.inmon在建立數(shù)據(jù)倉庫一書中對數(shù)據(jù)倉庫做了如下定義：“數(shù)據(jù)倉庫（data warehouse）是一個面向主題的、集成的、穩(wěn)定的、包含歷史數(shù)據(jù)的數(shù)據(jù)集合，它用于支持管理中的決策制定過程?！彼^主題，它是數(shù)據(jù)歸類的標準，每個主題對應(yīng)一個客觀分析領(lǐng)域，如銷售狀況、人事狀況、整個企業(yè)的利潤狀況等。它可以輔助決策集

18、成多個部門不同系統(tǒng)的大量數(shù)據(jù)。所謂面向主題，是指數(shù)據(jù)倉庫內(nèi)的信息是按主題進行組織的，為按主題進行決策的過程提供信息。 所謂集成，是指數(shù)據(jù)倉庫中的信息不是從各個業(yè)務(wù)處理系統(tǒng)中簡單抽取出來的，而是經(jīng)過系統(tǒng)加工、匯總和整理，以確保數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個企業(yè)的一致的全局信息。 所謂穩(wěn)定，是指一旦某個數(shù)據(jù)進入數(shù)據(jù)倉庫，一般情況下將被長期保留，也就是數(shù)據(jù)倉庫中一般有大量的插入和查詢操作，但修改和刪除操作很少。 所謂包含歷史數(shù)據(jù)，是指數(shù)據(jù)倉庫內(nèi)的信息并不只是關(guān)于企業(yè)當時或某一時點的信息，而是系統(tǒng)記錄了企業(yè)從過去某一時點(如開始應(yīng)用數(shù)據(jù)倉庫的時點)到目前的各個階段的信息，通過這些信息，可以對企業(yè)的發(fā)展歷程

19、和未來趨勢做出定量分析和預(yù)測。這樣,我們有理由認為,統(tǒng)一污染源數(shù)據(jù)庫在應(yīng)用的實質(zhì)意義上就是基于污染源管理的部門級數(shù)據(jù)倉庫.污染源數(shù)據(jù)倉庫的建立主要是針對污染源的管理進行一系列的分析,以便于局領(lǐng)導作出有效的決策.將統(tǒng)一污染源數(shù)據(jù)庫上升為污染源數(shù)據(jù)倉庫的概念,有利于指導統(tǒng)一污染源數(shù)據(jù)庫在整體上的規(guī)劃,同時,利用數(shù)據(jù)倉庫現(xiàn)有的開發(fā)技術(shù),可以有效的確定用戶需求,快速的開發(fā)出高效,穩(wěn)定的產(chǎn)品.第一， 數(shù)據(jù)倉庫有效集成了企業(yè)的業(yè)務(wù)數(shù)據(jù)，提供了標準的報表和圖表的功能。數(shù)據(jù)倉庫的報表和圖表是關(guān)于整個企業(yè)集成信息的報表和圖表，其中的數(shù)據(jù)可來源于不同的多個事務(wù)處理系統(tǒng)。從而為企業(yè)提供了按照主題的多方位的決策支持。

20、 第二， 數(shù)據(jù)倉庫可以對分布在不同系統(tǒng)的業(yè)務(wù)數(shù)據(jù)進行清洗和加工。數(shù)據(jù)倉庫的源數(shù)據(jù)可能來自許多異構(gòu)的事務(wù)處理系統(tǒng)，它們具有不同的數(shù)據(jù)格式和數(shù)據(jù)存儲管理組織，數(shù)據(jù)倉庫可以按照面向主題的原則對這些數(shù)據(jù)進行清洗和加工，使它們成為統(tǒng)一格式的易于使用的支持決策的數(shù)據(jù)。 第三， 數(shù)據(jù)倉庫支持多維分析。多維分析是通過把一個實體的多項重要的屬性定義為多個維度，使得用戶能方便地匯總數(shù)據(jù)集，簡化了數(shù)據(jù)的分析處理邏輯，并能對不同維度值的數(shù)據(jù)進行比較，而維度則表示了對信息的不同理解角度，例如，時間和地理區(qū)域是經(jīng)常采用的維度。應(yīng)用多維分析可以在一個查詢中對不同階段的數(shù)據(jù)進行縱向或橫向比較，這在決策過程中非常有用。 第四，

21、 數(shù)據(jù)倉庫技術(shù)可以幫助企業(yè)決策者對企業(yè)未來狀況作出預(yù)測。數(shù)據(jù)挖掘技術(shù)是數(shù)據(jù)倉庫表現(xiàn)的關(guān)鍵技術(shù)。數(shù)據(jù)挖掘技術(shù)可以在已有數(shù)據(jù)中識別數(shù)據(jù)的模式，以幫助用戶理解現(xiàn)有的信息，并在已有信息的基礎(chǔ)上，對未來的狀況作出預(yù)測。在數(shù)據(jù)倉庫的基礎(chǔ)上進行數(shù)據(jù)挖掘，就可以針對整個企業(yè)的狀況和未來發(fā)展作出比較完整、合理、準確的分析和預(yù)測。 第五， 成功的數(shù)據(jù)倉庫系統(tǒng)可以為企業(yè)帶來高的投資回報。結(jié)合企業(yè)業(yè)務(wù)現(xiàn)狀，數(shù)據(jù)倉庫可以建立在原有運行系統(tǒng)之上，企業(yè)可以在以分主題方式對原來運行數(shù)據(jù)重組的基礎(chǔ)之上，為了某種支持特定決策的需要，再跨主題進行數(shù)據(jù)重組，這就需要數(shù)據(jù)集市（data marts）了。數(shù)據(jù)集市是聚集的、面向主題的數(shù)據(jù)

22、倉庫，它簡單、靈活，并且建立速度更快，花費也更低廉。通常情況下，企業(yè)將建立一系列數(shù)據(jù)集市，用來處理一定范疇的問題，快速決策意味著企業(yè)可以對市場機會做出快速反應(yīng)，這將為企業(yè)帶來巨大的商業(yè)利益。2.4 統(tǒng)一污染源數(shù)據(jù)庫是環(huán)保局信息門戶的先鋒.為了將污染源數(shù)據(jù)及其分析決策信息能夠方便的讓環(huán)保局內(nèi)部所有相關(guān)人員訪問使用，必須要一種大家都易于接受的方式來表現(xiàn)這些數(shù)據(jù)，在這點上，信息中心建議采用b/s結(jié)構(gòu)，用瀏覽器作為系統(tǒng)的統(tǒng)一表達方式。同時，將來建設(shè)的系統(tǒng)在表現(xiàn)層上也都準備采用同樣的表現(xiàn)形式，所以，一個綜合的門戶發(fā)布系統(tǒng)對于整體環(huán)境信息系統(tǒng)而言是必備的。而在統(tǒng)一污染源項目中將門戶的概念提出是有利于整體系

23、統(tǒng)規(guī)劃的，可以說污染源的門戶發(fā)布系統(tǒng)就是整體環(huán)境信息系統(tǒng)的先鋒。這樣,我們可以知道,其實, 統(tǒng)一污染源數(shù)據(jù)庫是環(huán)保局信息門戶的先鋒.環(huán)保局信息門戶（enterprise information portal），就是采用標準瀏覽器，如internet explorer，提供對環(huán)保局的intranet和extranet的單點訪問，使每個人能通過統(tǒng)一界面訪問經(jīng)授權(quán)的環(huán)保局內(nèi)部和外部信息，從而提高決策水平。環(huán)保局信息門戶為環(huán)保局的各種使用者提供了一個統(tǒng)一的應(yīng)用界面，使環(huán)保局的使用者可以根據(jù)自己的需要獲得想要的信息，它是通過提供全面的信息和應(yīng)用來支持決策和客戶選擇的，主要作用體現(xiàn)在： 第一， 環(huán)保局信息

24、門戶(eip)是將web技術(shù)與環(huán)保局的運作過程相集成的解決方案，它提供了一個單獨的網(wǎng)關(guān)來訪問信息和應(yīng)用。環(huán)保局門戶可以對未組織的信息進行編目和跟蹤，也可以訪問國際互連網(wǎng)上的內(nèi)容，并根據(jù)用戶的需求和在環(huán)保局中的角色來過濾這些內(nèi)容。一個門戶通過開放和封閉的網(wǎng)絡(luò)，提供了數(shù)據(jù)和信息的傳遞，使用戶更方便地來了解有關(guān)的信息。 第二， 環(huán)保局信息門戶能夠?qū)⒋鎯υ跀?shù)據(jù)庫、數(shù)據(jù)倉庫和文件中的數(shù)據(jù)轉(zhuǎn)換為可用的信息。它可以使你在環(huán)保局內(nèi)和環(huán)保局外快速地改變信息，并通過瀏覽器傳送信息。分散的公司通過網(wǎng)絡(luò)連接在一起，加上最新型的信息傳遞方式，這就意味著在很短的時間內(nèi)，獲取正確的信息，傳送給正確的用戶，從而提高生產(chǎn)率。

25、第三， 環(huán)保局信息門戶提供了一個對傳統(tǒng)的個人桌面工作模式的改進方法，可以在通過簡便的方法定制出的圖形化的用戶界面下進行工作（就像目前的商業(yè)門戶，如netcenter），能夠?qū)崿F(xiàn)信息的有效處理和系統(tǒng)的穩(wěn)定性，就如同在原來的應(yīng)用和信息系統(tǒng)下獨立工作一樣可以這么說，數(shù)據(jù)倉庫為環(huán)保局提供了一個統(tǒng)一的數(shù)據(jù)視圖，而環(huán)保局信息門戶則為環(huán)保局提供了一個統(tǒng)一的應(yīng)用界面，使他們方便快捷地訪問數(shù)據(jù)倉庫，進一步加速決策速度，提高決策水平。環(huán)保局信息門戶的貢獻不只在于幫助環(huán)保局了解手中大量信息的意義，更重要的是使他們能夠應(yīng)付那些由于分散的信息資源和處理過程維護能力下降而產(chǎn)生的問題。環(huán)保局信息門戶能夠通過超越現(xiàn)在的分散的

26、應(yīng)用環(huán)境實現(xiàn)這個目標，把原來不同的相互關(guān)系連接到一起，形成廣泛的、相互關(guān)聯(lián)的應(yīng)用環(huán)境，從而縮短環(huán)保局響應(yīng)時間。環(huán)保局數(shù)據(jù)倉庫系統(tǒng)是環(huán)保局信息門戶的基石，為環(huán)保局信息門戶的建立提供了一個完整的基礎(chǔ)框架和統(tǒng)一的數(shù)據(jù)視圖；而環(huán)保局信息門戶的建立是對環(huán)保局數(shù)據(jù)倉庫系統(tǒng)查詢、檢索、集成等功能的優(yōu)化，二者是相輔相成的、統(tǒng)一的、都是為環(huán)保局的決策信息系統(tǒng)服務(wù)的，也是環(huán)保局實現(xiàn)電子政務(wù)關(guān)鍵因素。 綜上所訴,統(tǒng)一污染源數(shù)據(jù)庫項目的建設(shè)是基于污染源數(shù)據(jù)倉庫的環(huán)保局信息門戶的建設(shè).我們將站在數(shù)據(jù)倉庫的高度,利用數(shù)據(jù)倉庫的技術(shù),結(jié)合當前環(huán)保局當前的狀況,對環(huán)保局統(tǒng)一污染源數(shù)據(jù)庫作出規(guī)劃2.5 需求的總結(jié)我們可以把環(huán)保

27、局的需求分為四個統(tǒng)一統(tǒng)一數(shù)據(jù)關(guān)于污染源的統(tǒng)一數(shù)據(jù)庫.統(tǒng)一操作界面要求以后統(tǒng)一的操作界面.統(tǒng)一認證用戶,外部應(yīng)用程序有統(tǒng)一的認證機制,實現(xiàn)單點認證.統(tǒng)一接口.外部應(yīng)用程序有統(tǒng)一的調(diào)用接口第三章.系統(tǒng)解決方案3.1 系統(tǒng)解決方案原則3.1.1可擴充性可擴充原則能夠最大限度地保護原有資源，就是原來已經(jīng)建設(shè)好的業(yè)務(wù)系統(tǒng)。統(tǒng)一污染源數(shù)據(jù)庫平臺將最大限度地兼容其他業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，但并不干涉原有系統(tǒng)的業(yè)務(wù)數(shù)據(jù)。同時將來新開展的業(yè)務(wù)系統(tǒng)也可以將其相關(guān)信息數(shù)據(jù)納入其中，而不改動其業(yè)務(wù)流程。3.1.2易維護性由信息中心統(tǒng)一管理的集中數(shù)據(jù)庫可以根據(jù)各處室需求統(tǒng)一的開發(fā)報表，分析數(shù)據(jù)等操作，通過靈活的數(shù)據(jù)庫維護工具，

28、數(shù)據(jù)分析工具能夠做到統(tǒng)一數(shù)據(jù)庫的易維護效果。3.1.3安全性利用工業(yè)強度級別的關(guān)系型數(shù)據(jù)庫建設(shè)統(tǒng)一污染源數(shù)據(jù)庫，在污染源數(shù)據(jù)庫的應(yīng)用系統(tǒng)中根據(jù)實際情況設(shè)置用戶權(quán)限以達到數(shù)據(jù)級別的安全性。3.1.4合理性根據(jù)環(huán)保局現(xiàn)有業(yè)務(wù)系統(tǒng)的現(xiàn)實狀況進行分析，對數(shù)據(jù)的不一致性作出合理判斷，提供用戶自我判斷數(shù)據(jù)合理性功能。3.1.5開放性系統(tǒng)著眼于環(huán)保局環(huán)境信息系統(tǒng)的整體規(guī)劃角度來看待污染源項目，提出多個嶄新觀念，其開放性便于將來整體平臺的深入建設(shè)。3.2 技術(shù)路線.為了充分的保證環(huán)保局現(xiàn)有系統(tǒng)的投資,以及以后系統(tǒng)的擴充能力,在綜合考慮了環(huán)保局的現(xiàn)狀以后,我們確定了以統(tǒng)一的平臺為基本的集成平臺,以信息門戶的構(gòu)建

29、為基本框架.整合已有的業(yè)務(wù)系統(tǒng),同時,要考慮到各種系統(tǒng)以后的接口,充分保證系統(tǒng)的擴充性.同時,為了保證環(huán)保局系統(tǒng)的先進型和穩(wěn)定性,我們采用當今先進的j2ee結(jié)構(gòu), 3.3業(yè)務(wù)體系結(jié)構(gòu)根據(jù)對環(huán)保局內(nèi)部信息系統(tǒng)的信息調(diào)研，我們將在統(tǒng)一污染源數(shù)據(jù)庫項目中采用以下的系統(tǒng)體系結(jié)構(gòu)：3.3.1污染源數(shù)據(jù)內(nèi)容從環(huán)保局原有業(yè)務(wù)系統(tǒng)中提取的數(shù)據(jù)來源大致有兩處：一是國家環(huán)?？偩窒掳l(fā)的一系列環(huán)境軟件，更污染源相關(guān)的有排污申報系統(tǒng)，環(huán)境統(tǒng)計系統(tǒng)，城考系統(tǒng)等；二是環(huán)保局針對自身業(yè)務(wù)特點細節(jié)開發(fā)的業(yè)務(wù)系統(tǒng)，主要有監(jiān)督處的環(huán)保業(yè)務(wù)系統(tǒng)，監(jiān)理所的監(jiān)控中心系統(tǒng)，排污收費系統(tǒng)，監(jiān)測站的監(jiān)測系統(tǒng)等等。在上圖中描述了這些業(yè)務(wù)系統(tǒng)分別

30、提供了那些與污染源相關(guān)的信息數(shù)據(jù)，這些數(shù)據(jù)就是統(tǒng)一污染源數(shù)據(jù)庫需要抽取的業(yè)務(wù)數(shù)據(jù)。3.3.2基礎(chǔ)數(shù)據(jù)庫基礎(chǔ)數(shù)據(jù)庫是環(huán)保局整體環(huán)境信息系統(tǒng)的重要基礎(chǔ)，主要包括“統(tǒng)一污染源”和“環(huán)境質(zhì)量”，這里提到的基礎(chǔ)數(shù)據(jù)庫指的都是統(tǒng)一污染源數(shù)據(jù)庫，數(shù)據(jù)也是與污染源相關(guān)的數(shù)據(jù)。根據(jù)環(huán)保局信息化建設(shè)的安排，將來可將“環(huán)境質(zhì)量”也納入到其中?；A(chǔ)數(shù)據(jù)庫為各處室提供了共享的、全面的、權(quán)威的污染源信息。3.3.3數(shù)據(jù)倉庫前面提到，隨著環(huán)保局總體電子政務(wù)應(yīng)用需求的發(fā)展，產(chǎn)生了信息“蜘蛛網(wǎng)”的問題，要解決這樣的問題，必須將用于事務(wù)處理的數(shù)據(jù)環(huán)境和用于數(shù)據(jù)分析的數(shù)據(jù)環(huán)境分離開，所以我們在統(tǒng)一污染源數(shù)據(jù)庫基礎(chǔ)上建立了數(shù)據(jù)倉庫應(yīng)

31、用。從圖中我們可以看出，數(shù)據(jù)處理被分為操作型處理和分析型處理（或信息型處理）兩大類。操作型處理以各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫為中心進行環(huán)保局日常的業(yè)務(wù)處理；分析型處理以統(tǒng)一污染源數(shù)據(jù)庫、數(shù)據(jù)倉庫為中心分析數(shù)據(jù)背后的關(guān)聯(lián)和規(guī)律，為環(huán)保局的決策提供可靠有效的數(shù)據(jù)。所以操作型系統(tǒng)的使用人員通常是具體操作的部門人員，比如監(jiān)督處、監(jiān)理所等，處理的數(shù)據(jù)通常是業(yè)務(wù)的細節(jié)信息，其目標是實現(xiàn)環(huán)保局的業(yè)務(wù)運營；而分析型系統(tǒng)的使用人員通常是中高層的管理者或者從事數(shù)據(jù)分析的工作人員。分析型系統(tǒng)包含了環(huán)保局宏觀信息而非具體細節(jié)，其目的是為環(huán)保局的決策者提供支持信息。操作型處理和分析型處理的分離，劃清了數(shù)據(jù)處理的分析型環(huán)境與操作

32、型環(huán)境之間的界限，從而由原來數(shù)據(jù)庫為中心的數(shù)據(jù)環(huán)境發(fā)展成為以數(shù)據(jù)庫為中心的業(yè)務(wù)處理系統(tǒng)和以數(shù)據(jù)倉庫為基礎(chǔ)的分析系統(tǒng)。以數(shù)據(jù)庫為中心的業(yè)務(wù)處理系統(tǒng)和以數(shù)據(jù)倉庫為基礎(chǔ)的分析系統(tǒng)的基礎(chǔ)上，就可以建立商業(yè)智能(business intelligence)bi系統(tǒng)作為商業(yè)智能系統(tǒng)中的核心部分，決策支持系統(tǒng)具備下列功能：1、多維信息查詢2、olap在線分析處理3、數(shù)據(jù)挖掘4、趨勢預(yù)測3.3.4地理信息系統(tǒng)統(tǒng)一污染源數(shù)據(jù)庫的上層應(yīng)用之一是與gis系統(tǒng)結(jié)合進行開發(fā)，把污染源的各種完整信息同地理位置和有關(guān)的視圖結(jié)合起來，并可根據(jù)各處室需要對這些信息進行分析，把結(jié)果交由有關(guān)領(lǐng)導和部門作為決策的參考。gis的空間分

33、析功能需要有大量的基礎(chǔ)數(shù)據(jù),其中工業(yè)污染源數(shù)據(jù)是必備數(shù)據(jù)之一，在污染源數(shù)據(jù)庫設(shè)計中，我們強調(diào)了數(shù)據(jù)庫系統(tǒng)與現(xiàn)有arc/info、mapobject等gis系統(tǒng)的結(jié)合，污染源數(shù)據(jù)庫將環(huán)保局內(nèi)部各部門積累的大量數(shù)據(jù)進行統(tǒng)一，并對這些屬性數(shù)據(jù)進行處理和加工從而實現(xiàn)了數(shù)據(jù)的查詢、統(tǒng)計和分析，gis系統(tǒng)在此基礎(chǔ)上利用其自身的空間方式就可以很好把污染源排放、治理、達標狀況表現(xiàn)出來。3.3.5信息門戶綜合發(fā)布系統(tǒng)全面的內(nèi)容整合環(huán)保局門戶平臺可以集成現(xiàn)有的應(yīng)用系統(tǒng)，包括環(huán)保局的各種業(yè)務(wù)系統(tǒng)、一站式單點登錄可使得用戶一次登錄自動訪問所有授權(quán)的企業(yè)級應(yīng)用軟件系統(tǒng)，無需記憶多種登錄過程、id或口令。并作為環(huán)保局統(tǒng)一

34、的工作和溝通平臺.3.3.6綜合辦公系統(tǒng)統(tǒng)一污染源數(shù)據(jù)庫項目中產(chǎn)生的應(yīng)用信息，如數(shù)據(jù)的查詢，分析結(jié)果，報表等內(nèi)容可以便利、無縫的與athene環(huán)保局整體電子政務(wù)方案中的綜合辦公系統(tǒng)交換數(shù)據(jù)，為將來環(huán)保局的建設(shè)提供了可擴展性。3.4技術(shù)體系結(jié)構(gòu)根據(jù)上述業(yè)務(wù)體系結(jié)構(gòu)的特點，我們設(shè)計了下圖所示的技術(shù)體系結(jié)構(gòu)：我們在統(tǒng)一污染軟數(shù)據(jù)庫上進行數(shù)據(jù)挖掘及olap分析，得到查詢結(jié)果或者統(tǒng)計報表數(shù)據(jù)，然后配合xml中間件技術(shù)將這些數(shù)據(jù)轉(zhuǎn)化為標準xml格式信息， 通過xslt(可擴展樣式表轉(zhuǎn)換)將xml數(shù)據(jù)轉(zhuǎn)換成為系統(tǒng)中的處理格式信息，這些信息通過安全認證后，以servlet,jsp的形式生成網(wǎng)頁表現(xiàn)出來。第四章

35、 污染源統(tǒng)一數(shù)據(jù)庫4.1 數(shù)據(jù)庫設(shè)計在本系統(tǒng)中中.污染源數(shù)據(jù)庫的設(shè)計是整個系統(tǒng)的重點和難點,如何保證高效的,準確的對現(xiàn)有數(shù)據(jù)的集成,是直接影響到?jīng)Q策圖標是否正確,以后新的業(yè)務(wù)系統(tǒng)是否穩(wěn)定和準確的關(guān)鍵,同時, 污染源數(shù)據(jù)庫的高效在線處理能力也是對以后新的業(yè)務(wù)系統(tǒng)性能上起著至關(guān)重要的影響.下面從以下幾個方面來論述污染源統(tǒng)一數(shù)據(jù)庫的建設(shè).4.1.1 數(shù)據(jù)庫設(shè)計主線在污染源統(tǒng)一數(shù)據(jù)庫中,我們發(fā)現(xiàn),貫穿整個污染源統(tǒng)一數(shù)據(jù)庫業(yè)務(wù)點有兩個,污染源和排污單位,利用這兩點.可以完整的理解現(xiàn)在污染源統(tǒng)一數(shù)據(jù)庫中的業(yè)務(wù)行為,對整個數(shù)據(jù)庫設(shè)計起到關(guān)鍵的統(tǒng)領(lǐng)作用.4.1.1.1概念模型設(shè)計進行概念模型設(shè)計所要完成的工作

36、是： 界定統(tǒng)一污染源數(shù)據(jù)庫系統(tǒng)邊界 確定統(tǒng)一污染源數(shù)據(jù)庫主要的主題域及其內(nèi)容 概念模型設(shè)計的成果是，在原有的業(yè)務(wù)數(shù)據(jù)庫的基礎(chǔ)上建立了一個較為穩(wěn)固的概念模型。因為統(tǒng)一污染源數(shù)據(jù)庫是對原有業(yè)務(wù)數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)進行集成和重組而形成的數(shù)據(jù)集合，所以統(tǒng)一污染源數(shù)據(jù)庫的概念模型設(shè)計，首先要對原有業(yè)務(wù)數(shù)據(jù)庫系統(tǒng)加以分析理解，看在原有的業(yè)務(wù)數(shù)據(jù)庫系統(tǒng)中“有什么”、“怎樣組織的”和“如何分布的”等，然后再來考慮應(yīng)當如何建立統(tǒng)一污染源數(shù)據(jù)庫的概念模型。一方面，通過原有的業(yè)務(wù)數(shù)據(jù)庫的設(shè)計文檔以及在數(shù)據(jù)字典中的數(shù)據(jù)庫關(guān)系模式，可以對現(xiàn)有的業(yè)務(wù)數(shù)據(jù)庫中的內(nèi)容有一個完整而清晰的認識；另一方面，統(tǒng)一污染源數(shù)據(jù)庫的概念模型

37、是面向全局建立的，它為集成來自各個面向業(yè)務(wù)的數(shù)據(jù)庫的數(shù)據(jù)提供了統(tǒng)一的概念視圖。 概念模型的設(shè)計是在較高的抽象層次上的設(shè)計，因此建立概念模型時不用考慮具體技術(shù)條件的限制。 1. 界定系統(tǒng)的邊界 統(tǒng)一污染源數(shù)據(jù)庫是面向決策分析的數(shù)據(jù)庫，我們無法在統(tǒng)一污染源數(shù)據(jù)庫設(shè)計的最初就得到詳細而明確的需求，但是一些基本的方向性的需求還是擺在了我們的面前： l 要做的決策類型有哪些? l 各個處室需要的數(shù)據(jù)是什么?l 以后可能會有怎么樣的業(yè)務(wù)系統(tǒng)接入到本統(tǒng)一污染源數(shù)據(jù)庫?l 可能需要怎么樣的數(shù)據(jù)接口?l 決策者感興趣的是什么問題? l 這些問題需要什么樣的信息? l 要得到這些信息需要包含原有數(shù)據(jù)庫系統(tǒng)的哪些部

38、分的數(shù)據(jù)? 這樣，我們可以劃定一個當前的大致的系統(tǒng)邊界，集中精力進行最需要的部分的開發(fā)。因而，從某種意義上講，界定系統(tǒng)邊界的工作也可以看作是統(tǒng)一污染源數(shù)據(jù)庫系統(tǒng)設(shè)計的需求分析.2. 確定主要的主題域 在這一步中，要確定系統(tǒng)所包含的主題域，然后對每個主題域的內(nèi)容進行較明確的描述，描述的內(nèi)容包括： l 主題域的公共碼鍵； l 主題域之間的聯(lián)系； l 充分代表主題的屬性組。 4.1.1.2 邏輯模型設(shè)計 在這一步里進行的工作主要有： l 分析主題域，確定當前要裝載的主題； l 確定粒度層次劃分； l 確定數(shù)據(jù)分割策略； l 關(guān)系模式定義； l 記錄系統(tǒng)定義 邏輯模型設(shè)計的成果是，對每個當前要裝載的主

39、題的邏輯實現(xiàn)進行定義，并將相關(guān)內(nèi)容記錄在數(shù)據(jù)倉庫的元數(shù)據(jù)中，包括： l 適當?shù)牧６葎澐郑?l 合理的數(shù)據(jù)分割策略； l 適當?shù)谋韯澐郑?l 定義合適的數(shù)據(jù)來源等。 1. 分析主題域 在概念模型設(shè)計中，我們確定了幾個基本的主題域，但是，統(tǒng)一污染源的設(shè)計方法是一個逐步求精的過程，在進行設(shè)計時，一般是一次一個主題或一次若干個主題地逐步完成的。所以，我們必須對概念模型設(shè)計步驟中確定的幾個基本主題域進行分析，并選擇首先要實施的主題域。選擇第一個主題域所要考慮的是它要足夠大，以便使得該主題域能建設(shè)成為一個可應(yīng)用的系統(tǒng)；它還要足夠小，以便于開發(fā)和較快地實施。如果所選擇的主題域很大并且很復雜，我們甚至可以針對

40、它的一個有意義的子集來進行開發(fā)。在每一次的反饋過程中，都要進行主題域的分析。 2. 粒度層次劃分 數(shù)據(jù)倉庫邏輯設(shè)計中要解決的一個重要問題是決定統(tǒng)一污染源的粒度劃分層次，粒度層次劃分適當與否直接影響到統(tǒng)一污染源中的數(shù)據(jù)量和所適合的查詢類型。確定統(tǒng)一污染源的粒度劃分，可以通過估算數(shù)據(jù)行數(shù)和所需的dasd數(shù)，來確定是采用單一粒度還是多重粒度，以及粒度劃分的層次。 3. 確定數(shù)據(jù)分割策略 在這一步里，要選擇適當?shù)臄?shù)據(jù)分割的標準，一般要考慮以下幾方面因素：數(shù)據(jù)量(而非記錄行數(shù))、數(shù)據(jù)分析處理的實際情況、簡單易行以及粒度劃分策略等。數(shù)據(jù)量的大小是決定是否進行數(shù)據(jù)分割和如何分割的主要因素；數(shù)據(jù)分析處理的要求

41、是選擇數(shù)據(jù)分割標準的一個主要依據(jù)，因為數(shù)據(jù)分割是跟數(shù)據(jù)分析處理的對象緊密聯(lián)系的；我們還要考慮到所選擇的數(shù)據(jù)分割標準應(yīng)是自然的、易于實施的：同時也要考慮數(shù)據(jù)分割的標準與粒度劃分層次是適應(yīng)的。 4. 關(guān)系模式定義 統(tǒng)一污染源的每個主題都是由多個表來實現(xiàn)的，這些表之間依靠主題的公共碼鍵聯(lián)系在一起，形成一個完整的主題。在概念模型設(shè)計時，我們就確定了統(tǒng)一污染源的基本主題，并對每個主題的公共碼鍵、基本內(nèi)容等做了描述在這一步里，我們將要對選定的當前實施的主題進行模式劃分，形成多個表，并確定各個表的關(guān)系模式。 4.1.1.3 物理模型設(shè)計 這一步所做的工作是確定數(shù)據(jù)的存儲結(jié)構(gòu)，確定索引策略，確定數(shù)據(jù)存放位置，

42、確定存儲分配。 確定統(tǒng)一污染源實現(xiàn)的物理模型，我們必須做到以下幾方面： l 要全面了解所選用的數(shù)據(jù)庫管理系統(tǒng)，特別是存儲結(jié)構(gòu)和存取方法。 l 了解數(shù)據(jù)環(huán)境、數(shù)據(jù)的使用頻度、使用方式、數(shù)據(jù)規(guī)模以及響應(yīng)時間要求等，這些是對時間和空間效率進行平衡和優(yōu)化的重要依據(jù)。 l 了解外部存儲設(shè)備的特性，如分塊原則，塊大小的規(guī)定，設(shè)備的io特性等。 1. 確定數(shù)據(jù)的存儲結(jié)構(gòu) 一個數(shù)據(jù)庫管理系統(tǒng)往往都提供多種存儲結(jié)構(gòu)供設(shè)計人員選用，不同的存儲結(jié)構(gòu)有不同的實現(xiàn)方式，各有各的適用范圍和優(yōu)缺點，我們在選擇合適的存儲結(jié)構(gòu)時應(yīng)該權(quán)衡三個方面的主要因素：存取時間、存儲空間利用率和維護代價。 2. 確定索引策略 統(tǒng)一污染源的數(shù)

43、據(jù)量很大，因而需要對數(shù)據(jù)的存取路徑進行仔細的設(shè)計和選擇。由于數(shù)據(jù)倉庫的數(shù)據(jù)都是不常更新的，因而可以設(shè)計多種多樣的索引結(jié)構(gòu)來提高數(shù)據(jù)存取效率。 在數(shù)據(jù)倉庫中，設(shè)計人員可以考慮對各個數(shù)據(jù)存儲建立專用的、復雜的索引，以獲得最高的存取效率，因為在數(shù)據(jù)倉庫中的數(shù)據(jù)是不常更新的，也就是說每個數(shù)據(jù)存儲是穩(wěn)定的，因而雖然建立專用的、復雜的索引有一定的代價，但一旦建立就幾乎不需維護索引的代價。 3. 確定數(shù)據(jù)存放位置 在物理設(shè)計時，我們常常要按數(shù)據(jù)的重要程度、使用頻率以及對響應(yīng)時間的要求進行分類，并將不同類的數(shù)據(jù)分別存儲在不同的存儲設(shè)備中。重要程度高、經(jīng)常存取并對響應(yīng)時間要求高的數(shù)據(jù)就存放在高速存儲設(shè)備上，如硬

44、盤；存取頻率低或?qū)Υ嫒№憫?yīng)時間要求低的數(shù)據(jù)則可以放在低速存儲設(shè)備上，如磁盤或磁帶。 數(shù)據(jù)存放位置的確定還要考慮到其它一些方法，如：決定是否進行合并表；是否對一些經(jīng)常性的應(yīng)用建立數(shù)據(jù)序列；對常用的、不常修改的表或?qū)傩允欠袢哂啻鎯?。如果采用了這些技術(shù)，就要記入元數(shù)據(jù)。 4. 確定存儲分配 許多數(shù)據(jù)庫管理系統(tǒng)提供了一些存儲分配的參數(shù)供設(shè)計者進行物理優(yōu)化處理，如：塊的尺寸、緩沖區(qū)的大小和個數(shù)等等，它們都要在物理設(shè)計時確定。這同創(chuàng)建數(shù)據(jù)庫系統(tǒng)時的考慮是一樣的。 4.1.1.4 統(tǒng)一污染源數(shù)據(jù)庫的生成 在這一步里所要做的工作是接口編程，數(shù)據(jù)裝入。 這一步工作的成果是，數(shù)據(jù)已經(jīng)裝入到數(shù)據(jù)倉庫中，可以在其上建

45、立統(tǒng)一污染源的應(yīng)用，即dss應(yīng)用。 1. 設(shè)計接口 將操作型環(huán)境下的數(shù)據(jù)裝載進入數(shù)據(jù)倉庫環(huán)境，需要在兩個不同環(huán)境的記錄系統(tǒng)之間建立一個接口。乍一看，建立和設(shè)計這個接口，似乎只要編制一個抽取程序就可以了，事實上，在這一階段的工作中，的確對數(shù)據(jù)進行了抽取，但抽取并不是全部的工作，這一接口還應(yīng)具有以下的功能： l 從面向應(yīng)用和操作的環(huán)境生成完整的數(shù)據(jù)； l 數(shù)據(jù)的基于時間的轉(zhuǎn)換； l 數(shù)據(jù)的凝聚； l 對現(xiàn)有記錄系統(tǒng)的有效掃描，以便以后進行追加。 當然，考慮這些因素的同時，還要考慮到物理設(shè)計的一些因素和技術(shù)條件限制，根據(jù)這些內(nèi)容，嚴格地制定規(guī)格說明，然后根據(jù)規(guī)格說明，進行接口編程。從操作型環(huán)境到數(shù)據(jù)

46、倉庫環(huán)境的數(shù)據(jù)接口編程的過程和一般的編程過程并無區(qū)別，它也包括偽碼開發(fā)、編碼、編譯、檢錯、測試等步驟。 在接口編程中，要注意： l 保持高效性，這也是一般的編程所要求的； l 要保存完整的文檔記錄； l 要靈活，易于改動； l 要能完整、準確地完成從操作型環(huán)境到數(shù)據(jù)倉庫環(huán)境的數(shù)據(jù)抽取、轉(zhuǎn)換與集成。 2. 數(shù)據(jù)裝入 在這一步里所進行的就是運行接口程序，將數(shù)據(jù)裝入到數(shù)據(jù)倉庫中。主要的工作是： l 確定數(shù)據(jù)裝入的次序； l 清除無效或錯誤數(shù)據(jù)； l 數(shù)據(jù)“老化” ； l 數(shù)據(jù)粒度管理； l 數(shù)據(jù)刷新等。最初只使用一部分數(shù)據(jù)來生成第一個主題域，使得設(shè)計人員能夠輕易且迅速地對已做工作進行調(diào)整，而且能夠盡

47、早地提交到下一步驟，即數(shù)據(jù)倉庫的使用和維護。這樣既可以在經(jīng)濟上最快地得到回報，又能夠通過最終用戶的使用、盡早發(fā)現(xiàn)一些問題并提出新的需求，然后反饋給設(shè)計人員，設(shè)計人員繼續(xù)對系統(tǒng)改進、擴展。4.1.2 數(shù)據(jù)庫規(guī)范化設(shè)計數(shù)據(jù)倉庫的建模方法 邏輯建模是數(shù)據(jù)倉庫實施中的重要一環(huán),因為它能直接反映出業(yè)務(wù)部門的需求,同時對系統(tǒng)的物理實施有著重要的指導作用。目前較常用的兩種建模方法是所謂的第三范式 (3nf,即 third normal form)和星型模式 (star-schema)。什么是第三范式 范式是數(shù)據(jù)庫邏輯模型設(shè)計的基本理論,一個關(guān)系模型可以從第一范式到第五范式進行無損分解,這個過程也稱為規(guī)范化

48、(normalize)。在數(shù)據(jù)倉庫的模型設(shè)計中目前一般采用第三范式,它有非常嚴格的數(shù)學定義。如果從其表達的含義來看,一個符合第三范式的關(guān)系必須具有以下三個條件: 1. 每個屬性的值唯一,不具有多義性; 2. 每個非主屬性必須完全依賴于整個主鍵,而非主鍵的一部分; 3. 每個非主屬性不能依賴于其他關(guān)系中的屬性,因為這樣的話,這種屬性應(yīng)該歸到其他關(guān)系中去。 可以看到,第三范式的定義基本上是圍繞主鍵與非主屬性之間的關(guān)系而作出的。如果只滿足第一個條件,則稱為第一范式;如果滿足前面兩個條件,則稱為第二范式,依此類推。因此,各級范式是向下兼容的。 什么是星型模式 星型模式是一種多維的數(shù)據(jù)關(guān)系,它由一個事實

49、表(fact table)和一組維表(dimens ion table)組成。每個維表都有一個維作為主鍵,所有這些維則組合成事實表的主鍵,換言之,事實表主鍵的每個元素都是維表的外鍵。事實表的非主屬性稱為事實 (fact),它們一般都是數(shù)值或其他可以進行計算的數(shù)據(jù);而維大都是文字、時間等類型的數(shù)據(jù)。 第三范式和星型模式在統(tǒng)一污染源數(shù)據(jù)庫中的應(yīng)用 大多數(shù)人在設(shè)計中央數(shù)據(jù)倉庫的邏輯模型時,都按照第三范式來設(shè)計;而在進行物理實施時,則由于數(shù)據(jù)庫引擎的限制,不得不對邏輯模型進行不規(guī)范處理 (de-normalize), 以提高系統(tǒng)的響應(yīng)速度,這當然是以增加系統(tǒng)的復雜度、維護工作量、磁盤使用比率 (指原始

50、數(shù)據(jù)與磁盤大小的比率)并降低系統(tǒng)執(zhí)行動態(tài)查詢能力為代價的。 根據(jù)數(shù)據(jù)倉庫的測試標準 tpc-d規(guī)范,在數(shù)據(jù)倉庫系統(tǒng)中,對數(shù)據(jù)庫引擎最大的挑戰(zhàn)主要是這樣幾種操作:多表連接、表的累計、數(shù)據(jù)排序、大量數(shù)據(jù)的掃描。下面列出了一些 dbms在實際系統(tǒng)中針對這些困難所采用的折衷處理辦法: 1、 如何避免多表連接:在設(shè)計模型時對表進行合并,即所謂的預(yù)連接 (pre-join)。當數(shù)據(jù)規(guī)模小時,也可以采用星型模式, 這樣能提高系統(tǒng)速度,但增加了數(shù)據(jù)冗余量。 2、 如何避免表的累計:在模型中增加有關(guān)小計數(shù)據(jù) (summarized data)的項。這樣也增加了數(shù)據(jù)冗余,而且如果某項問題不在預(yù)建的累計項內(nèi),需臨時

51、調(diào)整。 3、 如何避免數(shù)據(jù)排序:對數(shù)據(jù)事先排序。但隨著數(shù)據(jù)倉庫系統(tǒng)的運行,不斷有新的數(shù)據(jù)加入,數(shù)據(jù)庫管理員的工作將大大增加。大量的時間將用于對系統(tǒng)的整理,系統(tǒng)的可用性隨之降低。 4、 如何避免大表掃描:通過使用大量的索引,可以避免對大量數(shù)據(jù)進行掃描。但這也將增加系統(tǒng)的復雜程度,降低系統(tǒng)進行動態(tài)查詢的能力。 這些措施大都屬于不規(guī)范處理。根據(jù)上面的討論,當把規(guī)范的系統(tǒng)邏輯模型進行物理實施時,由于數(shù)據(jù)庫引擎的限制,常常需要進行不規(guī)范處理。舉例來說,當系統(tǒng)數(shù)據(jù)量很小 ,比如只有幾個 gb時,進行多表連接之類復雜查詢的響應(yīng)時間是可以忍受的。但是設(shè)想一下,如果數(shù)據(jù)量擴展到很大,到幾百 gb,甚至上 tb,

52、一個表中的記錄往往有幾百萬、幾千萬,甚至更多,這時進行多表連接這樣的復雜查詢,響應(yīng)時間長得不可忍受。這時就有必要把幾個表合并,盡量減少表的連接操作。當然,不規(guī)范處理的程度取決于數(shù)據(jù)庫引擎的并行處理能力。不規(guī)范處理的階段 現(xiàn)在來討論一下,當不得不選擇不規(guī)范處理時,應(yīng)在哪個階段進行。由于中央數(shù)據(jù)倉庫的數(shù)據(jù)模型反映了整個企業(yè)的業(yè)務(wù)運行規(guī)律,在這里進行不規(guī)范處理容易影響整個系統(tǒng),不利于今后的擴展。 而且不規(guī)范處理產(chǎn)生的數(shù)據(jù)冗余將使整個系統(tǒng)的數(shù)據(jù)量迅速增加,這將增加 dba的工作量和系統(tǒng)投資。因此,當系統(tǒng)性能下降而進行不規(guī)范處理時,比較好的辦法是選擇問題較集中的部門數(shù)據(jù)集市實施這種措施。這樣既能有效地改

53、善系統(tǒng)性能,又不至于影響整個系統(tǒng)。在國外一些成功的大型企業(yè)級數(shù)據(jù)倉庫案例中,基本上都是采用這種方法。 那么,在中央數(shù)據(jù)倉庫中是否可以采用星型模式來進行模型設(shè)計呢?我們知道,星型模式中有一個事實表和一組維表,我們可以把事實看成是各個維交叉點上的值。例如,一個汽車廠在研究其銷售情況時可以考察汽車的型號、顏色、代理商等多種因素,這些因素就是維,而銷售量就是事實。這種多維模型能迅速給出基于各個維的報表,這些維必須事先確定。 星型模式之所以速度快,在于針對各個維作了大量的預(yù)處理,如按照維進行預(yù)先的統(tǒng)計、分類、排序等。在上面的例子中,就是按照汽車的型號、顏色、代理商進行預(yù)先的銷售量統(tǒng)計。因此,在星型模式設(shè)

54、計的數(shù)據(jù)倉庫中,作報表的速度雖然很快,但由于存在大量的預(yù)處理,其建模過程相對來說就比較慢。當業(yè)務(wù)問題發(fā)生變化,原來的維不能滿足要求時,需要增加新的維。由于事實表的主鍵由所有維表的主鍵組成,這種維的變動將是非常復雜、非常耗時的。星型模式另一個顯著的缺點是數(shù)據(jù)的冗余量很大。綜合這些討論,不難得出結(jié)論,星型模式比較適合于預(yù)先定義好的問題,如需要產(chǎn)生大量報表的場合;而不適合于動態(tài)查詢多、系統(tǒng)可擴展能力要求高或者數(shù)據(jù)量很大的場合。因此,星型模式在一些要求大量報表的部門數(shù)據(jù)集市中有較多的應(yīng)用。 上面討論了數(shù)據(jù)倉庫模型設(shè)計中常用的兩種方法。在數(shù)據(jù)倉庫的應(yīng)用環(huán)境中,主要有兩種負載:一種是回答重復性的問題;另一

55、種是回答交互性的問題。動態(tài)查詢具有較明顯的交互性特征,即在一個問題答案的基礎(chǔ)上進行進一步的探索,這種交互過程常稱為數(shù)據(jù)挖掘 (data mining)或者知識探索 (knowledge discovery)。對于以第一種負載為主的部門數(shù)據(jù)集市,當數(shù)據(jù)量不大、報表較固定時可以采用星型模式;對于中央數(shù)據(jù)倉庫,考慮到系統(tǒng)的可擴展能力、投資成本和易于管理等多種因素,最好采用第三范式。根據(jù)我們對環(huán)保局的業(yè)務(wù)的分析，我們知道，在統(tǒng)一污染源數(shù)據(jù)庫中，大量的查詢是基于固定的，重復性質(zhì)的查詢和報表工作，同樣的，也會具有少量的即席查詢，所以，我們對統(tǒng)一污染源的建模方面，將以第三范式為主，同時，在可以預(yù)見的查詢和分

56、析主題上，采取適當?shù)臄?shù)據(jù)冗余。使用星型模式，增加系統(tǒng)的處理能力和反映能力。4.1.3 粒度設(shè)計數(shù)據(jù)倉庫中的數(shù)據(jù)分為四個級別：早期細節(jié)級、當前細節(jié)級、輕度綜合級、高度綜合級。源數(shù)據(jù)經(jīng)過綜合后，首先進入當前細節(jié)級，并根據(jù)具體需要進行進一步的綜合，從而進入輕度綜合級乃至高度綜合級，老化的數(shù)據(jù)將進入早期細節(jié)級由此可見，數(shù)據(jù)倉庫中存在著不同的綜合級別，一般稱之為粒度。粒度越大，表示細節(jié)程度越低，綜合程度越高.粒度是數(shù)據(jù)倉庫的重要概念。粒度是對數(shù)據(jù)倉庫中的數(shù)據(jù)的綜合程度高低的一個度量，它既影響數(shù)據(jù)倉庫中的數(shù)據(jù)量的多少，也影響數(shù)據(jù)倉庫所能回答詢問的種類。在數(shù)據(jù)倉庫中，多維粒度是必不可少的。由于數(shù)據(jù)倉庫的主要作用是dss分析，因而絕大多數(shù)查詢都基于一定程度的綜合數(shù)據(jù)之上的，只有極少數(shù)查詢涉及到細節(jié)。所以應(yīng)該將大粒度數(shù)據(jù)存儲于快速設(shè)備如磁盤上，小粒度數(shù)據(jù)存于低速設(shè)備如磁帶上。 在統(tǒng)一污染源的分析中，我們發(fā)現(xiàn)，統(tǒng)一污染源既要保存當前業(yè)務(wù)系統(tǒng)的細節(jié)，也要保存深度處理后的數(shù)據(jù)，所以，我們決定，在統(tǒng)一污染源的粒度設(shè)計中，我們采取兩重標準，在