數(shù)據(jù)整合技術(shù)在水利設(shè)計(jì)中的重要性論文

1、數(shù)據(jù)整合技術(shù)在水利設(shè)計(jì)中的重要性論文論文摘要數(shù)據(jù)整合已經(jīng)成為未來水利設(shè)計(jì)單位進(jìn)一步發(fā)展的必經(jīng)之路，水利設(shè)計(jì)單位需要進(jìn)一步的發(fā)展和提高，就需要進(jìn)行數(shù)據(jù)整合。文章采用數(shù)據(jù)整合技術(shù)， 充分整合綜合辦公管理、 計(jì)劃經(jīng)營管理、項(xiàng)目設(shè)計(jì)流程管理、 圖檔管理數(shù)據(jù)資源， 并建設(shè)成統(tǒng)一的數(shù)據(jù)集成平臺(tái)。利用這一數(shù)據(jù)集成平臺(tái)將四大數(shù)據(jù)資源，經(jīng)過抽取、規(guī)則轉(zhuǎn)換、清洗、加載，形成整合資源庫，為經(jīng)營和戰(zhàn)略決策提供數(shù)據(jù)支持。決策分析需要的數(shù)據(jù)通常都是統(tǒng)計(jì)數(shù)據(jù)，但在現(xiàn)有信息系統(tǒng)下進(jìn)行會(huì)比較復(fù)雜。 原因有： 做出一個(gè)決策分析往往需要查詢多個(gè)基于各種異構(gòu)數(shù)據(jù)源的信息系統(tǒng)和外部系統(tǒng)， 并進(jìn)行大量數(shù)據(jù)分析， 工作量大，數(shù)據(jù)利用率不高

2、， 且容易出現(xiàn)人為差錯(cuò)?，F(xiàn)有信息系統(tǒng)平臺(tái)及開發(fā)工具互不兼容， 直接提取這些數(shù)據(jù)比較麻煩。 各個(gè)信息系統(tǒng)沒有統(tǒng)一的數(shù)據(jù)接口， 也沒有通用的數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范， 各個(gè)數(shù)據(jù)庫無法直接集成。 統(tǒng)計(jì)分析需要大量的歷史數(shù)據(jù)， 但是歷史數(shù)據(jù)并不完整。因此，為了適應(yīng)決策信息系統(tǒng)建設(shè)的需要，我們采用數(shù)據(jù)整合技術(shù)，充分整合綜合辦公管理、計(jì)劃經(jīng)營管理、項(xiàng)目設(shè)計(jì)流程管理、圖檔管理數(shù)據(jù)資源，并建設(shè)成統(tǒng)一的數(shù)據(jù)集成平臺(tái)。數(shù)據(jù)整合資源庫的數(shù)據(jù)都是一些統(tǒng)計(jì)和分析數(shù)據(jù)，如項(xiàng)目進(jìn)度跟蹤管理統(tǒng)計(jì)、產(chǎn)值管理統(tǒng)計(jì)等，它們生產(chǎn)數(shù)據(jù)，所以在數(shù)據(jù)整合之前，需對現(xiàn)有生產(chǎn)數(shù)據(jù)資源進(jìn)行歸類。 現(xiàn)階段生產(chǎn)數(shù)據(jù)資源主要分為綜合辦公管鉀數(shù)據(jù)集、 計(jì)劃經(jīng)營管

3、理數(shù)據(jù)集、 項(xiàng)目設(shè)計(jì)流程管理數(shù)據(jù)集和圖檔管理數(shù)據(jù)集等。1 ）綜合辦公管理數(shù)據(jù)集是實(shí)現(xiàn)人員基礎(chǔ)信息統(tǒng)一管理的基礎(chǔ)數(shù)據(jù)集。主要包括：個(gè)人基本信息：包括個(gè)人信息庫等。單位基本信息：包括單位基本信息庫、單位所屬分支機(jī)構(gòu)信息庫等。參數(shù)信息庫：包括代碼庫、圖表分析生成庫等。2 ）計(jì)劃經(jīng)營管理數(shù)據(jù)集主要包括：市場信息：包括顧客信息資源庫、市場動(dòng)態(tài)信息庫、競爭對手信息庫等。招投標(biāo)管理信息：包括招標(biāo)信息庫、投標(biāo)信息庫、專家信息庫等。合同信息：包括合同信息庫、收付款項(xiàng)信息庫、產(chǎn)品交付管理庫等。資質(zhì)管理信息：包括資質(zhì)信息庫、資質(zhì)審核庫、資質(zhì)借用管理庫等。3 ）項(xiàng)目設(shè)計(jì)流程管理數(shù)據(jù)集主要包括：項(xiàng)目信息：包括項(xiàng)目立項(xiàng)信

4、息庫、任務(wù)下達(dá)信息庫、項(xiàng)目組人員任命庫等。項(xiàng)目任務(wù)分解：包括項(xiàng)目任務(wù)分解資源信息庫、關(guān)鍵路徑控制等。網(wǎng)絡(luò)虛擬辦公室：包括項(xiàng)目動(dòng)態(tài)信息庫、中間成果管理庫、動(dòng)態(tài)分析庫等。產(chǎn)品管理信息：包括產(chǎn)品校審信息庫、成果交付信息庫等。4 ）圖檔管理數(shù)據(jù)集主要包括：歸檔管理信息：包括資料預(yù)歸檔管理庫、資料歸檔管理庫等。 整編信息：包括檔案整編信息庫等。借閱信息：包括人員信息庫、檔案借閱信息庫等。 電子檔案信息：包括電子檔案授權(quán)庫、電子檔案借閱管理庫等。銷檔信息：包括銷毀檔案信息庫、銷毀人員信息庫等。水利設(shè)計(jì)單位集成信息系統(tǒng)數(shù)據(jù)庫大多為 SQLServer 數(shù)據(jù)庫，數(shù)據(jù)整合實(shí)現(xiàn)方式通?？梢圆捎脭?shù)據(jù)庫開發(fā)技術(shù)和 E

5、TL技術(shù)實(shí)現(xiàn)，以下分別介紹這兩種實(shí)現(xiàn)方式。1 ）數(shù)據(jù)庫開發(fā)技術(shù)。 利用數(shù)據(jù)庫開發(fā)技術(shù)的數(shù)據(jù)整合主要指利用數(shù)據(jù)庫本身的功能，如觸發(fā)器、 PL/SQL存儲(chǔ)過程、 DBLINK等功能完成，完成對各個(gè)信息系統(tǒng)所需要數(shù)據(jù)的抽取、查詢和關(guān)聯(lián)等。這種數(shù)據(jù)整合技術(shù)有如下優(yōu)勢：適合于同種數(shù)據(jù)庫之間的數(shù)據(jù)集成。投資少，基本都是靠開發(fā)人員手工編程為主，只需要一些開發(fā)費(fèi)用。但是該數(shù)據(jù)整合實(shí)現(xiàn)技術(shù)也存在一些局限性。 擴(kuò)展性較差。由于都是開發(fā)人員手工編程，后期的維護(hù)成本較高，特別是在決策需求發(fā)生變化時(shí)， 需要開發(fā)人員修改程序源代碼。 數(shù)據(jù)整合效率問題。由于數(shù)據(jù)庫都靠開發(fā)商編寫，在系統(tǒng)日趨龐大的情況下，在面對復(fù)雜的數(shù)據(jù)整合

6、問題上，效率難以得到保證。2 ）ETL技術(shù)。通過 ETL技術(shù)及專業(yè) ETL軟件，即數(shù)據(jù)抽?。?Extract ）、轉(zhuǎn)換（ Transform ）、裝載（ Load）能將數(shù)據(jù)從原系統(tǒng)數(shù)據(jù)庫經(jīng)過抽取，進(jìn)行轉(zhuǎn)換，最后加載到目標(biāo)數(shù)據(jù)庫，實(shí)現(xiàn)系統(tǒng)數(shù)據(jù)之間的整合。 該數(shù)據(jù)整合實(shí)現(xiàn)技術(shù)運(yùn)用在水利設(shè)計(jì)單位集成信息系統(tǒng)有如下優(yōu)勢：高效率。 ETL軟件的數(shù)據(jù)抽取、轉(zhuǎn)換、加載的效率非常高，特別對于大數(shù)據(jù)量的抽取。并且支持對 ORACLE9i增量數(shù)據(jù)抽取。改進(jìn)數(shù)據(jù)質(zhì)量。 能夠根據(jù)各種條件校驗(yàn)源數(shù)據(jù)和目標(biāo)數(shù)據(jù)質(zhì)量，對垃圾數(shù)據(jù)進(jìn)行清洗。 強(qiáng)大管理功能。能夠通過 WEB管理界面對數(shù)據(jù)抽取策略執(zhí)行制定時(shí)間觸發(fā)方式， 對抽取結(jié)

7、果進(jìn)行分析等。 多平臺(tái)、多數(shù)據(jù)源支持。支持各種平臺(tái)、各種數(shù)據(jù)庫系統(tǒng)（如 ORACLE、SQLServer 等）以及不同版本數(shù)據(jù)庫之間的數(shù)據(jù)抽取。具備多種數(shù)據(jù)轉(zhuǎn)換控件，能夠完成各種非常復(fù)雜的數(shù)據(jù)轉(zhuǎn)換工作。 但是該數(shù)據(jù)整合實(shí)現(xiàn)技術(shù)也存在一些局限性： 投資費(fèi)用較為昂貴， 實(shí)施周期通常較長。數(shù)據(jù)整合實(shí)施工作分為4 個(gè)階段。1 ）第一階段為對信息系統(tǒng)原始數(shù)據(jù)分析階段。 為了更加全面理解各種數(shù)據(jù)格式的含義， 獲得各種相關(guān)文檔資源， 因此首先要對信息系統(tǒng)原始數(shù)據(jù)進(jìn)行分析。 該階段主要包括了解需要采集的數(shù)據(jù)結(jié)構(gòu)定義和數(shù)據(jù)表之間的設(shè)計(jì)聯(lián)系。例如：我們對包括非電子數(shù)據(jù)、 excel 格式數(shù)據(jù)及其各種不同數(shù)據(jù)庫格式

8、數(shù)據(jù)進(jìn)行分析。2 ）第二階段為設(shè)計(jì)實(shí)施階段。 為了不影響原始數(shù)據(jù)格式的改變及其調(diào)用，并保證它們的安全性， 第二階段主要是定義數(shù)據(jù)整合規(guī)則及策略的設(shè)計(jì)實(shí)施階段。 前者包括字段映射、合并、函數(shù)計(jì)算定義等。后者主要定義時(shí)間策略。3 ）第三階段為數(shù)據(jù)校驗(yàn)階段。 為了不會(huì)產(chǎn)生各種不完整甚至錯(cuò)誤信息，因此在系統(tǒng)正式運(yùn)行之前，必須建立嚴(yán)格的數(shù)據(jù)校驗(yàn)機(jī)制，以保證生產(chǎn)數(shù)據(jù)和整合平臺(tái)數(shù)據(jù)的一致性。 例如：我們對導(dǎo)人的數(shù)據(jù)進(jìn)行校驗(yàn)，主要標(biāo)準(zhǔn)為水利設(shè)計(jì)單位設(shè)計(jì)規(guī)范標(biāo)準(zhǔn)， 并對校驗(yàn)出來的問題進(jìn)行處理，主要是人工處理確認(rèn)。4 ）第四階段為系統(tǒng)上線階段。 將設(shè)計(jì)好的數(shù)據(jù)整合流程正式發(fā)布，并可設(shè)定計(jì)劃定時(shí)執(zhí)行，系統(tǒng)管理人員可以通過監(jiān)控界面，進(jìn)行任務(wù)監(jiān)控和跟蹤。根據(jù)需求，管理人員還可修改計(jì)劃，合理安排數(shù)據(jù)轉(zhuǎn)換任務(wù)，以在規(guī)定的時(shí)間內(nèi)完成所有的數(shù)據(jù)轉(zhuǎn)換和加載任務(wù)。數(shù)據(jù)整合將改變原有的以部門和項(xiàng)目為中心的信息孤島局面，從而能夠?qū)崿F(xiàn)整個(gè)水利設(shè)計(jì)單位的數(shù)據(jù)整合。 原有的部門級、 以項(xiàng)目為中心的運(yùn)作方式， 將可能使得各個(gè)項(xiàng)目的使用技術(shù)不盡相同， 也使得項(xiàng)目的進(jìn)度依賴于開發(fā)人員的編碼效率， 從而使得整個(gè)水利設(shè)計(jì)單位的效率低下。進(jìn)行整個(gè)單位的數(shù)據(jù)整合之后，就能夠在水利設(shè)計(jì)單位內(nèi)部統(tǒng)一技術(shù)架構(gòu)和標(biāo)準(zhǔn)， 充分發(fā)揮團(tuán)隊(duì)協(xié)作的效率。 通過由數(shù)據(jù)整合進(jìn)行的數(shù)據(jù)移植、數(shù)據(jù)倉庫等， 將能夠使得水