版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)
文檔簡介
1、精選優(yōu)質(zhì)文檔-傾情為你奉上水務(wù)系統(tǒng)數(shù)據(jù)庫及其管理系統(tǒng)建設(shè)一、 概述根據(jù)實際情況,結(jié)合本項目需求,從水安全、水資源、水環(huán)境等各類數(shù)據(jù)的存儲與管理要求出發(fā),依據(jù)“統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一設(shè)計、數(shù)據(jù)共享”的基本原則,建立局核心數(shù)據(jù)庫及各行業(yè)數(shù)據(jù)庫。各數(shù)據(jù)庫的建設(shè)要以水務(wù)局信息化規(guī)劃和各類標(biāo)準(zhǔn)化體系為依據(jù),充分考慮與其它行業(yè)的協(xié)調(diào)及統(tǒng)一,避免數(shù)據(jù)庫的封閉建設(shè),提高數(shù)據(jù)的可用性,滿足相關(guān)行業(yè)業(yè)務(wù)需要的數(shù)據(jù)庫。數(shù)據(jù)庫建設(shè)是系統(tǒng)建設(shè)的重要支撐,根據(jù)信息中心建設(shè)所涉及到的各種數(shù)據(jù)的存儲、管理特點,數(shù)據(jù)庫整體結(jié)構(gòu)采用“集中與分布相結(jié)合”的方式。二、 數(shù)據(jù)庫設(shè)計原則l 數(shù)據(jù)的一致性與標(biāo)準(zhǔn)性數(shù)據(jù)庫的設(shè)計除遵循數(shù)據(jù)庫
2、設(shè)計的軟件行業(yè)標(biāo)準(zhǔn)外,還遵循國家、地方標(biāo)準(zhǔn)及行業(yè)的習(xí)慣性事實標(biāo)準(zhǔn),以方便數(shù)據(jù)交流及功能的實行。為方便與其他系統(tǒng)之間進行數(shù)據(jù)交換,數(shù)據(jù)庫的設(shè)計將充分考慮以前已建立系統(tǒng)的數(shù)據(jù)。l 數(shù)據(jù)的實用性與完整性數(shù)據(jù)庫設(shè)計充分考慮工作的實際情況和實際應(yīng)用特點,按照系統(tǒng)規(guī)模和實際需求,遵循“先進性與實用性并重”的原則,保證數(shù)據(jù)的實用性。數(shù)據(jù)完整性用來確保數(shù)據(jù)庫中數(shù)據(jù)的準(zhǔn)確性。數(shù)據(jù)庫中的完整性一般是通過約束條件來控制的。約束條件可以檢驗進入數(shù)據(jù)庫中的數(shù)據(jù)值。約束條件可以防止重復(fù)或冗余的數(shù)據(jù)進入數(shù)據(jù)庫。在系統(tǒng)中可以利用約束條件來保證新建或修改后的數(shù)據(jù)能夠遵循所定義的業(yè)務(wù)知識。l 數(shù)據(jù)的獨立性和可擴展性設(shè)計時需要做到
3、數(shù)據(jù)庫的數(shù)據(jù)具有獨立性,獨立于應(yīng)用程序,使數(shù)據(jù)庫的設(shè)計及其結(jié)構(gòu)的變化不影響程序,反之亦然。另外,根據(jù)設(shè)計開發(fā)經(jīng)驗,需求分析再詳細(xì),使用人員所提的需求不可能全面提出,此外,業(yè)務(wù)也是在變化的,所以數(shù)據(jù)庫設(shè)計要考慮其擴展性能,使得系統(tǒng)增加新的應(yīng)用或新的需求時,不至于引起整個數(shù)據(jù)庫結(jié)構(gòu)的大的變動。l 數(shù)據(jù)的安全性數(shù)據(jù)庫是整個信息系統(tǒng)的核心和基礎(chǔ),它的設(shè)計要保證安全性。通過設(shè)計一個合理和有效的備份和恢復(fù)策略,在數(shù)據(jù)庫因天災(zāi)或人為因素等意外事故,導(dǎo)致數(shù)據(jù)庫系統(tǒng)毀壞,要能在最短的時間內(nèi)使數(shù)據(jù)庫恢復(fù)。通過做好對數(shù)據(jù)庫訪問的授權(quán)設(shè)計,保證數(shù)據(jù)不被非法訪問。l 數(shù)據(jù)分級管理機制根據(jù)系統(tǒng)訪問角色,將用戶分成領(lǐng)導(dǎo)決策
4、分析用戶、系統(tǒng)管理用戶、運行瀏覽用戶和運行調(diào)度用戶等幾個角色,分別賦予角色訪問數(shù)據(jù)的權(quán)限和使用系統(tǒng)功能的權(quán)限,嚴(yán)格控制角色登錄,實現(xiàn)數(shù)據(jù)的分級管理。l 統(tǒng)一考慮空間、屬性、設(shè)施、模型數(shù)據(jù)的兼容性數(shù)據(jù)庫設(shè)計的時候充分考慮數(shù)據(jù)采集、數(shù)據(jù)入庫、數(shù)據(jù)應(yīng)用的緊密結(jié)合。便于在空間數(shù)據(jù)的基礎(chǔ)上進行設(shè)施及相關(guān)屬性的考慮;空間數(shù)據(jù)格式設(shè)計時充分考慮與模型所需數(shù)據(jù)的結(jié)合,利于模型數(shù)據(jù)直接使用空間及設(shè)施的相關(guān)數(shù)據(jù)。三、 編碼原則數(shù)據(jù)編碼主要遵循以下原則:保持地理空間對象的邏輯一致性和唯一性,使不同類型用戶能夠?qū)蚕淼臄?shù)據(jù)進行綜合查詢;體現(xiàn)數(shù)據(jù)指標(biāo)的整體系統(tǒng)性。在保持各專業(yè)數(shù)據(jù)庫本身數(shù)據(jù)分類編碼體系邏輯一致性的同時,
5、通過分類編碼體現(xiàn)中心綜合集成后整體數(shù)據(jù)的分類系統(tǒng),滿足建立和動態(tài)更新綜合數(shù)據(jù)庫的需要;需保持?jǐn)?shù)據(jù)庫中數(shù)據(jù)項編碼相對穩(wěn)定的要求。數(shù)據(jù)庫中的數(shù)據(jù)結(jié)構(gòu)是通過數(shù)據(jù)項之間的ER模型(實體-關(guān)系模型)通過軟件實現(xiàn)的,在編碼方案試驗中,各數(shù)據(jù)庫一致表示,對于運行中的大型數(shù)據(jù)庫,頻繁改變數(shù)據(jù)項編碼將影響數(shù)據(jù)庫的安全性和穩(wěn)定性。鑒于統(tǒng)一編碼的主要目的恰恰在于反映集成后的數(shù)據(jù)結(jié)構(gòu)。為此,數(shù)據(jù)庫建設(shè)中將頻繁變動的內(nèi)容放到元數(shù)據(jù)中去解決,數(shù)據(jù)庫綜合集成過程中,統(tǒng)一重新編碼的范圍僅限于數(shù)據(jù)項,這些指標(biāo)反映了現(xiàn)有數(shù)據(jù)庫的ER結(jié)構(gòu),相當(dāng)固定,進行統(tǒng)一編碼后便于進行數(shù)據(jù)庫集成;編碼方案原則上符合國家標(biāo)準(zhǔn)或行業(yè)標(biāo)準(zhǔn),又要與已有
6、的編碼標(biāo)準(zhǔn)和實際相一致。目前在局層面已經(jīng)建立水務(wù)管理信息分類編碼和圖式標(biāo)準(zhǔn),行業(yè)管理單位和區(qū)縣水務(wù)局,進一步細(xì)化標(biāo)準(zhǔn)內(nèi)容,并逐步形成水資源、污染源、工程設(shè)施普查或調(diào)查中的數(shù)據(jù)采集、水文水質(zhì)數(shù)據(jù)采集、防汛水情報汛、工程設(shè)施運行數(shù)據(jù)采集、災(zāi)情數(shù)據(jù)采集、河道遙感監(jiān)測等標(biāo)準(zhǔn),形成信息化標(biāo)準(zhǔn)體系對于沒有標(biāo)準(zhǔn)編碼的空間數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù),在建設(shè)中應(yīng)依據(jù)空間數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)的一般編碼規(guī)則,給出能反映專題分類層次結(jié)構(gòu)的編碼體系,并使編碼與數(shù)據(jù)庫中的其它編碼保持結(jié)構(gòu)上的一致性;簡化與統(tǒng)一相結(jié)合,具有可擴充性。空間數(shù)據(jù)的編碼應(yīng)考慮水務(wù)已經(jīng)建立的編碼標(biāo)準(zhǔn),并結(jié)合行業(yè)的實際情況。數(shù)據(jù)的編碼要經(jīng)過調(diào)研分析后才能制定出合理、有
7、效、有用的編碼方案。結(jié)合以往的經(jīng)驗,提出對具有空間特性的數(shù)據(jù)進行分類編碼要求:1、編碼對象需要確定2、編寫目的要明確3、分類方式:采用對圖形信息采用線分類法,分類結(jié)果形成樹形機構(gòu)分類目錄;對屬性信息采用面分類法,分類結(jié)果形成互不從屬的面,每個面是一個屬性項。4、編碼方式:組合碼,分類碼標(biāo)識碼5、編碼原則:盡量簡化,同時充分分類碼8位,結(jié)構(gòu)如下:04×××××××××××××××要素實體代碼行政區(qū)劃代碼三級分類代碼二級分類代碼一級分類代碼主題類代碼
8、標(biāo)識碼由分區(qū)定位碼要素實體代碼,共9位。四、 數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫建設(shè)是“數(shù)字水務(wù)”工程的重要支撐,局核心數(shù)據(jù)庫是政務(wù)和行業(yè)數(shù)據(jù)庫的合集,包含了所有局層面監(jiān)管與決策所需的行業(yè)數(shù)據(jù)內(nèi)容,其信息來源于各行業(yè)數(shù)據(jù)庫的異構(gòu)處理和數(shù)據(jù)歸并。行業(yè)管理單位可以通過局核心數(shù)據(jù)共享訪問其他行業(yè)的數(shù)據(jù)內(nèi)容,從而實現(xiàn)雙向的數(shù)據(jù)共享。圖表 1 數(shù)據(jù)庫關(guān)系圖五、 數(shù)據(jù)庫設(shè)計分類1.1 局核心數(shù)據(jù)庫局核心數(shù)據(jù)庫是水務(wù)局決策支持系統(tǒng)和跨行業(yè)管理的數(shù)據(jù)基礎(chǔ),是各行業(yè)數(shù)據(jù)庫的總和。局核心數(shù)據(jù)庫在邏輯上分為水安全數(shù)據(jù)庫、水資源數(shù)據(jù)庫、水環(huán)境數(shù)據(jù)庫、政務(wù)信息資源庫等。支撐局層面的業(yè)務(wù)應(yīng)用、決策支持、電子政務(wù)等應(yīng)用系統(tǒng)。各行業(yè)可通過局核
9、心數(shù)據(jù)庫調(diào)用其它行業(yè)的數(shù)據(jù)。部分?jǐn)?shù)據(jù)與“數(shù)字城市”實現(xiàn)數(shù)據(jù)共享。主要存儲五部分內(nèi)容:1.信息資源目錄數(shù)據(jù)。根據(jù)信息資源的梳理建立的水務(wù)局信息資源目錄元數(shù)據(jù),作為信息資源交換的依據(jù)和基礎(chǔ);2.存放局決策支持系統(tǒng)所需的數(shù)據(jù)。包含防汛決策數(shù)據(jù)、水資源調(diào)度數(shù)據(jù)、水環(huán)境整治數(shù)據(jù)、行政許可、行政執(zhí)法和局政務(wù)辦公數(shù)據(jù)等。3.存放跨行業(yè)管理所需要的數(shù)據(jù)。包括供水、排水、水利行業(yè)提交的需要在水務(wù)局內(nèi)共享的數(shù)據(jù),如水情、水質(zhì)等。4. 基礎(chǔ)類數(shù)據(jù)。主要包含基礎(chǔ)地形數(shù)據(jù)、遙感影像數(shù)據(jù)、社會經(jīng)濟數(shù)據(jù)等,這些數(shù)據(jù)為其他數(shù)據(jù)提供基礎(chǔ)參考,共享給各行業(yè)單位進行行業(yè)數(shù)據(jù)庫建設(shè)。5. 各類數(shù)據(jù)的元數(shù)據(jù)。水務(wù)局元數(shù)據(jù)內(nèi)容放在局核心
10、數(shù)據(jù)庫內(nèi)進行統(tǒng)一管理。各行業(yè)管理單位通過元數(shù)據(jù)管理軟件可以實現(xiàn)對本行業(yè)數(shù)據(jù)的元數(shù)據(jù)的編輯、更新等操作。元數(shù)據(jù)主要包含數(shù)據(jù)的質(zhì)量、內(nèi)容、更新情況、存放位置、共享情況、發(fā)行情況等內(nèi)容,是描述數(shù)據(jù)的數(shù)據(jù)。圖表 2 局核心數(shù)據(jù)庫內(nèi)容1.2 行業(yè)基礎(chǔ)數(shù)據(jù)庫水利行業(yè)數(shù)據(jù)庫按照目前的管理機制,行業(yè)數(shù)據(jù)庫分成供水、排水、水利、水文水資源、灘涂海塘等專題數(shù)據(jù)庫進行建設(shè)。行業(yè)數(shù)據(jù)庫建設(shè)由各行業(yè)管理單位負(fù)責(zé),本項目是利用行業(yè)數(shù)據(jù)庫的建設(shè)成果進行局核心數(shù)據(jù)庫建設(shè)。1.2.1 供水基礎(chǔ)數(shù)據(jù)庫供水基礎(chǔ)數(shù)據(jù)庫主要存儲供水行業(yè)管理數(shù)據(jù)。存儲供水行業(yè)規(guī)劃、執(zhí)法、設(shè)施管理、供水調(diào)度等所需要的行業(yè)數(shù)據(jù),主要有原水水情、原水管渠、供
11、水管網(wǎng)、供水水廠、污泥、用水戶、入境水量水質(zhì)、地下水利用、節(jié)約用水等信息內(nèi)容。同時也存儲基礎(chǔ)的社會經(jīng)濟信息數(shù)據(jù),如行政區(qū)劃、重要單位、道路、河流、影像數(shù)據(jù)等。供水行業(yè)基礎(chǔ)數(shù)據(jù)庫為行業(yè)GIS應(yīng)用系統(tǒng)和WebGIS應(yīng)用系統(tǒng)提供數(shù)據(jù)基礎(chǔ)。1.2.2 排水基礎(chǔ)數(shù)據(jù)庫排水?dāng)?shù)據(jù)庫主要存儲排水行業(yè)管理數(shù)據(jù)。存儲排水行業(yè)規(guī)劃、設(shè)施管理、排水許可、監(jiān)察、排水調(diào)度等所需要的行業(yè)數(shù)據(jù),主要有雨情、河道水文水質(zhì)、排水管網(wǎng)、排水泵站、污水廠、污泥、積水點等內(nèi)容。同時也存儲基礎(chǔ)的社會經(jīng)濟信息數(shù)據(jù),如行政區(qū)劃、重要單位、道路、河流、影像數(shù)據(jù)等。排水行業(yè)基礎(chǔ)數(shù)據(jù)庫為行業(yè)GIS應(yīng)用系統(tǒng)和WebGIS應(yīng)用系統(tǒng)提供數(shù)據(jù)基礎(chǔ)。1.2
12、.3 水利基礎(chǔ)數(shù)據(jù)庫l 河道水閘數(shù)據(jù)庫河道水閘數(shù)據(jù)庫主要存儲河道水閘行業(yè)管理數(shù)據(jù),包括全市河道(湖泊)基本情況、大斷面資料、河道分類情況、河道整治信息、全市水閘基本情況、水閘運行情況、水資源綜合調(diào)度運行情況等信息。河道水閘數(shù)據(jù)庫為行業(yè)GIS應(yīng)用系統(tǒng)和WebGIS應(yīng)用系統(tǒng)提供數(shù)據(jù)基礎(chǔ)。l 排灌數(shù)據(jù)庫排灌數(shù)據(jù)庫主要存儲排灌行業(yè)管理數(shù)據(jù)。存儲市郊結(jié)合部排澇泵站分布、灌溉泵站泵站分布、水利工程設(shè)施、水土保持等信息、排灌管理單位情況;同時也存儲基礎(chǔ)的社會經(jīng)濟信息數(shù)據(jù),如行政區(qū)劃、重要單位、道路、河流、影像數(shù)據(jù)等。排灌數(shù)據(jù)庫為行業(yè)GIS應(yīng)用系統(tǒng)和WebGIS應(yīng)用系統(tǒng)提供數(shù)據(jù)基礎(chǔ)。l 堤防數(shù)據(jù)庫堤防數(shù)據(jù)庫主
13、要存儲存儲堤防行業(yè)管理數(shù)據(jù)庫,堤防數(shù)據(jù)庫存儲全市防汛墻(海塘)管理相關(guān)信息,包括全市防汛墻分布情況、防汛墻基本信息、全市海塘分布、海塘基本信息、堤防維護信息、險工險段分布、堤防管理單位情況等。堤防數(shù)據(jù)庫為行業(yè)GIS應(yīng)用系統(tǒng)和WebGIS應(yīng)用系統(tǒng)提供數(shù)據(jù)基礎(chǔ)。1.2.4 水文水資源基礎(chǔ)數(shù)據(jù)庫水文水資源數(shù)據(jù)庫主要存儲水文信息和水資源管理數(shù)據(jù)。水文數(shù)據(jù)包括全市水文站網(wǎng)分布及站網(wǎng)設(shè)施信息、自動采集設(shè)備采集或人工采集的水雨情、水溫、蒸發(fā)、風(fēng)速、風(fēng)向、水質(zhì)、底質(zhì)等數(shù)據(jù),還包括通過分析、整編、統(tǒng)計后的水文數(shù)據(jù);水資源數(shù)據(jù)是指全市水資源管理相關(guān)數(shù)據(jù),包括全市水資源分布情況、原水地、自來水廠、年度用水量、地下水
14、水資源量、地下水開采情況、河道水質(zhì)污染狀況等信息。水文水資源數(shù)據(jù)庫為行業(yè)GIS應(yīng)用系統(tǒng)和WebGIS應(yīng)用系統(tǒng)提供數(shù)據(jù)基礎(chǔ)。1.2.5 灘涂海塘基礎(chǔ)數(shù)據(jù)庫灘涂海塘數(shù)據(jù)庫主要存儲灘涂海塘行業(yè)管理數(shù)據(jù)。灘涂海塘數(shù)據(jù)庫存儲灘涂海塘管理行業(yè)相關(guān)數(shù)據(jù),包括全市灘涂海塘分布、灘涂海塘利用情況、灘涂海塘利用規(guī)劃信息、灘涂圈圍工程信息、灘涂利用申請審批信息等。灘涂海塘數(shù)據(jù)庫為行業(yè)GIS應(yīng)用系統(tǒng)和WebGIS應(yīng)用系統(tǒng)提供數(shù)據(jù)基礎(chǔ)。六、 數(shù)據(jù)入庫1.3 數(shù)據(jù)入庫分類系統(tǒng)建設(shè)過程中,對數(shù)據(jù)的設(shè)計、采集、檢查、入庫,到應(yīng)用系統(tǒng)使用數(shù)據(jù),都提出了很高的要求。本系統(tǒng)建設(shè)中對各行業(yè)基礎(chǔ)數(shù)據(jù)庫要求考慮數(shù)據(jù)入庫基本分成三類形式:
15、空間/設(shè)施數(shù)據(jù)入庫:根據(jù)空間實體之間的關(guān)系,在GIS系統(tǒng)中,建立空間實體模型,在此基礎(chǔ)上將采集得到的空間/設(shè)施數(shù)據(jù)入庫。通過模型,可以檢查數(shù)據(jù)采集中的錯誤,更有效的保證數(shù)據(jù)的合理性和正確性,降低數(shù)據(jù)錯誤概率。實時運行數(shù)據(jù)入庫:利用現(xiàn)有的SCADA數(shù)據(jù)采集系統(tǒng),可以收集已采集的各類實時數(shù)據(jù)。在統(tǒng)一的接口傳輸標(biāo)準(zhǔn)體系下,建立接口程序,進行實時數(shù)據(jù)的傳輸入庫。其他數(shù)據(jù)入庫:包括業(yè)務(wù)知識數(shù)據(jù)庫、管理信息數(shù)據(jù)庫、模型數(shù)據(jù)庫及其它數(shù)據(jù)庫。此類數(shù)據(jù)與應(yīng)用系統(tǒng)功能緊密相連接,可以根據(jù)業(yè)務(wù)需要導(dǎo)入或錄入相關(guān)數(shù)據(jù)到行業(yè)基礎(chǔ)數(shù)據(jù)庫。圖表 3 數(shù)據(jù)入庫圖1.4 歷史數(shù)據(jù)遷移歷史數(shù)據(jù)遷移的實現(xiàn)可以分為三個階段:數(shù)據(jù)遷移
16、前的準(zhǔn)備、數(shù)據(jù)遷移的實施和數(shù)據(jù)遷移后的校驗。由于數(shù)據(jù)遷移的特點,大量的工作都需要在準(zhǔn)備階段完成,充分而周到的準(zhǔn)備工作是完成數(shù)據(jù)遷移的主要基礎(chǔ)。具體而言,要進行待遷移數(shù)據(jù)源的詳細(xì)說明,包括數(shù)據(jù)的存放方式、數(shù)據(jù)量、數(shù)據(jù)的時間跨度,建立新舊系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)字典,對舊系統(tǒng)的歷史數(shù)據(jù)進行質(zhì)量分析,新舊系統(tǒng)數(shù)據(jù)結(jié)構(gòu)的差異分析;新舊系統(tǒng)代碼數(shù)據(jù)的差異分析;建立新老系統(tǒng)數(shù)據(jù)庫表的映射關(guān)系,對無法映射字段的處理方法,開發(fā)、部屬ETL工具,編寫數(shù)據(jù)轉(zhuǎn)換的測試計劃和校驗程序,制定數(shù)據(jù)轉(zhuǎn)換的應(yīng)急措施。數(shù)據(jù)遷移的實施是實現(xiàn)數(shù)據(jù)遷移的三個階段中最重要的環(huán)節(jié)。它要求制定數(shù)據(jù)轉(zhuǎn)換的詳細(xì)實施步驟流程;準(zhǔn)備數(shù)據(jù)遷移環(huán)境;業(yè)務(wù)上的
17、準(zhǔn)備,結(jié)束未處理完的業(yè)務(wù)事項,或?qū)⑵涓嬉欢温洌粚?shù)據(jù)遷移涉及的技術(shù)都得到測試;最后實施數(shù)據(jù)遷移。數(shù)據(jù)遷移后的校驗是對遷移工作的檢查,數(shù)據(jù)校驗的結(jié)果是判斷新系統(tǒng)能否正式啟用的重要依據(jù)??梢酝ㄟ^質(zhì)量檢查工具或編寫檢查程序進行數(shù)據(jù)校驗,通過試運行新系統(tǒng)的功能模塊,特別是查詢、報表功能,檢查數(shù)據(jù)的準(zhǔn)確性。1. 數(shù)據(jù)遷移的技術(shù)準(zhǔn)備通常包括多項工作:舊系統(tǒng)數(shù)據(jù)字典整理、舊系統(tǒng)數(shù)據(jù)質(zhì)量分析、新系統(tǒng)數(shù)據(jù)字典整理、新舊系統(tǒng)數(shù)據(jù)差異分析、建立新舊系統(tǒng)數(shù)據(jù)之間的影射關(guān)系、開發(fā)部署數(shù)據(jù)轉(zhuǎn)換與遷移程序、制定數(shù)據(jù)轉(zhuǎn)換與遷移過程中的應(yīng)急方案、實施舊系統(tǒng)數(shù)據(jù)到新系統(tǒng)的轉(zhuǎn)換與遷移工作、檢查轉(zhuǎn)換與遷移后數(shù)據(jù)的完整性與正確性。2.
18、 數(shù)據(jù)的檢查包括:數(shù)據(jù)格式檢查;數(shù)據(jù)長度檢查;空值、默認(rèn)值檢查;完整性檢查;一致性檢查。 3. 數(shù)據(jù)抽取和轉(zhuǎn)換數(shù)據(jù)抽取前,需要作大量的準(zhǔn)備工作。(1) 根據(jù)映射關(guān)系中記錄的轉(zhuǎn)換加工描述,建立抽取函數(shù)。該映射關(guān)系為前期數(shù)據(jù)差異分析的結(jié)果。(2) 根據(jù)抽取函數(shù)的SQL語句進行優(yōu)化??梢圆捎玫膬?yōu)化方式為:調(diào)整參數(shù)設(shè)置、啟動并行查詢、采用提示指定優(yōu)化器、創(chuàng)建臨時表、增加索引。(3) 建立調(diào)度控制表,包括ETL函數(shù)定義表、抽取調(diào)度表、裝載調(diào)度表、抽取日志表、裝載日志表。(4) 建立調(diào)度控制程序,該調(diào)度控制程序根據(jù)抽取調(diào)度表動態(tài)調(diào)度抽取函數(shù),并將抽取的數(shù)據(jù)保存入平面文件。4. 數(shù)據(jù)遷移后的校驗在數(shù)據(jù)遷移完
19、成后,需要對遷移后的數(shù)據(jù)進行校驗。數(shù)據(jù)遷移后的校驗是對遷移質(zhì)量的檢查,同時數(shù)據(jù)校驗的結(jié)果也是判斷新系統(tǒng)能否正式啟用的重要依據(jù)。對遷移后的數(shù)據(jù)進行質(zhì)量分析,可以通過數(shù)據(jù)質(zhì)量檢查工具,或編寫有針對性的檢查程序進行。1.5 實時數(shù)據(jù)的同步實時數(shù)據(jù)的同步通過水務(wù)公共信息平臺實現(xiàn)。具體描述參見第七章。七、 技術(shù)要求各類數(shù)據(jù)庫建設(shè)(包含本項目數(shù)據(jù)庫,同時也包含本項目范圍內(nèi)的其他數(shù)據(jù)庫)應(yīng)滿足以下技術(shù)要求:1. 所選用數(shù)據(jù)庫產(chǎn)品需支持開放的系統(tǒng)結(jié)構(gòu)支持主流的硬件和操作系統(tǒng)平臺;支持多種網(wǎng)絡(luò)通信協(xié)議(IPX/SPX, SNA, TCP/IP);支持多種拓?fù)溥壿嫞˙/S, C/S,);支持與其他系統(tǒng)數(shù)據(jù)源的集成;支持主流的中間件產(chǎn)品。2. 所選用數(shù)據(jù)庫產(chǎn)品需達到的技術(shù)性能要求支持中文多字節(jié)編碼;支持100GB以上的數(shù)據(jù)卷;支持多并發(fā)用戶;具有資源管理機制。3. 所選用數(shù)據(jù)庫產(chǎn)品需滿足的功能要求提供并行處理、數(shù)據(jù)分區(qū)、分
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年標(biāo)準(zhǔn)版離婚撫養(yǎng)權(quán)合同版B版
- 2025出口銷售合同樣本
- 商丘幼兒師范高等??茖W(xué)?!斗?wù)器配置與管理》2023-2024學(xué)年第一學(xué)期期末試卷
- 商丘醫(yī)學(xué)高等??茖W(xué)?!对O(shè)計表現(xiàn)》2023-2024學(xué)年第一學(xué)期期末試卷
- 2024年智慧城市系統(tǒng)建設(shè)合同
- 2024年水泥行業(yè)環(huán)保稅收優(yōu)惠政策合同模板3篇
- 圍欄維修維護合同范例
- 洗水廠工藝合同范例
- 商丘工學(xué)院《國際結(jié)算》2023-2024學(xué)年第一學(xué)期期末試卷
- 商洛學(xué)院《教師教學(xué)語言藝術(shù)》2023-2024學(xué)年第一學(xué)期期末試卷
- 師德師風(fēng)承諾書師德師風(fēng)個人檔案表
- 中醫(yī)養(yǎng)生祛濕
- 《智能電視技術(shù)》 課件全套 丁幫俊 第1-8章 智能電視系統(tǒng)、數(shù)字電視基礎(chǔ)知識- 電源電路
- 中原石化乙烯壓力儲罐的設(shè)計
- 2024年《書籍裝幀設(shè)計》教案
- 游戲客服處理技巧培訓(xùn)課件
- 生態(tài)文明教育視域下的語文教材選文研究以義務(wù)教育統(tǒng)編語文教材為例
- 創(chuàng)業(yè)計劃書大學(xué)生攝影工作室
- 新能源240MW風(fēng)電項目投資計劃書
- 按揭斷供后銀行起訴狀
- 《風(fēng)光攝影教程》課件
評論
0/150
提交評論