數(shù)據(jù)整理與遷移

1、1 數(shù)據(jù)整理與遷移1.1 數(shù)據(jù)遷移總體設計設計數(shù)據(jù)遷移方案主要包括以下幾個方面工作：研究與數(shù)據(jù)遷移相關的資料，或在網(wǎng)站上查詢相關內(nèi)容、評估和選擇數(shù)據(jù)遷移的軟硬件平臺、選擇數(shù)據(jù)遷移方法、選擇數(shù)據(jù)備份和恢復策略、設計數(shù)據(jù)遷移和測試方案等。東軟公司數(shù)據(jù)遷移具體方法詳見本方案第8章“8數(shù)據(jù)整理與遷移”等相關章節(jié)內(nèi)容，數(shù)據(jù)遷移總體過程如下：1.1.1 進行數(shù)據(jù)模擬遷移根據(jù)設計的數(shù)據(jù)遷移方案，建立一個模擬的數(shù)據(jù)遷移環(huán)境，它既能仿真實際環(huán)境又不影響實際數(shù)據(jù)，然后在數(shù)據(jù)模擬遷移環(huán)境中測試數(shù)據(jù)遷移的效果。數(shù)據(jù)模擬遷移前也應按備份策略備份模擬數(shù)據(jù)，以便數(shù)據(jù)遷移后能按恢復策略進行恢復測試。1.1.2 測試數(shù)據(jù)模擬遷

2、移根據(jù)設計的數(shù)據(jù)遷移測試方案測試數(shù)據(jù)模擬遷移，也就是檢查數(shù)據(jù)模擬遷移后數(shù)據(jù)和應用軟件是否正常，主要包括：數(shù)據(jù)一致性測試、應用軟件執(zhí)行功能測試、性能測試、數(shù)據(jù)備份和恢復測試等。1.1.3 準備實施數(shù)據(jù)遷移數(shù)據(jù)模擬遷移測試成功后，在正式實施數(shù)據(jù)遷移前還需要做好以下幾個方面工作：進行完全數(shù)據(jù)備份、確定數(shù)據(jù)遷移方案、安裝和配置軟硬件等。1.1.4 正式實施數(shù)據(jù)遷移按照確定的數(shù)據(jù)遷移方案，正式實施數(shù)據(jù)遷移。1.1.5 測試數(shù)據(jù)遷移效果按照數(shù)據(jù)遷移測試方案測試數(shù)據(jù)遷移效果，并對數(shù)據(jù)遷移后的數(shù)據(jù)庫參數(shù)和性能進行調(diào)整，使之滿足數(shù)據(jù)遷移后實際應用系統(tǒng)的需要。1.1.6 移植系統(tǒng)應用軟件將實際應用系統(tǒng)的應用軟件移

3、植到數(shù)據(jù)遷移后的數(shù)據(jù)庫系統(tǒng)上，并使之正常運行。1.1.7 正式運行應用系統(tǒng)在正式實施數(shù)據(jù)遷移成功并且數(shù)據(jù)庫參數(shù)和性能達到要求后，就可以正式運行應用系統(tǒng)，并投入實際使用。1.2 數(shù)據(jù)資源現(xiàn)狀分析目前全省正在運行的養(yǎng)老保險信息系統(tǒng)是1995年由省社保局組織、湖南省長信信息系統(tǒng)集成有限公司負責開發(fā)的，為全省養(yǎng)老保險的信息化建設打下了較好的基礎，取得了一定的成效。當前除益陽外，十三個市（州）都在使用全省的養(yǎng)老保險軟件。該系統(tǒng)最初是采用FOXPRO小型數(shù)據(jù)庫，1998年全國養(yǎng)老保險統(tǒng)一制度實施時曾對軟件進行過一次修改升級；1999年該系統(tǒng)數(shù)據(jù)庫由FOXPRO小型數(shù)據(jù)庫升級到ORACLE大型關系型數(shù)據(jù)庫，

4、2003年養(yǎng)老保險全省聯(lián)網(wǎng)及2006年調(diào)整待遇計發(fā)辦法時，又先后統(tǒng)一進行過兩次升級。各地應用水平參差不齊，對歷史數(shù)據(jù)沒有進行清理，存在大量垃圾數(shù)據(jù)，數(shù)據(jù)的完整性和一致性不能保證，嚴重影響決策分析，數(shù)據(jù)質(zhì)量需要提高；同時數(shù)據(jù)資源和信息不能充分共享，對政策和業(yè)務發(fā)展的適應性較差，影響了辦事效率和服務質(zhì)量的提高。通過對招標文件的充分理解，并結合我們建設長沙和株洲金保工程的經(jīng)驗，湖南省歷史數(shù)據(jù)整理有以下幾個特點：一、因為涉及到全省的數(shù)據(jù)整理，去掉已建設的幾個地市，涉及到10幾個地市州和100多個區(qū)縣，原養(yǎng)老系統(tǒng)經(jīng)辦機構點多面廣是本次數(shù)據(jù)整理的一個突出特點，再加上各地應用水平參差不齊，為數(shù)據(jù)整理增加了很

5、大的難度；二、我們湖南省早在1995年就開始養(yǎng)老保險系統(tǒng)建設，至今歷史時間長，沉淀錯誤數(shù)據(jù)也比較多，數(shù)據(jù)庫中存在著大量的重復和錯誤數(shù)據(jù)，為了更好的修正并確認數(shù)據(jù)的正確性，需要與其他相關部門數(shù)據(jù)進行關聯(lián)比對，如單位信息可以和工商部門、和質(zhì)量技術監(jiān)督局進行關聯(lián)比對，人員信息可以和公安部門進行關聯(lián)比對，這些數(shù)據(jù)處理我們在一些地區(qū)都有成功經(jīng)驗，可以為數(shù)據(jù)整理承建商提供參考方案；三、系統(tǒng)建設時間早，與我國現(xiàn)行指定新的標準存在一定差距，信息缺項、錯誤項比較多；四、歷史個人帳戶的清理問題也是本次數(shù)據(jù)整理過程中非常重要的一個問題，并且各地對于總帳要求的標準又不一致，有的可能以新總帳為準，這樣會簡單一些，有的可

6、能以歷史總帳為準，這種情況就會出現(xiàn)舊帳和新帳有個差額，這個差額需要新系統(tǒng)中能夠處理平帳。1.3 數(shù)據(jù)整理和遷移概述數(shù)據(jù)整理和遷移是我們湖南省實現(xiàn)數(shù)據(jù)“同人同城同庫”要求的重要基礎性工作，各相關業(yè)務管理部門、經(jīng)辦機構和信息機構要相互協(xié)調(diào)，緊密配合，共同做好這項工作。數(shù)據(jù)整理工作需要用戶方相關部門和養(yǎng)老保險系統(tǒng)承建商的密切配合。數(shù)據(jù)整理是對湖南省省本級和各地市數(shù)據(jù)中心應管理的業(yè)務經(jīng)辦數(shù)據(jù)，進行遵守統(tǒng)一標準的規(guī)范性整理、補齊數(shù)據(jù)內(nèi)容的完整性整理和實現(xiàn)數(shù)據(jù)記實的正確性整理，一般包括內(nèi)部整理和外部核對兩部分。具體過程是，首先按照全國統(tǒng)一標準并結合湖南省省本級和各地市本地需求，建立結構規(guī)范的臨時數(shù)據(jù)庫（簡

7、稱為整理庫），將原生產(chǎn)數(shù)據(jù)轉換導入該庫。然后對導入的信息進行初步比較、核查、校正以后，采用邏輯推理、經(jīng)驗判斷、合理數(shù)值范圍檢驗等方法，進行合法性檢查及代碼過濾等方面的審核和篩選，濾出可疑數(shù)據(jù)和缺失數(shù)據(jù)，并提交至外部核對環(huán)節(jié)，由用人單位或勞動者本人補充確認。業(yè)務部門對外部核對返回后的數(shù)據(jù)進行審核，據(jù)此進行完整性和正確性修正，包括補充缺失數(shù)據(jù)、更正錯誤數(shù)據(jù)、剔除冗余數(shù)據(jù)、清理垃圾數(shù)據(jù)、調(diào)整矛盾數(shù)據(jù)等。隨后再次進行上述邏輯審查工作，如此反復直至數(shù)據(jù)補齊記實。最后將整理好的數(shù)據(jù)分期分批提交到業(yè)務資源數(shù)據(jù)庫中。1.4 數(shù)據(jù)整理和遷移目標數(shù)據(jù)整合的目標就是保證數(shù)據(jù)的正確率要達到以上；整合后的數(shù)據(jù)要能夠支持

8、市級數(shù)據(jù)大集中的應用，支持省-地市州的收據(jù)申報和交換，支持市區(qū)（縣）街道（社區(qū)）三級業(yè)務經(jīng)辦，支持跨區(qū)域轉移等業(yè)務要求；在大集中數(shù)據(jù)庫中要保證數(shù)據(jù)的唯一性，也就是說同一個人在數(shù)據(jù)庫中的信息不能重復；同時通過數(shù)據(jù)核對要確保數(shù)據(jù)內(nèi)容的真實性和準確性。1.5 數(shù)據(jù)整理原則1.5.1 保證新系統(tǒng)啟動優(yōu)先原則在進行數(shù)據(jù)整合時，必須首先滿足新系統(tǒng)啟動最基本的條件，在時間進度以及人力、物力能夠得到充足保障的情況下，再進行其他項的整合。1.5.2 數(shù)據(jù)過濾原則在數(shù)據(jù)資源整合過程中，為了減少由于數(shù)據(jù)資源整合時限制條件過于苛刻造成的數(shù)據(jù)大量過濾，保證新系統(tǒng)能夠正常運行，減少新系統(tǒng)運行后大量補錄數(shù)據(jù)的麻煩。因此在數(shù)

9、據(jù)數(shù)據(jù)資源整合過程中，需要對系統(tǒng)過濾的數(shù)據(jù)放寬條件，但是需要對錯誤的數(shù)據(jù)的數(shù)據(jù)分錯誤級別進行標示，有利于新系統(tǒng)運行后操作人員修改錯誤的數(shù)據(jù)。對于有些數(shù)據(jù)，不影響新系統(tǒng)業(yè)務的正常運行，但是建議補填的，不需要在數(shù)據(jù)資源整合前進行糾正，只是在數(shù)據(jù)資源整合時加上相應的錯誤標志進行標識，等新系統(tǒng)運行后，在新系統(tǒng)中進行調(diào)整；對于有些數(shù)據(jù)，嚴重影響系統(tǒng)運行的，則必須在轉換前進行處理。1.5.3 數(shù)據(jù)照搬原則在數(shù)據(jù)資源整合過程中，對原系統(tǒng)的數(shù)據(jù)，原則上不要做修改或拆分，在必要的情況下，可以對原數(shù)據(jù)進行一些簡單的加減運算，以適合新系統(tǒng)的需要。1.5.4 新舊系統(tǒng)對照原則由于數(shù)據(jù)資源整合牽涉的業(yè)務比較復雜，需要轉

10、換的系統(tǒng)較多，因此在數(shù)據(jù)資源整合的過程中難免會出現(xiàn)一些錯誤，為了及時清楚數(shù)據(jù)的錯誤來源，所以必須建立新舊系統(tǒng)的對應關系，便于盡快查找錯誤或者是對數(shù)據(jù)轉換中的轉換錯誤進行及時的糾正。1.6 數(shù)據(jù)整理組織管理數(shù)據(jù)資源整理在本項目的實施過程中是一項重要的、獨立的工作任務，并且涉及到湖南省10幾個地市和100多個區(qū)縣，涉及面廣，歷史數(shù)據(jù)量大且情況復雜，所以必須將數(shù)據(jù)整理工作放在同軟件的設計、開發(fā)同等重要的位置上來，必須成立獨立的數(shù)據(jù)資源整合小組，有獨立的負責人來負責數(shù)據(jù)資源整合全過程的實施。1.6.1 人員要求數(shù)據(jù)資源整合小組需要配置如下人員：養(yǎng)老保險業(yè)務分析人員數(shù)據(jù)庫系統(tǒng)精通人員熟悉原系統(tǒng)情況的人員

11、1.6.2 工作要求數(shù)據(jù)資源整合實施小組的工作成敗對于整個系統(tǒng)建設至關重要，因此數(shù)據(jù)資源整理小組的工作人員顯得尤其重要。數(shù)據(jù)資源整理實施小組負責人必須經(jīng)常保持和軟件開發(fā)負責人、用戶方系統(tǒng)切換負責人的溝通與聯(lián)系，及時將數(shù)據(jù)資源整合小組發(fā)現(xiàn)的問題與他們?nèi)〉脺贤ǎ员ＷC開發(fā)的軟件既能滿足新系統(tǒng)的要求，又能滿足歷史數(shù)據(jù)對新系統(tǒng)的要求。1.6.3 組織機構根據(jù)數(shù)據(jù)資源整理項目的特點，需要將整個項目組分為清理、轉換、檢核三個組，其中，轉換小組中還要根據(jù)需要轉換的原系統(tǒng)進行劃分。小組結構如下：圖 11小組結構圖小組職責說明：數(shù)據(jù)資源整理協(xié)調(diào)小組：負責數(shù)據(jù)資源整理過程中對各業(yè)務部門的總協(xié)調(diào)。數(shù)據(jù)資源整理實施小

12、組負責人：具體負責數(shù)據(jù)資源整理的各個過程，協(xié)調(diào)整理過程中的資源與進度，并將實施進度及問題按時向協(xié)調(diào)小組匯報。數(shù)據(jù)清理組：補充不完整或者修正不正確的數(shù)據(jù)，并建立數(shù)據(jù)之間的關聯(lián)關系；數(shù)據(jù)轉換組：編寫數(shù)據(jù)轉換方案并根據(jù)數(shù)據(jù)轉換方案編寫數(shù)據(jù)轉換工具，根據(jù)編寫的數(shù)據(jù)轉換工具輔助進行數(shù)據(jù)轉換。記載數(shù)據(jù)轉換過程的中間記錄，對轉換前后數(shù)據(jù)進行比對，編寫數(shù)據(jù)轉換報告。其中，基礎數(shù)據(jù)組負責單位、個人基礎數(shù)據(jù)、單位繳費申報數(shù)據(jù)、各業(yè)務辦理部門數(shù)據(jù)、代辦機構數(shù)據(jù)的轉換工作；養(yǎng)老保險組負責與養(yǎng)老保險有關的繳費數(shù)據(jù)、個人帳戶數(shù)據(jù)、單位實繳數(shù)據(jù)、單位實付數(shù)據(jù)、養(yǎng)老保險待遇數(shù)據(jù)、養(yǎng)老保險待遇支付明細記錄的轉換工作；時間上，要

13、求基礎數(shù)據(jù)組的工作先行開展，其它養(yǎng)老保險組的工作可以隨后并行開展。數(shù)據(jù)檢核組：保證數(shù)據(jù)的單個字段的取值正確，以及相關數(shù)據(jù)的關聯(lián)關系正確。保證數(shù)據(jù)的準確性和完整性。業(yè)務資源組：詳細說明待遷移的數(shù)據(jù)源，整理舊系統(tǒng)數(shù)據(jù)字典，分析新舊系統(tǒng)的數(shù)據(jù)結構差異，編制數(shù)據(jù)分析報告。1.7 數(shù)據(jù)整理和遷移方法1.7.1 數(shù)據(jù)核對數(shù)據(jù)核對采用數(shù)據(jù)分級過濾的方式，數(shù)據(jù)分級過濾就是把數(shù)據(jù)按照不同的數(shù)據(jù)級別進行分類整理進入不同的中間數(shù)據(jù)庫中。本系統(tǒng)中我們把數(shù)據(jù)分為三個級別：廢棄數(shù)據(jù)、待調(diào)整數(shù)據(jù)、可轉換數(shù)據(jù)。廢棄數(shù)據(jù)就是該部分數(shù)據(jù)的存在對系統(tǒng)資源造成浪費的數(shù)據(jù)，并且會影響以后系統(tǒng)的運行，比如重復的個人基本信息、重復的帳戶信

14、息、重復繳費信息。待調(diào)整數(shù)據(jù)就是該部分數(shù)據(jù)嚴重影響新系統(tǒng)的運行，必須進行人工調(diào)整后，方可進行數(shù)據(jù)轉換?？赊D換數(shù)據(jù)就是該部分數(shù)據(jù)不需做任何處理，基本滿足數(shù)據(jù)轉換的要求或者是該部分數(shù)據(jù)新系統(tǒng)建議調(diào)整，但是不影響系統(tǒng)的運行，可以等新系統(tǒng)運行后再調(diào)整，這樣可以為數(shù)據(jù)轉換工作節(jié)省很多時間。1.7.2 數(shù)據(jù)整理數(shù)據(jù)整理就是將原系統(tǒng)數(shù)據(jù)整理為系統(tǒng)轉換程序能夠識別的數(shù)據(jù)。數(shù)據(jù)整理大致分為兩個階段：第一階段就是將不同類型來源數(shù)據(jù)采集備份到統(tǒng)一的數(shù)據(jù)庫中；第二階段就是將原始數(shù)據(jù)進行整理，按照湖南省各地市的要求分類進入不同的中間數(shù)據(jù)庫，為數(shù)據(jù)轉換提供中間數(shù)據(jù)。數(shù)據(jù)整理過程中采用的方法示意圖如下：圖 12方法示意圖綜

15、合上圖我們可以看出，數(shù)據(jù)整理過程采用了如下方法：1.7.2.1 確保原始數(shù)據(jù)的完整性在進行數(shù)據(jù)整理之間，我們先需要對原始采集數(shù)據(jù)進行備份。備份的目的有兩個：一個是統(tǒng)一數(shù)據(jù)庫，便于數(shù)據(jù)轉換，另一個就是為以后數(shù)據(jù)追根溯源提供參考依據(jù)。在本系統(tǒng)中，我們將采用Oracle作為備份統(tǒng)一數(shù)據(jù)庫。1.7.2.2 借助數(shù)據(jù)整理相關工具數(shù)據(jù)整理非常艱巨，涉及的數(shù)據(jù)量很大，通過人工檢查是不可能完成的，因此必須編寫相關的數(shù)據(jù)整理工具完成數(shù)據(jù)整理。包括數(shù)據(jù)整理工具和數(shù)據(jù)糾錯工具。數(shù)據(jù)整理工具負責將原始備份數(shù)據(jù)庫中的數(shù)據(jù)進行分類進入不同的中間數(shù)據(jù)庫；數(shù)據(jù)糾錯工具負責提供友好、方便的工具界面供用戶方相關人員完善和糾正錯誤

16、數(shù)據(jù)。1.7.2.3 利用中間庫作為橋梁由于原系統(tǒng)和新系統(tǒng)的數(shù)據(jù)庫結構可能不一樣，所以采用中間庫作為銜接新舊系統(tǒng)數(shù)據(jù)的重要橋梁，對于建立新舊系統(tǒng)的對照關系很重要。一旦業(yè)務人員對新系統(tǒng)中某項轉換數(shù)據(jù)存在疑問的情況下，就可以通過中間庫的關聯(lián)，順利找出原數(shù)據(jù)。1.7.3 數(shù)據(jù)補錄方案1.7.3.1 數(shù)據(jù)補錄概述數(shù)據(jù)補錄主要是對于一些勞動部指標體系所要求的以及新系統(tǒng)中需要擴充的業(yè)務數(shù)據(jù)，并且這些業(yè)務數(shù)據(jù)原系統(tǒng)沒有收錄，這些數(shù)據(jù)多數(shù)是非電子格式或非結構數(shù)據(jù)，或者原系統(tǒng)中已收錄但數(shù)據(jù)結構和格式與新系統(tǒng)相差太大，而無法通過數(shù)據(jù)整理工具整合，這些數(shù)據(jù)需要人工補錄或補錄工具軟件轉換補錄到新系統(tǒng)中。數(shù)據(jù)補錄工作在

17、本項目的數(shù)據(jù)整理工作中是一項重要的、獨立的工作任務，需要開發(fā)數(shù)據(jù)補錄軟件支持本項工作的完成。必須將其放在同軟件的設計、開發(fā)同等重要的位置上來，必須成立獨立的數(shù)據(jù)采集工作組，有獨立的負責人來負責數(shù)據(jù)采集工作的全過程。1.7.3.2 數(shù)據(jù)補錄管理1.7.3.2.1 時間計劃按照云南省勞動和社會保障廳勞動力市場信息系統(tǒng)項目建設的時間要求，并考慮到數(shù)據(jù)采集的涉及面廣、工作周期長的特點，數(shù)據(jù)采集工作建議系統(tǒng)需求調(diào)研的同時開始的同時進行為宜，在系統(tǒng)設計開發(fā)接近尾聲的時候系統(tǒng)實施之前，數(shù)據(jù)采集、入庫工作進行完畢。1.7.3.2.2 數(shù)據(jù)補錄軟件開發(fā)根據(jù)業(yè)務要求、指標體系規(guī)范和系統(tǒng)數(shù)據(jù)要求整理數(shù)據(jù)采集軟件需求

18、功能報告、數(shù)據(jù)采集指標項，設計開發(fā)數(shù)據(jù)采集軟件。1.7.3.2.3 人員要求數(shù)據(jù)采集工作組需要如下類型的人員：Ø 數(shù)據(jù)采集標準制定人員Ø 數(shù)據(jù)采集具體執(zhí)行員Ø 數(shù)據(jù)批量錄入人員Ø 數(shù)據(jù)檢核人員Ø 數(shù)據(jù)采集工作組負責人1.7.3.2.4 工作要求數(shù)據(jù)工作組的工作成敗對于整個系統(tǒng)建設至關重要，因此數(shù)據(jù)采集工作組的工作人員顯得尤其重要。工作組負責人必須經(jīng)常保持和采集各類工作人員、應用軟件開發(fā)負責人、用戶方系統(tǒng)切換負責人等保持溝通與聯(lián)系，及時將數(shù)據(jù)采集工作組發(fā)現(xiàn)的問題與他們?nèi)〉脺贤?，以保證采集的數(shù)據(jù)能夠滿足新軟件系統(tǒng)的要求。1.7.3.2.5 組織機構

19、根據(jù)數(shù)據(jù)數(shù)據(jù)采集工作的特點，需要將整個工作組分為標準制定、數(shù)據(jù)采集、數(shù)據(jù)錄入、數(shù)據(jù)檢核四個組，由工作負責人統(tǒng)一協(xié)調(diào)和控制整個過程的工作。各小組的職責分工如下：工作組負責人：負責數(shù)據(jù)采集過程中對各小組人員的任務分配、工作監(jiān)督、控制，以及和其他相關部門之間協(xié)調(diào)共作等。標準制定小組：負責制定數(shù)據(jù)采集的標準。數(shù)據(jù)采集小組：負責采集數(shù)據(jù)、匯集原始資料信息。數(shù)據(jù)錄入小組：將采集來的數(shù)據(jù)批量錄入到應用軟件系統(tǒng)中。數(shù)據(jù)檢核小組：確保數(shù)據(jù)錄入準確，以及相關數(shù)據(jù)的關聯(lián)關系正確。保證數(shù)據(jù)的準確性和完整性。1.7.3.3 基礎數(shù)據(jù)采集數(shù)據(jù)采集的具體過程是：一、由標準制定小組，按照全國統(tǒng)一標準并結合本地需求，建立結構規(guī)

20、范的數(shù)據(jù)采集標準。二、由數(shù)據(jù)采集小組工作人員按照標準進行原始數(shù)據(jù)采集，填報被采集對象的各項信息。1.7.3.4 基礎數(shù)據(jù)入庫基礎數(shù)據(jù)采集完成后，需要將數(shù)據(jù)錄入到數(shù)據(jù)庫中。一、由數(shù)據(jù)錄入小組將采集來的數(shù)據(jù)，通過計算機批量錄入到數(shù)據(jù)庫中。二、由數(shù)據(jù)檢核小組對錄入的數(shù)據(jù)進行系統(tǒng)地檢查、核對，糾錯等。1.8 數(shù)據(jù)校驗方案數(shù)據(jù)校驗通俗的說，就是為保證數(shù)據(jù)的完整性，用一種指定的算法對原始數(shù)據(jù)計算出的一個校驗值。接收方用同樣的算法計算一次校驗值，如果和隨數(shù)據(jù)提供的校驗值一樣，就說明數(shù)據(jù)是完整的。最簡單的校驗就是把原始數(shù)據(jù)和待比較數(shù)據(jù)直接進行比較，看是否完全一樣這種方法是最安全最準確的，但這種做法效率比較低，

21、東軟公司總結了多年來數(shù)據(jù)校驗經(jīng)驗，通常情況下是先對歷史數(shù)據(jù)結構進行分析，對于比較規(guī)范的業(yè)務數(shù)據(jù)先導出至上面提到的中間庫，再對剩下的數(shù)據(jù)通過數(shù)據(jù)積累的校驗方法庫進行數(shù)據(jù)校驗，校驗并修正數(shù)據(jù)的類型、范圍以及合法性等相關數(shù)據(jù)屬性，以確保數(shù)據(jù)整理的快速有效。對于源數(shù)據(jù)庫、目標數(shù)據(jù)庫結構有差異的數(shù)據(jù)，建立中間過渡庫，中間庫在原數(shù)據(jù)庫平臺中建立，但結構與目標數(shù)據(jù)庫的結構相同。將源數(shù)據(jù)庫轉入中間庫的過程是一個數(shù)據(jù)的重新組合和關聯(lián)的過程，將是轉換的中心和重點工作，需要對源數(shù)據(jù)庫與新數(shù)據(jù)庫的數(shù)據(jù)關系進行深入分析，對每一個數(shù)據(jù)庫寫出轉換策略。非空處理：對于應該非空但實際為空的記錄制定處理規(guī)則。取值約束處理：對于有

22、取值范圍約束的字段進行規(guī)范化處理，即將轉換后的數(shù)據(jù)取值規(guī)范到該范圍內(nèi)。主鍵處理：重新對中間庫進行編號。填寫外鍵：每個數(shù)據(jù)庫或多或少存在外鍵，外鍵越多，標明與其它庫關聯(lián)越多，這樣的庫應后處理；反之，外鍵越少的庫應該先處理。唯一鍵處理：對要求唯一的數(shù)據(jù)項（主鍵、唯一鍵）進行唯一檢測，并對檢測出的不唯一的記錄，制定處理規(guī)則。附加分散處理：對某些表中的某些字段進行數(shù)據(jù)規(guī)范化處理，即將不合規(guī)范的數(shù)據(jù)替換成規(guī)范的數(shù)據(jù)，幾個表之間的關聯(lián)處理，以及一些特殊處理等。數(shù)據(jù)一致性處理：對于有多個數(shù)據(jù)源的數(shù)據(jù)進行一致性檢查, 制定處理規(guī)則。1.9 新系統(tǒng)對歷史數(shù)據(jù)的容錯性有些重要的歷史數(shù)據(jù)雖然格式不能滿足要求，但也要導入到新系統(tǒng)中來，這就要求新系統(tǒng)能夠兼容這些數(shù)據(jù)，提供對這些歷史問題數(shù)據(jù)繼續(xù)進行分析修訂功能。1.10 系統(tǒng)遷移方案為了確保新舊數(shù)據(jù)的一致性，以及確保舊系統(tǒng)的數(shù)據(jù)能完整、真實、合法地保存和延續(xù)，我們考慮采用兩套系統(tǒng)同時運行的方式來做一個過渡，這種方式可以保證在出現(xiàn)故障時，數(shù)據(jù)至少可以在舊系統(tǒng)中順利進行，同時也可以發(fā)現(xiàn)新系統(tǒng)的問題或者驗證新系統(tǒng)的正確性，具體說來，就是一筆業(yè)務在新老系統(tǒng)中同時進行，考慮不影響業(yè)務處理