數(shù)據(jù)整理與遷移

1、1 數(shù)據(jù)整理與遷移1.1 數(shù)據(jù)遷移總體設(shè)計(jì)設(shè)計(jì)數(shù)據(jù)遷移方案主要包括以下幾個(gè)方面工作：研究與數(shù)據(jù)遷移相關(guān)的資料，或在網(wǎng)站上查詢相關(guān)內(nèi)容、評(píng)估和選擇數(shù)據(jù)遷移的軟硬件平臺(tái)、選擇數(shù)據(jù)遷移方法、選擇數(shù)據(jù)備份和恢復(fù)策略、設(shè)計(jì)數(shù)據(jù)遷移和測(cè)試方案等。東軟公司數(shù)據(jù)遷移具體方法詳見(jiàn)本方案第8章“8數(shù)據(jù)整理與遷移”等相關(guān)章節(jié)內(nèi)容，數(shù)據(jù)遷移總體過(guò)程如下：1.1.1 進(jìn)行數(shù)據(jù)模擬遷移根據(jù)設(shè)計(jì)的數(shù)據(jù)遷移方案，建立一個(gè)模擬的數(shù)據(jù)遷移環(huán)境，它既能仿真實(shí)際環(huán)境又不影響實(shí)際數(shù)據(jù)，然后在數(shù)據(jù)模擬遷移環(huán)境中測(cè)試數(shù)據(jù)遷移的效果。數(shù)據(jù)模擬遷移前也應(yīng)按備份策略備份模擬數(shù)據(jù)，以便數(shù)據(jù)遷移后能按恢復(fù)策略進(jìn)行恢復(fù)測(cè)試。1.1.2 測(cè)試數(shù)據(jù)模擬遷

2、移根據(jù)設(shè)計(jì)的數(shù)據(jù)遷移測(cè)試方案測(cè)試數(shù)據(jù)模擬遷移，也就是檢查數(shù)據(jù)模擬遷移后數(shù)據(jù)和應(yīng)用軟件是否正常，主要包括：數(shù)據(jù)一致性測(cè)試、應(yīng)用軟件執(zhí)行功能測(cè)試、性能測(cè)試、數(shù)據(jù)備份和恢復(fù)測(cè)試等。1.1.3 準(zhǔn)備實(shí)施數(shù)據(jù)遷移數(shù)據(jù)模擬遷移測(cè)試成功后，在正式實(shí)施數(shù)據(jù)遷移前還需要做好以下幾個(gè)方面工作：進(jìn)行完全數(shù)據(jù)備份、確定數(shù)據(jù)遷移方案、安裝和配置軟硬件等。1.1.4 正式實(shí)施數(shù)據(jù)遷移按照確定的數(shù)據(jù)遷移方案，正式實(shí)施數(shù)據(jù)遷移。1.1.5 測(cè)試數(shù)據(jù)遷移效果按照數(shù)據(jù)遷移測(cè)試方案測(cè)試數(shù)據(jù)遷移效果，并對(duì)數(shù)據(jù)遷移后的數(shù)據(jù)庫(kù)參數(shù)和性能進(jìn)行調(diào)整，使之滿足數(shù)據(jù)遷移后實(shí)際應(yīng)用系統(tǒng)的需要。1.1.6 移植系統(tǒng)應(yīng)用軟件將實(shí)際應(yīng)用系統(tǒng)的應(yīng)用軟件移

3、植到數(shù)據(jù)遷移后的數(shù)據(jù)庫(kù)系統(tǒng)上，并使之正常運(yùn)行。1.1.7 正式運(yùn)行應(yīng)用系統(tǒng)在正式實(shí)施數(shù)據(jù)遷移成功并且數(shù)據(jù)庫(kù)參數(shù)和性能達(dá)到要求后，就可以正式運(yùn)行應(yīng)用系統(tǒng)，并投入實(shí)際使用。1.2 數(shù)據(jù)資源現(xiàn)狀分析目前全省正在運(yùn)行的養(yǎng)老保險(xiǎn)信息系統(tǒng)是1995年由省社保局組織、湖南省長(zhǎng)信信息系統(tǒng)集成有限公司負(fù)責(zé)開(kāi)發(fā)的，為全省養(yǎng)老保險(xiǎn)的信息化建設(shè)打下了較好的基礎(chǔ)，取得了一定的成效。當(dāng)前除益陽(yáng)外，十三個(gè)市（州）都在使用全省的養(yǎng)老保險(xiǎn)軟件。該系統(tǒng)最初是采用FOXPRO小型數(shù)據(jù)庫(kù)，1998年全國(guó)養(yǎng)老保險(xiǎn)統(tǒng)一制度實(shí)施時(shí)曾對(duì)軟件進(jìn)行過(guò)一次修改升級(jí)；1999年該系統(tǒng)數(shù)據(jù)庫(kù)由FOXPRO小型數(shù)據(jù)庫(kù)升級(jí)到ORACLE大型關(guān)系型數(shù)據(jù)庫(kù)，

4、2003年養(yǎng)老保險(xiǎn)全省聯(lián)網(wǎng)及2006年調(diào)整待遇計(jì)發(fā)辦法時(shí)，又先后統(tǒng)一進(jìn)行過(guò)兩次升級(jí)。各地應(yīng)用水平參差不齊，對(duì)歷史數(shù)據(jù)沒(méi)有進(jìn)行清理，存在大量垃圾數(shù)據(jù)，數(shù)據(jù)的完整性和一致性不能保證，嚴(yán)重影響決策分析，數(shù)據(jù)質(zhì)量需要提高；同時(shí)數(shù)據(jù)資源和信息不能充分共享，對(duì)政策和業(yè)務(wù)發(fā)展的適應(yīng)性較差，影響了辦事效率和服務(wù)質(zhì)量的提高。通過(guò)對(duì)招標(biāo)文件的充分理解，并結(jié)合我們建設(shè)長(zhǎng)沙和株洲金保工程的經(jīng)驗(yàn)，湖南省歷史數(shù)據(jù)整理有以下幾個(gè)特點(diǎn)：一、因?yàn)樯婕暗饺〉臄?shù)據(jù)整理，去掉已建設(shè)的幾個(gè)地市，涉及到10幾個(gè)地市州和100多個(gè)區(qū)縣，原養(yǎng)老系統(tǒng)經(jīng)辦機(jī)構(gòu)點(diǎn)多面廣是本次數(shù)據(jù)整理的一個(gè)突出特點(diǎn)，再加上各地應(yīng)用水平參差不齊，為數(shù)據(jù)整理增加了很

5、大的難度；二、我們湖南省早在1995年就開(kāi)始養(yǎng)老保險(xiǎn)系統(tǒng)建設(shè)，至今歷史時(shí)間長(zhǎng)，沉淀錯(cuò)誤數(shù)據(jù)也比較多，數(shù)據(jù)庫(kù)中存在著大量的重復(fù)和錯(cuò)誤數(shù)據(jù)，為了更好的修正并確認(rèn)數(shù)據(jù)的正確性，需要與其他相關(guān)部門數(shù)據(jù)進(jìn)行關(guān)聯(lián)比對(duì)，如單位信息可以和工商部門、和質(zhì)量技術(shù)監(jiān)督局進(jìn)行關(guān)聯(lián)比對(duì)，人員信息可以和公安部門進(jìn)行關(guān)聯(lián)比對(duì)，這些數(shù)據(jù)處理我們?cè)谝恍┑貐^(qū)都有成功經(jīng)驗(yàn)，可以為數(shù)據(jù)整理承建商提供參考方案；三、系統(tǒng)建設(shè)時(shí)間早，與我國(guó)現(xiàn)行指定新的標(biāo)準(zhǔn)存在一定差距，信息缺項(xiàng)、錯(cuò)誤項(xiàng)比較多；四、歷史個(gè)人帳戶的清理問(wèn)題也是本次數(shù)據(jù)整理過(guò)程中非常重要的一個(gè)問(wèn)題，并且各地對(duì)于總帳要求的標(biāo)準(zhǔn)又不一致，有的可能以新總帳為準(zhǔn)，這樣會(huì)簡(jiǎn)單一些，有的可

6、能以歷史總帳為準(zhǔn)，這種情況就會(huì)出現(xiàn)舊帳和新帳有個(gè)差額，這個(gè)差額需要新系統(tǒng)中能夠處理平帳。1.3 數(shù)據(jù)整理和遷移概述數(shù)據(jù)整理和遷移是我們湖南省實(shí)現(xiàn)數(shù)據(jù)“同人同城同庫(kù)”要求的重要基礎(chǔ)性工作，各相關(guān)業(yè)務(wù)管理部門、經(jīng)辦機(jī)構(gòu)和信息機(jī)構(gòu)要相互協(xié)調(diào)，緊密配合，共同做好這項(xiàng)工作。數(shù)據(jù)整理工作需要用戶方相關(guān)部門和養(yǎng)老保險(xiǎn)系統(tǒng)承建商的密切配合。數(shù)據(jù)整理是對(duì)湖南省省本級(jí)和各地市數(shù)據(jù)中心應(yīng)管理的業(yè)務(wù)經(jīng)辦數(shù)據(jù)，進(jìn)行遵守統(tǒng)一標(biāo)準(zhǔn)的規(guī)范性整理、補(bǔ)齊數(shù)據(jù)內(nèi)容的完整性整理和實(shí)現(xiàn)數(shù)據(jù)記實(shí)的正確性整理，一般包括內(nèi)部整理和外部核對(duì)兩部分。具體過(guò)程是，首先按照全國(guó)統(tǒng)一標(biāo)準(zhǔn)并結(jié)合湖南省省本級(jí)和各地市本地需求，建立結(jié)構(gòu)規(guī)范的臨時(shí)數(shù)據(jù)庫(kù)（簡(jiǎn)

7、稱為整理庫(kù)），將原生產(chǎn)數(shù)據(jù)轉(zhuǎn)換導(dǎo)入該庫(kù)。然后對(duì)導(dǎo)入的信息進(jìn)行初步比較、核查、校正以后，采用邏輯推理、經(jīng)驗(yàn)判斷、合理數(shù)值范圍檢驗(yàn)等方法，進(jìn)行合法性檢查及代碼過(guò)濾等方面的審核和篩選，濾出可疑數(shù)據(jù)和缺失數(shù)據(jù)，并提交至外部核對(duì)環(huán)節(jié)，由用人單位或勞動(dòng)者本人補(bǔ)充確認(rèn)。業(yè)務(wù)部門對(duì)外部核對(duì)返回后的數(shù)據(jù)進(jìn)行審核，據(jù)此進(jìn)行完整性和正確性修正，包括補(bǔ)充缺失數(shù)據(jù)、更正錯(cuò)誤數(shù)據(jù)、剔除冗余數(shù)據(jù)、清理垃圾數(shù)據(jù)、調(diào)整矛盾數(shù)據(jù)等。隨后再次進(jìn)行上述邏輯審查工作，如此反復(fù)直至數(shù)據(jù)補(bǔ)齊記實(shí)。最后將整理好的數(shù)據(jù)分期分批提交到業(yè)務(wù)資源數(shù)據(jù)庫(kù)中。1.4 數(shù)據(jù)整理和遷移目標(biāo)數(shù)據(jù)整合的目標(biāo)就是保證數(shù)據(jù)的正確率要達(dá)到以上；整合后的數(shù)據(jù)要能夠支持

8、市級(jí)數(shù)據(jù)大集中的應(yīng)用，支持省-地市州的收據(jù)申報(bào)和交換，支持市區(qū)（縣）街道（社區(qū)）三級(jí)業(yè)務(wù)經(jīng)辦，支持跨區(qū)域轉(zhuǎn)移等業(yè)務(wù)要求；在大集中數(shù)據(jù)庫(kù)中要保證數(shù)據(jù)的唯一性，也就是說(shuō)同一個(gè)人在數(shù)據(jù)庫(kù)中的信息不能重復(fù)；同時(shí)通過(guò)數(shù)據(jù)核對(duì)要確保數(shù)據(jù)內(nèi)容的真實(shí)性和準(zhǔn)確性。1.5 數(shù)據(jù)整理原則1.5.1 保證新系統(tǒng)啟動(dòng)優(yōu)先原則在進(jìn)行數(shù)據(jù)整合時(shí)，必須首先滿足新系統(tǒng)啟動(dòng)最基本的條件，在時(shí)間進(jìn)度以及人力、物力能夠得到充足保障的情況下，再進(jìn)行其他項(xiàng)的整合。1.5.2 數(shù)據(jù)過(guò)濾原則在數(shù)據(jù)資源整合過(guò)程中，為了減少由于數(shù)據(jù)資源整合時(shí)限制條件過(guò)于苛刻造成的數(shù)據(jù)大量過(guò)濾，保證新系統(tǒng)能夠正常運(yùn)行，減少新系統(tǒng)運(yùn)行后大量補(bǔ)錄數(shù)據(jù)的麻煩。因此在數(shù)

9、據(jù)數(shù)據(jù)資源整合過(guò)程中，需要對(duì)系統(tǒng)過(guò)濾的數(shù)據(jù)放寬條件，但是需要對(duì)錯(cuò)誤的數(shù)據(jù)的數(shù)據(jù)分錯(cuò)誤級(jí)別進(jìn)行標(biāo)示，有利于新系統(tǒng)運(yùn)行后操作人員修改錯(cuò)誤的數(shù)據(jù)。對(duì)于有些數(shù)據(jù)，不影響新系統(tǒng)業(yè)務(wù)的正常運(yùn)行，但是建議補(bǔ)填的，不需要在數(shù)據(jù)資源整合前進(jìn)行糾正，只是在數(shù)據(jù)資源整合時(shí)加上相應(yīng)的錯(cuò)誤標(biāo)志進(jìn)行標(biāo)識(shí)，等新系統(tǒng)運(yùn)行后，在新系統(tǒng)中進(jìn)行調(diào)整；對(duì)于有些數(shù)據(jù)，嚴(yán)重影響系統(tǒng)運(yùn)行的，則必須在轉(zhuǎn)換前進(jìn)行處理。1.5.3 數(shù)據(jù)照搬原則在數(shù)據(jù)資源整合過(guò)程中，對(duì)原系統(tǒng)的數(shù)據(jù)，原則上不要做修改或拆分，在必要的情況下，可以對(duì)原數(shù)據(jù)進(jìn)行一些簡(jiǎn)單的加減運(yùn)算，以適合新系統(tǒng)的需要。1.5.4 新舊系統(tǒng)對(duì)照原則由于數(shù)據(jù)資源整合牽涉的業(yè)務(wù)比較復(fù)雜，需要轉(zhuǎn)

10、換的系統(tǒng)較多，因此在數(shù)據(jù)資源整合的過(guò)程中難免會(huì)出現(xiàn)一些錯(cuò)誤，為了及時(shí)清楚數(shù)據(jù)的錯(cuò)誤來(lái)源，所以必須建立新舊系統(tǒng)的對(duì)應(yīng)關(guān)系，便于盡快查找錯(cuò)誤或者是對(duì)數(shù)據(jù)轉(zhuǎn)換中的轉(zhuǎn)換錯(cuò)誤進(jìn)行及時(shí)的糾正。1.6 數(shù)據(jù)整理組織管理數(shù)據(jù)資源整理在本項(xiàng)目的實(shí)施過(guò)程中是一項(xiàng)重要的、獨(dú)立的工作任務(wù)，并且涉及到湖南省10幾個(gè)地市和100多個(gè)區(qū)縣，涉及面廣，歷史數(shù)據(jù)量大且情況復(fù)雜，所以必須將數(shù)據(jù)整理工作放在同軟件的設(shè)計(jì)、開(kāi)發(fā)同等重要的位置上來(lái)，必須成立獨(dú)立的數(shù)據(jù)資源整合小組，有獨(dú)立的負(fù)責(zé)人來(lái)負(fù)責(zé)數(shù)據(jù)資源整合全過(guò)程的實(shí)施。1.6.1 人員要求數(shù)據(jù)資源整合小組需要配置如下人員：養(yǎng)老保險(xiǎn)業(yè)務(wù)分析人員數(shù)據(jù)庫(kù)系統(tǒng)精通人員熟悉原系統(tǒng)情況的人員

11、1.6.2 工作要求數(shù)據(jù)資源整合實(shí)施小組的工作成敗對(duì)于整個(gè)系統(tǒng)建設(shè)至關(guān)重要，因此數(shù)據(jù)資源整理小組的工作人員顯得尤其重要。數(shù)據(jù)資源整理實(shí)施小組負(fù)責(zé)人必須經(jīng)常保持和軟件開(kāi)發(fā)負(fù)責(zé)人、用戶方系統(tǒng)切換負(fù)責(zé)人的溝通與聯(lián)系，及時(shí)將數(shù)據(jù)資源整合小組發(fā)現(xiàn)的問(wèn)題與他們?nèi)〉脺贤?，以保證開(kāi)發(fā)的軟件既能滿足新系統(tǒng)的要求，又能滿足歷史數(shù)據(jù)對(duì)新系統(tǒng)的要求。1.6.3 組織機(jī)構(gòu)根據(jù)數(shù)據(jù)資源整理項(xiàng)目的特點(diǎn)，需要將整個(gè)項(xiàng)目組分為清理、轉(zhuǎn)換、檢核三個(gè)組，其中，轉(zhuǎn)換小組中還要根據(jù)需要轉(zhuǎn)換的原系統(tǒng)進(jìn)行劃分。小組結(jié)構(gòu)如下：圖 11小組結(jié)構(gòu)圖小組職責(zé)說(shuō)明：數(shù)據(jù)資源整理協(xié)調(diào)小組：負(fù)責(zé)數(shù)據(jù)資源整理過(guò)程中對(duì)各業(yè)務(wù)部門的總協(xié)調(diào)。數(shù)據(jù)資源整理實(shí)施小

12、組負(fù)責(zé)人：具體負(fù)責(zé)數(shù)據(jù)資源整理的各個(gè)過(guò)程，協(xié)調(diào)整理過(guò)程中的資源與進(jìn)度，并將實(shí)施進(jìn)度及問(wèn)題按時(shí)向協(xié)調(diào)小組匯報(bào)。數(shù)據(jù)清理組：補(bǔ)充不完整或者修正不正確的數(shù)據(jù)，并建立數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系；數(shù)據(jù)轉(zhuǎn)換組：編寫(xiě)數(shù)據(jù)轉(zhuǎn)換方案并根據(jù)數(shù)據(jù)轉(zhuǎn)換方案編寫(xiě)數(shù)據(jù)轉(zhuǎn)換工具，根據(jù)編寫(xiě)的數(shù)據(jù)轉(zhuǎn)換工具輔助進(jìn)行數(shù)據(jù)轉(zhuǎn)換。記載數(shù)據(jù)轉(zhuǎn)換過(guò)程的中間記錄，對(duì)轉(zhuǎn)換前后數(shù)據(jù)進(jìn)行比對(duì)，編寫(xiě)數(shù)據(jù)轉(zhuǎn)換報(bào)告。其中，基礎(chǔ)數(shù)據(jù)組負(fù)責(zé)單位、個(gè)人基礎(chǔ)數(shù)據(jù)、單位繳費(fèi)申報(bào)數(shù)據(jù)、各業(yè)務(wù)辦理部門數(shù)據(jù)、代辦機(jī)構(gòu)數(shù)據(jù)的轉(zhuǎn)換工作；養(yǎng)老保險(xiǎn)組負(fù)責(zé)與養(yǎng)老保險(xiǎn)有關(guān)的繳費(fèi)數(shù)據(jù)、個(gè)人帳戶數(shù)據(jù)、單位實(shí)繳數(shù)據(jù)、單位實(shí)付數(shù)據(jù)、養(yǎng)老保險(xiǎn)待遇數(shù)據(jù)、養(yǎng)老保險(xiǎn)待遇支付明細(xì)記錄的轉(zhuǎn)換工作；時(shí)間上，要

13、求基礎(chǔ)數(shù)據(jù)組的工作先行開(kāi)展，其它養(yǎng)老保險(xiǎn)組的工作可以隨后并行開(kāi)展。數(shù)據(jù)檢核組：保證數(shù)據(jù)的單個(gè)字段的取值正確，以及相關(guān)數(shù)據(jù)的關(guān)聯(lián)關(guān)系正確。保證數(shù)據(jù)的準(zhǔn)確性和完整性。業(yè)務(wù)資源組：詳細(xì)說(shuō)明待遷移的數(shù)據(jù)源，整理舊系統(tǒng)數(shù)據(jù)字典，分析新舊系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)差異，編制數(shù)據(jù)分析報(bào)告。1.7 數(shù)據(jù)整理和遷移方法1.7.1 數(shù)據(jù)核對(duì)數(shù)據(jù)核對(duì)采用數(shù)據(jù)分級(jí)過(guò)濾的方式，數(shù)據(jù)分級(jí)過(guò)濾就是把數(shù)據(jù)按照不同的數(shù)據(jù)級(jí)別進(jìn)行分類整理進(jìn)入不同的中間數(shù)據(jù)庫(kù)中。本系統(tǒng)中我們把數(shù)據(jù)分為三個(gè)級(jí)別：廢棄數(shù)據(jù)、待調(diào)整數(shù)據(jù)、可轉(zhuǎn)換數(shù)據(jù)。廢棄數(shù)據(jù)就是該部分?jǐn)?shù)據(jù)的存在對(duì)系統(tǒng)資源造成浪費(fèi)的數(shù)據(jù)，并且會(huì)影響以后系統(tǒng)的運(yùn)行，比如重復(fù)的個(gè)人基本信息、重復(fù)的帳戶信

14、息、重復(fù)繳費(fèi)信息。待調(diào)整數(shù)據(jù)就是該部分?jǐn)?shù)據(jù)嚴(yán)重影響新系統(tǒng)的運(yùn)行，必須進(jìn)行人工調(diào)整后，方可進(jìn)行數(shù)據(jù)轉(zhuǎn)換?？赊D(zhuǎn)換數(shù)據(jù)就是該部分?jǐn)?shù)據(jù)不需做任何處理，基本滿足數(shù)據(jù)轉(zhuǎn)換的要求或者是該部分?jǐn)?shù)據(jù)新系統(tǒng)建議調(diào)整，但是不影響系統(tǒng)的運(yùn)行，可以等新系統(tǒng)運(yùn)行后再調(diào)整，這樣可以為數(shù)據(jù)轉(zhuǎn)換工作節(jié)省很多時(shí)間。1.7.2 數(shù)據(jù)整理數(shù)據(jù)整理就是將原系統(tǒng)數(shù)據(jù)整理為系統(tǒng)轉(zhuǎn)換程序能夠識(shí)別的數(shù)據(jù)。數(shù)據(jù)整理大致分為兩個(gè)階段：第一階段就是將不同類型來(lái)源數(shù)據(jù)采集備份到統(tǒng)一的數(shù)據(jù)庫(kù)中；第二階段就是將原始數(shù)據(jù)進(jìn)行整理，按照湖南省各地市的要求分類進(jìn)入不同的中間數(shù)據(jù)庫(kù)，為數(shù)據(jù)轉(zhuǎn)換提供中間數(shù)據(jù)。數(shù)據(jù)整理過(guò)程中采用的方法示意圖如下：圖 12方法示意圖綜

15、合上圖我們可以看出，數(shù)據(jù)整理過(guò)程采用了如下方法：1.7.2.1 確保原始數(shù)據(jù)的完整性在進(jìn)行數(shù)據(jù)整理之間，我們先需要對(duì)原始采集數(shù)據(jù)進(jìn)行備份。備份的目的有兩個(gè)：一個(gè)是統(tǒng)一數(shù)據(jù)庫(kù)，便于數(shù)據(jù)轉(zhuǎn)換，另一個(gè)就是為以后數(shù)據(jù)追根溯源提供參考依據(jù)。在本系統(tǒng)中，我們將采用Oracle作為備份統(tǒng)一數(shù)據(jù)庫(kù)。1.7.2.2 借助數(shù)據(jù)整理相關(guān)工具數(shù)據(jù)整理非常艱巨，涉及的數(shù)據(jù)量很大，通過(guò)人工檢查是不可能完成的，因此必須編寫(xiě)相關(guān)的數(shù)據(jù)整理工具完成數(shù)據(jù)整理。包括數(shù)據(jù)整理工具和數(shù)據(jù)糾錯(cuò)工具。數(shù)據(jù)整理工具負(fù)責(zé)將原始備份數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行分類進(jìn)入不同的中間數(shù)據(jù)庫(kù)；數(shù)據(jù)糾錯(cuò)工具負(fù)責(zé)提供友好、方便的工具界面供用戶方相關(guān)人員完善和糾正錯(cuò)誤

16、數(shù)據(jù)。1.7.2.3 利用中間庫(kù)作為橋梁由于原系統(tǒng)和新系統(tǒng)的數(shù)據(jù)庫(kù)結(jié)構(gòu)可能不一樣，所以采用中間庫(kù)作為銜接新舊系統(tǒng)數(shù)據(jù)的重要橋梁，對(duì)于建立新舊系統(tǒng)的對(duì)照關(guān)系很重要。一旦業(yè)務(wù)人員對(duì)新系統(tǒng)中某項(xiàng)轉(zhuǎn)換數(shù)據(jù)存在疑問(wèn)的情況下，就可以通過(guò)中間庫(kù)的關(guān)聯(lián)，順利找出原數(shù)據(jù)。1.7.3 數(shù)據(jù)補(bǔ)錄方案1.7.3.1 數(shù)據(jù)補(bǔ)錄概述數(shù)據(jù)補(bǔ)錄主要是對(duì)于一些勞動(dòng)部指標(biāo)體系所要求的以及新系統(tǒng)中需要擴(kuò)充的業(yè)務(wù)數(shù)據(jù)，并且這些業(yè)務(wù)數(shù)據(jù)原系統(tǒng)沒(méi)有收錄，這些數(shù)據(jù)多數(shù)是非電子格式或非結(jié)構(gòu)數(shù)據(jù)，或者原系統(tǒng)中已收錄但數(shù)據(jù)結(jié)構(gòu)和格式與新系統(tǒng)相差太大，而無(wú)法通過(guò)數(shù)據(jù)整理工具整合，這些數(shù)據(jù)需要人工補(bǔ)錄或補(bǔ)錄工具軟件轉(zhuǎn)換補(bǔ)錄到新系統(tǒng)中。數(shù)據(jù)補(bǔ)錄工作在

17、本項(xiàng)目的數(shù)據(jù)整理工作中是一項(xiàng)重要的、獨(dú)立的工作任務(wù)，需要開(kāi)發(fā)數(shù)據(jù)補(bǔ)錄軟件支持本項(xiàng)工作的完成。必須將其放在同軟件的設(shè)計(jì)、開(kāi)發(fā)同等重要的位置上來(lái)，必須成立獨(dú)立的數(shù)據(jù)采集工作組，有獨(dú)立的負(fù)責(zé)人來(lái)負(fù)責(zé)數(shù)據(jù)采集工作的全過(guò)程。1.7.3.2 數(shù)據(jù)補(bǔ)錄管理1.7.3.2.1 時(shí)間計(jì)劃按照云南省勞動(dòng)和社會(huì)保障廳勞動(dòng)力市場(chǎng)信息系統(tǒng)項(xiàng)目建設(shè)的時(shí)間要求，并考慮到數(shù)據(jù)采集的涉及面廣、工作周期長(zhǎng)的特點(diǎn)，數(shù)據(jù)采集工作建議系統(tǒng)需求調(diào)研的同時(shí)開(kāi)始的同時(shí)進(jìn)行為宜，在系統(tǒng)設(shè)計(jì)開(kāi)發(fā)接近尾聲的時(shí)候系統(tǒng)實(shí)施之前，數(shù)據(jù)采集、入庫(kù)工作進(jìn)行完畢。1.7.3.2.2 數(shù)據(jù)補(bǔ)錄軟件開(kāi)發(fā)根據(jù)業(yè)務(wù)要求、指標(biāo)體系規(guī)范和系統(tǒng)數(shù)據(jù)要求整理數(shù)據(jù)采集軟件需求

18、功能報(bào)告、數(shù)據(jù)采集指標(biāo)項(xiàng)，設(shè)計(jì)開(kāi)發(fā)數(shù)據(jù)采集軟件。1.7.3.2.3 人員要求數(shù)據(jù)采集工作組需要如下類型的人員：Ø 數(shù)據(jù)采集標(biāo)準(zhǔn)制定人員Ø 數(shù)據(jù)采集具體執(zhí)行員Ø 數(shù)據(jù)批量錄入人員Ø 數(shù)據(jù)檢核人員Ø 數(shù)據(jù)采集工作組負(fù)責(zé)人1.7.3.2.4 工作要求數(shù)據(jù)工作組的工作成敗對(duì)于整個(gè)系統(tǒng)建設(shè)至關(guān)重要，因此數(shù)據(jù)采集工作組的工作人員顯得尤其重要。工作組負(fù)責(zé)人必須經(jīng)常保持和采集各類工作人員、應(yīng)用軟件開(kāi)發(fā)負(fù)責(zé)人、用戶方系統(tǒng)切換負(fù)責(zé)人等保持溝通與聯(lián)系，及時(shí)將數(shù)據(jù)采集工作組發(fā)現(xiàn)的問(wèn)題與他們?nèi)〉脺贤ǎ员ＷC采集的數(shù)據(jù)能夠滿足新軟件系統(tǒng)的要求。1.7.3.2.5 組織機(jī)構(gòu)

19、根據(jù)數(shù)據(jù)數(shù)據(jù)采集工作的特點(diǎn)，需要將整個(gè)工作組分為標(biāo)準(zhǔn)制定、數(shù)據(jù)采集、數(shù)據(jù)錄入、數(shù)據(jù)檢核四個(gè)組，由工作負(fù)責(zé)人統(tǒng)一協(xié)調(diào)和控制整個(gè)過(guò)程的工作。各小組的職責(zé)分工如下：工作組負(fù)責(zé)人：負(fù)責(zé)數(shù)據(jù)采集過(guò)程中對(duì)各小組人員的任務(wù)分配、工作監(jiān)督、控制，以及和其他相關(guān)部門之間協(xié)調(diào)共作等。標(biāo)準(zhǔn)制定小組：負(fù)責(zé)制定數(shù)據(jù)采集的標(biāo)準(zhǔn)。數(shù)據(jù)采集小組：負(fù)責(zé)采集數(shù)據(jù)、匯集原始資料信息。數(shù)據(jù)錄入小組：將采集來(lái)的數(shù)據(jù)批量錄入到應(yīng)用軟件系統(tǒng)中。數(shù)據(jù)檢核小組：確保數(shù)據(jù)錄入準(zhǔn)確，以及相關(guān)數(shù)據(jù)的關(guān)聯(lián)關(guān)系正確。保證數(shù)據(jù)的準(zhǔn)確性和完整性。1.7.3.3 基礎(chǔ)數(shù)據(jù)采集數(shù)據(jù)采集的具體過(guò)程是：一、由標(biāo)準(zhǔn)制定小組，按照全國(guó)統(tǒng)一標(biāo)準(zhǔn)并結(jié)合本地需求，建立結(jié)構(gòu)規(guī)

20、范的數(shù)據(jù)采集標(biāo)準(zhǔn)。二、由數(shù)據(jù)采集小組工作人員按照標(biāo)準(zhǔn)進(jìn)行原始數(shù)據(jù)采集，填報(bào)被采集對(duì)象的各項(xiàng)信息。1.7.3.4 基礎(chǔ)數(shù)據(jù)入庫(kù)基礎(chǔ)數(shù)據(jù)采集完成后，需要將數(shù)據(jù)錄入到數(shù)據(jù)庫(kù)中。一、由數(shù)據(jù)錄入小組將采集來(lái)的數(shù)據(jù)，通過(guò)計(jì)算機(jī)批量錄入到數(shù)據(jù)庫(kù)中。二、由數(shù)據(jù)檢核小組對(duì)錄入的數(shù)據(jù)進(jìn)行系統(tǒng)地檢查、核對(duì)，糾錯(cuò)等。1.8 數(shù)據(jù)校驗(yàn)方案數(shù)據(jù)校驗(yàn)通俗的說(shuō)，就是為保證數(shù)據(jù)的完整性，用一種指定的算法對(duì)原始數(shù)據(jù)計(jì)算出的一個(gè)校驗(yàn)值。接收方用同樣的算法計(jì)算一次校驗(yàn)值，如果和隨數(shù)據(jù)提供的校驗(yàn)值一樣，就說(shuō)明數(shù)據(jù)是完整的。最簡(jiǎn)單的校驗(yàn)就是把原始數(shù)據(jù)和待比較數(shù)據(jù)直接進(jìn)行比較，看是否完全一樣這種方法是最安全最準(zhǔn)確的，但這種做法效率比較低，

21、東軟公司總結(jié)了多年來(lái)數(shù)據(jù)校驗(yàn)經(jīng)驗(yàn)，通常情況下是先對(duì)歷史數(shù)據(jù)結(jié)構(gòu)進(jìn)行分析，對(duì)于比較規(guī)范的業(yè)務(wù)數(shù)據(jù)先導(dǎo)出至上面提到的中間庫(kù)，再對(duì)剩下的數(shù)據(jù)通過(guò)數(shù)據(jù)積累的校驗(yàn)方法庫(kù)進(jìn)行數(shù)據(jù)校驗(yàn)，校驗(yàn)并修正數(shù)據(jù)的類型、范圍以及合法性等相關(guān)數(shù)據(jù)屬性，以確保數(shù)據(jù)整理的快速有效。對(duì)于源數(shù)據(jù)庫(kù)、目標(biāo)數(shù)據(jù)庫(kù)結(jié)構(gòu)有差異的數(shù)據(jù)，建立中間過(guò)渡庫(kù)，中間庫(kù)在原數(shù)據(jù)庫(kù)平臺(tái)中建立，但結(jié)構(gòu)與目標(biāo)數(shù)據(jù)庫(kù)的結(jié)構(gòu)相同。將源數(shù)據(jù)庫(kù)轉(zhuǎn)入中間庫(kù)的過(guò)程是一個(gè)數(shù)據(jù)的重新組合和關(guān)聯(lián)的過(guò)程，將是轉(zhuǎn)換的中心和重點(diǎn)工作，需要對(duì)源數(shù)據(jù)庫(kù)與新數(shù)據(jù)庫(kù)的數(shù)據(jù)關(guān)系進(jìn)行深入分析，對(duì)每一個(gè)數(shù)據(jù)庫(kù)寫(xiě)出轉(zhuǎn)換策略。非空處理：對(duì)于應(yīng)該非空但實(shí)際為空的記錄制定處理規(guī)則。取值約束處理：對(duì)于有

22、取值范圍約束的字段進(jìn)行規(guī)范化處理，即將轉(zhuǎn)換后的數(shù)據(jù)取值規(guī)范到該范圍內(nèi)。主鍵處理：重新對(duì)中間庫(kù)進(jìn)行編號(hào)。填寫(xiě)外鍵：每個(gè)數(shù)據(jù)庫(kù)或多或少存在外鍵，外鍵越多，標(biāo)明與其它庫(kù)關(guān)聯(lián)越多，這樣的庫(kù)應(yīng)后處理；反之，外鍵越少的庫(kù)應(yīng)該先處理。唯一鍵處理：對(duì)要求唯一的數(shù)據(jù)項(xiàng)（主鍵、唯一鍵）進(jìn)行唯一檢測(cè)，并對(duì)檢測(cè)出的不唯一的記錄，制定處理規(guī)則。附加分散處理：對(duì)某些表中的某些字段進(jìn)行數(shù)據(jù)規(guī)范化處理，即將不合規(guī)范的數(shù)據(jù)替換成規(guī)范的數(shù)據(jù)，幾個(gè)表之間的關(guān)聯(lián)處理，以及一些特殊處理等。數(shù)據(jù)一致性處理：對(duì)于有多個(gè)數(shù)據(jù)源的數(shù)據(jù)進(jìn)行一致性檢查, 制定處理規(guī)則。1.9 新系統(tǒng)對(duì)歷史數(shù)據(jù)的容錯(cuò)性有些重要的歷史數(shù)據(jù)雖然格式不能滿足要求，但也要導(dǎo)入到新系統(tǒng)中來(lái)，這就要求新系統(tǒng)能夠兼容這些數(shù)據(jù)，提供對(duì)這些歷史問(wèn)題數(shù)據(jù)繼續(xù)進(jìn)行分析修訂功能。1.10 系統(tǒng)遷移方案為了確保新舊數(shù)據(jù)的一致性，以及確保舊系統(tǒng)的數(shù)據(jù)能完整、真實(shí)、合法地保存和延續(xù)，我們考慮采用兩套系統(tǒng)同時(shí)運(yùn)行的方式來(lái)做一個(gè)過(guò)渡，這種方式可以保證在出現(xiàn)故障時(shí)，數(shù)據(jù)至少可以在舊系統(tǒng)中順利進(jìn)行，同時(shí)也可以發(fā)現(xiàn)新系統(tǒng)的問(wèn)題或者驗(yàn)證新系統(tǒng)的正確性，具體說(shuō)來(lái)，就是一筆業(yè)務(wù)在新老系統(tǒng)中同時(shí)進(jìn)行，考慮不影響業(yè)務(wù)處理