關(guān)于數(shù)據(jù)遷移的各種方法

1、 關(guān)于數(shù)據(jù)遷移的各種方法在項目中經(jīng)常會遇到系統(tǒng)完全更換后的歷史數(shù)據(jù)遷移問題，以示對客戶歷史工作的尊重，何況很多數(shù)據(jù)仍有保留的必要。那怎么做歷史數(shù)據(jù)遷移呢？系統(tǒng)分析：1、分析原有的業(yè)務(wù)系統(tǒng)精確到大致的系統(tǒng)功能模塊、大致的處理流程即可2、分析現(xiàn)有的業(yè)務(wù)系統(tǒng)精確到大致的系統(tǒng)功能模塊、大致的處理流程即可3、分析兩者自己的區(qū)別和差異大致分析一下兩個業(yè)務(wù)系統(tǒng)之間的區(qū)別，有助于確定工作量和工作進(jìn)度4、分析用戶對舊有數(shù)據(jù)的需求分析對舊有數(shù)據(jù)的需求，才不至于盲目的全部性的進(jìn)行遷移5、分析用戶對舊有數(shù)據(jù)的處理規(guī)則舊有數(shù)據(jù)的處理規(guī)則，一般分為以下幾類：1、基礎(chǔ)數(shù)據(jù)，通常這一類容易遷移，數(shù)據(jù)格式簡單，但是會

2、影響所有的相關(guān)業(yè)務(wù)數(shù)據(jù)，關(guān)注點為數(shù)據(jù)的主鍵和唯一鍵的方式。2、純歷史數(shù)據(jù)的導(dǎo)入，僅供參考用的，這一類數(shù)據(jù)導(dǎo)入容易 2.1 純歷史數(shù)據(jù) 這一類數(shù)據(jù)處理起來會比較容易，一次性導(dǎo)入即可，后續(xù)采用增量數(shù)據(jù)導(dǎo)入。 2.2 流程性數(shù)據(jù) 這一類數(shù)據(jù)只有在記錄完全關(guān)閉后才能結(jié)束，需要進(jìn)行增量導(dǎo)入和數(shù)據(jù)更新，同時還要進(jìn)行相關(guān)查詢界面的開發(fā)，以保證舊有數(shù)據(jù)能夠在新系統(tǒng)中查詢的到。3、新老系統(tǒng)表結(jié)構(gòu)變化較大的歷史數(shù)據(jù) 這一類數(shù)據(jù)的工作量是最重的，就需要仔細(xì)去研究新老業(yè)務(wù)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)了。 1、盡量通過甲方單位來收集齊全相關(guān)原系統(tǒng)的相關(guān)設(shè)計文檔，這一點對數(shù)據(jù)

3、分析很有幫助，通過人的感覺和對數(shù)據(jù)的觀察來分析畢竟不太靠譜。 2、在原系統(tǒng)上進(jìn)行相關(guān)數(shù)據(jù)的觀察，了解數(shù)據(jù)的變化和數(shù)據(jù)表數(shù)據(jù)的關(guān)系（對于比較難以理解的相關(guān)字段很有幫助） 3、比較新老系統(tǒng)數(shù)據(jù)的差異，如果實在很不靠譜的話，建議按2.2去處理。系統(tǒng)設(shè)計：1、做完系統(tǒng)分析之后，對相關(guān)數(shù)據(jù)進(jìn)行歸類，基礎(chǔ)數(shù)據(jù)、純歷史數(shù)據(jù)、變化較大的歷史數(shù)據(jù)2、先從簡單的入手，給自己點信心3、在excel表中進(jìn)行相關(guān)表的數(shù)據(jù)字典對照，勾畫出對應(yīng)字段、轉(zhuǎn)換邏輯、依賴關(guān)系、必要時在新系統(tǒng)表上做相應(yīng)的冗余，等數(shù)據(jù)遷移完畢后再清除。關(guān)鍵點：不同數(shù)據(jù)庫的字段類型的匹配問題，比如SQLServer的text，在Or

4、acle應(yīng)該對應(yīng)clob，但是寧愿轉(zhuǎn)換成幾個varchar2，從實現(xiàn)角度相對容易些。關(guān)于主鍵的問題，一致的數(shù)據(jù)類型盡量維持現(xiàn)有狀態(tài)，不一致的盡量采用oracle的序列或sqlserver的identity int，但是遷移完畢后，要注意序列值的更新系統(tǒng)實現(xiàn)：1、PL/SQL或T-SQL，DTS、SSIS或者PowerBuilder的管道作為數(shù)據(jù)遷移的方式2、相關(guān)業(yè)務(wù)邏輯的遷移，與數(shù)據(jù)完整性和業(yè)務(wù)相關(guān)的存儲過程、觸發(fā)器、函數(shù)的改寫，甚至SQL的改寫3、業(yè)務(wù)查詢頁面的編寫后話：1、數(shù)據(jù)遷移沒有特別或高級的方法2、對業(yè)務(wù)數(shù)據(jù)的分析最為關(guān)鍵，需要不斷的嘗試在新系統(tǒng)上不斷的測試3、數(shù)據(jù)遷移技術(shù)，主要通過

5、SQL、存儲過程、甚至游標(biāo)來實現(xiàn)，優(yōu)先級也如上還有一種數(shù)據(jù)遷移僅僅是數(shù)據(jù)庫的平遷或異構(gòu)數(shù)據(jù)庫遷移數(shù)據(jù)庫平遷，即為了性能擴(kuò)展需要從一臺服務(wù)器遷移到另外一臺服務(wù)器上，用數(shù)據(jù)庫的導(dǎo)出導(dǎo)入或備份恢復(fù)工具處理即可，當(dāng)然也要考慮遷移后的一些序列字段的初始值。異構(gòu)數(shù)據(jù)遷移，即從一個數(shù)據(jù)庫平臺遷移到另外一個數(shù)據(jù)庫平臺，用ETL工具或SQL均可實現(xiàn)，不過要注意業(yè)務(wù)邏輯的遷移，即存儲過程、函數(shù)、觸發(fā)器之類的。歷史數(shù)據(jù)遷移測驗數(shù)據(jù)遷移重要利用在新老系統(tǒng)到切換，重要有兩種種類，一種是將老系統(tǒng)的數(shù)據(jù)全副遷移到新系統(tǒng)中，業(yè)務(wù)上只利用新系統(tǒng)，老系統(tǒng)不再利用，另外一種是，老系統(tǒng)的局部功能在新系統(tǒng)中臨時無法告終，然而在業(yè)務(wù)上必

6、需利用新系統(tǒng)，必需將新系統(tǒng)中發(fā)生到數(shù)據(jù)導(dǎo)入到老系統(tǒng)到數(shù)據(jù)庫中，做特異用處。利用從老系統(tǒng)中遷移到來的數(shù)據(jù)，在業(yè)務(wù)系統(tǒng)中舉行流程測驗，功能測驗確保遷移后到數(shù)據(jù)可用。數(shù)據(jù)遷移后的校驗在數(shù)據(jù)遷移完成后，需要對遷移后的數(shù)據(jù)進(jìn)行校驗。數(shù)據(jù)遷移后的校驗是對遷移質(zhì)量的檢查，同時數(shù)據(jù)校驗的結(jié)果也是判斷新系統(tǒng)能否正式啟用的重要依據(jù)。可以通過以下2種方式對遷移后的數(shù)據(jù)進(jìn)行校驗：新舊系統(tǒng)查詢數(shù)據(jù)對比檢查，通過新舊系統(tǒng)各自的查詢工具，對相同指標(biāo)的數(shù)據(jù)進(jìn)行查詢，并比較最終的查詢結(jié)果；先將新系統(tǒng)的數(shù)據(jù)恢復(fù)到舊系統(tǒng)遷移前一天的狀態(tài)，然后將最后一天發(fā)生在舊系統(tǒng)上的業(yè)務(wù)全部補(bǔ)錄到新系統(tǒng)，檢查有無異常，并和舊系統(tǒng)比較最終產(chǎn)生的結(jié)果。對遷移后的數(shù)據(jù)進(jìn)行質(zhì)量分析，可以通過數(shù)據(jù)質(zhì)量檢查工具或編寫有針對性的檢查程序進(jìn)行。對遷移后數(shù)據(jù)的校驗有別于遷移前歷史數(shù)據(jù)的質(zhì)量分析，主要是檢查指標(biāo)的不同。遷移后數(shù)據(jù)校驗的指標(biāo)主要包括5方面：完整性檢查，引用的外鍵是否存在；一致性檢查，相同含義的