淺談對數(shù)據(jù)遷移與割接的研究

相關(guān)對數(shù)據(jù)遷移與割接研究將原信息化管理系統(tǒng)中大量有效歷史數(shù)據(jù)導(dǎo)入到新版應(yīng)用系統(tǒng)中,這對新系統(tǒng)正常運行有著關(guān)鍵影響,確保了對大量歷史數(shù)據(jù)正常使用,從而在不影響全部用戶工作前提下完成信息化管理系統(tǒng)升級改造工作。在現(xiàn)有信息化管理系統(tǒng)所積累大量數(shù)據(jù),需要仔細衡量歷史數(shù)據(jù)有效性和對新系統(tǒng)影響以及數(shù)據(jù)遷移方法和方法。而這決不僅僅是異構(gòu)數(shù)據(jù)庫、不一樣存放設(shè)備之間數(shù)據(jù)遷移那么簡單,它更像是對原應(yīng)用系統(tǒng)數(shù)據(jù)以及原系統(tǒng)業(yè)務(wù)步驟重新審閱和考評。提議最好能提供原信息系統(tǒng)相關(guān)文檔資料,安排長久應(yīng)用舊系統(tǒng)人員參與到數(shù)據(jù)遷移工作中,以了解新舊系統(tǒng)數(shù)據(jù)庫和相關(guān)字段,避免數(shù)據(jù)字段對應(yīng)錯誤,或者其她更有效方法協(xié)作共同做好數(shù)據(jù)遷移工作。所以數(shù)據(jù)遷移系列工作是需要各個部門共同討論,協(xié)調(diào)完成。數(shù)據(jù)遷移策略與方法數(shù)據(jù)遷移內(nèi)容是整個數(shù)據(jù)遷移基礎(chǔ),需要從信息系統(tǒng)計劃角度統(tǒng)一考慮,可從橫向時間和縱向功效模塊兩個角度考慮,從而因地制宜地采取不一樣數(shù)據(jù)遷移策略和方法。數(shù)據(jù)遷移策略橫向劃分以產(chǎn)生數(shù)據(jù)時間為劃分依據(jù),優(yōu)先考慮遷移與目前日期較近數(shù)據(jù),這么能夠盡可能縮小新系統(tǒng)因為歷史數(shù)據(jù)問題對用戶影響,而那些相對比較久遠數(shù)據(jù)能夠分批次進行數(shù)據(jù)遷移?？v向劃分以處理數(shù)據(jù)功效模塊為劃分依據(jù),需要考慮在新系統(tǒng)中沒有被包含功效模塊所包含數(shù)據(jù)處理問題。這類數(shù)據(jù)因為無法建立映射關(guān)系,通常不需要遷移到新系統(tǒng)中。但對于模塊間偶合度比較緊密舊系統(tǒng),在縱向劃分時需要注意數(shù)據(jù)完整性。對于新舊系統(tǒng)均包含功效模塊數(shù)據(jù),需要深入分析關(guān)鍵關(guān)鍵字段信息以及各功效模塊相互關(guān)聯(lián)數(shù)據(jù)信息遷移,但切忌貪圖數(shù)據(jù)高完整性。數(shù)據(jù)遷移方法依據(jù)不一樣遷移劃分,我們采取不一樣數(shù)據(jù)遷移策略和方法。遷移方法關(guān)鍵有一次遷移、分次遷移、先錄后遷、先遷后補等多個方法可供選擇。我們依據(jù)實際情況,選擇最適合數(shù)據(jù)遷移方法來進行數(shù)據(jù)遷移工作。一次遷移一次遷移前提是新舊系統(tǒng)數(shù)據(jù)庫差異不大,許可宕機時間內(nèi)能夠完成全部數(shù)據(jù)量遷移。優(yōu)點:遷移實施過程短,相對分次遷移,遷移時包含問題少,風(fēng)險相對比較低。缺點:工作強度比較大,因為實施遷移人員需要一直監(jiān)控遷移過程,假如遷移所需時間比較長,工作人員會很疲憊。一次遷移前提是新舊系統(tǒng)數(shù)據(jù)庫差異不大,許可宕機時間內(nèi)能夠完成全部數(shù)據(jù)量b遷移。分次遷移分次遷移是經(jīng)過數(shù)據(jù)遷移工具或遷移程序,將需要歷史數(shù)據(jù)分幾次遷移到新系統(tǒng)中。分次遷移通常在系統(tǒng)切換前先遷移將靜態(tài)數(shù)據(jù)和改變不頻繁數(shù)據(jù),比如代碼、用戶信息等,然后在系統(tǒng)切換時遷移動態(tài)數(shù)據(jù),比如交易信息,對于靜態(tài)數(shù)據(jù)遷移以后發(fā)生數(shù)據(jù)變更,能夠天天同時到新系統(tǒng)中,也能夠在系統(tǒng)切換時經(jīng)過增量方法一次同時到新系統(tǒng)中。優(yōu)點:分次遷移能夠?qū)⑷蝿?wù)分開,有效地處理了數(shù)據(jù)量大和宕機時間短之間矛盾。缺點:分次切換造成數(shù)據(jù)數(shù)次合并,增加了犯錯概率,同時為了保持整體數(shù)據(jù)一致性,分次遷移時需要對先切換數(shù)據(jù)進行同時,增加了遷移復(fù)雜度。先錄后遷先錄后遷關(guān)鍵針對新舊系統(tǒng)數(shù)據(jù)結(jié)構(gòu)存在特定差異情況,即對于新系統(tǒng)啟用時必需期初數(shù)據(jù),無法從現(xiàn)有歷史數(shù)據(jù)中得到。優(yōu)點:最大程序上降低了新舊系統(tǒng)因數(shù)據(jù)差異性所帶來影響。缺點:工作強度大。先遷后補先遷后補是指在系統(tǒng)切換前經(jīng)過數(shù)據(jù)遷移工具或遷移程序,將原始數(shù)據(jù)遷移到新系統(tǒng)中,然后經(jīng)過新系統(tǒng)相關(guān)功效,或為此專門編寫配套程序,依據(jù)已經(jīng)遷移到新系統(tǒng)中原始數(shù)據(jù),生成所需要結(jié)果數(shù)據(jù)。優(yōu)點:降低遷移數(shù)據(jù)量。缺點:不能立刻滿足用戶對歷史數(shù)據(jù)使用要求。數(shù)據(jù)遷移實施方案數(shù)據(jù)遷移實現(xiàn)能夠分為三個階段:數(shù)據(jù)遷移前準(zhǔn)備、數(shù)據(jù)遷移實施、數(shù)據(jù)回退方法和數(shù)據(jù)遷移后校驗。依據(jù)數(shù)據(jù)遷移特點,大量工作都需要在準(zhǔn)備階段完成,充足而周到準(zhǔn)備工作是完成數(shù)據(jù)遷移關(guān)鍵基礎(chǔ);數(shù)據(jù)遷移實施是實現(xiàn)數(shù)據(jù)遷移三個階段中最關(guān)鍵步驟,依據(jù)實際情況,靈活選擇數(shù)據(jù)遷移方法;數(shù)據(jù)遷移后校驗是對遷移工作檢驗,數(shù)據(jù)校驗結(jié)果是判定新系統(tǒng)能否正式啟用關(guān)鍵依據(jù)。數(shù)據(jù)遷移技術(shù)準(zhǔn)備數(shù)據(jù)遷移通常包含多項工作:舊系統(tǒng)數(shù)據(jù)字典整理、舊系統(tǒng)數(shù)據(jù)質(zhì)量分析、新系統(tǒng)數(shù)據(jù)字典整理、新舊系統(tǒng)數(shù)據(jù)差異分析、建立新舊系統(tǒng)數(shù)據(jù)之間影射關(guān)系、開公布署數(shù)據(jù)轉(zhuǎn)換與遷移程序、制訂數(shù)據(jù)轉(zhuǎn)換與遷移過程中應(yīng)急方案、實施舊系統(tǒng)數(shù)據(jù)到新系統(tǒng)轉(zhuǎn)換與遷移工作、檢驗轉(zhuǎn)換與遷移后數(shù)據(jù)完整性與正確性。數(shù)據(jù)格式檢驗:檢驗數(shù)據(jù)格式是否一致和可用。數(shù)據(jù)長度檢驗:檢驗數(shù)據(jù)有效長度。區(qū)間范圍檢驗:檢驗數(shù)據(jù)是否包含在定義最大值和最小值區(qū)間中;比如年紀為300,或錄入日期在4000-1-1?？罩怠⒛J值檢驗:檢驗新舊系統(tǒng)定義空值、默認值是否相同,不一樣數(shù)據(jù)庫系統(tǒng)對空值定義可能不一樣,需要尤其關(guān)注。完整性檢驗:檢驗數(shù)據(jù)關(guān)聯(lián)完整性。如統(tǒng)計引用代碼值是否存在,尤其需要注意是有些系統(tǒng)在使用一段時間后,為了提升效率而去掉了外鍵約束。一致性檢驗:檢驗邏輯上是否存在違反一致性數(shù)據(jù),尤其是存在分別提交操作系統(tǒng)。遷移實施數(shù)據(jù)遷移程序開發(fā)、布署關(guān)鍵有兩種選擇,即自主開發(fā)程序或購置成熟產(chǎn)品。這兩種選擇都有各自不一樣特點,選擇時還要依據(jù)具體情況進行分析?？v觀現(xiàn)在中國部分大型項目,在數(shù)據(jù)遷移時多是采取相對成熟ETL產(chǎn)品。能夠看到這些項目有部分共同特點,關(guān)鍵包含:遷移時有大量歷史數(shù)據(jù)、許可宕機時間很短、面對大量用戶或用戶、存在第三方系統(tǒng)接入、一旦失敗所產(chǎn)生影響面將很廣。同時也應(yīng)該看到,自主開發(fā)程序也被廣泛地采取。相關(guān)ETL產(chǎn)品,如InformixInfoMover、MicrosoftSQLServer7DTS和OracleOracleWarehouseBuilder,AscentialSoftware企業(yè)DataStage。數(shù)據(jù)遷移能夠采取不一樣方法進行,關(guān)鍵有三種方法,即系統(tǒng)切換前經(jīng)過工具遷移、系統(tǒng)切換前采取手工錄入、系統(tǒng)切換后經(jīng)過新系統(tǒng)生成。1)系統(tǒng)切換前經(jīng)過工具遷移在系統(tǒng)切換前,利用專門開發(fā)數(shù)據(jù)遷移程序或ETL（ExtractTransformLoad）工具把舊系統(tǒng)中歷史數(shù)據(jù)抽取、轉(zhuǎn)換,并裝載到新系統(tǒng)中去。其中ETL工具能夠購置成熟產(chǎn)品,也能夠是自主開發(fā)程序。這種方法是數(shù)據(jù)遷移最關(guān)鍵,也是最快捷方法。其實施前提是,歷史數(shù)據(jù)可用而且能夠映射到新系統(tǒng)中。數(shù)據(jù)抽取、轉(zhuǎn)換是依據(jù)新舊系統(tǒng)數(shù)據(jù)庫映射關(guān)系進行,而數(shù)據(jù)差異分析是建立映射關(guān)系前提,這其中還包含對代碼數(shù)據(jù)差異分析。轉(zhuǎn)換步驟通常還要包含數(shù)據(jù)清洗過程,數(shù)據(jù)清洗關(guān)鍵是針對源數(shù)據(jù)庫中,對出現(xiàn)二義性、反復(fù)、不完整、違反業(yè)務(wù)或邏輯規(guī)則等問題數(shù)據(jù)進行對應(yīng)清洗操作,在清洗之前需要進行數(shù)據(jù)質(zhì)量分析,以找出存在問題數(shù)據(jù),不然數(shù)據(jù)清洗將無從談起。數(shù)據(jù)裝載是經(jīng)過裝載工具或自行編寫SQL程序?qū)⒊槿　⑥D(zhuǎn)換后結(jié)果數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)庫中。2)系統(tǒng)切換前采取手工錄入在系統(tǒng)切換前,組織相關(guān)人員把需要數(shù)據(jù)手工錄入到新系統(tǒng)中。關(guān)鍵是部分無法轉(zhuǎn)換到新系統(tǒng)中數(shù)據(jù),和新系統(tǒng)啟用時必需要而舊系統(tǒng)無法提供數(shù)據(jù)采取這種方法。3)系統(tǒng)切換后經(jīng)過新系統(tǒng)生成在系統(tǒng)切換后,經(jīng)過新系統(tǒng)相關(guān)功效,或為此專門開發(fā)配套程序生成所需要數(shù)據(jù)。通常依據(jù)已經(jīng)遷移到新系統(tǒng)中數(shù)據(jù)來生成所需信息。其實施前提是,這些數(shù)據(jù)能夠經(jīng)過其它數(shù)據(jù)產(chǎn)生。數(shù)據(jù)遷移回退方法假如割接不成功,應(yīng)恢復(fù)到割接前狀態(tài)或其她預(yù)備方案。當(dāng)發(fā)覺該步驟不能完成時,或者中途出現(xiàn)異常故障且無法在預(yù)定時間內(nèi)恢復(fù)時,那么就應(yīng)該進行回退處理,將數(shù)據(jù)及其她相關(guān)信息恢復(fù)到數(shù)據(jù)遷移前狀態(tài)。數(shù)據(jù)遷移后校驗在數(shù)據(jù)遷移完成后,需要對遷移后數(shù)據(jù)進行校驗與測試工作,以確保數(shù)據(jù)遷移成功率。數(shù)據(jù)遷移后校驗是對遷移質(zhì)量檢驗,同時數(shù)據(jù)校驗結(jié)果也是判定新系統(tǒng)能否正式啟用關(guān)鍵依據(jù)。能夠經(jīng)過以下兩種方法對遷移后數(shù)據(jù)進行校驗。1)對遷移后數(shù)據(jù)進行質(zhì)量分析能夠經(jīng)過數(shù)據(jù)質(zhì)量檢驗工具,或編寫有針對性檢驗程序進行。遷移后數(shù)據(jù)校驗指標(biāo)關(guān)鍵包含五方面:完整性檢驗,引用外鍵是否存在;一致性檢驗,相同含義數(shù)據(jù)在不一樣位置值是否一致;總分平衡檢驗,比如協(xié)議款指標(biāo)總和與分科室不一樣粒度累計對比;統(tǒng)