數(shù)據(jù)遷移技術(shù)方案

1、數(shù)據(jù)遷移方案N8000到 AS13000廣東XX信息技術(shù)有限2015年7月叮叮小文庫(kù)1 .系統(tǒng)拓?fù)鋱D目核心交換機(jī)IZLITOT千兆以太網(wǎng)光纖線路萬(wàn)兆以太網(wǎng)光纖線路中間服務(wù)器文件服務(wù)萬(wàn)兆交換機(jī)1萬(wàn)兆交換機(jī)2FNAS網(wǎng)AS13000華賽N8000已有存儲(chǔ)千兆以太網(wǎng)線路成果數(shù)據(jù)存儲(chǔ)系統(tǒng)拓?fù)鋱Drainnioa.成果存儲(chǔ) 主成果存儲(chǔ) 備!】1：邛工】: nnncz二!M；口AS130002 .需求分析新增設(shè)備：2臺(tái)AS13000-NAS 1臺(tái)NAS網(wǎng)關(guān)和1套DPS備份系統(tǒng)通過(guò)光纖 跳線連接萬(wàn)兆交換機(jī)，中間服務(wù)器和華賽 N8000通過(guò)6類網(wǎng)線連接萬(wàn)兆交換機(jī)， 最低達(dá)到千兆交換的物理基礎(chǔ)架構(gòu)。其中 1臺(tái)AS

2、13000-NAS乍為成果數(shù)據(jù)存儲(chǔ)， 通過(guò)NAS網(wǎng)關(guān)對(duì)外提供存儲(chǔ)服務(wù)，另一臺(tái)通過(guò) DP略份軟件實(shí)現(xiàn)數(shù)據(jù)備份。華賽N8000存儲(chǔ)數(shù)據(jù)有40TB,包括各種大小文件、壓縮包，需安全遷移到 AS1300Q實(shí)現(xiàn)數(shù)據(jù)的備份和共享。數(shù)據(jù)遷移是敏感性動(dòng)作，必須保證遷移數(shù)據(jù) 的完整性、可用性，一致性。華賽N8000已發(fā)生硬件故障，須盡快完成數(shù)據(jù)遷移工作。叮叮小文庫(kù)3,數(shù)據(jù)遷移方案本次數(shù)據(jù)遷移的目標(biāo)是在最少存儲(chǔ)中斷服務(wù)時(shí)間內(nèi)完成數(shù)據(jù)在兩個(gè)存儲(chǔ)設(shè) 備之間快速有序遷移，并保證數(shù)據(jù)的完整性、可用性，一致性。我們?cè)诒痉桨钢薪ㄗh以下2種方式實(shí)現(xiàn)存儲(chǔ)設(shè)備之間的數(shù)據(jù)遷移：文件復(fù)制通過(guò)全備份、增量備份實(shí)現(xiàn)數(shù)據(jù)遷移實(shí)現(xiàn)方式簡(jiǎn)單，遷

3、移成本較低需要較長(zhǎng)的存儲(chǔ)中斷服務(wù)時(shí)間備份軟件遷移通過(guò)建立選擇備份的模式運(yùn)行實(shí)現(xiàn)數(shù)據(jù)自動(dòng)復(fù)制，實(shí)現(xiàn)數(shù)據(jù)遷移 支持異構(gòu)平臺(tái)需要第三方備份工具支持，成本較高3.1. 文件復(fù)制該方法是通過(guò)中間服務(wù)器的指令在 2個(gè)存儲(chǔ)設(shè)備之間復(fù)制數(shù)據(jù)，數(shù)據(jù)遷移實(shí) 現(xiàn)方式簡(jiǎn)單，不需要對(duì)源數(shù)據(jù)進(jìn)行設(shè)置變更，不影響源數(shù)據(jù)的正常運(yùn)行；但該方 式遷移數(shù)據(jù)需要較長(zhǎng)的遷移周期，同時(shí)需要安排一定的存儲(chǔ)中斷服務(wù)時(shí)間， 以保 證數(shù)據(jù)的完整遷移。該方法不適用于增量數(shù)據(jù)遷移，增量數(shù)據(jù)需另配存儲(chǔ)或在存儲(chǔ)中臨時(shí)劃 LUN替用，遷移完原數(shù)據(jù)后再遷移增量數(shù)據(jù)。3.2. 備份軟件遷移該方法通過(guò)安裝的備份軟件實(shí)現(xiàn) 2個(gè)存儲(chǔ)設(shè)備之間數(shù)據(jù)備份，向?qū)е敢氵M(jìn)

4、行文件的備份與恢復(fù)，支持任務(wù)排程，進(jìn)行備份時(shí)可以根據(jù)文件類型有選擇的進(jìn) 行備份，備份文件可以壓縮為 ZIP文件進(jìn)行存放，以節(jié)省空間，并且可以通過(guò)壓 縮密碼保護(hù)您的文件。整個(gè)遷移過(guò)程都是可控的，原有存儲(chǔ)環(huán)境保留，避免了遷 移過(guò)程中的數(shù)據(jù)損失，保證了系統(tǒng)的平穩(wěn)過(guò)渡。叮叮小文庫(kù)該方法適用于增量數(shù)據(jù)遷移，滿足存儲(chǔ)系統(tǒng)不間斷運(yùn)行。需另行采購(gòu)備份軟件實(shí)施，提高實(shí)施成本。3.3. 方案對(duì)比文件復(fù)制備份軟件遷移難易程度較為容易需要專業(yè)軟件存儲(chǔ)中斷服務(wù)時(shí)間較長(zhǎng)長(zhǎng)實(shí)施額外費(fèi)用無(wú)需要購(gòu)買軟件授權(quán)需要調(diào)整現(xiàn)有數(shù)據(jù)設(shè)置無(wú)無(wú)遷移周期較長(zhǎng)長(zhǎng)平臺(tái)要求同構(gòu)平臺(tái)無(wú)要求通過(guò)以上2種方案綜合比對(duì)，建議采購(gòu)文件復(fù)制方式實(shí)施數(shù)據(jù)遷移4.

5、數(shù)據(jù)遷移實(shí)施4.1. AS13000 部署新購(gòu)存儲(chǔ)預(yù)計(jì)7月10日到貨，硬件設(shè)備上架安裝1天，存儲(chǔ)系統(tǒng)規(guī)劃調(diào)試3 大，預(yù)計(jì)7月17日可開始實(shí)施數(shù)據(jù)遷移工作。4.2. 數(shù)據(jù)遷移實(shí)施數(shù)據(jù)遷移系統(tǒng)搭建數(shù)據(jù)遷移系統(tǒng)由華賽N8000、中間服務(wù)器、AS1300Q網(wǎng)絡(luò)設(shè)備組成叮叮小文庫(kù)數(shù)據(jù)遷移鏈路由華賽N8000、中間服務(wù)器、AS13000連接到萬(wàn)兆交換機(jī)，最低1000Mbps 的以太網(wǎng)鏈路互聯(lián)。如不能連接到萬(wàn)兆交換機(jī)，需要專門的千兆交換機(jī)保證數(shù)據(jù) 傳輸，減少影響業(yè)務(wù)網(wǎng)絡(luò)運(yùn)行。遷移速度網(wǎng)絡(luò)最大傳輸速度為1000Mbps,最大的數(shù)據(jù)傳輸速度為100 Mbps,按大小 文件傳輸平均速率大概為60Mbps。一天數(shù)據(jù)

6、傳輸量=文件傳輸速率*3600*24=60*3600*24=5184000=5TB實(shí)施時(shí)間數(shù)據(jù)遷移包括4個(gè)階段：測(cè)試、預(yù)演、正式遷移、檢驗(yàn)，主要耗費(fèi)時(shí)間為正 式遷移時(shí)間，目前N8000需傳輸?shù)臄?shù)據(jù)量為40TB,傳輸時(shí)間=40TBy5TB=8天 整個(gè)遷移完成時(shí)間預(yù)計(jì)10天左右。4.3. 數(shù)據(jù)校驗(yàn)為了保證數(shù)據(jù)遷移后的一致性，需進(jìn)行遷移前后數(shù)據(jù)的驗(yàn)證，可采取以下3個(gè)方法核驗(yàn)。業(yè)務(wù)驗(yàn)證方式業(yè)務(wù)驗(yàn)證方式是數(shù)據(jù)遷移驗(yàn)證的核心， 由于遷移流程中從小到大、從易到難會(huì)經(jīng) 歷測(cè)試、預(yù)演和正式遷移三個(gè)實(shí)施階段，而這三個(gè)階段分別需要業(yè)務(wù)的驗(yàn)證。由 于成果數(shù)據(jù)的數(shù)量太多，業(yè)務(wù)驗(yàn)證時(shí)間和參與驗(yàn)證的數(shù)據(jù)各有不同， 業(yè)務(wù)驗(yàn)證

7、不 可能面面俱到，不可能涵蓋每一筆數(shù)據(jù)，因此需要根據(jù)每個(gè)階段的測(cè)試目的， 根 據(jù)數(shù)據(jù)的重要性，在不同的實(shí)施階段，選擇不同的數(shù)據(jù)和數(shù)量，制定每個(gè)階段可 行的業(yè)務(wù)驗(yàn)證。在測(cè)試階段，業(yè)務(wù)驗(yàn)證主要是驗(yàn)證數(shù)據(jù)遷移后應(yīng)用能否正常使用，因此該 階段驗(yàn)證側(cè)重的是業(yè)務(wù)的可用性和正確性。預(yù)演階段是正式遷移的預(yù)先演習(xí)。由于內(nèi)部測(cè)試已經(jīng)測(cè)試了較為完整的遷移 流程，預(yù)演的目的主要是驗(yàn)證實(shí)際數(shù)據(jù)遷移的可靠性， 另外預(yù)演還能起到對(duì)數(shù)據(jù) 遷移鏈路一個(gè)壓力測(cè)試作用。在正式遷移階段，所有的驗(yàn)證數(shù)據(jù)均為真實(shí)的操作，之前兩個(gè)階段的驗(yàn)證叮叮小文庫(kù)只在數(shù)據(jù)遷移有效性。遷移完成后的數(shù)據(jù)，此時(shí)的驗(yàn)證要盡可能的詳細(xì)，必須包 含所有核心業(yè)務(wù)，能

8、測(cè)的都需要盡可能得測(cè)到。外圍系統(tǒng)驗(yàn)證如果存在外圍系統(tǒng)，并且這些外圍系統(tǒng)有些是需要與核心系統(tǒng)的應(yīng)用和數(shù)據(jù)打交 道，有些是不需要通過(guò)業(yè)務(wù)交易直接在數(shù)據(jù)層面或者其他層面與核心系統(tǒng)進(jìn)行交 互，基于此，可以對(duì)所有外圍系統(tǒng)進(jìn)行分析，將新舊數(shù)據(jù)遷移后是否正常的系統(tǒng) 進(jìn)行篩選，列出各外圍系統(tǒng)與核心系統(tǒng)的關(guān)聯(lián)性， 并提供可行的外圍系統(tǒng)驗(yàn)證方 法，從而提高數(shù)據(jù)遷移驗(yàn)證的準(zhǔn)確性，減少業(yè)務(wù)交易驗(yàn)證的工作量。技術(shù)驗(yàn)證方案技術(shù)驗(yàn)證的方法可以考慮通過(guò)在特定的時(shí)間在原有的數(shù)據(jù)中插入特定的內(nèi) 容，當(dāng)數(shù)據(jù)遷移完成后，在新的數(shù)據(jù)中查找插入的特定內(nèi)容是否存在，如果不存在，遷移肯定有問(wèn)題，如果存在，則在一定程度上可以證明數(shù)據(jù)的一致性。為了進(jìn)一步驗(yàn)證遷移前后數(shù)據(jù)的一致性， 還可以考慮將數(shù)據(jù)中與應(yīng)用相關(guān)的、 重 要的數(shù)據(jù)求和進(jìn)行統(tǒng)計(jì)，在數(shù)據(jù)遷移完成后，在新的存儲(chǔ)中同樣執(zhí)行相同的統(tǒng)計(jì)， 能得到兩個(gè)數(shù)據(jù)，將前后兩次所得到的數(shù)據(jù)進(jìn)行對(duì)比，如果兩個(gè)數(shù)都分別完全一 致，則從另一個(gè)角度也能說(shuō)明遷移前后新舊數(shù)據(jù)庫(kù)數(shù)據(jù)的一致性。完整性和可用性驗(yàn)證相對(duì)比較簡(jiǎn)單，只要遷移后的新數(shù)據(jù)能正常打開，并且架構(gòu)在數(shù)據(jù)之上的 應(yīng)用能正常啟動(dòng)，不會(huì)報(bào)由于數(shù)據(jù)的問(wèn)題導(dǎo)致應(yīng)用不可用， 那就可以肯定遷移后 的新數(shù)據(jù)是完整的、可用的。數(shù)據(jù)遷移的驗(yàn)證是一個(gè)非常重要的內(nèi)容， 通過(guò)驗(yàn)證 可以確定新舊數(shù)據(jù)庫(kù)內(nèi)容是否一