數(shù)據(jù)遷移方案

1、數(shù)據(jù)遷移方案N8000到AS13000廣東XX信息技術(shù)有限2015年7月1. 系統(tǒng)拓?fù)鋱D2. 需求分析新增設(shè)備：2臺AS13000-NAS、1臺NAS網(wǎng)關(guān)和1套DPS備份系統(tǒng)通過光纖跳線連接萬兆交換機(jī)，中間服務(wù)器和華賽N8000通過6類網(wǎng)線連接萬兆交換機(jī)，最低達(dá)到千兆交換的物理基礎(chǔ)架構(gòu)。其中1臺AS13000-NAS作為成果數(shù)據(jù)存儲，通過NAS網(wǎng)關(guān)對外提供存儲服務(wù)，另一臺通過DPS備份軟件實(shí)現(xiàn)數(shù)據(jù)備份。 華賽N8000存儲數(shù)據(jù)有40TB，包括各種大小文件、壓縮包，需安全遷移到AS13000，實(shí)現(xiàn)數(shù)據(jù)的備份和共享。數(shù)據(jù)遷移是敏感性動作，必須保證遷移數(shù)據(jù)的完整性、可用性，一致性。 華賽N8000已

2、發(fā)生硬件故障，須盡快完成數(shù)據(jù)遷移工作。3. 數(shù)據(jù)遷移方案本次數(shù)據(jù)遷移的目標(biāo)是在最少存儲中斷服務(wù)時間內(nèi)完成數(shù)據(jù)在兩個存儲設(shè)備之間快速有序遷移，并保證數(shù)據(jù)的完整性、可用性，一致性。 我們在本方案中建議以下2種方式實(shí)現(xiàn)存儲設(shè)備之間的數(shù)據(jù)遷移：l 文件復(fù)制n 通過全備份、增量備份實(shí)現(xiàn)數(shù)據(jù)遷移n 實(shí)現(xiàn)方式簡單，遷移成本較低n 需要較長的存儲中斷服務(wù)時間l 備份軟件遷移n 通過建立選擇備份的模式運(yùn)行實(shí)現(xiàn)數(shù)據(jù)自動復(fù)制，實(shí)現(xiàn)數(shù)據(jù)遷移n 支持異構(gòu)平臺n 需要第三方備份工具支持，成本較高3.1. 文件復(fù)制該方法是通過中間服務(wù)器的指令在2個存儲設(shè)備之間復(fù)制數(shù)據(jù)，數(shù)據(jù)遷移實(shí)現(xiàn)方式簡單，不需要對源數(shù)據(jù)進(jìn)行設(shè)置變更，不影

3、響源數(shù)據(jù)的正常運(yùn)行；但該方式遷移數(shù)據(jù)需要較長的遷移周期，同時需要安排一定的存儲中斷服務(wù)時間，以保證數(shù)據(jù)的完整遷移。該方法不適用于增量數(shù)據(jù)遷移，增量數(shù)據(jù)需另配存儲或在存儲中臨時劃LUN替用，遷移完原數(shù)據(jù)后再遷移增量數(shù)據(jù)。3.2. 備份軟件遷移該方法通過安裝的備份軟件實(shí)現(xiàn)2個存儲設(shè)備之間數(shù)據(jù)備份，向?qū)е敢氵M(jìn)行文件的備份與恢復(fù)，支持任務(wù)排程，進(jìn)行備份時可以根據(jù)文件類型有選擇的進(jìn)行備份，備份文件可以壓縮為ZIP文件進(jìn)行存放，以節(jié)省空間，并且可以通過壓縮密碼保護(hù)您的文件。整個遷移過程都是可控的，原有存儲環(huán)境保留，避免了遷移過程中的數(shù)據(jù)損失，保證了系統(tǒng)的平穩(wěn)過渡。 該方法適用于增量數(shù)據(jù)遷移，滿足存儲系統(tǒng)

4、不間斷運(yùn)行。需另行采購備份軟件實(shí)施，提高實(shí)施成本。3.3. 方案對比文件復(fù)制備份軟件遷移難易程度較為容易需要專業(yè)軟件存儲中斷服務(wù)時間較長長實(shí)施額外費(fèi)用無需要購買軟件授權(quán)需要調(diào)整現(xiàn)有數(shù)據(jù)設(shè)置無無遷移周期較長長平臺要求同構(gòu)平臺無要求 通過以上2種方案綜合比對，建議采購文件復(fù)制方式實(shí)施數(shù)據(jù)遷移。 4. 數(shù)據(jù)遷移實(shí)施4.1. AS13000部署新購存儲預(yù)計(jì)7月10日到貨，硬件設(shè)備上架安裝1天，存儲系統(tǒng)規(guī)劃調(diào)試3天，預(yù)計(jì)7月17日可開始實(shí)施數(shù)據(jù)遷移工作。4.2. 數(shù)據(jù)遷移實(shí)施l 數(shù)據(jù)遷移系統(tǒng)搭建數(shù)據(jù)遷移系統(tǒng)由華賽N8000、中間服務(wù)器、AS13000、網(wǎng)絡(luò)設(shè)備組成。l 數(shù)據(jù)遷移鏈路由華賽N8000、中間

5、服務(wù)器、AS13000連接到萬兆交換機(jī)，最低1000Mbps的以太網(wǎng)鏈路互聯(lián)。如不能連接到萬兆交換機(jī)，需要專門的千兆交換機(jī)保證數(shù)據(jù)傳輸，減少影響業(yè)務(wù)網(wǎng)絡(luò)運(yùn)行。l 遷移速度網(wǎng)絡(luò)最大傳輸速度為1000Mbps，最大的數(shù)據(jù)傳輸速度為100 Mbps，按大小文件傳輸平均速率大概為60 Mbps。 一天數(shù)據(jù)傳輸量文件傳輸速率*3600*24 60*3600*24=5184000=5TBl 實(shí)施時間數(shù)據(jù)遷移包括4個階段：測試、預(yù)演、正式遷移、檢驗(yàn)，主要耗費(fèi)時間為正式遷移時間，目前N8000需傳輸?shù)臄?shù)據(jù)量為40TB，傳輸時間40TB/5TB8天整個遷移完成時間預(yù)計(jì)10天左右。4.3. 數(shù)據(jù)校驗(yàn)為了保證數(shù)據(jù)遷

6、移后的一致性，需進(jìn)行遷移前后數(shù)據(jù)的驗(yàn)證，可采取以下3個方法核驗(yàn)。l 業(yè)務(wù)驗(yàn)證方式 業(yè)務(wù)驗(yàn)證方式是數(shù)據(jù)遷移驗(yàn)證的核心，由于遷移流程中從小到大、從易到難會經(jīng)歷測試、預(yù)演和正式遷移三個實(shí)施階段，而這三個階段分別需要業(yè)務(wù)的驗(yàn)證。由于成果數(shù)據(jù)的數(shù)量太多，業(yè)務(wù)驗(yàn)證時間和參與驗(yàn)證的數(shù)據(jù)各有不同，業(yè)務(wù)驗(yàn)證不可能面面俱到，不可能涵蓋每一筆數(shù)據(jù)，因此需要根據(jù)每個階段的測試目的，根據(jù)數(shù)據(jù)的重要性，在不同的實(shí)施階段，選擇不同的數(shù)據(jù)和數(shù)量，制定每個階段可行的業(yè)務(wù)驗(yàn)證。在測試階段，業(yè)務(wù)驗(yàn)證主要是驗(yàn)證數(shù)據(jù)遷移后應(yīng)用能否正常使用，因此該階段驗(yàn)證側(cè)重的是業(yè)務(wù)的可用性和正確性。預(yù)演階段是正式遷移的預(yù)先演習(xí)。由于內(nèi)部測試已經(jīng)測試了

7、較為完整的遷移流程，預(yù)演的目的主要是驗(yàn)證實(shí)際數(shù)據(jù)遷移的可靠性，另外預(yù)演還能起到對數(shù)據(jù)遷移鏈路一個壓力測試作用。在正式遷移階段，所有的驗(yàn)證數(shù)據(jù)均為真實(shí)的操作，之前兩個階段的驗(yàn)證只在數(shù)據(jù)遷移有效性。遷移完成后的數(shù)據(jù)，此時的驗(yàn)證要盡可能的詳細(xì)，必須包含所有核心業(yè)務(wù)，能測的都需要盡可能得測到。l 外圍系統(tǒng)驗(yàn)證 如果存在外圍系統(tǒng)，并且這些外圍系統(tǒng)有些是需要與核心系統(tǒng)的應(yīng)用和數(shù)據(jù)打交道，有些是不需要通過業(yè)務(wù)交易直接在數(shù)據(jù)層面或者其他層面與核心系統(tǒng)進(jìn)行交互，基于此，可以對所有外圍系統(tǒng)進(jìn)行分析，將新舊數(shù)據(jù)遷移后是否正常的系統(tǒng)進(jìn)行篩選，列出各外圍系統(tǒng)與核心系統(tǒng)的關(guān)聯(lián)性，并提供可行的外圍系統(tǒng)驗(yàn)證方法，從而提高數(shù)據(jù)

8、遷移驗(yàn)證的準(zhǔn)確性，減少業(yè)務(wù)交易驗(yàn)證的工作量。l 技術(shù)驗(yàn)證方案技術(shù)驗(yàn)證的方法可以考慮通過在特定的時間在原有的數(shù)據(jù)中插入特定的內(nèi)容，當(dāng)數(shù)據(jù)遷移完成后，在新的數(shù)據(jù)中查找插入的特定內(nèi)容是否存在，如果不存在，遷移肯定有問題，如果存在，則在一定程度上可以證明數(shù)據(jù)的一致性。 為了進(jìn)一步驗(yàn)證遷移前后數(shù)據(jù)的一致性，還可以考慮將數(shù)據(jù)中與應(yīng)用相關(guān)的、重要的數(shù)據(jù)求和進(jìn)行統(tǒng)計(jì)，在數(shù)據(jù)遷移完成后，在新的存儲中同樣執(zhí)行相同的統(tǒng)計(jì)，能得到兩個數(shù)據(jù)，將前后兩次所得到的數(shù)據(jù)進(jìn)行對比，如果兩個數(shù)都分別完全一致，則從另一個角度也能說明遷移前后新舊數(shù)據(jù)庫數(shù)據(jù)的一致性。完整性和可用性驗(yàn)證相對比較簡單，只要遷移后的新數(shù)據(jù)能正常打開，并且架構(gòu)在數(shù)據(jù)之上的應(yīng)用能正常啟動，不會報(bào)由于數(shù)據(jù)的問題導(dǎo)致應(yīng)用不可用，那就可以肯定遷移后的新數(shù)據(jù)是完整的、可用的。數(shù)據(jù)遷移的驗(yàn)證是一個非常重要的內(nèi)容，通過驗(yàn)證可以確定新舊數(shù)據(jù)庫內(nèi)容是否一致，可以確