MoveSure云遷移技術(shù)白皮書

1、MoveSure云遷移技術(shù)白皮書上海數(shù)騰軟件科技股份有限公司2017年6月聲明上海數(shù)騰軟件科技股份有限公司所有，并保留對本文檔及本聲明的最終解釋權(quán)和修改權(quán)。本文檔中出現(xiàn)的任何文字?jǐn)⑹?、文檔格式、插圖、照片、方法、過程等內(nèi)容，除另有特別注明外，其著作權(quán)或其它相關(guān)權(quán)利均屬于上海數(shù)騰軟件科技股份有限公司。未經(jīng)上海數(shù)騰軟件科技股份有限公司書面同意，任何人不得以任何方式或形式對本文檔內(nèi)的任何部分進(jìn)行復(fù)制、摘錄、備份、修改、傳播、翻譯成其他語言、將其全部或部分用于商業(yè)用途。免責(zé)條款本文檔僅用于為最終用戶提供信息，其內(nèi)容如有更改，恕不另行通知。上海數(shù)騰軟件科技股份有限公司在編寫本文檔的時候已盡最大努力保證其

2、內(nèi)容準(zhǔn)確可靠，但上海數(shù)騰軟件科技股份有限公司不對本文檔中的遺漏、不準(zhǔn)確、或錯誤導(dǎo)致的損失和損害承擔(dān)責(zé)任。信息反饋如果您有任何寶貴意見，請反饋：信箱：上海市普陀區(qū)大渡河路168弄31號E棟9樓郵編：200062免費咨詢熱線：400-821-6995800-820-6995公司總線：086-產(chǎn)品售后服務(wù)：086-8002數(shù)據(jù)恢復(fù)服務(wù)：086-8008傳真：086-8003企業(yè)郵箱：您也可以訪問數(shù)騰網(wǎng)站：獲得最新的技術(shù)和產(chǎn)品信息。TOC o 1-5 h z HYPERLINK l bookmark10 o Current Document 第一章產(chǎn)品介紹篇1 HYPERLINK l bookmark

3、12 o Current Document 1.1.背景概述1 HYPERLINK l bookmark14 o Current Document 1.2.上云焦點問題1 HYPERLINK l bookmark16 o Current Document 1.3.支持平臺1 HYPERLINK l bookmark18 o Current Document 1.4.風(fēng)險預(yù)案2 HYPERLINK l bookmark20 o Current Document 第二章方案應(yīng)用篇3 HYPERLINK l bookmark22 o Current Document 2.1.方案一3 HYPERLI

4、NK l bookmark24 o Current Document 2.2.方案二3 HYPERLINK l bookmark26 o Current Document 2.3.適用的遷移場景4 HYPERLINK l bookmark28 o Current Document 2.4.方案優(yōu)勢4 HYPERLINK l bookmark30 o Current Document 2.5.整機遷移5端到端的整機精簡遷移5端到端的增量遷移6遷移數(shù)據(jù)仿真驗證62.6.小型機數(shù)據(jù)庫遷移錯誤!未定義書簽。2.7.數(shù)據(jù)庫集群遷移錯誤!未定義書簽。 HYPERLINK l bookmark34 o Cu

5、rrent Document 第三章關(guān)鍵技術(shù)篇8 HYPERLINK l bookmark36 o Current Document 3.1.產(chǎn)品架構(gòu)83.2.關(guān)鍵技術(shù)9 HYPERLINK l bookmark38 o Current Document 3.3.實現(xiàn)價值11 HYPERLINK l bookmark40 o Current Document 第四章數(shù)騰軟件簡介1.2第一章產(chǎn)品介紹篇1.1.背景概述如果為目前的信息技術(shù)產(chǎn)業(yè)設(shè)置關(guān)鍵詞，云遷移無疑是其中之一。如今，很多企業(yè)的IT管理人員都在考慮將企業(yè)數(shù)據(jù)向云中遷移，云遷移逐漸成為一個熱門趨勢。據(jù)Gartner預(yù)測，2015年云遷移

6、將增長89.5%,市場份額達(dá)到28.8億美元;到2016年，云存儲在共享內(nèi)容上和能夠?qū)崿F(xiàn)從多個設(shè)備上并發(fā)訪問內(nèi)容的能力會促使消費者將超過1/3的數(shù)字內(nèi)容遷移存儲到云中。同時，越來越多的企業(yè)用戶在咨詢有關(guān)如何將數(shù)據(jù)遷移到云環(huán)境的問題。為了追趕上云改造的浪潮，抓住目前市場大規(guī)模遷移的需求，將遷移這一功能從容災(zāi)備份產(chǎn)品中獨立出來，作為一個直接遷移的產(chǎn)品來設(shè)計和推廣。因為遷移是一個一過性的服務(wù)，因此該產(chǎn)品需具備兩個方面的特點：一是具有便捷高效的穩(wěn)定高效可靠的遷移功能，能夠提供市場同類產(chǎn)品所無法提供的服務(wù)。二是要考慮和既有的數(shù)騰容災(zāi)備份產(chǎn)品有機結(jié)合，能夠在完成遷移服務(wù)后，有效的引導(dǎo)用戶繼續(xù)購買和使用數(shù)騰

7、的容災(zāi)備份產(chǎn)品。上云焦點問題業(yè)務(wù)中斷時間：最小限度減少待遷移業(yè)務(wù)的中斷時間。采用業(yè)務(wù)不停機方式進(jìn)行數(shù)據(jù)遷移，再少量遷移增量數(shù)據(jù)。即遷即可用：基于精簡的CDP技術(shù)，源端到目標(biāo)端一體化遷移，包括系統(tǒng)、數(shù)據(jù)庫、中間件和應(yīng)用。異構(gòu)平臺遷移：任意X2X遷移，智能硬件識別和驅(qū)動注入保證異構(gòu)平臺平滑遷移。小型機數(shù)據(jù)庫采用備份或復(fù)制方式。全方案流程管理：遷移前調(diào)研、規(guī)劃、分級或分批遷移、集中遷移管理、遷移數(shù)據(jù)完整性測試和驗證，業(yè)務(wù)割接。支持平臺支持所有X86平臺一體化遷移支持云平臺/物理服務(wù)器圖1.3-1所有支持平臺1.4.風(fēng)險預(yù)案限速遷移：為避免遷移過程中，數(shù)據(jù)傳輸占用業(yè)務(wù)帶寬，影響業(yè)務(wù)運行，遷移過程可以限

8、制數(shù)據(jù)傳輸速度；及時回退：遷移過程發(fā)生任何風(fēng)險，遷移操作可以立即中止，且回退到遷移前的狀態(tài)結(jié)果驗證：為確保遷移成功，遷移完成后，可先對遷移結(jié)果進(jìn)行驗證，再進(jìn)行業(yè)務(wù)切割。第二章方案應(yīng)用篇2.1.方案一源生產(chǎn)環(huán)境整機一體化備份到遷移平臺，再恢復(fù)到目標(biāo)平臺；遷移平臺可提供業(yè)務(wù)接管，數(shù)據(jù)仿真測試和驗證；也可不進(jìn)行業(yè)務(wù)接管，關(guān)閉源業(yè)務(wù)后，備份快照數(shù)據(jù)到遷移平臺后直接恢復(fù)。業(yè)務(wù)訪間遷移完成業(yè)務(wù)切換后數(shù)胭恢復(fù)數(shù)擄遷移業(yè)務(wù)接管*圖2.1-1業(yè)務(wù)流程12.2.方案二源生產(chǎn)環(huán)境整機一體化直遷目標(biāo)云平臺主機上，業(yè)務(wù)可不間斷訪問源平臺遷移平臺對遷移任務(wù)集中批量管理，提供遷移時間和業(yè)務(wù)割接時間評估；在用戶可接受時間內(nèi)進(jìn)

9、行業(yè)務(wù)割接，業(yè)務(wù)訪問最終切換到云平臺。接入業(yè)務(wù)訪向遷移完成，業(yè)等切換后數(shù)據(jù)遷移圖2.2-1業(yè)務(wù)流程22.3.適用的遷移場景AnyMigration技術(shù)可以實現(xiàn)X2X的任意方向自由進(jìn)行一體化業(yè)務(wù)系統(tǒng)遷移，無論是異構(gòu)的服務(wù)器之間還是異構(gòu)的虛擬化平臺之間，亦或是物理服務(wù)器與虛擬化平臺之間，遷進(jìn)遷出隨心所欲。圖2.3-1遷移場景圖2.4.方案優(yōu)勢快速高效塊級精簡復(fù)制（專利技術(shù)）成功率99%并行多業(yè)務(wù)同時遷業(yè)務(wù)無縫遷移多平臺系統(tǒng)遷移，X2X支持風(fēng)險可控遷移過程不影響原機業(yè)務(wù)運行和性能遷移過程可視化，遷移結(jié)果可驗證簡化流程簡化內(nèi)部協(xié)調(diào)過程，如停機協(xié)調(diào)、人員協(xié)調(diào)簡化外部協(xié)調(diào)過程，如各廠商協(xié)調(diào)、集成商協(xié)調(diào)2.

10、5.整機遷移整機遷移技術(shù)：將各業(yè)務(wù)的實時備份點數(shù)據(jù)，通過網(wǎng)絡(luò)以精簡塊遷移、實時增量遷移到目標(biāo)端云主機上。前提是目標(biāo)端磁盤大于等于源端磁盤MoveSure支持在整機遷移時候，先啟動影子系統(tǒng)對備份數(shù)據(jù)完整性進(jìn)行測試校驗，確定備份數(shù)據(jù)完整可靠之后，可以一次性快速重建分區(qū)結(jié)構(gòu)和引導(dǎo)扇區(qū)。整機遷移可以實現(xiàn)系統(tǒng)+數(shù)據(jù)+應(yīng)用一次性遷移到目標(biāo)端云主機，是MoveSure效率最高,最方便的遷移模式。整機遷移完成后，會對遷移結(jié)果進(jìn)行一次驗證，即用戶對遷移后的環(huán)境進(jìn)行一次確認(rèn)的過程，由用戶手動進(jìn)行操作。遷移提示完成后，用戶保證源機系統(tǒng)關(guān)閉的情況下，手動啟動目標(biāo)機器，驗證啟動后的系統(tǒng)環(huán)境是否符合預(yù)期。如果機器沒有正常

11、啟動或者啟動后的環(huán)境發(fā)生數(shù)據(jù)丟失或者偏差，再目標(biāo)機使用光驅(qū)進(jìn)行引導(dǎo)，和源機進(jìn)行一次同步操作，將之前未能成功遷移的數(shù)據(jù)進(jìn)行一次同步。裸機引導(dǎo)目標(biāo)端云主機精簡塊遷移/實日弟曾量遷移遷移結(jié)果驗證業(yè)務(wù)切換到云主機圖2.4-1整機遷移流程圖端到端的整機精簡遷移通過智能磁盤空間識別技術(shù)，只復(fù)制磁盤上分布的有效數(shù)據(jù)，空閑的空間跳過不做操作極大提高了遷移速度。2.4.1-1端到端的整機精簡遷移端到端的增量遷移通過智能磁盤增量實時旁路監(jiān)控技術(shù)，記錄磁盤變化量，整機遷移后，僅需遷移增量數(shù)據(jù)極大減少業(yè)務(wù)中斷時間。2.4.2-1端到端的增量遷移遷移數(shù)據(jù)仿真驗證遷移平臺可提供虛擬化計算服務(wù)，基于源平臺數(shù)據(jù)進(jìn)行仿真驗證，

12、確保遷移數(shù)據(jù)的正確性2.4.3-1遷移數(shù)據(jù)仿真驗證第三章關(guān)鍵技術(shù)篇3.1.產(chǎn)品架構(gòu)MoveSure系統(tǒng)是將用戶的待遷移機器中的硬盤中的數(shù)據(jù)和系統(tǒng)直遷到遷移目標(biāo)機器中。該系統(tǒng)支持冷遷和熱遷兩種模式。冷遷指的是業(yè)務(wù)系統(tǒng)關(guān)閉，對業(yè)務(wù)系統(tǒng)的磁盤進(jìn)行全鏡像復(fù)制。熱遷移是指在業(yè)務(wù)不中斷的情況下，最小限度的影響用戶的業(yè)務(wù)。遷移模式主要點對點遷移方式，待遷移機器直接落入到目標(biāo)機的數(shù)據(jù)磁盤，數(shù)據(jù)只經(jīng)過網(wǎng)絡(luò)傳輸，不經(jīng)過第三方機器的磁盤寫入操作。支持遷移任務(wù)配置和遷移任務(wù)監(jiān)控。遷移任務(wù)配置包括客戶端和目標(biāo)端配對、任務(wù)策略配置。在遷移的過程中，可以進(jìn)行客戶端信息監(jiān)控，包含磁盤和連接狀態(tài)檢測、本地環(huán)境檢測、驅(qū)動信息檢測

13、。遷移任務(wù)控制臺集中管控可以對當(dāng)前任務(wù)狀態(tài)展示、當(dāng)前任務(wù)操作、增量遷移。遷移故障處理可以對遷移失敗的機器進(jìn)行再次修復(fù)。如下圖3.1-1所示，本系統(tǒng)分為遷移客戶端（MSC）、遷移服務(wù)器（MSAS）和遷移目標(biāo)客戶端（MSTC）三個功能角色。其中遷移操作是本系統(tǒng)的主要功能。系統(tǒng)圍繞遷移這條主線，可以分為遷移環(huán)境配置和檢測、遷移任務(wù)配置和監(jiān)控、遷移結(jié)果驗證和修復(fù)三大類。遷移環(huán)境配置和檢測：是用戶首先準(zhǔn)備好遷移和待遷移的機器環(huán)境（包括網(wǎng)絡(luò)和磁盤），在待遷移機器中安裝遷移客戶端，在遷移目標(biāo)服務(wù)器器中安裝遷移目標(biāo)客戶端，在第三方服務(wù)器上安裝管理服務(wù)器。在環(huán)境配置安裝完畢后，用戶可以通過在Web控制界面上對目

14、標(biāo)客戶端上報的信息進(jìn)行一次預(yù)檢測。用戶首先判斷目標(biāo)服務(wù)器的環(huán)境是否具備遷移的條件。包括目標(biāo)磁盤大小、操作系統(tǒng)匹配、目標(biāo)驅(qū)動匹配這三方面。遷移任務(wù)配置和監(jiān)控：是用戶啟動管理平臺（MSWS）后，在配置具體的遷移操作時，對配對遷移和待遷移平臺配置遷移任務(wù)參數(shù)。參數(shù)的配置包括遷移目標(biāo)的磁盤配置、遷移目標(biāo)服務(wù)器的選擇、遷移結(jié)束條件的選擇和冷遷、熱遷的選擇。遷移驗證：是用戶對遷移后的環(huán)境進(jìn)行一次確認(rèn)的過程，由用戶手動進(jìn)行操作。遷移提示完成后，用戶保證源服務(wù)器系統(tǒng)關(guān)閉的情況下，手動啟動目標(biāo)服務(wù)器，驗證啟動后的系統(tǒng)環(huán)境是否符合預(yù)期。如果機器沒有正常啟動或者啟動后的環(huán)境發(fā)生數(shù)據(jù)丟失或者偏差，再次對目標(biāo)服務(wù)器使用

15、光驅(qū)進(jìn)行引導(dǎo)，和源服務(wù)器進(jìn)行一次同步操作，將之前未能成功遷移的數(shù)據(jù)進(jìn)行一次同步。MoveSurePlatformIbsKconfigla?#wTlifrAuthorizationOperator制”LamentfCHliilLJ(MSW5)NewDevelopReuse|ModifyChannel!MsgChannel圖3.1-1產(chǎn)品架構(gòu)圖3.2.關(guān)鍵技術(shù)在傳統(tǒng)的遷移工具或者方案中，用戶往往是采用數(shù)據(jù)存儲和恢復(fù)或者業(yè)務(wù)中斷的方式在執(zhí)行遷移的過程中，這樣業(yè)務(wù)中斷時間會延長，也會一定程度的影響用戶的使用。同時對遷移的目標(biāo)服務(wù)器沒有一個校驗算法，只能通過人工的方式進(jìn)行手動校驗，這樣的效率會比較低下而

16、且無法進(jìn)行故障恢復(fù)，因而只能采用重新遷移的方式MoveSure采用了獨特的校驗算法，實現(xiàn)了業(yè)務(wù)直遷和業(yè)務(wù)準(zhǔn)無縫遷移，保證了用戶遷移的效率和完整性。業(yè)務(wù)直遷：直遷的概念是實現(xiàn)目標(biāo)服務(wù)器和源服務(wù)器的點對點遷移功能，中間無需經(jīng)過存儲器或者中間機器及，而是待遷移機器直接落入到目標(biāo)服務(wù)器的數(shù)據(jù)磁盤，數(shù)據(jù)只經(jīng)過網(wǎng)絡(luò)傳輸，不經(jīng)過第三方機器的磁盤寫入操作。相比較傳統(tǒng)的遷移或者手動數(shù)據(jù)搬遷，用戶首先要將源服務(wù)器的業(yè)務(wù)進(jìn)行終端，然后將源服務(wù)器的內(nèi)容轉(zhuǎn)為存儲文件，再由用戶將存儲文件拷貝到目標(biāo)服務(wù)器器，恢復(fù)到目標(biāo)磁盤分區(qū)上，用戶驗證機器無誤后，再恢復(fù)業(yè)務(wù)系統(tǒng)，經(jīng)過了這些過程，用戶業(yè)務(wù)中斷的時間不可控，會對用戶的業(yè)務(wù)造

17、成不小的影響。MoveSure的直遷系統(tǒng)采用Web集中式管理，數(shù)據(jù)傳輸采用p2p的方式，采用自定義高效數(shù)據(jù)傳輸協(xié)議，將客戶端的數(shù)據(jù)通過直連通道傳輸?shù)侥繕?biāo)端中，最大程度的保證了數(shù)據(jù)傳輸?shù)男?。特殊的校驗算法：MoveSure采用獨特的同步和校驗算法支持在線業(yè)務(wù)遷移。無縫遷移是通過系統(tǒng)的全量遷移、數(shù)據(jù)校驗和增量遷移這幾個步驟來實現(xiàn)的，系統(tǒng)業(yè)務(wù)在線時通過全量遷移來復(fù)制整個磁盤，然后做增量遷移的操作，將全盤遷移過程中產(chǎn)生的數(shù)據(jù)再次復(fù)制到目標(biāo)機器當(dāng)中，保證數(shù)據(jù)的一致性。而且系統(tǒng)通過自己的獨特的校驗算法對遷移目標(biāo)環(huán)境進(jìn)行校驗，保證對剩余數(shù)據(jù)的同步。業(yè)務(wù)準(zhǔn)無縫遷移：用戶可以不關(guān)閉業(yè)務(wù)的同時進(jìn)行遷移操作，保證

18、用戶的業(yè)務(wù)受到較小的影響。MoveSure采用獨特的同步和校驗算法支持在線業(yè)務(wù)遷移。無縫遷移是通過系統(tǒng)的全量遷移、數(shù)據(jù)校驗和增量遷移這幾個步驟來實現(xiàn)的，系統(tǒng)業(yè)務(wù)在線時通過全量遷移來復(fù)制整個磁盤，然后做增量遷移的操作，將全盤遷移過程中產(chǎn)生的數(shù)據(jù)再次復(fù)制到目標(biāo)服務(wù)器器當(dāng)中，保證數(shù)據(jù)的一致性。而且系統(tǒng)通過自己的獨特的校驗算法對遷移目標(biāo)環(huán)境進(jìn)行校驗，保證對剩余數(shù)據(jù)的同步。通過以上技術(shù)，基本上對在線業(yè)務(wù)環(huán)境做到了無縫遷移，將用戶的業(yè)務(wù)中斷影響降低到最小程度。在整個業(yè)務(wù)遷移的過程中，系統(tǒng)會實時的計算和評估業(yè)務(wù)完成時間，提高了用戶操作的便攜性和可控性。3.3.實現(xiàn)價值應(yīng)用了MoveSure來進(jìn)行數(shù)據(jù)遷移，加

19、快了新服務(wù)器技術(shù)的部署。可以實現(xiàn)自動化的遷移，通過采用向?qū)Х绞桨惭b與配置減少了手工操作的步驟和降低了出現(xiàn)故障的幾率。同時我們還看到，安全更新到新服務(wù)器技術(shù)，放心的遷移帶來了操作系統(tǒng)，應(yīng)用程序和數(shù)據(jù)的安全可靠，提高了用戶系統(tǒng)平臺遷移的可靠性。最小化部署新技術(shù)的成本：低廉的遷移成本，滿足了用戶使用最少的資金實現(xiàn)最大的目標(biāo)的愿望。整合了企業(yè)IT環(huán)境中的物理設(shè)備和虛擬設(shè)備，進(jìn)行統(tǒng)一的平臺管理和必要的遷移調(diào)度。實現(xiàn)了IT資源的完全貢獻(xiàn)，節(jié)省系統(tǒng)資源，簡化了全新服務(wù)器技術(shù)的轉(zhuǎn)移。第四章數(shù)騰軟件簡介上海數(shù)騰軟件科技股份有限公司（簡稱數(shù)騰科技）成立于2004年，是集技術(shù)開發(fā)、軟件銷售、產(chǎn)品服務(wù)于一體的軟件開發(fā)公司。在“智慧運維”的理念倡導(dǎo)下，公司將智慧與運維完美的結(jié)合起來，不斷推進(jìn)數(shù)據(jù)安全技術(shù)方面的進(jìn)步，從用戶的需求出發(fā)，以創(chuàng)新、高效、與時俱進(jìn)的原則籌劃及經(jīng)營各項產(chǎn)品，切實做到了解決方案的化繁為簡，為用戶