iMaster NCE-WAN異地容災(zāi)技術(shù)白皮書

1、 DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name iMaster NCE-WAN DOCPROPERTY DocumentName 異地容災(zāi)技術(shù)白皮書目 錄 TOC h z t 標題 1,1,標題 2,2,標題 3,3, 標題 4,4, 標題 5,5, 標題 7,1, 標題 8,2, 標題 9,3, Heading1 No Number,1,Appendix heading 1,1,Appendix heading 2,2,Appendix heading 3,3,Appendix heading 4,4,Appendix hea

2、ding 5,5, Heading 1,1,Heading 2,2,Heading 3,3, Heading 4,4, Heading 5,5, Heading 7,1,Heading 8,2,Heading 9,3 HYPERLINK l _Toc9496799 1 概述 技術(shù)特色 HYPERLINK l _ZH-CN_TOPIC_0169512173 o 1.1 產(chǎn)生背景 HYPERLINK l _ZH-CN_TOPIC_0169512174 o 1.2 主要功能 HYPERLINK l _ZH-CN_TOPIC_0169512175 o 1.3 技術(shù)特色產(chǎn)生背景隨著企業(yè)規(guī)模的擴展，簡單的

3、數(shù)據(jù)備份已經(jīng)無法滿足關(guān)鍵業(yè)務(wù)對系統(tǒng)的可用性、實時性、安全性的需要。更重要的是備份的數(shù)據(jù)往往會因為各種因素而遭到毀壞，如地震、火災(zāi)、丟失等。對于一個大企業(yè)、一個數(shù)據(jù)中心來說，時時都有大量的終端用戶使用其業(yè)務(wù)，任何的業(yè)務(wù)中斷、數(shù)據(jù)丟失都會使企業(yè)遭受嚴重的損失。如何提高系統(tǒng)的高可用性已經(jīng)成為企業(yè)用戶最關(guān)心的問題，軟件系統(tǒng)的高可用設(shè)計也成為重中之重。異地容災(zāi)解決方案是通過在不同的地點建立備份系統(tǒng)，系統(tǒng)之間可以進行健康狀態(tài)監(jiān)視和功能切換，當一處系統(tǒng)因意外（如火災(zāi)、地震等）停止工作時，整個應(yīng)用系統(tǒng)可以切換到另一處，使得該系統(tǒng)功能可以繼續(xù)正常工作，提高系統(tǒng)應(yīng)對災(zāi)難的能力。主要功能為了提升NCE-WAN應(yīng)對災(zāi)

4、難的能力，提高可靠性，在NCE-WAN本地集群的基礎(chǔ)上，增加了異地容災(zāi)的設(shè)計。異地容災(zāi)的手動災(zāi)備保護如下：在兩個地域各部署一套NCE-WAN集群，互相形成主備保護，重要的業(yè)務(wù)數(shù)據(jù)會實時從主集群同步到備集群，主備之間可以分別登錄維護管理系統(tǒng)查看對方的連接狀態(tài)。在主集群故障無法恢復(fù)的情況下，管理員可以登錄維護管理系統(tǒng)，對備集群進行人工升主以接管業(yè)務(wù)，保證業(yè)務(wù)可以快速恢復(fù)。由人工確認原主備集群狀態(tài)決定如何進行主備倒換，可以有效防止雙主情況的出現(xiàn)。技術(shù)特色應(yīng)用級容災(zāi)NCE-WAN容災(zāi)方案非簡單的數(shù)據(jù)級容災(zāi)（即只是做到了數(shù)據(jù)的異地備份），而是應(yīng)用系統(tǒng)級的容災(zāi)，當主集群故障后，除了數(shù)據(jù)不丟失以外還能實現(xiàn)災(zāi)

5、備系統(tǒng)快速上線接管業(yè)務(wù)。備集群具有主集群相同的業(yè)務(wù)能力，可快速恢復(fù)業(yè)務(wù)容災(zāi)方案要求備集群節(jié)點數(shù)量與主集群相同，使備集群具備了與主集群相同的業(yè)務(wù)處理能力，即完全接管主集群業(yè)務(wù)的能力，可以在主集群故障后快速接管業(yè)務(wù)并上線。南北向統(tǒng)一VIP，實現(xiàn)主備容災(zāi)系統(tǒng)對外統(tǒng)一的訪問地址，可以滿足更多業(yè)務(wù)場景。靈活的容災(zāi)配置，方便的容災(zāi)維護能力容災(zāi)提供了便捷的運維界面，使管理員可以方便的查看容災(zāi)系統(tǒng)狀態(tài)，修改容災(zāi)系統(tǒng)參數(shù)，進行容災(zāi)倒換操作。數(shù)據(jù)同步策略分類設(shè)置根據(jù)業(yè)務(wù)數(shù)據(jù)的差異，將業(yè)務(wù)數(shù)據(jù)分成多種類別，提供不同的同步策略。將只有本地集群使用的數(shù)據(jù)存放本地DB，不進行主備同步，減小對帶寬的要求；將業(yè)務(wù)配置類數(shù)據(jù)存

6、放于業(yè)務(wù)DB，并配置實時同步策略，保證數(shù)據(jù)不丟失，RPO基本為0，備升主后不需要進行對賬即可上線提供服務(wù)，提升了升主的性能。技術(shù)實現(xiàn)REF _ZH-CN_TOPIC_0169512177 r h * MERGEFORMAT 2.1 REF _ZH-CN_TOPIC_0169512177-chtext h * MERGEFORMAT 異地容災(zāi)組網(wǎng)基礎(chǔ)概念REF _ZH-CN_TOPIC_0169512178 r h * MERGEFORMAT 2.2 REF _ZH-CN_TOPIC_0169512178-chtext h * MERGEFORMAT 異地容災(zāi)組件組成REF _ZH-CN_TOP

7、IC_0169512163 r h * MERGEFORMAT 2.3 REF _ZH-CN_TOPIC_0169512163-chtext h * MERGEFORMAT 異地容災(zāi)規(guī)格REF _ZH-CN_TOPIC_0169512164 r h * MERGEFORMAT 2.4 REF _ZH-CN_TOPIC_0169512164-chtext h * MERGEFORMAT 基本原理REF _ZH-CN_TOPIC_0169512168 r h * MERGEFORMAT 2.5 REF _ZH-CN_TOPIC_0169512168-chtext h * MERGEFORMAT 典

8、型業(yè)務(wù)場景 HYPERLINK l _ZH-CN_TOPIC_0169512177 o 2.1 異地容災(zāi)組網(wǎng)基礎(chǔ)概念 HYPERLINK l _ZH-CN_TOPIC_0169512178 o 2.2 異地容災(zāi)組件組成 HYPERLINK l _ZH-CN_TOPIC_0169512163 o 2.3 異地容災(zāi)規(guī)格 HYPERLINK l _ZH-CN_TOPIC_0169512164 o 2.4 基本原理 HYPERLINK l _ZH-CN_TOPIC_0169512168 o 2.5 典型業(yè)務(wù)場景異地容災(zāi)組網(wǎng)基礎(chǔ)概念此處以軟銀場景舉例，NCE-WAN部署在主備兩個站點中的服務(wù)器上。NCE

9、-WAN分業(yè)務(wù)面和管理面，管理面可以獨立登錄UI，可進行容災(zāi)等維護操作。NCE-WAN控制器的南北向負載均衡虛IP可以不一樣，但需要在各自路由器上配置NAT策略，將NCE-WAN的小網(wǎng)地址轉(zhuǎn)化成統(tǒng)一的公網(wǎng)IP，對外體現(xiàn)還是一樣的。由于兩邊南北向大網(wǎng)IP相同，需要在路由器上配置路由優(yōu)先級，主集群高優(yōu)先級，確保外部訪問的是主集群。當災(zāi)難發(fā)生需要主備切換時，除了在控制器管理面進行容災(zāi)集群主備倒換操作，還需要在路由器上配置優(yōu)先級，將新主集群配置高優(yōu)先級。NBI：北向IP地址；NBI VIP：控制器內(nèi)部的北向虛IP地址，通過Router/FW將外部訪問的NBI IP地址轉(zhuǎn)化成內(nèi)部的NBI VIP地址；S

10、BI：南向IP地址；SBI VIP：控制器內(nèi)部的南向虛IP地址，通過Router/FW將外部訪問的SBI IP地址轉(zhuǎn)化成內(nèi)部的SBI VIP地址；Mgr VIP：管理面訪問的北向虛IP地址，該IP地址客戶也可以NAT成大網(wǎng)IP地址訪問，但NAT的大網(wǎng)IP需要不同；L3：基于三層網(wǎng)絡(luò)的NCE-WAN主備集群間心跳、數(shù)據(jù)同步通道，通過打通NCE-WAN集群的內(nèi)部網(wǎng)絡(luò)平面實現(xiàn)。異地容災(zāi)組件組成DRMgr Service：容災(zāi)狀態(tài)管理模塊，是一個獨立的微服務(wù)進程，主要維護容災(zāi)關(guān)系，進行主備仲裁，執(zhí)行容災(zāi)倒換等。NCE-WAN：控制器服務(wù)進程。GaussDB：存放業(yè)務(wù)配置類數(shù)據(jù)的數(shù)據(jù)庫，主備間以同步方式

11、同步數(shù)據(jù)。DrProduct Service：同步主備間FI中HDFS的數(shù)據(jù)。ACA Nginx：同步主備間Portal自定義模板文件。異地容災(zāi)規(guī)格容災(zāi)指標是指在當系統(tǒng)發(fā)生災(zāi)難（地震、洪水等）或長時間無法恢復(fù)的故障時，NCE-WAN在災(zāi)難過程中的最大數(shù)據(jù)丟失量及從災(zāi)難狀態(tài)恢復(fù)到可運行狀態(tài)所需的時間，用于衡量容災(zāi)系統(tǒng)的數(shù)據(jù)冗余備份能力和業(yè)務(wù)恢復(fù)能力。指標項指標項描述限制條件配置類業(yè)務(wù)數(shù)據(jù)實時同步（同步機制）RPO=0min無。設(shè)備告警類業(yè)務(wù)數(shù)據(jù)實時同步（異步機制）RPO=1min無。異地容災(zāi)倒換切換時間(min)RTO=故障發(fā)現(xiàn)時間+15min(切換和啟動時間)+設(shè)備上線時間125Mbps主備通

12、信帶寬，時延20ms。首次容災(zāi)配置數(shù)據(jù)同步時間(min)RTO=130 min125Mbps主備通信帶寬，1萬設(shè)備的數(shù)據(jù)量（GaussDB （68GB）+HDFS（4GB）。HDFS數(shù)據(jù)同步（異步機制）RPO=90 min無文件同步（異步同步）RPO=3 min配置文件包含用戶定制Portal頁面文件、集群監(jiān)控配置文件基本原理數(shù)據(jù)同步原理NCE-WAN采用了GaussDB數(shù)據(jù)庫，數(shù)據(jù)同步主要依賴GaussDB提供的數(shù)據(jù)同步能力。NCE-WAN針對業(yè)務(wù)數(shù)據(jù)的特點，將DB分成了如下兩個：本地DB：保存集群獨有數(shù)據(jù)，這類數(shù)據(jù)不同步到備集群。優(yōu)點是提高性能，減小了主備間的數(shù)據(jù)同步量，降低帶寬壓力。DB

13、在集群內(nèi)部由HA提供主備保護，主集群內(nèi)部為主+同步備，備集群內(nèi)部為主+同步備，主備集群間本地DB的數(shù)據(jù)不進行同步。業(yè)務(wù)DB：保存配置類數(shù)據(jù)，這類數(shù)據(jù)需要同步到備集群，理論上不允許丟失。解決了數(shù)據(jù)丟失問題，備升主后不需要復(fù)雜的對賬流程即可提供服務(wù)，減小了故障恢復(fù)時間。DB在集群內(nèi)部由HA提供主備保護，主集群內(nèi)部為主+同步備，備集群內(nèi)部為同步備+異步備，兩個同步備都從主集群的DB主節(jié)點同步數(shù)據(jù)，異步備從備集群內(nèi)的同步備同步數(shù)據(jù)。因為業(yè)務(wù)DB是同步策略，在提高了RPO指標的同時，對應(yīng)的性能會隨著主備站點間網(wǎng)絡(luò)時延增大而變差，因此建議網(wǎng)絡(luò)時延越小越好，推薦在20ms之內(nèi)，具體產(chǎn)品可以根據(jù)業(yè)務(wù)性能規(guī)格定

14、義相應(yīng)規(guī)格。心跳檢查原理NCE-WAN主備容災(zāi)由獨立微服務(wù)DRMgr Service控制，DRMgr Service單個站點內(nèi)部部署兩個節(jié)點，通過分布式鎖選取Leader。主備集群的Leader之間進行心跳，如下圖所示：當Leader節(jié)點故障，F(xiàn)ollower節(jié)點角色會轉(zhuǎn)變?yōu)長eader，并與對端集群的Leader重新建立心跳。只要有DRMgr Service存活即可保證心跳的存在，提升了心跳的可靠性。手動倒換流程集群的主備狀態(tài)變化完全由管理員人工單擊容災(zāi)運維頁面上的倒換按鈕實現(xiàn)。具體流程如下所示：人工演練：主備集群間心跳正常，用于向客戶演示功能或客戶定期執(zhí)行此功能查看容災(zāi)功能是否可用。主集群

15、故障后備升主，掉電、地震等原因?qū)е轮骷赫w故障。具體流程如下圖：典型業(yè)務(wù)場景安裝部署全新安裝全新部署兩個控制器集群環(huán)境，對它們組建主備容災(zāi)關(guān)系，形成一主一備的主備容災(zāi)集群，形成數(shù)據(jù)、業(yè)務(wù)上的保護。局點改造局點已經(jīng)部署過控制器的情況下，客戶基于可靠性考慮，要求改造為容災(zāi)部署。例如XXX項目，原先NCE-WAN通過集群拉遠方式進行部署，考慮到方案的固有缺陷，客戶要求改造成標準的主備容災(zāi)方案部署。站點故障后，恢復(fù)容災(zāi)關(guān)系主備容災(zāi)站點中有一個站點遭到了破壞，恢復(fù)遭受破壞的站點，重新組建容災(zāi)關(guān)系。運維能力可視化操作界面容災(zāi)提供了運維界面，可以查看容災(zāi)狀態(tài)、數(shù)據(jù)同步狀態(tài)，修改容災(zāi)配置，執(zhí)行容災(zāi)倒換。人工演練在主備集群心跳連接正常的情況下，進行主備倒換，給客戶展示