阿里云云原生異地多活解決方案

1、技術(shù)創(chuàng)新，變革未來阿里云云原生異地多活解決方案目錄CONTENTS01容災(zāi)架構(gòu)分析02阿里云異地多活解決方案03異地多活客戶案例容災(zāi)架構(gòu)分析01主機級 故障機房級 故障地域級 故障容災(zāi)必要性磁盤故障性能中斷數(shù)據(jù)損壞主機網(wǎng)絡(luò)異常單點負(fù)載過高流量不均自然災(zāi)害戰(zhàn)爭/恐襲供電故障機房網(wǎng)絡(luò)問題建筑火災(zāi)空調(diào)故障全 局 影 響 面單點故障影響擴散系統(tǒng)復(fù)雜度隨著系統(tǒng)復(fù)雜度的增加，單點問題的影響面逐步增加容災(zāi)能力成為企業(yè)信息化建設(shè)的必選項容災(zāi)行業(yè)分析國家信息化領(lǐng)導(dǎo)小組關(guān)于加強信息安全保障工作的意見中共中央辦公廳、國務(wù)院辦公廳（中辦發(fā)2003 27號）；國家網(wǎng)絡(luò)與信息安全協(xié)調(diào)小組關(guān)于做好重要信息系統(tǒng)災(zāi)難備份工作的

2、通知（信安通200411號）；河北省信息安全戰(zhàn)略（冀辦發(fā)200721號）；河北省關(guān)于加強信息安全保障工作的實施意見（冀辦發(fā)200412號）；河北省網(wǎng)絡(luò)與信息安全“十二五”規(guī)劃；加強全省社保資金管理信息系統(tǒng)建設(shè) 推進信息共享工作方案（辦字2012 86號）；國家電子政務(wù)總體框架（國信20062號）；2006-2020國家信息化發(fā)展戰(zhàn)略（中辦發(fā)200611號）；關(guān)于轉(zhuǎn)發(fā)的通知中共中央辦公廳、國務(wù)院辦公廳（中辦發(fā)2002 17號）信息系統(tǒng)容災(zāi)恢復(fù)規(guī)范（GB/T 20988-2007）合 規(guī) 嚴(yán) 格全球容災(zāi)市場總額2017年約71.3億美元，預(yù)計2022年上升到115.9億美元10萬+企業(yè)用戶40萬+

3、數(shù)據(jù)庫實例客 戶 群 體 廣政 府金 融能 源互 聯(lián) 網(wǎng)通 信容災(zāi)架構(gòu)演進Region：地域級別Zone：機房級別Region A主備APPAPPZone 1流量： 50%Zone 2流量： 50%主備APPAPPZone 1Zone 2流量： 50%流量： 50%主APPRegion BZone 3流量： 0%同城雙活異地冷備：雙Region三AZRegion A備主備APPAPP主備APPAPP異地冷備：雙Region四AZRegion ARegion BZone 1Zone 2Zone 3Zone 4流量： 50%流量： 50%流量： 0%流量： 0%主APPAPP異地雙活主備APPAP

4、PRegion ARegion BZone 1Zone 2Zone 3Zone 4流量： 25%流量： 25%流量： 25%流量： 25%APP異地三活Region CRegion A主備APPAPPZone 1流量： 100%Zone 2流量： 0%同城容災(zāi)APPAPPAPPRegion ARegion AZone 1Zone 2Zone 3Zone 4流量： 16.6%流量： 16.6%流量： 16.6%流量： 16.6%APPZone 5流量： 16.6%主/備主/備主/備備DTS雙向同步異地多活A(yù)PPZone 6流量： 16.6%主/備主/備主/備集群內(nèi)部強一致同步異地冷備用戶直接訪問

5、數(shù)據(jù)中心A數(shù)據(jù)異 步復(fù)制異地數(shù)據(jù)中 心B優(yōu)勢：部署簡單，對于業(yè)務(wù)侵入少異地部署，具備更高容災(zāi)等級缺點：災(zāi)備單元不提供在線服務(wù)，切換可靠性差冷備單元冗余100%成本，成本浪費觸發(fā)跨城切換的概率大同城容災(zāi)/雙活用戶隨機訪問隨機訪問同城數(shù)據(jù)中同城數(shù)據(jù)中 心A心B讀寫讀寫同步/異步優(yōu)勢：部署簡單，接入成本低災(zāi)備環(huán)境可用性強，數(shù)據(jù)質(zhì)量有保障缺點：僅提供同城保護，容災(zāi)等級低兩地三中心用戶隨機訪問隨機訪問同城數(shù)據(jù)中數(shù)據(jù)同同城數(shù)據(jù)中 心A步復(fù)制心B數(shù)據(jù)異步復(fù)制 異地冷備中心C優(yōu)勢：結(jié)合了同城雙活+異地冷備同城范圍有效地保證了數(shù)據(jù)的安全性和業(yè) 務(wù)系統(tǒng)；缺點：冷備中心成本浪費地域級故障發(fā)生時不敢切換傳統(tǒng)的容災(zāi)方案

6、容災(zāi)方案與容災(zāi)級別：同城容災(zāi)：1級異地災(zāi)備：25級同城雙活：1級兩地三中心：25級阿里云異地多活解決方案02阿里云異地多活架構(gòu)接入層- 實現(xiàn)入口流程的識別與糾錯按照DNS權(quán)重分配流量自定義的分流規(guī)則糾錯流量服務(wù)層- 部署客戶的應(yīng)用系統(tǒng)，對業(yè)務(wù)服務(wù)進行 劃分，不同類型服務(wù)采用不同糾錯策略單元化服務(wù)中心化服務(wù)普通服務(wù)數(shù)據(jù)層- 數(shù)據(jù)存儲和數(shù)據(jù)實時同步，并在切流時 進行數(shù)據(jù)保護跨域?qū)崟r同步防循環(huán)數(shù)據(jù)質(zhì)量保障異地多活的本質(zhì)：異地多活本質(zhì)上是通過對業(yè)務(wù)做自頂向下的流量隔離來實現(xiàn)的OLTP業(yè)務(wù)多活架構(gòu)安全策略流量校正切流聯(lián)動同步對象分流策略多活流量控制（MSFE）根據(jù)既定規(guī)則通過MSFE進行分流流量識別流量

7、分發(fā)多活數(shù)據(jù)同步（DTS）通過DTS實現(xiàn)數(shù)據(jù)單向/雙向復(fù)制 防循環(huán)網(wǎng)絡(luò)優(yōu)化多活容災(zāi)切換（MSHA）通過MSHA方便進行容災(zāi)切換 狀態(tài)檢查規(guī)格推送多活場景運維（DMS）借助DMS進行日常的運維變更 DDL變更數(shù)據(jù)運維圍繞TP數(shù)據(jù)庫RDS、POLARDB-X構(gòu)建：多活配置（MSHA）- 通過MSHA進行一站式多活配置OLAP業(yè)務(wù)多活架構(gòu)AP業(yè)務(wù)并不獨立存在，AP業(yè)務(wù)的數(shù)據(jù)來源 是TP業(yè)務(wù)實時產(chǎn)生的增量數(shù)據(jù)。多活流量控制通過MSFE進行分流，為AP業(yè)務(wù)定義不同 的分流策略多活數(shù)據(jù)同步借助TP多活的數(shù)據(jù)同步能力通過DTS實現(xiàn)本單元的TP向AP數(shù)據(jù)同步多活容災(zāi)切換AP業(yè)務(wù)以讀為主，對數(shù)據(jù)同步時延不敏感通

8、過MSHA控制臺上對分流策略進行調(diào)整架構(gòu)說明Region A、Region B均為生產(chǎn)單元，提供在線服務(wù)每個單元對外暴露一個子域名MSFE跨AZ部署，進行流量歸屬判斷兩Region的CSB級聯(lián)部署，提供服務(wù)糾錯和中心化服務(wù)的轉(zhuǎn)發(fā)數(shù)據(jù)庫主備架構(gòu)，分別部署在本Region的兩個AZ中分流策略入口流量按照權(quán)重轉(zhuǎn)發(fā)到不同cname下，可根據(jù)實際情況調(diào)控流量進入接入層MSFE進行歸屬判斷，歸屬本單元則繼續(xù)向下，否則轉(zhuǎn) 發(fā)到對端單元CSB通過級聯(lián)可以暴露本單元服務(wù)到對端，對于中心化服務(wù)的流量轉(zhuǎn)發(fā) 到中心，數(shù)據(jù)同步策略數(shù)據(jù)在Region A和Region B之間進行DTS雙向同步成本應(yīng)用冗余200%，AZ1

9、 50%， AZ2 50%， AZ3 50%， AZ4 50%。數(shù)據(jù)庫冗余4份數(shù)據(jù)容災(zāi)能力（計劃外切換）支持AZ級故障，RTO 分鐘級，RPO 0Region級故障，RTO 分鐘級，RPO 0雙活典型架構(gòu)：雙Region四AZRegion AZONE 1ZONE 2ECSECSECSECSECSECSSLB主庫流量Region BZONE 3ZONE 4ECSECSECSECSECSECSSLB主庫備庫備庫DTS雙向同步公網(wǎng)DNS/云解析MSFEMSFECSBCSB路由糾錯CSB級聯(lián)子域名B子域名A多活中不同的服務(wù)類型中心單元單元化服務(wù)DB單元化服務(wù)DB讀寫讀寫雙向同步中心化服務(wù)DB中心化服務(wù)

10、DB讀寫讀寫中心單元普通服務(wù)DB普通服務(wù)DB讀寫單向同步讀寫多活主要面向的服務(wù)類型單元內(nèi)封閉調(diào)用，不依賴其他單元非本單元的流量糾錯到對端單元單元化服務(wù)中心化服務(wù)中心單元普通服務(wù)數(shù)據(jù)有強中心要求，通常提供全局業(yè) 務(wù)服務(wù)僅中心提供服務(wù)，各單元讀寫請求均 路由到中心單元數(shù)據(jù)僅提供災(zāi)備服務(wù)不做任何改造的服務(wù)，就近訪問本地能容忍同步延遲，寫入后往往不需要 立即讀取主要面向讀服務(wù)，不建議寫場景使用（缺少單元寫保護）雙向同步跨云數(shù)據(jù)同步UNIT類型COPY類型/非多活類型應(yīng)對中心化服務(wù)和普通服務(wù)數(shù)據(jù)單向同步，單元只可讀不可寫同步任務(wù)配置使用白名單+DDL放行方式跨城同步異步復(fù)制適配單元化服務(wù)和普通服務(wù)數(shù)據(jù)雙

11、向同步，各單元均可讀寫防循環(huán)機制通過事務(wù)表/THREAD_ID方式實現(xiàn)通過全局Sequence避免沖突防循環(huán)&Sequence以內(nèi)步長10萬，單元個數(shù)2為例： create table TEST(ID int primary key auto_increment unit count 2 index 0)中心單元1100000100001200000外步長200001300000300001400000400001500000500001600000內(nèi)步長Sequence分配全局唯一的Sequence，避免數(shù)據(jù)沖突。內(nèi)步長：單次申請的可用于分配的ID個數(shù)外步長=內(nèi)部長*單元個數(shù)防循環(huán)中心DB單

12、元DB業(yè)務(wù)寫入update id=1DTSupdate id=1update id=1 insert trx_tbDTS解析發(fā)現(xiàn)trx_tb表操作事務(wù)表方式：中心DB單元DB業(yè)務(wù)連接THD：0 x00000-0 xFFFFFDTS連接THD：0 xXXX00000-0 xXXXFFFFFTHREAD_ID方式：AliSQL內(nèi)核具備設(shè)置THREAD_ID功能DTSTHD：0 x00000-0 xFFFFFTHD：0 xXXX00000-0 xXXXFFFFFbinlog多活場景數(shù)據(jù)保護數(shù)據(jù)質(zhì)量核心問題：數(shù)據(jù)雙寫單元保護-日常態(tài)數(shù)據(jù)層，應(yīng)用和PolarDB-X對寫操作的多活分流規(guī)則進行路由邏輯 校

13、驗，若非本單元流量，觸發(fā)單元保護機制，不進行寫操作。單元保護-變更態(tài)DMS定制化的數(shù)據(jù)運維功能，訂正前對進行各單元數(shù)據(jù)備份，并 對同步鏈路狀態(tài)進行檢查，小于1S才能執(zhí)行。單元保護-切流態(tài)切流前進行預(yù)檢查，切流中通過多種手段保障局部切流用戶的數(shù)據(jù) 在各單元的一致性。絕對禁寫延遲禁寫前鏡像匹配同步延遲檢查舉例說明，如上圖，在某個時刻有切流需求，用戶在多活管控平臺進行切流操作。在0s，多活管控平臺(MSHA)下發(fā)切流命令，并打開DTS前鏡像匹配功能。在04s，應(yīng)用機器獲得切流操作命令及新的流量分發(fā)規(guī)則，此時機器上運行的仍舊是老的流量分發(fā)規(guī)則，實際業(yè)務(wù)無影響。在10s，在規(guī)定的某個時刻(例如10s)啟

14、動絕對禁寫，此刻正式開始切流，切流用戶的寫操作和更新操作均被拒絕，當(dāng)前請求失敗。在13s，持續(xù)3s(可配置)后，規(guī)則在各層完成收斂，此刻解除絕對禁寫，啟動延遲禁寫，禁寫時長取決于數(shù)據(jù)同步速度，若未同步完成，多 db同時的更新會帶來數(shù) 據(jù)臟寫問題。當(dāng)數(shù)據(jù)同步完成后，機器上解除延遲禁寫，關(guān)閉DTS前鏡像匹配，此刻切流用戶的更新操作可正常進行。多活切流流程業(yè)務(wù)即容災(zāi)異地多活價值總結(jié)業(yè)務(wù)高速發(fā)展支撐流量有效隔離降本增效有效分?jǐn)偢鱾€數(shù)據(jù)中心 成本，實現(xiàn)成本小于 200%冗余業(yè)務(wù)連續(xù)性保障各個數(shù)據(jù)中心承載的流 量大小可靈活調(diào)配實現(xiàn)業(yè)務(wù)級的流量閉環(huán)核心單元化業(yè)務(wù)異地多 活，且秒級切流到異地各個數(shù)據(jù)中心常態(tài)承

15、載 業(yè)務(wù)流量，切流有保障全局業(yè)務(wù)異地?zé)醾?，?鐘級切換一體化多活運維管控平 臺，支撐流量、數(shù)據(jù)庫 一鍵切流、零臟寫具備跨地域的水平擴展 能力在最小單元內(nèi)進行風(fēng)險 可控的技術(shù)演進用戶自行實施異地多活的難點多數(shù)據(jù)中心統(tǒng)一管控難度大需要具備快速建站和多單元統(tǒng)一管理的能力需要對接眾多基礎(chǔ)設(shè)施流量管理難度高需要對接入層、服務(wù)層、數(shù)據(jù)層等的流量規(guī)則進行 統(tǒng)一管理。在分發(fā)規(guī)則時，需要保障眾多節(jié)點規(guī)則的一致性。需要具備多維的分流能力，和動態(tài)調(diào)配能力。數(shù)據(jù)同步策略復(fù)雜針對不同服務(wù)類型需要支持多種同步類型雙向數(shù)據(jù)同步中需要具備同步防循環(huán)能力。遠(yuǎn)距離數(shù)據(jù)同步，對同步性能、同步帶寬有很高要求。容災(zāi)切換數(shù)據(jù)質(zhì)量保障難為

16、了保障RPO要求，容災(zāi)切換過程中需要對業(yè)務(wù)架 構(gòu)的各層進行狀態(tài)檢查的能力對規(guī)則分發(fā)的收斂情況以及跨數(shù)據(jù)中心的同步情況 進行準(zhǔn)確評估，難度較大。阿里云云原生方案優(yōu)勢阿里多年沉淀阿里從12年開始實施異地多活有超過300+業(yè)務(wù)，上萬數(shù)據(jù)庫實例的實踐經(jīng)驗一體化的解決方案統(tǒng)一管理和路由規(guī)則分發(fā)從多活建站到容災(zāi)演練實現(xiàn)能力全覆蓋分鐘級切換保障容災(zāi)切換時的RPO最高可達到秒級通過“一鍵切換”能力對各層規(guī)則統(tǒng)一管理， 可以達到切換RTO分鐘級流量精細(xì)化管理實現(xiàn)多維的流量管理策略，滿足靈活性流量管理與底層存儲分布解耦，流量隨心所欲切換數(shù)據(jù)質(zhì)量保障提供多種數(shù)據(jù)質(zhì)量保障手段有效控制切流態(tài)的數(shù)據(jù)質(zhì)量問題成熟的多活生態(tài)生態(tài)工具對多活場景進行充分適配異地多活客戶案例03客戶案例-某稅務(wù)核心系統(tǒng)方案概述接入層：MSFS做流量糾錯，支持按省份 分流和按自然人檔案號分流服務(wù)層：CSB級聯(lián)支持普通服務(wù)跨云調(diào)用 數(shù)據(jù)層：針對不同服務(wù)類型（單元化、中 心、非多活）實施不同容災(zāi)級別的數(shù)據(jù)同 步架構(gòu)。多活實施效果按地域和自然人兩個維度實施多活秒級切換能力，達到國標(biāo)6級效果兩單元接流，充分利用資源灰度放量能力xxxxxxxxxxxxxxxxA單元子域名B單元子域名接入層 SLB多活接入層接入層 SLB多活接入層多活接入層糾錯服務(wù)糾錯應(yīng)用層 API網(wǎng)關(guān) 服務(wù)發(fā)現(xiàn)單元服務(wù) 統(tǒng)