雙活數(shù)據(jù)中心技術(shù)架構(gòu)

雙活數(shù)據(jù)中心技術(shù)架構(gòu)雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第1頁。常見容災(zāi)模式主備模式冷備切換A中心B中心A中心B中心雙中心互備模式復(fù)制切換1、故障下需要定位+決策+切換流程，超過0.5小時(shí)2、容災(zāi)側(cè)資源閑置3、SRDF、PPRC等技術(shù)1、故障下需要定位+決策+切換流程，超過0.5小時(shí)2、勱態(tài)資源管理技術(shù)，容災(zāi)資源閑置3、

SRDF、PPRC等技術(shù)雙活并行模式并行處理A中心B中心兩個(gè)中心平時(shí)均可承擔(dān)業(yè)務(wù)，同時(shí)對外服務(wù)，壞掉任何一方丌影響。生產(chǎn)生產(chǎn)容災(zāi)容災(zāi)生產(chǎn)容災(zāi)容災(zāi)生產(chǎn)生產(chǎn)生產(chǎn)生產(chǎn)生產(chǎn)傳統(tǒng)方案：“主備”模式或“互備”雙中心模式“雙活并行處理”模式，做到準(zhǔn)0切換雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第2頁。雙活應(yīng)用架構(gòu)接入層：借劣DNS、全局負(fù)載均衡等技術(shù)實(shí)現(xiàn)雙活接入和智能路由，流量調(diào)配應(yīng)用層：基亍開放分布式集群架構(gòu)、或服務(wù)總線技術(shù)數(shù)據(jù)層：需要構(gòu)建雙中心同時(shí)可讀寫的機(jī)制，如遠(yuǎn)程RAC基礎(chǔ)架構(gòu)層：網(wǎng)絡(luò)上對穩(wěn)定性和帶寬吞吐性能要求更高，甚至需要打通跨中心的大二層網(wǎng)絡(luò)。存儲方面，則需改變一主一備的讀寫機(jī)制，實(shí)現(xiàn)同時(shí)可讀寫。接入層改造智能路由，流量調(diào)配數(shù)據(jù)層連接自勱重連Ebus服務(wù)總線，分布式集群架構(gòu)核心數(shù)據(jù)層應(yīng)用層部署、接口數(shù)據(jù)庫層技術(shù)改造存儲層優(yōu)化改造基礎(chǔ)架構(gòu)層數(shù)據(jù)層應(yīng)用層雙活零切換

?

DNS、全局負(fù)載均衡等如Oracle

extend

rac分布式內(nèi)存庫帶寬、穩(wěn)定性、大二層存儲支持雙活讀寫接入層雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第3頁。數(shù)據(jù)層存儲層接入/應(yīng)用層虛擬化/云平臺技術(shù)關(guān)鍵點(diǎn)雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第4頁。數(shù)據(jù)層雙活三種方式Active-Standby方式：基于Oracle

ADG技術(shù)，采用從主庫向備庫傳輸redo日志方式，備庫恢復(fù)數(shù)據(jù)過程可以用只讀方式打開進(jìn)行查詢操作，實(shí)現(xiàn)了部分雙活功能，在主節(jié)點(diǎn)故障后可以將備節(jié)點(diǎn)切為Active-Active方式：通過Oracle

Extend

RAC實(shí)現(xiàn)多個(gè)集群節(jié)點(diǎn)同時(shí)對外提供業(yè)務(wù)訪問。該方式做到故障無縫切換，提升應(yīng)用系統(tǒng)整體性能。數(shù)據(jù)邏輯復(fù)制軟件方式：通過實(shí)時(shí)抽取在線日志中的數(shù)據(jù)變化信息，然后通過網(wǎng)絡(luò)將變化信息投遞到目標(biāo)端，最后在目標(biāo)端還原數(shù)據(jù)，從而實(shí)現(xiàn)源和目標(biāo)的數(shù)據(jù)同步。主數(shù)據(jù)庫目標(biāo)庫雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第5頁。方式1、oracle

ADG通過網(wǎng)絡(luò)從生產(chǎn)向容災(zāi)傳輸歸檔或redo日志，容災(zāi)端恢復(fù)方式同步數(shù)據(jù)。Oracle

11g

以后容災(zāi)庫可打開為只讀模式，容災(zāi)切換時(shí)能快速alter為讀寫狀態(tài)。存儲支持異構(gòu)，OS需要同構(gòu)應(yīng)用場景：作為應(yīng)急或容災(zāi)作為讀寫分離作為數(shù)據(jù)保護(hù)手段（結(jié)合flash

DB）Network調(diào)度管理器Primary數(shù)據(jù)庫邏輯Standby（ADG）數(shù)據(jù)庫（平時(shí)只讀訪問）實(shí)時(shí)查詢報(bào)表SQL恢復(fù)轉(zhuǎn)換Redo

成為SQL額外索引&物化視圖物理Standby數(shù)據(jù)庫（平時(shí)不能打開）備份Redo

恢復(fù)

DIGITAL

DATA

STORAGEDIGITAL

DATA

STORAGE同步或異步Redo

傳送ADG=ActiveData

Guard雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第6頁。方式2、邏輯復(fù)制通過DSG、GoldenGate等邏輯復(fù)制技術(shù)實(shí)現(xiàn)跨中心數(shù)據(jù)庫的相互復(fù)制支持表級的復(fù)制兩個(gè)數(shù)據(jù)中心各建一套數(shù)據(jù)庫，物理獨(dú)立，同時(shí)能讀寫基于數(shù)據(jù)庫日志準(zhǔn)實(shí)時(shí)復(fù)制數(shù)據(jù)支持異構(gòu)數(shù)據(jù)庫、異構(gòu)OS可以實(shí)現(xiàn)一對一、一對多、多對一、雙向復(fù)制等多種拓?fù)浣Y(jié)構(gòu)Dsg工作原理雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第7頁。方式3、Oracle

遠(yuǎn)程RACOracle Extended

RAC以跨中心共享存儲為基礎(chǔ)，通過共享存儲資源和OracleClusterware數(shù)據(jù)庫集群管理，實(shí)現(xiàn)各個(gè)中心節(jié)點(diǎn)對數(shù)據(jù)庫并行訪問。共享存儲可以采用存儲自身數(shù)據(jù)復(fù)制技術(shù)，存儲虛擬網(wǎng)關(guān)或遠(yuǎn)程卷管理等技術(shù)，左圖以O(shè)racle

ASM存儲卷管理為例，實(shí)現(xiàn)數(shù)據(jù)的雙向?qū)崟r(shí)復(fù)制。ASM支持對本地磁盤的優(yōu)先讀取，避免跨數(shù)據(jù)中心的數(shù)據(jù)讀取，提高I/O性能并減少網(wǎng)絡(luò)流量；要點(diǎn)（ASM）：兩個(gè)數(shù)據(jù)中心分別部署一套存儲，各提供一套LUN設(shè)備給全部數(shù)據(jù)庫主機(jī)。存儲的SAN網(wǎng)絡(luò)和RAC心跳網(wǎng)絡(luò)需使用低延遲、高帶寬的DWDM光纖鏈路。配置ASM磁盤組。每個(gè)磁盤組配置兩個(gè)失效組，每個(gè)失效組對應(yīng)來自一套存儲的LUN設(shè)備。在第三個(gè)站點(diǎn)部署用亍RAC的第3個(gè)投票盤，使用NFS的方式掛載到所有數(shù)據(jù)庫主機(jī)。不管理普通的RAC系統(tǒng)類似，需要重點(diǎn)加強(qiáng)對站點(diǎn)間光纖鏈路情況的監(jiān)控與應(yīng)急。雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第8頁。內(nèi)存庫雙活技術(shù)將數(shù)據(jù)常駐在內(nèi)存中直接操作的數(shù)據(jù)庫。相對于磁盤，內(nèi)存的數(shù)據(jù)讀寫速度要高出幾個(gè)數(shù)量級，將數(shù)據(jù)保存在內(nèi)存中相比從磁盤上訪問能夠極大地提高應(yīng)用的性能應(yīng)用場景：用于實(shí)時(shí)計(jì)費(fèi)、讀寫分離場景，主要有Oracle

Times

Ten，Altibase商用以及華為、亞信和斯特奇等自研產(chǎn)品。內(nèi)存庫集群部署主要有HA模式，雙活模式，線性拆分和分布式集群四種模式。HA模式雙活模式線性拆分模式分布式集群模式雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第9頁。數(shù)據(jù)層雙活技術(shù)比較技術(shù)種類技術(shù)特征數(shù)據(jù)一致性雙活讀寫數(shù)據(jù)延遲可維護(hù)性可靠性適用模式物理庫基于數(shù)據(jù)邏輯復(fù)制軟件DSG、gg、shareplex等邏輯錯(cuò)誤會導(dǎo)致不一致，無法稽核支持存在延遲（和日志量有關(guān)）較差，系統(tǒng)變更需要人工介入較好，支持多線程，不影響生產(chǎn)需定期重新同步數(shù)據(jù)一致性要求較低或基于表的同步基于數(shù)據(jù)庫自身oracle activedataguard一致（前提正常同步）不支持存在延遲（和日志量有關(guān)）維護(hù)簡單，支持線性擴(kuò)展較好，同步效率高，快速切換讀寫分離場景Oracle

ExtendedRAC一致支持實(shí)時(shí)同步，沒有延遲較好較好核心系統(tǒng)對穩(wěn)定性較高內(nèi)存庫HA模式基于日志實(shí)時(shí)或異步同步存在不一致風(fēng)險(xiǎn)不支持存在延遲較好一般適合物理庫較小雙活模式基于日志實(shí)時(shí)或異步同步存在不一致風(fēng)險(xiǎn)支持存在延遲較好一般線性拆分基于日志實(shí)時(shí)或異步同步存在不一、致風(fēng)險(xiǎn)不支持存在延遲較差，復(fù)雜一般適合物理庫較大分布式集群基于日志實(shí)時(shí)或異步同步一致支持存在延遲較好較好適合核心系統(tǒng)建議：在實(shí)際使用中應(yīng)根據(jù)具體情況選擇合適的方案，理論上只有Extended

RAC為真正的雙讀雙寫雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第10頁。數(shù)據(jù)層存儲層接入/應(yīng)用層虛擬化/云平臺技術(shù)關(guān)鍵點(diǎn)雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第11頁。存儲雙活流派存儲層作為雙活系統(tǒng)核心基礎(chǔ)架構(gòu)平臺，其雙活技術(shù)在整個(gè)架構(gòu)中起到關(guān)鍵作用，目前基于存儲層雙活方案主要有下面三種：基于遠(yuǎn)程卷管理軟件的虛擬化，如：Symantec SF，IBMGPFS，

OracleASM等基于存儲網(wǎng)關(guān)虛擬化，如：EMC

vplex、IBMSVC基于存儲自身卷鏡像技術(shù)，HDS

GAD

、Huawei等1. 卷管理軟件虛擬化：通過安裝在主機(jī)上卷管理軟件的邏輯卷鏡像技術(shù)實(shí)現(xiàn)底層數(shù)據(jù)邏輯同步。存儲網(wǎng)關(guān)虛擬化：在每個(gè)站點(diǎn)新增存儲虛擬化網(wǎng)關(guān)設(shè)備組成跨站點(diǎn)集群,并對存儲卷進(jìn)重新行封裝，對外提供主機(jī)I/O訪問。存儲卷鏡像技術(shù)：將兩套磁盤陣列組成一個(gè)集群，兩臺存儲上的LUN被虛擬化為一個(gè)虛擬卷，主機(jī)寫操作通過卷虛擬化鏡像技術(shù)同時(shí)寫入兩個(gè)數(shù)據(jù)中心的存儲設(shè)備，保證站點(diǎn)之間數(shù)據(jù)實(shí)時(shí)同步。雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第12頁。流派1、遠(yuǎn)程卷管理軟件數(shù)據(jù)同步：底層數(shù)據(jù)復(fù)制采用遠(yuǎn)程卷管理軟件，如賽門鐵克的storageFoundation（SF）、IBM的GPFS、Oracle的ASM等，通過邏輯卷鏡像技術(shù)實(shí)現(xiàn)底層數(shù)據(jù)邏輯同步。上層應(yīng)用采用Oracle

Extended

RAC方案實(shí)現(xiàn)遠(yuǎn)程多節(jié)點(diǎn)RAC,使生產(chǎn)和容災(zāi)節(jié)點(diǎn)都處于在線狀態(tài)，應(yīng)用邏輯訪問的是同一個(gè)數(shù)據(jù)庫。數(shù)據(jù)讀寫：支持雙讀寫。數(shù)據(jù)一致性：完全一致。雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第13頁。流派1、遠(yuǎn)程卷管理軟件案例：

IBM

GPFS+oracle

11gExtended

RAC應(yīng)用場景：一邊承擔(dān)生產(chǎn)，另一端承載統(tǒng)計(jì)分析和查詢實(shí)施要點(diǎn)：網(wǎng)絡(luò)改造：需要打通兩個(gè)中心間大二層網(wǎng)絡(luò)。底層存儲鏈路改造：需要認(rèn)到對端機(jī)房存儲，帶寬要求高。提供可靠性較高的二層網(wǎng)絡(luò)（心跳網(wǎng)絡(luò)）提供可靠性較高的共享存儲（投票盤）對底層鏈路和距離要求高：距離太遠(yuǎn)會導(dǎo)致響應(yīng)變慢，官方建議50KM之內(nèi)。雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第14頁。流派2、存儲網(wǎng)關(guān)虛擬化實(shí)現(xiàn)原理：將存儲虛擬化技術(shù)(EMC的vplex)和Oracle的遠(yuǎn)程RAC技術(shù)結(jié)合，實(shí)現(xiàn)跨中心的數(shù)據(jù)雙活訪問?？缰行牡膬蓚€(gè)存儲通過網(wǎng)關(guān)設(shè)備虛擬成一個(gè)對外訪問，內(nèi)部實(shí)時(shí)同步，保持?jǐn)?shù)據(jù)的一致性，平時(shí)兩邊主機(jī)分別訪問本地存儲，故障情況下可跨中心訪問對方存儲。對于同一個(gè)數(shù)據(jù)塊的讀寫沖突機(jī)制，是由Oracle RAC來保證的。具備腦裂預(yù)防服務(wù)器“witness”：witness是VPLEX的仲裁裝置；雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第15頁。流派3、基于存儲自身卷鏡像不需要額外軟硬件，需要采用特定高端存儲設(shè)備，如VSP、XP7以上才可以。存儲網(wǎng)絡(luò)架構(gòu)沒有改變，易于實(shí)行。兩邊存儲可以同時(shí)讀寫。上層需要結(jié)合Oracle遠(yuǎn)程RAC實(shí)現(xiàn)雙活雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第16頁。存儲層雙活技術(shù)對比技術(shù)特征技術(shù)特征數(shù)據(jù)一致性雙活讀寫可靠性異構(gòu)性投資成本優(yōu)缺點(diǎn)基亍遠(yuǎn)程卷管理（軟件虛擬化）SymantecSFAIXLVMIBM

GPFSOracle

ASMRPO=0支持較差支持異構(gòu)成本較低基亍存儲網(wǎng)關(guān)虛擬化EMC

VplexIBM

SVC華為

VIS飛康

NSSRPO=0支持較差支持異構(gòu)較高組網(wǎng)復(fù)雜，可靠性差，數(shù)據(jù)同步性能差基于存儲卷鏡像（存儲自身虛擬化HDSGADHuaweiOceanStor

V3RPO=0支持較好RTO=0不支持較低組網(wǎng)簡單，維護(hù)方便，但技術(shù)較新，實(shí)用經(jīng)驗(yàn)少基亍存儲HA機(jī)制IBM

powerHAHyperSwap、日立的HAMRPO=0支持較差丌支持投資較高采用高端存儲虛擬化軟件，有一端遠(yuǎn)程讀寫效率低整體看紅色為最優(yōu)方案，但要根據(jù)實(shí)際情況選擇，上述方案均需要Extend

RAC支持。雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第17頁。數(shù)據(jù)層存儲層接入/應(yīng)用層虛擬化/云平臺技術(shù)關(guān)鍵點(diǎn)雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第18頁。應(yīng)用層雙活要點(diǎn)雙活需要從接入、應(yīng)用層、數(shù)據(jù)連接等層面考慮實(shí)現(xiàn)，才能實(shí)現(xiàn)“零”切換。應(yīng)用支持：建議構(gòu)建統(tǒng)一管理的接口層或采用服務(wù)總線技術(shù)實(shí)現(xiàn)應(yīng)用自動重連機(jī)制，確保自動切換，減少人工切換。支持?jǐn)?shù)據(jù)庫切換后應(yīng)用的正常運(yùn)行雙中心部署相同的應(yīng)用集群方式，或跨中心的集群雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第19頁。接入層技術(shù)采用全局負(fù)載均衡（如F5的GTM）、DNS、或前置CDN等技術(shù)實(shí)現(xiàn)跨中心靈活接入。1、業(yè)務(wù)多中心并行模式：通過一組GSLB來對外提供服務(wù)，GSLB監(jiān)控服務(wù)的狀態(tài)，并通知組內(nèi)其他設(shè)備，對于每一個(gè)DNS請求返回最佳結(jié)果，好的策略選擇和配置方式可以最大幅度提高客戶體驗(yàn)。2、業(yè)務(wù)多中心互備模式：對于內(nèi)網(wǎng)業(yè)務(wù)通過一組SLB來提供服務(wù)，實(shí)現(xiàn)DNS解析，負(fù)載分發(fā)和故障切換。應(yīng)用雙活：當(dāng)單數(shù)據(jù)中心出現(xiàn)故障時(shí)，可以將請求引導(dǎo)向另一個(gè)可用的數(shù)據(jù)中心，實(shí)現(xiàn)雙活高可用。智能流量控制：GSLB根據(jù)后端服務(wù)器負(fù)載和鏈路狀況實(shí)現(xiàn)不同站點(diǎn)間流量調(diào)配，鏈路優(yōu)選，保證用戶訪問最佳性能服務(wù)器，確保訪問質(zhì)量，提升用戶感知。雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第20頁。數(shù)據(jù)層存儲層接入/應(yīng)用層虛擬化/云平臺技術(shù)關(guān)鍵點(diǎn)雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第21頁。云架構(gòu)下的雙活云化后的變化：虛擬化技術(shù)應(yīng)用實(shí)現(xiàn)集群化和x86化帶來問題：難以沿用原有的雙活設(shè)計(jì)方式，需要新考慮考慮集群化的業(yè)務(wù)連續(xù)性雙活方案。云化雙活分類方案描述場景舉例傳統(tǒng)基亍負(fù)載均衡的雙活架構(gòu)每個(gè)中心部署獨(dú)立的于化應(yīng)用集群，通過接入層負(fù)載均衡實(shí)現(xiàn)雙活Web集群等基亍分布式應(yīng)用協(xié)調(diào)機(jī)制構(gòu)建一套跨中心應(yīng)用集群，通過分布式應(yīng)用協(xié)調(diào)如zookeeper實(shí)現(xiàn)跨中心的高可靠性集群，統(tǒng)一配置、統(tǒng)一管理和任務(wù)分配。EBUS跨中心雙活應(yīng)用集群、分布式緩存等hadoop、mpp等的雙活機(jī)制1、應(yīng)用寫兩份方式實(shí)現(xiàn)雙活2、跨中心集群方式大數(shù)據(jù)虛擬化平臺的跨中心雙活（遷移）1、跨中心虛擬機(jī)集群，可平滑遷移2、每個(gè)中心一套集群，通過接入層構(gòu)建負(fù)載均衡實(shí)現(xiàn)雙活于資源池雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第22頁。模式1、相互獨(dú)立的雙集群在每個(gè)中心部署獨(dú)立的云化應(yīng)用集群1、如Web類應(yīng)用可通過接入層和負(fù)載均衡實(shí)現(xiàn)雙活訪問，2、如hadoop或MPP集群應(yīng)用可通過上層應(yīng)用實(shí)現(xiàn)雙集群數(shù)據(jù)同步，從而實(shí)現(xiàn)雙活。APP1APPnAPP1APPn接入層負(fù)載均衡器接入層負(fù)載均衡器APP2

??數(shù)據(jù)中心1APP2

??數(shù)據(jù)中心2Node1NodenNode1Node2Noden??應(yīng)用Node2

??數(shù)據(jù)中心1集群數(shù)據(jù)中心2集群前端同時(shí)向兩個(gè)集群寫雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第23頁。模式2、跨中心單集群模式第一種是基于分布式應(yīng)用協(xié)調(diào)機(jī)制：構(gòu)建一套跨中心應(yīng)用集群，通過分布式應(yīng)用協(xié)調(diào)如Zookeeper實(shí)現(xiàn)跨中心的高可靠性集群，實(shí)現(xiàn)統(tǒng)一配置、統(tǒng)一管理和任務(wù)分配。第二種是基于數(shù)據(jù)副本保護(hù)機(jī)制：如詳單云和大數(shù)據(jù)的hadoop集群、大數(shù)據(jù)的MPP集群等，通過進(jìn)行合理規(guī)劃設(shè)計(jì)，確保任一中心節(jié)點(diǎn)都是完整的數(shù)據(jù)副本，由集群自動維護(hù)兩個(gè)中心的數(shù)據(jù)副本同步機(jī)制來實(shí)現(xiàn)雙活?？蛻舳巳蝿?wù)分配器MASTER

1業(yè)務(wù)處理服務(wù)器

1業(yè)務(wù)處理服務(wù)器

2業(yè)務(wù)處理服務(wù)器n??發(fā)送業(yè)務(wù)處理請求負(fù)載均衡健康檢查返回可處理請求的節(jié)點(diǎn)業(yè)務(wù)數(shù)據(jù)交互任務(wù)分配器SLAVE

n任務(wù)分配器SLAVEZookeeper集群應(yīng)用服務(wù)器集群數(shù)據(jù)數(shù)據(jù)機(jī)房1機(jī)房2應(yīng)用1、通過設(shè)計(jì)集群副本，實(shí)現(xiàn)兩個(gè)中心節(jié)點(diǎn)互為副本2、前端應(yīng)用向單一跨數(shù)據(jù)中心集群寫Node1Node2 ??數(shù)據(jù)中心1節(jié)點(diǎn)Noden`Node1`Node2 ??數(shù)據(jù)中心2節(jié)點(diǎn)`Noden雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第24頁。虛擬化云平臺雙活基于存儲陣列雙活和VMware

跨站點(diǎn)集群功能實(shí)現(xiàn)虛擬化平臺數(shù)據(jù)中心容災(zāi)解決方案，在陣列雙活技術(shù)支撐下，通過VMware

Cluster

的HA高可用功能實(shí)現(xiàn)故障業(yè)務(wù)切換保護(hù)，從而達(dá)到保證業(yè)務(wù)連續(xù)性的要求。網(wǎng)絡(luò)站點(diǎn)間二層互聯(lián)，采用波分傳輸，存儲實(shí)現(xiàn)雙活為上層提供共享存儲；將兩個(gè)數(shù)據(jù)中心服務(wù)器配置為一個(gè)集群，通過HA和DRS實(shí)現(xiàn)高可用和資源動態(tài)智能分配；服務(wù)器之間建議通過萬兆以太網(wǎng)提供心跳服務(wù)與vMotion遷移流量，集群內(nèi)的所有服務(wù)器需符合集群的兼容性規(guī)則。應(yīng)用層：由四臺服務(wù)器構(gòu)建VMware

ESXi

Cluster。雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第25頁。數(shù)據(jù)層存儲層接入/應(yīng)用層虛擬化/云平臺技術(shù)關(guān)鍵點(diǎn)雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第26頁。1、跨中心大二層網(wǎng)絡(luò)方案1：

EVN/OTV/EVI

技術(shù)以EVN為例，每個(gè)中心部署互聯(lián)匯聚交換機(jī)，網(wǎng)關(guān)交換機(jī)通過鏈路聚合接入該互聯(lián)匯聚交換機(jī)，互聯(lián)匯聚交換機(jī)通過鏈路聚合接入波分設(shè)備，互聯(lián)匯聚交換機(jī)運(yùn)行EVN

PE，EVN

PE間形成EVN二層通道。數(shù)據(jù)中心間三層互通，二層域完全隔離ARP廣播、未知單播限制在本數(shù)據(jù)中心。MacIN

IP雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第27頁。1、跨中心大二層網(wǎng)絡(luò)方案2：采用二層光纖直連技術(shù)打通。每個(gè)中心部署互聯(lián)匯聚交換機(jī)，中心內(nèi)的匯聚（網(wǎng)關(guān)）交換機(jī)通過鏈路聚合接入該互聯(lián)匯聚交換機(jī)，互聯(lián)匯聚交換機(jī)通過鏈路聚合接入波分設(shè)備，鏈路聚合保證整網(wǎng)無二層環(huán)路。同時(shí)在匯聚互聯(lián)交換機(jī)配置二層風(fēng)暴抑制雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第28頁。1、跨中心大二層網(wǎng)絡(luò)方案3：采用基亍MPLS網(wǎng)絡(luò)的VPLS虧聯(lián)。每個(gè)中心的核心交換機(jī)與專用的MPLS域?qū)Ｓ镁W(wǎng)絡(luò)直連，通過MPLS專屬網(wǎng)絡(luò)的本地PE設(shè)備與對端中心的機(jī)房PE設(shè)備之間建立VPN，將各個(gè)PE設(shè)備所互連的二層網(wǎng)絡(luò)通過MPLS

VPN方式建立二層互通。雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第29頁。1、跨中心大二層網(wǎng)絡(luò)方案4：基亍Overlay網(wǎng)絡(luò)的大二層虧聯(lián)。以Vxlan實(shí)現(xiàn)方式為例，每個(gè)中心通過單獨(dú)的ED設(shè)備與Underlay網(wǎng)絡(luò)連接，在每個(gè)中心內(nèi)部業(yè)務(wù)數(shù)據(jù)通過VXLAN進(jìn)行業(yè)務(wù)交換，涉及到跨中心業(yè)務(wù)互訪時(shí)，將通過與ED設(shè)備直連的Leaf設(shè)備剝離VXLAN標(biāo)簽轉(zhuǎn)換為VLAN業(yè)務(wù)后，由ED設(shè)備再次進(jìn)行VXLAN封裝，從而通過大二層透傳到對端中心的ED設(shè)備剝離VXLAN標(biāo)簽，由對端中心的Leaf設(shè)備重新封裝VXLAN標(biāo)簽。雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第30頁。1、跨中心大二層網(wǎng)絡(luò)技術(shù)種類組網(wǎng)方式優(yōu)勢劣勢適用模式基于MPLS網(wǎng)絡(luò)的二層互聯(lián)VPLS1、標(biāo)準(zhǔn)化程度高，兼容性強(qiáng)，能夠兼容大部分的MPLS網(wǎng)絡(luò)2、CE實(shí)現(xiàn)雙歸屬，HA性能高，保證數(shù)據(jù)中心間互聯(lián)的高可靠性3、價(jià)格優(yōu)勢技術(shù)比較復(fù)雜，部署及運(yùn)維管理難度較大適用于跨地域多中心互聯(lián)光纖直連VPLSOver

GRE與基于MPLS網(wǎng)絡(luò)的VPLS優(yōu)勢相同1、技術(shù)比較復(fù)雜，部署及運(yùn)維管理難度較大

2、需要部署QoS來保證帶寬，時(shí)延難以保證數(shù)據(jù)中心間只有IP互聯(lián)網(wǎng)絡(luò)時(shí)大二層互連OTV/EVN/EVN1、網(wǎng)絡(luò)改動較小2、配置簡單1、各廠商私有協(xié)議，在涉及多品牌網(wǎng)絡(luò)環(huán)境中難以實(shí)現(xiàn)對接適用于多地域的中心互連基于Overlay網(wǎng)絡(luò)的二層互聯(lián)VXLAN1、支持Overlay網(wǎng)絡(luò)，可以跨裸光纖、MPLS或IP網(wǎng)絡(luò)實(shí)現(xiàn)二層互聯(lián)2、配置簡單3、提高系統(tǒng)的HA性能1、各廠商的私有協(xié)議，需要數(shù)據(jù)中心間采用同品牌設(shè)備2、案例較少適用于跨地域多中心互聯(lián)雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第31頁。2、關(guān)于GoldenGateOracleGoldenGate

性能瓶頸在數(shù)據(jù)同步環(huán)節(jié)，即在復(fù)制進(jìn)程Replicat入庫速度，因?yàn)樵谌轂?zāi)端恢復(fù)數(shù)據(jù)過程是執(zhí)行邏輯SQL，比較消耗資源：抽取進(jìn)程（Extract）：該進(jìn)程主要瓶頸在亍LCR(logical

change

record)轉(zhuǎn)換為UDF環(huán)節(jié)，主要優(yōu)化建議：拆分Extract進(jìn)程，建議同一個(gè)schema下表盡量在一個(gè)進(jìn)程組中優(yōu)化進(jìn)程參數(shù)如eofdelay、flushsecs等I/O部分建議增加日志讀取間隔3s，增加內(nèi)存刷新時(shí)間3s投遞進(jìn)程（Pump）：帶寬優(yōu)化和IO優(yōu)化：復(fù)制的表最好有主鍵或唯一索引，減少生產(chǎn)日志量數(shù)據(jù)傳輸過程啟用數(shù)據(jù)壓縮特性，減少帶寬需求量適當(dāng)增大TCP緩存增加隊(duì)列讀取間隔為3s，內(nèi)存刷新時(shí)間為5s復(fù)制/應(yīng)用進(jìn)程（Replicat）：該環(huán)節(jié)出現(xiàn)性能問題較多，需要重點(diǎn)優(yōu)化：合并小交易減少事物數(shù)量，減少寫checkpoint

file/table次數(shù)大交易拆分（maxtransops參數(shù)），提高寫入速度基亍表或Range等拆分replicat進(jìn)程OGG同步不同日志量延遲情況分析160140120100

80604020016G 20G 30G 40G 50G延遲情況（分種)雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第32頁。3、

關(guān)于ADG日志產(chǎn)生量（采集于2015年4月初）日均產(chǎn)生歸檔量

1,300

GB,其中１節(jié)點(diǎn)600

GB,2節(jié)點(diǎn)

700

GB1天日志的峰值為

1705

GB,１節(jié)點(diǎn)峰值

811

GB,2節(jié)點(diǎn)峰值

911

GB單個(gè)小時(shí)日志峰值為

183

GB,1節(jié)點(diǎn)峰值

90

GB,2節(jié)點(diǎn)峰值

96

GB網(wǎng)絡(luò)流量采用千兆網(wǎng)，傳輸日志平均占用帶寬為

16.24

MB/s，單個(gè)小時(shí)內(nèi)峰值為52

MB/s應(yīng)用時(shí)延（Transport

Lag+

Apply

Lag）異步方式傳送日志，平均延時(shí)

0.65秒，正常業(yè)務(wù)處理期間時(shí)延小于10秒生產(chǎn)庫中產(chǎn)生大量I/O的維護(hù)操作，比如添加數(shù)據(jù)文件，會導(dǎo)致目標(biāo)庫應(yīng)用時(shí)延相應(yīng)增加，可通過調(diào)整維護(hù)作業(yè)時(shí)間窗口加以避免。服務(wù)器型號CPU內(nèi)存Primary

ServerIBMP780×

240×

2280G×

2Standby

ServerIBMP780×

124120G數(shù)據(jù)庫數(shù)據(jù)總量：11,545

GB數(shù)據(jù)庫存儲總量：14,142

GBADG方式：Maximum

PerformanceADG日志同步延時(shí)分析100

0183G 200G 300G 400G延時(shí)情況（分鐘)雙活數(shù)據(jù)中心技術(shù)架構(gòu)全文共38頁，當(dāng)前為第33頁。3、

Extend

RAC關(guān)鍵參數(shù)參數(shù)名稱建議值說明GPFSCluster關(guān)鍵參數(shù)GPFS集群性能參數(shù)mmchconfigpagepool204MmmchconfigprefetchThreads128mmchconfig

maxMBpS8192mmchconfig

worker1Threads475心跳參數(shù)mmchconfig

minquorumnodes2leaseRecoveryWait15Default

35sTotalPingTimeout20sDefault

120s網(wǎng)絡(luò)故障系統(tǒng)恢復(fù)關(guān)鍵參數(shù)mmchconfig

failureDetectionTime20mmchconfig

leaseRecoveryWait15mmchconfig

totalPingTimeout20mmchconfig

leaseDuration15I/O性能mmchconfigreadReplicaPolicylocal本地優(yōu)先讀Oracle

RAC和ASM參數(shù)RAC仲裁站點(diǎn)距離>10km

，網(wǎng)絡(luò)傳輸用DWDMDisktimeout（DiskHeartbeat

IOT）250s默認(rèn)120sMisscount（Network

Heartbeat）200s默認(rèn)

30sASM參數(shù)asm_preferred_read_failure_groupdg1.fg1,dg2.fg2.

.ASM本地優(yōu)先讀_asm_hbeatiowait120sASM磁盤心跳超時(shí)時(shí)間注意：關(guān)于RAC仲裁和GPFS仲裁，保證RAC的磁盤仲裁要晚于GPFS的仲裁，使得在網(wǎng)絡(luò)故障情況下GPFS提前RAC做出判定。ORACLE

RAC的心跳參數(shù)：m