應(yīng)用級(jí)雙活建設(shè)方案

1、1. 邏輯架構(gòu)2. 方案簡述某客戶為了保證業(yè)務(wù)的連續(xù)性，需要部署雙活數(shù)據(jù)中心，傳統(tǒng)的數(shù)據(jù)中心解決方案，正常情況下只有主數(shù)據(jù)中心投入運(yùn)行，備數(shù)據(jù)中心處于待命狀態(tài)。發(fā)生災(zāi)難時(shí)，災(zāi)備數(shù)據(jù)中心可以短時(shí)間內(nèi)恢復(fù)業(yè)務(wù)并投入運(yùn)行，減輕災(zāi)難帶來的損失。這種模式只能解決業(yè)務(wù)連續(xù)性的需求，但用戶無法就近快速接入。災(zāi)備中心建設(shè)的投資巨大且運(yùn)維成本高昂，正常情況下災(zāi)備中心不對(duì)外服務(wù)，資源利用率偏低，造成了巨大的浪費(fèi)。兩個(gè)數(shù)據(jù)中心（同城/異地）的應(yīng)用都處于活動(dòng)狀態(tài)，都有業(yè)務(wù)對(duì)外提供服務(wù)且互為備份。但出于技術(shù)成熟度、成本等因素考慮，數(shù)據(jù)庫采用主備方式部署，數(shù)據(jù)庫讀寫操作都在主中心進(jìn)行，災(zāi)備中心進(jìn)行數(shù)據(jù)同步。發(fā)生災(zāi)難時(shí)，數(shù)

2、據(jù)中心間的數(shù)據(jù)庫可以快速切換，避免業(yè)務(wù)中斷。雙活數(shù)據(jù)中心可充分盤活閑置資源，保證業(yè)務(wù)的連續(xù)性，幫助用戶接入最優(yōu)節(jié)點(diǎn)，提高用戶訪問體驗(yàn)。3. 實(shí)施方案詳述真正的雙活，要在數(shù)據(jù)中心的從上到下各個(gè)層面，都要實(shí)現(xiàn)雙活。網(wǎng)絡(luò)、應(yīng)用、數(shù)據(jù)庫、存儲(chǔ)，各層面都要有雙活的設(shè)計(jì)，這樣才能真正意義上實(shí)現(xiàn)數(shù)據(jù)中心層面的雙活。從某種程度上說，雙活數(shù)據(jù)中心可以看做是一個(gè)云數(shù)據(jù)中心，因?yàn)樗哂性朴?jì)算所需的高可靠性、靈活性、高可用性和極高的業(yè)務(wù)連續(xù)性水平。不僅能夠滿足應(yīng)用對(duì)性能、可用性的需求，而且還可以靈活動(dòng)態(tài)擴(kuò)展。3.1 網(wǎng)絡(luò)子系統(tǒng)3.1.1 簡述從網(wǎng)絡(luò)上來看，雙活數(shù)據(jù)中心需要將同一個(gè)網(wǎng)絡(luò)擴(kuò)展到多個(gè)數(shù)據(jù)中心，在數(shù)據(jù)中心間需

3、要大二層網(wǎng)絡(luò)連接并且實(shí)現(xiàn)服務(wù)器和應(yīng)用的虛擬化數(shù)據(jù)中心互聯(lián)技術(shù)。大二層的網(wǎng)絡(luò)技術(shù)有IRF、TRILL、SPB、EVI等。IRF是將多臺(tái)網(wǎng)絡(luò)設(shè)備（成員設(shè)備）虛擬化為一臺(tái)網(wǎng)絡(luò)設(shè)備（虛擬設(shè)備），并將這些設(shè)備作為單一設(shè)備管理和使用。IRF把多臺(tái)設(shè)備合并，簡化了管理提高了性能，但I(xiàn)RF構(gòu)建二層網(wǎng)絡(luò)時(shí)，匯聚交換機(jī)最多是可達(dá)4臺(tái)，在二層無阻塞的前提下可接入13824臺(tái)雙網(wǎng)卡的千兆服務(wù)器，如果客戶期望其服務(wù)器資源池可以有效擴(kuò)充到2萬臺(tái)甚至更大，就需要其他技術(shù)提供更大的網(wǎng)絡(luò)容量。TRILL的全稱就是Transparent Interconnection of Lots of Links，顧名思義，其本質(zhì)就是將很多

4、條鏈路透明地組織在一起，以致于上層IP應(yīng)用感覺這只是一條鏈路。它本質(zhì)上是一個(gè)2.5層的技術(shù)，使用最短路徑、多路徑等三層路由技術(shù)來講多條鏈路組織成為一個(gè)大二層網(wǎng)絡(luò)，并支持VLAN、自配置、多播等二層功能。TRILL目前最大可以支持10核心組網(wǎng)，其最大能力可以無阻塞的接入27648臺(tái)雙網(wǎng)卡千兆服務(wù)器，但TRILL技術(shù)目前在芯片實(shí)現(xiàn)上存在客觀缺陷，核心層不能支持三層終結(jié)，也就是說TRILL的核心層不能做網(wǎng)關(guān)設(shè)備。必須要在核心層上再增加一層設(shè)備來做網(wǎng)關(guān)，這導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)變得復(fù)雜，管理難度增加，網(wǎng)絡(luò)建設(shè)、運(yùn)維成本都會(huì)增加。SPB的組網(wǎng)方案和TRILL基本相同(同樣可支持接入27648臺(tái))，其優(yōu)勢在于能夠方

5、便的支持VLAN擴(kuò)展功能，但同樣存在網(wǎng)關(guān)與SPB核心必須分離的芯片缺陷，導(dǎo)致網(wǎng)絡(luò)層次增加，管理、運(yùn)維成本增加。EVI可以通過匯聚層和核心層之間的IP網(wǎng)絡(luò)實(shí)現(xiàn)二層互通，所以通過EVI擴(kuò)展多個(gè)二層域的時(shí)候不需要更改布線或是設(shè)備，僅僅需要在匯聚設(shè)備上啟用EVI特性即可，這樣可以平滑的擴(kuò)展二層網(wǎng)絡(luò)的規(guī)模。其技術(shù)成熟、架構(gòu)穩(wěn)定，能夠支持大規(guī)模二層網(wǎng)絡(luò)，運(yùn)維也簡單方便。在數(shù)據(jù)中心之間建設(shè)一張?zhí)摂M的大二層網(wǎng)絡(luò)是實(shí)現(xiàn)網(wǎng)絡(luò)雙活的基礎(chǔ)。通過大二層網(wǎng)絡(luò)，可以實(shí)現(xiàn)跨數(shù)據(jù)中心的集群、資源共享和故障探測，它是保證故障發(fā)生后到故障切換中間過程不丟包的重要手段。另外通過負(fù)載均衡技術(shù)，可以實(shí)現(xiàn)流量在不同數(shù)據(jù)中心間的調(diào)度以及在單

6、數(shù)據(jù)中心內(nèi)多服務(wù)器的負(fù)載分擔(dān)；同時(shí)，負(fù)載均衡設(shè)備也是探測業(yè)務(wù)故障實(shí)現(xiàn)自動(dòng)切換的關(guān)鍵實(shí)現(xiàn)點(diǎn)。3.1.2 設(shè)計(jì)實(shí)現(xiàn)3.1.2.1 外網(wǎng)接入該部分內(nèi)容只是根據(jù)其他用戶的經(jīng)驗(yàn)提供一些建議，具體設(shè)計(jì)與實(shí)施需要專業(yè)的網(wǎng)絡(luò)系統(tǒng)廠商或集成商提供。建議兩個(gè)生產(chǎn)分別租用兩條互聯(lián)網(wǎng)出口線路，一條聯(lián)通線路，一條電信線路（每數(shù)據(jù)中心一條鏈路也可）。在每條線路出口處，分別透明部署一臺(tái)負(fù)載均衡設(shè)備，用來實(shí)現(xiàn)多廣域網(wǎng)線路選路和冗余備份，使用戶可以通過最快線路訪問某客戶的業(yè)務(wù)系統(tǒng)，加快了數(shù)據(jù)中心訪問速度。同時(shí)，當(dāng)任何一條線路故障，用戶依然可以通過另一條廣域網(wǎng)線路訪問數(shù)據(jù)中心服務(wù)器，提高了數(shù)據(jù)中心的可靠性。負(fù)載均衡設(shè)備會(huì)通過多種

7、方式檢測兩條鏈路的健康狀況，一旦發(fā)現(xiàn)其中一條鏈路故障，會(huì)立即將所有用戶流量定向至其它可用鏈路，從而實(shí)現(xiàn)網(wǎng)絡(luò)連接的高可用性。主要的方法有：為了確保ISP鏈路的暢通，鏈路負(fù)載均衡設(shè)備將采用Ping的方法，不僅僅檢查和其相連的路由器的端口是否可達(dá)，還可以檢查該鏈路后續(xù)路由節(jié)點(diǎn)的連通性（10跳），已確保整個(gè)路徑的暢通。針對(duì)所有的網(wǎng)絡(luò)環(huán)境，鏈路負(fù)載均衡設(shè)備提供了豐富的47層檢查方式，并可以通過多種檢查結(jié)果的“與”和“或”運(yùn)算結(jié)果，最終準(zhǔn)確判斷鏈路的健康狀況。通過負(fù)載均衡設(shè)備的智能DNS功能，實(shí)現(xiàn)兩數(shù)據(jù)中心的災(zāi)備功能。當(dāng)數(shù)據(jù)中心A的服務(wù)器故障或受到攻擊而不能提供服務(wù)時(shí)，負(fù)載均衡設(shè)備會(huì)引導(dǎo)用戶（自動(dòng)或人工）

8、去數(shù)據(jù)中心B訪問業(yè)務(wù)。 在用戶的權(quán)威DNS服務(wù)器上添加NS記錄，使服務(wù)器域名的解析權(quán)交給主備兩個(gè)站點(diǎn)的全局負(fù)載均衡設(shè)備。當(dāng)負(fù)載均衡設(shè)備（無論A或B中心）收到用戶DNS請(qǐng)求后，首先會(huì)檢測服務(wù)器狀態(tài)，確認(rèn)應(yīng)用是否健康，能否正常提供服務(wù)，廣域網(wǎng)線路是否正常等等。如果主站點(diǎn)服務(wù)器能提供正常服務(wù)，再根據(jù)DNS請(qǐng)求包源地址，將域名解析為主站點(diǎn)的聯(lián)通或電信地址（根據(jù)動(dòng)態(tài)探測結(jié)果），使用戶訪問主站點(diǎn)服務(wù)器。如果主站點(diǎn)服務(wù)器不能提供正常服務(wù)，則將域名解析為備站點(diǎn)的地址，使用戶訪問備站點(diǎn)服務(wù)器。當(dāng)兩個(gè)數(shù)據(jù)中心的任何一個(gè)互聯(lián)網(wǎng)線路故障或負(fù)載均衡設(shè)備同時(shí)故障，備份中心的負(fù)載均衡設(shè)備探測到對(duì)端數(shù)據(jù)中心故障，并接管全部D

9、NS解析功能，引導(dǎo)用戶訪問第二個(gè)數(shù)據(jù)中心互聯(lián)網(wǎng)入口。3.1.2.2 核心區(qū)網(wǎng)絡(luò)該部分內(nèi)容具體設(shè)計(jì)與實(shí)施需要專業(yè)的網(wǎng)絡(luò)系統(tǒng)廠商或集成商提供。3.1.2.3 SAN網(wǎng)絡(luò)數(shù)據(jù)中心A和數(shù)據(jù)中心B各部署臺(tái)光纖交換機(jī)，光纖交換機(jī)之間互為冗余，應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器通過HBA卡與兩臺(tái)冗余的交換機(jī)進(jìn)行連接，交換機(jī)再與本地的存儲(chǔ)的控制器連接，以數(shù)據(jù)中心A為例，SAN區(qū)域網(wǎng)絡(luò)具體連接如下圖：3.2 應(yīng)用子系統(tǒng)3.2.1 簡述數(shù)據(jù)中心雙活在應(yīng)用處理層面上實(shí)現(xiàn)了完全冗余，通過負(fù)載均衡自動(dòng)路由到不同數(shù)據(jù)中心的應(yīng)用服務(wù)器，所有的業(yè)務(wù)系統(tǒng)同時(shí)在同城的兩個(gè)數(shù)據(jù)中心運(yùn)行，同時(shí)為辦公人員提供服務(wù)。當(dāng)某個(gè)數(shù)據(jù)中心的應(yīng)用系統(tǒng)出現(xiàn)問

10、題時(shí)，有另一個(gè)數(shù)據(jù)中心的應(yīng)用來持續(xù)的提供服務(wù)。好處是服務(wù)能力是雙倍的，業(yè)務(wù)連續(xù)性和穩(wěn)定性得到了大大的提高且對(duì)用戶來說服務(wù)體驗(yàn)更好，故障無需感知。3.2.2 設(shè)計(jì)實(shí)現(xiàn)在數(shù)據(jù)中心內(nèi)部：為了滿足高性能和高可靠性的服務(wù)需求，將多臺(tái)服務(wù)器通過網(wǎng)絡(luò)設(shè)備相連組成一個(gè)服務(wù)器集群，每臺(tái)服務(wù)器都提供相同或相似的網(wǎng)絡(luò)服務(wù)。服務(wù)器集群前端部署一臺(tái)radware設(shè)備，負(fù)責(zé)根據(jù)已配置的均衡策略將用戶請(qǐng)求在服務(wù)器集群中分發(fā)，為用戶提供服務(wù)，并對(duì)服務(wù)器可用性進(jìn)行維護(hù)。負(fù)載均衡設(shè)備對(duì)數(shù)據(jù)流量優(yōu)化時(shí)，采用旁掛方式部署，在此模式下只有客戶端的請(qǐng)求報(bào)文通過負(fù)載均衡設(shè)備，服務(wù)器的響應(yīng)報(bào)文不經(jīng)過負(fù)載均衡設(shè)備，從而減輕負(fù)載，有效的避免了其

11、成為網(wǎng)絡(luò)瓶頸。客戶端請(qǐng)求報(bào)文的目的地址為虛服務(wù)地址(VSIP)，此地址由負(fù)載均衡設(shè)備對(duì)外呈現(xiàn)。負(fù)載均衡設(shè)備分發(fā)服務(wù)請(qǐng)求時(shí)，不改變目的IP地址，而將報(bào)文的目的MAC替換為實(shí)服務(wù)的MAC后直接把報(bào)文轉(zhuǎn)發(fā)給實(shí)服務(wù)。數(shù)據(jù)中心間：原數(shù)據(jù)中心應(yīng)用服務(wù)器可按照上文所述的方式做集群實(shí)現(xiàn)負(fù)載均衡又或者保持原樣，在新建的數(shù)據(jù)中心B采用傳統(tǒng)的X86機(jī)架式服務(wù)器搭建與數(shù)據(jù)中心A完全一致的應(yīng)用服務(wù)器系統(tǒng)，建設(shè)時(shí)要考慮原有性能與新建應(yīng)用系統(tǒng)差距不能太大。3.3 數(shù)據(jù)庫子系統(tǒng)3.3.1 簡述數(shù)據(jù)庫雙活則是指兩個(gè)數(shù)據(jù)庫系統(tǒng)可以在相隔比較遠(yuǎn)的情況下同時(shí)運(yùn)行、支持相同的應(yīng)用負(fù)載，并且在一方出現(xiàn)故障時(shí)能夠迅速切換到另一方（分鐘級(jí)）

12、，保證業(yè)務(wù)高可用性。比如ORACLE擴(kuò)展的RAC和DB2的purescale技術(shù)。但數(shù)據(jù)庫的雙活前提必須是網(wǎng)絡(luò)和存儲(chǔ)雙活。以O(shè)RACLE擴(kuò)展的11G RAC為例，其ASM卷則需要在兩邊存儲(chǔ)做鏡像綁定，以保證讀寫一致。在雙活數(shù)據(jù)中心模式下，Oracle RAC數(shù)據(jù)庫可以實(shí)現(xiàn)跨站點(diǎn)部署。兩個(gè)Oracle RAC節(jié)點(diǎn)分別部署在兩個(gè)數(shù)據(jù)中心（Oracle RAC 1部署在數(shù)據(jù)中心A，Oracle RAC 2部署在數(shù)據(jù)中心B），即使數(shù)據(jù)中心A發(fā)生故障，也不會(huì)影響到運(yùn)行在數(shù)據(jù)中心B里的Oracle RAC 2應(yīng)用。同時(shí)建議oracleRAC結(jié)合VMware HA技術(shù)，結(jié)合VMware HA可以保證數(shù)據(jù)中心

13、B自動(dòng)重啟原來運(yùn)行在數(shù)據(jù)中心A的Oracle RAC 1應(yīng)用。相比運(yùn)行在物理架構(gòu)上RAC，則運(yùn)行在VMware虛擬化平臺(tái)之上的Oracle RAC不僅可以實(shí)現(xiàn)更高級(jí)別的業(yè)務(wù)連續(xù)性，而且可以在線進(jìn)行維護(hù)和擴(kuò)容。借助VMware vMotion技術(shù)，還可以在線遷移Oracle RAC節(jié)點(diǎn)，從而避免了硬件維護(hù)時(shí)的應(yīng)用部分中斷。此外，通過VMware Hot-Add技術(shù)，我們還可以在線增加RAC節(jié)點(diǎn)虛擬機(jī)的CPU數(shù)量以及內(nèi)存容量，從而避免了硬件擴(kuò)容時(shí)的應(yīng)用中斷。3.3.2 設(shè)計(jì)實(shí)現(xiàn)原理圖各數(shù)據(jù)中心，數(shù)據(jù)庫服務(wù)器單獨(dú)建設(shè)一個(gè)局域網(wǎng)，并通過高帶寬光纖將數(shù)據(jù)中心A與數(shù)據(jù)中心B連接，并部署成OracleRAC，同時(shí)在數(shù)據(jù)中心A中或者其它區(qū)域位置部署一臺(tái)仲裁服務(wù)器。3.4 存儲(chǔ)子系統(tǒng)3.4.1 簡述存儲(chǔ)雙活使信息能在數(shù)據(jù)中心內(nèi)部以及數(shù)據(jù)中心之間共享、存取或移動(dòng)，從而將各種不同的存儲(chǔ)系統(tǒng)聯(lián)合成為單一資源。它允許地理上分離的兩個(gè)數(shù)據(jù)中心間的存儲(chǔ)系統(tǒng)同時(shí)進(jìn)行數(shù)據(jù)存取，對(duì)客戶