應(yīng)用級雙活建設(shè)方案詳細(xì)

1、9 / 91.邏輯架構(gòu)2.方案簡述某客戶為了保證業(yè)務(wù)的連續(xù)性，需要部署雙活數(shù)據(jù)中心，傳統(tǒng)的數(shù)據(jù)中心解決方案，正常情況下只有主數(shù)據(jù)中心投入運(yùn)行，備數(shù)據(jù)中心處于待命狀態(tài)。發(fā)生災(zāi)難時，災(zāi)備數(shù)據(jù)中心可以短時間恢復(fù)業(yè)務(wù)并投入運(yùn)行，減輕災(zāi)難帶來的損失。這種模式只能解決業(yè)務(wù)連續(xù)性的需求，但用戶無法就近快速接入。災(zāi)備中心建設(shè)的投資巨大且運(yùn)維成本高昂，正常情況下災(zāi)備中心不對外服務(wù)，資源利用率偏低，造成了巨大的浪費(fèi)。兩個數(shù)據(jù)中心（同城/異地）的應(yīng)用都處于活動狀態(tài)，都有業(yè)務(wù)對外提供服務(wù)且互為備份。但出于技術(shù)成熟度、成本等因素考慮，數(shù)據(jù)庫采用主備方式部署，數(shù)據(jù)庫讀寫操作都在主中心進(jìn)行，災(zāi)備中心進(jìn)行數(shù)據(jù)同步。發(fā)生災(zāi)難時

2、，數(shù)據(jù)中心間的數(shù)據(jù)庫可以快速切換，避免業(yè)務(wù)中斷。雙活數(shù)據(jù)中心可充分盤活閑置資源，保證業(yè)務(wù)的連續(xù)性，幫助用戶接入最優(yōu)節(jié)點(diǎn)，提高用戶訪問體驗(yàn)。3.實(shí)施方案詳述真正的雙活，要在數(shù)據(jù)中心的從上到下各個層面，都要實(shí)現(xiàn)雙活。網(wǎng)絡(luò)、應(yīng)用、數(shù)據(jù)庫、存儲，各層面都要有雙活的設(shè)計，這樣才能真正意義上實(shí)現(xiàn)數(shù)據(jù)中心層面的雙活。從某種程度上說，雙活數(shù)據(jù)中心可以看做是一個云數(shù)據(jù)中心，因?yàn)樗哂性朴嬎闼璧母呖煽啃浴㈧`活性、高可用性和極高的業(yè)務(wù)連續(xù)性水平。不僅能夠滿足應(yīng)用對性能、可用性的需求，而且還可以靈活動態(tài)擴(kuò)展。3.1網(wǎng)絡(luò)子系統(tǒng)3.1.1簡述從網(wǎng)絡(luò)上來看，雙活數(shù)據(jù)中心需要將同一個網(wǎng)絡(luò)擴(kuò)展到多個數(shù)據(jù)中心，在數(shù)據(jù)中心間需要

3、大二層網(wǎng)絡(luò)連接并且實(shí)現(xiàn)服務(wù)器和應(yīng)用的虛擬化數(shù)據(jù)中心互聯(lián)技術(shù)。大二層的網(wǎng)絡(luò)技術(shù)有IRF、TRILL、SPB、EVI等。IRF是將多臺網(wǎng)絡(luò)設(shè)備（成員設(shè)備）虛擬化為一臺網(wǎng)絡(luò)設(shè)備（虛擬設(shè)備），并將這些設(shè)備作為單一設(shè)備管理和使用。IRF把多臺設(shè)備合并，簡化了管理提高了性能，但I(xiàn)RF構(gòu)建二層網(wǎng)絡(luò)時，匯聚交換機(jī)最多是可達(dá)4臺，在二層無阻塞的前提下可接入13824臺雙網(wǎng)卡的千兆服務(wù)器，如果客戶期望其服務(wù)器資源池可以有效擴(kuò)充到2萬臺甚至更大，就需要其他技術(shù)提供更大的網(wǎng)絡(luò)容量。TRILL的全稱就是TransparentInterconnectionofLotsofLinks，顧名思義，其本質(zhì)就是將很多條鏈路透明地

4、組織在一起，以致于上層IP應(yīng)用感覺這只是一條鏈路。它本質(zhì)上是一個2.5層的技術(shù)，使用最短路徑、多路徑等三層路由技術(shù)來講多條鏈路組織成為一個大二層網(wǎng)絡(luò)，并支持VLAN、自配置、多播等二層功能。TRILL目前最大可以支持10核心組網(wǎng)，其最大能力可以無阻塞的接入27648臺雙網(wǎng)卡千兆服務(wù)器，但TRILL技術(shù)目前在芯片實(shí)現(xiàn)上存在客觀缺陷，核心層不能支持三層終結(jié)，也就是說TRILL的核心層不能做網(wǎng)關(guān)設(shè)備。必須要在核心層上再增加一層設(shè)備來做網(wǎng)關(guān)，這導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)變得復(fù)雜，管理難度增加，網(wǎng)絡(luò)建設(shè)、運(yùn)維成本都會增加。SPB的組網(wǎng)方案和TRILL基本一樣(同樣可支持接入27648臺)，其優(yōu)勢在于能夠方便的支持VL

5、AN擴(kuò)展功能，但同樣存在網(wǎng)關(guān)與SPB核心必須分離的芯片缺陷，導(dǎo)致網(wǎng)絡(luò)層次增加，管理、運(yùn)維成本增加。EVI可以通過匯聚層和核心層之間的IP網(wǎng)絡(luò)實(shí)現(xiàn)二層互通，所以通過EVI擴(kuò)展多個二層域的時候不需要更改布線或是設(shè)備，僅僅需要在匯聚設(shè)備上啟用EVI特性即可，這樣可以平滑的擴(kuò)展二層網(wǎng)絡(luò)的規(guī)模。其技術(shù)成熟、架構(gòu)穩(wěn)定，能夠支持大規(guī)模二層網(wǎng)絡(luò)，運(yùn)維也簡單方便。在數(shù)據(jù)中心之間建設(shè)一虛擬的大二層網(wǎng)絡(luò)是實(shí)現(xiàn)網(wǎng)絡(luò)雙活的基礎(chǔ)。通過大二層網(wǎng)絡(luò)，可以實(shí)現(xiàn)跨數(shù)據(jù)中心的集群、資源共享和故障探測，它是保證故障發(fā)生后到故障切換中間過程不丟包的重要手段。另外通過負(fù)載均衡技術(shù)，可以實(shí)現(xiàn)流量在不同數(shù)據(jù)中心間的調(diào)度以與在單數(shù)據(jù)中心多服務(wù)

6、器的負(fù)載分擔(dān)；同時，負(fù)載均衡設(shè)備也是探測業(yè)務(wù)故障實(shí)現(xiàn)自動切換的關(guān)鍵實(shí)現(xiàn)點(diǎn)。3.1.2設(shè)計實(shí)現(xiàn)3.1.2.1外網(wǎng)接入該部分容只是根據(jù)其他用戶的經(jīng)驗(yàn)提供一些建議，具體設(shè)計與實(shí)施需要專業(yè)的網(wǎng)絡(luò)系統(tǒng)廠商或集成商提供。建議兩個生產(chǎn)分別租用兩條互聯(lián)網(wǎng)出口線路，一條聯(lián)通線路，一條電信線路（每數(shù)據(jù)中心一條鏈路也可）。在每條線路出口處，分別透明部署一臺負(fù)載均衡設(shè)備，用來實(shí)現(xiàn)多廣域網(wǎng)線路選路和冗余備份，使用戶可以通過最快線路訪問某客戶的業(yè)務(wù)系統(tǒng)，加快了數(shù)據(jù)中心訪問速度。同時，當(dāng)任何一條線路故障，用戶依然可以通過另一條廣域網(wǎng)線路訪問數(shù)據(jù)中心服務(wù)器，提高了數(shù)據(jù)中心的可靠性。負(fù)載均衡設(shè)備會通過多種方式檢測兩條鏈路的健康

7、狀況，一旦發(fā)現(xiàn)其中一條鏈路故障，會立即將所有用戶流量定向至其它可用鏈路，從而實(shí)現(xiàn)網(wǎng)絡(luò)連接的高可用性。主要的方法有：為了確保ISP鏈路的暢通，鏈路負(fù)載均衡設(shè)備將采用Ping的方法，不僅僅檢查和其相連的路由器的端口是否可達(dá)，還可以檢查該鏈路后續(xù)路由節(jié)點(diǎn)的連通性（10跳），已確保整個路徑的暢通。針對所有的網(wǎng)絡(luò)環(huán)境，鏈路負(fù)載均衡設(shè)備提供了豐富的47層檢查方式，并可以通過多種檢查結(jié)果的“與”和“或”運(yùn)算結(jié)果，最終準(zhǔn)確判斷鏈路的健康狀況。通過負(fù)載均衡設(shè)備的智能DNS功能，實(shí)現(xiàn)兩數(shù)據(jù)中心的災(zāi)備功能。當(dāng)數(shù)據(jù)中心A的服務(wù)器故障或受到攻擊而不能提供服務(wù)時，負(fù)載均衡設(shè)備會引導(dǎo)用戶（自動或人工）去數(shù)據(jù)中心B訪問業(yè)務(wù)。

8、在用戶的權(quán)威DNS服務(wù)器上添加NS記錄，使服務(wù)器域名的解析權(quán)交給主備兩個站點(diǎn)的全局負(fù)載均衡設(shè)備。當(dāng)負(fù)載均衡設(shè)備（無論A或B中心）收到用戶DNS請求后，首先會檢測服務(wù)器狀態(tài)，確認(rèn)應(yīng)用是否健康，能否正常提供服務(wù)，廣域網(wǎng)線路是否正常等等。如果主站點(diǎn)服務(wù)器能提供正常服務(wù)，再根據(jù)DNS請求包源地址，將域名解析為主站點(diǎn)的聯(lián)通或電信地址（根據(jù)動態(tài)探測結(jié)果），使用戶訪問主站點(diǎn)服務(wù)器。如果主站點(diǎn)服務(wù)器不能提供正常服務(wù)，則將域名解析為備站點(diǎn)的地址，使用戶訪問備站點(diǎn)服務(wù)器。當(dāng)兩個數(shù)據(jù)中心的任何一個互聯(lián)網(wǎng)線路故障或負(fù)載均衡設(shè)備同時故障，備份中心的負(fù)載均衡設(shè)備探測到對端數(shù)據(jù)中心故障，并接管全部DNS解析功能，引導(dǎo)用戶訪

9、問第二個數(shù)據(jù)中心互聯(lián)網(wǎng)入口。3.1.2.2核心區(qū)網(wǎng)絡(luò)該部分容具體設(shè)計與實(shí)施需要專業(yè)的網(wǎng)絡(luò)系統(tǒng)廠商或集成商提供。3.1.2.3SAN網(wǎng)絡(luò)數(shù)據(jù)中心A和數(shù)據(jù)中心B各部署臺光纖交換機(jī)，光纖交換機(jī)之間互為冗余，應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器通過HBA卡與兩臺冗余的交換機(jī)進(jìn)行連接，交換機(jī)再與本地的存儲的控制器連接，以數(shù)據(jù)中心A為例，SAN區(qū)域網(wǎng)絡(luò)具體連接如下圖：3.2應(yīng)用子系統(tǒng)3.2.1簡述數(shù)據(jù)中心雙活在應(yīng)用處理層面上實(shí)現(xiàn)了完全冗余，通過負(fù)載均衡自動路由到不同數(shù)據(jù)中心的應(yīng)用服務(wù)器，所有的業(yè)務(wù)系統(tǒng)同時在同城的兩個數(shù)據(jù)中心運(yùn)行，同時為辦公人員提供服務(wù)。當(dāng)某個數(shù)據(jù)中心的應(yīng)用系統(tǒng)出現(xiàn)問題時，有另一個數(shù)據(jù)中心的應(yīng)用來持續(xù)

10、的提供服務(wù)。好處是服務(wù)能力是雙倍的，業(yè)務(wù)連續(xù)性和穩(wěn)定性得到了大大的提高且對用戶來說服務(wù)體驗(yàn)更好，故障無需感知。3.2.2設(shè)計實(shí)現(xiàn)在數(shù)據(jù)中心部：為了滿足高性能和高可靠性的服務(wù)需求，將多臺服務(wù)器通過網(wǎng)絡(luò)設(shè)備相連組成一個服務(wù)器集群，每臺服務(wù)器都提供一樣或相似的網(wǎng)絡(luò)服務(wù)。服務(wù)器集群前端部署一臺radware設(shè)備，負(fù)責(zé)根據(jù)已配置的均衡策略將用戶請求在服務(wù)器集群中分發(fā)，為用戶提供服務(wù)，并對服務(wù)器可用性進(jìn)行維護(hù)。負(fù)載均衡設(shè)備對數(shù)據(jù)流量優(yōu)化時，采用旁掛方式部署，在此模式下只有客戶端的請求報文通過負(fù)載均衡設(shè)備，服務(wù)器的響應(yīng)報文不經(jīng)過負(fù)載均衡設(shè)備，從而減輕負(fù)載，有效的避免了其成為網(wǎng)絡(luò)瓶頸。客戶端請求報文的目的地址

11、為虛服務(wù)地址(VSIP)，此地址由負(fù)載均衡設(shè)備對外呈現(xiàn)。負(fù)載均衡設(shè)備分發(fā)服務(wù)請求時，不改變目的IP地址，而將報文的目的MAC替換為實(shí)服務(wù)的MAC后直接把報文轉(zhuǎn)發(fā)給實(shí)服務(wù)。數(shù)據(jù)中心間：原數(shù)據(jù)中心應(yīng)用服務(wù)器可按照上文所述的方式做集群實(shí)現(xiàn)負(fù)載均衡又或者保持原樣，在新建的數(shù)據(jù)中心B采用傳統(tǒng)的X86機(jī)架式服務(wù)器搭建與數(shù)據(jù)中心A完全一致的應(yīng)用服務(wù)器系統(tǒng)，建設(shè)時要考慮原有性能與新建應(yīng)用系統(tǒng)差距不能太大。3.3數(shù)據(jù)庫子系統(tǒng)3.3.1簡述數(shù)據(jù)庫雙活則是指兩個數(shù)據(jù)庫系統(tǒng)可以在相隔比較遠(yuǎn)的情況下同時運(yùn)行、支持一樣的應(yīng)用負(fù)載，并且在一方出現(xiàn)故障時能夠迅速切換到另一方（分鐘級），保證業(yè)務(wù)高可用性。比如ORACLE擴(kuò)展的

12、RAC和DB2的purescale技術(shù)。但數(shù)據(jù)庫的雙活前提必須是網(wǎng)絡(luò)和存儲雙活。以O(shè)RACLE擴(kuò)展的11GRAC為例，其ASM卷則需要在兩邊存儲做鏡像綁定，以保證讀寫一致。在雙活數(shù)據(jù)中心模式下，OracleRAC數(shù)據(jù)庫可以實(shí)現(xiàn)跨站點(diǎn)部署。兩個OracleRAC節(jié)點(diǎn)分別部署在兩個數(shù)據(jù)中心（OracleRAC1部署在數(shù)據(jù)中心A，OracleRAC2部署在數(shù)據(jù)中心B），即使數(shù)據(jù)中心A發(fā)生故障，也不會影響到運(yùn)行在數(shù)據(jù)中心B里的OracleRAC2應(yīng)用。同時建議oracleRAC結(jié)合VMwareHA技術(shù)，結(jié)合VMwareHA可以保證數(shù)據(jù)中心B自動重啟原來運(yùn)行在數(shù)據(jù)中心A的OracleRAC1應(yīng)用。相比運(yùn)

13、行在物理架構(gòu)上RAC，則運(yùn)行在VMware虛擬化平臺之上的OracleRAC不僅可以實(shí)現(xiàn)更高級別的業(yè)務(wù)連續(xù)性，而且可以在線進(jìn)行維護(hù)和擴(kuò)容。借助VMwarevMotion技術(shù)，還可以在線遷移OracleRAC節(jié)點(diǎn)，從而避免了硬件維護(hù)時的應(yīng)用部分中斷。此外，通過VMwareHot-Add技術(shù)，我們還可以在線增加RAC節(jié)點(diǎn)虛擬機(jī)的CPU數(shù)量以與存容量，從而避免了硬件擴(kuò)容時的應(yīng)用中斷。3.3.2設(shè)計實(shí)現(xiàn)原理圖各數(shù)據(jù)中心，數(shù)據(jù)庫服務(wù)器單獨(dú)建設(shè)一個局域網(wǎng)，并通過高帶寬光纖將數(shù)據(jù)中心A與數(shù)據(jù)中心B連接，并部署成OracleRAC，同時在數(shù)據(jù)中心A中或者其它區(qū)域位置部署一臺仲裁服務(wù)器。3.4存儲子系統(tǒng)3.4.1簡述存儲雙活使信息能在數(shù)據(jù)中心部以與數(shù)據(jù)中心之間共享、存取或移動，從而將各種不同的存儲系統(tǒng)聯(lián)合成為單一資源。它允許地理上分離的兩個數(shù)據(jù)中心間的存儲系統(tǒng)同時進(jìn)行數(shù)據(jù)存取，對客戶透