應(yīng)用級(jí)雙活建設(shè)方案

邏輯架構(gòu)方案簡(jiǎn)述某客戶(hù)為了保證業(yè)務(wù)的連續(xù)性，需要部署雙活數(shù)據(jù)中心，傳統(tǒng)的數(shù)據(jù)中心解決方案，正常情況下只有主數(shù)據(jù)中心投入運(yùn)行，備數(shù)據(jù)中心處于待命狀態(tài)。發(fā)生災(zāi)難時(shí)，災(zāi)備數(shù)據(jù)中心可以短時(shí)間內(nèi)恢復(fù)業(yè)務(wù)并投入運(yùn)行，減輕災(zāi)難帶來(lái)的損失。這種模式只能解決業(yè)務(wù)連續(xù)性的需求，但用戶(hù)無(wú)法就近快速接入。災(zāi)備中心建設(shè)的投資巨大且運(yùn)維本錢(qián)高昂，正常情況下災(zāi)備中心不對(duì)外效勞，資源利用率偏低，造成了巨大的浪費(fèi)。兩個(gè)數(shù)據(jù)中心〔同城/異地〕的應(yīng)用都處于活動(dòng)狀態(tài)，都有業(yè)務(wù)對(duì)外提供效勞且互為備份。但出于技術(shù)成熟度、本錢(qián)等因素考慮，數(shù)據(jù)庫(kù)采用主備方式部署，數(shù)據(jù)庫(kù)讀寫(xiě)操作都在主中心進(jìn)行，災(zāi)備中心進(jìn)行數(shù)據(jù)同步。發(fā)生災(zāi)難時(shí)，數(shù)據(jù)中心間的數(shù)據(jù)庫(kù)可以快速切換，防止業(yè)務(wù)中斷。雙活數(shù)據(jù)中心可充分盤(pán)活閑置資源，保證業(yè)務(wù)的連續(xù)性，幫助用戶(hù)接入最優(yōu)節(jié)點(diǎn)，提高用戶(hù)訪問(wèn)體驗(yàn)。實(shí)施方案詳述真正的雙活，要在數(shù)據(jù)中心的從上到下各個(gè)層面，都要實(shí)現(xiàn)雙活。網(wǎng)絡(luò)、應(yīng)用、數(shù)據(jù)庫(kù)、存儲(chǔ)，各層面都要有雙活的設(shè)計(jì)，這樣才能真正意義上實(shí)現(xiàn)數(shù)據(jù)中心層面的雙活。從某種程度上說(shuō)，雙活數(shù)據(jù)中心可以看做是一個(gè)云數(shù)據(jù)中心，因?yàn)樗哂性朴?jì)算所需的高可靠性、靈活性、高可用性和極高的業(yè)務(wù)連續(xù)性水平。不僅能夠滿(mǎn)足應(yīng)用對(duì)性能、可用性的需求，而且還可以靈活動(dòng)態(tài)擴(kuò)展。網(wǎng)絡(luò)子系統(tǒng)簡(jiǎn)述從網(wǎng)絡(luò)上來(lái)看，雙活數(shù)據(jù)中心需要將同一個(gè)網(wǎng)絡(luò)擴(kuò)展到多個(gè)數(shù)據(jù)中心，在數(shù)據(jù)中心間需要大二層網(wǎng)絡(luò)連接并且實(shí)現(xiàn)效勞器和應(yīng)用的虛擬化數(shù)據(jù)中心互聯(lián)技術(shù)。大二層的網(wǎng)絡(luò)技術(shù)有IRF、TRILL、SPB、EVI等。IRF是將多臺(tái)網(wǎng)絡(luò)設(shè)備〔成員設(shè)備〕虛擬化為一臺(tái)網(wǎng)絡(luò)設(shè)備〔虛擬設(shè)備〕，并將這些設(shè)備作為單一設(shè)備管理和使用。IRF把多臺(tái)設(shè)備合并，簡(jiǎn)化了管理提高了性能，但I(xiàn)RF構(gòu)建二層網(wǎng)絡(luò)時(shí)，會(huì)聚交換機(jī)最多是可達(dá)4臺(tái)，在二層無(wú)阻塞的前提下可接入13824臺(tái)雙網(wǎng)卡的千兆效勞器，如果客戶(hù)期望其效勞器資源池可以有效擴(kuò)充到2萬(wàn)臺(tái)甚至更大，就需要其他技術(shù)提供更大的網(wǎng)絡(luò)容量。TRILL的全稱(chēng)就是TransparentInterconnectionofLotsofLinks，顧名思義，其本質(zhì)就是將很多條鏈路透明地組織在一起，以致于上層IP應(yīng)用感覺(jué)這只是一條鏈路。它本質(zhì)上是一個(gè)2.5層的技術(shù)，使用最短路徑、多路徑等三層路由技術(shù)來(lái)講多條鏈路組織成為一個(gè)大二層網(wǎng)絡(luò)，并支持VLAN、自配置、多播等二層功能。TRILL目前最大可以支持10核心組網(wǎng)，其最大能力可以無(wú)阻塞的接入27648臺(tái)雙網(wǎng)卡千兆效勞器，但TRILL技術(shù)目前在芯片實(shí)現(xiàn)上存在客觀缺陷，核心層不能支持三層終結(jié)，也就是說(shuō)TRILL的核心層不能做網(wǎng)關(guān)設(shè)備。必須要在核心層上再增加一層設(shè)備來(lái)做網(wǎng)關(guān)，這導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)變得復(fù)雜，管理難度增加，網(wǎng)絡(luò)建設(shè)、運(yùn)維本錢(qián)都會(huì)增加。SPB的組網(wǎng)方案和TRILL根本相同(同樣可支持接入27648臺(tái))，其優(yōu)勢(shì)在于能夠方便的支持VLAN擴(kuò)展功能，但同樣存在網(wǎng)關(guān)與SPB核心必須別離的芯片缺陷，導(dǎo)致網(wǎng)絡(luò)層次增加，管理、運(yùn)維本錢(qián)增加。EVI可以通過(guò)會(huì)聚層和核心層之間的IP網(wǎng)絡(luò)實(shí)現(xiàn)二層互通，所以通過(guò)EVI擴(kuò)展多個(gè)二層域的時(shí)候不需要更改布線或是設(shè)備，僅僅需要在會(huì)聚設(shè)備上啟用EVI特性即可，這樣可以平滑的擴(kuò)展二層網(wǎng)絡(luò)的規(guī)模。其技術(shù)成熟、架構(gòu)穩(wěn)定，能夠支持大規(guī)模二層網(wǎng)絡(luò)，運(yùn)維也簡(jiǎn)單方便。在數(shù)據(jù)中心之間建設(shè)一張?zhí)摂M的大二層網(wǎng)絡(luò)是實(shí)現(xiàn)網(wǎng)絡(luò)雙活的根底。通過(guò)大二層網(wǎng)絡(luò)，可以實(shí)現(xiàn)跨數(shù)據(jù)中心的集群、資源共享和故障探測(cè)，它是保證故障發(fā)生后到故障切換中間過(guò)程不丟包的重要手段。另外通過(guò)負(fù)載均衡技術(shù)，可以實(shí)現(xiàn)流量在不同數(shù)據(jù)中心間的調(diào)度以及在單數(shù)據(jù)中心內(nèi)多效勞器的負(fù)載分擔(dān)；同時(shí)，負(fù)載均衡設(shè)備也是探測(cè)業(yè)務(wù)故障實(shí)現(xiàn)自動(dòng)切換的關(guān)鍵實(shí)現(xiàn)點(diǎn)。設(shè)計(jì)實(shí)現(xiàn)外網(wǎng)接入該局部?jī)?nèi)容只是根據(jù)其他用戶(hù)的經(jīng)驗(yàn)提供一些建議，具體設(shè)計(jì)與實(shí)施需要專(zhuān)業(yè)的網(wǎng)絡(luò)系統(tǒng)廠商或集成商提供。建議兩個(gè)生產(chǎn)分別租用兩條互聯(lián)網(wǎng)出口線路，一條聯(lián)通線路，一條電信線路〔每數(shù)據(jù)中心一條鏈路也可〕。在每條線路出口處，分別透明部署一臺(tái)負(fù)載均衡設(shè)備，用來(lái)實(shí)現(xiàn)多廣域網(wǎng)線路選路和冗余備份，使用戶(hù)可以通過(guò)最快線路訪問(wèn)某客戶(hù)的業(yè)務(wù)系統(tǒng)，加快了數(shù)據(jù)中心訪問(wèn)速度。同時(shí)，當(dāng)任何一條線路故障，用戶(hù)依然可以通過(guò)另一條廣域網(wǎng)線路訪問(wèn)數(shù)據(jù)中心效勞器，提高了數(shù)據(jù)中心的可靠性。負(fù)載均衡設(shè)備會(huì)通過(guò)多種方式檢測(cè)兩條鏈路的健康狀況，一旦發(fā)現(xiàn)其中一條鏈路故障，會(huì)立即將所有用戶(hù)流量定向至其它可用鏈路，從而實(shí)現(xiàn)網(wǎng)絡(luò)連接的高可用性。主要的方法有：為了確保ISP鏈路的暢通，鏈路負(fù)載均衡設(shè)備將采用Ping的方法，不僅僅檢查和其相連的路由器的端口是否可達(dá)，還可以檢查該鏈路后續(xù)路由節(jié)點(diǎn)的連通性〔10跳〕，已確保整個(gè)路徑的暢通。針對(duì)所有的網(wǎng)絡(luò)環(huán)境，鏈路負(fù)載均衡設(shè)備提供了豐富的4～7層檢查方式，并可以通過(guò)多種檢查結(jié)果的“與〞和“或〞運(yùn)算結(jié)果，最終準(zhǔn)確判斷鏈路的健康狀況。通過(guò)負(fù)載均衡設(shè)備的智能DNS功能，實(shí)現(xiàn)兩數(shù)據(jù)中心的災(zāi)備功能。當(dāng)數(shù)據(jù)中心A的效勞器故障或受到攻擊而不能提供效勞時(shí)，負(fù)載均衡設(shè)備會(huì)引導(dǎo)用戶(hù)〔自動(dòng)或人工〕去數(shù)據(jù)中心B訪問(wèn)業(yè)務(wù)。在用戶(hù)的權(quán)威DNS效勞器上添加NS記錄，使效勞器域名的解析權(quán)交給主備兩個(gè)站點(diǎn)的全局負(fù)載均衡設(shè)備。當(dāng)負(fù)載均衡設(shè)備〔無(wú)論A或B中心〕收到用戶(hù)DNS請(qǐng)求后，首先會(huì)檢測(cè)效勞器狀態(tài)，確認(rèn)應(yīng)用是否健康，能否正常提供效勞，廣域網(wǎng)線路是否正常等等。如果主站點(diǎn)效勞器能提供正常效勞，再根據(jù)DNS請(qǐng)求包源地址，將域名解析為主站點(diǎn)的聯(lián)通或電信地址〔根據(jù)動(dòng)態(tài)探測(cè)結(jié)果〕，使用戶(hù)訪問(wèn)主站點(diǎn)效勞器。如果主站點(diǎn)效勞器不能提供正常效勞，那么將域名解析為備站點(diǎn)的地址，使用戶(hù)訪問(wèn)備站點(diǎn)效勞器。當(dāng)兩個(gè)數(shù)據(jù)中心的任何一個(gè)互聯(lián)網(wǎng)線路故障或負(fù)載均衡設(shè)備同時(shí)故障，備份中心的負(fù)載均衡設(shè)備探測(cè)到對(duì)端數(shù)據(jù)中心故障，并接管全部DNS解析功能，引導(dǎo)用戶(hù)訪問(wèn)第二個(gè)數(shù)據(jù)中心互聯(lián)網(wǎng)入口。核心區(qū)網(wǎng)絡(luò)該局部?jī)?nèi)容具體設(shè)計(jì)與實(shí)施需要專(zhuān)業(yè)的網(wǎng)絡(luò)系統(tǒng)廠商或集成商提供。SAN網(wǎng)絡(luò)數(shù)據(jù)中心A和數(shù)據(jù)中心B各部署臺(tái)光纖交換機(jī)，光纖交換機(jī)之間互為冗余，應(yīng)用效勞器和數(shù)據(jù)庫(kù)效勞器通過(guò)HBA卡與兩臺(tái)冗余的交換機(jī)進(jìn)行連接，交換機(jī)再與本地的存儲(chǔ)的控制器連接，以數(shù)據(jù)中心A為例，SAN區(qū)域網(wǎng)絡(luò)具體連接如下列圖：應(yīng)用子系統(tǒng)簡(jiǎn)述數(shù)據(jù)中心雙活在應(yīng)用處理層面上實(shí)現(xiàn)了完全冗余，通過(guò)負(fù)載均衡自動(dòng)路由到不同數(shù)據(jù)中心的應(yīng)用效勞器，所有的業(yè)務(wù)系統(tǒng)同時(shí)在同城的兩個(gè)數(shù)據(jù)中心運(yùn)行，同時(shí)為辦公人員提供效勞。當(dāng)某個(gè)數(shù)據(jù)中心的應(yīng)用系統(tǒng)出現(xiàn)問(wèn)題時(shí)，有另一個(gè)數(shù)據(jù)中心的應(yīng)用來(lái)持續(xù)的提供效勞。好處是效勞能力是雙倍的，業(yè)務(wù)連續(xù)性和穩(wěn)定性得到了大大的提高且對(duì)用戶(hù)來(lái)說(shuō)效勞體驗(yàn)更好，故障無(wú)需感知。設(shè)計(jì)實(shí)現(xiàn)在數(shù)據(jù)中心內(nèi)部：為了滿(mǎn)足高性能和高可靠性的效勞需求，將多臺(tái)效勞器通過(guò)網(wǎng)絡(luò)設(shè)備相連組成一個(gè)效勞器集群，每臺(tái)效勞器都提供相同或相似的網(wǎng)絡(luò)效勞。效勞器集群前端部署一臺(tái)radware設(shè)備，負(fù)責(zé)根據(jù)已配置的均衡策略將用戶(hù)請(qǐng)求在效勞器集群中分發(fā)，為用戶(hù)提供效勞，并對(duì)效勞器可用性進(jìn)行維護(hù)。負(fù)載均衡設(shè)備對(duì)數(shù)據(jù)流量?jī)?yōu)化時(shí)，采用旁?huà)旆绞讲渴?，在此模式下只有客?hù)端的請(qǐng)求報(bào)文通過(guò)負(fù)載均衡設(shè)備，效勞器的響應(yīng)報(bào)文不經(jīng)過(guò)負(fù)載均衡設(shè)備，從而減輕負(fù)載，有效的防止了其成為網(wǎng)絡(luò)瓶頸?？蛻?hù)端請(qǐng)求報(bào)文的目的地址為虛效勞地址(VSIP)，此地址由負(fù)載均衡設(shè)備對(duì)外呈現(xiàn)。負(fù)載均衡設(shè)備分發(fā)效勞請(qǐng)求時(shí)，不改變目的IP地址，而將報(bào)文的目的MAC替換為實(shí)效勞的MAC后直接把報(bào)文轉(zhuǎn)發(fā)給實(shí)效勞。數(shù)據(jù)中心間：原數(shù)據(jù)中心應(yīng)用效勞器可按照上文所述的方式做集群實(shí)現(xiàn)負(fù)載均衡又或者保持原樣，在新建的數(shù)據(jù)中心B采用傳統(tǒng)的X86機(jī)架式效勞器搭建與數(shù)據(jù)中心A完全一致的應(yīng)用效勞器系統(tǒng)，建設(shè)時(shí)要考慮原有性能與新建應(yīng)用系統(tǒng)差距不能太大。數(shù)據(jù)庫(kù)子系統(tǒng)簡(jiǎn)述數(shù)據(jù)庫(kù)雙活那么是指兩個(gè)數(shù)據(jù)庫(kù)系統(tǒng)可以在相隔比擬遠(yuǎn)的情況下同時(shí)運(yùn)行、支持相同的應(yīng)用負(fù)載，并且在一方出現(xiàn)故障時(shí)能夠迅速切換到另一方〔分鐘級(jí)〕，保證業(yè)務(wù)高可用性。比方ORACLE擴(kuò)展的RAC和DB2的purescale技術(shù)。但數(shù)據(jù)庫(kù)的雙活前提必須是網(wǎng)絡(luò)和存儲(chǔ)雙活。以O(shè)RACLE擴(kuò)展的11GRAC為例，其ASM卷那么需要在兩邊存儲(chǔ)做鏡像綁定，以保證讀寫(xiě)一致。在雙活數(shù)據(jù)中心模式下，OracleRAC數(shù)據(jù)庫(kù)可以實(shí)現(xiàn)跨站點(diǎn)部署。兩個(gè)OracleRAC節(jié)點(diǎn)分別部署在兩個(gè)數(shù)據(jù)中心〔OracleRAC1部署在數(shù)據(jù)中心A，OracleRAC2部署在數(shù)據(jù)中心B〕，即使數(shù)據(jù)中心A發(fā)生故障，也不會(huì)影響到運(yùn)行在數(shù)據(jù)中心B里的OracleRAC2應(yīng)用。同時(shí)建議oracleRAC結(jié)合VMwareHA技術(shù)，結(jié)合VMwareHA可以保證數(shù)據(jù)中心B自動(dòng)重啟原來(lái)運(yùn)行在數(shù)據(jù)中心A的OracleRAC1應(yīng)用。相比運(yùn)行在物理架構(gòu)上RAC，那么運(yùn)行在VMware虛擬化平臺(tái)之上的OracleRAC不僅可以實(shí)現(xiàn)更高級(jí)別的業(yè)務(wù)連續(xù)性，而且可以在線進(jìn)行維護(hù)和擴(kuò)容。借助VMwarevMotion技術(shù)，還可以在線遷移OracleRAC節(jié)點(diǎn)，從而防止了硬件維護(hù)時(shí)的應(yīng)用局部中斷。此外，通過(guò)VMwareHot-Add技術(shù)，我們還可以在線增加RAC節(jié)點(diǎn)虛擬機(jī)的CPU數(shù)量以及內(nèi)存容量，從而防止了硬件擴(kuò)容時(shí)的應(yīng)用中斷。設(shè)計(jì)實(shí)現(xiàn)原理圖各數(shù)據(jù)中心，數(shù)據(jù)庫(kù)效勞器單獨(dú)建設(shè)一個(gè)局域網(wǎng)，并通過(guò)高帶寬光纖將數(shù)據(jù)中心A與數(shù)據(jù)中心B連接，并部署成OracleRAC，同時(shí)在數(shù)據(jù)中心A中或者其它區(qū)域位置部署一臺(tái)仲裁效勞器。存儲(chǔ)子系統(tǒng)簡(jiǎn)述存儲(chǔ)雙活使信息能在數(shù)據(jù)中心內(nèi)部以及數(shù)據(jù)中心之間共享、存取或移動(dòng)，從而將各種不同的存儲(chǔ)系統(tǒng)聯(lián)合成為單一資源。它允許地理上別離的兩個(gè)數(shù)據(jù)中心間的存儲(chǔ)系統(tǒng)同時(shí)進(jìn)行數(shù)據(jù)存取，