深信服雙活數(shù)據(jù)中心業(yè)務(wù)層方案

1、雙活數(shù)據(jù)中心（業(yè)務(wù)層）方案一、需求背景： 隨著數(shù)據(jù)的大集中，銀行紛紛建設(shè)了負(fù)責(zé)本行各業(yè)務(wù)處理的生產(chǎn)數(shù)據(jù)中心機(jī)房（一般稱為數(shù)據(jù)中心），數(shù)據(jù)中心因其負(fù)擔(dān)了全行業(yè)務(wù)，所以其并發(fā)業(yè)務(wù)負(fù)荷能力和不間斷運(yùn)行能力是評(píng)價(jià)一個(gè)數(shù)據(jù)中心成熟與否的關(guān)鍵性指標(biāo)。近年來，隨著網(wǎng)上銀行、手機(jī)銀行等各種互聯(lián)網(wǎng)業(yè)務(wù)的迅猛發(fā)展，銀行數(shù)據(jù)中心的業(yè)務(wù)壓力業(yè)成倍增加，用戶對(duì)于業(yè)務(wù)訪問質(zhì)量的要求也越來越高，保障業(yè)務(wù)系統(tǒng)的7*24小時(shí)連續(xù)運(yùn)營(yíng)并提升用戶體驗(yàn)成為信息部門的首要職責(zé)。商業(yè)銀行信息系統(tǒng)的安全、穩(wěn)定運(yùn)行關(guān)系著國(guó)家金融安全和社會(huì)穩(wěn)定，監(jiān)管機(jī)構(gòu)也十分重視商業(yè)銀行的災(zāi)難備份體系建設(shè)，多次發(fā)布了商業(yè)銀行信息系統(tǒng)災(zāi)難備份的相關(guān)標(biāo)準(zhǔn)和指引，

2、對(duì)商業(yè)銀行災(zāi)備系統(tǒng)建設(shè)提出了明確的要求。為適應(yīng)互聯(lián)網(wǎng)業(yè)務(wù)的快速增長(zhǎng)，保障銀行各業(yè)務(wù)安全穩(wěn)定的不間斷運(yùn)行，提高市場(chǎng)競(jìng)爭(zhēng)力，同時(shí)符合監(jiān)管機(jī)構(gòu)的相關(guān)要求，建設(shè)災(zāi)備、雙活甚至多活數(shù)據(jù)中心正在成為商業(yè)銀行的共同選擇。二、發(fā)展趨勢(shì)：多數(shù)據(jù)中心的建設(shè)需要投入大量資金，其項(xiàng)目周期往往很長(zhǎng)，涉及的范圍也比較大。從技術(shù)上來說，要實(shí)現(xiàn)真正意義上的雙活，就要求網(wǎng)絡(luò)、應(yīng)用、數(shù)據(jù)庫(kù)和存儲(chǔ)都要雙活。就現(xiàn)階段來看，大多數(shù)客戶的多數(shù)據(jù)中心建設(shè)還達(dá)不到完全的雙活要求，主流的建設(shè)目標(biāo)是實(shí)現(xiàn)應(yīng)用雙活。目前客戶建設(shè)多數(shù)據(jù)中心的模型可以歸納為以下幾種：1.單純的數(shù)據(jù)容災(zāi)：正常情況下只有主數(shù)據(jù)中心投入運(yùn)行，備數(shù)據(jù)中心處于待命狀態(tài)。發(fā)生災(zāi)難

3、時(shí)，災(zāi)備數(shù)據(jù)中心可以短時(shí)間內(nèi)恢復(fù)業(yè)務(wù)并投入運(yùn)行，減輕災(zāi)難帶來的損失。這種模式只能解決業(yè)務(wù)連續(xù)性的需求，但用戶無法就近快速接入。災(zāi)備中心建設(shè)的投資巨大且運(yùn)維成本高昂，正常情況下災(zāi)備中心不對(duì)外服務(wù)，資源利用率偏低，造成了巨大的浪費(fèi)。2.構(gòu)建業(yè)務(wù)連續(xù)性：兩個(gè)數(shù)據(jù)中心（同城/異地）的應(yīng)用都處于活動(dòng)狀態(tài)，都有業(yè)務(wù)對(duì)外提供服務(wù)且互為備份。但出于技術(shù)成熟度、成本等因素考慮，數(shù)據(jù)庫(kù)采用主備方式部署，數(shù)據(jù)庫(kù)讀寫操作都在主中心進(jìn)行，災(zāi)備中心進(jìn)行數(shù)據(jù)同步。發(fā)生災(zāi)難時(shí)，數(shù)據(jù)中心間的數(shù)據(jù)庫(kù)可以快速切換，避免業(yè)務(wù)中斷。雙活數(shù)據(jù)中心可充分盤活企業(yè)閑置資源，保證業(yè)務(wù)的連續(xù)性，幫助用戶接入最優(yōu)節(jié)點(diǎn)，提高用戶訪問體驗(yàn)。3.提升業(yè)

4、務(wù)服務(wù)能力：多個(gè)數(shù)據(jù)中心同時(shí)對(duì)外提供服務(wù)且互為備份，各中心的數(shù)據(jù)庫(kù)可同時(shí)處理應(yīng)用的讀寫請(qǐng)求，網(wǎng)絡(luò)、存儲(chǔ)、應(yīng)用和數(shù)據(jù)庫(kù)全部實(shí)現(xiàn)多活。各數(shù)據(jù)中心獨(dú)立運(yùn)營(yíng)，用戶流量可被智能調(diào)度，形成靈活、彈性和可擴(kuò)展的面向服務(wù)的業(yè)務(wù)架構(gòu)。三、業(yè)務(wù)目標(biāo)：用戶建設(shè)多數(shù)據(jù)中心的思路和建設(shè)模型略有不同，但大多數(shù)用戶的主要建設(shè)目標(biāo)可以歸納為以下幾點(diǎn)：u 流量分發(fā)用戶訪問流量可靈活、彈性的調(diào)度到多個(gè)數(shù)據(jù)中心，使各數(shù)據(jù)中心壓力相對(duì)均衡，保證用戶接入最近最快速的數(shù)據(jù)中心節(jié)點(diǎn)，提高用戶訪問體驗(yàn)。u 故障切換當(dāng)出口鏈路或內(nèi)部服務(wù)器出現(xiàn)異常時(shí)，運(yùn)維人員可第一時(shí)間獲悉故障情況，業(yè)務(wù)可根據(jù)需要自動(dòng)或手動(dòng)平滑切換至正常節(jié)點(diǎn)，保證用戶訪問的連續(xù)

5、性。u 業(yè)務(wù)安全數(shù)據(jù)中心所處位置基礎(chǔ)設(shè)施完善，水電通信供應(yīng)穩(wěn)定，數(shù)據(jù)中心內(nèi)部有相應(yīng)技術(shù)手段保證整個(gè)數(shù)據(jù)中心抵抗DDos攻擊，各業(yè)務(wù)系統(tǒng)不被黑客非法入侵。u 環(huán)境一致性多個(gè)數(shù)據(jù)中心對(duì)用戶來說理應(yīng)是透明的，其對(duì)外服務(wù)時(shí)提供統(tǒng)一接口，各數(shù)據(jù)中心內(nèi)部數(shù)據(jù)和服務(wù)能力需要完全一致，且隨時(shí)處于可切換狀態(tài)。四、技術(shù)實(shí)現(xiàn)邏輯我們把整個(gè)數(shù)據(jù)中心在邏輯上分為接入層和服務(wù)層，其邏輯流程如下：分層 鏈路層 服務(wù)層 五、總體設(shè)計(jì)總行數(shù)據(jù)中心整體上分為主中心和災(zāi)備中心，二者的網(wǎng)絡(luò)架構(gòu)、業(yè)務(wù)系統(tǒng)和服務(wù)能力都基本相同，同時(shí)對(duì)外提供服務(wù)，形成雙活數(shù)據(jù)中心。數(shù)據(jù)中心內(nèi)部劃分為互聯(lián)網(wǎng)業(yè)務(wù)區(qū)（提供外網(wǎng)服務(wù)，如手機(jī)銀行、網(wǎng)上銀行等）、核

6、心生產(chǎn)業(yè)務(wù)區(qū)（傳統(tǒng)生產(chǎn)業(yè)務(wù)，如ATM、柜面等）、數(shù)據(jù)庫(kù)區(qū)（生產(chǎn)/查詢）和業(yè)務(wù)測(cè)試區(qū)，出于成本考慮，災(zāi)備數(shù)據(jù)中心不設(shè)業(yè)務(wù)測(cè)試區(qū)。主備數(shù)據(jù)中心和各一級(jí)分行之間通過專線互聯(lián)，利用動(dòng)態(tài)路由協(xié)議組建企業(yè)內(nèi)部專網(wǎng)。數(shù)據(jù)中心的對(duì)外業(yè)務(wù)集中在互聯(lián)網(wǎng)業(yè)務(wù)區(qū)，通常使用域名方式對(duì)外發(fā)布，客戶端訪問業(yè)務(wù)系統(tǒng)時(shí)，需要先由DNS將域名解析為IP地址，然后再訪問該目標(biāo)IP。對(duì)外業(yè)務(wù)的全局負(fù)載通常利用DNS解析實(shí)現(xiàn)，其可根據(jù)用戶地理位置、用戶所屬運(yùn)營(yíng)商和網(wǎng)絡(luò)質(zhì)量、數(shù)據(jù)中心服務(wù)能力等因素作為判斷依據(jù)，為不同用戶返回不同的IP地址，實(shí)現(xiàn)流量的合理分配。對(duì)于數(shù)據(jù)中心的內(nèi)網(wǎng)業(yè)務(wù)，一部分與外網(wǎng)業(yè)務(wù)相同，通過域名發(fā)布。另一部分與一級(jí)分行

7、業(yè)務(wù)類似，直接通過IP地址訪問。對(duì)于通過IP地址訪問的業(yè)務(wù)，內(nèi)網(wǎng)全局負(fù)載采用IP-Anycast（RHI路由注入）技術(shù)實(shí)現(xiàn)，其原理是在各數(shù)據(jù)中心以相同IP發(fā)布業(yè)務(wù)，由動(dòng)態(tài)路由協(xié)議根據(jù)COST值等參數(shù)用戶判斷訪問的最佳路徑。六、互聯(lián)網(wǎng)業(yè)務(wù)全局負(fù)載（以網(wǎng)銀為例）1.設(shè)計(jì)模型我們把網(wǎng)銀業(yè)務(wù)從邏輯上分為接入側(cè)和服務(wù)側(cè)，接入側(cè)包括出口鏈路、全局負(fù)載設(shè)備；服務(wù)側(cè)包括WEB服務(wù)單元、APP服務(wù)單元和DB服務(wù)單元。WEB服務(wù)單元包含SSL卸載設(shè)備、WAF防火墻、負(fù)載均衡和服務(wù)器；APP服務(wù)單元包含防火墻、負(fù)載均衡和服務(wù)器；DB服務(wù)單元包含防火墻、負(fù)載均衡、數(shù)據(jù)庫(kù)審計(jì)和數(shù)據(jù)庫(kù)。WEB服務(wù)單元和APP服務(wù)單元在2

8、個(gè)數(shù)據(jù)中心同時(shí)提供服務(wù)，實(shí)現(xiàn)應(yīng)用雙活?？紤]到數(shù)據(jù)強(qiáng)一致性、技術(shù)成熟度和成本等因素，雙數(shù)據(jù)中心間的DB服務(wù)單元建議主備部署，數(shù)據(jù)中心內(nèi)部的數(shù)據(jù)庫(kù)集群可結(jié)合本地負(fù)載均衡實(shí)現(xiàn)多活。為達(dá)到最佳負(fù)載效果，需要各服務(wù)單元的負(fù)載設(shè)備可以訪問其他數(shù)據(jù)中心對(duì)應(yīng)服務(wù)單元的服務(wù)器，但優(yōu)先調(diào)度本地服務(wù)器。2.實(shí)現(xiàn)方式（1）流量調(diào)度數(shù)據(jù)中心層面：我們推薦使用兩層邏輯算法的智能DNS調(diào)度策略，首先，全局負(fù)載設(shè)備會(huì)判斷用戶的地理位置，將用戶調(diào)度到就近的數(shù)據(jù)中心，解決南北互訪的問題；其次，根據(jù)用戶所屬運(yùn)營(yíng)商選擇對(duì)應(yīng)鏈路供用戶接入，解決跨運(yùn)營(yíng)商訪問慢的問題。此外，全局負(fù)載還可對(duì)客戶端LDNS發(fā)起反向探測(cè)，判斷用戶網(wǎng)絡(luò)質(zhì)量，為用

9、戶選擇最佳接入路徑。 服務(wù)單元層面：WEB、APP和DB服務(wù)單元都配備了本地負(fù)載均衡器，用戶訪問流量到達(dá)數(shù)據(jù)中心內(nèi)部后，由服務(wù)單元的負(fù)載設(shè)備根據(jù)預(yù)設(shè)策略分發(fā)給各服務(wù)器，可根據(jù)用戶需求靈活選擇輪詢、優(yōu)先級(jí)、最小連接等算法。（2）業(yè)務(wù)連續(xù)性數(shù)據(jù)中心層面：通過DC Cookie保證用戶接入同一數(shù)據(jù)中心。用戶首次訪問時(shí)，本地WEB負(fù)載設(shè)備在響應(yīng)數(shù)據(jù)包中插入DC Cookie，當(dāng)客戶端網(wǎng)絡(luò)發(fā)生變化時(shí)，第二次訪問就可能被調(diào)度到其他數(shù)據(jù)中心，這時(shí)其他數(shù)據(jù)中心的WEB負(fù)載設(shè)備會(huì)識(shí)別該Cookie，將用戶請(qǐng)求轉(zhuǎn)發(fā)至第一次處理該用戶訪問的WEB負(fù)載設(shè)備，再由該負(fù)載設(shè)備進(jìn)行調(diào)度。服務(wù)單元層面：WEB服務(wù)單元的負(fù)載建

10、議通過cookie會(huì)話保持（插入、改寫和被動(dòng)）保證業(yè)務(wù)連續(xù)性；APP服務(wù)單元的負(fù)載可通過cookie或源IP會(huì)話保持保證業(yè)務(wù)連續(xù)性（是否需要會(huì)話保持，選擇何種會(huì)話保持方式需要結(jié)合應(yīng)用具體情況）；DB服務(wù)單元一般不需要會(huì)話保持。（3）健康狀態(tài)檢查服務(wù)單元層面：通過內(nèi)置的應(yīng)用級(jí)健康監(jiān)視器對(duì)服務(wù)器進(jìn)行主動(dòng)探測(cè)，提供HTTP、HTTPS、RADIUS、FTP等常用模板。對(duì)于其他應(yīng)用，提供接口供用戶自定義檢測(cè)內(nèi)容和響應(yīng)內(nèi)容。此外，還提供極具特色的被動(dòng)健康檢查功能，通過對(duì)TCP和HTTP協(xié)議的數(shù)據(jù)交互做采樣分析，判斷服務(wù)器的健康狀態(tài)。數(shù)據(jù)中心層面：全局負(fù)載與服務(wù)側(cè)的各區(qū)域負(fù)載均衡聯(lián)動(dòng)，實(shí)時(shí)共享信息，判斷服

11、務(wù)側(cè)整體服務(wù)能力；同時(shí)全局負(fù)載設(shè)備會(huì)探測(cè)出口各鏈路健康狀態(tài)，結(jié)合服務(wù)側(cè)整體服務(wù)能力和設(shè)備自身負(fù)荷情況，綜合判斷該數(shù)據(jù)中心的健康狀態(tài)（正常、繁忙、故障）。（4）故障切換服務(wù)單元層面：服務(wù)單元內(nèi)部某服務(wù)器繁忙或故障時(shí)，將用戶請(qǐng)求調(diào)度到其他正常服務(wù)器。數(shù)據(jù)中心層面：a.某數(shù)據(jù)中心的WEB或APP服務(wù)器全部繁忙或全部故障時(shí)，用戶接入鏈路不切換，通過專線將數(shù)據(jù)轉(zhuǎn)發(fā)至正常數(shù)據(jù)中心對(duì)應(yīng)服務(wù)單元。b.主數(shù)據(jù)中心的數(shù)據(jù)庫(kù)服務(wù)器全部故障時(shí)，用戶接入鏈路不切換，通過專線將直接激活備數(shù)據(jù)中心的數(shù)據(jù)庫(kù)，實(shí)現(xiàn)數(shù)據(jù)庫(kù)一鍵切換。數(shù)據(jù)庫(kù)切換前需要驗(yàn)證數(shù)據(jù)庫(kù)的正確性，用戶需要完成數(shù)據(jù)驗(yàn)證并保證數(shù)據(jù)庫(kù)按順序切換。c.數(shù)據(jù)中心的所有

12、鏈路同時(shí)故障時(shí)，全局負(fù)載設(shè)備將用戶流量平滑牽引至正常數(shù)據(jù)中心。單鏈路故障時(shí)，可根據(jù)用戶需求切換至本中心其他鏈路或其他中心同ISP鏈路。此外，當(dāng)某數(shù)據(jù)中心出現(xiàn)服務(wù)能力不足時(shí)（鏈路繁忙、服務(wù)單元繁忙等），全局負(fù)載設(shè)備還可以基于數(shù)據(jù)中心的整體健康得分情況將用戶分流至其他數(shù)據(jù)中心，保障用戶正常訪問。（5）安全保障數(shù)據(jù)中心層面：a.網(wǎng)絡(luò)出口處部署DDos防護(hù)設(shè)備并在運(yùn)營(yíng)商處購(gòu)買流量清洗服務(wù)，保證數(shù)據(jù)中心整體安全。b.網(wǎng)絡(luò)出口處部署FW和IPS設(shè)備，從網(wǎng)絡(luò)層和應(yīng)用層保證數(shù)據(jù)中心不被惡意入侵。c.全局負(fù)載設(shè)備提供DNS防火墻功能，充分保證DNS安全。DNSSEC 支持、UDP Flood、DNS 放大和反射

13、 服務(wù)單元層面：各服務(wù)單元部署防火墻，保證區(qū)域安全。WEB服務(wù)單元直接面向互聯(lián)網(wǎng)用戶，需要部署SSL卸載設(shè)備實(shí)現(xiàn)SSL加解密，提高業(yè)務(wù)訪問安全。同時(shí)，通過部署WAF保障WEB服務(wù)器的安全。（6）業(yè)務(wù)優(yōu)化加速a.跨數(shù)據(jù)中心的數(shù)據(jù)庫(kù)同步需占用大量帶寬資源，且數(shù)據(jù)量非常大，部署WOC設(shè)備可大幅壓縮傳輸數(shù)據(jù)，削減流量。WEB或APP服務(wù)單元跨數(shù)據(jù)中心通信時(shí)，通過WOC設(shè)備的協(xié)議優(yōu)化和流緩存等技術(shù)實(shí)現(xiàn)加速。當(dāng)二者同時(shí)需要大量帶寬資源時(shí)，優(yōu)先保證數(shù)據(jù)庫(kù)同步。b.互聯(lián)網(wǎng)區(qū)的WEB服務(wù)單元直接面向公網(wǎng)，受公網(wǎng)網(wǎng)絡(luò)質(zhì)量影響較大，負(fù)載均衡可通過協(xié)議優(yōu)化、數(shù)據(jù)壓縮和智能加速等技術(shù)減少網(wǎng)絡(luò)環(huán)境影響，提高用戶訪問體驗(yàn)。

14、此外，外網(wǎng)用戶會(huì)有大量重復(fù)請(qǐng)求，通過負(fù)載設(shè)備的高速緩存技術(shù)，對(duì)靜態(tài)和內(nèi)容進(jìn)行緩存，減少服務(wù)器數(shù)據(jù)交互，降低服務(wù)器性能壓力，提高訪問速度。（7）其他a.負(fù)載設(shè)備在服務(wù)單元內(nèi)部通過旁路部署，為保證來回?cái)?shù)據(jù)一致需要開啟SNAT功能，一般情況下，WEB服務(wù)器都需要統(tǒng)計(jì)用戶訪問源IP，可通過負(fù)載設(shè)備在HTTP頭部插入X-Forwarded-for字段來透?jìng)饔脩粽鎸?shí)源IP。b.數(shù)據(jù)中心網(wǎng)絡(luò)出口對(duì)各類設(shè)備性能要求較高，針對(duì)某些傳統(tǒng)防火墻性能不足的情況，可以在防火墻前后各部署負(fù)載均衡設(shè)備，實(shí)現(xiàn)防火墻的負(fù)載。 需驗(yàn)證具體方案，包括防火墻透明和路由部署等問題。c.考慮到極端情況，單數(shù)據(jù)中心需要能承載所有業(yè)務(wù)壓力，

15、建議選擇2倍于實(shí)際性能需求的負(fù)載均衡設(shè)備。負(fù)載均衡設(shè)備自身?yè)碛羞^載保護(hù)機(jī)制，當(dāng)CPU、內(nèi)存等指標(biāo)達(dá)到閥值時(shí)，向用戶發(fā)出告警信息，并重定向或丟棄后續(xù)新建連接。七、內(nèi)網(wǎng)業(yè)務(wù)全局負(fù)載（以一級(jí)分行為例）1.設(shè)計(jì)模型各分行數(shù)據(jù)中心與總行數(shù)據(jù)中心通過動(dòng)態(tài)路由協(xié)議互聯(lián)，形成大的企業(yè)內(nèi)網(wǎng)環(huán)境。其大多數(shù)業(yè)務(wù)（ATM、POS、簽章、柜面等）通過IP地址直接訪問，利用RHI路由注入的方式對(duì)外發(fā)布。負(fù)載設(shè)備以M+N集群的方式分別部署在兩個(gè)數(shù)據(jù)中心，不同的業(yè)務(wù)系統(tǒng)由不同的負(fù)載設(shè)備承載，解決了應(yīng)用集中的風(fēng)險(xiǎn)問題，同時(shí)提供靈活的應(yīng)用部署和無縫業(yè)務(wù)切換。2.實(shí)現(xiàn)方式（1）流量調(diào)度以ATM業(yè)務(wù)為例，各分行數(shù)據(jù)中心對(duì)外發(fā)布的業(yè)務(wù)

16、訪問IP相同，通過RHI路由注入的方式與OSPF實(shí)現(xiàn)聯(lián)動(dòng)，以COST的大小來判斷訪問的最優(yōu)路徑。負(fù)載均衡設(shè)備以集群方式部署，單臺(tái)設(shè)備與單個(gè)業(yè)務(wù)“靜態(tài)綁定”，各設(shè)備間互為備份，宣告路由時(shí)基于具體業(yè)務(wù)系統(tǒng)進(jìn)行宣告，可有效削減過多的路由條目，極大的簡(jiǎn)化運(yùn)維工作。如上圖，數(shù)據(jù)中心對(duì)外發(fā)布4種業(yè)務(wù)，一般情況下，每臺(tái)設(shè)備需要對(duì)外宣告4條路由，共16條路由，客戶端最終訪問的路徑由動(dòng)態(tài)路由協(xié)議自身策略（根據(jù)COST值）決定。而采用M+N方式的高可用集群，配合基于具體應(yīng)用的IP-Anycast技術(shù)，每臺(tái)設(shè)備承載一種主要業(yè)務(wù)，其他業(yè)務(wù)在該設(shè)備作為備份狀態(tài)，設(shè)備對(duì)外宣告路由時(shí)，只宣告主要業(yè)務(wù)相關(guān)的路由，共4條，路由條目削減了75%。（2）業(yè)務(wù)連續(xù)性內(nèi)網(wǎng)業(yè)務(wù)比較特殊，客戶端的位置和IP都相對(duì)固定。不考慮故障情況，正常網(wǎng)絡(luò)環(huán)境下，路由器根據(jù)COST判斷訪問路徑時(shí)結(jié)果也相對(duì)固定，不存在同一客戶端多次訪問同一業(yè)務(wù)被調(diào)度到不同負(fù)載的情況。負(fù)載設(shè)備可根據(jù)訪問的源IP做會(huì)話保持，保證請(qǐng)求由同一服務(wù)器處理。（3）健康狀態(tài)檢查服務(wù)器：通過內(nèi)置的應(yīng)用級(jí)健康監(jiān)視器對(duì)服務(wù)器進(jìn)行主動(dòng)探測(cè)，提供HTTP、HTTPS、RADIUS、FTP等常用模板。對(duì)于其他應(yīng)用，提供接口供用戶自定義檢測(cè)內(nèi)容和響應(yīng)內(nèi)容。此外，還提供極具特色的被動(dòng)健康檢查功能，通過對(duì)TCP和HTTP協(xié)議的數(shù)據(jù)交互做采樣分析，判斷服務(wù)器的