雙城數(shù)據(jù)中心雙機房建設(shè)解決方案

1、 1 雙城數(shù)據(jù)中心雙機房建設(shè)解決方案 目 錄 第 1 章 概述 .2 1.1 數(shù)據(jù)集中階段的數(shù)據(jù)中心建設(shè).2 1.1.1 傳統(tǒng)架構(gòu)存在的問題 .2 1.1.2 h3c 全融合虛擬化架構(gòu).3 1.2 雙活數(shù)據(jù)中心建設(shè)目標.3 第 2 章 雙活數(shù)據(jù)中心業(yè)務(wù)部署 .5 2.1 基于 ip 的業(yè)務(wù)部署模式.5 2.1.1 模式簡介 .5 2.1.2 企業(yè)數(shù)據(jù)中心 ip 業(yè)務(wù)典型部署 .5 2.2 基于 dns 的業(yè)務(wù)部署模式.7 2.2.1 dns 技術(shù)簡介.7 2.2.2 企業(yè)數(shù)據(jù)中心 dns 典型部署 .8 2.2.3 gslb 與 slb .10 第 3 章 某雙活數(shù)據(jù)中心設(shè)計 .13 3.1

2、某網(wǎng)絡(luò)結(jié)構(gòu).13 3.2 某雙活數(shù)據(jù)中心部署.14 2 第 1 章 概述 為進一步推進某信息化建設(shè)，以信息化推動某業(yè)務(wù)工作的改革與發(fā)展，某在科技 樓建有核心機房和一個小的本地容災(zāi)備份中心，現(xiàn)在在干保樓又新建了容災(zāi)網(wǎng)，實現(xiàn) 同城雙中心布局。 為提高業(yè)務(wù)可靠性與雙中心設(shè)備資源的利用率，某擬建同城雙活數(shù)據(jù)中心，達到 雙中心同時對外提供同種業(yè)務(wù)的目標，同時實現(xiàn)業(yè)務(wù)切換無感知、計算資源靈活調(diào)度 的功能目標。 1.1 數(shù)據(jù)集中階段的數(shù)據(jù)中心建設(shè) 1.1.1 傳統(tǒng)架構(gòu)存在的問題 傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)采用傳統(tǒng)以太網(wǎng)技術(shù)構(gòu)建，隨著各類業(yè)務(wù)應(yīng)用對 it 需求的深入 發(fā)展，業(yè)務(wù)部門對資源的需求正以幾何級數(shù)增長，傳統(tǒng)的

3、it 基礎(chǔ)架構(gòu)方式給管理員和 未來業(yè)務(wù)的擴展帶來巨大挑戰(zhàn)。具體而言存在如下問題： 維護管理難：在傳統(tǒng)構(gòu)架的網(wǎng)絡(luò)中進行業(yè)務(wù)擴容、遷移或增加新的服務(wù)功能 越來越困難，每一次變更都將牽涉相互關(guān)聯(lián)的、不同時期按不同初衷建設(shè)的 多種物理設(shè)施，涉及多個不同領(lǐng)域、不同服務(wù)方向，工作繁瑣、維護困難， 而且容易出現(xiàn)漏洞和差錯。比如數(shù)據(jù)中心新增加一個業(yè)務(wù)類型，需要調(diào)整新 的應(yīng)用訪問控制需求，此時管理員不僅要了解新業(yè)務(wù)的邏輯訪問策略，還要 精通物理的防火墻實體的部署、連接、安裝，要考慮是增加新的防火墻端口、 還是需要添置新的防火墻設(shè)備，要考慮如何以及何處接入，有沒有相應(yīng)的接 口，如何跳線，以及隨之而來的 vlan、

4、路由等等，如果網(wǎng)絡(luò)中還有諸如地址 轉(zhuǎn)換、7 層交換等等服務(wù)與之相關(guān)聯(lián)，那將是非常繁雜的任務(wù)。當(dāng)這樣的 it 資源需求在短期內(nèi)累積，將極易在使得系統(tǒng)維護的質(zhì)量和穩(wěn)定性下降，同時 反過來減慢新業(yè)務(wù)的部署，進而阻礙公司業(yè)務(wù)的推進和發(fā)展。 資源利用率低：傳統(tǒng)架構(gòu)方式對底層資源的投入與在上層業(yè)務(wù)所收到的效果 很難得到同比發(fā)展，最普遍的現(xiàn)象就是忙的設(shè)備不堪重負，閑的設(shè)備資源儲 備過多，二者相互之間又無法借用和共用。這是由于對底層網(wǎng)絡(luò)建設(shè)是以功 能單元為中心進行建設(shè)的，并不考慮上層業(yè)務(wù)對底層資源調(diào)用的優(yōu)化，這使 得對網(wǎng)絡(luò)的投入往往無法取得同樣的業(yè)務(wù)應(yīng)用效果的改善，反而浪費了較多 的資源和維護成本。 3 服務(wù)

5、策略不一致：傳統(tǒng)架構(gòu)最嚴重的問題是這種以孤立的設(shè)備功能為中心的 設(shè)計思路無法真正從整個系統(tǒng)角度制訂統(tǒng)一的服務(wù)策略，比如安全策略、高 可用性策略、業(yè)務(wù)優(yōu)化策略等等，造成跨平臺策略的不一致性，從而難以將 所投入的產(chǎn)品能力形成合力為上層業(yè)務(wù)提供強大的服務(wù)支撐。 1.1.2 h3c 全融合虛擬化架構(gòu) h3c 提供橫向虛擬化、1 虛多的設(shè)備虛擬化以及縱向虛擬化的全融合虛擬化方案。 通過建設(shè)網(wǎng)絡(luò)資源池，不僅簡化了網(wǎng)絡(luò)部署，而且提高了網(wǎng)絡(luò)設(shè)備的利用率，是業(yè)界 最具優(yōu)勢的數(shù)據(jù)中心網(wǎng)絡(luò)解決方案。 1.2 雙活數(shù)據(jù)中心建設(shè)目標 某雙活數(shù)據(jù)中心應(yīng)實現(xiàn)如下設(shè)計目標： 簡化管理：同城雙中心業(yè)務(wù)統(tǒng)一部署，統(tǒng)一管理，使上層

6、業(yè)務(wù)的變更作用于 物理設(shè)施的復(fù)雜度降低，能夠最低限度的減少了物理資源的直接調(diào)度，使維 護管理的難度和成本大大降低。 高效復(fù)用：同城雙中心網(wǎng)絡(luò)資源與計算資源高效利用，減少設(shè)備主備部署， 提高網(wǎng)絡(luò)設(shè)備利用率。物理服務(wù)器部署虛擬機，實現(xiàn)計算資源高度復(fù)用，提 高計算資源利用率。 策略一致：降低具體設(shè)備個體的策略復(fù)雜性，最大程度的在設(shè)備層面以上建 立統(tǒng)一、抽象的服務(wù)，每一個被充分抽象的服務(wù)都按找上層調(diào)用的目標進行 統(tǒng)一的規(guī)范和策略化，這樣整個 it 將可以達到理想的服務(wù)規(guī)則和策略的一致 性。 無縫切換：同城雙中心同時對外提供同一種業(yè)務(wù)，當(dāng)某中心業(yè)務(wù)失效，要實 現(xiàn)應(yīng)用的無縫切換，在短時間內(nèi)實現(xiàn)業(yè)務(wù)的快速恢

7、復(fù)。 資源調(diào)度： 同城雙中心二層互聯(lián)，計算資源可以在雙中心之間靈活遷移，快 速擴展，統(tǒng)一調(diào)度。 4 第 2 章 雙活數(shù)據(jù)中心業(yè)務(wù)部署 2.1 基于 ip 的業(yè)務(wù)部署模式 2.1.1 模式簡介 基于 ip 發(fā)布的業(yè)務(wù)一般用于企業(yè)內(nèi)部管理，業(yè)務(wù)運營?？蛻糁苯油ㄟ^訪問某個 ip 地址來實現(xiàn)端到端通信。由標準的路由協(xié)議以及健康路由注入來實現(xiàn) ip 地址的自 動發(fā)布。 2.1.2 企業(yè)數(shù)據(jù)中心 ip 業(yè)務(wù)典型部署 兩個數(shù)據(jù)中心的 slb 跨中心部署 ha cluster，服務(wù)器跨數(shù)據(jù)中心部署負載均衡 集群。同一個業(yè)務(wù)的在兩個數(shù)據(jù)中心的業(yè)務(wù) ip 不同，分別為 vip-a 與 vip-b。 1、部署時 e

8、xternal self ip 和業(yè)務(wù) ip 可以直接使用相同的網(wǎng)段，因為用戶訪 問業(yè)務(wù)時通過主機路由進行選路，而 ha cluster 中只有為 active 的 slb 才會發(fā)布主 機路由。 2、對于同一業(yè)務(wù)，數(shù)據(jù)中心 a 使用 vip-a 對外提供服務(wù)，數(shù)據(jù)中心 b 使用 vip- b 對外提供服務(wù)，實現(xiàn)業(yè)務(wù)在兩個數(shù)據(jù)中心之間的負載均衡，當(dāng)數(shù)據(jù)中心 a 發(fā)生故障 時，traffic group-1 將進行 ha 切換，vip-a 的主機路由將由數(shù)據(jù)中心 b 的 slb 發(fā)布。 如果數(shù)據(jù)中心 a 的 slb 發(fā)生故障，如圖所示。 5 由于兩個數(shù)據(jù)中心的 slb 跨中心部署 ha clust

9、er，服務(wù)器跨數(shù)據(jù)中心部署負載 均衡集群，所以數(shù)據(jù)中心 b 的 slb 在一個心跳周期結(jié)束之后，感知到數(shù)據(jù)中心 a 的 slb 無響應(yīng)，數(shù)據(jù)中心 a 的 slb 發(fā)生故障，traffic group-1 將發(fā)生 ha 切換，此時用 戶訪問 vip-a 時將直接到達數(shù)據(jù)中心 b，由 slb 處理后發(fā)送至數(shù)據(jù)中心 a 的服務(wù)器。 如果當(dāng)數(shù)據(jù)中心 a 的服務(wù)器發(fā)生故障，如圖所示。 數(shù)據(jù)中心 slb 探測到本中心的服務(wù)器都故障，則觸發(fā) traffic group-1 將發(fā)生 ha 切換，此時用戶訪問 vip-a 時將直接到達數(shù)據(jù)中心 b，由數(shù)據(jù)中心 b 的服務(wù)器進行 處理，因為此時數(shù)據(jù)中心 a 的服務(wù)

10、器已無處理能力。 6 2.2 基于 dns 的業(yè)務(wù)部署模式 2.2.1 dns 技術(shù)簡介 7 2.2.2 企業(yè)數(shù)據(jù)中心 dns 典型部署 數(shù)據(jù)中心 a 和數(shù)據(jù)中心 b 分別使用 vip-a 和 vip-b 對外提供服務(wù)，當(dāng)用戶請求 域名 時，gslb 根據(jù)設(shè)定的權(quán)值給不同用戶返回 vip-a 或 vip-b。 slb 實現(xiàn) ha cluster 后，可以根據(jù)將不同的業(yè)務(wù) ip 劃分到不同的 traffic group，ha 的切換是基于 traffic group 實現(xiàn)的，以 vip-a 對應(yīng)的 traffic group-1 為例。traffic group-1 的缺省設(shè)備是數(shù)據(jù)中心 a 中

11、的 slb，vip-a 在該 slb 上生效， 當(dāng) traffic group-1 發(fā)生 ha 切換后，vip-a 將在數(shù)據(jù)中心 b 中的 slb 上生效。 slb 對數(shù)據(jù)中心 a 和數(shù)據(jù)中心 b 內(nèi)的服務(wù)器都進行健康檢查，負載分擔(dān)算法設(shè)置 本數(shù)據(jù)中心內(nèi)的優(yōu)先級較高，當(dāng)有業(yè)務(wù)需要處理時，會優(yōu)先選擇本數(shù)據(jù)中心的服務(wù)器 進行處理，當(dāng)本數(shù)據(jù)中心的服務(wù)器都發(fā)生故障后，將由遠端數(shù)據(jù)中心的服務(wù)器處理業(yè) 務(wù)，同時觸發(fā) traffic group 的 ha 切換。 gslb 會對 ltm 的健康狀態(tài)進行檢查，當(dāng)發(fā)現(xiàn) ltm 故障后，將觸發(fā) dns 的切換， 從而實現(xiàn)全局路徑的優(yōu)化。 如此，即可將客戶端訪問數(shù)據(jù)

12、中心的流量實現(xiàn)有效的負載分擔(dān)，使雙中心的利用率最 高。 如果數(shù)據(jù)中心 a 的 slb 故障后，如圖所示。 8 因為兩個數(shù)據(jù)中心的 slb 跨中心部署 ha cluster，服務(wù)器跨數(shù)據(jù)中心部署負載 均衡集群。 當(dāng)數(shù)據(jù)中心 a 的 slb 發(fā)生故障時，traffic group-1 將發(fā)生 ha 切換，vip-a 在 數(shù)據(jù)中心 b 的 slb 上生效，用戶訪問服務(wù)器的流量將經(jīng)過二層 lan 擴展網(wǎng)絡(luò)到達數(shù)據(jù) 中心 b 的 slb，經(jīng)過處理后再發(fā)送至數(shù)據(jù)中心 a 中的服務(wù)器進行處理。因此，實現(xiàn)故 障切換過程客戶無感知。 當(dāng)數(shù)據(jù)中心 a 的 slb 發(fā)生故障后，gslb 還是會探測本中心的 slb，

13、在探測超時 后對故障進行感知，觸發(fā) dns 切換，此時用戶訪問 時，該域名將被解析 為 vip-b，解決業(yè)務(wù)流量次優(yōu)路徑的問題。 如果數(shù)據(jù)中心 a 的 slb 故障后，如圖所示。 9 當(dāng)數(shù)據(jù)中心 a 的服務(wù)器都發(fā)生故障時，traffic group-1 將發(fā)生 ha 切換，vip- a 在數(shù)據(jù)中心 b 的 slb 上生效，用戶訪問服務(wù)器的流量將經(jīng)過二層 lan 擴展網(wǎng)絡(luò)到達 數(shù)據(jù)中心 b 的 slb，服務(wù)器返回的流量經(jīng)過二層 lan 經(jīng)過二層 lan 擴展網(wǎng)絡(luò)到達數(shù)據(jù) 中心 a，實現(xiàn)業(yè)務(wù)切換無流量丟失。 2.2.3 gslb 與 slb gslb 即全局負載均衡設(shè)備，又名 gtm，如下圖所示。

14、 gslb 的工作原理，如下圖所示。 10 gslb 能夠完成 dns 解析請求的負載均衡、服務(wù)器狀態(tài)監(jiān)控以及用戶訪問路徑優(yōu) 化，解決跨中心業(yè)務(wù)的協(xié)同問題，提高多中心資源利用效率，實現(xiàn)全局負載均 衡。 slb 即服務(wù)器負載均衡設(shè)備，又名 ltm，主要用來完成本地流量的管理，實現(xiàn) 服務(wù)器集群的負載分擔(dān)，同時通過多種算法探測服務(wù)器健康狀態(tài)，給業(yè)務(wù)切換 提供依據(jù)與觸發(fā)條件。 如下圖所示。 11 ltm 設(shè)備能夠支持四臺跨數(shù)據(jù)中心集群，實現(xiàn) slb 的 local cluster 的功能，提 高了 ltm 本身的穩(wěn)定性與可靠性，同時實現(xiàn)多業(yè)務(wù)的負載分擔(dān)。 12 第 3 章 某雙活數(shù)據(jù)中心設(shè)計 3.1

15、某網(wǎng)絡(luò)結(jié)構(gòu) 3.2 某雙活數(shù)據(jù)中心部署 某雙活數(shù)據(jù)中心關(guān)鍵在于中心 a 和中心 b 各部署兩臺 s12500 核心交換機。核心 交換機部署橫向虛擬化 irf，一虛多 mdc 以及云間互聯(lián) evi，配合 gtm 和 ltm，實現(xiàn)應(yīng) 用級容災(zāi)。 部署過程如下： 1.雙中心各兩臺 s12508 先橫向虛擬化 irf，將兩臺或多臺物理設(shè)備虛擬成一臺 邏輯設(shè)備，邏輯上成為一個網(wǎng)元。如圖所示。 橫向虛擬化的優(yōu)勢 irf： 統(tǒng)一的管理：由其中某物理設(shè)備的某控制單元作為整組設(shè)備的控制單元 統(tǒng)一的板卡和端口命名：各個設(shè)備加機框 id 的前綴 統(tǒng)一的 l2/l3、ipv4/ipv6、mpls 等轉(zhuǎn)發(fā)表 可以實現(xiàn)跨

16、設(shè)備的鏈路聚合 2.在橫向虛擬化的基礎(chǔ)之上，再部署一虛多的設(shè)備虛擬化技術(shù) mdc（multitenant device context），可以實現(xiàn)將一臺物理網(wǎng)絡(luò)設(shè)備通過軟件虛 擬化成多臺邏輯網(wǎng)絡(luò)設(shè)備。也就是說通過軟、硬件虛擬化的配合，mdc 邏輯設(shè)備 具有完全的設(shè)備功能，有獨立的軟件環(huán)境和數(shù)據(jù)，有獨立的硬件資源。甚至可以 像一臺物理設(shè)備一樣單獨重啟，而不影響物理設(shè)備上其他 mdc 的正常運行。 如圖所示。 13 在 mdc1 所屬的板卡上可以部署各個業(yè)務(wù)的業(yè)務(wù)網(wǎng)關(guān)，在 mdc2 上部署 evi 特性， 實現(xiàn)雙中心之間的二層互通，優(yōu)化二層網(wǎng)絡(luò)質(zhì)量，防止單中心故障域擴散到多中 心。雙中心之間的光纖

17、鏈路保持，可以提高二層互聯(lián)的傳輸保障。 3.兩個數(shù)據(jù)中心部署 ltm， 可以實現(xiàn)四臺 ltm 跨中心部署可集群，可以保證虛 擬機遷移過程中業(yè)務(wù)的不中斷。 數(shù)據(jù)中心之間通過 evi 隧道建立二層 lan 擴展網(wǎng)絡(luò)，ltm 經(jīng)過二層 lan 擴展網(wǎng) 絡(luò)做 ha cluster，每個數(shù)據(jù)中心使用 ltm 構(gòu)建服務(wù)器的負載均衡集群。 兩個數(shù)據(jù)中心提供相同業(yè)務(wù)，數(shù)據(jù)中心 a 中的集群的業(yè)務(wù) ip 使用 external vip-a，兩個數(shù)據(jù)中心的 ltm 共享該地址，其中數(shù)據(jù)中心 a 的 ltm 為缺省設(shè)備，將發(fā)布 vip_a 的主機路由，當(dāng)該 ltm 故障后，數(shù)據(jù)中心 b 的 ltm 上配置的 external vip-a 立 即生效，將發(fā)布 vip_a 的主機路由，同時數(shù)據(jù)中心 a 的 ltm 撤銷 vip_a 的主機路由， 以實現(xiàn)業(yè)務(wù)在數(shù)據(jù)中心之間的切換。每個數(shù)據(jù)中心的 ltm 同時對兩個數(shù)據(jù)中心的服務(wù) 器進行探測，通過負載均衡算法優(yōu)選本數(shù)據(jù)中心內(nèi)的服務(wù)器，當(dāng)本數(shù)據(jù)中