H3C數(shù)據(jù)中心站點選擇技術

1、數(shù)據(jù)中心站點選擇技術日期：5月杭州華三通信技術有限企業(yè)第1頁資料整理者介紹從業(yè)年限：6年專業(yè)經(jīng)驗：資深網(wǎng)絡與金融行業(yè)教授， 含有多年金融、大型運行商網(wǎng)絡規(guī)劃、建設、運維經(jīng)驗，參加各大銀行數(shù)據(jù)中心與骨干網(wǎng)處理方案咨詢規(guī)劃工作。張斌 行業(yè)處理方案部FSI Solution Specialist服務過主要客戶：中國工商銀行中國建設銀行中國農(nóng)業(yè)銀行中國人壽保險集團中國電信中國聯(lián)通中國移動專業(yè)領域：專注于企業(yè)數(shù)據(jù)中心網(wǎng)絡架構設計；災備/業(yè)務連續(xù)性處理方案；兩地三中心骨干網(wǎng)架構設計；企業(yè)架構EA（Enterprise Architecture）。咨詢項目經(jīng)驗：某國有商業(yè)銀行數(shù)據(jù)中心建設咨詢規(guī)劃；某國有大型

2、保險集團數(shù)據(jù)中心建設咨詢規(guī)劃；多家商業(yè)銀行數(shù)據(jù)中心與災備中心建設。版本時間修訂內(nèi)容修訂者V1.0/09/03基于現(xiàn)有資料進行總結，梳理張斌第2頁目錄內(nèi)容業(yè)務雙活中心站點選擇單業(yè)務切換模式下站點選擇第3頁回顧：業(yè)務雙活中心技術要求SANSAN業(yè)務系統(tǒng)X在兩個數(shù)據(jù)中心都能被訪問到數(shù)據(jù)中心1數(shù)據(jù)中心2這里以業(yè)務系統(tǒng)運行方式為參考通慣用在IDC，國內(nèi)EDC少見；業(yè)務能夠?qū)崿F(xiàn)在兩中心間負載分擔；可基于DNS實現(xiàn)業(yè)務A/A可基于應用系統(tǒng)設計實現(xiàn)業(yè)務A/A；雙活也是一個業(yè)務負載分擔技術GSLB對非數(shù)據(jù)庫系統(tǒng)來說，實現(xiàn)基于DNS雙活很輕易，現(xiàn)在很多銀行網(wǎng)銀都實現(xiàn)A/A對數(shù)據(jù)庫系統(tǒng)來說，也有實現(xiàn)雙活（雙側讀寫，

3、如ORACLE Garden Gate），但需要考慮傳輸延遲對DB性能影響；基于應用系統(tǒng)雙活，需要客戶端向兩個數(shù)據(jù)中心同時寫數(shù)據(jù)。多層業(yè)務雙活簡單，多層業(yè)務（WEB-APP-DB）雙活較復雜，可能需要L2擴展注意：思科與很多用戶說“雙活”，不是我們這里介紹雙活！第4頁雙活模式數(shù)據(jù)中心網(wǎng)絡互聯(lián)技術關鍵點Site 1 Active/FailoverStorage - ActiveSite 2 Active/FailoverStorage - PassiveDatabaseSynchronous replicationLocal LBApplication/Web/Local LBApplicati

4、on/WebDatabaseGlobal Load Balancers客戶端與DC間三層互訪。基于DNSGSLB， 數(shù)據(jù)中心服務器前端SLB，而且需要聯(lián)動，如思科ACE與GSS之間有個KAL-AP協(xié)議，F(xiàn)5也有類似協(xié)議服務器間二層互聯(lián)網(wǎng)絡： 能夠不需要二層互聯(lián)，不需要經(jīng)過大二層實現(xiàn)主備切換，二層互聯(lián)網(wǎng)絡有可能將網(wǎng)絡復雜化。所以不提議采??！DC間SAN擴展。也稱為后端存放網(wǎng)絡互聯(lián)。借助傳輸技術（DWDM、SDH等）實現(xiàn)主中心和災備中心間磁盤陣列數(shù)據(jù)復制。主要是數(shù)據(jù)庫后端有存放盤陣，數(shù)據(jù)庫極少用雙讀雙寫，通常是一邊讀寫，另一邊只讀；第5頁全局負載均衡：GSLB GSLB 基于DNS流量管理機制，主

5、要完成：DNS解析請求負載均衡、服務器狀態(tài)監(jiān)控、用戶訪問路徑優(yōu)化用戶訪問應用時，域名解析請求將最終由GSLB負責處理。它經(jīng)過一組預先定義好策略，將最靠近用戶節(jié)點地址提供給用戶，使用戶能夠得到快速服務。同時，它還與分布在各DC全部GSLB節(jié)點保持通訊，搜集各節(jié)點健康狀態(tài)，以確保不將用戶請求分配到任何一個已經(jīng)不可用節(jié)點上。主要功效和特征：應用智能、可管理性和高性能感知應用，及時發(fā)覺業(yè)務中止自動切換，通知用戶改變數(shù)據(jù)訪問點支持流量在數(shù)據(jù)中心動態(tài)負載均衡處理關聯(lián)應用在多數(shù)據(jù)中心協(xié)同問題客戶端數(shù)據(jù)中心 A數(shù)據(jù)中心 B數(shù)據(jù)中心 CIP地址9IP地址0IP地址1客戶端ESS.IP為

6、9ESS.IP為 1GSLB（DNS）CLI對WEB/APP訪問可跨中心負載分擔GSLBCLI對Database訪問可使用DNS但不能使用GSLB，因為DB通常是A/S方式;第6頁基于GSLB站點選擇GSLB(作為域名授權DNS服務器)，智能響應DNS查詢：連續(xù)監(jiān)控多個數(shù)據(jù)中心服務器負載和可用狀態(tài)結合客戶端到服務器拓撲鄰近度和鏈路延遲大小 將客戶端引導至最適合或最好數(shù)據(jù)中心，實現(xiàn)數(shù)據(jù)中心之間負載均衡。傳統(tǒng)DNSGSLB應用廣泛，使用簡單，防止服務器IP硬編碼愈加靈活靈活實現(xiàn)在多個站點之間基于DNS智能負載均衡只能支持使用域名應用；不能在多個站點之間實現(xiàn)智能負載均衡需要使用專用GSLB設備，增加

7、了投資；GSLB設備連續(xù)監(jiān)控多個數(shù)據(jù)中心服務器負載情況也增加了網(wǎng)絡和服務器負荷。第7頁GSLB 經(jīng)過就近探測實現(xiàn)負載分擔LocalDNSRootDNS4231567數(shù)據(jù)中心 A數(shù)據(jù)中心 B數(shù)據(jù)中心 CIP地址9IP地址0IP地址1RTTRTTRTT客戶端數(shù)據(jù)中心A、B、C各布署一個GSLB，其中DC-AGSLB為主GSLB，RTT探測流程以下：local DNS向數(shù)據(jù)中心AGSLB-A發(fā)起域名解析請求GSLB-A接收到local DNS請求后，經(jīng)過加密通道通知數(shù)據(jù)中心B、CGSLB，有l(wèi)ocal DNS需要進行RTT測試GSLB-A、GSLB-B、GSLB-C向loca

8、l DNS發(fā)起訪問local DNS 回應GSLB-A、GSLB-B、GSLB-C訪問請求GSLB-B、GSLB-C將local DNS回應延遲時間等相關信息返回給GSLB-A匯總GSLB-A經(jīng)過GSLB-B、GSLB-C回應，存放并判斷后將最優(yōu)地址返回給local DNS以站點響應時間作為引導用戶依據(jù)，用戶訪問請求被導向到性能好，響應時間快站點第8頁廣 域 網(wǎng)數(shù)據(jù)中心數(shù)據(jù)中心2接入智能DNSDNS LookupESS.H3C.com = SLB IP (VIP_1)DNS LookupESS.H3C.com = SLB 2 IP (VIP_2)通告路由：VIP_1通告路由：VIP_2 匯聚接

9、入?yún)R聚數(shù)據(jù)中心1只適合相對獨立業(yè)務（WEB）互聯(lián)網(wǎng)站通常采取DNS實現(xiàn)流量分擔和災備數(shù)據(jù)庫不能采取這種模式（數(shù)據(jù)庫支持DNS但不支持全局分擔）經(jīng)過GSLB(DNS) 處理主機雙活第9頁服務器負載均衡：SLB SLB設備使用NAT技術對報文源、目標地址進行轉換，使得客戶端和真實服務器之間能通信。對于client， 服務器IP地址唯一；SLB可實現(xiàn)數(shù)據(jù)中心內(nèi)（LAN）負載分擔，A/A；SLB對WEB/APP/DB 都能夠布署；一些應用能夠?qū)⒎掌髯鯯LB設備；SLB不適合跨中心布署；造成跨中心流量多，對跨中心帶寬要求高，跨中心轉發(fā)延遲高；第10頁SLB配合GSLB對服務器健康檢驗客戶端數(shù)據(jù)中心 A

10、數(shù)據(jù)中心 B數(shù)據(jù)中心 CIP地址9IP地址0IP地址1GSLBInternet服務器健康狀態(tài)檢測:GSLB可針對網(wǎng)絡中負載平衡產(chǎn)品SLB、服務器做狀態(tài)監(jiān)測，可消除單點故障，并引導流量避開性能較低站點和服務器。經(jīng)過搜集這些設備性能測量數(shù)據(jù)， GSLB可了解網(wǎng)絡狀態(tài)，對以下參數(shù)進行測量：如包速率、每秒千字節(jié)、磁盤、內(nèi)存、CPU 利用率以及連接數(shù)量。第11頁WEBAPPDB基礎服務區(qū)關鍵區(qū)下聯(lián)區(qū)互聯(lián)區(qū)WEBAPPDB基礎服務區(qū)關鍵區(qū)下聯(lián)區(qū)互聯(lián)區(qū)分支機構和用戶DNS代理分支機構和用戶DNS代理DC1DC2多站點DNS 實現(xiàn)A/A設計說明: 主備數(shù)據(jù)中心DNS系統(tǒng)統(tǒng)一布署和冗余設

11、計考慮到DNS和站點選擇系統(tǒng)主要性,主備數(shù)據(jù)中心DNS和站點選擇系統(tǒng)都是工作狀態(tài),能夠互為備份基礎服務區(qū)全局站點選擇器實時檢測多數(shù)據(jù)中心業(yè)務服務器工作狀態(tài),假如任何區(qū)出現(xiàn)問題會自動將工作正常數(shù)據(jù)中心服務器區(qū)地址返回給請求者用戶(詳細設計和實施過程中切換要依據(jù)主備數(shù)據(jù)中心站業(yè)務服務器Web和應用是否同時激活而定)GSLB/DNS + SLB 實現(xiàn)業(yè)務“雙活”布署第12頁目錄內(nèi)容業(yè)務雙活中心站點選擇單業(yè)務切換模式下站點選擇第13頁回顧：業(yè)務熱備（單業(yè)務切換）雙活中心技術需求SANSAN數(shù)據(jù)中心熱備數(shù)據(jù)中心 通慣用在企業(yè)網(wǎng)EDC熱備可實現(xiàn)“單業(yè)務切換”；傳統(tǒng)暖備雙中心，需要整網(wǎng)段或整個中心一起切換；

12、單業(yè)務切換對系統(tǒng)需求：HA CLUSTERVmotion單業(yè)務切換對存放系統(tǒng)要求:共享SAN，SAN擴展雙活storage(VPLEX)單業(yè)務切換后網(wǎng)絡流量路徑問題：單進單出、網(wǎng)關單側雙進雙出、網(wǎng)關雙側L4-L7 狀態(tài)問題VLAN 擴展（大二層）注意：思科及很多用戶將業(yè)務熱備也叫做“雙活”！這里以業(yè)務系統(tǒng)運行方式為參考第14頁熱備模式雙數(shù)據(jù)中心網(wǎng)絡互聯(lián)技術關鍵點客戶端與DC間三層互訪。Ingress方向，客戶依據(jù)服務器/vm位置決定訪問路徑（DNS、RHI、LISP）。Egress方向，服務器網(wǎng)關位置需要在每個數(shù)據(jù)中心展現(xiàn)(VRRP分割)；雙方向L4-L7 設備狀態(tài)問題（FW多活集群）；DC間

13、二層互聯(lián)。也稱為數(shù)據(jù)中心Lan Extension。在不一樣數(shù)據(jù)中心服務器網(wǎng)絡接入層，構建一個跨數(shù)據(jù)中心大二層網(wǎng)絡（VLAN），以滿足服務器集群、虛擬機動態(tài)遷移等場景對二層網(wǎng)絡接入需求。DC間SAN擴展。也稱為后端存放網(wǎng)絡互聯(lián)。借助傳輸技術（DWDM、SDH等）實現(xiàn)主中心和災備中心間磁盤陣列數(shù)據(jù)復制。主要是數(shù)據(jù)庫后端有存放盤陣，數(shù)據(jù)庫極少用雙讀雙寫，通常是一邊讀寫，另一邊只讀；L3 互聯(lián)數(shù)據(jù)中心 1存放SANLayer 2Layer 3Layer 3SAN波分或裸光纖WDMWDMServerServer存放分支數(shù)據(jù)中心 2園區(qū)大樓L2 互聯(lián)SAN 互聯(lián)匯聚接入DC關鍵匯聚接入路由器路由器網(wǎng)絡關

14、鍵DCIDCILayer 2樓層匯聚WANLTMGTMGTMLTM分支第15頁熱備模式雙數(shù)據(jù)中心網(wǎng)絡互聯(lián)技術關鍵點SAN 擴展技術：DWDM / Dark Fiber 推薦SDHIP（iSCSI/FCIP） 客戶端與DC互訪技術Ingress（C-S）方向RHI（H3C SR66X、F5 LTM、思科ACE）LISP（思科私有技術）DNS+SLB（思科、F5）Egress（S-C）方向網(wǎng)關分離（基于EVI/OTV特征）網(wǎng)關分離（手工配置ACL）L4-L7 設備狀態(tài)問題：關閉基于狀態(tài)會話檢驗多臺L4-L7 多活模式（思科ASA）DC間二層互聯(lián)技術：EVI/OTV（Mac over IP） 屏蔽H

15、WVPLS 不推薦DWDM/Dark Fiber注意，不是全部災備都需要二層互聯(lián)客戶端與DC間三層互訪。Ingress方向，客戶依據(jù)服務器/vm位置決定訪問路徑（DNS、RHI、LISP）。Egress方向，服務器網(wǎng)關位置需要在每個數(shù)據(jù)中心展現(xiàn)(VRRP分割)；雙方向L4-L7 設備狀態(tài)問題（FW多活集群）；DC間二層互聯(lián)。也稱為數(shù)據(jù)中心Lan Extension。在不一樣數(shù)據(jù)中心服務器網(wǎng)絡接入層，構建一個跨數(shù)據(jù)中心大二層網(wǎng)絡（VLAN），以滿足服務器集群、虛擬機動態(tài)遷移等場景對二層網(wǎng)絡接入需求。DC間SAN擴展。也稱為后端存放網(wǎng)絡互聯(lián)。借助傳輸技術（DWDM、SDH等）實現(xiàn)主中心和災備中心間

16、磁盤陣列數(shù)據(jù)復制。第16頁WANWANAccessAccessAggDC ADC BVLAN APublic NetworkLTM Probe to 00 FailedIS 00 OK?L2 Links (GE or 10GE)L3 Links (GE or 10GE)A-A方案：RHI + L2擴展 + 網(wǎng)關隔離/24Backup for Data Center A/25 & 28/25虛擬機 VM = 00網(wǎng)關 GW = AggWAN第17頁Layer 3 CoreIntranetISP AISP BAccessAggAggDC ADC BVLAN APublic NetworkLTM Probe to 00 is OKIS 00 OK?L2 Links (GE or 10GE)L3 Links (GE or 10GE)VRRP VIP/24Backup for Data Center A/25 & 28/25虛擬機 VM= 00網(wǎng)關 GW = 00/32 is advertised into L3 using RHIVRRP VIPA-A方案：RHI + L2擴展 + 網(wǎng)關隔離RHI第18頁EVI 一個主要特征 “VRRP