EMC雙活數(shù)據(jù)中心解決方案 V4.0

1、EMC雙活數(shù)據(jù)中心方案建議書 EMC數(shù)據(jù)中心容災系統(tǒng)建設方案建議書EMC電腦系統(tǒng)（中國）有限公司Version 1.0，2014/10前言信息是用戶的命脈, 近十年來信息存儲基礎設施的建設在用戶取得長足的進步。從內(nèi)置存儲轉向外置RAID存儲，從多臺服務器共享一臺外置RAID陣列，再到更多臺服務器通過SAN共享更大型存儲服務器。存儲服務器容量不斷擴大的同時，其功能也不斷增強，從提供硬件級RAID保護到獨立于服務器的跨磁盤陣列的數(shù)據(jù)鏡像，存儲服務器逐漸從服務器外設的角色脫離出來，成為單獨的“存儲層”，為數(shù)據(jù)中心的服務器提供統(tǒng)一的數(shù)據(jù)存儲，保護和共享服務。隨著用戶業(yè)務的不斷發(fā)展，對IT系統(tǒng)尤其是存儲

2、系統(tǒng)的要求越來越高，鑒于用戶業(yè)務由于信息的重要性，要求各地各用戶多中心來預防單一數(shù)據(jù)中心操作性風險。多數(shù)據(jù)中心建設方案可以預防單數(shù)據(jù)中心的風險，但面對多數(shù)據(jù)中心建設的巨額投資，如何同時利用多數(shù)據(jù)中心就成為IT決策者的首要問題。同時利用多數(shù)據(jù)中心就必需實現(xiàn)生產(chǎn)數(shù)據(jù)跨中心的傳輸和共享，總所周知，服務器性能的瓶頸主要在IO部分，數(shù)據(jù)在不同中心之間的傳輸和共享會造成IO延時，進而影響數(shù)據(jù)中心的總體性能。同時，各家廠商不斷推出新技術 ，新產(chǎn)品，容量不斷擴展，性能不斷提高，功能越來越豐富，但由于不同存儲廠商的技術實現(xiàn)不盡相同，用戶需要采用不同的管理界面來使用不同廠商的存儲資源。這樣，也給用戶業(yè)用戶帶來不小

3、的問題，首先是無法采用統(tǒng)一的界面來讓服務器使用不同廠商的存儲服務器，數(shù)據(jù)在不同廠商存儲服務器之間的遷移也會造成業(yè)務中斷。作為信息存儲行業(yè)的領先公司，EMC公司針對用戶跨數(shù)據(jù)中心信息傳輸和共享的迫切需求，推出存儲VPlex解決方案，很好的解決了這些問題。本文隨后將介紹VPlex產(chǎn)品及其主要應用場景，供用戶信息存儲管理人士參考。第一章. 方案概述1. 需求*計劃建設兩個數(shù)據(jù)中心，構成同城雙生產(chǎn)系統(tǒng)，兩中心之間距離不超過100公里；要求數(shù)據(jù)零丟失，系統(tǒng)切換時間小于5分鐘；2. 方案簡介為了滿足客戶建設容災系統(tǒng)的需求，我們設計了本地雙活數(shù)據(jù)中心。整體架構如下：上圖是雙活數(shù)據(jù)中心總體框架，包括雙活存儲系

4、統(tǒng)、雙活數(shù)據(jù)庫系統(tǒng)、雙活應用系統(tǒng)和雙活網(wǎng)絡系統(tǒng)。我們將利用存儲雙活技術和主機集群技術實現(xiàn)數(shù)據(jù)庫系統(tǒng)的雙活，利用負載均衡設備實現(xiàn)應用系統(tǒng)在兩個數(shù)據(jù)中心內(nèi)的負載均衡，利用動態(tài)域名確保兩個數(shù)據(jù)中心的網(wǎng)絡雙活。雙活數(shù)據(jù)中心可以實現(xiàn)業(yè)務系統(tǒng)同時在兩個節(jié)點同時工作，達到負載均衡的目的。當生產(chǎn)節(jié)點出現(xiàn)故障時，業(yè)務系統(tǒng)還能夠在第二生產(chǎn)節(jié)點上正常工作，實現(xiàn)業(yè)務零切換。第二章. 雙活數(shù)據(jù)中心架構設計通過對*具體需求的分析，我們建議客戶采用雙活數(shù)據(jù)中心架構設計。1. 數(shù)據(jù)庫系統(tǒng)雙活架構設計在這個架構中，存儲層除了采用EMC VNX存儲系統(tǒng)或者其他廠商存儲系統(tǒng)（第三方主流存儲系統(tǒng)見EMC Vplex兼容性列表）外，還

5、引進了EMC全新一代數(shù)據(jù)整合系統(tǒng)VPLEX，由VPLEX實現(xiàn)存儲系統(tǒng)高可靠性和同城范圍內(nèi)數(shù)據(jù)高效共享。1.1本地存儲高可靠性保證在本方案中，首先我們要滿足客戶對生產(chǎn)中心存儲系統(tǒng)高可靠性的需求。目前的IT系統(tǒng)架構中，從應用服務器、數(shù)據(jù)庫服務器到網(wǎng)絡等各個部分都已經(jīng)提供了高可靠性的設計，唯獨存儲系統(tǒng)很少有高可靠性方案的設計，這主要基于兩個原因：l 存儲系統(tǒng)自身已經(jīng)有高可靠性設計，控制器、電源、鏈路等都是冗余設計，可靠性較高，一般情況下很少會發(fā)生整體故障，導致數(shù)據(jù)不可訪問。l 沒有非常合適的技術來實現(xiàn)存儲系統(tǒng)的高可靠性保證現(xiàn)在EMC推出了全新架構的數(shù)據(jù)整合解決方案VPLEX，VPLEX首先實現(xiàn)了本地

6、存儲系統(tǒng)的整合及高可靠性設計，而且是硬件級別的解決方案。在本項目中，生產(chǎn)中心VPLEX首先將兩臺EMC DMX3/4（僅以DMX存儲為例說明，下同）整合在一起，實現(xiàn)存儲級別的HA系統(tǒng)。如下圖顯示：1) 在兩臺DMX3/4中分別劃出兩個LUN，LUN-A和LUN-Bl LUN大小一樣l RAID的保護方式一樣l 為了保證性能所分布的硬盤類型和數(shù)量最好也一樣將這兩個LUN同時映射給VPLEX（通過圖中虛線鏈路），VPLEX可以將這些LUN進行再次RAID保護，目前VPLEX支持的RAID保護級別為：l RAID 0l RAID 1l 分布式RAID 1在實現(xiàn)本地存儲HA系統(tǒng)時，使用RAID 1保護

7、方式，形成一個虛擬LUN（V-LUN）。2) VPLEX通過光纖鏈路（圖中實線鏈路）將V-LUN分配給主機，主機可以進行讀寫操作3) 當主機向V-LUN寫入I/O時，先寫入V-LUN，然后再繼續(xù)寫入到兩臺DMX3/4存儲系統(tǒng)中4) 當其中一臺存儲設備發(fā)生故障，整個存儲系統(tǒng)能夠繼續(xù)工作，主機訪問存儲不會受到任何影響1.2雙活數(shù)據(jù)中心數(shù)據(jù)保護本次項目客戶要求首先實現(xiàn)本地存儲高可靠性保護外，還需要實現(xiàn)雙活數(shù)據(jù)中心，既兩個數(shù)據(jù)中心的業(yè)務同時運行，任何一個數(shù)據(jù)中心出現(xiàn)問題，業(yè)務都會繼續(xù)運行。1.2.1通過VPLEX進行數(shù)據(jù)讀寫首先在第二生產(chǎn)節(jié)點上，DMX3/4存儲系統(tǒng)給VPLEX 分配一個LUN，VPE

8、LX產(chǎn)生一個V-LUN。如下圖顯示：其次，通過兩個節(jié)點的VPLEX產(chǎn)生一個分布式虛擬LUN，采用分布式RAID 1保護。如下圖顯示：兩個節(jié)點的主機都能夠訪問到這個虛擬LUN，兩節(jié)點的主機都能夠同時訪問這個分布式虛擬LUN。由于我們提供的是雙活數(shù)據(jù)中心，兩個節(jié)點中的數(shù)據(jù)要實時一致，所以在寫入數(shù)據(jù)時，要確保數(shù)據(jù)被同時寫入到兩個節(jié)點中，這樣才能保證數(shù)據(jù)兩節(jié)點之間的數(shù)據(jù)一致性。如下圖所示：1) 在生產(chǎn)節(jié)點的主機產(chǎn)生I/O；2) 向VPLEX寫入I/O, I/O通過VPLEX之間的光纖鏈路發(fā)送到第二生產(chǎn)節(jié)點的VPLEX上，3) I/O同時寫入到兩個節(jié)點中的DMX3/4存儲系統(tǒng)中；4) 第二生產(chǎn)節(jié)點的VP

9、LEX向生產(chǎn)節(jié)點VPLEX發(fā)出寫I/O完成的確認信息（ACK）；1.2.2通過VPLEX進行數(shù)據(jù)讀取EMC VPLEX是一個集群系統(tǒng)提供分布式緩存一致性保證，能夠將兩個或多個VPLEX的緩存進行統(tǒng)一管理，從而使主機訪問到一個整體的緩存系統(tǒng)。當主機向VPLEX的摸一個緩存區(qū)域寫I/O時，VPLEX緩存將鎖定這個緩存區(qū)域，同一時刻其他主機是無法向這個緩存區(qū)域寫入I/O的。但是，當主機讀取I/O時，VPLEX緩存允許多個主機訪問一個緩存區(qū)域，尤其是主機訪問其他VPLEX集群中其他VPLEX所管理的數(shù)據(jù)時，統(tǒng)一個緩存管理會將這個I/O的具體位置告知主機，主機直接訪問。如下圖顯示：1.2.3主機故障切換

10、我們將1個RAC的集群中的兩臺主機分別放置在生產(chǎn)和第二生產(chǎn)節(jié)點上，這兩臺主機形成一個跨數(shù)據(jù)中心的集群系統(tǒng)，如圖中RAC1-1和RAC1-2，RAC2-1和RAC2-2。這種設置保證了正常情況下，兩節(jié)點的主機同時工作；一旦其中一個節(jié)點的主機出現(xiàn)故障，業(yè)務會無縫的被另外一個節(jié)點的主機所接管。此時，RAC的心跳線需要通過網(wǎng)絡來進行連接。1.2.4存儲故障切換主機故障切換由RAC集群保證，存儲系統(tǒng)故障切換則由EMC VPLEX保證。l EMC VPLEX中設計了一個重要的部件VPLEX WitnessWitness安裝在客戶提供的 VMware ESX Server 上運行的虛擬機，Witness最好

11、與兩個 VPLEX 集群不在同一地點，但是考慮到實際情況，也可以將Witness放置在生產(chǎn)節(jié)點。VPLEX Witness 使用 IP 連接監(jiān)視兩個 VPLEX 群集之間的系統(tǒng)“心跳”信號。通過監(jiān)視這些心跳信號，VPLEX Witness 可以區(qū)分站點故障和站點分區(qū)。VPLEX Witness 讓應用程序能夠承受任何存儲故障的影響，包括同時影響整個存儲設備機架的故障。VPLEX Witness 與服務器群集軟件和 AccessAnywhere 相結合，形成了一套端到端的解決方案，允許在服務器出現(xiàn)故障時自動重啟。對于 雙活數(shù)據(jù)中心的部署，VPLEX Witness 能為客戶提供具有零恢復點目標

12、(RTO) 的高可用性解決方案。l 由于在生產(chǎn)節(jié)點已經(jīng)通過VPLEX實現(xiàn)存儲的HA，所以一個存儲系統(tǒng)出現(xiàn)故障，不會影響到整個系統(tǒng)的正常運行。如圖所示：l 第二生產(chǎn)節(jié)點存儲系統(tǒng)出現(xiàn)故障，不會影響到整個系統(tǒng)的正常運行。如圖所示：l VPLEX系統(tǒng)故障VPLEX系統(tǒng)自身是全冗余設計，可用性能夠達到99.999%，但是為了防止VPLEX自身出現(xiàn)故障，VPLEX自身有一整套放置系統(tǒng)故障的處理流程，在這個過程中就要結合上面我們提到的Witness。如下圖所示：上圖中，種情況中，業(yè)務正常工作；種情況中，業(yè)務暫停，需要少量人工干預將業(yè)務恢復，時間不會超過10分鐘。1.2.5生產(chǎn)節(jié)點發(fā)生災難如果生產(chǎn)節(jié)點發(fā)生災難

13、，則所有業(yè)務要切換至第二生產(chǎn)節(jié)點，其過程如上圖所示情況，需要少量人工干預，在這種情況下人工干預是指將V-2暫時中斷的工作重新啟動，主機能夠重新訪問存儲系統(tǒng)，最終業(yè)務恢復。1.2.6生產(chǎn)節(jié)點恢復生產(chǎn)節(jié)點修復后，需要重新將生產(chǎn)節(jié)點和第二生產(chǎn)節(jié)點的VPLEX關聯(lián)起來。在VPLEX上重新通過兩個節(jié)點的VPLEX產(chǎn)生一個分布式虛擬LUN，采用分布式RAID 1保護，此時業(yè)務可以正常運行，第二生產(chǎn)節(jié)點與生產(chǎn)節(jié)點之間的數(shù)據(jù)在后臺進行復制，直到兩邊數(shù)據(jù)一致。在這個過程中，我們還需要將VPLEX的Witness修復，在其中定義生產(chǎn)節(jié)點為主節(jié)點。2. 網(wǎng)絡系統(tǒng)架構設計2.1互聯(lián)網(wǎng)接入部分該部分內(nèi)容EMC只是根據(jù)其

14、他用戶的經(jīng)驗提供一些建議，具體設計與實施還需要專業(yè)的網(wǎng)絡系統(tǒng)廠商或集成商提供。建議兩個生產(chǎn)分別租用兩條互聯(lián)網(wǎng)出口線路，一條聯(lián)通線路，一條電信線路。在每條線路出口處，分別透明部署一臺智能抗攻擊設備，用以抵擋來自互聯(lián)網(wǎng)的Dos/DDos等攻擊，保護內(nèi)部用戶和服務器的安全。在兩臺抗攻擊設備后，分別部署兩臺鏈路負載均衡設備，用來實現(xiàn)多廣域網(wǎng)線路選路和冗余備份，使用戶可以通過最快線路訪問*業(yè)務系統(tǒng)，加快了數(shù)據(jù)中心訪問速度。同時，當任何一條線路故障，用戶依然可以通過另一條廣域網(wǎng)線路訪問數(shù)據(jù)中心服務器，提高了數(shù)據(jù)中心的可靠性。鏈路負載均衡設備可實現(xiàn)多條internet接入鏈路的負載均衡，可以同時實現(xiàn)outb

15、ound流量和inbound流量雙向的負載均衡。鏈路負載均衡設備會通過多種方式檢測兩條鏈路的健康狀況，一旦發(fā)現(xiàn)其中一條鏈路故障，會立即將所有用戶流量定向至其它可用鏈路，從而實現(xiàn)Internet連接的高可用性。主要的方法有：l 為了確保ISP鏈路的暢通，鏈路負載均衡設備將采用Ping的方法，不僅僅檢查和其相連的路由器的端口是否可達，還可以檢查該鏈路后續(xù)路由節(jié)點的連通性（10跳），已確保整個路徑的暢通。l 針對所有的網(wǎng)絡環(huán)境（包括禁止ICMP的ISP），鏈路負載均衡設備提供了豐富的47層檢查方式，并可以通過多種檢查結果的“與”和“或”運算結果，最終準確判斷鏈路的健康狀況。在鏈路負載均衡設備旁路部署

16、全局負載均衡設備。通過全局負載均衡設備的智能DNS功能，實現(xiàn)兩數(shù)據(jù)中心的災備功能。當?shù)谝簧a(chǎn)中心的所有服務器故障或受到攻擊而不能提供服務時，全局負載均衡設備會引導用戶（自動或人工）去第二生產(chǎn)中心訪問業(yè)務。在用戶的權威DNS服務器上添加NS記錄，使服務器域名的解析權交給主備兩個站點的全局負載均衡設備。當全局負載均衡設備（無論哪個中心）收到用戶DNS請求后，首先會檢測服務器狀態(tài)，確認應用是否健康，能否正常提供服務，廣域網(wǎng)線路是否正常等等。如果主站點服務器能提供正常服務，再根據(jù)DNS請求包源地址，將域名解析為主站點的聯(lián)通或電信地址（根據(jù)動態(tài)探測結果），使用戶訪問主站點服務器。如果主站點服務器不能提供

17、正常服務，則將域名解析為備站點的地址，使用戶訪問備站點服務器。當兩個數(shù)據(jù)中心的任何一個互聯(lián)網(wǎng)線路故障或全局負載均衡設備同時故障，備份中心的全局負載均衡設備探測到第一生產(chǎn)中心故障，并接管全部DNS解析功能，引導用戶訪問第二生產(chǎn)中心互聯(lián)網(wǎng)入口。2.2 核心網(wǎng)絡系統(tǒng)該部分內(nèi)容具體設計與實施還需要專業(yè)的網(wǎng)絡系統(tǒng)廠商或集成商提供。2.3 SAN網(wǎng)絡系統(tǒng)由于目前*已經(jīng)實現(xiàn)了兩個數(shù)據(jù)中心之間的SAN網(wǎng)絡互聯(lián)，所以雙活數(shù)據(jù)中心系統(tǒng)直接利用現(xiàn)有的SAN網(wǎng)絡系統(tǒng)即可。3. 雙活數(shù)據(jù)中心建議配置設備l VPLEX虛擬存儲系統(tǒng)引擎，2套，每套引擎配置兩個控制器，每套引擎配置72GB高速緩存，16個8Gbps光纖端口；

18、l 兩臺智能抗攻擊設備；l 兩臺鏈路負載均衡設備；l 兩臺全局負載均衡設備第三章. 產(chǎn)品配置EMC存儲產(chǎn)品報價表序號產(chǎn)品型號配置描述數(shù)量EMC報價1EMC Vplex Metro虛擬化存儲引擎：每臺兩個控制器，配置緩存72G,32個8GB主機接口，配置4個56GB EFD硬盤， 管理軟件，專用機柜。22EMC VNX5200磁盤陣列：冗余引擎， 配置緩存32G,8個8GB主機接口，配置2塊400GB EFD 磁盤，46個900GB 10k SAS硬盤，配置自動分層軟件，鏈路冗余軟件，存儲管理軟件等 。2Total：第四章. 方案優(yōu)勢1. 方案優(yōu)勢l 雙活數(shù)據(jù)中心優(yōu)勢基于EMC VPLEX系統(tǒng)所

19、構建的雙活數(shù)據(jù)中心，能夠實現(xiàn)雙中心零時間切換的終極目標，使客戶的業(yè)務持續(xù)運行。技術領先：EMC VPLEX 引入了一種新的體系結構，它吸收了我們在 20 年設計、實施和完善企業(yè)級智能緩存和分布式數(shù)據(jù)保護解決方案的實踐中取得的經(jīng)驗教訓。以可擴展、高可用的處理器引擎為基礎，EMC VPLEX 設計為可從小型配置無縫擴展到大型配置。VPLEX 駐留在服務器和異構存儲資產(chǎn)之間，使用獨特的群集體系結構，此體系結構允許多個數(shù)據(jù)中心的服務器具有對共享塊存儲設備的讀/ 寫訪問權限。此新體系結構的獨特特征包括： 橫向擴展群集硬件，允許您從小配置開始并以可預知的服務級別逐步擴展 高級數(shù)據(jù)緩存，它利用大規(guī)模 SDRAM 緩存提高性能并減少 I/O 延遲和陣列爭用 分布式緩存吻合性，可跨整個群集自動執(zhí)行 I/O 的共享、平衡和故障