城商行兩地三中心存儲架構設計實踐

城商行兩地三中心存儲架構設計實踐

【摘要】VMAX200K存儲屬于DellEMC的高端存儲，上市以來，在各行各業(yè)有著廣泛的使用。存儲系統(tǒng)作為金融行業(yè)的IT基礎架構中最重要、最關鍵的基礎設施，如何支持金融行業(yè)業(yè)務發(fā)展，如何進一步夯實銀行信息系統(tǒng)底層架構，本文通過銀行機構實踐案例展示了VMAX200K在“兩地三中心”的存儲架構設計與使用，很好的滿足了銀行IT基礎架構更新建設需求。1概述1.1建設背景我行生產(chǎn)數(shù)據(jù)中心因投入運營時間較早，經(jīng)過長時間的運行，無論是基礎環(huán)境設施還是機房空間布局，均不能滿足業(yè)務飛速發(fā)展需求。在這樣的背景下，我行啟動了新數(shù)據(jù)中心的選址建設工作，同時對數(shù)據(jù)中心的IT基礎架構進行了全新規(guī)劃設計，存儲系統(tǒng)作為金融行業(yè)的IT基礎架構中最重要、最關鍵的基礎設施，其架構設計更是重中之重，不僅要具有高穩(wěn)定性、高可靠性，還要具有支持實時業(yè)務快速交易的高性能，更要能夠支持“兩地三中心”的容災架構，滿足容災切換的需求。1.2建設目標按照整體的建設整體規(guī)劃和銀行業(yè)信息系統(tǒng)兩地三中心的職能定位，建設更高可靠性、高安全性、更具高效性和易管理型的新生產(chǎn)中心，逐步推進實施生產(chǎn)中心投產(chǎn)遷移，利用原生產(chǎn)和異地中心實施同城、異地災難備份中心改造建設，進而構建能夠滿足業(yè)務連續(xù)性管理需求，更具先進性、可靠性的容災架構體系。同城兩數(shù)據(jù)中心通過先進、合理、高可用的技術手段，依托新數(shù)據(jù)中心建設和同城中心改造，逐步構建成為具有行業(yè)先進水平的新一代的同城雙活災備中心，綜合采用業(yè)界先進的技術手段，最終構建從業(yè)務視角兩中心邏輯上同屬一個業(yè)務集群，作為整體響應業(yè)務請求，業(yè)務請求在兩中心間動態(tài)分配，任一中心出現(xiàn)故障時業(yè)務上無感知，集群內(nèi)兩中心各存儲一份相同的數(shù)據(jù)且進行實時同步更新，任一中心出現(xiàn)故障時另一中心自動接管全部業(yè)務請求的真正專業(yè)化、科學化、高可用的容災體系。異地中心定位為小異地中心，僅應對發(fā)生區(qū)域災難的場景，應急接管業(yè)務使用。作為數(shù)據(jù)中心底層的核心組件之一的存儲系統(tǒng)，也是此次設計的重中之重，不僅承擔著日常數(shù)據(jù)存儲角色，也是對未來三中心架構設計起著決定性的作用，總體設計應以技術成熟可靠、運維簡單為導向，其設計在滿足業(yè)務處理和生產(chǎn)數(shù)據(jù)訪問的需求的前提下，應具備有技術前瞻性和設計科學性，滿足未來3-5年業(yè)務發(fā)展的需求，并為未來私有云、大數(shù)據(jù)等打下基礎、積累經(jīng)驗。2存儲架構設計2.1總體設計原則在進行重要業(yè)務系統(tǒng)存儲設備整體架構設計時，主要是本著以下幾個原則：（1）滿足業(yè)務需求：首先系統(tǒng)整體設計以滿足業(yè)務需求為第一目標。存儲設備主要為滿足業(yè)務需求服務，必須把業(yè)務需求作為目標。（２）可靠性：可靠性在整體設計上體現(xiàn)在兩個方面，一個方面是在考慮各個環(huán)節(jié)時，盡量選擇當前穩(wěn)定的版本，例如BINCode版本、Firmware版本、軟件版本等；另一個方面是在設計時，盡量考慮對每個模塊使用冗余配置。這樣，當一個模塊發(fā)生故障時，不會影響存儲數(shù)據(jù)的正常讀寫，不會影響業(yè)務系統(tǒng)的運行。（3）性能：由于不同應用對存儲資源的需求不同，在設計時將性能作為一個重要因素進行考慮，指導對于不同的業(yè)務系統(tǒng)進行存儲資源的分配，以充分利用磁盤陣列的性能，滿足業(yè)務對性能的要求。（４）擴展性：整體設計不僅僅是滿足現(xiàn)狀，還會考慮到今后一段時間存儲的擴展，在擴展時整體框架保持穩(wěn)定，降低擴展對應用系統(tǒng)的影響。這樣隨著某銀行機構業(yè)務的快速發(fā)展，在一段時間內(nèi)存儲模塊的架構將保持相對穩(wěn)定，不會頻繁發(fā)生變化。（5）易維護性：在設計時，也要考慮到設計對于以后運行維護的影響。因為采取不同的設計可能造成以后維護的頻度和工作量不同。設計上盡量采用便于后期維護，降低維護成本的方案。2.2存儲高可用設計存儲設備的高可用設計主要有三個方面：存儲設備自身的可靠性、存儲設備間的高可用保障和冗余的SAN網(wǎng)絡架構。2.2.1存儲設備的高可靠性存儲設備作為數(shù)據(jù)集中存放的核心設備，同城將多個（或全部）應用系統(tǒng)存放于單臺或者有限的幾臺存儲設備中，一旦設備出現(xiàn)異常將會對其數(shù)據(jù)存取產(chǎn)生極大的影響，進而產(chǎn)生大面積的系統(tǒng)故障，引發(fā)嚴重生產(chǎn)運行事件。因此，存儲設備自身的可靠性必須得到保障，存儲設備自身的高可用主要考慮兩方面：（1）磁盤組的RAID級保護支持多種RAID水平，包括RAID5、RAID6、RAID10、RAID50、RAID60等；支持針對高水平RAID數(shù)據(jù)保護的緩存加速選項，以優(yōu)化性能；支持大型、高度可擴展驅(qū)動群，以簡化存儲擴張和管理；（2）組件的高可用保障。高可用硬件設計；支持針對單點物理硬件故障應用訪問無感知的需求；支持雙引擎及雙控制平面設計；支持松耦合Scale-Out結構的硬件架構設計；當前主流廠商的高端存儲設備均能滿足單設備高可用用的需求。2.2.2存儲設備間的高可靠性存儲設備間的也是存儲設備可靠性設計的重要環(huán)節(jié)，存儲設備自身的可用性依靠磁盤的RAID組和組件的高可用保障，但存儲設備運行在數(shù)據(jù)中心中，依賴于數(shù)據(jù)中心的風、火、水、電等基礎設施，一旦這些基礎環(huán)境出現(xiàn)問題也導致存儲設備不可用。為避免此類故障對數(shù)據(jù)中心運行產(chǎn)生的影響，可考慮單中心多模塊設計，同時結合因地震、海嘯等因素造成的數(shù)據(jù)中心不可用的情形，還會進行多站點多中心的設計，即傳統(tǒng)金融行業(yè)的“兩地三中心”模式。對于存儲設備考慮利用多模塊或者多中心進行設備間的高可靠性設計。設備間的數(shù)據(jù)復制采用存儲層復制或者數(shù)據(jù)庫層復制的技術來滿足設備間數(shù)據(jù)存儲的需求。2.2.3冗余的SAN網(wǎng)絡架構SAN網(wǎng)絡作為數(shù)據(jù)傳輸媒介，其可靠性也是存儲高可用架構設計的一部分。SAN網(wǎng)絡采用傳統(tǒng)的雙HBA卡、雙光纖交換機和雙存儲控制器模式，組成冗余的SAN網(wǎng)絡架構。2.3數(shù)據(jù)連續(xù)性設計存儲設備可靠性得到保障后，存儲的數(shù)據(jù)還會因為一些因素導致數(shù)據(jù)不可用，例如數(shù)據(jù)產(chǎn)生邏輯壞塊、誤操作或者程序缺陷等。通常情況下，數(shù)據(jù)損壞采用數(shù)據(jù)備份恢復的方案進行數(shù)據(jù)恢復，但銀行機構的重要業(yè)務系統(tǒng)一般為對客戶的的實時賬務處理系統(tǒng)，業(yè)務中斷恢復時間目標要求很高，需要更快捷的方式滿足此次故障場景下的數(shù)據(jù)恢復需求，一般采用數(shù)據(jù)庫快速閃回、存儲快照或?qū)Ｓ肅DP工具滿足。2.4三中心存儲架構設計綜合考慮存儲設備高可用和連續(xù)性設計，確定了最新的“兩地三中心”存儲架構，采用生產(chǎn)中心為主、大同城小異地的規(guī)劃模式。如下圖所示。（1）生產(chǎn)中心利用新機房具有多模塊設計的優(yōu)勢，在不同的機房模塊同時部署2臺高端存儲設備，利用業(yè)界主流的數(shù)據(jù)庫復制技術，實現(xiàn)不同機房模塊存儲數(shù)據(jù)的實時更新。該設計模式，既能防止單機房模塊因消防、電力等數(shù)據(jù)中心基礎設施故障導致的存儲不可用場景，又能防止數(shù)據(jù)層邏輯故障導致的存儲數(shù)據(jù)不可用，進一步保障了生產(chǎn)中心數(shù)據(jù)的連續(xù)性。在兩機房模塊間實施數(shù)據(jù)庫復制，網(wǎng)絡傳輸路徑短，網(wǎng)絡架構簡單、直接、高效。利用該方案設計，可滿足最新的應用層讀寫分離的設計需求。（2）原同城雙中心間容災數(shù)據(jù)傳輸一直采用存儲復制的方式，此次新架構設計繼續(xù)保留存儲復制方式，存儲復制方式具有技術簡單、成熟度高、維護簡便和切換時間一致性高等特點。既保障了技術傳承又預留接口便于實現(xiàn)后續(xù)存儲設備雙中心雙活。（3）異地雙中心間數(shù)據(jù)傳輸采用數(shù)據(jù)庫復制的方式，與存儲復制相比可有效降低長途線路帶寬，同時存儲設備可不受存儲品牌和存儲架構的限制，達到異地容災建設效果的同時進一步節(jié)省容災建設成本。3存儲建設實施我行重要應用原部署了1臺DellEMC高端存儲設備，此次新存儲架構升級改造，主要通過設備新購和利舊來滿足。3.1三中心存儲總體布局落地實施的三中心存儲總體布局如下圖所示：（1）新采購兩臺DellEMC高端存儲，分別部署于生產(chǎn)中心不同機房模塊，分別用于生產(chǎn)數(shù)據(jù)存儲和數(shù)據(jù)庫復制的數(shù)據(jù)存儲。（2）同城中心利用原存儲設備，與新生產(chǎn)中心新購的存儲設備搭建SRDF，滿足同城容災數(shù)據(jù)的實時傳輸需求。（3）異地中心新購普通的存儲替換原存儲設備，利用數(shù)據(jù)庫數(shù)據(jù)的異步復制技術來實現(xiàn)異地災備數(shù)據(jù)的實時傳輸。（4）SAN網(wǎng)絡采用生產(chǎn)與容災分離的方式，生產(chǎn)和同城中心利用一組新購光纖交換機設備構建中心內(nèi)部SAN網(wǎng)絡，用于數(shù)據(jù)中心內(nèi)部主機設備與存儲之間的數(shù)據(jù)傳輸；同城雙數(shù)據(jù)中心之間利用另外一組光纖交換機設備構建同城雙中心容災SAN網(wǎng)絡，用于同城災備數(shù)據(jù)傳輸；異地災備中心利用原生產(chǎn)中心利舊光纖交換機設備構建數(shù)據(jù)中心內(nèi)部獨立的SAN網(wǎng)絡。3.2存儲陣列劃分我行新采購的高端存儲設備DellEMCVMAX200K，分別部署于生產(chǎn)中心不同的機房模塊。存儲設備配置為雙引擎，總計四個控制器，很好的滿足存儲組件的可靠性設計，存儲設備采用SSD和SAS盤混合配置，來滿足未來不同等級應用對存儲性能不同的需求。存儲設備對主機的資源分配給采用VirtualProvisioning的配置方式，該資源分配方式也是業(yè)界公認的存儲未來發(fā)展方向，具有以下優(yōu)點：（1）簡化了存儲管理,允許客戶獨立于物理存儲進行資源調(diào)配；（2）減少支持容量增長所需的重新調(diào)配步驟；（3）自動寬條帶化可以簡化數(shù)據(jù)布局，可以在減少規(guī)劃工作量和人員的情況下實現(xiàn)相似甚至更高的性能。通過跨所有驅(qū)動器將數(shù)據(jù)進行寬條帶化而獲得更高的性能，并減少熱點盤的產(chǎn)生幾率。通過減少已分配空間但未使用的空間調(diào)配，進一步提高存儲容量利用率，同時還可以獲得更好的能效。3.2.1RAID組配置該新購的VMAX200K存儲RAID組配置，支持鏡像，Raid5，Raid6等多種Raid保護級別。Raid規(guī)劃主要考慮性能、容量損失和安全性三個方面因素，不同Raid級別容量損失、寫性能和可靠性均不相同，對比如下表所示：類型容量損失寫性能可靠性Raid150%好好Raid525%一般好Raid625%差最好注：Raid5以3+1為例，Raid6以6+2為例。

綜合考慮后續(xù)使用和存儲磁盤配置，此次采用Raid5（3+1）和RAID1混合配置的模式，并配置一定數(shù)量的熱備盤。3.2.2磁盤陣列前端口劃分該高端存儲設備配置兩個引擎，每個引擎有32個前端端口，端口速率為16GB，端口示意圖如下：具體端口分配如下：因銀行業(yè)核心系統(tǒng)有著最重要的作用，因此對核心應用的端口進行了獨立劃分，核心應用主機使用4塊光纖卡，一對二連接，如下圖所示，藍色為核心應用使用端口，使用8個前端口。橙色為其它應用使用端口，主機使用兩塊光纖卡，一對二連接，使用4個前端口。端口輪流使用。按照同樣規(guī)則配置另一臺存儲。3.2.3VMAXSRP規(guī)劃StoragePool劃分可以使存儲劃出的TDEV設備遍歷到PooL中所有成員磁盤，并且是條帶的，這樣就保證了前端TDEV的IO平均分布在后端所有物理磁盤上并且提高了并發(fā)性。此次存儲設備使用過程中，每個存儲劃分1個SRP。根據(jù)磁盤類型不同，劃分2個DG，分別為SSDDG和SASDG。為了保證系統(tǒng)穩(wěn)定性，我們這次設計不準許超分配，(Maxsubscription為100%)3.2.4SLO規(guī)劃SLO（ServiceLevelObjectives）是根據(jù)應用的ServiceLevel存儲分配相應的資源，這樣可以關鍵應用已經(jīng)性能要求高的應用的得到更多的資源，保證關鍵應用的性能。SLO可以調(diào)整，后期如果應用性能要求發(fā)生變化，可以調(diào)整SLO來滿足不同應用的性能要求，更加精細的滿足各類應用的需求。此次采購的存儲設備，采用了SSD和SAS盤混合配置的方式，支持劃分以下類型SLO，模擬的磁盤性能如下表所示。SLO類型性能Diamond模擬SSD的性能Platinum模擬SSD和15K混合性能Gold模擬15K磁盤性能Silver模擬10K磁盤性能Bronze模擬7.2K磁盤性能Optimized系統(tǒng)自動優(yōu)化模式此次，根據(jù)業(yè)務系統(tǒng)的重要程度，簡單劃分了2類，即核心應用和其它重要業(yè)務系統(tǒng)，便于管理，只使用2種SLO：核心應用使用Diamond（鉆石級），保證核心應用性能；其它應用使用Silver級別，如果后期性能不夠，可以提升SLO級別，后續(xù)根據(jù)使用需求或者新增的業(yè)務分級需求，可以劃分其它SLO。3.2.5LUN規(guī)劃為便于統(tǒng)一管理，存儲規(guī)劃通常會使用盡可能少的LUN容量規(guī)格類型。此次根據(jù)數(shù)據(jù)庫磁盤的使用特點，將LUN劃分2種類型，即數(shù)據(jù)LUN和日志LUN，不同類型的LUN劃分固定的規(guī)格，進一步簡化了日常的運維管理，也便于后續(xù)存儲設備更換過程中的數(shù)據(jù)遷移。3.3光交換劃分此次購買了一定數(shù)量不同型號的光纖交換機設備，均配置了當前主流的16GB端口。生產(chǎn)中心不同的機房模塊、同城中心和異地中心內(nèi)部分別配置2臺光纖交換機設備，用于內(nèi)部的主機和存儲設備之間的連接。生產(chǎn)中心機房和同城災備中心機房，采用4臺光纖交換機設備，通過DWDM設備連接，用于存儲SR