銀行全閃存儲(chǔ)架構(gòu)實(shí)踐

1、 銀行全閃存儲(chǔ)架構(gòu)實(shí)踐目 錄 TOC o 1-3 h z u HYPERLINK l _Toc6911547 一、銀行新數(shù)據(jù)中心建設(shè)背景 PAGEREF _Toc6911547 h 3 HYPERLINK l _Toc6911548 二、銀行新一代數(shù)據(jù)中心建設(shè)需求分析 PAGEREF _Toc6911548 h 3 HYPERLINK l _Toc6911549 三、銀行新一代數(shù)據(jù)中心存儲(chǔ)架構(gòu)選型及產(chǎn)品架構(gòu)分析 PAGEREF _Toc6911549 h 4 HYPERLINK l _Toc6911550 四、全閃在銀行新數(shù)據(jù)中心的實(shí)踐應(yīng)用 PAGEREF _Toc6911550 h 7 HY

2、PERLINK l _Toc6911551 五、全閃架構(gòu)在銀行的運(yùn)維案例 PAGEREF _Toc6911551 h 9 HYPERLINK l _Toc6911552 六、總結(jié)及展望 PAGEREF _Toc6911552 h 12 銀行新數(shù)據(jù)中心建設(shè)背景隨著利率市場(chǎng)化的經(jīng)濟(jì)政策成為國(guó)內(nèi)金融環(huán)境的基調(diào)，銀行金融業(yè)在近幾年的發(fā)展中面臨的來自互聯(lián)網(wǎng)金融的沖擊和降本增效等方面的困難及挑戰(zhàn)越來越多。以大數(shù)據(jù)、人工智能為代表的新型技術(shù)的涌現(xiàn)，在給金融科技注入新鮮活力的同時(shí)，也為銀行業(yè)務(wù)的轉(zhuǎn)型和發(fā)展帶來了新的機(jī)遇和挑戰(zhàn)。毋庸置疑，F(xiàn)inTech時(shí)代已經(jīng)伴隨著IT技術(shù)的飛速發(fā)展驟然而來，各類新技術(shù)在特定業(yè)

3、務(wù)場(chǎng)景下的應(yīng)用不斷推陳出新，必將大幅提升金融服務(wù)品質(zhì)，并助力金融行業(yè)實(shí)現(xiàn)新的利潤(rùn)增長(zhǎng)點(diǎn)，真正發(fā)揮“科技引領(lǐng)”的作用。而科技創(chuàng)新要敢為人先，立足根本，勇于嘗試，最根本的是確保銀行業(yè)傳統(tǒng)重要系統(tǒng)及平臺(tái)的安全穩(wěn)定運(yùn)行。數(shù)據(jù)中心作為銀行業(yè)各類基礎(chǔ)設(shè)施和硬件平臺(tái)的重要載體，其建設(shè)和維護(hù)不僅要符合政策規(guī)范和監(jiān)管要求，還要綜合考慮人力、成本及長(zhǎng)期發(fā)展規(guī)劃等各因素做出權(quán)衡。數(shù)據(jù)中心升級(jí)建設(shè)，意味著傳統(tǒng)重要系統(tǒng)的運(yùn)行狀態(tài)要經(jīng)歷一次較大的數(shù)字化轉(zhuǎn)型，而防范系統(tǒng)安全風(fēng)險(xiǎn)與持續(xù)高效穩(wěn)定運(yùn)行則成為數(shù)據(jù)中心數(shù)字化轉(zhuǎn)型建設(shè)的根本出發(fā)點(diǎn)。銀行新一代數(shù)據(jù)中心建設(shè)需求分析在大批金融企業(yè)積極探索數(shù)字化轉(zhuǎn)型的今天，數(shù)據(jù)中心建設(shè)領(lǐng)域也

4、出現(xiàn)了雙活及多點(diǎn)災(zāi)備等概念，一方面在同城災(zāi)備中心承載部分外圍非重要系統(tǒng)業(yè)務(wù)實(shí)現(xiàn)雙活，一方面仍然承擔(dān)生產(chǎn)中心傳統(tǒng)重要系統(tǒng)的容災(zāi)備份等關(guān)鍵任務(wù)。在災(zāi)備建設(shè)上，我行重要系統(tǒng)目前采用業(yè)界比較成熟的兩地三中心架構(gòu)，即業(yè)務(wù)系統(tǒng)歸屬一個(gè)生產(chǎn)中心，同時(shí)在生產(chǎn)中心50KM范圍內(nèi)建設(shè)同城災(zāi)備中心，另選一城市建設(shè)異地災(zāi)備中心，以滿足監(jiān)管部門對(duì)業(yè)務(wù)持續(xù)性提出的高可靠要求。原有的同城災(zāi)備中心只是作為容災(zāi)的角色，存在資源閑置、利用效率低、災(zāi)備切換不夠靈活等缺點(diǎn)，已不再適應(yīng)我行業(yè)務(wù)發(fā)展的需要及未來雙活中心的發(fā)展規(guī)劃，促使新同城災(zāi)備中心的升級(jí)建設(shè)任務(wù)迫在眉睫，以逐步實(shí)現(xiàn)新同城災(zāi)備中心架構(gòu)完全替代舊災(zāi)備中心的目標(biāo)。為確保新同城

5、災(zāi)備中心運(yùn)行平穩(wěn)且滿足監(jiān)管部門要求，新舊同城災(zāi)備中心將同時(shí)運(yùn)行一段時(shí)間，各項(xiàng)條件均具備時(shí)再完成舊同城災(zāi)備中心向新同城災(zāi)備中心的完全切換。隨著技術(shù)的更新迭代，為促使新同城災(zāi)備中心逐步升級(jí)為雙活中心，服務(wù)器、光纖交換機(jī)、存儲(chǔ)等基礎(chǔ)設(shè)備均需要立項(xiàng)采購(gòu)，為新同城災(zāi)備中心建設(shè)提供必要的前提。銀行新一代數(shù)據(jù)中心存儲(chǔ)架構(gòu)選型及產(chǎn)品架構(gòu)分析新數(shù)據(jù)中心建設(shè)工作啟動(dòng)之前，我行三中心重要系統(tǒng)均采用IBM Power780小型機(jī)及EMC VMAX20K存儲(chǔ)等基礎(chǔ)架構(gòu)的軟硬件產(chǎn)品。重要系統(tǒng)由于其無可替代的特殊地位，在基礎(chǔ)架構(gòu)的軟硬件產(chǎn)品的選型上，為了有效確保系統(tǒng)平滑遷移及安全可控，新同城災(zāi)備中心重要系統(tǒng)基礎(chǔ)軟硬件應(yīng)保持

6、同原有產(chǎn)品家族的一致性。IBM Power880作為Power780的下一代產(chǎn)品，在基礎(chǔ)配置上更加高端，整機(jī)計(jì)算和處理能力也大幅提升，能很好地承載起重要系統(tǒng)的平穩(wěn)運(yùn)行任務(wù)。而存儲(chǔ)產(chǎn)品牽涉數(shù)據(jù)中心的命脈，其安全性、穩(wěn)定性、可靠性將對(duì)整個(gè)系統(tǒng)的平穩(wěn)運(yùn)行起決定作用。另外，對(duì)于重要系統(tǒng)而言，其對(duì)存儲(chǔ)處理IO的能力要求較高，既要求高IOPS，又要求低時(shí)延。長(zhǎng)期來看，隨著業(yè)務(wù)交易量的增大，重要系統(tǒng)不可避免存在存儲(chǔ)擴(kuò)容等實(shí)際需求，所以在數(shù)據(jù)中心資源珍貴的情形下，選擇占空間少、易擴(kuò)展、能耗低的存儲(chǔ)也是產(chǎn)品選型中必須考慮的重要因素。綜上所述，無疑全閃架構(gòu)才能滿足我行的具體需求。按照Dell EMC存儲(chǔ)產(chǎn)品的定位

7、，EMC VMAX950F是EMC VMAX3全閃存儲(chǔ)的最高端產(chǎn)品，能夠并發(fā)運(yùn)行成千上萬混合工作負(fù)載，同時(shí)保持一致的高性能。在大規(guī)模環(huán)境下，能夠提供可預(yù)測(cè)且快速響應(yīng)的服務(wù)?？稍诖鎯?chǔ)PB級(jí)關(guān)鍵數(shù)據(jù)的同時(shí)輕松管理高要求、事務(wù)繁重的工作負(fù)載。同時(shí)，利用全閃技術(shù)消除瓶頸，可為讀取密集型OLTP應(yīng)用程序提供高性能和低延遲，利用大量的寫緩存來縮短寫入工作負(fù)載的響應(yīng)時(shí)間。在性能密度方面，每個(gè)陣列在單臺(tái)機(jī)柜里可容納雙引擎以及多達(dá)480個(gè)高密度驅(qū)動(dòng)器，實(shí)現(xiàn)在單個(gè)機(jī)架中可承載約 170萬IOPS，在滿足需求的同時(shí)更可以降低成本、節(jié)約空間。VMAX在可靠性、可用性和可維護(hù)性方面也具有優(yōu)勢(shì)，適合無中斷可用性的開放式系

8、統(tǒng)和大型機(jī)環(huán)境，在嚴(yán)苛的任務(wù)關(guān)鍵型環(huán)境中單機(jī)可以提供6個(gè)9的可用性。VMAX全閃的這些特點(diǎn)，很好地滿足了我行在存儲(chǔ)產(chǎn)品選型方面的基本要求，結(jié)合我行實(shí)際使用情形，最終我們選擇VMAX950F作為重要系統(tǒng)關(guān)鍵數(shù)據(jù)的底層平臺(tái)。圖3.1 兩地三中心基礎(chǔ)架構(gòu)根據(jù)廠商技術(shù)解讀，EMC VMAX950F跟二代產(chǎn)品（如VMAX20k）相比，具有下列特點(diǎn)：1、硬件設(shè)計(jì)采用大幅增強(qiáng)的 Dynamic Virtual Matrix 體系結(jié)構(gòu)，可實(shí)現(xiàn)極高的速度和始終如一的亞毫秒級(jí)響應(yīng)時(shí)間。VMAX 全閃存體系結(jié)構(gòu)可超出單個(gè)系統(tǒng)占用空間的限制進(jìn)行大規(guī)模擴(kuò)展，從而根據(jù)需要提供可擴(kuò)展的性能。它可以將數(shù)百個(gè)多Intel CP

9、U 按需加以池化和分配，從而滿足動(dòng)態(tài)混合工作負(fù)載的性能要求。這一點(diǎn)可通過強(qiáng)大的多線程技術(shù)配合操作系統(tǒng)HYPERMAXOS調(diào)度功能來實(shí)現(xiàn)，從而確保工作負(fù)載所需資源按需調(diào)度。2、VMAX全閃采用實(shí)時(shí)無中斷的存儲(chǔ)虛擬機(jī)管理程序操作系統(tǒng)HYPERMAXOS。該虛擬機(jī)管理程序?qū)⑻峁┣度胧綉?yīng)用程序的虛擬機(jī)，每個(gè)容器都可虛擬化嵌入式應(yīng)用程序所需的硬件資源，并管理和保護(hù)這些資源服務(wù)。它還提供對(duì)硬件資源的直接訪問，以最大程度地提高性能，且虛擬機(jī)管理程序可以無中斷升級(jí)。3、100%虛擬分配。由于存儲(chǔ)分配給服務(wù)器的LUN均為精簡(jiǎn)設(shè)備，所以真正分配給服務(wù)器的空間為實(shí)際使用的，這樣保證了存儲(chǔ)資源利用效率的最大化。4、存

10、儲(chǔ)采用預(yù)配置方式，使用中無需考慮Disk Group、Data Pool等底層架構(gòu)，而把可用資源集中放在一個(gè)Storage Resource Group中，極大地簡(jiǎn)化了運(yùn)維人員的日常運(yùn)維操作。根據(jù)應(yīng)用系統(tǒng)特點(diǎn)，在創(chuàng)建應(yīng)用相關(guān)的Storage Group（SG）時(shí)，可以指定負(fù)載類型（Work Load Type）及服務(wù)等級(jí)Service Level（SL）。常見的負(fù)載類型包括OLTP（小塊IO負(fù)載）、OLTP with Replication（具有本地或遠(yuǎn)程復(fù)制的小塊IO負(fù)載）、DSS（大塊IO負(fù)載）、DSS with Replication（具有本地或遠(yuǎn)程復(fù)制的大塊IO負(fù)載）。以上技術(shù)特性在我

11、們的后續(xù)實(shí)踐中也逐步體現(xiàn)了其應(yīng)用價(jià)值。全閃在銀行新數(shù)據(jù)中心的實(shí)踐應(yīng)用1、數(shù)據(jù)中心基礎(chǔ)環(huán)境準(zhǔn)備由于我行采用全新的數(shù)據(jù)中心，在數(shù)據(jù)中心具備施工條件時(shí)，先期完成了新設(shè)備的到貨安裝工作。此次采購(gòu)的全閃陣列采用標(biāo)準(zhǔn)的600mm機(jī)柜，跟二代產(chǎn)品800mm機(jī)柜相比，明顯減少了機(jī)房占用空間。值得一提的是，雖然占用空間減少，但由于是高密度磁盤陣列，兼顧后期擴(kuò)容等實(shí)際需求，務(wù)必確保地板具備穩(wěn)定牢固的支撐能力，如有必要，可采用一定厚度的鋼板做地基支撐確保設(shè)備運(yùn)行條件可靠。同時(shí)，還要考慮機(jī)房冷氣換風(fēng)通道開啟，為設(shè)備在適宜的環(huán)境中平穩(wěn)運(yùn)行創(chuàng)造條件。在電力輸入方面，全閃同二代產(chǎn)品沒有差別，均為兩路380V、32A電力要求

12、，但耗電量明顯下降了。2、數(shù)據(jù)SAN網(wǎng)環(huán)境準(zhǔn)備新數(shù)據(jù)中心重要系統(tǒng)通過SAN網(wǎng)環(huán)境實(shí)現(xiàn)對(duì)存儲(chǔ)的訪問需求。在存儲(chǔ)前端口的劃分上，完全兼顧操作系統(tǒng)版本、用途、冗余性、災(zāi)備等因素，結(jié)合廠商的建議，對(duì)各前端口的用途進(jìn)行明確，并在SAN網(wǎng)絡(luò)中完成存儲(chǔ)前端口同光纖交換機(jī)的光纖部署。同時(shí)，在服務(wù)器層面對(duì)分區(qū)資源進(jìn)行明確后，針對(duì)光纖卡的分配情況，完成服務(wù)器HBA卡端口至光纖交換機(jī)的光纖部署工作。在系統(tǒng)建設(shè)工作中，要保證底層環(huán)境的健壯性，有必要對(duì)HBA卡端口和存儲(chǔ)前端口在光纖交換機(jī)的注冊(cè)狀態(tài)做細(xì)致檢查，如發(fā)現(xiàn)異常，要及時(shí)找到原因，對(duì)故障硬件進(jìn)行更換。3、災(zāi)備SAN網(wǎng)環(huán)境準(zhǔn)備與此同時(shí)，對(duì)于災(zāi)備建設(shè)也應(yīng)同步進(jìn)行，使兩

13、地三中心的三臺(tái)存儲(chǔ)具備數(shù)據(jù)復(fù)制條件。具體在實(shí)施上，同城采用城域網(wǎng)環(huán)境下DWDM設(shè)備實(shí)現(xiàn)數(shù)據(jù)全同步，底層采用IBM F96交換機(jī)實(shí)現(xiàn)生產(chǎn)存儲(chǔ)與同城950F存儲(chǔ)的zone打通。同城災(zāi)備中心與異地災(zāi)備中心采用廣域網(wǎng)異步復(fù)制方式，通過租用某運(yùn)營(yíng)商SDH線路實(shí)現(xiàn)峰值622Mbps網(wǎng)絡(luò)帶寬的數(shù)據(jù)傳輸量，底層則采用EMC MP7800交換機(jī)實(shí)現(xiàn)同城災(zāi)備950F存儲(chǔ)與異地災(zāi)備存儲(chǔ)的zone打通。同樣，要對(duì)SAN網(wǎng)的連通健康程度做認(rèn)真的檢查，確保災(zāi)備數(shù)據(jù)復(fù)制環(huán)境可靠。為了保證災(zāi)備環(huán)境同生產(chǎn)環(huán)境的一致性，由于復(fù)制模式采用SRDF級(jí)聯(lián)模式，在“中間變兩頭不變”的情形下，同城災(zāi)備中心重要系統(tǒng)LUN規(guī)格同生產(chǎn)中心及異地

14、災(zāi)備中心保持一致，這樣在盡可能減少對(duì)我行存儲(chǔ)環(huán)境變更的情況下，也滿足了三中心存儲(chǔ)數(shù)據(jù)復(fù)制要求，為后期新同城災(zāi)備中心切換投入使用奠定了基礎(chǔ)。4、LUN空間劃分在服務(wù)器與存儲(chǔ)前端口的zone打通之后，需要在存儲(chǔ)上劃分空間給重要系統(tǒng)完成映射工作。同二代產(chǎn)品運(yùn)維一樣，存儲(chǔ)空間劃分主要包括：基于服務(wù)器光纖卡WWN號(hào)創(chuàng)建IG、根據(jù)規(guī)劃存儲(chǔ)前端口創(chuàng)建PG、結(jié)合容量需求創(chuàng)建SG、將以上三者關(guān)聯(lián)創(chuàng)建View。傳統(tǒng)二代產(chǎn)品在創(chuàng)建精簡(jiǎn)設(shè)備時(shí)，需要將此設(shè)備綁定至某個(gè)Thin Pool進(jìn)行使用，而三代產(chǎn)品可以直接指定空間大小創(chuàng)建精簡(jiǎn)設(shè)備，并直接加入SG即可完成映射過程。與二代產(chǎn)品不同的是，三代產(chǎn)品在ThinPool的基

15、礎(chǔ)上，新增了SRP（Storage Resource Pool）的概念。對(duì)于三代產(chǎn)品混合陣列而言，其為普通盤Pool及SSD Pool進(jìn)行整合的結(jié)果。而對(duì)于三代產(chǎn)品全閃陣列而言，由于磁盤均為單一的閃盤，SRP則由SSD Pool構(gòu)成。5、數(shù)據(jù)中心切換在新同城災(zāi)備中心各項(xiàng)工作完成以后，數(shù)據(jù)中心的切換啟用便提上了日程。前期我們按照規(guī)劃要求，在新同城災(zāi)備中心VMAX950F上完成了重要系統(tǒng)View的創(chuàng)建工作，并使同城之間的數(shù)據(jù)復(fù)制具備條件。由于同城之間采用同步復(fù)制，為了最大程度減少數(shù)據(jù)復(fù)制對(duì)生產(chǎn)應(yīng)用帶來的潛在影響，復(fù)制開始時(shí)我們選擇了SRDF/AC（Adaptive Copy）模式，通過開啟磁盤拷貝

16、模式進(jìn)行數(shù)據(jù)追數(shù)操作，并于業(yè)務(wù)低峰時(shí)段在數(shù)據(jù)差量小于某個(gè)閾值時(shí)，將SRDF/AC模式修改為同步模式。相對(duì)而言，異步復(fù)制對(duì)生產(chǎn)應(yīng)用的影響較小，可以選擇在任意時(shí)間段開啟SRDF/AC模式進(jìn)行追數(shù)，當(dāng)數(shù)據(jù)差異量減小至某個(gè)閾值時(shí)，即可將SRDF/AC模式修改為異步模式并保證一致性。全閃架構(gòu)在銀行的運(yùn)維案例我行計(jì)劃在三中心采用VMAX950F替換原有VMAX20K，并按照分步替換策略，先對(duì)同城災(zāi)備中心進(jìn)行替換，待運(yùn)行一段時(shí)間后再完成生產(chǎn)中心和異地災(zāi)備中心的替換工作。新產(chǎn)品接入我行存儲(chǔ)平臺(tái)，需要運(yùn)維人員接觸一段時(shí)間才能對(duì)產(chǎn)品特性有更直觀的認(rèn)識(shí)，才能逐步積累更為實(shí)用的運(yùn)維經(jīng)驗(yàn)，所以選擇分步替換將有利于為生產(chǎn)

17、及異地端的替換提供更合理的最佳實(shí)踐。在采用VMAX950F全閃作為R21角色時(shí)，我們?cè)谶\(yùn)維中出現(xiàn)過連續(xù)幾個(gè)工作日（2月26至28日）異步復(fù)制鏈路異常斷開的情況。3月1日我們采用了在復(fù)制鏈路兩端R21和R2打開DSE功能觀察批處理的辦法。3月2日凌晨，R2端出現(xiàn)了由WRITING PENDING（WP） LIMIT導(dǎo)致的LINK DROP。經(jīng)過對(duì)比分析，發(fā)現(xiàn)在兩端打開DSE POOL發(fā)揮磁盤緩沖的作用時(shí)，由于R21是全閃陣列，DSE性能可以得到更好地發(fā)揮，因此先到達(dá)WP LIMIT限制的是R2。在帶寬很緊張的情況下，我們使用DSE作為緩沖策略，但DSE只能幫助度過偶發(fā)及短時(shí)間的IO高峰。因此當(dāng)R

18、21端傳輸?shù)腃YCLESIZE非常大，超過了R2端的WP LIMIT的75%時(shí)，將會(huì)導(dǎo)致SRDF 復(fù)制鏈路的中斷。圖5.1 3月1日同步復(fù)制數(shù)據(jù)傳輸情況圖5.2 3月1日異步復(fù)制數(shù)據(jù)傳輸情況通過觀察圖5.1和5.2(注：時(shí)間軸均為UTC)性能數(shù)據(jù)，我們發(fā)現(xiàn)，從R1端接收到的IO吞吐量最高可達(dá)600MB/s，而從R21傳至R2的數(shù)據(jù)量最高可達(dá)330MB/S,這可能導(dǎo)致R21端的ACTIVE CYCLE SIZE變得很大，導(dǎo)致R2無法承受。如圖5.3(注：時(shí)間軸為UTC)所示，由于啟用DSE，起初復(fù)制鏈路并未中斷，但隨著時(shí)間的推移數(shù)據(jù)量越來越大，R21端傳輸?shù)腃YCLE SIZE非常大，超過了R2

19、端的WP LIMIT的75%，此時(shí)啟用DSE也無濟(jì)于事，復(fù)制鏈路還是中斷了。圖5.3 3月1日Active Cycle Size變化情況3月6日將SRDF/A啟動(dòng)后數(shù)日均沒有中斷發(fā)生，我們將R2的STP采樣間隔調(diào)整為2分鐘收集數(shù)據(jù)進(jìn)一步分析。通過對(duì)圖5.4的性能數(shù)據(jù)進(jìn)行觀察發(fā)現(xiàn)，在異步復(fù)制并未中斷時(shí)，DSE的啟用增加了對(duì)RDF CPU資源的消耗，在復(fù)制鏈路未中斷的情況下，R2的RDF CPU使用率已經(jīng)達(dá)到了90%。然而CPU使用率過高將帶來DSE PAGE IN/OUT性能下降，在IO高峰來臨時(shí)無法充分發(fā)揮效能。圖5.4 啟用DSE下RDF CPU使用情況針對(duì)以上日常運(yùn)維中的現(xiàn)狀，為了有效改進(jìn)異步復(fù)制鏈路中斷的問題，一方面需要合理增加RDF異步復(fù)制傳輸帶寬，從根本上解決問題；另一方面，可在兩端陣列增加RDF CPU數(shù)量，配置更多的RDF端口，充分發(fā)揮DSE的效能，降低RDF CPU在跑批高峰期