超融合一體化平臺(tái)在農(nóng)商銀行的應(yīng)用實(shí)踐

超融合一體化平臺(tái)在XX農(nóng)商銀行的應(yīng)用實(shí)踐

摘要：XX農(nóng)商銀行于XX年在業(yè)務(wù)網(wǎng)絡(luò)環(huán)境下實(shí)踐了服務(wù)器虛擬化及數(shù)據(jù)級(jí)同城容災(zāi)系

統(tǒng)，全面為XX農(nóng)信核心業(yè)務(wù)系統(tǒng)提供了安全高效的支撐平臺(tái)，提升了業(yè)務(wù)連續(xù)性。隨著近

期企業(yè)私有云領(lǐng)域超融合一體化平臺(tái)技術(shù)的發(fā)展和成熟，在解決傳統(tǒng)虛擬化模式存儲(chǔ)架構(gòu)投

資大、故障集中等問(wèn)題基礎(chǔ)上，支持了橫向節(jié)點(diǎn)無(wú)限擴(kuò)展的升級(jí)技術(shù)。因此，本行在2016

年4月份順利完成超融合一體化平臺(tái)測(cè)試基礎(chǔ)上，5月份順利實(shí)施了辦公環(huán)境下服務(wù)器的超

融合一體化平臺(tái)部署。本文記錄了本平臺(tái)的部署情況，并對(duì)傳統(tǒng)服務(wù)器虛擬化技術(shù)和超融合

一體化技術(shù)進(jìn)行了分析比較。

關(guān)鍵詞：金融科技；超融合；虛擬化；私有云

正文：

XX農(nóng)商銀行于XX年在業(yè)務(wù)網(wǎng)絡(luò)環(huán)境下實(shí)踐了服務(wù)器虛擬化及

數(shù)據(jù)級(jí)容災(zāi)系統(tǒng)，采用傳統(tǒng)虛擬化模式?？紤]到傳統(tǒng)虛擬化模式需要

采購(gòu)價(jià)格高昂的EMC5500B盤(pán)陣列，15KSAS硬盤(pán)，整個(gè)虛擬化解

決方案的成本較高。而且，如果不同步實(shí)施數(shù)據(jù)級(jí)容災(zāi)系統(tǒng)，虛擬化

項(xiàng)目就會(huì)存在一個(gè)存儲(chǔ)設(shè)備的單點(diǎn)故障問(wèn)題。還有，隨著業(yè)務(wù)的發(fā)展，

數(shù)據(jù)量的增大，系統(tǒng)的擴(kuò)展成本也較大，需要購(gòu)置同檔次EMC5500

磁盤(pán)陣列柜。因此，本行科技部門(mén)在綜合權(quán)衡原傳統(tǒng)虛擬化技術(shù)和超

融合一體化技術(shù)基礎(chǔ)上，通過(guò)4月份的反復(fù)測(cè)試，最終決定在本行辦

公環(huán)境下選用超融合一體化技術(shù)解決方案，并于5月份完成了該平臺(tái)

的上線部署實(shí)施。

一、超融合一體化平臺(tái)解決方案介紹

超融合計(jì)算存儲(chǔ)平臺(tái)是一種融合型基礎(chǔ)設(shè)施解決方案，它將服務(wù)

器和存儲(chǔ)層整合于單一的集成設(shè)備。這種數(shù)據(jù)中心構(gòu)件模塊可一次添

加一個(gè)節(jié)點(diǎn)，進(jìn)行線性和無(wú)縫的橫向擴(kuò)展。該解決方案采用的分布式

存儲(chǔ)軟件技術(shù)與谷歌、Facebook、亞馬遜等大規(guī)模的云基礎(chǔ)設(shè)施相同,既保證了集中存儲(chǔ)的優(yōu)勢(shì)，又能夠?qū)崿F(xiàn)大規(guī)模的擴(kuò)展。如下圖所示：

二、超融合一體化平臺(tái)方案部署情況

本次方案主要采用VMwar瞅件定義的數(shù)據(jù)中心軟件將服務(wù)器的

計(jì)算資源、內(nèi)存資源以及本地服務(wù)器硬盤(pán)進(jìn)行整合。所有計(jì)算存儲(chǔ)節(jié)

點(diǎn)通過(guò)博科萬(wàn)兆網(wǎng)絡(luò)交換機(jī)，并在超融合一體化環(huán)境中，對(duì)所有的數(shù)據(jù)保存三份完整的數(shù)據(jù)，實(shí)現(xiàn)系統(tǒng)高可用、數(shù)據(jù)不丟失、設(shè)備高整合率。

超融合一體化解決方案主要功能模塊包含：VMwarevSphere虛擬化軟件、VMwarevCenter虛擬化管理軟件、VMwarevSAN^b布式存儲(chǔ)軟件、Veeamg^^化備份軟件、云科私有云管理軟件。計(jì)算及存儲(chǔ)節(jié)點(diǎn)共配置3個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)配置如下：配置2*E5-2640V2的CPU256G內(nèi)存，7*900G的SAS?盤(pán)，4*1TB7200轉(zhuǎn)SATA?盤(pán)；1*FLASH卡：MemblazeP4C750800G

由于VMwarevSphere虛擬化軟件及vCenter虛擬化管理軟件和

傳統(tǒng)的服務(wù)器虛擬化軟件相同，所以本文就不進(jìn)行介紹。下面主要介

紹下VMwarevSANb布式存儲(chǔ)軟件、Veeam^擬化備份軟件、云科私

有云管理軟件。

（一）VMwarevSAN^布式存儲(chǔ)軟件

VMwarevSAN^布式存儲(chǔ)軟件是軟件定義的數(shù)據(jù)中心的基本組件，

可對(duì)存儲(chǔ)資源進(jìn)行抽象化處理，以支持存儲(chǔ)的池化、復(fù)制和按需分發(fā)。

這使存儲(chǔ)層與虛擬化計(jì)算層非常相似：都具有聚合、靈活、高效和彈

性擴(kuò)展的特點(diǎn)。它們的優(yōu)勢(shì)也如出一轍：全面降低了存儲(chǔ)基礎(chǔ)架構(gòu)的

成本和復(fù)雜性。為了確保數(shù)據(jù)的可用性，VSANI用了分布式RAID（將

數(shù)據(jù)的多份副本分布在集群中的不同的計(jì)算存儲(chǔ)節(jié)點(diǎn)上），確保在發(fā)

生個(gè)別磁盤(pán)、個(gè)別主機(jī)或網(wǎng)絡(luò)時(shí)絕不丟數(shù)據(jù)。管理者可透過(guò)圖形管理

界面，設(shè)定允許的故障數(shù)目，來(lái)決定多少個(gè)節(jié)點(diǎn)或磁盤(pán)失效后，VSAN

仍能維持?jǐn)?shù)據(jù)完整。在性能相當(dāng)?shù)那闆r下，大幅降低本行虛擬化系統(tǒng)

的建設(shè)成本——通過(guò)購(gòu)買(mǎi)相對(duì)廉價(jià)的行業(yè)標(biāo)準(zhǔn)計(jì)算硬件來(lái)擴(kuò)大其存

儲(chǔ)計(jì)算資源。利用固態(tài)磁盤(pán)和硬盤(pán)作為虛擬機(jī)的共享存儲(chǔ)，可獲得高

性能、內(nèi)置的恢復(fù)能力和動(dòng)態(tài)可擴(kuò)展性。

（二）Veeam^擬化備份軟件

本次計(jì)算存儲(chǔ)節(jié)點(diǎn)每個(gè)節(jié)點(diǎn)配置了4塊1TB的硬盤(pán)，主要用于

Veeam&份軟件備份白存儲(chǔ)介質(zhì)。Veeam虛擬化備份軟件為超融合一

體化平臺(tái)提供系統(tǒng)及數(shù)據(jù)的備份容災(zāi)，提供對(duì)重要系統(tǒng)近CDP勺數(shù)據(jù)

保護(hù)能力。Veeamtg擬化備份軟件提供了快速、靈活且可靠地恢復(fù)虛

擬化應(yīng)用程序和數(shù)據(jù)的功能，使超融合一體化設(shè)備具備本地?cái)?shù)據(jù)保護(hù)

能力。通過(guò)Veeam管理中心程序，可以實(shí)時(shí)看到備份系統(tǒng)的告警信息,

方便管理員實(shí)時(shí)查看系統(tǒng)健康狀態(tài)。

（三）云科私有云管理軟件

私有云管理軟件為超融合一體化系統(tǒng)提供服務(wù)管理，服務(wù)自動(dòng)化，

資源和服務(wù)保證等功能，私有云管理軟件支持多種異構(gòu)x86物理機(jī)，

交換機(jī)和存儲(chǔ)的接入和監(jiān)控，并且支持以模板方式提供物理設(shè)備的批

量接入。云管理軟件以虛擬機(jī)的形式部署。主要包含一下特點(diǎn)：全面

兼容VmwarevSphere及vSAN^F境，支持多張Vmware虛擬化云平臺(tái)

的接入和管理；支持資源的統(tǒng)一分配?？筛鶕?jù)不同組織對(duì)計(jì)算，存儲(chǔ)、

絡(luò)規(guī)模、及權(quán)限控制策略，上次不同的虛擬資源池并相互隔離；服務(wù)

自動(dòng)化部署及資源統(tǒng)一維護(hù)和監(jiān)控。

三、超融合一體化平臺(tái)方案優(yōu)勢(shì)

（一）聚合存儲(chǔ)與計(jì)算

分布式存儲(chǔ)軟件不受基礎(chǔ)架構(gòu)限制，可與混合服務(wù)器品牌、操作

系統(tǒng)（物理和虛擬）以及存儲(chǔ)介質(zhì)類型（HDD、SSD和PCIe閃存卡）

同時(shí)使用。

超融合基礎(chǔ)架構(gòu)將存儲(chǔ)和計(jì)算資源聚合至單層體系結(jié)構(gòu)中，以聚

合容量和性能并簡(jiǎn)化管理。

（二）線性可擴(kuò)展

超融合基礎(chǔ)架構(gòu)經(jīng)設(shè)計(jì)可大規(guī)模擴(kuò)展，可從三節(jié)點(diǎn)擴(kuò)展至數(shù)千節(jié)

點(diǎn)。與大多數(shù)傳統(tǒng)計(jì)算和存儲(chǔ)系統(tǒng)不同，隨著節(jié)點(diǎn)數(shù)量的增長(zhǎng)，吞

吐量和IOPS也會(huì)同時(shí)增長(zhǎng)。隨著部署的增長(zhǎng)，性能也呈線性擴(kuò)展。

一旦有相關(guān)需求，即可通過(guò)模塊化方式添加更多存儲(chǔ)和計(jì)算資源。由

于存儲(chǔ)和計(jì)算資源同步增長(zhǎng)，它們之間可以保持平衡。于是，計(jì)算和

存儲(chǔ)的增長(zhǎng)總是與應(yīng)用程序需求自動(dòng)保持一致。

（三）具有彈性的存儲(chǔ)

使用超融合基礎(chǔ)架構(gòu)，一旦有相關(guān)需求，即可增加或減少容量和

計(jì)算。系統(tǒng)會(huì)自動(dòng)“動(dòng)態(tài)”重新平衡數(shù)據(jù)，且不會(huì)造成宕機(jī)。添加

和刪除可以較小增量或較大增量進(jìn)行。無(wú)需因互操作性限制而進(jìn)行容

量規(guī)劃或復(fù)雜的重新配置，因而可降低復(fù)雜性和成本。

（四）數(shù)據(jù)保護(hù)和恢復(fù)能力

使用超融合基礎(chǔ)架構(gòu)，不存在單點(diǎn)故障。超融合基礎(chǔ)架構(gòu)通過(guò)跨

多個(gè)存儲(chǔ)設(shè)備和服務(wù)器對(duì)隨機(jī)切片和分布的“數(shù)據(jù)區(qū)塊”進(jìn)行雙拷

貝網(wǎng)狀鏡像提供數(shù)據(jù)保護(hù)和恢復(fù)能力。如果發(fā)生服務(wù)器宕機(jī)或存儲(chǔ)

宕機(jī)，底層會(huì)自動(dòng)重建故障數(shù)據(jù)塊并重新平衡數(shù)據(jù)以實(shí)現(xiàn)群集的自我

修復(fù)。存儲(chǔ)宕機(jī)和服務(wù)器宕機(jī)將可被容忍，并將被自動(dòng)處理，而無(wú)需

中斷系統(tǒng)的總體運(yùn)行。IT管理員可根據(jù)系統(tǒng)性能目標(biāo)和應(yīng)用程序優(yōu)

先級(jí)監(jiān)視和限制數(shù)據(jù)重建。

（五）磁盤(pán)IO加速

超融合一體化設(shè)備提供智能緩存功能，該可以利用服務(wù)器的內(nèi)存

或者服務(wù)器本地的閃存設(shè)備作為IO緩存層，來(lái)對(duì)底層的低速存儲(chǔ)介

質(zhì)進(jìn)行IO加速。通過(guò)采用該功能，只需配置少量的閃存設(shè)備或者分

配部分服務(wù)器的內(nèi)存，即可縮短數(shù)據(jù)存儲(chǔ)介質(zhì)的延遲并提高吞吐量，

從而大幅提升應(yīng)用程序的性能。

（六）簡(jiǎn)單的管理和監(jiān)視

借助VirtualSAN，可在vSphereWebClient這個(gè)緊密集成的單一界面輕松管理存儲(chǔ)以及計(jì)算和網(wǎng)絡(luò)連接。

四、存在問(wèn)題和建議

（一）存檔文件備份問(wèn)題

目前本行超融合一體化平臺(tái)每個(gè)應(yīng)用系統(tǒng)虛擬機(jī)的實(shí)時(shí)運(yùn)行文件

存放三份，分別放在三個(gè)節(jié)點(diǎn)服務(wù)器7*900G的SAS硬盤(pán)存儲(chǔ)中。每

個(gè)應(yīng)用歸檔文件備份存放在4*1TB7200轉(zhuǎn)SATAM盤(pán)存儲(chǔ)中，但因平臺(tái)更多考慮數(shù)據(jù)的安全性，因此目前三個(gè)節(jié)點(diǎn)服務(wù)器4*1TB7200

轉(zhuǎn)SATA硬盤(pán)存儲(chǔ)只能分成三組，分別使用，而不能作為一個(gè)整體集中共享使用。

（二）產(chǎn)品國(guó)產(chǎn)化問(wèn)題

本行超融合一體化平臺(tái)在國(guó)產(chǎn)化自主可控技術(shù)產(chǎn)品使用上，服務(wù)

器、萬(wàn)兆光纖交換機(jī)等硬件使用了國(guó)產(chǎn)化的HP服務(wù)器和博科交換機(jī)。

而在虛擬化軟件選擇時(shí)，更多考慮前年業(yè)務(wù)環(huán)境虛擬化改造時(shí)采用

Vmware虛擬化軟件產(chǎn)品，而且該軟件這幾年使用較為穩(wěn)定性和后續(xù)

技術(shù)支持維護(hù)力度較大，因此沒(méi)有考慮像華為FusionSphere等國(guó)產(chǎn)化軟件。

五、結(jié)語(yǔ)

鑒于目前本行辦公網(wǎng)環(huán)境服務(wù)器數(shù)量較大，購(gòu)買(mǎi)時(shí)間不一，參數(shù)

配置參差不齊、型號(hào)紊亂，系統(tǒng)和數(shù)據(jù)雖然采取了適當(dāng)?shù)谋镜赜脖P(pán)冗

余等安全措施，但50%的服務(wù)器其使用年限已經(jīng)超過(guò)省聯(lián)社規(guī)定淘汰

年限（5年），存在很大信息安全缺陷，可靠性較低，數(shù)據(jù)風(fēng)險(xiǎn)較大。

為保障系統(tǒng)穩(wěn)定