城商行GPFS遷移至NAS存儲(chǔ)實(shí)踐經(jīng)驗(yàn)分享

1背景我行多套業(yè)務(wù)系統(tǒng)（如柜面業(yè)務(wù)、支付業(yè)務(wù)、前置服務(wù)等）應(yīng)用服務(wù)器集群存在應(yīng)用節(jié)點(diǎn)之間共享目錄的文件訪問(wèn)需求，在系統(tǒng)的前期建設(shè)中因當(dāng)時(shí)IBM的GPFS技術(shù)相對(duì)成熟而且同業(yè)廣泛的實(shí)踐均反饋良好，同時(shí)GPFS在AIX系統(tǒng)上有較為良好的適配性，因此我行對(duì)支付業(yè)務(wù)采用了基于AIX高可用架構(gòu)搭建GPFS并行文件系統(tǒng)、對(duì)柜面業(yè)務(wù)采用基于虛擬化技術(shù)搭建GPFS并行文件系統(tǒng)來(lái)實(shí)現(xiàn)應(yīng)用集群共享文件需求。GPFS在行內(nèi)部署的多年來(lái)有效支撐了應(yīng)用運(yùn)行與相關(guān)業(yè)務(wù)發(fā)展，但是由于我行在實(shí)施LINUX替代工作、虛擬化環(huán)境部署GPFS存在特殊性，以及GPFS維護(hù)管理相對(duì)的復(fù)雜性。因此在行內(nèi)藉由數(shù)據(jù)中心搬遷工作投產(chǎn)了華為OceanStorDorado18000系列SAN/NAS一體化雙活的高端存儲(chǔ)，同時(shí)啟動(dòng)了NAS專業(yè)存儲(chǔ)設(shè)備替換GPFS的工作。本文將圍繞GPFS在行內(nèi)應(yīng)用的實(shí)際情況和華為NAS存儲(chǔ)技術(shù)的先進(jìn)性展開討論中小規(guī)模的城商銀行在文件共享場(chǎng)景下從GPFS遷移企業(yè)級(jí)NAS實(shí)踐路徑和思考。

2GPFS的行內(nèi)前期應(yīng)用現(xiàn)狀（以我行柜面業(yè)務(wù)為例）我行前期已大規(guī)模應(yīng)用服務(wù)器虛擬化技術(shù)為業(yè)務(wù)系統(tǒng)提供計(jì)算資源，柜面業(yè)務(wù)正式部署于虛擬化平臺(tái)之上，同時(shí)又部署了GPFS集群滿足文件共享需求。在上圖所示的LINUX系統(tǒng)以及虛擬化環(huán)境下部署GPFS集群需要達(dá)成以下條件：1.首先要在虛擬機(jī)之間共享虛擬磁盤。集中式存儲(chǔ)通過(guò)SAN網(wǎng)絡(luò)向虛擬化集群映射NSD磁盤；2.虛擬機(jī)要添加額外的SCSI控制器管理共享的虛擬磁盤，在第一個(gè)虛擬機(jī)上首次添加并創(chuàng)建共享虛擬磁盤，在其他應(yīng)用虛擬機(jī)里使用“添加已有磁盤”功能增加同ID的共享磁盤掛載；3.因柜面應(yīng)用節(jié)點(diǎn)是基于同城雙活方式部署，在生產(chǎn)中心與同城中心各部署10個(gè)節(jié)點(diǎn)，為保障GPFS并發(fā)文件系統(tǒng)的數(shù)據(jù)一致性以及高可用，要設(shè)置MASTER節(jié)點(diǎn)，選取主中心的3個(gè)應(yīng)用節(jié)點(diǎn)作為MASTER，以保證在2個(gè)及以下Master節(jié)點(diǎn)故障的情況下，存活的Master節(jié)點(diǎn)能繼續(xù)控制GPFS集群提供服務(wù)。使用虛擬化環(huán)境部署GPFS集群在一定程度上簡(jiǎn)化了系統(tǒng)的組網(wǎng)，并且更高效的利用了物理設(shè)備資源，但是也正是因?yàn)樘摂M化的技術(shù)特性同時(shí)帶來(lái)了運(yùn)維工作存在一定復(fù)雜性與技術(shù)痛點(diǎn)，結(jié)合GPFS的技術(shù)特性，總結(jié)以下6點(diǎn)：1.在虛擬化平臺(tái)上使用共享虛擬磁盤的虛擬機(jī)不能像普通虛擬機(jī)一樣執(zhí)行在線遷移，導(dǎo)致如果出現(xiàn)在虛擬化平臺(tái)維護(hù)時(shí)需要關(guān)閉應(yīng)用節(jié)點(diǎn)操作系統(tǒng)而不是通過(guò)在線遷移完成無(wú)停機(jī)的維護(hù)。2.共享虛擬磁盤的虛機(jī)不支持使用快照功能，導(dǎo)致虛擬機(jī)不能執(zhí)行快照、克隆、備份，在需要以上運(yùn)維操作的場(chǎng)景會(huì)對(duì)運(yùn)維工作造成影響。3.GPFS集群的日常維護(hù)對(duì)于相關(guān)技術(shù)有門檻，增加了運(yùn)維工作復(fù)雜度。相較于Linux的ext3、ext4、XFS、NFS等傳統(tǒng)文件系統(tǒng)的運(yùn)維管理技術(shù)門檻較高。4.從行內(nèi)部署了GPFS集群文件系統(tǒng)的應(yīng)用使用場(chǎng)景考慮，柜面業(yè)務(wù)需要對(duì)代發(fā)工資文件、配置參數(shù)文件、部分日志文件實(shí)現(xiàn)共享，這類場(chǎng)景的共享文件經(jīng)生成或上傳后基本不會(huì)被修改，同時(shí)也沒有高并發(fā)的寫入和修改需求。但是GPFS并發(fā)集群文件系統(tǒng)的技術(shù)優(yōu)勢(shì)在于對(duì)大容量文件系統(tǒng)以及大文件的讀寫支持，尤其是對(duì)于大文件高并發(fā)的場(chǎng)景具有較大優(yōu)勢(shì)，但是我行目前的文件共享需求場(chǎng)景不能充分發(fā)揮GPFS的特性優(yōu)勢(shì)。5.由于我行GPFS是隨前期系統(tǒng)新建時(shí)即部署，使用時(shí)間已較長(zhǎng)，該版本已經(jīng)處于EOS狀態(tài)。從后續(xù)軟件穩(wěn)定運(yùn)行以及安全性角度考慮，需要進(jìn)行版本升級(jí)或者產(chǎn)品替代。6.GPFS文件系統(tǒng)對(duì)底層的SAN存儲(chǔ)網(wǎng)絡(luò)以及集中式存儲(chǔ)設(shè)備有著強(qiáng)依賴關(guān)系。GPFS磁盤通過(guò)集中式存儲(chǔ)的遠(yuǎn)程復(fù)制技術(shù)實(shí)現(xiàn)跨中心容災(zāi)，但在我行環(huán)境未使用雙活技術(shù)。各類文件備份通過(guò)外接的第三方帶庫(kù)設(shè)備實(shí)現(xiàn)文件備份。綜上6點(diǎn)痛點(diǎn)與原因，我行計(jì)劃在數(shù)據(jù)中心新建的契機(jī)之上，使用NAS專用存儲(chǔ)設(shè)備替換現(xiàn)有GPFS文件系統(tǒng)。3NAS技術(shù)路線選型目前市場(chǎng)上使用的NAS產(chǎn)品主要分為3類：企業(yè)級(jí)集中式NAS存儲(chǔ)設(shè)備，企業(yè)級(jí)分布式NAS存儲(chǔ)設(shè)備，開源存儲(chǔ)軟件NAS。不同的NAS技術(shù)路線在產(chǎn)品特性、安全性、冗余性、高可用性、容災(zāi)技術(shù)、部署與運(yùn)維成本上具有各自的特點(diǎn)。考慮到我行業(yè)務(wù)需要共享文件系統(tǒng)的業(yè)務(wù)特點(diǎn)，即數(shù)據(jù)規(guī)模較?。ㄖ笖?shù)據(jù)共享規(guī)模一般在TB級(jí)數(shù)據(jù)量），對(duì)性能要求根據(jù)業(yè)務(wù)場(chǎng)景不同而需求不同（如支付清算系統(tǒng)對(duì)共享文件的性能要求較高，而前文所述的柜面系統(tǒng)業(yè)務(wù)場(chǎng)景下對(duì)性能要求不高）、對(duì)數(shù)據(jù)高安全性、冗余性、高可用性的需求高，我行最終確定選擇企業(yè)級(jí)集中式NAS存儲(chǔ)設(shè)備作為行內(nèi)文件共享的解決方案。在企業(yè)級(jí)集中式NAS存儲(chǔ)設(shè)備的技術(shù)選型上選擇了華為企業(yè)級(jí)NAS存儲(chǔ)設(shè)備，從NAS存儲(chǔ)的軟件特性考慮，例如基本的掛載、復(fù)制等傳統(tǒng)功能的技術(shù)差異度并不明顯，主要考察的NAS雙活等高級(jí)特性，其中NAS雙活技術(shù)的特性對(duì)比表格如下：特性HUAWEINetAppHDS名稱

HyperMetroMetroClusterNASCluster+SANGDA(Global-ActiveDevice架構(gòu)融合，站點(diǎn)A和站點(diǎn)B兩個(gè)獨(dú)立的集群融合，站點(diǎn)A和B是同一套集群NAS網(wǎng)關(guān)+SAN，擴(kuò)展的NAS集群和兩個(gè)獨(dú)立的SAN存儲(chǔ)雙活最大節(jié)點(diǎn)數(shù)量：32雙活最大節(jié)點(diǎn)數(shù)量：8雙活最大節(jié)點(diǎn)數(shù)量：2數(shù)據(jù)雙寫到本地和從端內(nèi)存數(shù)據(jù)雙寫到本地和從端內(nèi)存，同時(shí)要雙寫到

本地和從端硬盤，2倍帶寬占用數(shù)據(jù)同步依賴于SAN陣列的雙活故障恢復(fù)故障自動(dòng)切換

主端故障恢復(fù)后自動(dòng)恢復(fù)鏡像關(guān)系；

目前已不需要手工Switchback故障自動(dòng)切換

主端故障恢復(fù)后需要手工修復(fù)數(shù)據(jù)才能恢復(fù)鏡像關(guān)系；

需手工Switchback故障自動(dòng)切換

主端故障恢復(fù)后需要手動(dòng)恢復(fù)鏡像關(guān)系；

需手工Switchback仲裁仲裁服務(wù)器/優(yōu)先站點(diǎn)

支持仲裁服務(wù)器冗余

仲裁服務(wù)器仲裁服務(wù)器網(wǎng)絡(luò)FC\IP\ROCE

將復(fù)制鏈接，配置鏈路和心跳鏈路集

成到單個(gè)物理鏈路中。

集群互聯(lián)和配置同步使用IP網(wǎng)絡(luò)；

NVRAM數(shù)據(jù)鏡像使用FC或IP網(wǎng)絡(luò)

硬盤框數(shù)據(jù)鏡像使用SAS和FC互轉(zhuǎn)的交換機(jī)SAN用FC,NAS用IP4華為企業(yè)級(jí)NAS兩地三中心架構(gòu)我行在兩地三中心部署了三臺(tái)華為OceanStorDorado系列NAS存儲(chǔ)設(shè)備，形成NAS存儲(chǔ)的兩地三中心格局。其中生產(chǎn)主中心部署華為OceanStorDorado系列的基于閃存陣列的企業(yè)級(jí)NAS節(jié)點(diǎn)，在同城兩中心各部署一臺(tái)OceanStorDorado系列企業(yè)級(jí)NAS節(jié)點(diǎn)。生產(chǎn)主中心的閃存存儲(chǔ)與災(zāi)備中心部署雙活架構(gòu)用于承載重要生產(chǎn)業(yè)務(wù)的共享文件系統(tǒng)資源，因其NVME的閃存特性能夠保障生產(chǎn)業(yè)務(wù)的IO性能需求。同時(shí)為保障歷史文件歸檔與備份數(shù)據(jù)安全，在同城中心部署NAS作為生產(chǎn)業(yè)務(wù)數(shù)據(jù)的一體化備份節(jié)點(diǎn)以及歷史數(shù)據(jù)歸檔的存儲(chǔ)使用。華為企業(yè)級(jí)NAS存儲(chǔ)在前期支持NAS二層雙活架構(gòu)，即兩臺(tái)陣列要在同一個(gè)二層網(wǎng)絡(luò)，其主要的弊端是依賴于跨中心的二層網(wǎng)絡(luò)，從網(wǎng)絡(luò)層面看有一定網(wǎng)絡(luò)廣播風(fēng)暴和跨中心訪問(wèn)鏈路不穩(wěn)定導(dǎo)致的生成樹重算問(wèn)題，從存儲(chǔ)容災(zāi)層面看發(fā)生數(shù)據(jù)中心級(jí)災(zāi)難后二層網(wǎng)關(guān)需要切換到災(zāi)備中心后，存儲(chǔ)的網(wǎng)絡(luò)就緒才能繼續(xù)對(duì)外提供服務(wù)。目前華為企業(yè)級(jí)存儲(chǔ)的微碼版本更新至6.1.3PH8版本后已經(jīng)新增支持了跨數(shù)據(jù)中心NAS三層網(wǎng)絡(luò)雙活的容災(zāi)功能，升級(jí)后跨數(shù)據(jù)中心三層網(wǎng)絡(luò)的兩臺(tái)存儲(chǔ)無(wú)法提供相同網(wǎng)段的物理IP，需要配置虛擬VIP給主機(jī)，讓主機(jī)通過(guò)VIP訪問(wèn)NAS業(yè)務(wù)。在存儲(chǔ)內(nèi)部實(shí)現(xiàn)VIP到實(shí)際三層物理IP（BGPLIF）跨網(wǎng)段路由，并將路由關(guān)系通過(guò)BGP協(xié)議上報(bào)給匯聚路由器。交換機(jī)需要配置BGPpeer以接受存儲(chǔ)上報(bào)的BGP路由信息。具體雙活切換的原理是：當(dāng)生產(chǎn)站點(diǎn)可用時(shí)，實(shí)際承載VIP1的BGPLIFA0是在線聯(lián)機(jī)的，災(zāi)備中心對(duì)應(yīng)的BGPLIFB0是STANDBY狀態(tài)。主機(jī)配置一條到VIP1的靜態(tài)路由端口指向其直聯(lián)的交換機(jī)，此時(shí)生產(chǎn)交換機(jī)接收存儲(chǔ)上報(bào)的路由信息，計(jì)算出到VIP1路由，主機(jī)最終通過(guò)VIP1訪問(wèn)到生產(chǎn)存儲(chǔ)NAS；當(dāng)生產(chǎn)站點(diǎn)發(fā)生災(zāi)難不可用或發(fā)生切換時(shí)，同城存儲(chǔ)的BGPLIFB0由STANDBY狀態(tài)轉(zhuǎn)變成在線聯(lián)機(jī)狀態(tài)，VIP1切換漂移到同城災(zāi)備的存儲(chǔ)設(shè)備，同樣同城存儲(chǔ)通過(guò)BGP協(xié)議上報(bào)路由信息，同城交換機(jī)需要重新計(jì)算出到VIP1路由，此時(shí)主機(jī)不需要任何更改，不需要重新掛載文件系統(tǒng)或者重啟操作系統(tǒng)，經(jīng)歷秒級(jí)的中斷（存儲(chǔ)切換的時(shí)間）即可繼續(xù)訪問(wèn)共享文件系統(tǒng)服務(wù)，中斷的時(shí)間在NFS協(xié)議可接受的范圍內(nèi)（沒有超過(guò)重傳等待時(shí)間）。從業(yè)務(wù)角度完全感受不到雙活切換造成的短暫中斷，真正做到了跨數(shù)據(jù)中心三層網(wǎng)絡(luò)NAS雙活。

5GPFS遷移方案將GPFS集群文件系統(tǒng)的存量數(shù)據(jù)遷移至華為企業(yè)NAS存儲(chǔ)設(shè)備的步驟很清晰明了，具體步驟如下：1.對(duì)現(xiàn)有GPFS集群的文件系統(tǒng)數(shù)據(jù)進(jìn)行備份，防止意外情況發(fā)生；2.從華為企業(yè)NAS建立該業(yè)務(wù)系統(tǒng)對(duì)應(yīng)的租戶，分配合適的存儲(chǔ)空間，并新建NAS文件系統(tǒng)映射給業(yè)務(wù)系統(tǒng)虛擬機(jī)；3.在業(yè)務(wù)系統(tǒng)上將NAS目錄掛載至臨時(shí)目錄，例如/data_migration_temp。4.根據(jù)業(yè)務(wù)系統(tǒng)的運(yùn)行情況，可以考慮先將部分存量靜態(tài)文件（即不會(huì)被修改和刪除的文件目錄與文件）通過(guò)操作系統(tǒng)的CP命令或者RSYNC命令復(fù)制到臨時(shí)目錄下，也可以使用華為提供的數(shù)據(jù)遷移工具并發(fā)遷移存量數(shù)據(jù)。5.在變更割接窗口，停止應(yīng)用服務(wù)，不再接受新的請(qǐng)求，確保GPFS集群文件系統(tǒng)內(nèi)的相關(guān)數(shù)據(jù)。通過(guò)CP命令全量復(fù)制（文件個(gè)數(shù)少或容量小的情況可選擇）或者RSYNC的增量復(fù)制命令，將差異數(shù)據(jù)復(fù)制到臨時(shí)目錄。6.運(yùn)維人員和開發(fā)人員手動(dòng)做一次檢查工作，確認(rèn)文件系統(tǒng)大小、文件個(gè)數(shù)、文件權(quán)限無(wú)誤后，通過(guò)GPFS集群命令執(zhí)行集群內(nèi)所有節(jié)點(diǎn)的文件掛載點(diǎn)卸載。在所有應(yīng)用系統(tǒng)節(jié)點(diǎn)上將華為企業(yè)NAS的掛載點(diǎn)切換到原GPFS的生產(chǎn)目錄。7.重新啟動(dòng)應(yīng)用，檢查文件系統(tǒng)完整可用，應(yīng)用服務(wù)正常，相關(guān)業(yè)務(wù)或數(shù)據(jù)查詢正常。8.檢查華為企業(yè)NAS上配置的文件系統(tǒng)一體化備份策略執(zhí)行執(zhí)行，文件系統(tǒng)受到保護(hù)。9.業(yè)務(wù)穩(wěn)定運(yùn)行一個(gè)月后，確認(rèn)華為企業(yè)NAS的運(yùn)行可靠穩(wěn)定，可以開始對(duì)原GPFS集群進(jìn)行資源回收，包括停止GPFS服務(wù)、卸載相關(guān)軟件包、回收磁盤資源。

6總結(jié)本文介紹了我行在文件共