某銀行核心業(yè)務雙活存儲架構(gòu)升級建設實踐分享

一、項目背景某銀行在2014年建設數(shù)據(jù)中心時采購了2套存儲設備，當時容量規(guī)劃滿足是3至4年的需求，可用容量為45T，預計存放300臺虛擬機的數(shù)據(jù)，這些虛擬機運行著除核心系統(tǒng)以外的所有關鍵業(yè)務。由于這兩套存儲設備已經(jīng)上線運行了五年多時間，存儲設備的存儲空間使用率都接近80%安全值，因此我行啟動雙活存儲設備升級替換采購項目，采購兩套新存儲設備替換現(xiàn)網(wǎng)兩套存儲,并將核心業(yè)務的業(yè)務虛擬機和文件系統(tǒng)遷移至新采購的兩套上運行。通過新老存儲的替換，滿足我行未來數(shù)據(jù)增長和業(yè)務發(fā)展需求。二、存儲架構(gòu)技術路線選型和功能測試（一）技術路線選擇我行在2014年通過兩套存儲設備構(gòu)建的銀行數(shù)據(jù)中心同城雙活的高等級災備體系架構(gòu)，對于重要信息系統(tǒng)的安全穩(wěn)定運行起到了關鍵作用。該套雙活存儲的災備架構(gòu)經(jīng)受了各種考驗，包括單臺光交機故障、裸光纖光衰異常等情況下也沒有影響生產(chǎn)主中心的系統(tǒng)運行。雙活存儲架構(gòu)降低了日常運維成本，各系統(tǒng)只需要維護一套生產(chǎn)環(huán)境，避免了人為運維災備失效時導致無法切換的問題。因此，我行通過災備技術的跟蹤和對比，計劃未來繼續(xù)在數(shù)據(jù)中心采用雙活存儲的解決方案來構(gòu)建開放平臺的數(shù)據(jù)中心業(yè)務連續(xù)性架構(gòu)體系。（二）存儲功能測試（1）調(diào)研存儲廠商我行在調(diào)研主流存儲廠商時，重點關注同城雙活案例數(shù)量、是否支持對稱雙活、是否支持NAS、產(chǎn)品關鍵功能和廠商報價等多個方面，選擇了存儲業(yè)界主流廠商華為、EMC、HDS、HP等進行調(diào)研和交流，并開展嚴格的POC測試。（2）設計測試案例和場景我行根據(jù)近幾年雙活存儲的實際運維經(jīng)驗以及雙活存儲的設計原理制定了全面的測試用例，常見的用例有：主機層、存儲層少量鏈路中斷，一臺存儲的單個引擎故障，主備中心的一條復制鏈路中斷等；極端情況下的用例有：主備中心任一臺存儲完全故障，主備中心的所有復制鏈路中斷，主機出現(xiàn)APD（所有路徑丟失）故障，主機出現(xiàn)PDL（連接存儲路徑永久丟失）故障，以及存儲和仲裁同時故障等這些日常運維中不常見但有可能出現(xiàn)的場景。對所有故障測試場景都是采用直接斷電的形式進行，最大程度的模擬突然停電等極端情況。測試包含硬件冗余性測試和性能測試。硬件冗余性和性能測試又分別包括單存儲和雙活存儲的測試。測試內(nèi)容如下：編號測試內(nèi)容1訪問CIFS共享2訪問NFS共享3NAS雙活的創(chuàng)建和刪除4NAS雙活主從切換5本地LUN和雙活LUN的性能測試6雙活LUN擴容7雙活優(yōu)先站點存儲故障8雙活非優(yōu)先站點存儲故障9站點間FC拉遠傳輸鏈路單鏈路故障10站點間FC拉遠傳輸鏈路全部故障11仲裁服務器故障12仲裁服務器和優(yōu)先站點存儲同時故障13仲裁服務器和非優(yōu)先站點存儲同時故障14非優(yōu)先站點存儲和仲裁服務器同時故障15優(yōu)先站點存儲和仲裁服務器同時故障16非優(yōu)先站點存儲業(yè)務端口故障17優(yōu)先站點存儲業(yè)務端口故障18非優(yōu)先站點存儲到仲裁服務器鏈路故障19優(yōu)先站點存儲到仲裁服務器鏈路故障20仲裁服務器鏈路全部故障21雙活存儲復制鏈路單鏈路故障22雙活存儲復制鏈路全部故障23虛擬機APD24單存儲NMP和Ultrapath多路徑性能對比25雙活存儲NMP和Ultrapath多路徑性能對比26日志服務器系統(tǒng)性能測試27數(shù)據(jù)倉庫業(yè)務系統(tǒng)性能測試28重刪壓縮性能測試29控制器故障測試30電源模塊故障測試31SAS級聯(lián)線纜故障測試32硬盤框級聯(lián)模塊故障測試33接口模塊故障測試34硬盤故障測試（3）POC測試結(jié)論通過POC測試，當前主流存儲廠商基本都通過了上述功能和用例場景的測試，不同廠商的產(chǎn)品，在測試中表現(xiàn)的效果也有一些差異。（三）招標采購通過公共招標，最終華為公司的OceanStor18000系列高端存儲選型中標了我行的存儲升級擴容項目。以下章節(jié)將介紹我行使用兩套華為存儲OceanStor18000系列高端存儲設備，替換老的存儲設備，創(chuàng)建新的雙活集群，建立雙活容災機制，保障我行的業(yè)務連續(xù)性。三、存儲架構(gòu)方案設計（一）雙活存儲組網(wǎng)架構(gòu)下圖是我行使用兩套華為高端存儲設備在兩個數(shù)據(jù)中心之間構(gòu)建雙活存儲架構(gòu)圖：1、四臺光纖交換機兩兩級聯(lián)，并承載主機到存儲的通信（塊業(yè)務）。2、兩套華為Oceanstor18000系列高端存儲之間通過光交交換機互聯(lián)，承載心跳通信和數(shù)據(jù)同步。3、兩臺10GE以太網(wǎng)交換機和與現(xiàn)網(wǎng)VMware仲裁業(yè)務網(wǎng)絡打通，組成仲裁網(wǎng)絡，當兩端存儲系統(tǒng)間鏈路故障或設備故障時，由仲裁服務器根據(jù)仲裁結(jié)果決定由哪一端存儲繼續(xù)向主機提供業(yè)務。仲裁服務器配置兩個網(wǎng)口，分別處于不同的網(wǎng)段，一個網(wǎng)口與兩套華為OceanStor18000系列高端存儲的L1M0P0/L1M1P0/R1M0P0/R1M1P0網(wǎng)口通信，另一個網(wǎng)口與兩套華為OceanStor18000系列高端存儲的L1M0P0/L1M1P0/R1M0P0/R1M1P0網(wǎng)口通信。（二）存儲劃分規(guī)劃生產(chǎn)數(shù)據(jù)中心雙活存儲華為OceanStor18800FV5高端存儲初步規(guī)劃SAN業(yè)務使用約253T（RAID6）空間。同城數(shù)據(jù)中心另一臺雙活存儲華為OceanStor18800FV5高端存儲初步規(guī)劃SAN業(yè)務使用約253T（RAID6）空間，分別創(chuàng)建用于生產(chǎn)數(shù)據(jù)中心存儲進行雙活容災。四、實施經(jīng)驗及難點分享（一）制訂應用系統(tǒng)遷移計劃為了順利完成新存儲設備的升級替換，做好應用系統(tǒng)的遷移計劃是非常重要的。我行制訂了應用系統(tǒng)規(guī)則：先邊緣業(yè)務到核心業(yè)務、先簡單到復雜、宿主機資源合理利用、目標存儲資源合理利用等原則。在此原則基礎上列出了業(yè)務遷移詳細計劃，主要包括兩個階段進行，第一階段是遷移管理類業(yè)務，第二階段是遷移在線交易類業(yè)務。我們制定了首套搬遷業(yè)務為日志服務器系統(tǒng)，二套搬遷數(shù)據(jù)倉庫業(yè)務系統(tǒng)。在完成了首套和二套業(yè)務系統(tǒng)的搬遷，驗證了業(yè)務搬遷的可行性后，按照虛擬機的業(yè)務級別進行搬遷。以我行應用系統(tǒng)分類為基準，依次搬遷四類業(yè)務、三類業(yè)務、二類業(yè)務、一類業(yè)務。每次搬遷結(jié)束預留一周的觀察時間，確認業(yè)務運行穩(wěn)定后再進行下一次的業(yè)務搬遷。（二）實施數(shù)據(jù)遷移(1)SAN存儲數(shù)據(jù)遷移SAN存儲的遷移主要涉及VMware虛擬機的遷移。對于VMware虛擬機的遷移，使用VMware自身的StoragevMotion功能，StoragevMotion遷移對上層虛擬機和業(yè)務沒有影響，能夠平滑遷移，而且使用VMware多路徑，避免了主機停機。遷移之前在華為OceanStor18800FV5系列高端存儲上按照之前VMware各集群Datastor的大小劃分目標Lun大小，掛載到VMware主機下，開始進行vMotion遷移。(2)NAS存儲數(shù)據(jù)遷移NAS遷移借助于MigrationDirectorforNAS存儲數(shù)據(jù)遷移工具來完成，MigrationDirectorforNAS可實現(xiàn)不同存儲系統(tǒng)之間的數(shù)據(jù)遷移，保障遷移過程中的數(shù)據(jù)安全，同時也避免業(yè)務在遷移過程中長時間停機。完整的遷移過程至少包含1次遷移任務（首次遷移）和1次同步任務（增量數(shù)據(jù)同步遷移），業(yè)務切割前需要離線進行最后一次同步。（三）存儲運行狀態(tài)監(jiān)測1、在項目實施過程中，我們重點對兩套華為OceanStor18000系列高端存儲進行了深度巡檢，檢查存儲的運行狀況和穩(wěn)定性，及時對存儲進行熱補丁的升級，保障新存儲設備上線后穩(wěn)定運行。2、在數(shù)據(jù)遷移中和數(shù)據(jù)遷移完成后，我們對核心存儲OceanStor18800FV5進行了性能分析，并輸出了性能分析報告，監(jiān)測OceanStor18800FV5在遷移過程中和數(shù)據(jù)全部遷移完成后的性能表現(xiàn)，都達到了預期的目標。3、我們部署DME和eservice管理監(jiān)控工具來管理和監(jiān)控存儲運行狀態(tài)，及時獲取存儲告警異常信息。4、在新存儲設備上線后，我們還每季度定期對存儲進行巡檢，了解存儲的運行狀態(tài)。五、風險管理將數(shù)據(jù)中心生產(chǎn)環(huán)境使用華為高端存儲升級替換原核心存儲是本行非常重大的升級操作。本行是首次在數(shù)據(jù)中心核心關鍵區(qū)域使用華為高端存儲設備替換原國外的存儲設備，并且實現(xiàn)雙活數(shù)據(jù)中心架構(gòu)，存在較大的操作風險和運行風險。為了避免在核心存儲升級替換過程，以及后續(xù)使用過程中因新的存儲設備自身問題引起業(yè)務中斷等風險，本行認真梳理了該升級替換項目可能存在的風險，并采取了相應的風險控制措施：1、開展充分的技術測試和功能驗證。本行制訂了詳細和周密的技術測試方案和功能驗證方案，并且還搭建了接近生產(chǎn)環(huán)境實際情況的測試環(huán)境，用以驗證新存儲設備的各項技術指標和功能指標。2、采用穩(wěn)妥的遷移替換策略，包括應急預案和切實可行的回退方案。要重點關注新設備上線后的設備故障風險，要做好新存儲設備上發(fā)生數(shù)據(jù)丟失等極端突發(fā)情況的預案。3、實施前務必要做好環(huán)境調(diào)研和項目規(guī)劃工作。本次項目共歷經(jīng)現(xiàn)網(wǎng)情況調(diào)研，功能測試，存儲網(wǎng)絡改造，項目實施，數(shù)據(jù)遷移五個階段，前兩個階段所用工時只占到整個交付過程的1/3，但卻是最重要的階段，根據(jù)收集到的正確現(xiàn)網(wǎng)信息，對做出正確的規(guī)劃有指導性的意義。3、認真細致的變更操作，重點是要在應用系統(tǒng)在遷移前后，分別做好數(shù)據(jù)分析和記錄，要對比遷移前后的數(shù)據(jù)，及時做好參數(shù)優(yōu)化和方案調(diào)整。4、有效的項目管理。重點要做行內(nèi)和廠商的人力資源調(diào)配，以及組織和協(xié)調(diào)工作。六、總結(jié)我行在數(shù)據(jù)中心生產(chǎn)中首次使用華為高端存儲設備替換原來的設備，構(gòu)建起新的同城雙活數(shù)據(jù)中心雙活存儲架構(gòu)，解決了原雙活存儲空間不足和原存儲設備老舊等