基于華為OceanStor的銀行關(guān)鍵業(yè)務(wù)同城切換實操手冊

1、 基于華為 OceanStor 18500 的銀行關(guān)鍵業(yè)務(wù)同城切換實操手冊 【導讀】本文以真實同城容災(zāi)切換演練為背景，詳細分享行內(nèi)關(guān)鍵業(yè)務(wù)系統(tǒng)在華為高端存儲OceanStor 18500的詳細配置與切換過程，最后對切換中的兩個典型問題進行復盤與思考。一、同城容災(zāi)存儲切換背景為滿足監(jiān)管機構(gòu)對中小銀行機構(gòu)業(yè)務(wù)連續(xù)性管理工作的要求，同時有效保障我行應(yīng)對運營中斷事件的處置能力，驗證核心系統(tǒng)同城容災(zāi)環(huán)境業(yè)務(wù)承載能力。為確保各重要信息系統(tǒng)完成實際業(yè)務(wù)接管的容錯容災(zāi)應(yīng)急切換演練，計劃選擇人行維護窗口（2020年9月20日）進行全渠道業(yè)務(wù)連續(xù)性專項應(yīng)急演練。二、關(guān)鍵業(yè)務(wù)同城容災(zāi)切換目標近期，監(jiān)管機構(gòu)對中小銀行

2、機構(gòu)業(yè)務(wù)連續(xù)性管理工作的高度重視與持續(xù)關(guān)注，2019年銀保監(jiān)辦發(fā)【2019】221號文，和銀保監(jiān)辦發(fā)【2019】332號文對中國銀保監(jiān)會辦公廳關(guān)于開展中小銀行機構(gòu)業(yè)務(wù)連續(xù)性相關(guān)風險政治工作的通知進行詳細要求，提出明確的建設(shè)目標和完成時限。要求各銀行機構(gòu)對業(yè)務(wù)連續(xù)性日常管理、資源建設(shè)和應(yīng)急處置相關(guān)問題應(yīng)于2020年末前完成整改，業(yè)務(wù)連續(xù)性演練問題應(yīng)于2021年末前完成整改，并確保在此期間重要信息系統(tǒng)至少完成一次真實接管業(yè)務(wù)的災(zāi)備切換演練。我行結(jié)合自身容災(zāi)建設(shè)實際情況，在充分考慮滿足監(jiān)管要求下，著手啟動9月20日行內(nèi)以及子公司重要業(yè)務(wù)系統(tǒng)容錯容災(zāi)應(yīng)急演練工作，既是對我行業(yè)務(wù)連續(xù)性管理工作的一次實戰(zhàn)

3、檢驗，更是對監(jiān)管要求的一次自我差距測評。該演練以檢驗我行業(yè)務(wù)連續(xù)性管理工作水平，提升我行信息系統(tǒng)容錯容災(zāi)應(yīng)急處置能力為首要目標。同時，以本次演練為契機和標準，常態(tài)化開展信息科技容錯容災(zāi)體系建設(shè)及實戰(zhàn)化演練，確保我行重要業(yè)務(wù)安全、穩(wěn)定、持續(xù)運營。三、基于華為OceanStor 18500的容災(zāi)架構(gòu)設(shè)計與實現(xiàn)3.1 存儲容災(zāi)架構(gòu)設(shè)計此次涉及容災(zāi)切換的系統(tǒng)有33套核心及重要系統(tǒng)，各自配置了相應(yīng)的存儲及數(shù)據(jù)庫等復制方式進行切換。本次通過華為18500進行容災(zāi)切換的系統(tǒng)主要有短信平臺數(shù)據(jù)庫和網(wǎng)銀數(shù)據(jù)庫。最初僅有數(shù)據(jù)主中心建立了生產(chǎn)系統(tǒng)，運行一段時間后，容災(zāi)中心進行存儲擴容與物理搬遷，后與主中心配置存儲遠

4、程復制，后續(xù)將詳細介紹存儲復制配置與切換中的具體操作。3.2 存儲同步遠程復制配置同步遠程復制能夠保證每個Pair內(nèi)LUN數(shù)據(jù)的一致性。配置同步遠程復制之前需要了解整個配置的流程和檢查遠程復制的License文件，然后再配置鏈路的連通性和同步遠程復制的相關(guān)參數(shù)。檢查License文件配置前需要檢查存儲系統(tǒng)的License是否未導入或已過期。如果License未導入或已過期，遠程復制功能將不可用。步驟1 進入“License管理”界面。步驟2 瀏覽已激活License信息如果“已激活License”頁簽中包含遠程復制特性的信息，且“運行截至日期”晚于當前日期，則說明遠程復制特性可用。如果沒有適用

5、的遠程復制License，則需要聯(lián)系原廠申請并導入License文件。增加遠端設(shè)備通過該操作，建立本端設(shè)備和遠端設(shè)備之間的邏輯連接，用于設(shè)備之間的數(shù)據(jù)傳輸，本端設(shè)備和遠端設(shè)備之間的鏈路有FC和iSCSI兩種類型，遠端設(shè)備有本廠商和第三方廠商兩種類型，本次實施采用FC/本廠商類型。在FC的網(wǎng)絡(luò)環(huán)境中，添加遠端設(shè)備前，請先清除交換機上和存儲相連的端口Zone配置信息。在創(chuàng)建Zone時，建議每兩個端口處于同一個Zone，以防止Zone中端口過多導致遠端鏈路超出系統(tǒng)規(guī)格。存儲系統(tǒng)每個控制器與遠端設(shè)備之間最多支持8條可用的鏈路，且添加遠端設(shè)備時最多使用2條鏈路。步驟：數(shù)據(jù)保護-遠端設(shè)備-增加遠端設(shè)備-增

6、加遠端設(shè)備向?qū)л斎胗脩裘?密碼：mm_user/ mm_userstorage之后，系統(tǒng)顯示匯總信息后，系統(tǒng)彈出“執(zhí)行結(jié)果”提示框，提示操作成功，添加遠端設(shè)備時存儲系統(tǒng)之間只有一條鏈路被選擇，為了使鏈路冗余，需要在添加完遠端設(shè)備成功后手動增加鏈路。創(chuàng)建同步遠程復制創(chuàng)建同步遠程復制主要包括：配置遠程復制的基本信息、選擇遠程復制的主LUN和從LUN、設(shè)置遠程復制的屬性值。請根據(jù)頁面提示創(chuàng)建遠程復制。需要注意的條件與事項主要有：本端復制主LUN不能是二級快照，不是克隆從LUN，不是LUN拷貝的目標LUN，沒有在做快照回滾LUN等；遠端設(shè)備上創(chuàng)建從LUN與主LUN容量必須相等，且映射給主機的LUN不能

7、做遠程復制從LUN；步驟：數(shù)據(jù)保護-遠程復制-創(chuàng)建-創(chuàng)建遠程復制向?qū)?同步模式-主LUN區(qū)域選擇遠程復制的主LUN-從LUN區(qū)域下選擇遠程復制所需從LUN-添加到Pair列表-設(shè)置同步遠程復制的屬性值-確認創(chuàng)建遠程復制的操作在“速率”下拉列表框中，選擇主LUN和從LUN進行同步的速率： “低”：同步速率為低，花費時間較長，適合在系統(tǒng)業(yè)務(wù)繁忙的時候使用。速率通常為05MB/秒。 “中”：同步速率為中，花費時間較短，適合在系統(tǒng)業(yè)務(wù)較繁忙的時候使用。速率通常為1020MB/秒。（默認值） “高”：同步速率為高，花費時間短，適合在系統(tǒng)業(yè)務(wù)較空閑的時候使用。速率通常為5070MB/秒。 “最快”：同步速

8、率為最快，花費時間最短，適合在系統(tǒng)業(yè)務(wù)空閑的時候使用。速率通常為100MB/秒以上。在“恢復策略”下拉列表框中，選擇當遠程復制內(nèi)部I/O故障消除或復制鏈路恢復后，遠程復制Pair是否自動同步數(shù)據(jù)。 “手動”：Pair進入“待恢復”狀態(tài)，您需要手動對遠程復制Pair進行同步操作，使主從LUN數(shù)據(jù)同步。 “自動”：Pair進入“正在同步”狀態(tài)，系統(tǒng)自動同步主從LUN數(shù)據(jù)。（默認值）選擇遠程復制初始同步的方式“主從LUN數(shù)據(jù)不一致，創(chuàng)建完成后自動同步”：遠程復制創(chuàng)建完成后，從LUN數(shù)據(jù)將立即被覆蓋，請確保從LUN數(shù)據(jù)不再使用或已備份。（默認值）“主從LUN數(shù)據(jù)不一致，創(chuàng)建完成后手動同步”：遠程復制創(chuàng)

9、建完成后，請盡快手動同步主從LUN數(shù)據(jù)，以確保主從LUN數(shù)據(jù)一致?！爸鲝腖UN數(shù)據(jù)一致，無需同步”：請確保主從LUN數(shù)據(jù)一致，否則主LUN故障時將無法從從LUN恢復數(shù)據(jù)或接管業(yè)務(wù)，從而導致數(shù)據(jù)丟失或業(yè)務(wù)中斷?？蛇x：選擇“啟用從LUN IO超時時間”并設(shè)置“超時時間（秒）”經(jīng)過設(shè)置的超時時間后，如果數(shù)據(jù)未成功寫入從LUN，則遠程復制Pair進入“異常斷開”狀態(tài)。超時時間取值范圍為1030秒。默認值為30秒。創(chuàng)建一致性組、添加遠程復制遠程復制可以實現(xiàn)主機在單個或多個獨立主LUN進行寫操作后數(shù)據(jù)的容災(zāi)備份，但是無法保證在災(zāi)難恢復時，主機在跨多個非獨立主LUN進行寫操作后數(shù)據(jù)的容災(zāi)和備份。一致性組可以

10、保證組內(nèi)所有遠程復制Pair的從LUN數(shù)據(jù)在時間上的一致性（例如，所有從LUN數(shù)據(jù)都是其主LUN在今日下午三點的數(shù)據(jù)副本），從而確保災(zāi)難恢復時主LUN數(shù)據(jù)的可用性。步驟：遠程復制-遠程復制一致性組-創(chuàng)建-配置一致性組的屬性-為一致性組添加遠程復制Pair-確認創(chuàng)建一致性組的操作四、容災(zāi)切換操作4.1 主從存儲數(shù)據(jù)首次同步主從存儲遠程復制首次同步需要考慮復制時間，復制速率上限以及遠程復制對原卷的業(yè)務(wù)影響等因素，根據(jù)業(yè)務(wù)特點和要求，通過對一致性組的操作組合與狀態(tài)確認，完成首次全量同步。同步一致性組操作，可以啟動一致性組中所有遠程復制Pair同時進行同步操作，使每一個遠程復制Pair的主從LUN數(shù)據(jù)

11、在同步時間點上保持一致，以保證數(shù)據(jù)庫與應(yīng)用程序在使用這些LUN數(shù)據(jù)時的有效性。需要注意，該操作只能在一致性組的主設(shè)備上進行操作，且需要確認已啟動從資源保護（只讀），其他操作條件則需要根據(jù)一致性組當前的狀態(tài)來判斷，狀態(tài)如下所示。操作步驟：遠程復制-遠程復制一致性組-選擇后右鍵同步-勾選確認，在對數(shù)據(jù)進行全量備份之后，選擇業(yè)務(wù)低峰期窗口進行開始網(wǎng)銀數(shù)據(jù)庫與短信平臺數(shù)據(jù)庫首次全量同步復制的動作，按照FC交換機級聯(lián)端口8Gbps（波分設(shè)備DWDM設(shè)備支持模塊速率上限為8Gbps），上限傳輸速率在1GB/s以內(nèi)，出于安全需要選擇“高”同步速率進行同步，實測短信平臺數(shù)據(jù)庫單LUN（2TB）同步時間在8小時

12、，平均速度在69-97MB/s；網(wǎng)銀數(shù)據(jù)庫1.8TB邏輯卷(1.8TB300GB*6)，以“最快”模式進行同步，實測時間為2小時左右，同步速度在200MB/s以上，同步完成后，由于短時間主庫數(shù)據(jù)變化量沒有很大，將同步速率統(tǒng)一調(diào)整為“中”級，同步速率在6-9MB/s量級，保證業(yè)務(wù)在高峰期對數(shù)據(jù)庫的訪問性能，另以內(nèi)外只要主、從資源狀態(tài)均保持為“已同步”則無需調(diào)整該同步模式，直至容災(zāi)端業(yè)務(wù)驗證或進行容災(zāi)主從切換動作。4.2 主從分裂進行容災(zāi)端部署與業(yè)務(wù)測試首次全量遠程復制同步完成后，配合容災(zāi)端在切換前進行基礎(chǔ)環(huán)境集成部署，業(yè)務(wù)測試和容災(zāi)切換預演等操作，通過該操作，可以使一致性組中所有遠程復制Pair

13、同時進行分裂操作，為所有遠程復制Pair的從LUN生成在某時間點上的一份完整拷貝，以便應(yīng)用這些數(shù)據(jù)進行主機集群軟件配置（資源組添加與同步等）、數(shù)據(jù)庫與中間件啟動測試、切換過程中容災(zāi)側(cè)業(yè)務(wù)啟動腳本測試等操作。根據(jù)一致性組的“運行狀態(tài)”判斷是否可以執(zhí)行一致性組遠程復制的分裂操作。分裂步驟：遠程復制-遠程復制一致性組-選擇后右鍵“分裂”-勾選確定-完成分裂之后還需要取消遠程復制從 LUN 寫保護，可使容災(zāi)端一致性組中所有從LUN可以被重新寫入數(shù)據(jù)。該操作只能在一致性組中所有Pair分裂或鏈路斷開的異常斷開狀態(tài)下執(zhí)行，操作步驟：遠程復制-遠程復制一致性組-選擇并右鍵-取消從LUN寫保護-成功-確定。4

14、.3 存儲同城容災(zāi)切換與回切操作如果僅僅在容災(zāi)端驗證數(shù)據(jù)，則可以通過對容災(zāi)端從卷進行克隆，使用克隆從卷進行業(yè)務(wù)驗證，這樣不影響主從卷同步復制，操作風險較小。但本次容災(zāi)切換演練的場景要求核心及關(guān)鍵業(yè)務(wù)系統(tǒng)在容災(zāi)端運行時間較去年要更長，接近至少接近24小時，因此存儲需要配合數(shù)據(jù)庫以及業(yè)務(wù)在容災(zāi)端將從端切換為主端，原來主端變?yōu)閺亩颂峁χ鞫藬?shù)據(jù)的遠程復制保護；業(yè)務(wù)在容災(zāi)端平穩(wěn)運行一天之后，按照原有切換方式再操作一次，完成回切操作。主從存儲遠程復制一致性組狀態(tài)為“正?！睍r，接到總調(diào)度進行存儲切換命令之后，按照步驟：分裂-取消從LUN寫保護之后，容災(zāi)端業(yè)務(wù)驗證成功之后，執(zhí)行“一致性組主從切換”-“啟用一

15、致性組從 LUN 寫保護”-“同步一致性組”操作，完成以原容災(zāi)側(cè)存儲為主，至原生產(chǎn)側(cè)存儲為從的新同步關(guān)系建立。一致性組主從切換步驟執(zhí)行該操作的存儲狀態(tài)僅有一致性組狀態(tài)正常且從LUN數(shù)據(jù)狀態(tài)“已同步”，或一致性組狀態(tài)分裂且從LUN數(shù)據(jù)狀態(tài)完整時才可以執(zhí)行成功。步驟為：遠程復制-遠程復制一致性組-選擇一致性組-右鍵-主從切換-勾選并確定，執(zhí)行成功后，查看主從LUN角色互換。啟用一致性組從 LUN 寫保護步驟執(zhí)行該操作需要一致性組狀態(tài)“分裂”，且從LUN狀態(tài)“完整”，或一致性組“異常斷開”（鏈路斷開），從LUN狀態(tài)“完整”兩種狀態(tài)條件下可行，步驟：遠程復制-遠程復制一致性組選擇-選擇一致性組-右鍵-

16、啟用從LUN寫保護-確定，操作后，從端無法寫入保護LUN數(shù)據(jù)安全。同步一致性組步驟與全同步一致，但數(shù)據(jù)傳輸方向與原來對調(diào)，而且同步數(shù)據(jù)為增量數(shù)據(jù)，數(shù)據(jù)變化量計算應(yīng)從分裂之后開始，至開始同步之間的變化量，因此變化量并不會很大，很快同步完成后，提供業(yè)務(wù)在容災(zāi)驗證一天時間的遠程復制保護。反向回切的步驟與上面類似，不過所操作存儲的設(shè)備為容災(zāi)端為主，雖然容災(zāi)端18500V1與18500V3界面稍有所不同，但并不影響操作。4.4 存儲命令行CLI方式操作為對接容災(zāi)切換的自動化與標準化，特整理并驗證通過CLI方式對一致性組的操作組合與狀態(tài)查詢，實現(xiàn)半自動化容災(zāi)切換的目的。一致性組狀態(tài)查詢與關(guān)鍵狀態(tài)參數(shù)一致性

17、組的ID、名字、健康狀態(tài)、運行狀態(tài)、恢復策略、復制模式、當前角色都可以同時直觀展示出來，各狀態(tài)作為一致性組操作的基礎(chǔ)和結(jié)果的驗證。演練所需存儲切換命令與預期結(jié)果分裂動作：change consistency_group split consistency_group_id=488eefd618260000-#輸入y確認取消從端寫保護：change consistency_group general consistency_group_id=488eefd618260000 second_res_access=read_write，操作后查詢Second LUN Access由Read Only

18、變?yōu)閞ead_write。主從切換：swap consistency_group consistency_group_id=488eefd618260000 #輸入2次y確認show consistency_group general consistency_group_id=488eefd618260000，Running Status為 Splited，主端變?yōu)镾econdary，從端變?yōu)镻rimary登錄對端發(fā)起反向同步：change consistency_group synchronize consistency_group_id=488eefd618260000 #輸入2次y確認狀

19、態(tài)由同步中Synchronizing，變?yōu)镾ynchronized五、存儲容災(zāi)切換經(jīng)驗總結(jié)本次同城容災(zāi)切換目標均順利達成，為關(guān)鍵系統(tǒng)同城容災(zāi)切換演練提供有力支持，為整體自動化切換腳本提供命令行操作的標準步驟，為后續(xù)關(guān)鍵業(yè)務(wù)的容災(zāi)建設(shè)提供存儲復制的底層平臺。但復盤切換過程中的問題，發(fā)現(xiàn)通過WEB GUI在切換過程中，不僅需要存儲復制速率的進度條顯示，還需要具體的實時速率；另外集成過程中，考慮是否可以減少存儲復制端口數(shù)量，每個控制器只分配單個遠程復制端口，但最后還是按照最佳實踐共分配4端口，至于上面兩個問題的原因，有一些思考。5.1 主從存儲數(shù)據(jù)同步速度監(jiān)測由于在存儲遠程復制的過程中，圖形WEB界面中僅能看到進度條，而同步速度和帶寬占用等參數(shù)很難量化，進而準確估算同步時間，因此可以通過CLI進行查看：四個字段分別代表壓縮物理帶寬，上次同步狀態(tài)的時間差，未壓縮邏輯帶寬以及同步持續(xù)時間。此