基于VPLEX與Recovery Point的存儲(chǔ)災(zāi)備方案

1、 基于 VPLEX+Recovery Point 的存儲(chǔ)災(zāi)備方案 【摘要】伴隨著城市商業(yè)銀行業(yè)務(wù)的快速發(fā)展，信息技術(shù)在金融業(yè)應(yīng)用日漸深入，信息系統(tǒng)安全穩(wěn)定運(yùn)行的重要性日益突出。銀行業(yè)信息系統(tǒng)的災(zāi)備體系建設(shè)是保障銀行業(yè)務(wù)連續(xù)性的重要防線，是維護(hù)銀行業(yè)信息和網(wǎng)絡(luò)安全的重要保障機(jī)制。2007 年以來(lái),監(jiān)管機(jī)構(gòu)陸續(xù)發(fā)布了保障業(yè)務(wù)連續(xù)穩(wěn)定運(yùn)行、規(guī)范商業(yè)銀行信息系統(tǒng)災(zāi)難恢復(fù)管理的規(guī)章制度，明確了商業(yè)銀行在災(zāi)難情況下開(kāi)展信息系統(tǒng)恢復(fù)的要求，對(duì)商業(yè)銀行開(kāi)展災(zāi)備體系建設(shè)具有重要的指導(dǎo)意義。本文結(jié)合某城商銀行的實(shí)際案例著重介紹城商銀行基于集中式存儲(chǔ)實(shí)現(xiàn)兩地三中心災(zāi)備建設(shè)的方案設(shè)計(jì)?！娟P(guān)鍵詞】城商銀行、災(zāi)備、雙活、

2、兩地三中心1. 概述1.1 項(xiàng)目背景長(zhǎng)期以來(lái)，由于監(jiān)管導(dǎo)向和業(yè)務(wù)連續(xù)性要求，國(guó)內(nèi)銀行業(yè)信息系統(tǒng)普遍強(qiáng)調(diào)業(yè)務(wù)系統(tǒng)的高可用性和高穩(wěn)定性。經(jīng)過(guò)十多年的建設(shè)發(fā)展，我行現(xiàn)有系統(tǒng)規(guī)模逐漸擴(kuò)大，在當(dāng)前的發(fā)展趨勢(shì)下，我行應(yīng)用系統(tǒng)大量采用 X86 架構(gòu)服務(wù)器，Power 小型機(jī)主要用于關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫(kù)，此外 Power 小型機(jī)架構(gòu)平臺(tái)上還運(yùn)行著數(shù)十套老舊的業(yè)務(wù)生產(chǎn)系統(tǒng)。隨著使用年限的增加，計(jì)算存儲(chǔ)資源已經(jīng)飽和，設(shè)備老化嚴(yán)重，進(jìn)入故障高發(fā)期，相關(guān)問(wèn)題亟待解決。另外隨著新一代核心系統(tǒng)項(xiàng)目群的上線，對(duì)計(jì)算和存儲(chǔ)的資源的需求快速增加，并需要重新構(gòu)建新系統(tǒng)的容災(zāi)體系，滿足業(yè)務(wù)連續(xù)性的監(jiān)管要求。1.2 建設(shè)目標(biāo)通過(guò)新購(gòu)服務(wù)器

3、和存儲(chǔ)設(shè)備，采用新的架構(gòu)進(jìn)行容災(zāi)的設(shè)計(jì)，有望達(dá)成本次項(xiàng)目目標(biāo)： 一是對(duì)部分老舊設(shè)備升級(jí)換代，為業(yè)務(wù)系統(tǒng)提供安全穩(wěn)定的生產(chǎn)資源；二是滿足新一代核心系統(tǒng)項(xiàng)目群系統(tǒng)的上線計(jì)算資源、存儲(chǔ)資源需求；三是滿足兩地三中心的容災(zāi)規(guī)劃建設(shè)，最終實(shí)現(xiàn)同城雙活+異地容災(zāi)體系，增強(qiáng)業(yè)務(wù)連續(xù)性保護(hù)，較好的滿足監(jiān)管要求。2. 方案規(guī)劃設(shè)計(jì)2.1 原系統(tǒng)架構(gòu)原生產(chǎn)環(huán)境分為以 X86 虛擬化為主的資源區(qū)和以 Power 小型機(jī)為主的資源區(qū)， 兩個(gè)資源區(qū)資源相對(duì)獨(dú)立，如下圖所示：目前Power 小型機(jī)資源區(qū)存在的問(wèn)題主要集中在以下幾點(diǎn)：1、需要提供足夠的資源滿足新一代核心系統(tǒng)項(xiàng)目群的系統(tǒng)上線，而 Power 小型機(jī)資源區(qū)計(jì)資源

4、和存儲(chǔ)資源嚴(yán)重不足，急需進(jìn)行擴(kuò)容。2、IBM DS8000 的存儲(chǔ)設(shè)備老化嚴(yán)重，故障率增高，需要更新?lián)Q代。3、新系統(tǒng)上線后需要重新進(jìn)行容災(zāi)系統(tǒng)的規(guī)劃設(shè)計(jì)。為了解決以上問(wèn)題，基于Dell EMC VPLEX+Recovery Point 的架構(gòu)重新進(jìn)行小型機(jī)資源區(qū)的容災(zāi)設(shè)計(jì)，以滿足新一代核心系統(tǒng)項(xiàng)目群系統(tǒng)上線的資源需求，并建立新系統(tǒng)的災(zāi)備體系，滿足業(yè)務(wù)連續(xù)性的需求。2.2 方案總體設(shè)計(jì)考慮到同城災(zāi)備機(jī)房和異地災(zāi)備機(jī)房建設(shè)進(jìn)度，整個(gè)項(xiàng)目分兩個(gè)階段進(jìn)行。第一階段，完成存儲(chǔ)設(shè)備的更新?lián)Q代，并將原有系統(tǒng)平滑遷移到新的存儲(chǔ)，并支撐新一代核心系統(tǒng)項(xiàng)目群系統(tǒng)上線。第二階段，完成同城雙活+異地容災(zāi)的災(zāi)備體系建設(shè)

5、。最終方案采用 Dell EMC VPLEX Metro+Recovery Point 方案來(lái)構(gòu)建兩地三中心數(shù)據(jù)存儲(chǔ)方案。VPLEX 的關(guān)鍵能力 AccessAnywhere 是通過(guò)分布式一致性緩存技術(shù)(Distributed Cache Coherenece)來(lái)實(shí)現(xiàn)，在集群內(nèi)及跨區(qū)域的另一集群間完成緩存數(shù)據(jù)的一致性；實(shí)現(xiàn)跨主機(jī)、跨集群、跨數(shù)據(jù)中心的訪問(wèn)和在節(jié)點(diǎn)之間同步鏡像。 VPLEX 通過(guò)把控制器的單個(gè)內(nèi)存系統(tǒng)進(jìn)行合并以形成分布式緩存。分布式設(shè)計(jì)可以跨 VPLEX Metro 和 Geo 系統(tǒng)進(jìn)行擴(kuò)展，以提供全局系統(tǒng)的緩存連貫性和一致性。分布式一致性緩存技術(shù)在實(shí)現(xiàn)上面，并沒(méi)有強(qiáng)求所有的 C

6、ache 都保持統(tǒng)一，而是基于目錄形式來(lái)跟蹤細(xì)小的內(nèi)存塊通過(guò)鎖的粒度來(lái)加強(qiáng)擴(kuò)展能力。 每個(gè)引擎的 cache 分為本地Cache (Cache local)和全局 Cache (Cache global)。讀的時(shí)候先讀 Director 的 Local Cache ，如命中直接讀??；如在 Global 中命中，則從對(duì)應(yīng)的引擎 Cache 中將其讀取到 Local Cache，再反饋主機(jī)；如沒(méi)有命中，則從本地后端的存儲(chǔ)中讀取到 Local 中，并同時(shí)修改 Local 和Global Cache 中的信息與索引信息。寫數(shù)據(jù)時(shí)， VPLEX Local 和 Metro 都采用透寫方式。VPLEX L

7、ocal 待數(shù)據(jù)寫入后端的磁盤陣列后，才會(huì)向主機(jī)回應(yīng)寫完成，而 VPLEX Metro 需要待數(shù)據(jù)寫入兩地的磁盤陣列后， 才會(huì)向主機(jī)回應(yīng)寫完成。VPLEX Metro 架構(gòu)下寫操作處理如下：1.主機(jī)發(fā)送寫操作到VPLEX 的 Director2.Director 收到寫請(qǐng)求時(shí)，將寫操作發(fā)送給另外一個(gè)站點(diǎn)的 VPLEX3.Director 先判斷是否在 Local、Global Cache 中有對(duì)應(yīng)的舊數(shù)據(jù)，如沒(méi)有直接寫入后端存儲(chǔ)的 cache；如有舊數(shù)據(jù)，先廢除 Local、Global Cache 中舊數(shù)據(jù)再寫入后端存儲(chǔ) cache4.寫入后端存儲(chǔ) cache，反饋寫操作完成5.遠(yuǎn)端站點(diǎn)的

8、VPLEX 將寫操作結(jié)果返回給本地站點(diǎn)的VPLEX6.只有VPLEX Metro 的兩邊的存儲(chǔ)都寫成功，才會(huì)返回主機(jī)寫操作成功2.2.1 第一階段規(guī)劃設(shè)計(jì)第一階段需要將新購(gòu)的 VPLEX、VMAX100K 進(jìn)行安裝并接入 FC 網(wǎng)絡(luò)，完成數(shù)據(jù)的遷移。如下圖所示：在實(shí)施前需要對(duì)原有環(huán)境進(jìn)行調(diào)研，梳理 FC SAN 網(wǎng)絡(luò)，并分析原來(lái)IBM DS8000 存儲(chǔ)的 IOPS 和帶寬使用情況，規(guī)劃好 FC 交換機(jī)級(jí)聯(lián)的帶寬并做到充分的冗余。另外需要梳理 IBM DS8000 上各個(gè)系統(tǒng) volume 的映射情況?？紤]到銀行關(guān)鍵業(yè)務(wù)系統(tǒng) 7*24 小時(shí)提供服務(wù)，故如何減少停機(jī)時(shí)間并平滑的進(jìn)行數(shù)據(jù)遷移是關(guān)鍵

9、。采用 Dell EMC VPLEX 存儲(chǔ)網(wǎng)關(guān)來(lái)進(jìn)行DS8000 存儲(chǔ)系統(tǒng)的磁盤封裝，將應(yīng)用系統(tǒng)和數(shù)據(jù)庫(kù)接入 VPLEX 的環(huán)境，這樣 VPLEX 完成磁盤封裝和映射給操作系統(tǒng)后，經(jīng)過(guò)重新識(shí)別磁盤可快速恢復(fù)業(yè)務(wù)系統(tǒng)縮短停機(jī)時(shí)間，經(jīng)過(guò)前期的論證和測(cè)試，可在人行的 8 小時(shí)停機(jī)窗口完成該操作并恢復(fù)業(yè)務(wù)系統(tǒng)的正常運(yùn)行。之后再利用 VPLEX 的 Mobility 功能進(jìn)行存儲(chǔ)上數(shù)據(jù)的無(wú)縫切換。下面對(duì)整個(gè)過(guò)程分別進(jìn)行說(shuō)明：2.2.1.1 存儲(chǔ)網(wǎng)關(guān)接管應(yīng)用 IO在 VPLEX 環(huán)境中，對(duì)后端存儲(chǔ)系統(tǒng)的磁盤設(shè)備采用整盤封裝的方式下，可以將應(yīng)用系統(tǒng)完整的遷移到 VPLEX 環(huán)境中，遷移步驟簡(jiǎn)述如下：1.在主

10、機(jī)上，停止應(yīng)用系統(tǒng)的運(yùn)行。并進(jìn)行數(shù)據(jù)庫(kù)及重要文件系統(tǒng)內(nèi)容的備份。2.停止數(shù)據(jù)庫(kù)。3.在主機(jī)上，停止 HACMP 運(yùn)行。停止后建議在主機(jī)上重新啟動(dòng) HACMP 進(jìn)行驗(yàn)證， 如存儲(chǔ)單機(jī)或VG 沒(méi)有加入 HA 資源組，需單獨(dú)將VG varyon 檢查，驗(yàn)證 VG 是否正常，以免封裝后出現(xiàn)異常的情況下排錯(cuò)較為繁瑣，必要由此造成實(shí)施過(guò)程中需要進(jìn)行回退。4.在主機(jī)上，刪除相應(yīng)的原存儲(chǔ)系統(tǒng)的磁盤設(shè)備和VG 信息。5.在主機(jī)上，安裝支持 VPLEX 的 Dell EMC ODM 軟件包（Dell EMC.Invista.aix.rte、Dell EMC.Invista.fcp.rte）和 Powerpath

11、軟件，必要時(shí)卸載原陣列的多路徑軟件。6.在原 DS8000 存儲(chǔ)系統(tǒng)上，取消主機(jī)對(duì)磁盤設(shè)備的訪問(wèn)（可選）。7.在 SAN Switch 上，刪除主機(jī) HBA 卡與原存儲(chǔ)系統(tǒng)前端之間的 ZONE。并增加主機(jī) HBA 卡與 VPLEX 前端口之間的ZONE。8.在 DS8000 存儲(chǔ)系統(tǒng)上，賦予 VPLEX 對(duì)磁盤設(shè)備的訪問(wèn)。9.VPLEX 掃描新分配的后端 DS8000 存儲(chǔ)磁盤設(shè)備。10.VPLEX“封裝”新分配的后端存儲(chǔ)磁盤設(shè)備。識(shí)別（Claim）新分配的后端存儲(chǔ)磁盤設(shè)備。創(chuàng)建“Extent”。將每個(gè)新分配的后端存儲(chǔ)磁盤設(shè)備，“整盤封裝”成一個(gè) Extent。11.使用 DS8000 封裝后

12、的“Extent”在 VPLEX 上創(chuàng)建“1:1 Mapping of Extentsto Device”的 Device。12.在 VPLEX 上使用“1:1 Mapping of Extents to Device”的Device 創(chuàng)建virtual volume。13.主機(jī) HBA 在 VPLEX 進(jìn)行 Initiator 的注冊(cè)。Host Type：AIX 主機(jī)選擇 aix， Windows 主機(jī)選擇 default。14.創(chuàng)建 Storage View。在 VPLEX Cluster 上創(chuàng)建 Storage View，添加 VPLEX 前端口、 Initiator 及 virtual

13、 volume。15.在主機(jī)上，識(shí)別和配置 VPLEX 的磁盤設(shè)備。在 VIOS 主機(jī)或 HACMP 上，調(diào)整VPLEX 的磁盤設(shè)備的 reserve_lock/reserve_policy。16.在主機(jī)上，啟動(dòng)應(yīng)用系統(tǒng)和數(shù)據(jù)庫(kù)。完成以上步驟后， VPLEX Local 中 virtual volume 邏輯結(jié)構(gòu)如下所示：通過(guò) VPLEX 封裝 DS8000 的 volume，不改變?cè)瓉?lái) DS8000 上的任何數(shù)據(jù)，同時(shí)原來(lái)的兩套 DS8000 之間的 Metro Mirror 保持同步狀態(tài)，始終保持在兩套 DS8000 上各有一份完整的數(shù)據(jù)。 VPLEX 接入存儲(chǔ)環(huán)境后，IO 讀寫方式發(fā)生了

14、變化，但該變化對(duì)于主機(jī)來(lái)說(shuō)是透明的。2.2.1.2 存儲(chǔ)數(shù)據(jù)遷移在上一步已經(jīng)完成 VPLEX 接管主機(jī)的IO，要完成存儲(chǔ)數(shù)據(jù)的遷移，需要使用 VPLEX 的另一項(xiàng)功能Mobility。VPLEX Mobility 功能，允許無(wú)中斷地將數(shù)據(jù)塊或設(shè)備上的數(shù)據(jù)移動(dòng)到同一集群中的其他數(shù)據(jù)塊或設(shè)備，或從一個(gè)集群中的設(shè)備移動(dòng)到另一個(gè)集群中的設(shè)備。利用該功能可以方便的將 DS8000 上的數(shù)據(jù)遷移到新購(gòu)的 Dell EMC VMAX100K 存儲(chǔ)中。提前將 Dell EMC VMAX100K 存儲(chǔ)接入到 VPLEX 中，按 DS8000 上的卷的數(shù)量和容量大小信息 1:1 的在VMAX100K 中分配好 V

15、olume，并將VMAX100K 中分配好的Volume 映射給 VPLEX，由 VPLEX 進(jìn)行封裝。創(chuàng)建 Raid-1 的 device，然后使用 Mobility 的功能進(jìn)行數(shù)據(jù)的遷移。圖.開(kāi)始數(shù)據(jù)遷移VPLEX 將數(shù)據(jù)從 DS8000 在線同步到VMAX 100K，在數(shù)據(jù)完成同步后，DS8000 的device 將會(huì)退出，直接使用 VMAX 100K 的 Device。整個(gè)過(guò)程對(duì)于主機(jī)是透明無(wú)感知的， 期間無(wú)應(yīng)用或數(shù)據(jù)庫(kù)的中斷和數(shù)據(jù)丟失。圖.數(shù)據(jù)遷移完成后2.2.1.3 配置本地鏡像完成數(shù)據(jù)遷移后，為保證整個(gè)架構(gòu)中無(wú)單點(diǎn)故障設(shè)備的存在（ VPLEX 采用了雙引擎 4 個(gè) Directo

16、r 的配置），在 VPLEX 中配置 Local Mirror，在兩套VMAX100K 存儲(chǔ)間配置鏡像，做到存儲(chǔ)設(shè)備的冗余。配置 Local Mirror 后， VPLEX Local 中 virtual volume 邏輯結(jié)構(gòu)如下所示：卷鏡像創(chuàng)建完成后，當(dāng)主機(jī)對(duì)鏡像 LUN 下發(fā)寫請(qǐng)求時(shí)，鏡像 LUN 會(huì)將主機(jī)寫 IO 同時(shí)轉(zhuǎn)發(fā)給兩個(gè)鏡像副本，即對(duì)兩個(gè)鏡像副本進(jìn)行雙寫操作。當(dāng)兩個(gè)鏡像副本都寫數(shù)據(jù)成功后， 將寫結(jié)果先返回給鏡像 LUN，再由鏡像 LUN 將讀結(jié)果返回給主機(jī)。對(duì)兩個(gè)鏡像副本進(jìn)行雙寫，保證了兩個(gè)鏡像副本的數(shù)據(jù)一致性。至此，已經(jīng)完成了 DS8000 存儲(chǔ)更換為 VMAX 100K，并

17、在本中心配置了存儲(chǔ)間的冗余。2.2.1.4 配置 CRR 數(shù)據(jù)保護(hù)VPLEX 只提供了存儲(chǔ)異構(gòu)虛擬化和鏡像的功能， 快照， 復(fù)制等特性需要添加RecoverPoint 實(shí)現(xiàn)，所以 VPLEX 的組網(wǎng)方式常常會(huì)考慮配合 RecoverPoint 一起使用。RecoverPoint 提供以下幾種復(fù)制功能：連續(xù)數(shù)據(jù)保護(hù)（RecoverPoint CDP）連續(xù)數(shù)據(jù)保護(hù)持續(xù)地抓取變化數(shù)據(jù)并將其保存到本地，保證了本地?cái)?shù)據(jù)可以恢復(fù)到任何 一個(gè)時(shí)間點(diǎn)而無(wú)數(shù)據(jù)丟失。CDP 能夠在本地群集內(nèi)的一個(gè)陣列或多個(gè)陣列中本地復(fù)制 LUN。請(qǐng)務(wù)必謹(jǐn)記，如果本地系統(tǒng)發(fā)生故障，則無(wú)法訪問(wèn)本地拷貝。CDP 的寫操作流程：1.應(yīng)用

18、服務(wù)器向 LUN 發(fā)送一個(gè)受 RecoveryPoint 保護(hù)的寫請(qǐng)求。拆分器會(huì)截取這個(gè)寫請(qǐng)求2.拆分器拆分了寫請(qǐng)求并將它同時(shí)發(fā)送到生產(chǎn)卷和 RPA3.當(dāng) RPA 收到寫請(qǐng)求時(shí)，將確認(rèn)信息發(fā)送回拆分器4.RPA 將數(shù)據(jù)連同時(shí)間戳以及任何與該寫操作相關(guān)的應(yīng)用、事件或用戶生成的標(biāo)簽一起寫入本地日志卷5.RPA 成功的將數(shù)據(jù)存儲(chǔ)在日志卷之后，再將它分發(fā)到 CDP 拷貝，在分發(fā)過(guò)程中保留原來(lái)的寫順序連續(xù)遠(yuǎn)程復(fù)制（RecoverPoint CRR）RecoverPoint 遠(yuǎn)程復(fù)制能夠?qū)?LUN 復(fù)制到遠(yuǎn)程陣列或群集。RecoverPoint 遠(yuǎn)程復(fù)制在同步和異步模式中均可用 ， 并可根據(jù)用戶定義的策略

19、進(jìn)行修改。RecoverPoint 遠(yuǎn)程復(fù)制還能夠執(zhí)行雙向復(fù)制。CRR 的寫操作流程：1.應(yīng)用服務(wù)器向 LUN 發(fā)送一個(gè)受 RecoveryPoint 保護(hù)的寫請(qǐng)求。拆分器會(huì)截取這個(gè)寫請(qǐng)求。2.與 CDP 類似，拆分器拆分了寫請(qǐng)求并將它同時(shí)發(fā)送到生產(chǎn)卷和 RPA。3.當(dāng) RPA 收到寫請(qǐng)求時(shí)，將確認(rèn)信息發(fā)送回拆分器（啟動(dòng)同步遠(yuǎn)程復(fù)制的情況除外）。在同步復(fù)制中，確認(rèn)信息將被延遲直到恢復(fù)站點(diǎn)接收到寫請(qǐng)求。4.當(dāng)本地 RPA 接收到一個(gè)寫請(qǐng)求之后，將它與其他寫請(qǐng)求綁定，去除重復(fù)數(shù)據(jù)、排序、加時(shí)間戳并打包壓縮，與校驗(yàn)數(shù)據(jù)一起通過(guò) IP 網(wǎng)絡(luò)傳送到遠(yuǎn)程 RPA。5.恢復(fù)站點(diǎn)收到數(shù)據(jù)包之后，遠(yuǎn)程 RPA

20、校驗(yàn)數(shù)據(jù)以確保數(shù)據(jù)包在傳送過(guò)程中無(wú)損壞，然后解壓數(shù)據(jù)。6.遠(yuǎn)程 RPA 將數(shù)據(jù)寫入在恢復(fù)站點(diǎn)的日志卷。7.數(shù)據(jù)被寫入到日志卷后，分發(fā)到 CRR 拷貝，并保留原來(lái)的寫順序。并發(fā)本地和遠(yuǎn)程數(shù)據(jù)保護(hù)（RecoverPoint CLR）RecoverPoint CLR 并發(fā)本地和遠(yuǎn)程復(fù)制能夠進(jìn)行本地和遠(yuǎn)程復(fù)制。它提供了針對(duì)相同LUN 的同步數(shù)據(jù)塊級(jí)別本地和遠(yuǎn)程復(fù)制?？梢曰謴?fù)其中一個(gè)拷貝，并且不會(huì)影響另一個(gè)拷貝。它還支持雙向復(fù)制和任意時(shí)間點(diǎn)恢復(fù)能力。充分考慮設(shè)備的冗余，避免 VPLEX 出現(xiàn)故障或者 VPLEX 后端存儲(chǔ)全部故障后不能進(jìn)行數(shù)據(jù)的恢復(fù)，在生產(chǎn)中心未采用 CDP 的保護(hù)方式，而采用了 CRR

21、 的方式，將連續(xù)性保護(hù)數(shù)據(jù)放置在獨(dú)立的存儲(chǔ)（未接入 VPLEX），出于成本的考慮，采用 Dell EMC unity 的存儲(chǔ)作為 CRR 保護(hù)的數(shù)據(jù)存儲(chǔ)。為避免對(duì)生產(chǎn)環(huán)境的性能造成影響，Recovery Point 使用異步模式進(jìn)行CRR 數(shù)據(jù)保護(hù)。1.應(yīng)用服務(wù)器向 LUN 發(fā)送一個(gè)受 RecoveryPoint 保護(hù)的寫請(qǐng)求。 VPLEX 拆分器會(huì)截取這個(gè)寫請(qǐng)求2.VPLEX 拆分器拆分了寫請(qǐng)求并將它同時(shí)發(fā)送到生產(chǎn)卷和 RPA3.當(dāng) RPA 收到寫請(qǐng)求時(shí)，將確認(rèn)信息發(fā)送回拆分器4.RPA 將它與其他寫請(qǐng)求綁定，將數(shù)據(jù)寫入在恢復(fù)存儲(chǔ)的日志卷5.數(shù)據(jù)被寫入到日志卷后，分發(fā)到 CRR 拷貝，并保留

22、原來(lái)的寫順序2.2.2 第二階段規(guī)劃設(shè)計(jì)建立同城雙活+異地容災(zāi)的兩地三中心容災(zāi)體系，并完善數(shù)據(jù)的保護(hù)機(jī)制，建立多層次的防范機(jī)制，來(lái)保障數(shù)據(jù)的可靠性和安全性。其中存儲(chǔ)雙活技術(shù)只是一個(gè)層面，只能在存儲(chǔ)故障或者站點(diǎn)級(jí)的災(zāi)難時(shí)提供數(shù)據(jù)保護(hù)，對(duì)于邏輯錯(cuò)誤和誤操作卻無(wú)能為力，故需要在建立同城雙活的基礎(chǔ)上輔以備份技術(shù)、數(shù)據(jù)庫(kù)復(fù)制技術(shù)，連續(xù)性數(shù)據(jù)保護(hù)技術(shù)，建立了完善的數(shù)據(jù)保障體系。2.2.2.1 同城雙活同城中心按照信息系統(tǒng)災(zāi)難恢復(fù)等級(jí) 6 級(jí)的標(biāo)準(zhǔn)進(jìn)行建設(shè)，按照相關(guān)監(jiān)管要求，最終設(shè)定一類業(yè)務(wù)系統(tǒng)的 RPO=0，RTO30 分鐘。為了盡量的縮短業(yè)務(wù)恢復(fù)時(shí)間 RTO，需要減少人工進(jìn)行故障分析、并執(zhí)行人工切換系統(tǒng)

23、的操作，故最終采用 VPLEX Metro+Oracle Extent Rac 的方式來(lái)避免在數(shù)據(jù)層面花費(fèi)較多的時(shí)間執(zhí)行數(shù)據(jù)庫(kù)故障的判斷和切換，而應(yīng)用層面通過(guò)前端的負(fù)載引流實(shí)現(xiàn)應(yīng)用的高可用。VPLEX Metro 能夠?yàn)橹鳈C(jī)提供跨站點(diǎn)的共享存儲(chǔ)，兩個(gè)站點(diǎn)都能同時(shí)讀寫同一份數(shù)據(jù)。VPLEX Metro 下存儲(chǔ)的邏輯結(jié)構(gòu)如下所示：Dell EMC VPLEX Metro 打破了數(shù)據(jù)中心的物理壁壘，允許用戶并發(fā)訪問(wèn)位于不同地理位置的數(shù)據(jù)。采用 VPLEX Metro 的擴(kuò)展Oracle Extent RAC 允許訪問(wèn)單個(gè)數(shù)據(jù)庫(kù)時(shí)在多個(gè)站點(diǎn)之間透明地共享工作負(fù)載，同時(shí)可以在預(yù)見(jiàn)到計(jì)劃內(nèi)事件（例如硬件維

24、護(hù)）時(shí)靈活地遷移站點(diǎn)間的工作負(fù)載。此外，如果發(fā)生的計(jì)劃外事件導(dǎo)致其中一個(gè)數(shù)據(jù)中心中斷服 務(wù)，則可使用 Oracle Transparent Application Failover (TAF) 自動(dòng)地將出現(xiàn)故障的客戶端連接重定向到仍正常運(yùn)行的站點(diǎn)上運(yùn)行的 Oracle RAC 節(jié)點(diǎn)。在同城雙中心使用 VPLEX Metro 構(gòu)建存儲(chǔ)雙活，在此基礎(chǔ)上實(shí)現(xiàn) Oracle Extent Rac。并在同一中心部署 ADG 的只讀庫(kù)，進(jìn)行讀寫分離，主要用于一些報(bào)表和沒(méi)有時(shí)限嚴(yán)格要求的查詢類業(yè)務(wù)。同時(shí)針對(duì)誤操作或邏輯錯(cuò)誤進(jìn)行規(guī)劃設(shè)計(jì)，使用持續(xù)性數(shù)據(jù)保護(hù)+長(zhǎng)期備份歸檔的的體系來(lái)保障數(shù)據(jù)的安全。針對(duì)數(shù)據(jù)庫(kù)的數(shù)

25、據(jù)保護(hù)，使用 Oracle 數(shù)據(jù)庫(kù)的數(shù)據(jù)復(fù)制技術(shù) ADG 并結(jié)合閃回功能，能夠快速回滾到故障發(fā)生點(diǎn)，進(jìn)行數(shù)據(jù)的查詢和恢復(fù)，必要時(shí)可以將業(yè)務(wù)切換到 ADG 數(shù)據(jù)庫(kù)進(jìn)行運(yùn)行。同時(shí)使用備份系統(tǒng)定期進(jìn)行長(zhǎng)期數(shù)據(jù)備份歸檔，以滿足間隔時(shí)間較長(zhǎng)的數(shù)據(jù)的恢復(fù)需求。而應(yīng)用系統(tǒng)文件系統(tǒng)中的重要數(shù)據(jù)，通過(guò) Recovery Point 的CRR 進(jìn)行持續(xù)的數(shù)據(jù)保護(hù)，同時(shí)輔以備份系統(tǒng)進(jìn)行長(zhǎng)期的數(shù)據(jù)備份歸檔，在發(fā)生誤操作或邏輯錯(cuò)誤時(shí)可以通過(guò) CRR 快速恢復(fù)近期的數(shù)據(jù)，而間隔較遠(yuǎn)的時(shí)間點(diǎn)的數(shù)據(jù)可以通過(guò)備份系統(tǒng)進(jìn)行恢復(fù)。2.2.2.2 異地災(zāi)備異地災(zāi)備按照信息系統(tǒng)災(zāi)難恢復(fù)等級(jí) 5 級(jí)的標(biāo)準(zhǔn)進(jìn)行建設(shè)，最終設(shè)定一類業(yè)務(wù)系統(tǒng)的

26、RPO15 分鐘，RTO300 分鐘。在數(shù)據(jù)庫(kù)上，關(guān)鍵業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)采用 Oracle ADG 進(jìn)行數(shù)據(jù)庫(kù)的災(zāi)備建設(shè)，從生產(chǎn)中心的 ADG 數(shù)據(jù)庫(kù)將數(shù)據(jù)復(fù)制到異地災(zāi)備的數(shù)據(jù)庫(kù)。而應(yīng)用系統(tǒng)和其他的數(shù)據(jù)庫(kù)使用 Dell EMC Recovery Point 進(jìn)行CRR 的數(shù)據(jù)保護(hù)，通過(guò)生產(chǎn)中心的的 Recovery Point 將數(shù)據(jù)發(fā)送到災(zāi)備中心的 Recovery Point 進(jìn)行數(shù)據(jù)保護(hù)。同時(shí)將同城雙活中心的備份數(shù)據(jù)復(fù)制到異地災(zāi)備中心，滿足備份歸檔異地存放的需要。3. 關(guān)鍵問(wèn)題兩地三中心的建設(shè)，是為業(yè)務(wù)連續(xù)性提供服務(wù)，在發(fā)生故障后，盡最大可能的保障數(shù)據(jù)能夠被恢復(fù)，業(yè)務(wù)能夠快速的恢復(fù)服務(wù)。因此

27、在整個(gè)方案中需要盡可能多的假設(shè)各種故障場(chǎng)景，考慮各場(chǎng)景的應(yīng)對(duì)方案，才能盡量減少在系統(tǒng)運(yùn)行中發(fā)生的預(yù)期外的異常，保障系統(tǒng)的正常運(yùn)行。在整個(gè)方案中，重點(diǎn)需要關(guān)注以下的幾個(gè)方面。3.1 仲裁一致性問(wèn)題VPLEX Metro+Oracle Extent Rac 的方案，關(guān)鍵在于仲裁一致性的設(shè)計(jì)以及雙活中心間鏈路帶寬和延遲。為防止 VPLEX Metro 的仲裁和 Oracle 的仲裁出現(xiàn)不一致的情況，需要先了解兩種仲裁的機(jī)制和情況，在考慮如何避免仲裁不一致。3.1.1 VPLEX 仲裁VPLEX 有一套自己的防腦裂機(jī)制：分離規(guī)則和VPLEX Witness。分離規(guī)則分離規(guī)則是在與遠(yuǎn)程群集的連接中斷（例

28、如，網(wǎng)絡(luò)分區(qū)或遠(yuǎn)程群集故障）時(shí)，確定一致性組 IO 處理語(yǔ)義的預(yù)定義規(guī)則。在這些情況下，在恢復(fù)通信之前，大多數(shù)工作負(fù)載需要特定虛擬卷集，才能在一個(gè)群集上繼續(xù) IO 并在另一個(gè)群集上暫停 IO。在 VPLEX Metro 配置中， 分離規(guī)則可以描述靜態(tài)首選群集， 方法是設(shè)置： winner:cluster-1、winner:cluster-2 或 No Automatic Winner（無(wú)自動(dòng)優(yōu)勝者）（其中，最后一項(xiàng)指定無(wú)首選群集）。如果部署的系統(tǒng)沒(méi)有 VPLEX Witness（將在下節(jié)中論述），一致性組設(shè)備 IO 將在首選群集中繼續(xù)，并在非首選群集中暫停。VPLEX WitnessVPLEX

29、 Witness 通過(guò)管理IP 網(wǎng)絡(luò)連接至兩個(gè)VPLEX Metro 群集。VPLEX Witness 通過(guò) 將其自身的觀察與群集定期報(bào)告的信息進(jìn)行協(xié)調(diào)，讓群集可區(qū)分群集內(nèi)網(wǎng)絡(luò)分區(qū)故障和群集故障，并在這些情況下自動(dòng)繼續(xù)相應(yīng)站點(diǎn)上的 IO。VPLEX Witness 僅影響屬于 VPLEX Metro 配置中同步一致性組成員的虛擬卷，并且僅當(dāng)分離規(guī)則指明群集 1 或群集 2 是一致性組首選群集時(shí)才會(huì)影響。沒(méi)有 VPLEX Witness 時(shí)，如果兩個(gè) VPLEX 群集失去聯(lián)系，生效中的一致性組分離規(guī)則將定義哪個(gè)群集繼續(xù)操作以及哪個(gè)暫停 IO，如上所述。僅使用分離規(guī)則來(lái)控制哪個(gè)站點(diǎn)是優(yōu)勝者時(shí)，可能

30、會(huì)在出現(xiàn)站點(diǎn)故障時(shí)增加不必要的復(fù)雜性，因?yàn)榭赡苄枰謩?dòng)干預(yù)才能恢復(fù)仍正常運(yùn)行的站點(diǎn) IO。VPLEX Witness 會(huì)動(dòng)態(tài)地自動(dòng)處理此類事件，這也是它成為擴(kuò)展 Oracle RAC 部署絕對(duì)必要項(xiàng)的原因。它提供了以下幾項(xiàng)內(nèi)容：在數(shù)據(jù)中心之間自動(dòng)實(shí)現(xiàn)負(fù)載平衡主動(dòng)/主動(dòng)使用兩個(gè)數(shù)據(jù)中心存儲(chǔ)層的完全自動(dòng)故障處理為了讓 VPLEX Witness 能夠正確區(qū)分各種故障情況，必須使用互不相同的網(wǎng)絡(luò)接口在獨(dú)立于任意群集的故障域中安裝它。這將消除單個(gè)故障同時(shí)影響群集和 VPLEX Witness的可能性。例如，如果將 VPLEX Metro 配置的兩個(gè)群集部署在同一數(shù)據(jù)中心的兩個(gè)不同樓層，請(qǐng)?jiān)诓煌瑯菍硬渴?/p>

31、VPLEX Witness。另一方面，如果將VPLEX Metro 配置的兩個(gè)群集部署在兩個(gè)不同的數(shù)據(jù)中心，請(qǐng)?jiān)诘谌齻€(gè)數(shù)據(jù)中心部署 VPLEX Witness。VPLEX Witness 仲裁的場(chǎng)景如下所示：1、Witness 或Witnes 網(wǎng)絡(luò)連接故障2、 Cluster2 故障或Cluster2 與Witness 通訊故障3、 Cluster1 和Cluster2 之間復(fù)制鏈路故障4、 Cluster1 和Cluster2 之間復(fù)制鏈路故障同時(shí)Witness 與Cluster2 通訊故障3.1.2 Oracle 仲裁絡(luò)跳絡(luò)跳主要是確保集群節(jié)點(diǎn)間的連通性，以便節(jié)點(diǎn)之間能夠了解彼此的狀態(tài)。o

32、cssd.bin 進(jìn)程每秒向其他節(jié)點(diǎn)發(fā)送絡(luò)跳，通過(guò)跳情況確認(rèn)節(jié)點(diǎn)的連通性，以及當(dāng)絡(luò)跳出現(xiàn)問(wèn)題時(shí)做出處理。若某個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)心跳在 misscount 指定的秒數(shù)中都沒(méi)有被收到的話，該節(jié)點(diǎn)被認(rèn)為已經(jīng)“死亡”。在出現(xiàn)集群分裂的情況下，基于簡(jiǎn)單多數(shù)原則，擁有節(jié)點(diǎn)數(shù)量多的子集群存活。若是節(jié)點(diǎn)數(shù)一致則 RAC 會(huì)選擇保留擁有最低節(jié)點(diǎn)號(hào)節(jié)點(diǎn)的子集群。磁盤跳如果由于絡(luò)跳異常，導(dǎo)致集群出現(xiàn)腦裂的發(fā)，磁盤跳則幫助解決該問(wèn)題。Oracle 集群的每個(gè)節(jié)點(diǎn)每秒都會(huì)向集群中所有的表決盤注冊(cè)本地節(jié)點(diǎn)的磁盤跳信息， 也就是說(shuō)，所有的Voting File 的信息是相同的。同時(shí)會(huì)將能夠聯(lián)系的到的集群中的其他節(jié)點(diǎn)的信息，或者說(shuō)

33、本地節(jié)點(diǎn)認(rèn)為集群中的成員列表信息填到表決盤中。旦發(fā)腦裂， CSS 的重新配置線程就會(huì)通過(guò)表決盤的信息了解集群節(jié)點(diǎn)間的連通性，從決定集群會(huì)分裂成個(gè)集群，以及每個(gè)集群所包含的節(jié)點(diǎn)情況和每個(gè)節(jié)點(diǎn)的狀態(tài)。如果發(fā)現(xiàn)某個(gè)節(jié)點(diǎn)在指定的時(shí)間內(nèi)沒(méi)有寫入磁盤心跳，這個(gè)節(jié)點(diǎn)就被判決為死亡。如果一個(gè)節(jié)點(diǎn)處于未知狀態(tài)，其他節(jié)點(diǎn)也會(huì)通過(guò)更新它的 voting disk 上的 kill block 狀態(tài)的方式把它驅(qū)逐出集群?？偟膩?lái)說(shuō)，網(wǎng)絡(luò)心跳每秒都會(huì)發(fā)起，如果一個(gè)節(jié)點(diǎn)超出了參數(shù) css_miscount time 設(shè)定的時(shí)間沒(méi)有響應(yīng)，就會(huì)被踢出集群。類似的，集群里的每個(gè)節(jié)點(diǎn)每秒讀寫voting disk 特定區(qū)域，出現(xiàn)超時(shí)

34、響應(yīng)的節(jié)點(diǎn)也會(huì)被踢出集群。發(fā)生集群分裂的情況下，根據(jù)表決盤中的信息，判斷集群分裂情況，按照簡(jiǎn)單多數(shù)原則和最低節(jié)點(diǎn)號(hào)的原則保留活動(dòng)節(jié)點(diǎn)。3.1.3 VPLEX 和 Oracle 仲裁一致性為了減少腦裂情況的發(fā)生并且在發(fā)生腦裂時(shí)保持仲裁的一致性，在設(shè)計(jì)時(shí)需要遵循的原則：1、在設(shè)計(jì)時(shí)將 VPLEX 的 winner cluster 節(jié)點(diǎn)和 Oracle 的 Lowest Cluster ID 節(jié)點(diǎn)部署在同一個(gè)站點(diǎn)2、Oracle Clusterware 文件（OCR 和表決文件）應(yīng)部署在VPLEX Metro 的分布式卷上，使 Oracle 仲裁的磁盤心跳依賴于 VPLEX 的仲裁，以便能夠保持 V

35、PLEX 和 Oracle 仲裁的一致3、Oracle RAC 的 misscount 大于 VPLEX Winner: cluster-x delay_time。4、Oracle Rac 的心跳網(wǎng)絡(luò)和VPLEX Metro 的復(fù)制網(wǎng)絡(luò)需要采用冗余設(shè)計(jì)，避免單點(diǎn)故障的發(fā)生5、在第三站點(diǎn)部署Witness，Witness 與VPLEX Metro 的兩個(gè) Cluster 采用獨(dú)立的網(wǎng)絡(luò)連接在發(fā)生雙活中心鏈路中斷問(wèn)題時(shí)，VPLEX 先進(jìn)行仲裁，保留一個(gè)站點(diǎn)的 IO 讀寫（此過(guò)程 IO 會(huì) hang，默認(rèn)為 5S），假設(shè)為 A 站點(diǎn)。另外一個(gè)站點(diǎn)的 IO 將被Suspeded，假設(shè)為 B 站點(diǎn)。這時(shí)

36、無(wú)論Oracle 心跳網(wǎng)絡(luò)是否正常，則 B 站點(diǎn)的節(jié)點(diǎn)都因?yàn)椴荒茉L問(wèn)表決盤將會(huì)被踢出集群并重啟，而A 站點(diǎn)的節(jié)點(diǎn)繼續(xù)提供服務(wù)。而在一些特殊的場(chǎng)景下，會(huì)發(fā)生兩個(gè)站點(diǎn)都不能使用的情況，如：在VPLEX Metro 鏈路斷開(kāi)后重新恢復(fù)時(shí)，兩個(gè)站點(diǎn)的數(shù)據(jù)正在進(jìn)行同步，假設(shè)從A 站點(diǎn)同步到 B 站點(diǎn)，這時(shí)若發(fā)生A 站點(diǎn)的故障，則 B 站點(diǎn)由于Oracle 節(jié)點(diǎn)不能對(duì) B 站點(diǎn)的VPLEX 進(jìn)行正常的讀寫，導(dǎo)致 B 站點(diǎn)的Oracle 節(jié)點(diǎn)也出現(xiàn)宕機(jī)，該情況下可能出現(xiàn)數(shù)據(jù)不完整導(dǎo)致 B 站點(diǎn)的Oracle 服務(wù)需要進(jìn)行恢復(fù)才能提供服務(wù)，并且存儲(chǔ)數(shù)據(jù)丟失的問(wèn)題。針對(duì)此類情況，只能通過(guò)其他的保護(hù)機(jī)制進(jìn)行業(yè)務(wù)連

37、續(xù)性的保護(hù)，如在本方案中除采用 Oracle Extent RAC 外還使用了ADG 進(jìn)行數(shù)據(jù)保護(hù)。3.2 同城雙活中心間鏈路抖動(dòng)問(wèn)題若出現(xiàn)鏈路延遲較大或者頻繁出現(xiàn)連接中斷，都可能會(huì)對(duì)系統(tǒng)的運(yùn)行造成重大影響。雙活中心的鏈路質(zhì)量需要注意的事項(xiàng)：1.在進(jìn)行鏈路設(shè)計(jì)時(shí)，需要充分考慮鏈路的冗余。從波分設(shè)備、交換機(jī)、存儲(chǔ)和主機(jī)接入都需要進(jìn)行詳細(xì)的規(guī)劃設(shè)計(jì)，保證任一環(huán)節(jié)不存在單點(diǎn)故障。而對(duì)于不受控的運(yùn)營(yíng)商線路，需要同時(shí)租用兩家以上的運(yùn)營(yíng)商裸纖，有條件的話，對(duì)運(yùn)營(yíng)商的裸纖的路線和進(jìn)入數(shù)據(jù)中心的弱電井等進(jìn)行詳細(xì)了解，盡量避免存在物理空間上的交叉。2.對(duì)鏈路質(zhì)量進(jìn)行檢測(cè)，包括光衰、延遲、抖動(dòng)等。最好在雙活建設(shè)之前進(jìn)行鏈路質(zhì)量的測(cè)試和檢測(cè)，及時(shí)發(fā)現(xiàn)問(wèn)題并與運(yùn)營(yíng)商進(jìn)行溝通處理。3.做好鏈路抖動(dòng)或延遲大的處理預(yù)案