系統(tǒng)兩地三中心方案

1、Useful Documents 金融行業(yè)“兩地三中心”數(shù)據(jù)備份與恢復(fù)方案設(shè)計(jì) 1. “兩地三中心”設(shè)計(jì)背景 1.1. 行業(yè)背景 中國(guó)有句俗話，“人無遠(yuǎn)慮，必有近憂”。伴隨信息化的不斷深入，銀行越 來越依賴信息系統(tǒng)， 在信息化給社會(huì)和銀行帶來巨大好處的同時(shí)， 這也使得銀行 的組織更易遭受攻擊，從而造成業(yè)務(wù)系統(tǒng)的中斷、數(shù)據(jù)丟失等。 近年來，越來越多的銀行發(fā)現(xiàn)，他們的 IT 系統(tǒng)意外地、不必要地中斷 即便是臨時(shí)性的， 也會(huì)使銀行業(yè)務(wù)活動(dòng)立即中斷， 無法繼續(xù)開展， 數(shù)據(jù)的丟失或 訪問中斷，不僅影響了系統(tǒng)運(yùn)行，還給銀行造成重大損失。 1.2. 業(yè)務(wù)持續(xù)性需求 銀行的服務(wù)日益全球化， 經(jīng)濟(jì)的增長(zhǎng)和國(guó)民財(cái)

2、富的急劇增長(zhǎng)， 客戶的需求日 益多樣化和復(fù)雜化， 對(duì)銀行的服務(wù)質(zhì)量的期望值越來越高， 使銀行保持業(yè)務(wù)連續(xù) 狀態(tài)成為當(dāng)務(wù)之急。 所謂業(yè)務(wù)連續(xù)， 就是無論發(fā)生任何情況， 關(guān)鍵系統(tǒng)和網(wǎng)絡(luò)都 持續(xù)可用。 傳統(tǒng)意義上的備份和恢復(fù)計(jì)劃無法繼續(xù)滿足需要。 當(dāng)今的預(yù)防措施應(yīng)該包括 風(fēng)險(xiǎn)評(píng)估、 中斷影響分析以及避免中斷策略， 必須將這些因素充分考慮進(jìn)綜合業(yè) 務(wù)持續(xù)性計(jì)劃。 在信息時(shí)代， 業(yè)務(wù)持續(xù)性不再是一項(xiàng)“可有可無”的工作， 而是 “勢(shì)在必行”的重點(diǎn)規(guī)劃。 1.3. “兩地三中心”業(yè)務(wù)保障 影響業(yè)務(wù)持續(xù)性發(fā)展的因素很多，既有外部因素，如電力、通訊等；也有內(nèi) 部因素，如場(chǎng)地、人員、決策、 IT 技術(shù)等。但從系統(tǒng)

3、的觀念看，可以說目前影 響銀行業(yè)務(wù)持續(xù)發(fā)展的最直接的威脅來自于信息系統(tǒng)的安全。 Useful Documents Useful Documents 健全業(yè)務(wù)持續(xù)性風(fēng)險(xiǎn)的預(yù)防策略和措施，需要以下幾點(diǎn)基于業(yè)務(wù)的需求： a) 實(shí)施數(shù)據(jù)集中保護(hù)。隨著數(shù)據(jù)日益成為銀行的生命線，支持業(yè)務(wù)持續(xù)性 的數(shù)據(jù)存儲(chǔ)策略成為銀行必須考慮的重點(diǎn)。 它的優(yōu)勢(shì)在于， 總體存儲(chǔ)的方式可使 銀行降低購(gòu)置和維護(hù)的成本，最大限度地減少管理多個(gè)獨(dú)立業(yè)務(wù)系統(tǒng)的復(fù)雜性， 提高銀行數(shù)據(jù)的整體安全性。 同時(shí)， 存儲(chǔ)容量也可得以優(yōu)化， 減少利用率偏低的 現(xiàn)象。 b) 采用冗余、集群、負(fù)載均衡能力等技術(shù)，消除單點(diǎn)故障，提高系統(tǒng)的高 可用性，提高

4、系統(tǒng)性能影響。 建立信息系統(tǒng)安全業(yè)務(wù)持續(xù)性保障體系， 針對(duì)災(zāi)難性事件的預(yù)防目標(biāo)， 建議 總、分行層面考慮建立異地容災(zāi)環(huán)境， 建立異地備份機(jī)房， 配備核心業(yè)務(wù)需要的 基礎(chǔ)設(shè)施、網(wǎng)絡(luò)設(shè)備、通訊線路和計(jì)算機(jī)設(shè)備；建立數(shù)據(jù)服務(wù)器區(qū)，實(shí)現(xiàn)全行經(jīng) 營(yíng)數(shù)據(jù)的集中保存。構(gòu)建生產(chǎn)中心、同城災(zāi)備中心、異地災(zāi)備中心的“兩地三個(gè) 中心”災(zāi)備體系。 2. “兩地三中心”災(zāi)難恢復(fù)系統(tǒng)布局 2.1. 布局原則 a)災(zāi)難備份中心設(shè)置在中華人民共和國(guó)境內(nèi)； b) 災(zāi)難備份中心與生產(chǎn)中心之間距離合理， 應(yīng)避免災(zāi)難備份中心與生產(chǎn)中心 同時(shí)遭受同類風(fēng)險(xiǎn)； c) 災(zāi)難備份中心的選址應(yīng)服從國(guó)家戰(zhàn)略安全要求， 并綜合考慮生產(chǎn)中心與災(zāi) 難備

5、份中心交通和電訊的便利性與多樣性， 以及災(zāi)難備份中心當(dāng)?shù)氐臉I(yè)務(wù)與技術(shù) 支持能力、電訊資源、地理地質(zhì)環(huán)境、公共資源與服務(wù)配套能力等外部支持條件。 2.2. 布局模式 Useful Documents Useful Documents 根據(jù)成本風(fēng)險(xiǎn)平衡原則以及運(yùn)行管理要求，采用“一主雙備”布局模式，即 一個(gè)生產(chǎn)中心，兩個(gè)個(gè)備份中心，其中一個(gè)同城備份、一個(gè)異地備份。 對(duì)于同城數(shù)據(jù)備份中心，應(yīng)與生產(chǎn)中心直線距離至少達(dá)到 30 公里，可以接 管所有核心業(yè)務(wù)的運(yùn)行； 對(duì)于異地?cái)?shù)據(jù)備份中心， 應(yīng)與生產(chǎn)中心直線距離至少達(dá) 到 100 公里。 3. “兩地三中心”災(zāi)難恢復(fù)系統(tǒng)設(shè)計(jì) 3.1. “兩地三中心”框架設(shè)

6、計(jì) 結(jié)合近年國(guó)內(nèi)出現(xiàn)的大范圍自然災(zāi)害， 以同城雙中心加異地災(zāi)備中心的 “兩 地三中心”的災(zāi)備模式兼具高可用性和災(zāi)難備份的能力。 同城雙中心是指在同城或鄰近城市建立兩個(gè)可獨(dú)立承擔(dān)關(guān)鍵系統(tǒng)運(yùn)行的數(shù) 據(jù)中心，雙中心具備基本等同的業(yè)務(wù)處理能力并通過高速鏈路實(shí)時(shí)同步數(shù)據(jù)， 日 常情況下可同時(shí)分擔(dān)業(yè)務(wù)及管理系統(tǒng)的運(yùn)行， 并可切換運(yùn)行； 災(zāi)難情況下可在基 本不丟失數(shù)據(jù)的情況下進(jìn)行災(zāi)備應(yīng)急切換， 保持業(yè)務(wù)連續(xù)運(yùn)行。 與異地災(zāi)備模式 相比較，同城雙中心具有投資成本低、建設(shè)速度快、運(yùn)維管理相對(duì)簡(jiǎn)單、可靠性 更高等優(yōu)點(diǎn)。 異地災(zāi)備中心是指在異地的城市建立一個(gè)備份的災(zāi)備中心， 用于雙中心的數(shù) 據(jù)備份，當(dāng)雙中心出現(xiàn)自然

7、災(zāi)害等原因而發(fā)生故障時(shí)， 異地災(zāi)備中心可以用備份 數(shù)據(jù)進(jìn)行業(yè)務(wù)的恢復(fù)。 兩地三中心”的災(zāi)備模式框架圖如下圖所示： 如圖，同城雙中心的應(yīng)用切換， 采用集群軟件來實(shí)現(xiàn)， 生產(chǎn)中心主機(jī)和災(zāi)備 中心主機(jī)上都需要進(jìn)行集群。 采用集群監(jiān)測(cè)本地雙機(jī)或集群狀態(tài)， 并通過組件在 Useful Documents Useful Documents 本地和遠(yuǎn)程的集群之間進(jìn)行狀態(tài)監(jiān)測(cè)。 在網(wǎng)絡(luò)層， 同城雙中心之間采用光纖連接， 保證雙中心之間較大的帶寬， 以 響應(yīng)實(shí)時(shí)的業(yè)務(wù)數(shù)據(jù)需求，同城異地之間采用專網(wǎng)或 IP 廣域網(wǎng)即可實(shí)現(xiàn)，以節(jié) 約成本。同城雙中心的光纖采用波分復(fù)用( WDM )技術(shù)進(jìn)行建設(shè)，針對(duì)兩地只 有 1

8、條或 2 條光纖連接的場(chǎng)景， 采用 WDM 方式，能夠虛擬出多條 FC或 GE聯(lián) 絡(luò)，滿足兩地之間對(duì)業(yè)務(wù)和數(shù)據(jù)多重鏈路的需求。 WDM 技術(shù)能充分利用光纖的 巨大帶寬資源， 大幅度提高系統(tǒng)傳輸容量， 降低傳輸成本， 因此在長(zhǎng)途和骨干網(wǎng) 的超大容量傳輸中得到了廣泛的應(yīng)用。將 WDM 技術(shù)引入城域網(wǎng)、接入網(wǎng)，整 個(gè)網(wǎng)絡(luò)就會(huì)變成無縫連接的整體， 為所有不同的業(yè)務(wù)提供支持和連接， 因此城域 網(wǎng)中 WDM 具有很大優(yōu)越性。 在數(shù)據(jù)存儲(chǔ)層， 部署虛擬存磁盤陣列， 通過存儲(chǔ)的同步遠(yuǎn)程復(fù)制功能將數(shù)據(jù) 同步復(fù)制到災(zāi)備站點(diǎn)。 確保生產(chǎn)中心和災(zāi)備中心的數(shù)據(jù)完全一致。 使用存儲(chǔ)的異 步復(fù)制功能， 將數(shù)據(jù)通過廣域網(wǎng)復(fù)制

9、到遠(yuǎn)端的災(zāi)備站點(diǎn)， 并且保證數(shù)據(jù)的完整性 和可用性。 遠(yuǎn)端站點(diǎn)的作用主要是用來防止地理和自然災(zāi)難， 當(dāng)同城的雙中心全 部故障后，可以確保在異地有一份完整的數(shù)據(jù)拷貝，用于后續(xù)業(yè)務(wù)的恢復(fù)。 3.2. 災(zāi)難恢復(fù)能力等級(jí)需求 3.2.1. 國(guó)家標(biāo)準(zhǔn)要求災(zāi)難備份級(jí)別 根據(jù)國(guó)家標(biāo)準(zhǔn)信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范 (GB/T20988-20RR) 的定義：災(zāi)難 是指由于人為或自然的原因， 造成信息系統(tǒng)嚴(yán)重故障或癱瘓， 使信息系統(tǒng)支持的 業(yè)務(wù)功能停頓或服務(wù)水平不可接受、達(dá)到特定的時(shí)間的突發(fā)性事件。 災(zāi)難備份是指為了災(zāi)難恢復(fù)而對(duì)數(shù)據(jù)、 數(shù)據(jù)處理系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)、基礎(chǔ)設(shè)施、 專業(yè)技術(shù)支持能力和運(yùn)行管理能力進(jìn)行備份的過程； 而

10、災(zāi)難恢復(fù)是指為了將信息 系統(tǒng)從災(zāi)難造成的故障或癱瘓狀態(tài)恢復(fù)到可正常運(yùn)行狀態(tài)、 并將其支持的業(yè)務(wù)功 Useful Documents Useful Documents 能從災(zāi)難造成的不正常狀態(tài)恢復(fù)到可接受狀態(tài)， 而設(shè)計(jì)的活動(dòng)和流程。 災(zāi)備系統(tǒng) 的建設(shè)包含七要素：數(shù)據(jù)備份系統(tǒng)、備用數(shù)據(jù)處理系統(tǒng)、備用網(wǎng)絡(luò)系統(tǒng)、備用基 礎(chǔ)設(shè)施、專業(yè)技術(shù)支持能力、運(yùn)行維護(hù)管理能力、災(zāi)難恢復(fù)預(yù)案。 信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范 將災(zāi)難恢復(fù)能力劃分為 6 級(jí)，災(zāi)難恢復(fù)能力等級(jí) 越高，對(duì)信息系統(tǒng)的保護(hù)效果越好， 但同時(shí)成本也會(huì)迅速上升。 災(zāi)備等級(jí)主要從 RTO（恢復(fù)時(shí)間目標(biāo) ）和 RPO（恢復(fù)點(diǎn)目標(biāo)）來考慮，RPO（恢復(fù)點(diǎn)目標(biāo) ）是

11、指發(fā)生災(zāi) 難前最后一次備份的時(shí)間點(diǎn)距離當(dāng)前時(shí)間差 （數(shù)據(jù)丟失時(shí)間 ）；RTO（時(shí)間恢復(fù)目標(biāo) ） 是指發(fā)生災(zāi)難后恢復(fù)物理系統(tǒng)環(huán)境的時(shí)間。大部分的用戶關(guān)注的是數(shù)據(jù)安全性， 即 RPO 值 （RPO 越小，數(shù)據(jù)丟失越少 ），但是用戶往往談的更多的是 RTO（RTO 越小，恢復(fù)生產(chǎn)越快 ）。 3.2.2. 金融行業(yè)標(biāo)準(zhǔn)要求災(zāi)難恢復(fù)級(jí)別 金融行業(yè)標(biāo)準(zhǔn) 銀行業(yè)信息系統(tǒng)災(zāi)難恢復(fù)管理規(guī)范 （JR/T0044-20RR） 中指 出金融單位應(yīng)根據(jù)風(fēng)險(xiǎn)分析、 業(yè)務(wù)功能分析和業(yè)務(wù)中斷影響分析的結(jié)論， 將信息 系統(tǒng)按時(shí)間敏感性分成三類需求等級(jí)： 第一類：短時(shí)間中斷將嚴(yán)重影響單位關(guān)鍵業(yè)務(wù)功能并造成重大經(jīng)濟(jì)損失的系 統(tǒng)；單

12、位和用戶對(duì)系統(tǒng)短時(shí)間中斷不能容忍的系統(tǒng)。 第二類：短時(shí)間中斷將影響單位部分關(guān)鍵業(yè)務(wù)功能并造成較大經(jīng)濟(jì)損失的系 統(tǒng)；單位和用戶對(duì)系統(tǒng)短時(shí)間中斷具有一定容忍度的系統(tǒng)。 第三類：短時(shí)間中斷將影響單位非關(guān)鍵業(yè)務(wù)功能并造成一定經(jīng)濟(jì)損失的系統(tǒng)； 業(yè)務(wù)功能容許一段時(shí)間中斷的系統(tǒng)。 根據(jù)信息系統(tǒng)的時(shí)間敏感性，確定信息系統(tǒng)災(zāi)難恢復(fù)目標(biāo)的最低要求： 第一類： RTO6 小時(shí)， RPO15 分鐘； Useful Documents Useful Documents 第二類： RTO24 小時(shí)， RPO120 分鐘； 第三類： RTO7 天。 結(jié)合信息系統(tǒng)災(zāi)難恢復(fù)目標(biāo)的最低要求和 信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范 將災(zāi)難 恢復(fù)能

13、力劃分為 6 級(jí)要求，第一類信息系統(tǒng)達(dá)到 5 級(jí)災(zāi)難恢復(fù)能力；第二類達(dá) 到 3 級(jí)災(zāi)難恢復(fù)能力；第三類達(dá)到 2 級(jí)災(zāi)難恢復(fù)能力。 3.3. “兩地三中心”建設(shè)策略 依照中國(guó)金融行業(yè) IT 戰(zhàn)略規(guī)劃和架構(gòu)的要求，我們認(rèn)為“兩地三中心”的 建設(shè)應(yīng)按照如下策略進(jìn)行： “兩地三中心”建設(shè)要滿足業(yè)務(wù)的需求。建設(shè)資金投入、功能、處理能力、 管理方式等必須滿足目前的業(yè)務(wù)需求，同時(shí)還要兼顧未來發(fā)展的要求。 “兩地三中心” 需要建立高可用性的架構(gòu)。 其中災(zāi)備中心啟用后， 就開始做 為生產(chǎn)中心提供服務(wù)。 因此災(zāi)備中心也應(yīng)該與生產(chǎn)中心一樣， 對(duì)關(guān)鍵業(yè)務(wù)應(yīng)用采 用高可用性架構(gòu)，以防止由于單點(diǎn)故障而引起宕機(jī) “兩地三中

14、心” 應(yīng)該可以提供演習(xí)環(huán)境。 演習(xí)是保證業(yè)務(wù)永續(xù)運(yùn)行計(jì)劃有效 性的重要手段， 每年至少應(yīng)該舉行一次。 演習(xí)環(huán)境是為了保證在演習(xí)是正常的業(yè) 務(wù)處理仍能繼續(xù)而建立的。 “兩地三中心” 設(shè)備應(yīng)該得到充分利用。 系統(tǒng)建設(shè)不僅要考率到緊急情況下 的使用情況， 還要考慮日常如何利用。 例如，為了在平時(shí)提供災(zāi)備中心設(shè)備的利 用率，可以利用災(zāi)備中心的設(shè)備進(jìn)行應(yīng)用的開發(fā)和測(cè)試。 “兩地三中心”建設(shè)以用先進(jìn)、成熟的方法論做為指導(dǎo)， 分階段進(jìn)行。先進(jìn)、 成熟的方法論為災(zāi)備中心建設(shè)的成功提供了保障。 災(zāi)備中心與生產(chǎn)中心使用結(jié)構(gòu)相同的 IT 基礎(chǔ)架構(gòu)和管理流程。這樣可以大 Useful Documents Useful

15、 Documents 大降低管理與運(yùn)行維護(hù)的復(fù)雜度。 災(zāi)備中心的處理能力可以與生產(chǎn)中心不同， 但 是要滿足業(yè)務(wù)需要。 建設(shè)的內(nèi)容包括： 面向數(shù)據(jù)中心提供網(wǎng)絡(luò)通訊設(shè)備、 通訊線路、 存儲(chǔ)網(wǎng)絡(luò)設(shè) 備的全面容錯(cuò)和異地容災(zāi)； 面向數(shù)據(jù)中心提供部分關(guān)鍵業(yè)務(wù)系統(tǒng)的容錯(cuò)和異地容 災(zāi)。 4. “兩地三中心”方案實(shí)現(xiàn) 4.1. 系統(tǒng)實(shí)現(xiàn) 4.1.1. 數(shù)據(jù)備份 同城雙中心的數(shù)據(jù)采用同步復(fù)制， 在同城災(zāi)備中心建立一個(gè)在線更新的數(shù)據(jù) 副本。當(dāng)有數(shù)據(jù)下發(fā)到生產(chǎn)中心陣列時(shí)， 陣列間的同步復(fù)制都會(huì)同時(shí)將數(shù)據(jù)復(fù)制 一份到同城災(zāi)備中心。 同城災(zāi)備中心與異地災(zāi)備中心之間采用異步復(fù)制方式， 定期將數(shù)據(jù)進(jìn)行復(fù)制 備份，異步復(fù)制支持

16、增量復(fù)制方式， 可以節(jié)省數(shù)據(jù)備份的帶寬占用， 縮短數(shù)據(jù)的 備份時(shí)間。 4.1.2. 災(zāi)難檢測(cè) 通過對(duì)資源組狀態(tài)的監(jiān)控來判斷資源的可用性， 包括數(shù)據(jù)庫(kù)資源組、 網(wǎng)絡(luò)資 源組等。資源組的狀態(tài)分 online/offline/fault 三種，正常情況下生產(chǎn)中心在工 作的時(shí)候資源組的狀態(tài)都是 online ，而災(zāi)備中心的資源組是 offline 狀態(tài)。每個(gè) 資源組在 online 和 offline 的時(shí)候均可以指定運(yùn)行程序或腳本， 程序或腳本執(zhí)行 完成后資源組即完成 online 或 offline 的過程。當(dāng)檢測(cè)到生產(chǎn)中心有資源組出現(xiàn) fault 狀態(tài)時(shí)，同城內(nèi)生產(chǎn)中心同災(zāi)備中心將進(jìn)行切換，以保

17、證業(yè)務(wù)的連續(xù)性。 4.1.3. 容災(zāi)切換 Useful Documents Useful Documents 基于應(yīng)用容災(zāi)切換包括一系列的動(dòng)作： 停止災(zāi)難節(jié)點(diǎn)的部件服務(wù)、 切斷數(shù)據(jù) 復(fù)制鏈路、 建立數(shù)據(jù)容災(zāi)基線、 啟動(dòng)容災(zāi)節(jié)點(diǎn)的部件服務(wù)、 通知前端設(shè)備進(jìn)行業(yè) 務(wù)網(wǎng)絡(luò)切換。具體動(dòng)作可以結(jié)合實(shí)際情況，通過腳本來定制。 4.1.4. 恢復(fù)回切 回切工作流程和切換流程原理是一樣的， 只是因?yàn)榍袚Q的時(shí)候是不確定觸發(fā) 的、可能導(dǎo)致業(yè)務(wù)受部分影響； 而回切的時(shí)候通過人工確認(rèn)， 選擇最小影響的情 況下執(zhí)行操作（比如業(yè)務(wù)流量非常小的情況下，甚至?xí)和I(yè)務(wù)情況下） ，因此回 切推薦采用的是手動(dòng)切換模式。 應(yīng)用級(jí)容災(zāi)

18、采用的是自動(dòng)切換還是手動(dòng)切換， 用戶可以在部署時(shí)通過修改主 機(jī)集群軟件的切換配置實(shí)現(xiàn)。 同城范圍有效保證了數(shù)據(jù)的安全性和業(yè)務(wù)連續(xù)性； 異地復(fù)制數(shù)據(jù)根據(jù)災(zāi)難情形，盡可能降低數(shù)據(jù)丟失機(jī)率； 同城雙中心為同步復(fù)制，數(shù)據(jù)實(shí)時(shí)同步， RPO=0 ； 異地?zé)o距離限制，保證數(shù)據(jù)一致性，保證了數(shù)據(jù)的有效保護(hù)； 異地容災(zāi)帶寬要求低，先進(jìn)的復(fù)制機(jī)制提高帶寬利用率。 4.2. 業(yè)務(wù)應(yīng)用備份恢復(fù)實(shí)現(xiàn) 應(yīng)用環(huán)境備份的目的是確保災(zāi)備中心能夠快速重建數(shù)據(jù)中心應(yīng)用系統(tǒng)環(huán)境， 并實(shí)現(xiàn)備份業(yè)務(wù)系統(tǒng)對(duì)生產(chǎn)系統(tǒng)有效替代。對(duì)應(yīng)用環(huán)境備份的設(shè)計(jì)要點(diǎn)包括： 通過配置同步技術(shù)， 實(shí)現(xiàn)數(shù)據(jù)中心應(yīng)用環(huán)境的一致性。 災(zāi)備中心的應(yīng)用環(huán)境 在技術(shù)路線、 設(shè)備部署方面應(yīng)盡量保證與數(shù)據(jù)中心應(yīng)用環(huán)境一致。 這樣有利于提 高災(zāi)備應(yīng)用環(huán)境與生產(chǎn)應(yīng)用環(huán)境之間手工切換的效率， 也有利于日常檢驗(yàn)災(zāi)備應(yīng) 用環(huán)境的可用性。一般可通過災(zāi)備應(yīng)用環(huán)境定期向生產(chǎn)應(yīng)用環(huán)境讀取配置文件、 Useful Documents Useful D