中信集團災備中心建設(shè)實施方案

1、專業(yè)整理中信集團災備中心建設(shè)方案V4.0中企網(wǎng)絡(luò)通訊技術(shù)有限公司2015年5月14日第1章第2章.第3章..23.4.3第4章.24.5.3第5章5.1集團應(yīng)用系統(tǒng)災備需求 4災備項目背景 4集團生產(chǎn)站點總體現(xiàn)狀 4災備項目需求 9集團災備中心建設(shè)目標 10災備級別劃分 10第2級備份介質(zhì)異地存放+異地備份數(shù)據(jù)中心 10第3級 網(wǎng)絡(luò)傳輸+異地數(shù)據(jù)中心部分設(shè)備支持 11第4級 網(wǎng)絡(luò)傳輸+異地數(shù)據(jù)

2、中心完整設(shè)備支持 12災備系統(tǒng)組成 14災備模式介紹 15集團一期災備項目關(guān)鍵指標要求 15業(yè)務(wù)系統(tǒng)災備建設(shè)方案 16方案設(shè)計思路 16災備中心VM規(guī)劃17信息披露系統(tǒng)災備設(shè)計 18方案設(shè)計拓撲圖 18虛擬服務(wù)器層面 18Oracle數(shù)據(jù)庫設(shè)計 19股份門戶災備設(shè)計 20方案設(shè)計拓撲圖 20虛擬服務(wù)器層面 20SQL Server數(shù)據(jù)庫設(shè)計 20災備網(wǎng)絡(luò)概要設(shè)計 21方案設(shè)計拓撲圖 21集團管理信息部部署方式 22上海寶山機房部署方式23災備數(shù)據(jù)業(yè)務(wù)流向 24Veeam災備數(shù)據(jù)復制 24應(yīng)用系統(tǒng)數(shù)據(jù)復制 25272728303131數(shù)據(jù)災備過程 災備切換場景及業(yè)務(wù)數(shù)據(jù)流向分析 正常情況下的路由

3、及數(shù)據(jù)流. 災備切換場景概述 災備切換情況說明 數(shù)據(jù)災備及數(shù)據(jù)回復的實現(xiàn)過程WORD完美格式5.2第6章6.16.2第7章.1第8章.18.5.2第9章9.4第10章數(shù)據(jù)回復過程 32災備技術(shù)說明 33VEEAM勺實現(xiàn)過程 33VEEAM勺優(yōu)勢分析 34災備項目實施相關(guān) 36實施計劃 36災備站點基礎(chǔ)設(shè)施 37軟硬件選型 39災備站點虛擬機配置 40項目交付 41安裝過程 41項目支持團隊 42項目進度 42UAT測試標準 43災備啟動流程 44災備回復流程 45責

4、任劃分 46客戶服務(wù)48客戶服務(wù)理念 48一站式服務(wù)支持 48客戶滿意度的措施 48服務(wù)優(yōu)勢 49中企通信服務(wù)質(zhì)量承諾標準 49MPLS VPF專線承諾標準 49中企通信云平臺承諾標準 50中企通信災備中心服務(wù)介紹 51中企通信災備中心服務(wù)綜述 51上海寶山數(shù)據(jù)中心概述 52中企通信云計算服務(wù)( SMARTCLOUD)概述 52中企通信災備服務(wù)( BRR概述 54成功案例 56第1章 集團應(yīng)用系統(tǒng)災備需求1.1災備項目背景隨著集團業(yè)務(wù)信息量增大，集團日常工作對信息化的依賴程度越來越高。 業(yè) 務(wù)系統(tǒng)一旦中斷，將給集團帶來巨大的經(jīng)濟損失和負面效應(yīng)。 業(yè)務(wù)連續(xù)性的保障 工作成為集團管理信息部首要考慮

5、的問題。 因此要建設(shè)異地災備中心，對核心業(yè) 務(wù)系統(tǒng)進行容災備份，在系統(tǒng)出問題時， 能有相關(guān)的容災系統(tǒng)及時接管業(yè)務(wù)， 保 證業(yè)務(wù)系統(tǒng)的連續(xù)、穩(wěn)定運轉(zhuǎn)。1.2集團生產(chǎn)站點總體現(xiàn)狀中國中信集團有限公司建設(shè)有IT共享服務(wù)中心和數(shù)據(jù)中心，承載著集團的所有信息化系統(tǒng)及子公司的部分應(yīng)用系統(tǒng)0IXJS“-JT-fttr計011*CISCG&U8護俺壷池（忡勵0閥血）廿背晚烈世,7000磁二理 WMU |子ftnn 尸 皆門戶 団門戶 中僧人眾GtttJr A打*章贏4 卡lMJt MBHlt 車吟小型肌M 4-C K務(wù)話鷹掘池1 S Ea 1, * 召空阻 Netlorklfif 累理的脂丈貳盤1黃矍cfc;

6、P Q盎胡小黑機贄瞬.池f JI帕It低眼務(wù)蠡貴郵淮CISC0914HIT共享服務(wù)中心擁有2臺IBM P710主機、6臺IBM P730主機（112核CPU 448G存）以及10臺IBM X3850服務(wù)器、2臺IBM X3650服務(wù)器（44顆6核CPU 1664G存），利用PowerVM和VMware虛擬化技術(shù)，構(gòu)建了小型機資源池和 PC服 務(wù)器資源池，同時利用2臺IBM V7000存儲（22T可用容量）、1臺Netapp V6210a 存儲（20T可用容量）構(gòu)建了存儲資源池；數(shù)據(jù)中心擁有 2臺IBM P730主機（32 核CPU 128G存）以及3臺IBM X3850服務(wù)器（18顆6核CPU

7、 160G存），利用 PowerVMffi VMware虛擬化技術(shù)，構(gòu)建了小型機資源池和 PC服務(wù)器資源池，同時 利用1臺IBM V7000存儲（11T可用容量）構(gòu)建了存儲資源池；小型機資源池和 PC服務(wù)器資源池通過4臺CISCO 9148光纖交換機多路徑連接到存儲資源池。IT共享服務(wù)中心和數(shù)據(jù)中心利用 PowerVM VMware技術(shù)部署了 40余臺小型 機虛擬機以及140余臺PC服務(wù)器虛擬機，承載著門戶、聯(lián)網(wǎng)、集成化管理類應(yīng) 用、系統(tǒng)、數(shù)據(jù)分析系統(tǒng)等應(yīng)用系統(tǒng)及各應(yīng)用系統(tǒng)的開發(fā)測試環(huán)境。虛擬機的操作系統(tǒng)包括 AIX（ 6.1 為主）、Window（2000、2003、2008、2012）、

8、Linux （ Redhat、CentOS SUSE，數(shù)據(jù)庫包括 Oracle RA（ 10g、11g）、SQLServer 雙機、DB2 MySQL等，中間件包括 Websphere Weblogic、Tomcat 等，應(yīng)用平 臺包括 Portal、Domi no HFM等。IT共享服務(wù)中心和數(shù)據(jù)中心的網(wǎng)絡(luò)由 2臺CISCO 4507R和一臺Huawei5700 交換機組成，利用2臺天融信TG61040 2臺Feitigate1000c 防火墻劃分出核心 區(qū)、輔助區(qū)、安全區(qū)、測試區(qū)、Web區(qū)等多個虛擬網(wǎng)絡(luò)，防火墻具有訪問控制、防攻擊、防病毒的功能。IT共享服務(wù)中心和數(shù)據(jù)中心還部署有2對美國優(yōu)

9、勢網(wǎng)絡(luò)公司的 Inchorus1240應(yīng)用前端交換機，配置了部分應(yīng)用系統(tǒng)的負載均衡。用戶訪問各應(yīng)用系統(tǒng)時，大部分通過TDS統(tǒng)一認證，有些應(yīng)用系統(tǒng)有自己的 認證系統(tǒng)。1.2.1一期生產(chǎn)站點現(xiàn)狀集團的信息披露系統(tǒng)和中信股份門戶的服務(wù)器架構(gòu)基于雙機熱備份的架構(gòu) 部署。信息披露系統(tǒng)的現(xiàn)狀如下:ul Ew*r曲眼務(wù)耳71J飾冠 仁駅融念i g iii!iiIi|i4 i|ia fl 1 11 - i威M酥塾 iII IIDrIiiliiIIiiiiiijIii.iil iiHr-*?目前信息披露系統(tǒng)由 9臺服務(wù)器組成，其中2臺web服務(wù)器、2臺HFM服務(wù)器、2臺數(shù)據(jù)管理服務(wù)器以及及1臺報表分析服務(wù)器共7

10、臺服務(wù)器運 行在集團的VMware虛擬化平臺上，操作系統(tǒng)為 Windows2008 R2 2臺數(shù)據(jù)庫服 務(wù)器運行集團的PowerVM虛擬化平臺上，操作系統(tǒng)為 AIX 6.1。7臺VMware虛擬服務(wù)器部署著 Oracle公司的Foundation、HFM BIEE，以 及景華天創(chuàng)公司的Bivison ； 2臺PowerVM虛擬化小型機部署著 Oracle RAC。2臺web服務(wù)器、2臺數(shù)據(jù)管理服務(wù)器使用美國優(yōu)勢公司的In chorus配置了負載均衡，2臺web服務(wù)器為雙活模式，2臺數(shù)據(jù)管理服務(wù)器為主備模式。信息披露系統(tǒng)數(shù)據(jù)分為兩類：一類為隨機上報的披露數(shù)據(jù)，每月約100條左 右；一類為按季度上

11、報的合并數(shù)據(jù)，目前有 70家子公司上報，每家每次數(shù)據(jù)量 為5M左右。股份門戶的現(xiàn)狀如下:DMZ1奇巴if17 2JC2J1.1v:W HLB clusdlev Ftw weBMI R ： ： .2*6巧L722CJ.= STFW- 1.L& H MhServer ZoneNC Bkvp 如圖所示，目前中信股份門戶由6臺服務(wù)器組成，2臺web服務(wù)器、2臺CMS 服務(wù)器、2臺數(shù)據(jù)服務(wù)器共6臺服務(wù)器運行在集團的 VMware虛擬化平臺上，操 作系統(tǒng)為 Windows2012 R26臺VMware虛擬服務(wù)器部署著 WindowsIIS、Euroland公司的CM僑口 Windows SQL serve

12、r數(shù)據(jù)庫集群。2臺web服務(wù)器使用美國優(yōu)勢公司的In chorus配置了負載均衡，為雙活模式。門戶的數(shù)據(jù)更新是隨機的，每月約 15條左右。根據(jù)集團提供的信息系統(tǒng)調(diào)查表計算出，生產(chǎn)環(huán)境下，各信息系統(tǒng)的的資源用量為:服務(wù)器CPU存存儲VMDK文件大小IP地址負載均衡（服務(wù)）IP中信集團信息披露系統(tǒng)Web服務(wù) 器128GC:100GD:50G8G 12G56Web服務(wù) 器228GC:100GD:50G8G 12G6HFM應(yīng)用服務(wù)器1216GC:100GD:150G11G 24G55HFM應(yīng)用

13、服務(wù)器2216GC:100GD:150G8G 14G66數(shù)據(jù)管理 服務(wù)器1216GC:100GD:150G10G 21G85數(shù)據(jù)管理 服務(wù)器2216GC:100GD:150G8G 12G9數(shù)據(jù)庫集 群0中信股份門戶Web服務(wù) 器1412GC: 50G25G8Web服務(wù) 器2412GC: 50G23GCMS服務(wù)器1 （主服 務(wù)器）412GC: 50G24G88CM

14、S服務(wù)器2（備用服務(wù)器）412GC: 50G22G99（備用地址）數(shù)據(jù)庫服務(wù)器1416GC:150G500G29G2G2541.3災備項目需求集團目前第一期計劃針對信息披露系統(tǒng)和中信股份進行災備項目的實施。目 前信息披露系統(tǒng)的web服務(wù)器、HFMK務(wù)器、數(shù)據(jù)管理服務(wù)器以及報表分析服務(wù) 器共7臺服務(wù)器運行在集團的vmware虛擬化平臺上，披露系統(tǒng)的Oracle數(shù)據(jù)庫 系統(tǒng)運行在小型機上，該系統(tǒng)的主要功能是完成財務(wù)報表的合并，同時支持中信股份的信息披露業(yè)務(wù)；中信股份的官方的 6臺服務(wù)器也運

15、行在集團的vmware虛 擬化平臺上，該屬于中信股份的官方，是中信股份集團對外的信息發(fā)布和形象展 示窗口；集團信息部門要求針對這兩個系統(tǒng)提出可行性災備方案，要求在生產(chǎn)站點業(yè)務(wù)中斷后，災備站點可以在一定時間完全接管業(yè)務(wù)，保證數(shù)據(jù)在異地有冗余備份。? 信息披露系統(tǒng)的要求：1. 災備站點的Web!務(wù)器、HFM!務(wù)器、數(shù)據(jù)管理服務(wù)器、Oracle數(shù)據(jù)庫服務(wù) 器和DN&艮務(wù)器的IP地址均不能變更；2. 信息披露系統(tǒng)只針對中信集團本部和集團下屬各個子公司提供服務(wù)，全部通過中信集團第二網(wǎng)進行網(wǎng)訪問；3. 生產(chǎn)站點和災備站點之間通過 MPLS VPN網(wǎng)絡(luò)連通，實現(xiàn)數(shù)據(jù)的傳輸；? 中信股份門戶的要求：1. 災備

16、站點的Web服務(wù)器、CMS艮務(wù)器和SQL Server數(shù)據(jù)庫服務(wù)器的IP地址 可以不和生產(chǎn)站點的Web服務(wù)器、CMSK務(wù)器以及SQLServer數(shù)據(jù)庫服務(wù)器 保持一致；2. 中信股份門戶對外通過互聯(lián)網(wǎng)提供訪問服務(wù)；3. 生產(chǎn)站點和災備站點之間通過 MPLS/PN網(wǎng)絡(luò)連通，實現(xiàn)數(shù)據(jù)的傳輸和交互；第2章集團災備中心建設(shè)目標2.1災備級別劃分根據(jù)國務(wù)院信息化工作辦公室于 2005年4月下發(fā)的重要信息系統(tǒng)災難恢復指南中的定義，災難恢復等級可以劃分為6個不同的等級，根據(jù)不同的災難 恢復需求確定災難恢復等級，不同的災難恢復等級，其解決方案可根據(jù)災難恢復 登記以下主要方面所達到的程度分為七級，即從低到高有七

17、種不同層次的災難恢 復解決方案?？梢愿鶕?jù)中信集團各業(yè)務(wù)的系統(tǒng)及數(shù)據(jù)的重要性以及恢復策略，來設(shè)計選擇災難恢復方案和計劃。根據(jù)重要信息系統(tǒng)災難恢復指南的定義，災 難恢復級別的選擇，主要決定以下七個要素：數(shù)據(jù)備份系統(tǒng)備用數(shù)據(jù)處理系統(tǒng)備用網(wǎng)絡(luò)系統(tǒng)備用基礎(chǔ)設(shè)施技術(shù)支持運營維護管理災難恢復預案國信辦在重要信息系統(tǒng)災難恢復指南中定義了災難恢復等級劃分了六個標準， 依據(jù)風險分析和業(yè)務(wù)影響分析，按照業(yè)務(wù)連續(xù)性要求，集團總部信息系統(tǒng)分為重 要信息系統(tǒng)、次重要信息系統(tǒng)和非重要信息系統(tǒng) 3類，每類信息系統(tǒng)適用不同的 國家災備等級標準：重要信息系統(tǒng)：4級次重要信息系統(tǒng)：3級非重要信息系統(tǒng)：2級具體容如下：2.1.1 第

18、2級 備份介質(zhì)異地存放+異地備份數(shù)據(jù)中心第二級災難恢復應(yīng)具有技術(shù)和管理支持如表 A. 2所示。表A. 1第2級災難恢復的技術(shù)和管理支持要素要求A.2.1數(shù)據(jù)備份系統(tǒng)a）完全數(shù)據(jù)備份至少每周一次；b）備份介質(zhì)場外存放。A.2.2備用數(shù)據(jù)處理系統(tǒng)a）災難發(fā)生時能在預定時間調(diào)配所需的數(shù)據(jù)處 理設(shè)備到場。A.2.3備用網(wǎng)絡(luò)系統(tǒng)a）災難發(fā)生時能在預定時間調(diào)配所需的通信線 路和網(wǎng)絡(luò)設(shè)備到位。A.2.4備用基礎(chǔ)設(shè)施a）有符合介質(zhì)存放條件的場地；b）有滿足信息系統(tǒng)和關(guān)鍵業(yè)務(wù)功能恢復運作要 求的備用場地。A.2.5技術(shù)支持A.2.6運行維護支持a）有介質(zhì)存取、驗證和轉(zhuǎn)儲管理制度；b）按介質(zhì)特性對備份數(shù)據(jù)進行定期

19、的有效性驗證；c）有備用場地管理制度；d）與相關(guān)廠商有符合災難恢復時間要求的緊急 供貨協(xié)議；e）與相關(guān)運營商有符合災難恢復時間要求的備 用通信線路協(xié)議。A.2.7災難恢復預案a）有相應(yīng)的經(jīng)過完整測試和演練的災難恢復預 案。2.1.2 第3級網(wǎng)絡(luò)傳輸+異地數(shù)據(jù)中心部分設(shè)備支持第三級災難恢復應(yīng)具有技術(shù)和管理支持如表A. 3所示表A. 2 第3級災難恢復的技術(shù)和管理支持要素要求A.3.1數(shù)據(jù)備份系統(tǒng)a）完全數(shù)據(jù)備份至少每天一次；b）備份介質(zhì)場外存放；c）每天多次利用通信網(wǎng)絡(luò)將關(guān)鍵數(shù)據(jù)定時批量 傳送至備用場地。A.3.2備用數(shù)據(jù)處理系統(tǒng)a）配備災難恢復所需的部分數(shù)據(jù)處理設(shè)備。A.3.3備用網(wǎng)絡(luò)系統(tǒng)a）

20、配備部分通信線路和相應(yīng)的網(wǎng)絡(luò)設(shè)備。A.3.4備用基礎(chǔ)設(shè)施a）有符合介質(zhì)存放條件的場地；b）有滿足信息系統(tǒng)和關(guān)鍵業(yè)務(wù)功能恢復運作要 求的場地。A.3.5技術(shù)支持a）在備用場地有專職的計算機機房運行管理人 員。A.3.6運行維護支持a）按介質(zhì)特性對備份數(shù)據(jù)進行定期的有效性驗證；b）有介質(zhì)存取、驗證和轉(zhuǎn)儲管理制度；c）有備用計算機機房管理制度；d）有備用數(shù)據(jù)處理設(shè)備硬件維護管理制度；e）有電子傳輸數(shù)據(jù)備份系統(tǒng)運行管理制度。A.3.7災難恢復預案有相應(yīng)的經(jīng)過完整測試和演練的災難恢復預案。2.1.3 第4級網(wǎng)絡(luò)傳輸+異地數(shù)據(jù)中心完整設(shè)備支持第四級災難恢復應(yīng)具有技術(shù)和管理支持如表A. 4所示表A. 3 第

21、4級災難恢復的技術(shù)和管理支持要素要求A.4.1數(shù)據(jù)備份系統(tǒng)a）完全數(shù)據(jù)備份至少每天一次；b）備份介質(zhì)場外存放；c）每天多次利用通信網(wǎng)絡(luò)將關(guān)鍵數(shù)據(jù)定時批量 傳送至備用場地。A.4.2備用數(shù)據(jù)處理系統(tǒng)a）配備災難恢復所需的全部數(shù)據(jù)處理設(shè)備，并 處于就緒狀態(tài)或運行狀態(tài)。A.4.3備用網(wǎng)絡(luò)系統(tǒng)a）配備災難恢復所需的通信線路；b）配備災難恢復所需的網(wǎng)絡(luò)設(shè)備，并處于就緒 狀態(tài)。A.4.4備用基礎(chǔ)設(shè)施a）有符合介質(zhì)存放條件的備用場地；b）有符合備用數(shù)據(jù)處理系統(tǒng)和備用網(wǎng)絡(luò)設(shè)備運 行要求的場地；c）有滿足關(guān)鍵業(yè)務(wù)功能恢復運作要求的場地；d）以上場地應(yīng)保持7 x 24運作。A.4.5技術(shù)支持在備用場地有：a）7

22、x 24專職計算機機房管理人員；b）專職數(shù)據(jù)備份技術(shù)支持人員；c）專職硬件、網(wǎng)絡(luò)技術(shù)支持人員。A.4.6運行維護支持a）有介質(zhì)存取、驗證和轉(zhuǎn)儲管理制度；b）按介質(zhì)特性對備份數(shù)據(jù)進行定期的有效性驗證；c）有備用計算機機房運行管理制度；d）有硬件和網(wǎng)絡(luò)運行管理制度；e）有電子傳輸數(shù)據(jù)備份系統(tǒng)運行管理制度。A.4.7災難恢復預案有相應(yīng)的經(jīng)過完整測試和演練的災難恢復預案。2.2災備系統(tǒng)組成一個典型的災備系統(tǒng)由災備中心基礎(chǔ)環(huán)境設(shè)施、數(shù)據(jù)備份系統(tǒng)、備份處理系統(tǒng)、 網(wǎng)絡(luò)通信系統(tǒng)和災難恢復計劃等組成?；滞桨冈诩瘓F第一期的災備項目中，災備系統(tǒng)的組成如下：? 基礎(chǔ)設(shè)施環(huán)境：由中企通信位于上海寶山的云計算數(shù)據(jù)中心

23、（T3+級別）提供異地災備數(shù)據(jù)中心的基礎(chǔ)設(shè)施環(huán)境，以保障數(shù)據(jù)備份系統(tǒng)和備份處理系統(tǒng) 的正常工作；采用DELL高性能x86架構(gòu)服務(wù)器、SAN存儲以及光纖交換機作為底層硬件資 源；? 數(shù)據(jù)備份系統(tǒng)：依托集團總部數(shù)據(jù)中心和上海寶山數(shù)據(jù)中心之間高速、穩(wěn)定的MPLS VPN骨干網(wǎng)絡(luò)，通過中企通信 SmartCLOUD vON私有云和虛擬化災 備軟件veeam backup & replication來構(gòu)建此次項目的數(shù)據(jù)備份系統(tǒng)；? 備份處理系統(tǒng)：veeam server控制臺系統(tǒng)、Oracle數(shù)據(jù)庫、SQL Server數(shù)據(jù)庫、TDS身份驗證系統(tǒng)以及DNSS統(tǒng)，構(gòu)成災備中心的整個備份處理系統(tǒng)；災難恢復計

24、劃主要基于以下兩個階段考慮：系統(tǒng)切換階段：業(yè)務(wù)系統(tǒng)的故障切換主要針對災備中心的業(yè)務(wù)系統(tǒng)虛擬服務(wù)器進行快速、有效地恢復，按照預先制定的業(yè)務(wù)系統(tǒng)恢復流程和啟動順序進行操作；網(wǎng)絡(luò)切換階段：網(wǎng)絡(luò)層面的切換主要針對災難發(fā)生后的業(yè)務(wù)訪問進行快速、有效的網(wǎng)絡(luò)切換，確保用戶可以正常訪問到災備中心的業(yè)務(wù)系統(tǒng)；2.3災備模式介紹災備模式主要分為雙活模式和主備模式 2類，其中主備模式又可分為熱備 模式、暖備模式和冷備模式。雙活模式：主中心和災備中心負載均衡，用戶可同時訪問主中心或災備中心，主 中心和災備中心之間雙向同步復制數(shù)據(jù) （要求距離小于100公里），數(shù)據(jù)零丟失， 適用同城災備，該模式對應(yīng)國家標準 6級。熱備模

25、式：當主中心發(fā)生災難時，自動切換到災備中心，主中心數(shù)據(jù)向災備中心 同步復制數(shù)據(jù)（要求距離小于100公里），數(shù)據(jù)零丟失，適用同城災備，該模式 對應(yīng)國家標準6級。暖備模式：當主中心發(fā)生災難時，手動切換到災備中心，主中心向災備中心實時 復制數(shù)據(jù)，數(shù)據(jù)丟失小，適用同城或異地災備，該模式對應(yīng)國家標準5級。冷備模式：當主中心發(fā)生災難時，手動切換到災備中心；主中心向災備中心定時 復制或備份數(shù)據(jù)，數(shù)據(jù)丟失較大，適用同城或異地災備，該模式對應(yīng)國家標準4或3級。2.4集團一期災備項目關(guān)鍵指標要求集團目前一期計劃針對中信股份信息披露系統(tǒng)和中信股份進行災備項目的 實施，通過項目的實施，形成一種災備的模式，下一步對更多

26、的核心應(yīng)用進行災 備。根據(jù)應(yīng)用系統(tǒng)的訪問需求，對災備中心提出如下需求：要求信息披露系統(tǒng)在2小時實現(xiàn)業(yè)務(wù)系統(tǒng)的全面接管,包括系統(tǒng)的啟動、部網(wǎng)絡(luò)IP的接管、應(yīng)用的啟動，以及輔助的域名解析服務(wù)、VPN訪問的切換；同時要求信息披露系統(tǒng)的數(shù)據(jù)丟失量小于TDS身份認證服務(wù)、4個小時；（RT02小時、RP04、時）要求中信股份在半小時恢復可訪問， 包括系統(tǒng)的啟動、域名的切換；同時要求中信股份的數(shù)據(jù)丟失量小于 4個小時；（RTOvO.5小時、RP0EIGRP路由6509-2核心交換機BGP路由CECMPLS NetworkBGP路由上海寶山災備中心京城大廈集團總部網(wǎng)絡(luò)1 針對此次系統(tǒng)災備項目，集團信息管理部將

27、采用現(xiàn)有網(wǎng)絡(luò)設(shè)備完成災備數(shù)據(jù) 的轉(zhuǎn)發(fā)，不增加硬件設(shè)備。2集團管理信息部訪問上海寶山災備中心的路由，由中企的PE路由器通過BGP協(xié)議向集團管理信息部的核心交換 6509轉(zhuǎn)發(fā)。3. 集團管理信息部的核心交換機 6509將通過BGP協(xié)議收到上海寶山災備中心的 路由，并將其轉(zhuǎn)發(fā)到網(wǎng)EIGRF網(wǎng)絡(luò)4 在集團管理信息部網(wǎng)部署 Veeamf弋理服務(wù)器，此代理服務(wù)器將單獨劃分一個Vian專用于數(shù)據(jù)備份，但此 Vian需要與vCenter通信4.3上海寶山機房部署方式CECMPLS NetworkC39+5-2 K3j 72MX2S4 胴 (VRRFGraupA)Dell Switch-2 $Dell Host

28、-2JSAS Swlkh-2.C394S-1種累 ftp Gog 1)1T3.1(VRRF Gr* .2)I nternetDtJJ Hosl-1Tlf -紅色線代及按聊.糸縄Vbu】嫌色線代表門戶網(wǎng)站Yhin更供址代表、V kinDe：l Equal Logic SAN Storage上睥寶山私有云災備中心X1. 上海寶山機房采用2臺Cisco3945路由器連接MPLS VPN網(wǎng)絡(luò)，帶寬為20M, 路由器分別下聯(lián)2臺DELL交換機，2臺路由器為網(wǎng)提供高可用服務(wù)。2. 同時部署UTM安全設(shè)備連接互聯(lián)網(wǎng)，帶寬為 20M用于中信股份門戶的互聯(lián) 網(wǎng)接入。3. 將部署2臺物理服務(wù)器分別上聯(lián)2臺DELL

29、交換機，將披露系統(tǒng)、中信股份門戶、Veeamfl艮務(wù)器部署在SmartCLOUD vON私有云上，在交換機上為這 3 個系統(tǒng)分別創(chuàng)建3個獨立Vian，在Cisco3945路由器配置3個子接口用于對 應(yīng)不同的Vian，并為每個Vian提供網(wǎng)關(guān)功能。4. 2臺物理服務(wù)器分別下聯(lián) DELL存儲交換機，通過此存儲交換機連接 DELL存 儲設(shè)備。5. 兩臺3945路由器上，需要部署少量靜態(tài) NAT配置,原因是披露系統(tǒng)中 WebK 務(wù)器、HFM數(shù)據(jù)管理服務(wù)器、Ocacle服務(wù)器要求IP地址不能變動，所以在 做數(shù)據(jù)備份時需要在災備中心 CE路由器配置NAT轉(zhuǎn)換，以使得完成路由可 達性（詳細說明見1.4.2

30、），中信股份門戶災備IP地址可以改變，所以在備 份過程中不需要針對此系統(tǒng)配置 NAT6. 針對中信股份門戶的災備，上海災備中心將重新部署IP網(wǎng)段為/24 在UTM防火墻上將此部IP映射到互聯(lián)網(wǎng)，并在北龍中網(wǎng)負載均衡設(shè)備上添 加上海災備中心UTM勺公網(wǎng)IP地址，當災難發(fā)生時可通過北龍中網(wǎng)設(shè)備將 流量重定向到災備中心的門戶系統(tǒng)。7. 披露系統(tǒng)和TDS服務(wù)器屬于同一個Vlan，中信股份門戶屬于另一個 Vlan，Veeam服務(wù)器單獨在另一個Vlan4.4災備數(shù)據(jù)業(yè)務(wù)流向4.4.1 Veeam災備數(shù)據(jù)復制集團管理信息部的VM鏡像可直接通過Veeam進行數(shù)據(jù)備份，Veeam的備份任 務(wù)是

31、通過上海災備中心的 VeeamiK務(wù)器進行調(diào)度京城大廈集團總部網(wǎng)絡(luò)Veeam ProxyC3945-2C3945-1Switch-1Switch -2災備鏡像Veeam Server上海寶山私有云災備中心Veeam復制任務(wù)災備數(shù)據(jù)流向6509-2核心交換機服務(wù)器群 （信息披露系統(tǒng)、 中信股份門戶網(wǎng)站）4506三層交換機核心區(qū) 防火墻6509-1核心交換機CECMPLS NetworkVeeam備份和調(diào)度示意圖1. 在上海寶山災備中心建立一個 Veeam#理服務(wù)器，在集團管理信息部建立一 個Veeam代理服務(wù)器。2. 在上海災備中心的Veeam管理服務(wù)器中創(chuàng)建復制任務(wù)，任務(wù)通過MPLS網(wǎng)絡(luò)調(diào)用北

32、京Veeam代理端協(xié)作復制任務(wù)（藍色線路）；3. Veeam代理端與集團管理信息部的vCenter進行授權(quán)連接，將生產(chǎn)站點VMware 虛擬服務(wù)器的快照文件通過MPLS/PN網(wǎng)絡(luò)復制到上海的災備中心（紅色線路）;4. 集團管理信息部為Veeamf弋理服務(wù)器單獨劃分一個 Vlan （具體Vlan可在實 施階段協(xié)調(diào)）與現(xiàn)有生產(chǎn)網(wǎng)絡(luò)隔離，Veeam代理服務(wù)器與生產(chǎn)網(wǎng)絡(luò)vCenter 服務(wù)器實現(xiàn)路由可達；5. 復制到災備站點的快照文件存儲在 SmartCLOUD vON私有云的存儲中，并處 于隨時可開機啟動的狀態(tài)；6. 為災備中心的Veeam管理服務(wù)器劃分一個單獨的 vlan，該vlan ID與災備中

33、 心vCenter的Vlan ID 一致，使之與披露系統(tǒng)、中信股份門戶災備服務(wù)器相互隔離，4.4.2 應(yīng)用系統(tǒng)數(shù)據(jù)復制生產(chǎn)中心的oracle服務(wù)器和股份門戶的web月艮務(wù)器、CM馭務(wù)器以及SQL Server數(shù)據(jù)庫服務(wù)器不通過Veeam進行災備復制，需要在應(yīng)用系統(tǒng)層面進行 定時的數(shù)據(jù)同步。由于信息披露的web服務(wù)器、HFMK務(wù)器、數(shù)據(jù)管理服務(wù)器以及Oracle 數(shù)據(jù)庫服務(wù)器不允許改變IP地址，因此需要在災備中心的CE路由器（Cisco 3945） 上進行NAT（網(wǎng)絡(luò)地址轉(zhuǎn)換）的配置，以達到兩端對應(yīng)服務(wù)器之間數(shù) 據(jù)同步的目的；股份門戶的web服務(wù)器、CM&艮務(wù)器和SQL Server服務(wù)器的IP

34、地址允 許變更，并且這三臺服務(wù)器的數(shù)據(jù)定時同步模式基于應(yīng)用層面來實現(xiàn)，因此，只需在MPLS VP骨干網(wǎng)絡(luò)上宣告對應(yīng)服務(wù)器的路由信息即可達到兩端數(shù)據(jù) 同步的目的；樓心g卅軋匚4M)6 _JT交撫機中依冊僧:戶園祐）茁火Iesos-t豐菊篥圍子罔剛第喬懇區(qū)NA1樣換的茨十 MATti的戡1S流向XT畠的數(shù)據(jù)施何1. 北京生產(chǎn)中心的Oracle服務(wù)器以及披露系統(tǒng)和TDS3 ）不能修改IP地址，因此在備份過程中需要在災備中心的 Cisco3945上配置 NAT轉(zhuǎn)換；2. 在Cisco3945上將披露系統(tǒng)的Oracle服務(wù)器以及TDSI艮務(wù)器IP地 址映射為WAN口網(wǎng)段IP地址，北

35、京生產(chǎn)網(wǎng)絡(luò)在備份時目的地址為 NAT轉(zhuǎn)換 后的IP地址；3. 股份門戶的三臺服務(wù)器（web服務(wù)器、CM馭務(wù)器和SQLServer服 務(wù)器）可以變更IP地址，因此在備份過程中不使用 NAT直接備份，只需保 證路由可達即可；4. 災備中心的虛擬服務(wù)器之間的數(shù)據(jù)交互，可直接在局域網(wǎng)進行，各個虛擬服務(wù)器的網(wǎng)關(guān)地址都是 Cisco3945對應(yīng)的子接口地址。4.5災備切換場景及業(yè)務(wù)數(shù)據(jù)流向分析4.5.1正常情況下的路由及數(shù)據(jù)流TU1 3WH172.20.0CECMPl$ Netuwk中fit證曲門戶用朗650&-2心工鼻機Sw1ch-165DS-1生產(chǎn)中右路由廣榊正常情況的數(shù)據(jù)流向1. 在生產(chǎn)中心正常工作

36、的情況下，集團的兩臺 6509核心交換機將通過BGP協(xié) 議向中企的PE路由器宣告災備系統(tǒng)的路由；2. 中企的PE路由器收到這些BGP路由后，會將這些路由信息通過 BGP協(xié)議在 MPLS VPF網(wǎng)傳播，最終將傳達到各子公司的 CE路由器（藍色線路）；3. 各子公司將通過集團廣播的核心區(qū)域路由進行尋址，經(jīng)過中企的MPLS VPN骨干網(wǎng)后，訪問位于集團核心區(qū)的信息披露系統(tǒng)（紅色線路）4. 中信股份門戶通過互聯(lián)網(wǎng)進行訪問；4.5.2 災備切換場景概述京誠丸廈療質(zhì)想胡網(wǎng)堵65041（信息變乘統(tǒng)、 申営腔愉門戶閻站W(wǎng)5Jk46064三僵交拋機t. 、CEC *3 32B509-2槪心

37、衛(wèi)渙籾C3945-2IC3S45-1172C- iuraPGmwp 1) 1TJ,1 1第崛獰 OkupSwitch 2災備中心主機路由廣播正常悄況的數(shù)據(jù)流向正常情況的數(shù)揺流向卜頊寶山就荷云史餐中心.集團管理信息部整個業(yè)務(wù)系統(tǒng)故障1. 集團生產(chǎn)站點發(fā)生災難性故障，業(yè)務(wù)系統(tǒng)全部故障，且無法在短時間恢復業(yè)務(wù)時，由集團工程師通過、等方式向中企網(wǎng)絡(luò)發(fā)起災備切換需求。2. 中企網(wǎng)絡(luò)收到切換需求后，將第一時間安排云計算工程師協(xié)助集團啟用災備中心的虛擬服務(wù)器，并按要求修改系統(tǒng)設(shè)置（修改TDS系統(tǒng)的IP地址/修改 股份門戶web服務(wù)器中數(shù)據(jù)庫的調(diào)用地址）。3. 同時中企網(wǎng)絡(luò)將安排網(wǎng)絡(luò)工程師，修改

38、災備中心的PE路由器的配置，按 計劃將災備系統(tǒng)相關(guān)業(yè)務(wù)系統(tǒng)的主機路由信息（披露系統(tǒng)、股份門戶、 TDS服務(wù) 器和DNSK務(wù)器）通過BGP協(xié)議廣播到集團的第二 MPLS VPN（紫色線路）。刪除北京PE路由器關(guān)于生產(chǎn)電點業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)路由4. 集團及各子公司的CE路由器將通過BGP協(xié)議接收到災備中心的網(wǎng)絡(luò)路由， 后續(xù)訪問披露系統(tǒng)和股份門戶的數(shù)據(jù)包全部傳輸?shù)缴虾膫渲行摹?. 當生產(chǎn)中心恢復正常后，中企網(wǎng)絡(luò)將按照客戶要求，將VM數(shù)據(jù)反向同步 到生產(chǎn)中心，并按約定時間刪除相應(yīng)的主機路由廣播，路由收斂完成后， 業(yè)務(wù)系 統(tǒng)的訪問流量將會引導回原有路徑（紅色線路）。4.522.集團管理信息部某一個業(yè)務(wù)系統(tǒng)故

39、障丘寶山祗荷云丈備豐心6.集團生產(chǎn)中心的系統(tǒng)發(fā)生故障，且無法在短時間恢復業(yè)務(wù)時，由集團工京城大整團兌部罔蠟6509-1F心交根儀程師通過、等方式向中企網(wǎng)絡(luò)發(fā)起災備切換需求。7. 中企網(wǎng)絡(luò)收到切換需求后，將第一時間安排云計算工程師協(xié)助集團啟用 災備中心的虛擬服務(wù)器，并按要求修改系統(tǒng)設(shè)置（如需要）。8. 同時中企網(wǎng)絡(luò)將安排網(wǎng)絡(luò)工程師，修改災備中心的PE端配置，按計劃將 災備系統(tǒng)相關(guān)的主機路由（Web DNS oracle、披露系統(tǒng)、數(shù)據(jù)管理服務(wù)器主機IP地址）通過BGP協(xié)議廣播到集團的第二 MPLS VPN（紫色線路）9. 集團及各子公司的CE路由器等將通過BGP協(xié)議接收到災備中心的主機路 由，并把這些路由與現(xiàn)有的生產(chǎn)中心路由（/20、/24等大