交通銀行兩地三中心改造

1、交通銀行、兩地三中心、災難備份交通銀行在兩地三中心建設中進行了兩次大規(guī)模的真實災備系統(tǒng)切換運行,實現(xiàn)了大型機 和開放平臺數(shù)據(jù)庫系統(tǒng)的同城雙活運行，在同業(yè)中產生了重要影響，推動了行業(yè)技術進步和 發(fā)展。商業(yè)銀行信息系統(tǒng)的安全、穩(wěn)定運行關系著國家金融安全和社會穩(wěn)定，如何保障IT系統(tǒng)具 有高可用性和防范各種風險和災難的能力至關重要。為此，監(jiān)管機構十分重視商業(yè)銀行的災 難備份體系建設，多次發(fā)布了商業(yè)銀行信息系統(tǒng)災難備份的相關標準和指引，對商業(yè)銀行災 備系統(tǒng)建設提出了明確的要求。為了防范災難和風險，國內商業(yè)銀行相繼建立了同城和異地 災備中心，兩地三中心已經逐步成為商業(yè)銀行廣泛采納的災備建設模式。交通銀行2

2、006年完成了數(shù)據(jù)大集中，在上海張江建立了數(shù)據(jù)中心，于2007年將海 外分行系統(tǒng)從香港遷移到張江數(shù)據(jù)中心運行，實現(xiàn)了境內外一體化的數(shù)據(jù)中心運行。為保障 業(yè)務連續(xù)性，交通銀行于2007年在上海浦西漕河涇建立了同城備份中心，2008年在武 漢建立了異地災備中心，形成了兩地三中心的災難備份體系。在災備建設過程中，交通銀 行針對上述問題進行了深入的探索和實踐，通過自主創(chuàng)新，建立了完善的災難備份體系，交 出了一份滿意的答卷。一、交通銀行兩地三中心建設規(guī)劃為了指導災備體系建設，交通銀行制定了兩地三中心的發(fā)展規(guī)劃，確定了災備體系建 設統(tǒng)籌規(guī)劃、分步實施；控制成本、保障有效；面向業(yè)務、分級災備；平戰(zhàn)結合、資源

3、共 享的十六字指導方針。首先對兩地三中心建設的目標、災備等級，技術路線等進行總體 規(guī)劃；在災備的建設順序上，采取先同城、后異地”的策略。其次，在保障災備系統(tǒng)有效性的基礎上，采取各種技術和管理手段，盡可能降低災備系 統(tǒng)的投資成本。再次，對業(yè)務系統(tǒng)進行分級，根據(jù)業(yè)務的重要性程度，確定業(yè)務的RPO和 RTO目標，采用不同的災備模式，達到不同的災備等級，關鍵的業(yè)務實現(xiàn)雙活運行，重要 業(yè)務實現(xiàn)系統(tǒng)級災備，其他業(yè)務實現(xiàn)數(shù)據(jù)級災備。最后，對于大機系統(tǒng)和規(guī)模較大的開放平 臺系統(tǒng)，采用同城雙中心運行的方式，使得備份中心的服務器資源也可以分流生產負載，實 現(xiàn)資源共享。該規(guī)劃明確了兩地三中心的功能定位，張江數(shù)據(jù)中心

4、作為生產的主中心，承擔全行所有 集中式業(yè)務的生產運行;漕河涇中心作為生產副中心和同城備份中心，用于防范水災、火災、 電力中斷等區(qū)域性災難，并可應對生產容量不足、局部故障等緊急情況，同時具備在日常分 流部分關鍵業(yè)務的生產負載和在張江數(shù)據(jù)中心出現(xiàn)大面積的系統(tǒng)癱瘓時接管生產系統(tǒng)運行 的能力；武漢中心作為異地災備中心和多活中心，用于防范地震、海嘯、戰(zhàn)爭等城市級的災 難。在張江中心和漕河涇中心均不能對外提供服務時接管生產業(yè)務，同時要兼顧部分生產系 統(tǒng)異地多活云計算部署的需求。規(guī)劃還對各業(yè)務系統(tǒng)進行了分級，對各級業(yè)務系統(tǒng)的同城和 異地災備建設等級、RPO和RTO指標、技術實現(xiàn)方式等進行了規(guī)定，為業(yè)務系統(tǒng)的

5、災備 建設提供了指南。二、災備體系建設歷程經過數(shù)年的建設和發(fā)展，交通銀行漕河涇備份中心已經建立了完備的同城備份系統(tǒng)，實 現(xiàn)了所有業(yè)務系統(tǒng)的數(shù)據(jù)級災備,重點業(yè)務系統(tǒng)的系統(tǒng)級災備（在災備中心有備份服務器）， 以及部分關鍵業(yè)務系統(tǒng)的雙活運行，災備的等級達到國際和國家標準的最高級一一第6級。 武漢異地災備中心已經建立了關鍵和重要業(yè)務的數(shù)據(jù)級災備，目前正在推進關鍵業(yè)務的系統(tǒng) 級異地災備建設，災備等級達到國家標準的第5級。在充分借鑒和吸收國內外先進技術的基礎上，交通銀行進行了大膽的技術創(chuàng)新，研發(fā)了 多項具有自主知識產權的關鍵技術，在災備系統(tǒng)建設上多次實現(xiàn)了零的突破，在國內同業(yè) 中創(chuàng)造了多個第一”。2008

6、年8月，交通銀行在同城備份中心建成后，為了驗證災備系統(tǒng)的有效性，進行 了一次真實的大規(guī)模災備切換演練，將核心賬務、貸記卡、網(wǎng)銀、電話銀行、外匯等對外服 務的關鍵業(yè)務系統(tǒng)切換到漕河涇中心，對外運行一天之后，又切換回張江數(shù)據(jù)中心運行。切 換過程采用了大規(guī)模災備切換集中控制技術，將所有的切換和驗證操作腳本化和自動化，使 得切換和回切時間均控制在100分鐘之內。交通銀行的同城災備系統(tǒng)的成功切換和對外運 行，在國內大型商業(yè)銀行中尚屬首次，產生了重要影響。新華社內參的評論認為該事件標 志著我國商業(yè)銀行災難備份系統(tǒng)建設跨入國際先進行列，具有重大意義。為了有效降低大機系統(tǒng)的運行成本,2009年交通銀行自主開發(fā)

7、了基于大型機的遠距離同城 雙中心交易分流處理技術，實現(xiàn)了核心業(yè)務和貸記卡系統(tǒng)在張江和漕河涇兩個中心之間的同 步運行。張江和漕河涇中心之間的光纖距離達到70千米。IBM GDPS Multi-Site方案也 支持大機系統(tǒng)的雙中心運行，但是，在GDPS Multi-Site模式下，交易的響應時間隨著光 纖距離的延長急劇下降（增長十倍以上），因此，GDPS Multi-Site支持的最大光纖距離不 能超過30千米，對應的物理距離不到20千米，災備效果大打折扣。交通銀行通過交易的 映射和分流，突破了 IBM技術的限制，備份中心的大機和生產中心的大機構成同一個 SYSPLEX，可以同時運行核心和貸記卡交

8、易。大機雙中心運行使得備份中心的資源得到有 效的利用，節(jié)省了數(shù)據(jù)中心昂貴的大機CPU升級擴容費用，提高了生產系統(tǒng)的可用性，也 使得漕河涇中心的功能從傳統(tǒng)意義上的災備中心轉變?yōu)樯a的副中心。2011年10月，在同城災備切換和雙中心運行的基礎上，交通銀行在海外業(yè)務系統(tǒng)上 進一步實現(xiàn)了分鐘級的災備切換運行，將海外業(yè)務系統(tǒng)（包括大型機系統(tǒng)和開放平臺系統(tǒng)） 從張江數(shù)據(jù)中心切換到漕河涇副中心運行，對外服務運行一天后，再切換回數(shù)據(jù)中心運行。 整個切換過程實現(xiàn)了高度的自動化，由于實現(xiàn)了雙中心運行,計劃內切換過程用時14分鐘， 沒有中斷業(yè)務，計劃外的切換過程業(yè)務中斷僅4分鐘。2012年，交通銀行進一步實現(xiàn)了開放

9、平臺DB2系統(tǒng)的雙中心試點運行，采用IBM最 新的GDPC技術，通過自行研發(fā)的JDBC分流技術，在國際上首次實現(xiàn)70千米距離的DB2 數(shù)據(jù)庫系統(tǒng)雙中心運行。目前正在進行DB2雙中心運行的推廣工作。三、災備系統(tǒng)的運維管理災備系統(tǒng)建設投資巨大，然而，商業(yè)銀行的災備系統(tǒng)建設普遍面臨如下問題：第一，由 于大規(guī)模、關聯(lián)復雜的IT系統(tǒng)災備切換技術復雜、風險極高，商業(yè)銀行的災備系統(tǒng)往往處 于有備份、無切換”的狀態(tài)，災備系統(tǒng)的有效性沒有經過真實切換的驗證；第二，生產系統(tǒng) 環(huán)境不斷變化，災備系統(tǒng)的維護成本高，可用性難以保障；第三，災備中心用于備份的服務 器往往處于空閑狀態(tài)，雖然一些銀行將災備系統(tǒng)同時用于開發(fā)測試

10、，但其資源仍沒有得到充 分有效的利用，尤其是對采用大型機運行核心或貸記卡系統(tǒng)的商業(yè)銀行而言，災備大機的資 源十分昂貴。災備建設投資大、周期長，但是，要確保在生產中心出現(xiàn)不可恢復的故障或災難時能夠 及時接管業(yè)務運行卻絕非易事。為了確保災備環(huán)境隨時處于可切換狀態(tài)，交通銀行從技術和 管理方面采取了多項措施來保障災備系統(tǒng)和生產環(huán)境的一致性。在技術手段上，交通銀行的關鍵業(yè)務系統(tǒng)采用雙中心運行模式，漕河涇副中心的雙活系 統(tǒng)視同生產系統(tǒng)進行維護。在新建的開放平臺系統(tǒng)中大規(guī)模推廣使用外置盤引導（SAN Boot）技術，通過磁盤同步復制自動實現(xiàn)同城和異地災備與生產系統(tǒng)的一致性。大大節(jié)省 了災備系統(tǒng)維護的工作量。

11、針對原有系統(tǒng)，為了確保災備和生產的一致性，交通銀行數(shù)據(jù)中 心還建立了災備信息自動化比對平臺，該平臺每晚將災備環(huán)境和生產系統(tǒng)的主要配置進行一 致性比對，生成比對報表，自動發(fā)送給相關維護人員，維護人員可以隨時檢查災備環(huán)境和生 產的一致性。在管理體系上，交通銀行數(shù)據(jù)中心將災備環(huán)境與生產系統(tǒng)進行一體化的管理，將數(shù)據(jù)中 心的變更、容量、配置、監(jiān)控、事件、應急、安全等管理流程延伸到同城副中心和異地災備 中心，如變更管理規(guī)定生產環(huán)境變更一周必須對災備環(huán)境進行同步變更。為了確保相關管理 規(guī)定的落實，交通銀行數(shù)據(jù)中心定期對生產變更同步的執(zhí)行情況和災備與生產配置的一致性 進行安全審計。數(shù)據(jù)中心每年年初都會制定災備切換演練計劃，每月進行一次災備切換演練， 驗證災備系統(tǒng)的有效性。此外，將災備切換成功率和災備系統(tǒng)配置與生產的一致性等指標納 入對數(shù)據(jù)中心各二級部門的績效考核。這些管理手段取得了良好的效果，災備切換演練取得 了較高的成功率。在應急處理體系上，交通銀行建立了由災備恢復計劃、災備應急處理預案和相關的操作 手冊組成的三級應急管理體系，開發(fā)了災備應急處理平臺，可以自動控制災備切換（恢復） 流程的執(zhí)行，這些預案和流程都經過切換演練的驗證，可以確保在緊急情況下發(fā)揮作用。交通銀行在兩地三中心建設中大膽創(chuàng)新，積