廣東金融科學技術(shù)進步獎勵申報書-高可用

1、廣東金融科學技術(shù)進步獎勵申報書一、項目基本情況項目名稱中文中國工商銀行廣東省分行開放平臺高可用項目英文High Availability Project of ICBC Guangdong branch主要完成人主要完成單位中國工商銀行股份有限公司廣東省分行信息科技部任務來源A國家級攻關(guān)、B其它國家計劃、C總行（公司、局）、 D一級分行、E其它單位委托、F中外合作、G自選、H非職務、I其它。計劃名稱和編號研制起止時間2012年4月-2013年1月成果用于生產(chǎn)時間2013年1月成果進度A階段性成果B最終成果C可否轉(zhuǎn)讓基 層申報單位中國工商銀行股份有限公司廣東省分行信息科技部組織鑒定單位和時間申報

2、部門中國工商銀行股份有限公司廣東省分行信息科技部申報日期2013年11月25日申報等級二級審定或推薦等級建議密級A絕密B機密C秘密批準密級A絕密B機密C秘密保密編號可否公布可市級成果登記號?。ú浚┘壋晒怯浱枃壹壋晒怯浱枅D書資料分類號社會/經(jīng)濟目標A陸地海洋大氣、B民用宇航、C農(nóng)林牧漁、D工業(yè)、E能源、F交通通信、G教育、H衛(wèi)生醫(yī)藥、I社會經(jīng)濟發(fā)展、J生態(tài)環(huán)保、K知識全面發(fā)展、L其它民用目標、M國防獎勵類別A 新成果、B推廣、C采用新技術(shù)、D消化吸收、E標準、F計量、G情報、H軟科學、I其它應用行業(yè)A農(nóng)林牧漁水、B工業(yè)、C地址、勘探、D建筑業(yè)、E交通、郵電、通訊業(yè)、F商業(yè)、飲食、供銷、倉儲

3、、G房地產(chǎn)、公共服務、H衛(wèi)生、體育、社會福利、I文教、廣播電視、J科研技術(shù)服務、K金融、保險、L黨政機關(guān)團體、M國防專用、N公安、安全、O其它行業(yè)本項目主題詞高可用，負載均衡，數(shù)據(jù)保護。內(nèi)容摘要：(600-800漢字)（大家改）由于現(xiàn)代社會對于金融業(yè)務連續(xù)性的要求日益提高，尤其是直接面對銀行客戶的業(yè)務服務，業(yè)務中斷帶來的直接經(jīng)濟損失和社會聲譽損失日益增大，因此，提升信息系統(tǒng)的可用性能獲得巨大的效益。隨著IT技術(shù)的迅速發(fā)展，PC服務器和各種Unix服務器性能也飛速提高，使得這些服務器能夠承載以前只有高端設(shè)備才能完成的計算任務，與此同時，這些服務器的性價比較好，使得能夠采用各種高可用技術(shù)以提高其性

4、能和可靠性。廣東省分行從2012年實施開放平臺高可用項目，根據(jù)應用系統(tǒng)的重要性分為5個級別，針對26套系統(tǒng)采用統(tǒng)一的技術(shù)要求進行了項目實施，目前應用系統(tǒng)關(guān)聯(lián)較為復雜，方案以服務器為節(jié)點采用各種技術(shù)提升可用性，主要實施內(nèi)容包含單臺網(wǎng)卡聚合、光纖卡冗余，對應用服務器實施負載均衡和多點接入，對oracle數(shù)據(jù)庫進行數(shù)據(jù)保護，這些技術(shù)綜合起來都是以消除單點風險來提升可用性的。26套系統(tǒng)中，直接面向客戶的柜面交易、自助設(shè)備等系統(tǒng)屬于高級別應用，還在同城機房實施多點接入，實現(xiàn)了單點機房故障時的業(yè)務連續(xù)性功能。2012年下半年逐步完成各應用系統(tǒng)實施以來，未發(fā)生過因部件故障而影響業(yè)務的情況，為信息系統(tǒng)的連續(xù)性

5、提供了強力的保障。- 28 -二、當前國（?。﹥?nèi)外同類先進技術(shù)概況黃俊對于銀行系統(tǒng)來說，業(yè)務連續(xù)性要高于很多行業(yè)，上網(wǎng)查。未有系統(tǒng)性地進行相關(guān)項目建設(shè)。我也去上網(wǎng)查，。三、申報項目的詳細情況及申報理由1、項目的主要技術(shù)內(nèi)容A.采用的技術(shù)原理（羅綿川）1、應用服務器負載均衡2、網(wǎng)卡聚合3、數(shù)據(jù)庫數(shù)據(jù)保護4、自動切換腳本B.關(guān)鍵技術(shù)及創(chuàng)新點（鄧忠京） 高可用模型的建立：據(jù)不完全統(tǒng)計，造成非計劃宕機的原因主要有硬件問題（40%）、軟件問題（30%）、人為因素（20%）、環(huán)境因素（10%），因此，高可用模型的建立充分的考慮了上述因素。該模型主要涉及主機、數(shù)據(jù)、存儲、網(wǎng)絡等多部份內(nèi)容，高可用模型為項目規(guī)

6、劃設(shè)計提供了整體框架，可以通過某個環(huán)節(jié)的可用性指標對整體可用率的影響程度進行分析，反之，將整體可用率也可分解為各關(guān)鍵環(huán)節(jié)的可用率指標（例如應用可用率、系統(tǒng)可用率），對各環(huán)節(jié)的高可用規(guī)劃設(shè)計提出具體建設(shè)要求，這種從局部到全局，再從全局分解到局部的雙向可逆模型，為我行高可用建設(shè)提供了整體框架及具體實施依據(jù)。高可用模型建立的關(guān)鍵因素(key factor)包括：應用級別、災備等級、設(shè)備冗余、數(shù)據(jù)冗余、網(wǎng)絡冗余、RTO目標及操作風險控制等，具體說明如下：應用級別分為A/B/C/D四類，其中A/B類為7*24小時不中斷業(yè)務，對RTO及冗余度要求最高。災備等級分為1-5級，數(shù)字越大級別越高，例如綜合前置類

7、應用災備等級為5，表示既需要在本地中心機房部署主備機，又同時在災備機房也部署該類應用。設(shè)備冗余主要分為負載均衡、主備模式、HA自動切換，其中主備模式又細分為熱備、冷備或N+1冷備。數(shù)據(jù)冗余包括是否接入SAN存儲，采用何種數(shù)據(jù)冗余方式（例如RAID1、RAID5），如果是數(shù)據(jù)庫，還需要指定是否實施Oracle dataguard、Oracle RAC等數(shù)據(jù)保護技術(shù)。網(wǎng)絡冗余主要包括是否實施多網(wǎng)卡聚合技術(shù)，以及光纖連接方式，例如雙服務器、雙交換機和雙通信通路，實現(xiàn)交叉互聯(lián)。RTO目標及操作風險控制，主要說明該套應用可以容忍的最大RTO，例如綜合前置為30min，操作風險控制手段主要為是否投產(chǎn)我行自

8、研發(fā)的主備切換腳本。以中間業(yè)務平臺應用為例，建立了高可用模型樹，見圖表二。高可用項目全過程的風險控制：采用ITSM(IT服務管理)對高可用項目進行全過程的風險控制，從被動審計變主動的風控體系建設(shè)，控制過程貫穿包括從立項、開發(fā)、測試到最后實施及驗收階段。對高可用架構(gòu)實施的每個過程進行風險識別、風險評估，并定義了KPI(關(guān)鍵績效指標，詳見圖表一)對項目進行風險控制，以確保項目建設(shè)與總行規(guī)劃、全行經(jīng)營戰(zhàn)略目標保持高度一致。通過實施ITSM，將高可用架構(gòu)規(guī)劃過程、IT資源、經(jīng)營策略及目標聯(lián)系起來，形成一個三維體系結(jié)構(gòu)。IT資源主要包括項目人力、應用系統(tǒng)、技術(shù)、設(shè)備、數(shù)據(jù)等在內(nèi)的相關(guān)資源；高可用架構(gòu)規(guī)劃

9、過程則是在企業(yè)經(jīng)營策略及目標的指導下，對系統(tǒng)從立項、開發(fā)、測試到最后實施及驗收階段確定的多個處理過程，每個處理過程包括更加詳細的控制目標、項目是否符合企業(yè)要求的評估。高可用項目風險定量評估模型的建立：（1） 應用系統(tǒng)類型，包括應用等級、系統(tǒng)RTO。以中間業(yè)務平臺為例，中間業(yè)務為B類應用，對外服務RTO為30分鐘。（2）重大風險識別重大風險包括：系統(tǒng)或數(shù)據(jù)庫服務異常、關(guān)鍵進程宕、網(wǎng)絡故障、外部環(huán)境原因、操作失誤等，總體上可概括為系統(tǒng)風險、技術(shù)風險、操作風險等。（3）高可用結(jié)構(gòu)對可用率影響的風險評估以中間業(yè)務為例，設(shè)備冗余包括3臺應用服務器（F5負載均衡）、1臺數(shù)據(jù)庫服務器、1臺數(shù)據(jù)庫standb

10、y備機；網(wǎng)絡冗余包括所有服務器均實施了雙網(wǎng)卡聚合技術(shù)，雙光纖卡4通道技術(shù)；數(shù)據(jù)冗余包括實施了數(shù)據(jù)庫物理standby技術(shù)；操作風險控制手段包括實施主備切換半自動化腳本，減少人工操作帶來的失誤率。應用可用率計算為：n：表示某個應用發(fā)生的告警事件的數(shù)量 Ptime：表示報警的持續(xù)時間，單位：秒 Weighti:某一種告警事件對整個應用的影響度；關(guān)鍵進程宕對應用影響度為100%Mi:表示應用節(jié)點的臺數(shù) ，例如中間平臺系統(tǒng)有5臺，則Mi=5Stime:表示某應用對外服務的時間，單位：秒 ；以一周為例，Stime=60*60*24*7=604800秒 由上可見，采用上述高可用架構(gòu)的情況下，當數(shù)據(jù)庫服務器

11、主機宕機的應用可用率影響是最大的，而應用服務器由于做了負載均衡，應用服務器關(guān)鍵進程宕對高可用服務的整體影響為0。而由于采用了oracle standby的數(shù)據(jù)保護結(jié)構(gòu)，當數(shù)據(jù)庫服務出現(xiàn)異常情況下，高可用架構(gòu)仍能保證RTO不超過最大容忍度。相反，如果不采用應用服務器負載均衡方式，甚至應用服務器和數(shù)據(jù)庫服務器部署在同一臺機器，那么關(guān)鍵進程宕對應用影響度將達100%，風險大大增加。圖表一說明了項目全過程控制中的各個KPI數(shù)據(jù)。（4）風險重復計算及補償性控制由于中間業(yè)務平臺數(shù)據(jù)庫保護實施了oracle standby技術(shù)，在發(fā)生數(shù)據(jù)庫服務異常情況下將對業(yè)務連續(xù)性產(chǎn)生影響，雖然采用oracle stan

12、dby技術(shù)能確保數(shù)據(jù)庫服務及時切換至備機，但新的系統(tǒng)風險、操作風險也隨切換過程伴隨而來，因此，有必要實施風險的補償性控制，例如，建立ITSM流程控制，對應急方案、變更方案進行流程化審核；實施主備切換半自動化腳本，減少人工操作帶來的失誤率，控制操作風險。 研發(fā)高可用架構(gòu)半自動化切換腳本，有效降低人為操作風險，減少RTO：由于高可用架構(gòu)應用主備間切換涉及關(guān)聯(lián)關(guān)系復雜，主備可能是Oracle dataguard結(jié)構(gòu)、冷備N+1結(jié)構(gòu)，人為操作上的“失誤”可能帶來極其嚴重的后果和不可估計的經(jīng)濟損失，基于此，我行自行研發(fā)了高可用架構(gòu)半自動化切換腳本。該腳本減少了主備切換時人為干預的操作，自動進行應用進程啟

13、停、存儲切換、網(wǎng)絡服務接管，有效降低了人為操作風險，并大大縮短了RTO，明顯提升了我行高可用架構(gòu)可用率指標。 C.必要的圖表圖表一：高可用項目ITIL目標KPI過程目標KPI項計算依據(jù)實際KPI計算結(jié)果符合服務級別協(xié)議(SLAs)的交易響應時間交易超時率M:表示交易種類個數(shù)，例如綜合前置共分為POS、ATM、自助終端三類X:表示某種交易超時數(shù)Y:表示某種交易的交易量最小化交易故障應用可用率n：表示某個置應用發(fā)生的告警事件的數(shù)量 Ptime：表示報警的持續(xù)時間，單位：秒 Weighti:某一種告警事件對整個應用的影響度；關(guān)鍵進程宕對應用影響度為100%Mi:表示某一種應用節(jié)點的臺數(shù) ，例如綜合前

14、置系統(tǒng)有2臺，則Mi=2Stime:表示某應用對外服務的時間，單位：秒 ；以一周為例，Stime=60*60*24*7=604800秒只要Ptime為0，應用可用率即為100%。最小化停機時間系統(tǒng)可用率m：表示應用節(jié)點類型的數(shù)量 ；我行綜合前置節(jié)點數(shù)為2Ptime：表示報警的持續(xù)時間，單位：秒Ni:表示某一種應用節(jié)點的臺數(shù)；我行綜合前置節(jié)點數(shù)為2 Stime:表示某應用對外服務的時間，單位：秒；以一周為例，Stime=60*60*24*7=604800秒只要Ptime為0，系統(tǒng)可用率即為100%。最小的RTO主備切換時間RTO是反映業(yè)務恢復及時性指標，表示業(yè)務從中斷到恢復正常所需要時間。圖表二

15、：高可用模型樹以綜合前置應用的高可用模型為例，2、項目與國（?。﹥?nèi)外已有同類先進技術(shù)全面對比情況項目水平：A國際首創(chuàng)、B國際先進、C接近國際先進、D國內(nèi)首創(chuàng)、E國內(nèi)先進、F省內(nèi)首創(chuàng)、G省內(nèi)先進綜合評述：（鄧忠京）廣東工行高可用架構(gòu)項目建設(shè)包括3、項目應用和推廣情況新增單產(chǎn)%應推廣應用已推廣應用推廣程度%面積單位面積單位廣東省廣東省100%未達到推廣應用面積和程度的原因A無接產(chǎn)單位、B缺乏資金、C技術(shù)不配套、D其它（ ）內(nèi)容概述：曾4、項目的經(jīng)濟效益和社會效益（曾曉陽）經(jīng)濟效益情況表科研投資 3000 千元（主要是服務器投入、F5）國家撥款總行（公司、局）外國資金單位自籌個人自籌生產(chǎn)投資其他合計

16、應用后經(jīng)濟效益每年 3000 千元（每年停機時間減少，平均每套系統(tǒng)6小時）時間項目應用至鑒定累計應用至鑒定年時間應用至申報獎勵時累計應用至申報獎勵時年平均科研收入新增產(chǎn)值新增利稅創(chuàng)收外匯增收（節(jié)支）總額經(jīng)濟效益總計社會效益情況：A科技、B教育、C管理決策、D自然資源保護、E環(huán)保、F安全生產(chǎn)、改善勞動條件、G醫(yī)療衛(wèi)生、H國防、I公共安全、K其它詳細描述：四、本項目曾獲獎勵情況何年何月曾獲何種獎勵獎勵等級獎金數(shù)額受獎部門無備注：五、評述意見1、初審意見基層申報單位意見同意申報。公 章：年 月 日申報部門初審意見同意申報。公 章：年 月 日2、復審意見廣東金融科技獎勵基金評審委員會復審意見公 章：年

17、 月 日六、附件目錄附件一：科技技術(shù)成果鑒定證書附件二：已獲經(jīng)濟效益證明附件三：用戶使用或社會效益證明附件四：主要完成單位情況附件五：主要完成人情況附件六：科學技術(shù)總結(jié)報告附件七：研制報告附件八：測試報告附件一：科技技術(shù)成果鑒定證書附件二：已獲經(jīng)濟效益證明應用單位情況應用單位名稱中國工商銀行股份有限公司廣東省分行應用成果起止時間通信地址廣州市沿江西路123號經(jīng)濟效益年度新增產(chǎn)值新增利稅節(jié)支金額其他收入年增收金額應用單位財務部門（蓋章）年 月 日附件三：用戶使用或社會效益證明社會效益：應用情況：應用單位（蓋章）年 月 日附件四：主要完成單位情況表序號單位名稱所屬省、部委通信地址單位性質(zhì)戶名、開戶銀行賬號曾用名或簡稱證書號碼1中國工商銀行股份有限公司廣東省分行信息科技部廣州市天河區(qū)建工路7號股份制公司ICBC GD IT Department2中文英文3中文英文4中文英文附件五：主要完成人員名單序號姓名年齡文化程度所學專業(yè)職稱職務工作單位對成果的創(chuàng)造性貢獻1中國工商銀行廣東省分行信息科技部2中國工商銀行廣東省分行信息科技部3中國工商銀行廣東省分行信息科技部4中國工商銀行廣東省分行信息科技部5中國工商銀行廣東省分行信息科技部6中國工商銀行廣東省分行信息