某人壽保險(xiǎn)IT系統(tǒng)基礎(chǔ)架構(gòu)容災(zāi)經(jīng)驗(yàn)分享

xx人壽IT系統(tǒng)基礎(chǔ)架構(gòu)容災(zāi)經(jīng)驗(yàn)分享

XX人壽保險(xiǎn)股份有限公司系1996年8月22日經(jīng)中國(guó)人民銀行總行批準(zhǔn)成立的全國(guó)性、股份制人壽保險(xiǎn)公司。

截至2012年，XX人壽總資產(chǎn)超4100億元，凈資產(chǎn)近210億元，在全國(guó)設(shè)立了北京、上海、湖北、山東、廣東等35家分公司，各級(jí)機(jī)構(gòu)超4200家，構(gòu)建起完整的服務(wù)網(wǎng)絡(luò)為客戶提供及時(shí)和周到的服務(wù)，累計(jì)為2776萬個(gè)人客戶和25萬機(jī)構(gòu)客戶提供過服務(wù)，累計(jì)理賠客戶927萬人次，累計(jì)理賠金額99億元。

XX人壽旗下?lián)碛蠿X資產(chǎn)管理有限責(zé)任公司、XX養(yǎng)老保險(xiǎn)股份有限公司和XX之家投資有限公司。XX資產(chǎn)是國(guó)內(nèi)資本市場(chǎng)大型機(jī)構(gòu)投資者之一，受托資產(chǎn)管理總規(guī)模超4600億元，綜合投資收益率居于行業(yè)前列。2012年，XX人壽和XX資產(chǎn)分別通過“保監(jiān)會(huì)不動(dòng)產(chǎn)投資能力和投資計(jì)劃產(chǎn)品創(chuàng)新能力備案”，成為《保險(xiǎn)資金投資不動(dòng)產(chǎn)暫行辦法》實(shí)施以來，行業(yè)內(nèi)第一批取得不動(dòng)產(chǎn)直接投資、不動(dòng)產(chǎn)金融產(chǎn)品設(shè)立與發(fā)行雙重資格的保險(xiǎn)集團(tuán)化公司。

未來，XX人壽將堅(jiān)持專業(yè)化經(jīng)營(yíng)，深耕壽險(xiǎn)產(chǎn)業(yè)鏈，為廣大客戶提供“從搖籃到天堂”持續(xù)一生的全方位金融保險(xiǎn)服務(wù)，致力于讓保險(xiǎn)更便捷、更實(shí)惠，讓XX人壽成為人們生活的一部分?？蛻艉?jiǎn)介

1.客戶急需解決的問題與需求2.什么是容災(zāi)3.容災(zāi)方案的選擇4.容災(zāi)技術(shù)5.數(shù)據(jù)遠(yuǎn)程容災(zāi)軟件

6.容災(zāi)演練客戶需求

ECM系統(tǒng)作為XX人壽重要的在線業(yè)務(wù)支撐系統(tǒng)，為一線業(yè)務(wù)人員提供在線的電子文檔、電子保單等服務(wù)。主數(shù)據(jù)中心：金融街?jǐn)?shù)據(jù)中心，運(yùn)行所有重要系統(tǒng)的核心機(jī)房，滿足所有重要系統(tǒng)的數(shù)據(jù)備份、恢復(fù)需求。ECM系統(tǒng)是金融街?jǐn)?shù)據(jù)中心中最重要的系統(tǒng)之一。在2008年部署了EMC與HDS存儲(chǔ)，作為高速存儲(chǔ)負(fù)責(zé)OLTP事件型oralce數(shù)據(jù)庫核心并且同時(shí)存放海量影像文件。為ECM系統(tǒng)提供了一個(gè)高性高效率能的存儲(chǔ)池。由于現(xiàn)在地址災(zāi)難和各種火災(zāi)停電等因素造成只有一個(gè)數(shù)據(jù)中心的xx人壽數(shù)據(jù)安全性相對(duì)較低，而隨著國(guó)家法律法規(guī)對(duì)于金融保險(xiǎn)行業(yè)的要求，在同城建設(shè)數(shù)據(jù)容災(zāi)中心成了重中之重的任務(wù)。規(guī)劃本地容災(zāi)中心：亦莊容災(zāi)數(shù)據(jù)中心，滿足ECM系統(tǒng)的本地?cái)?shù)據(jù)級(jí)容災(zāi)需求，通過40Mbit帶寬傳遞容災(zāi)數(shù)據(jù)（每天的新增數(shù)據(jù)），實(shí)現(xiàn)了數(shù)據(jù)級(jí)容災(zāi)。同時(shí)由于本套系統(tǒng)為客戶的核心業(yè)務(wù)數(shù)據(jù)庫存放的系統(tǒng)，所以在保障數(shù)據(jù)安全性的前提下對(duì)存儲(chǔ)系統(tǒng)的性能有很高的要求，不能因?yàn)椴渴鹑轂?zāi)中心增加了容災(zāi)傳輸?shù)男阅軌毫缶陀绊懏?dāng)前的客戶數(shù)據(jù)正常訪問?？蛻衄F(xiàn)狀金融街?jǐn)?shù)據(jù)中心主業(yè)務(wù)存儲(chǔ)主機(jī)群集主機(jī)群集主機(jī)群集主業(yè)務(wù)存儲(chǔ)性能情況什么是容災(zāi)容災(zāi)備份系統(tǒng)就是防止意外情況而采取的一種解決方案，其目的只有一個(gè)，那就是保證數(shù)據(jù)安全。根據(jù)DisasterRecoveryJounal的調(diào)查表明，在受到災(zāi)難襲擊的5個(gè)公司中，將有2個(gè)公司無法從災(zāi)難中重新開始工作。而那些即使是重新開張的公司中，也將有至少1個(gè)將在兩年后關(guān)張建設(shè)容災(zāi)系統(tǒng)的目的就是保護(hù)所有的業(yè)務(wù)數(shù)據(jù)，保證業(yè)務(wù)的連續(xù)性什么是業(yè)務(wù)連續(xù)性業(yè)務(wù)持續(xù)性（ContinuousBusiness）=保證業(yè)務(wù)的穩(wěn)定保證企業(yè)可以面對(duì)計(jì)劃的和意外的事件發(fā)生的時(shí)候繼續(xù)維持運(yùn)作受到對(duì)下面兩個(gè)方面的理解的驅(qū)動(dòng)業(yè)務(wù)影響：考慮如何避免對(duì)商業(yè)的影響業(yè)務(wù)流程與風(fēng)險(xiǎn)：考慮計(jì)劃和意外事件發(fā)生時(shí)的情況數(shù)據(jù)的可用性保護(hù)只是操作靈活性的一部分，最終的解決方案將會(huì)圍繞著其它方面（例如人員、流程和架構(gòu)等）(恢復(fù)策略)Backup策略Replication策略GeoClusterSynchronousReplicationAsynchronousReplicationDBlog性價(jià)比WhataboutApplicationavailabilityandbusinessaccessavailabilityApplicationDataBusinessAccessCMCC運(yùn)營(yíng)方式技術(shù)難度業(yè)務(wù)恢復(fù)速度維護(hù)人員要求資源復(fù)用主備中心相對(duì)簡(jiǎn)單慢相對(duì)簡(jiǎn)單相對(duì)不高較低雙中心相對(duì)復(fù)雜快相對(duì)復(fù)雜相對(duì)較高較高兩種方式同城容災(zāi)遠(yuǎn)距離容災(zāi)災(zāi)難抵御種類較少較多對(duì)用戶服務(wù)的連續(xù)性較差較好網(wǎng)絡(luò)組織難度較容易難度較大技術(shù)復(fù)雜度較容易難度較大容災(zāi)中心技術(shù)支持較好較差人員組織較容易難度較大項(xiàng)目管理協(xié)調(diào)難度低高工程投資較低較高運(yùn)營(yíng)成本較低較高建設(shè)周期較短較長(zhǎng)兩種方式同級(jí)設(shè)備容災(zāi)主機(jī)處理能力與生產(chǎn)中心相等存儲(chǔ)設(shè)備與生產(chǎn)中心配置相等容災(zāi)中心系統(tǒng)可靠性與生產(chǎn)中心設(shè)置級(jí)別相當(dāng)，如主機(jī)集群等投資高，與生產(chǎn)中心平臺(tái)投資接近降級(jí)設(shè)備容災(zāi)主機(jī)處理能力低于生產(chǎn)中心存儲(chǔ)設(shè)備配置低于生產(chǎn)中心容災(zāi)中心系統(tǒng)可靠性低于生產(chǎn)中心設(shè)置級(jí)別，如不考慮主機(jī)集群等投資低于同級(jí)規(guī)模CMCC設(shè)備配置策略存儲(chǔ)級(jí)數(shù)據(jù)庫級(jí)(Oracle)IPStor第三方軟件(VVR)LVM(VxVM)數(shù)據(jù)復(fù)制策略Recovery-timeObjective(RTO)多長(zhǎng)時(shí)間內(nèi)關(guān)鍵應(yīng)用必須恢復(fù)–

我能承受多長(zhǎng)時(shí)間宕機(jī)?Recovery-pointObjective(RPO)哪一個(gè)時(shí)間點(diǎn)之前的數(shù)據(jù)必須被恢復(fù)–

我能容忍多少數(shù)據(jù)丟失?被選定的切實(shí)可行的災(zāi)難恢復(fù)方案必須基于成本和恢復(fù)時(shí)間的平衡如果我花費(fèi)多一點(diǎn)，我的恢復(fù)過程會(huì)快多少?如果我花費(fèi)少一點(diǎn)，我的恢復(fù)過程會(huì)慢多少?預(yù)定的恢復(fù)目標(biāo)決定相關(guān)解決方案需要對(duì)中心機(jī)房所有的主機(jī)系統(tǒng)都有進(jìn)行改造，改為使用VeritasVolumeManager。而這種方式需要把IBM主機(jī)上的VG信息都鏟掉，即所有的數(shù)據(jù)庫都要首先備份到磁帶庫上，然后把IBM主機(jī)的卷管理軟件改為VeritasVolumeManager，然后重建VG，再把數(shù)據(jù)從磁帶庫上恢復(fù)出來。系統(tǒng)風(fēng)險(xiǎn)極大！在實(shí)施階段很容易造成現(xiàn)有系統(tǒng)的不穩(wěn)定、數(shù)據(jù)丟失項(xiàng)目實(shí)施周期長(zhǎng)，并且需要每個(gè)業(yè)務(wù)主系統(tǒng)都要多次停機(jī)，社會(huì)影響較大VeritasVVR通過主機(jī)實(shí)現(xiàn)，對(duì)主機(jī)系統(tǒng)和應(yīng)用系統(tǒng)影響較大性能不可預(yù)測(cè)、難于優(yōu)化、需要在每臺(tái)主機(jī)上都進(jìn)行配置和優(yōu)化如果采用VeritasVVR解決方案，需要對(duì)生產(chǎn)中心的8臺(tái)IBM主機(jī)、將近20個(gè)分區(qū)、容災(zāi)中心將要購買的所有主機(jī)和分區(qū)都要進(jìn)行改造，工作量可想而知！如果進(jìn)行軟件升級(jí)，則所有的主機(jī)則都要重新調(diào)整，不但工作量大，而且風(fēng)險(xiǎn)高！如果采用VeritasVVR解決方案，將來的新建系統(tǒng)都要進(jìn)行相同的工作，工作量很大VeritasVVR是按照CPU個(gè)數(shù)計(jì)算License，成本不菲而采用IBM硬件容災(zāi)方案，是與主機(jī)無關(guān)的；如果采用IBM存儲(chǔ)解決方案，那么只對(duì)2臺(tái)存儲(chǔ)進(jìn)行操作。將來微碼升級(jí)、系統(tǒng)配置也只針對(duì)2臺(tái)存儲(chǔ)。軟件解決方案

HDS虛擬化方案IBM方案方案復(fù)雜度復(fù)雜簡(jiǎn)單實(shí)施復(fù)雜度復(fù)雜簡(jiǎn)單實(shí)施風(fēng)險(xiǎn)在生產(chǎn)端要把EMCDMX3000虛擬化，需要把主機(jī)映射關(guān)系重做小是否適合大型數(shù)據(jù)庫不適合，目前來看虛擬化方案僅適用于文件系統(tǒng)應(yīng)用適合對(duì)整體系統(tǒng)性能影響對(duì)EMCDMX3000的每一次訪問都要通過USP機(jī)頭，對(duì)系統(tǒng)性能影響可想而知無影響軟件維保成本每年需要維保成本，標(biāo)準(zhǔn)配置無現(xiàn)場(chǎng)服務(wù)；如需現(xiàn)場(chǎng)服務(wù)，需額外購買軟件維保隨存儲(chǔ)硬件設(shè)備提供，不增加額外成本；IBM提供現(xiàn)場(chǎng)服務(wù)容災(zāi)成功案例較少很多對(duì)集成商的工作影響大小硬件解決方案SynchronousRemoteReplication同步復(fù)制實(shí)時(shí)鏡像，數(shù)據(jù)同步系統(tǒng)快速恢復(fù)，最少數(shù)據(jù)丟失理論極限值100km，距離越長(zhǎng)，時(shí)延越大高帶寬需求（I/O峰值計(jì)算）對(duì)生產(chǎn)端I/O響應(yīng)時(shí)間沖擊備份端存儲(chǔ)處理能力要求足夠好否則會(huì)連累生產(chǎn)端，導(dǎo)致宕機(jī)Cache、DestagingSynchronous1-Writetoprimary2-Writetosecondary3-Writecompleteonsecondary4-I/OCompletion1生產(chǎn)主機(jī)

可以無需備份主機(jī)342100公里P-VOLS-VOL同步數(shù)據(jù)復(fù)制的理想條件網(wǎng)絡(luò)帶寬光纖1000Mb/sATM622Mb/s距離<10公里，最長(zhǎng)不超過30公里TheRollingDisaster...(IBM,4/8/94)“Exceptinatotaldisaster,(explosion,earthquake)youshouldNEVERexpectyourentiresystemtofailatthesamemoment.Failureswillbeintermittentandgradual,andthedisasterwillactuallyoccurovermanyseconds,evenminutesThisistheRollingDisaster”.除了地震，爆炸等完全毀滅性災(zāi)難外，你根本不可能碰到系統(tǒng)同時(shí)癱瘓的情況。故障總是間斷的，漸漸的累積起來的，整個(gè)災(zāi)難的過程會(huì)持續(xù)數(shù)秒鐘，甚至幾分鐘，這就是我們所謂的RollingDisaster。同步方式的挑戰(zhàn):RollingDisasterRollingDisaster數(shù)據(jù)保持I/O的一致性數(shù)據(jù)結(jié)構(gòu)可能被破壞，數(shù)據(jù)不可用第一波故障災(zāi)難結(jié)束－計(jì)算終止Corruptioncanoccur保證數(shù)據(jù)一致性和完整性TimestampwritesequencingConsistencygroup最小的響應(yīng)時(shí)間沖擊低帶寬（平均I/O計(jì)算）很少的數(shù)據(jù)丟失沒有0數(shù)據(jù)丟失Asynchronous1生產(chǎn)中心容災(zāi)中心PrimaryHost

3421-Writetoprimary2-I/OCompletion3-Writetosecondary4-Writecompleteonsecondary任何距離S-VOLP-VOLMainframeVSE,VM,OS390IBMAIXSunSolarisHP-UX,TRU-64andVMSWin2K/WinNTAsynchronousRemoteReplication異步復(fù)制容災(zāi)方式的采用同步容災(zāi)的理想條件距離<30公里兩地有光纖連接或者622Mb/sATM異步容災(zāi)沒有距離限制在實(shí)際銀行、電信的應(yīng)用中，同步容災(zāi)對(duì)聯(lián)機(jī)事務(wù)處理類的業(yè)務(wù)會(huì)增加響應(yīng)時(shí)間，對(duì)批處理業(yè)務(wù)處理速度也有很大的影響技術(shù)的選擇是性能，投資和RPO等指標(biāo)的平衡應(yīng)用級(jí)容災(zāi)，需要針對(duì)容災(zāi)對(duì)應(yīng)用做出相應(yīng)的調(diào)整cache5nanoseconds/m–speedoflightinFiber2microseconds/switchupto1ms–writeintocachememoryupto30ms–writetoback-enddisk時(shí)延考慮Σ=~1ms1,000IOPSforlocalwritetocachesynchronousconsiderationscachecachewriteIOcomplete5ηs/m2μs/switch1mscachewrite+0.3mscachereadremotelinklatency1mscachewriteΣ=~2.3ms 435IOPS@0km100kmFCdirect ~1ms(ROT)DWDM ~250ηs/devFCIPEurope ~19msFCIPtransatlantic ~81msFCIPNorthAmerica ~44msFCIPSing.<->US ~210msΣ=~3.3ms 303IOPS@100kmΣ=~83ms 12IOPS@IPLondon-NY數(shù)據(jù)遠(yuǎn)程復(fù)制軟件移動(dòng)BOSS/BAS系統(tǒng)容災(zāi)(原有系統(tǒng))CRM計(jì)費(fèi)結(jié)算營(yíng)業(yè)帳務(wù)經(jīng)營(yíng)分析DB2OLAP數(shù)據(jù)挖掘…

SAN經(jīng)營(yíng)分析系統(tǒng)SANSANDWDM欽洲北路機(jī)房金橋機(jī)房關(guān)于容災(zāi)鏈路的問題目前情況看，容災(zāi)鏈路主要有以下方式將長(zhǎng)波口放置在大交換機(jī)上（湖南、上海移動(dòng)）將長(zhǎng)波口放置在小交換機(jī)上大、小交換機(jī)不互聯(lián)（遼寧移動(dòng)、江蘇移動(dòng)）大、小交換機(jī)互聯(lián)（ISL）容災(zāi)鏈路到底需要多少對(duì)光纖需要采集現(xiàn)有生產(chǎn)系統(tǒng)的數(shù)據(jù)對(duì)現(xiàn)有生產(chǎn)系統(tǒng)進(jìn)行先期優(yōu)化