基于雙活零切換的服務(wù)不間斷的BOSS系統(tǒng)

1、成果上報(bào)申請(qǐng)書(shū)成果名稱(chēng)基于雙活零切換的服務(wù)不間斷的boss系統(tǒng)成果申報(bào)單位 山東 ?。ㄗ灾螀^(qū)/直轄市）公司成果承擔(dān)部門(mén)/分公司 帳務(wù)中心項(xiàng)目負(fù)責(zé)人姓名項(xiàng)目負(fù)責(zé)人聯(lián)系電話和email成果專(zhuān)業(yè)類(lèi)別*業(yè)務(wù)支撐所屬專(zhuān)業(yè)部門(mén)*業(yè)務(wù)支撐線條成果研究類(lèi)別*其它省內(nèi)評(píng)審結(jié)果*優(yōu)秀關(guān)鍵詞索引（35個(gè)）容災(zāi) 雙活 零切換應(yīng)用投資200萬(wàn)元（指別的省引入應(yīng)用需要的投資金額）產(chǎn)品版權(quán)歸屬單位中國(guó)移動(dòng)通信集團(tuán)山東有限公司對(duì)企業(yè)現(xiàn)有標(biāo)準(zhǔn)規(guī)范的符合度：（按填寫(xiě)說(shuō)明5）符合如果該成果來(lái)源于研發(fā)項(xiàng)目，請(qǐng)?zhí)顚?xiě)研發(fā)項(xiàng)目的年度、名稱(chēng)和類(lèi)型（類(lèi)型包括：集團(tuán)重點(diǎn)研發(fā)項(xiàng)目、集團(tuán)聯(lián)合研發(fā)項(xiàng)目、省公司重點(diǎn)研發(fā)項(xiàng)目、其他研發(fā)項(xiàng)目），可填寫(xiě)多個(gè)：

2、省重點(diǎn)研發(fā)項(xiàng)目：應(yīng)急容災(zāi)零切換，革命性提升boss系統(tǒng)業(yè)務(wù)服務(wù)水平。成果簡(jiǎn)介： 山東公司針對(duì)容災(zāi)系當(dāng)前存在的切換時(shí)間長(zhǎng)、投資大、容災(zāi)側(cè)資源平時(shí)不能使用、流程復(fù)雜維護(hù)難等問(wèn)題進(jìn)行了積極探索，采用創(chuàng)新技術(shù)大膽嘗試，徹底解決容災(zāi)系統(tǒng)資源閑置問(wèn)題（含存儲(chǔ)），通過(guò)在國(guó)內(nèi)首次創(chuàng)新嘗試將vplex存儲(chǔ)虛擬化結(jié)合oracle的遠(yuǎn)程rac技術(shù)實(shí)現(xiàn)了跨數(shù)據(jù)中心的雙活方案，即boss系統(tǒng)生產(chǎn)端和容災(zāi)端可以同時(shí)放開(kāi)對(duì)外訪問(wèn)，徹底解決了以往容災(zāi)端平時(shí)不能打開(kāi)對(duì)外訪問(wèn)的弊端。 雙活數(shù)據(jù)中心結(jié)合通過(guò)定制開(kāi)發(fā)的boss系統(tǒng)對(duì)外統(tǒng)一接口平臺(tái)，經(jīng)過(guò)測(cè)試容災(zāi)切換最多只需要幾十秒，且無(wú)需人工干預(yù)。 boss系統(tǒng)的雙活數(shù)據(jù)中心將是bo

3、ss系統(tǒng)的一場(chǎng)革命，必將大大降低 停機(jī)窗口、提高服務(wù)質(zhì)量，降低業(yè)務(wù)風(fēng)險(xiǎn)，同時(shí)大大節(jié)約投資。省內(nèi)試運(yùn)行效果：描述成果引入后在本省試運(yùn)行方案、取得的效果、推廣價(jià)值和建議等。1、 人力解放： 通過(guò)優(yōu)化，大大減輕了容災(zāi)系統(tǒng)維護(hù)工作量，山東公司目前只有一人在兼職維護(hù)容災(zāi)系統(tǒng)。2、 容災(zāi)系統(tǒng)可用性： 通過(guò)優(yōu)化，是容災(zāi)系統(tǒng)可用性和切換信心度大幅增長(zhǎng)，現(xiàn)在山東公司每半年均進(jìn)行1到2次真實(shí)切換演練，在2011年集團(tuán)公司組織的容災(zāi)演練專(zhuān)項(xiàng)檢查中，山東公司第一個(gè)參與真實(shí)演練并獲得滿分，充分證明了優(yōu)化的效果。3、 提高客戶滿意度 通過(guò)優(yōu)化，使系統(tǒng)停機(jī)窗口做到最小，尤其是雙活“0”切換技術(shù)，使切換窗口最到最小，近幾年山

4、東公司客戶滿意度在集團(tuán)內(nèi)保持了比較高的名次。4、 節(jié)約投資 通過(guò)創(chuàng)新的雙活“0”切換技術(shù)以及虛擬化技術(shù)的應(yīng)用，使容災(zāi)端的資源真正利用起來(lái)，從而大大節(jié)約了投資，以山東公司容災(zāi)系統(tǒng)投資占硬件整體投資的50計(jì)算，相當(dāng)于每年可以節(jié)約4000萬(wàn)人民幣 文章主體（3000字以上，可附在表格后）：根據(jù)成果研究類(lèi)別，主體內(nèi)容的要求有差異，具體要求見(jiàn)表格后的“填寫(xiě)說(shuō)明6”。附表后?；陔p活零切換的服務(wù)不間斷的boss系統(tǒng)一、背景和意義為了更好的保障boss系統(tǒng)運(yùn)行，提高服務(wù)質(zhì)量，我們先后建立了應(yīng)急系統(tǒng)、容災(zāi)系統(tǒng)等，但仍存在如下矛盾，并越來(lái)越突出投資大，效益慢：今年boss擴(kuò)容需要約xxxx萬(wàn)tpcc，xxxt存

5、儲(chǔ)設(shè)備，需要同步對(duì)容災(zāi)系統(tǒng)擴(kuò)容。1、 災(zāi)備端平時(shí)無(wú)法打開(kāi)：災(zāi)備端的資源（尤其是存儲(chǔ)）平時(shí)無(wú)法打開(kāi)使用，造成資源浪費(fèi)嚴(yán)重。2、 切換時(shí)間長(zhǎng)：一般需要12小時(shí)以上才能起來(lái)。3、 故障情況下切換決策難：有時(shí)切換時(shí)間決策時(shí)間>災(zāi)難修復(fù)時(shí)間，難以決策，期間無(wú)法辦理業(yè)務(wù)。4、 難以找到rto、rpo都為0的0切換方案。5、 流程復(fù)雜，維護(hù)難：系統(tǒng)切換需要一系列管理和技術(shù)流程，維護(hù)復(fù)雜，生產(chǎn)、容災(zāi)端都需要維護(hù)。6、 無(wú)法做到在線的系統(tǒng)升級(jí)遷移和新業(yè)務(wù)上線。這種情況下，我們急需探索在boss系統(tǒng)中引入容災(zāi)系統(tǒng)雙活零切換技術(shù)，基于如下考慮：1、 可以從降低運(yùn)行風(fēng)險(xiǎn)、提高客戶滿意度等方面提升業(yè)務(wù)運(yùn)營(yíng)水平。2

6、、 可以從降低業(yè)務(wù)停機(jī)窗口、降低維護(hù)工作量等方面降低系統(tǒng)運(yùn)維壓力。3、 可以降低系統(tǒng)災(zāi)難處理壓力、最大限度降低業(yè)務(wù)中斷時(shí)間，從而提高客戶滿意度。4、 使容災(zāi)側(cè)資源平時(shí)可用，達(dá)到雙活。5、 降低演練測(cè)試的業(yè)務(wù)停頓窗口，提升演練質(zhì)量。二、山東公司雙活零切換方案介紹2.1 雙活零切換方案的選型原則必須要從技術(shù)、管理、使用維護(hù)等方面考慮選擇雙活零切換的方案，具體來(lái)說(shuō)：1、 技術(shù)可靠要求數(shù)據(jù)要跨中心流動(dòng)，在同一個(gè)中心內(nèi)部的無(wú)法做到容災(zāi)。要求數(shù)據(jù)必須雙活訪問(wèn)，切換需要的rto、rpo都為0。2、 滿足高可用性要求滿足跨中心的高可用性，數(shù)據(jù)一致行的保證。由于跨中心，網(wǎng)絡(luò)（ip、san）穩(wěn)定性問(wèn)題必須考慮，由

7、超強(qiáng)容錯(cuò)機(jī)制。3、 易于管理方案必須易于管理，手段便捷，因?yàn)閺?fù)雜的管理也是一種災(zāi)難。4、 易于使用維護(hù)方案必須低風(fēng)險(xiǎn)，易于使用，自動(dòng)化程度高。切換簡(jiǎn)單，流程少甚至無(wú)流程，并降低人工操作風(fēng)險(xiǎn)。2.2 基于雙活零切換技術(shù)的主要方案分析 目前主要有四類(lèi)解決方案，對(duì)比如下：應(yīng)用改造觸發(fā)器同步方案應(yīng)用改造商用軟件同步方案應(yīng)用改造賽門(mén)鐵克卷管理oracle 遠(yuǎn)程rac應(yīng)用改造emc vplexoracle遠(yuǎn)程rac應(yīng)用改造難度難以全部數(shù)據(jù)同步，只能關(guān)鍵表關(guān)鍵表同步（gg、dsg、quest等）通過(guò)對(duì)應(yīng)用本身改造并進(jìn)行部署改造，可支持全部數(shù)據(jù)同步投資較小較大較大較大性能影響生產(chǎn)、容災(zāi)端影響生產(chǎn)、容災(zāi)端影響生

8、產(chǎn),較低不影響維護(hù)管理麻煩麻煩較麻煩簡(jiǎn)單、穩(wěn)定rto>0>0接近00rpo<>0<>000腦裂現(xiàn)象非全業(yè)務(wù)，非雙活非全業(yè)務(wù)，非雙活難以避免通過(guò)創(chuàng)新應(yīng)用避免 山東公司綜合考慮并試驗(yàn)驗(yàn)證后選擇了第四種方案。 2.3 山東公司方案構(gòu)成 主要由如下特色技術(shù)實(shí)現(xiàn)1、核心數(shù)據(jù)層：國(guó)內(nèi)首創(chuàng)的將vplex和oracle遠(yuǎn)程rac技術(shù)相結(jié)合并創(chuàng)新性應(yīng)用于boss系統(tǒng)三中心，可實(shí)現(xiàn)全業(yè)務(wù)跨數(shù)據(jù)中心的雙活訪問(wèn)2、 應(yīng)用路由層：業(yè)內(nèi)率先新開(kāi)發(fā)實(shí)現(xiàn)統(tǒng)一應(yīng)用接口平臺(tái)，作為連接數(shù)據(jù)庫(kù)服務(wù)的入口，并支持高可用連接切換。3、 應(yīng)用部署層：對(duì)應(yīng)用部署方案進(jìn)行創(chuàng)新性改造，支持跨中心雙活部署.下面

9、分別進(jìn)行介紹：2.3.1 核心數(shù)據(jù)層介紹在引入vplex以前的存儲(chǔ)復(fù)制架構(gòu)：主備模式，存儲(chǔ)底層同步，備份端平時(shí)不提供對(duì)外訪問(wèn)。如下圖所示：site bsite asynchronous replicationactive-passive site引入vplex后，生產(chǎn)端、容災(zāi)端的存儲(chǔ)資源平時(shí)均可訪問(wèn)，vplex通過(guò)全局緩存保證數(shù)據(jù)一致性和高可用性。平時(shí)兩邊主機(jī)分別訪問(wèn)本地存儲(chǔ)，故障情況下可跨中心訪問(wèn)對(duì)方存儲(chǔ)。如下圖：vplex metrosite bsite afibre channelactive-active sitevplex enables active use of resource

10、s at two sitesdistributed virtual volumeoracle遠(yuǎn)程rac技術(shù)：跨數(shù)據(jù)中心的數(shù)據(jù)庫(kù)，一個(gè)數(shù)據(jù)庫(kù)多個(gè)跨節(jié)點(diǎn)實(shí)例。每個(gè)實(shí)例都是活的，可以訪問(wèn)。但是需要結(jié)合其他共享存儲(chǔ)技術(shù)（主機(jī)的鏡像、存儲(chǔ)復(fù)制、vplex等實(shí)現(xiàn)跨中心存儲(chǔ)并發(fā)訪問(wèn)技術(shù)）才能實(shí)現(xiàn)，如下圖：但是數(shù)據(jù)層遠(yuǎn)程rac技術(shù)存在“腦裂”風(fēng)險(xiǎn)，由于數(shù)據(jù)中心間距離遠(yuǎn)，網(wǎng)絡(luò)穩(wěn)定性差，必須需要額外進(jìn)行冗余設(shè)計(jì)，如網(wǎng)絡(luò)連接、內(nèi)部網(wǎng)絡(luò)、san連接等。2個(gè)數(shù)據(jù)中心間網(wǎng)絡(luò)全斷情況下，無(wú)論vplex還是oracle的rac均可能出現(xiàn)“腦裂”現(xiàn)象，造成訪問(wèn)中斷，數(shù)據(jù)不一致現(xiàn)象發(fā)生。山東公司結(jié)合三個(gè)數(shù)據(jù)中心設(shè)計(jì)，在第三中心分

11、別增加vplex和oracle的仲裁節(jié)點(diǎn)，避免了“腦裂”現(xiàn)象。 共青團(tuán)路機(jī)房開(kāi)發(fā)區(qū)機(jī)房經(jīng)十路機(jī)房15km/20gip帶寬/40gsan帶寬5km/10gip帶寬/24gsan帶寬15km/20gip帶寬/40gsan帶寬在三個(gè)中心間建立互聯(lián)環(huán)狀全冗余架構(gòu)，任何兩點(diǎn)之間的故障都不會(huì)影響第三點(diǎn)。通過(guò)增加第三節(jié)點(diǎn)，防止兩個(gè)中心間網(wǎng)絡(luò)全斷場(chǎng)景。最終的山東特色的核心數(shù)據(jù)層架構(gòu)如下：emc vplexsansanemc dmx4emc vplexsansanemc dmx44節(jié)點(diǎn)oracle rac節(jié)點(diǎn)集群metro光纖互聯(lián)（波分 15km）ip網(wǎng)絡(luò)（波分 15km）第三中心vplex仲裁點(diǎn) oracle

12、虛節(jié)點(diǎn)第一中心第二中心2.3.2 應(yīng)用路由接口層方案數(shù)據(jù)層實(shí)現(xiàn)雙活方案后，應(yīng)用路由接口層必須進(jìn)行改造才能最終實(shí)現(xiàn)0切換。山東公司針對(duì)外部接入，業(yè)內(nèi)率先專(zhuān)門(mén)實(shí)現(xiàn)統(tǒng)一的對(duì)外應(yīng)用接口平臺(tái)，實(shí)現(xiàn)了跨中心高可用性、并提高了新業(yè)務(wù)開(kāi)發(fā)效率和易維護(hù)性。現(xiàn)狀：1、系統(tǒng)使用的協(xié)議多：cics：網(wǎng)廳、wap、socket：短信、vc、銀行等，easycics：ivr、自助，httpxml：一級(jí)boss2、一個(gè)接口需要針對(duì)不同的協(xié)議開(kāi)發(fā)多套，提高了開(kāi)發(fā)的成本，“煙筒式”架構(gòu)。3、做不到對(duì)外服務(wù)0切換：難以做到每個(gè)對(duì)外服務(wù)接口均支持高可用性。山東公司針對(duì)上述現(xiàn)狀，結(jié)合0切換需求，開(kāi)發(fā)的新的統(tǒng)一接口平臺(tái)從架構(gòu)、數(shù)據(jù)庫(kù)連

13、接、負(fù)載均衡等方面考慮了在單數(shù)據(jù)中心故障下的零切換方案。如下圖：在每個(gè)數(shù)據(jù)中心均建立相應(yīng)的接口機(jī)，接口機(jī)連接后臺(tái)訪問(wèn)的中間件服務(wù)器，并提供對(duì)外服務(wù)，中間件負(fù)責(zé)連接數(shù)據(jù)庫(kù)，接口負(fù)責(zé)同時(shí)提供對(duì)外服務(wù)，確保一個(gè)數(shù)據(jù)中心故障情況下另一個(gè)接口平臺(tái)仍能正常對(duì)外服務(wù)。通過(guò)多實(shí)例部署，分別練到多個(gè)數(shù)據(jù)中心，并同時(shí)對(duì)外提供服務(wù)，通過(guò)負(fù)載均衡技術(shù)，在多服務(wù)器和多數(shù)據(jù)中心間分擔(dān)系統(tǒng)壓力，降低了單節(jié)點(diǎn)和單中心接入宕機(jī)的風(fēng)險(xiǎn)，確保系統(tǒng)穩(wěn)定。 新的統(tǒng)一接口平臺(tái)解決了在數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)故障情況下進(jìn)程僵死、掛起等現(xiàn)象，從而支持了數(shù)據(jù)層的雙活零切換。 下圖是進(jìn)程隊(duì)列的處理邏輯： 2.3.3 中間件層全業(yè)務(wù)部署方案 接入層和中間層保

14、留相當(dāng)余量，部署了相當(dāng)?shù)臉I(yè)務(wù)邏輯，每個(gè)中心中間層主機(jī)都可以接管所有業(yè)務(wù)，平時(shí)均為生產(chǎn)。每個(gè)交易中間件主機(jī)針對(duì)每套數(shù)據(jù)庫(kù)同時(shí)建立24個(gè)連接指向跨中心的數(shù)據(jù)庫(kù)節(jié)點(diǎn)，并部署完全相同的服務(wù)和應(yīng)用。 web層建立通用的分發(fā)器，負(fù)責(zé)調(diào)用交易中間件的region服務(wù)（主、備）?？膳渲脼樨?fù)載均衡機(jī)制或主備機(jī)制，在一端失敗時(shí)，自動(dòng)調(diào)用備用端region和服務(wù)。 圖示如下： 2.3.4 山東公司0切換方案驗(yàn)證情況 完全按照一套生產(chǎn)營(yíng)業(yè)crm系統(tǒng)測(cè)試。充分模擬考慮性能、各類(lèi)故障等情況。測(cè)試環(huán)境：ngcrm統(tǒng)一接口軟件emc vplexoracle rac（9i 11g）。測(cè)試時(shí)間：2011年4月2號(hào)6月18號(hào)。測(cè)試

15、拓?fù)淙缦拢簻y(cè)試設(shè)備清單如下：設(shè)備名稱(chēng)配置用途server1-1，1-2ibm p7,16cpu, 60g memorysite1 測(cè)試主機(jī) (ibm)，數(shù)據(jù)庫(kù)節(jié)點(diǎn)server2-1，2-2ibm p7, 16 cpu,60g memorysite2 測(cè)試主機(jī) (ibm)，數(shù)據(jù)庫(kù)節(jié)點(diǎn)serv38ibm p5 4c 40g中間件測(cè)試機(jī)器san1-1，1-2mds9509site1測(cè)試主機(jī)host用san 交換機(jī)san2-1，2-2mds9509site2測(cè)試主機(jī)host用san 交換機(jī)san1-3，1-4mds9509site1測(cè)試site間互聯(lián)用san 交換機(jī)(emc)san2-3，2-4mds

16、9509site2測(cè)試site間互聯(lián)用san 交換機(jī)(emc)dmx-4-1256g cache, 320*300g diskssite1測(cè)試存儲(chǔ)（emc）dmx-4-2256g cache, 320*146g diskssite2 測(cè)試存儲(chǔ)（emc）vplex164g cache, vplexsite1測(cè)試vplex（emc）vplex264g cache, vplexsite2測(cè)試vplex（emc）aix/hacmpaix 5.3/ hacmp 測(cè)試主機(jī) 操作系統(tǒng)/ 集群軟件(ibm)oracle 9i/11g racoracle 9i/11g stretch rac測(cè)試

17、數(shù)據(jù)庫(kù) 軟件(oracle) 測(cè)試場(chǎng)景用例：1、 重點(diǎn)功能測(cè)試，包含仲裁測(cè)試和業(yè)務(wù)測(cè)試。2、 容錯(cuò)測(cè)試，包含數(shù)據(jù)庫(kù)繁忙測(cè)試、數(shù)據(jù)庫(kù)故障測(cè)試、主機(jī)故障測(cè)試、vplex 故障測(cè)試、存儲(chǔ)故障測(cè)試、中心互聯(lián)故障測(cè)試等。3、 性能測(cè)試，包含iops和mbps等指標(biāo)。故障層次故障測(cè)試場(chǎng)景模擬oracle故障1. server1-1 oracle 故障宕機(jī)2. server1-2 oracle 故障宕機(jī)3. oracle rac server 心跳互聯(lián)故障主機(jī)故障1. server1-1 故障宕機(jī)2. server1-2故障宕機(jī)vplex 故障1. vplex1 direct1故障 2. vplex1 故障

18、 存儲(chǔ)故障1. vplex1 部分存儲(chǔ)空間 故障2. vplex1 整個(gè)磁盤(pán)陣列 故障數(shù)據(jù)中心故障1. vplex metro數(shù)據(jù)中心互聯(lián)故障2. vplex metro數(shù)據(jù)中心互聯(lián)故障,no witness server 測(cè)試結(jié)果如下：序號(hào)容錯(cuò)測(cè)試場(chǎng)景模擬測(cè)試結(jié)果1s2-1 oracle undo space fullothers no impact2s2-1 oracle share pool latch waitothers no impact3server1-1,1-2 oracle 故障宕機(jī)others delay18s 4server1-1,1-2 oracle 心跳網(wǎng)卡故障oth

19、ers delay 33s 5server1-1,1-2 故障宕機(jī)others delay 23s6vplex2 direct2-1故障 server 2-1,2-2 delay 20s, others no impact7vplex2 engine2故障 server 1-1,1-2 no impact8vplex1 部分存儲(chǔ)空間 故障all servers no impact9vplex1 整個(gè)磁盤(pán)陣列 故障all servers delay 15s10vplex metro數(shù)據(jù)中心互聯(lián)故障server1-1,1-2 delay 43s ( reconnect,delay 17s )11v

20、plex metro數(shù)據(jù)中心互聯(lián)故障（no witness）server1-1,1-2 delay 43s ( reconnect,delay 23s ) 性能方面：和傳統(tǒng)srdf方案差別不大。 針對(duì)真實(shí)應(yīng)用的測(cè)試結(jié)果如下：業(yè)務(wù)占比雙活模式（秒）當(dāng)前模式（秒）差距百分比響應(yīng)時(shí)間差值（秒）001過(guò)戶提交1.60%5.063.2655%1.8002停開(kāi)機(jī)提交1.60%3.942.73144%1.21003產(chǎn)品變更提交6.80%2.142.232-4%-0.09004營(yíng)收統(tǒng)計(jì)提交5.20%0.8520.896-5%-0.04005日志查詢(xún)提交6.80%0.4920.4675%0.03006改資料提交2.00%1.581.5154%0.07007繳費(fèi)提交50.40%1.941.8565%0.08008客戶資料查詢(xún)提交6.80%2.092.186-4%-0.1009禁止業(yè)務(wù)提交2.00%2.0041.78712%0.22010銷(xiāo)戶退網(wǎng)提交1.20%5.385.3620%0.02011改付費(fèi)計(jì)劃1.20%5.8471.833219%4.01012開(kāi)戶提交5.20%4.0992.25981%1.84013補(bǔ)卡提交2.00%2.4582.595-5%-0.14014