中國移動拓展思路，勇創(chuàng)新，實現(xiàn)應(yīng)急保障早、快、小

1 拓展思路，勇創(chuàng)新， 實現(xiàn)應(yīng)急保障“早、快、小” 2 匯報內(nèi)容 Contents Contents 總體介紹 管理流程及組織方案 應(yīng)急保障關(guān)鍵技術(shù)介紹 應(yīng)急保障案例及成效 后續(xù)思路 3 應(yīng)急保障系統(tǒng)的建設(shè)理念 應(yīng)急保障系統(tǒng)的建設(shè)，首先要明確系統(tǒng) “保什么、怎么保、追求什么” 。 我們認(rèn)為一個完善、高效的應(yīng)急系統(tǒng)應(yīng)具備以下特點： 浙江公司應(yīng)急保障系統(tǒng)具備處理故障時“ 發(fā)現(xiàn) 早 、響應(yīng) 快 、影響 小 ”等能力 及時、快速 分層分級 重點業(yè)務(wù) 重點保障 總體能力 及時發(fā)現(xiàn)問題 快速定位問題 快速處理問題 系統(tǒng)快速恢復(fù) 分層 依據(jù)系統(tǒng)每層架構(gòu)特點， 構(gòu)建不同的應(yīng)急保障方 案； 實現(xiàn)應(yīng)急保障體系的多樣 化、立體化 分級 不同重要等級的業(yè)務(wù)系 統(tǒng)，采用不同級別的應(yīng)急 保障機制 實現(xiàn)資源使用效益的最大化 業(yè)務(wù)分類 根據(jù)不同業(yè)務(wù)特點及保障需求，制定不同的應(yīng)急方案 實現(xiàn)前后臺業(yè)務(wù)部署分離，單筆業(yè)務(wù)與批量業(yè)務(wù)部署分離 重點保證 重點保障前臺業(yè)務(wù)、客戶主動發(fā)起業(yè)務(wù) 實現(xiàn)業(yè)務(wù)應(yīng)急保障 主次有序，重點突出，管理高效 4 應(yīng)急保障系統(tǒng)建設(shè)現(xiàn)狀 業(yè)務(wù)統(tǒng)一門戶集群模式部署，由負(fù)載均衡設(shè)備實現(xiàn)主備節(jié)點自動切換 核心 CRM系統(tǒng)構(gòu)建了數(shù)據(jù)級容災(zāi)；其應(yīng)用分布式部署，并實現(xiàn)前后臺、單筆與批量業(yè)務(wù)的分離部署 針對關(guān)鍵子系統(tǒng)：產(chǎn)品管理平臺、綜合查詢子系統(tǒng)建設(shè)了應(yīng)用級容災(zāi)系統(tǒng) BOSS核心系統(tǒng)：計費系統(tǒng)、開通平臺、帳務(wù)管理、充值系統(tǒng)均構(gòu)建了從應(yīng)用服務(wù)到數(shù)據(jù)層面的應(yīng)急容災(zāi)系統(tǒng) 多中心間的公共數(shù)據(jù)庫采用數(shù)據(jù)級容災(zāi)方案，增強公用類數(shù)據(jù)的應(yīng)急保障能力 5 核心業(yè)務(wù)系統(tǒng)均建設(shè)了對等的同城異地應(yīng)急容災(zāi)系統(tǒng) 核心系統(tǒng)組網(wǎng)現(xiàn)狀 中 心 2 主應(yīng) 用 服 務(wù) 器H P I S D 分 區(qū)數(shù) 據(jù) 庫 服 務(wù) 器H P I S D 分 區(qū)陣 列H P X P 2 4 0 0 0 * 1B C 服 務(wù) 器應(yīng) 用 服 務(wù) 器H P 9 0 0 0 S D * 4陣 列H P X P 2 4 0 0 0 * 1數(shù) 據(jù) 庫 服 務(wù) 器應(yīng) 用 服 務(wù) 器H P 9 0 0 0 S D * 2數(shù) 據(jù) 庫 服 務(wù) 器H P I S D * 2 分 區(qū)陣 列H P X P 2 4 0 0 0 * 1濱江三層B C 服 務(wù) 器中 心 3 備學(xué)院路六層I PS A NI PS A NI PS A N陣 列H P X P 2 4 0 0 0 * 1中 心 3 主 中 心 1 備三墩機房3 - 2中 心 1 主應(yīng) 用 服 務(wù) 器H P I S D 分 區(qū)數(shù) 據(jù) 庫 服 務(wù) 器H P I S D 分 區(qū)B C 服 務(wù) 器應(yīng) 用 服 務(wù) 器H P 9 0 0 0 S D * 2陣 列H P X P 2 4 0 0 0 * 1數(shù) 據(jù) 庫 服 務(wù) 器中 心 2 備圖 例 ：新 增B C 服 務(wù) 器H P I S D * 2 分 區(qū)數(shù) 據(jù) 庫 服 務(wù) 器H P I S D * 2 分 區(qū)B C 服 務(wù) 器H P I S D * 2 分 區(qū)B C 服 務(wù) 器應(yīng) 用 服 務(wù) 器H P 9 0 0 0 S D * 2三墩機房2 - 3應(yīng) 用 服 務(wù) 器H P I S D 分 區(qū)數(shù) 據(jù) 庫 服 務(wù) 器H P I S D 分 區(qū)數(shù) 據(jù) 庫 服 務(wù) 器數(shù) 據(jù) 庫 服 務(wù) 器H P I S D 分 區(qū)應(yīng) 用 服 務(wù) 器H P I S D 分 區(qū)陣 列H P X P 2 4 0 0 0 * 16 采用的應(yīng)急容災(zāi)核心技術(shù)方案 應(yīng)急容災(zāi) 核心技術(shù) 應(yīng)用服務(wù)集群部署技術(shù)： 借助智能 DNS，實現(xiàn)應(yīng)用服務(wù)與前端 WEB服務(wù)間的多路訪問模式（類似 TAF技術(shù) ) 實現(xiàn)應(yīng)用服務(wù)數(shù)據(jù)庫訪問的自動重連 存儲底層數(shù)據(jù)復(fù)制技術(shù) ：關(guān)鍵業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫存儲采用底層數(shù)據(jù)復(fù)制技術(shù)（ HP CA），保障數(shù)據(jù)準(zhǔn)實時同步到容災(zāi)系統(tǒng) 數(shù)據(jù)庫多節(jié)點集群技術(shù) ： 數(shù)據(jù)庫采用 ORACLE RAC + TAF集群模式，實現(xiàn)節(jié)點的自動切換，增強本地數(shù)據(jù)訪問的高可用性 數(shù)據(jù)庫系統(tǒng)容災(zāi)自動監(jiān)測分析及切換技術(shù) ： 采用突破性的創(chuàng)新理念及技術(shù)，實現(xiàn)系統(tǒng)健康度的自動監(jiān)測，并依據(jù)結(jié)果實現(xiàn)容災(zāi)的自動切換 借助負(fù)載均衡器及智能 DNS，實現(xiàn)前端 WEB服務(wù)的集群部署，主備節(jié)點自動、快速切換 針對關(guān)鍵類業(yè)務(wù)，提供輕量級的應(yīng)急系統(tǒng)，實現(xiàn)快速切換 7 匯報內(nèi)容 Contents Contents 總體介紹 管理流程及組織方案 應(yīng)急保障關(guān)鍵技術(shù)介紹 應(yīng)急保障案例及成效 后續(xù)思路 8 依托完善的應(yīng)急保障管理體系，確保系統(tǒng)的快速恢復(fù) 完善的組織職責(zé)設(shè)置 全面的業(yè)務(wù)影響性分析 完善的恢復(fù)策略設(shè)置 有效的計劃測試、培訓(xùn) 和演習(xí) 標(biāo)準(zhǔn)的災(zāi)難恢復(fù)流程定義 浙江公司已構(gòu)建了較為完善的應(yīng)急保障管理體系；體系中的每個環(huán)節(jié)都有相應(yīng)的執(zhí)行文檔，已經(jīng)規(guī)范化的實施流程 評估各類應(yīng)用系統(tǒng)和服務(wù)流程，決定其對公司的業(yè)務(wù)重要性 評估災(zāi)難或服務(wù)中斷帶來的成本損失 定義應(yīng)用系統(tǒng)和業(yè)務(wù)服務(wù)流程的恢復(fù)優(yōu)先級 清晰定義各類關(guān)鍵業(yè)務(wù)系統(tǒng)的 RTO、 RPO指標(biāo) 明確規(guī)定備份的頻率、方式 制定容災(zāi)點選擇標(biāo)準(zhǔn) 按照高性價比的原則選擇出最優(yōu)的恢復(fù)策略 災(zāi)難恢復(fù)流程劃分為以下階段： 通知啟動階段 恢復(fù)階段 重建階段 關(guān)閉階段 制定測試計劃內(nèi)容 定義測試計劃類型 規(guī)范測試流程 制定培訓(xùn)計劃 定義演習(xí)內(nèi)容 規(guī)范演習(xí)流程 規(guī)劃和建立應(yīng)急保障管理團隊 制定其組成結(jié)構(gòu)和其相應(yīng)的角色、職責(zé)、崗位人員 明確其災(zāi)難或重大故障是的溝通模式 9 應(yīng)急保障組織的設(shè)置方案 角色 職責(zé) 信息技術(shù)部服務(wù)連續(xù)性主管領(lǐng)導(dǎo) 作為信息管理部的代表參加公司層面的業(yè)務(wù)連續(xù)性管理團隊 IT服務(wù)連續(xù)性計劃負(fù)責(zé)人，回顧和評審、批準(zhǔn)對它的修改 領(lǐng)導(dǎo)信息技術(shù)部的服務(wù)連續(xù)性管理團隊，宣布災(zāi)難，激活 IT服務(wù)連續(xù)性計劃，指揮信息技術(shù)部經(jīng)歷災(zāi)難和服務(wù)恢復(fù) 與中國移動浙江公司層面的業(yè)務(wù)連續(xù)性管理團隊進行溝通，成為業(yè)務(wù)連續(xù)性管理團隊的成員 IT服務(wù)連續(xù)性經(jīng)理 創(chuàng)建并維護一個合適的業(yè)務(wù)連續(xù)性計劃，該計劃需要明確在災(zāi)難發(fā)生時該如何發(fā)應(yīng) 擔(dān)當(dāng) IT服務(wù)連續(xù)性計劃引入之后的單一聯(lián)系人 在 IT服務(wù)恢復(fù)過程中協(xié)調(diào) IT服務(wù)團隊的活動與資源，并向服務(wù)連續(xù)性主管領(lǐng)導(dǎo)報告恢復(fù)狀況 協(xié)助服務(wù)連續(xù)性主管領(lǐng)導(dǎo)制定決策或者升級 負(fù)責(zé)與公司業(yè)務(wù)連續(xù)性管理團隊協(xié)調(diào)人進行溝通以得到對方的支持和 IT服務(wù)恢復(fù)狀況的反饋 與客戶和合作伙伴進行協(xié)調(diào)溝通，必要時請他們參與其中 IT服務(wù)連續(xù)性管理員 對損壞情況進行評估以判斷損壞程度并估計恢復(fù)時間 將損壞程度和 IT服務(wù)恢復(fù)狀況通知服務(wù)連續(xù)性主管領(lǐng)導(dǎo)和 IT服務(wù)連續(xù)性經(jīng)理。協(xié)助連續(xù)性經(jīng)理制定決策。 在整個災(zāi)難恢復(fù)過程中領(lǐng)導(dǎo)并協(xié)調(diào) IT服務(wù)團隊的活動，并遵循前期制定的災(zāi)難恢復(fù)計劃 組織對災(zāi)難恢復(fù)計劃進行開發(fā)，測試和維護 災(zāi)難恢復(fù)團隊 負(fù)責(zé)恢復(fù) IT服務(wù)計算機環(huán)境，以及連續(xù)性管理員管理下的所有應(yīng)用軟件 對災(zāi)難恢復(fù)計劃進行測試和維護 在災(zāi)難恢復(fù)計劃中定義詳細(xì)的災(zāi)難恢復(fù)團隊的信息 10 在規(guī)范的管理體系中，每個環(huán)節(jié)都有標(biāo)準(zhǔn)執(zhí)行文檔 通知啟動階段 恢復(fù)階段 重建階段 關(guān)閉階段 1 2 3 4 災(zāi)難恢復(fù)流程 11 基于災(zāi)難恢復(fù)流程，科學(xué)有序的實施應(yīng)急保障 信息技術(shù)中心根據(jù)集團公司和浙江公司業(yè)務(wù)連續(xù)性計劃，充分支持業(yè)務(wù)的需求和需要來規(guī)劃應(yīng)急保障管理流程。設(shè)置了專門的應(yīng)急組、應(yīng)急角色 ，并制定了科學(xué)的災(zāi)難恢復(fù)流程 12 基于規(guī)范化流程，確立了與其他部門間的溝通機制 公司各部門間的應(yīng)急保障主控流程 各部門職責(zé)： 市場部 ：危機應(yīng)急方案的業(yè)務(wù)總調(diào)度；和信息技術(shù)部討論后決定啟用什么樣的應(yīng)急流程； 信息技術(shù)部 ：危機的準(zhǔn)確診斷 ;危機診斷信息的及時報告； 涉及到技術(shù)層面的危機修復(fù) 客戶服務(wù)部 ： 服務(wù)應(yīng)急方案（包括營業(yè)廳通告、解釋口徑制定等）的及時調(diào)度 客戶服務(wù)中心： 危機處理應(yīng)急流程的執(zhí)行（例如：為用戶提供緊急復(fù)機、跟用戶做好相關(guān)的解釋工作等） 網(wǎng)管中心： 協(xié)調(diào)地市網(wǎng)絡(luò)部對地市市場部門提供的投訴用戶進行及時復(fù)機 涉及相關(guān)子流程： 危機信息上報流程； 危機診斷和應(yīng)急處理流程 危機信息知會流程 處理進展信息知會流程 13 應(yīng)急演練的常態(tài)化、規(guī)范化，有力保障了容災(zāi)切換的成功率 在應(yīng)急保障管理體系中，制定了完善的應(yīng)急演練計劃，并編寫了相應(yīng)的演習(xí)方案，以及演習(xí)操作手冊。從而大大規(guī)范了應(yīng)急演練操作，使其常態(tài)化，保障了災(zāi)難發(fā)生時容災(zāi)切換的高成功率 演練原則 ：為確保 BOSS容災(zāi)系統(tǒng)層隨時正?？捎茫枰鰪姴僮魅藛T對系統(tǒng)層容災(zāi)切換步驟的熟練程度，保證切換工作順利，有序，高效的完成 演練范圍 ：包括 BOSS系統(tǒng)中已建設(shè)容災(zāi)的相關(guān)系統(tǒng)，根據(jù)后期容災(zāi)系統(tǒng)建設(shè)情況，調(diào)整相應(yīng)的演練范圍 演練內(nèi)容 ：抽查操作時，被抽查人根據(jù)指定的系統(tǒng)，可參照操作手冊進行操作，要求被抽查人能在具體操作中做到正確、熟練的執(zhí)行相關(guān)步驟 演練時間： 演練時間分為 月演練和周演練 月演練指每月執(zhí)行一次 所有容災(zāi)系統(tǒng)的切換演練 ； 周演練指每周執(zhí)行一次 指定容災(zāi)系統(tǒng)（演練范圍中選定兩個）的切換演練 演練人員 ： 演練人員范圍包括系統(tǒng)優(yōu)化室主機組所有成員 演練過程記錄表 14 規(guī)范全面的演練方案，有力保證了應(yīng)急演練的效果 應(yīng)急演練執(zhí)行方案 涉及到的相關(guān)文檔 15 15 構(gòu)建應(yīng)急預(yù)案庫，完善應(yīng)急保障處理機制 針對每類故障類型、來源、以及業(yè)務(wù)場景，構(gòu)建對應(yīng)的預(yù)案關(guān)聯(lián)信息，規(guī)范每種故障、災(zāi)難的處理流程、提升應(yīng)急保障的響應(yīng)效率，以及保障實施的準(zhǔn)確性 目前預(yù)案庫主要涵蓋了安全 ,網(wǎng)絡(luò) ,硬件設(shè)備 ,應(yīng)用軟件 ,備份 ,機房 ,電源安全等 在定義應(yīng)急預(yù)案時，也同時制定相應(yīng)的演練措施，并定期實施應(yīng)急演習(xí) 應(yīng)急預(yù)案庫包含的 應(yīng)急方案及預(yù)案類別 應(yīng)急預(yù)案 啟動條件及執(zhí)行人 16 匯報內(nèi)容 Contents Contents 總體介紹 管理流程及組織方案 應(yīng)急保障關(guān)鍵技術(shù)介紹 應(yīng)急保障案例及成效 后續(xù)思路 17 借助 BAM系統(tǒng)，及時預(yù)見系統(tǒng)潛在故障 全路徑全流程 -全地域全用戶立體監(jiān)控 業(yè)務(wù)層 ： IT部門管理者將重點關(guān)注 邏輯層 ：應(yīng)用維護和優(yōu)化人員關(guān)注整個應(yīng)用系統(tǒng)的狀態(tài) 物理層 ：配置管理員了解物理設(shè)備的存放位置和信息 性能數(shù)據(jù) ：實時 KPI數(shù)據(jù)，幫助了解系統(tǒng)狀態(tài) 配置數(shù)據(jù) ：幫助了解配置信息以及變化 告警數(shù)據(jù) ：按照設(shè)定閾值產(chǎn)生告警信息。幫助運維人員快速判斷系統(tǒng)故障 18 借鑒 TAF實現(xiàn)機制，實現(xiàn)從應(yīng)用層到數(shù)據(jù)層多通路間的透明切換 透明應(yīng)用切換技術(shù)（ TAF)：是指 “ 應(yīng)用程序數(shù)據(jù)庫 ” 連接的自動切換和重新連接，而這一切對客戶端應(yīng)用均為透明。我們 創(chuàng)新性的將此理念運用到前端應(yīng)用服務(wù)之間的訪問連接上 WEB層到中間件服務(wù)器端配置多條訪問路徑，采用智能 DNS來實現(xiàn)中間件層的 TAF。由智能DNS來檢測 Tuxedo的服務(wù)是否正常，從而支撐 服務(wù)層之間主備訪問路徑的自動切換 在 ORACLE RAC雙節(jié)點模式下， 使用 TAF技術(shù)實現(xiàn)應(yīng)用服務(wù)到數(shù)據(jù)庫端的多條訪問路徑 ，并靈活支撐主備路徑間的自動切換 通過成功整合 Oracle數(shù)據(jù)庫和 Tuxedo中間件的 TAF技術(shù)，構(gòu)建出了 “ 三層架構(gòu)環(huán)境下的透明應(yīng)用切換 ” 的高可用系統(tǒng)，大大增強系統(tǒng)應(yīng)急容災(zāi)能力，減少了應(yīng)用切換時間 19 構(gòu)建數(shù)據(jù)庫容災(zāi)自動監(jiān)測分析及切換平臺，實現(xiàn)電信級的業(yè)務(wù)連續(xù)性 生 產(chǎn) 存 儲生 產(chǎn) 1 號 主 機 生 產(chǎn) 2 號 主 機容 災(zāi) 存 儲容 災(zāi) 1 號 主 機 容 災(zāi) 2 號 主 機容 災(zāi) 自 動 切 換 控 制 服 務(wù) 器 端 部 署1 ： 完 成 對 生 產(chǎn) 系 統(tǒng) 和 容災(zāi) 系 統(tǒng) 的 運 行 指 標(biāo) 的 采集 以 及 自 動 分 析 ；2 ： 完 成 對 生 產(chǎn) 系 統(tǒng) 環(huán) 境變 化 的 收 集 以 及 對 容 災(zāi)系 統(tǒng) 環(huán) 境 的 自 動 配 置 ；3 ： 完 成 切 換 時 的 所 有 操作 的 控 制 和 處 理容 災(zāi) 自 動 切 換 控 制 服 務(wù) 器容 災(zāi) 自 動 切 換 生 產(chǎn) 系 統(tǒng) 端 部 署 容 災(zāi) 自 動 切 換 容 災(zāi) 系 統(tǒng) 端 部 署1 ： 完 成 運 行 監(jiān) 測 數(shù)據(jù) 的 收 集 上 發(fā) ；2 ： 完 成 自 動 切 換 的具 體 操 作 命 令 的 執(zhí)行 ；1 ： 完 成 運 行 監(jiān) 測 數(shù)據(jù) 的 收 集 上 發(fā) ；2 ： 完 成 自 動 切 換 的具 體 操 作 命 令 的 執(zhí)行 ；3 ： 完 成 環(huán) 境 參 數(shù) 修改 的 執(zhí) 行針對數(shù)據(jù)庫系統(tǒng)的容災(zāi)，構(gòu)建自動監(jiān)控分析及切換控制平臺，實現(xiàn)對生產(chǎn)系統(tǒng)和容災(zāi)系統(tǒng)運行狀況的監(jiān)測，以及故障發(fā)生時的指標(biāo)數(shù)據(jù)采集，并最終依據(jù)容災(zāi)切換計算公式，給出切換概率及建議。同時能夠自動實施容災(zāi)切換操作。 采用上述技術(shù)后，浙江公司 BOSS容災(zāi)切換時間 平均由 1.5小時縮短到 5分鐘 平臺監(jiān)測功能： 對生產(chǎn)系統(tǒng)，主要監(jiān)測其是否會產(chǎn)生需要進行容災(zāi)切換的故障的趨勢 對容災(zāi)環(huán)境，主要監(jiān)測系統(tǒng)的軟硬件配置等，是否和生產(chǎn)環(huán)境相同，以保證在切換時，容災(zāi)系統(tǒng)完全具備切換條件 采集生產(chǎn)系統(tǒng)和容災(zāi)系統(tǒng)的運行指標(biāo)，并綜合分析整個系統(tǒng)需要切換容災(zāi)的可能性，容災(zāi)系統(tǒng)是否具有切換條件等綜合因素，給出最終容災(zāi)切換的概率 自動切換功能 通過配置，支持自動或者手工啟動來實施容災(zāi)切換 該平臺向生產(chǎn)系統(tǒng)和容災(zāi)系統(tǒng)下發(fā)一系列的控制命令，并由生產(chǎn)系統(tǒng)和容災(zāi)系統(tǒng)進行自動的切換，所有操作均自動完成，降低對切換過程中工程師個人能力的依賴 20 應(yīng)急子系統(tǒng)的建設(shè)情況 為了進一步提升 BOSS業(yè)務(wù)服務(wù)的連續(xù)性運營能力，構(gòu)建了專業(yè)化的應(yīng)急小系統(tǒng)，提供 充值卡充值、繳費、開戶、補卡、 充值、繳費 開機 等前臺業(yè)務(wù)的應(yīng)急受理。 應(yīng)急小系統(tǒng)的建設(shè)有效 完善了應(yīng)急保障體系的階梯化組成機制 ，提供各類應(yīng)急處理流程，確保系統(tǒng)故障期間客戶關(guān)鍵業(yè)務(wù)的不間斷受理 主要建設(shè)方案 采用數(shù)據(jù)庫 BCV技術(shù)，周期性（ 1天）復(fù)制生產(chǎn)數(shù)據(jù)到 BC數(shù)據(jù)庫中，并以 BC庫為應(yīng)急數(shù)據(jù)庫 根據(jù)每類業(yè)務(wù)的應(yīng)急處理流程單獨實現(xiàn)應(yīng)用服務(wù)，并獨立部署 為每類應(yīng)急業(yè)務(wù)提供特殊的前臺 WEB服務(wù)，并部署在 WEB集群主機上 提供應(yīng)急業(yè)務(wù)數(shù)據(jù)修復(fù)功能，實現(xiàn)客戶應(yīng)急數(shù)據(jù)同步到生產(chǎn)庫中 技術(shù)特點 應(yīng)急服務(wù)與正常服務(wù)分離部署，相互影響較小 應(yīng)急狀態(tài)下，只需調(diào)整智能 DNS域名配置，將正常前臺域名指向應(yīng)急服務(wù)地址，即可完成應(yīng)急切換， 其時間可控制在 1分鐘之內(nèi) 21 借助應(yīng)急子系統(tǒng)，實現(xiàn)快速、輕量級的業(yè)務(wù)連續(xù)性保障 應(yīng)急系統(tǒng)提供開戶、補卡、充值、停復(fù)機和資料查詢服務(wù)； 應(yīng)急系統(tǒng)所有界面布局和操作風(fēng)格完全同目前營業(yè)系統(tǒng)的界面風(fēng)格； 使用應(yīng)急系統(tǒng)前，準(zhǔn)備工作： 給應(yīng)急系統(tǒng)號碼庫存發(fā)放應(yīng)急系統(tǒng)啟用后需要使用的號碼資源； 需要為營業(yè)廳準(zhǔn)備實物的 SIM卡庫存，以便應(yīng)急情況下開戶和補卡使用； 22 匯報內(nèi)容 Contents Contents 總體介紹 管理流程及組織方案 應(yīng)急保障關(guān)鍵技術(shù)介紹 應(yīng)急保障案例及成效 后續(xù)思路 23 借助規(guī)范化管理以及創(chuàng)新技術(shù)應(yīng)用，應(yīng)急保障系統(tǒng)的總體實施成效 應(yīng)急切換關(guān)鍵業(yè)務(wù)系統(tǒng) 應(yīng)急保障方式 應(yīng)急切換所需時長（小時） CRM系統(tǒng)的全部業(yè)務(wù) 容災(zāi)系統(tǒng) 切換耗時 =15分鐘 帳務(wù)系統(tǒng)的全部功能 容災(zāi)系統(tǒng) 切換耗時 =30分鐘 充值系統(tǒng)的全部功能 容災(zāi)系統(tǒng) 切換耗時 =30分鐘 計費系統(tǒng)的全部功能 容災(zāi)系統(tǒng) 切換耗時 =2小時 統(tǒng)一開通系統(tǒng)的全部功能 容災(zāi)系統(tǒng) 切換耗時 =30分鐘 客服系統(tǒng)的全部功能 容災(zāi)系統(tǒng) 切換耗時 =30分鐘 繳費卡充值業(yè)務(wù)和復(fù)機業(yè)務(wù)、客戶信息和定購信息查詢業(yè)務(wù)、業(yè)務(wù)受理功能查詢業(yè)務(wù)、應(yīng)急開戶業(yè)務(wù)、補卡業(yè)務(wù)、現(xiàn)金繳費業(yè)務(wù)、業(yè)務(wù)登記。 應(yīng)急系統(tǒng) 5分鐘之內(nèi) 客服系統(tǒng)的話務(wù)接入功能 應(yīng)急系統(tǒng) 5分鐘之內(nèi) 24 數(shù)據(jù)庫多節(jié)點 TAF技術(shù)的運用，有力保障系統(tǒng)連續(xù)性運營能力 050100計劃外停機時間 計劃內(nèi)停機時間優(yōu)化前優(yōu)化后節(jié)省時間28% 36% 采用 TAF技術(shù)，在故障發(fā)生時只要不是所有節(jié)點同時出現(xiàn)問題，業(yè)務(wù)就可以繼續(xù)進行 如果是個別數(shù)據(jù)庫節(jié)點出現(xiàn)問題，只有技術(shù)人員會通過監(jiān)控系統(tǒng)發(fā)現(xiàn)問題，前臺業(yè)務(wù)人員甚至毫無感覺，往往連報障都沒有 根據(jù)統(tǒng)計，從改造上線以來，營業(yè)系統(tǒng)的計劃外停機時間 降低了 28%，計劃內(nèi)停機時間 下降了 36% 在 TAF技術(shù)支撐下，進行系統(tǒng)維護時可以逐個重起數(shù)據(jù)庫實例，該實例上的連接會透明切換到別的實例，對前臺基本不造成影響 ,大大降低了維護操作的難度和代價 25 案例分析 綜合查詢子系統(tǒng)的應(yīng)急保障流程 聯(lián) 系 移 動 負(fù) 責(zé) 人 張皞 統(tǒng) 一 協(xié) 調(diào) 恢 復(fù)同 時 通 知 服 務(wù) 臺發(fā) 送 故 障 信 息 通知 單由 張 皞 聯(lián) 系 綜 合 查詢 應(yīng) 急 專 家 確 定 應(yīng)急 災(zāi) 難 恢 復(fù) 項 目 組由 專 家 組 確 定應(yīng) 急 實 施 方 案確 定 產(chǎn) 生 災(zāi) 難 問題 根 源應(yīng) 急 方 案實 施災(zāi) 難 恢 復(fù) 后 通知 Q A 進 行 回 歸 測 試通 知 服 務(wù)