中小銀行運(yùn)維自動(dòng)化經(jīng)驗(yàn)分享.ppt

1、中小銀行運(yùn)維自動(dòng)化管理 解決之道分享,2014年7月,目錄,2,運(yùn)維管理中的操作控制難題,1,運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道,2,作業(yè)任務(wù)精確控制 監(jiān)控巡檢準(zhǔn)確定位 應(yīng)急處置自動(dòng)調(diào)度 .,運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化實(shí)施要點(diǎn),3,運(yùn)維管理總體目標(biāo)-防范風(fēng)險(xiǎn)、優(yōu)質(zhì)服務(wù)、控制成本、系統(tǒng)建設(shè),精確操控管理是運(yùn)維管理的基礎(chǔ)，也是科技服務(wù)質(zhì)量的保障,作業(yè)管理難題-漏做錯(cuò)做、任務(wù)異常、執(zhí)行風(fēng)險(xiǎn)、隱患排查,大型商業(yè)銀行每日批作業(yè)任務(wù)數(shù)已達(dá)數(shù)千個(gè)，中小型商業(yè)銀行也近幾百個(gè)，隨著業(yè)務(wù)復(fù)雜度及三方業(yè)務(wù)增加，任務(wù)數(shù)有增無減，并且變更頻率教高，控制難度增加； 多個(gè)系統(tǒng)、多個(gè)作業(yè)任務(wù)之間形成了非常復(fù)雜的邏輯關(guān)系，僅靠表格等手工管理方式，

2、很難降低任務(wù)執(zhí)行差錯(cuò)率； 針對(duì)特殊日期的批作業(yè)任務(wù)臨時(shí)變更，很難精確控制，一旦作業(yè)任務(wù)執(zhí)行失誤，影響范圍較大，很難處理； 很難精確記錄作業(yè)任務(wù)執(zhí)行時(shí)長(zhǎng)、時(shí)點(diǎn)、報(bào)錯(cuò)等情況，無法統(tǒng)計(jì)分析，發(fā)現(xiàn)作業(yè)任務(wù)執(zhí)行過程中的潛在風(fēng)險(xiǎn)； .,作業(yè)管理,作業(yè)管理手段-任務(wù)登記、變更控制、邏輯調(diào)度、過程記錄、隱患排查,任務(wù)定義？關(guān)系管控？技術(shù)標(biāo)準(zhǔn)？過程監(jiān)控？結(jié)果檢查？故障聯(lián)查？任務(wù)優(yōu)化？,作業(yè)管理,運(yùn)行監(jiān)控難題-預(yù)警、發(fā)現(xiàn)、定位、排查、隱患、預(yù)估、采集、資產(chǎn),監(jiān)控巡檢,關(guān)鍵業(yè)務(wù)交易出現(xiàn)問題，想排查故障原因，那么： 網(wǎng)絡(luò)環(huán)境如何？ 網(wǎng)絡(luò)報(bào)文正常？ 系統(tǒng)資源有瓶頸嗎？ 中間件有問題嗎？ 數(shù)據(jù)庫有瓶頸？ 應(yīng)用程序有報(bào)錯(cuò)？

3、 業(yè)務(wù)數(shù)據(jù)有問題嗎？ 客戶請(qǐng)求端狀態(tài)如何？,運(yùn)行監(jiān)控難題-預(yù)警、發(fā)現(xiàn)、定位、排查、隱患、預(yù)估、采集、資產(chǎn),監(jiān)控巡檢,2013年3月17日 監(jiān)控報(bào)警情況-缺乏網(wǎng)絡(luò)通路質(zhì)量檢測(cè)直接報(bào)警【只有表象報(bào)警、無原因報(bào)警】 15:37 ECIF系統(tǒng)：三條報(bào)警ToFront 0307 error、ToFront 0307 error服務(wù)測(cè)試異常 15:38 收單系統(tǒng)：03801 Success rate is low! Pb751 BUSY！ 15:40 電子支付系統(tǒng)：EPAY thread is busy 15:44 個(gè)貸風(fēng)險(xiǎn)管理系統(tǒng)：plms4和plms2、plms5、plms6阻塞線程數(shù)高、 15:44

4、 信貸風(fēng)險(xiǎn)流程管理系統(tǒng)：weblogic線程數(shù)高、jdbc連接池等待 15:45 操作風(fēng)險(xiǎn)管理系統(tǒng)session鎖等待 15:45 圖前監(jiān)控采集機(jī)10.1.7.15報(bào)錯(cuò) 15:46 驗(yàn)印系統(tǒng)ssl握手失敗 分析：1、從15:37到15:46，10分鐘內(nèi)統(tǒng)一監(jiān)控平臺(tái)共有19條應(yīng)用系統(tǒng)1級(jí)告警，但因總行網(wǎng)絡(luò)環(huán)境監(jiān)控手段的缺失，未能第一時(shí)間發(fā)現(xiàn)網(wǎng)絡(luò)線路質(zhì)量問題，因此，如何提早發(fā)現(xiàn)網(wǎng)絡(luò)通路問題，如何快速定位故障點(diǎn)，是故障早發(fā)現(xiàn)快解決的關(guān)鍵。,應(yīng)急難題-經(jīng)驗(yàn)積累、工具標(biāo)準(zhǔn)化、邏輯關(guān)系控制、快速準(zhǔn)確執(zhí)行？,應(yīng)急處置,其它運(yùn)維操作難題-數(shù)據(jù)全程管理、標(biāo)準(zhǔn)化變更發(fā)布、環(huán)境合規(guī)檢查、資產(chǎn)動(dòng)態(tài)采集驗(yàn)證,其它運(yùn)維操

5、作,中小銀行運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化的意義-人員、經(jīng)驗(yàn)、風(fēng)險(xiǎn)、成本,實(shí)施運(yùn)維操作自動(dòng)化的關(guān)鍵目標(biāo)是什么？：運(yùn)維操作管理應(yīng)該細(xì)分為如下幾個(gè)領(lǐng)域，每個(gè)領(lǐng)域的具體目標(biāo)是不同的：1）操作控制：準(zhǔn)確調(diào)度；2）監(jiān)控診斷：固化知識(shí)；3）應(yīng)急處置：精確執(zhí)行；4）變更發(fā)布：控制差錯(cuò)；5）規(guī)范檢查：準(zhǔn)確核對(duì)；6）資產(chǎn)采集：信息準(zhǔn)確；7）數(shù)據(jù)管理：全程控制； 如何有重點(diǎn)分步驟的實(shí)施運(yùn)維操作自動(dòng)化？：根據(jù)細(xì)化后的運(yùn)維操作流域及其管理目標(biāo)，分別設(shè)計(jì)方案及標(biāo)準(zhǔn)，然后按照：首先標(biāo)準(zhǔn)化，其次自動(dòng)化，最后制度化的路線進(jìn)行實(shí)施； 運(yùn)維操作自動(dòng)化與哪些運(yùn)維管理環(huán)節(jié)相關(guān)？：與一線建設(shè)、事件管理、應(yīng)急處置、數(shù)據(jù)管理、運(yùn)維標(biāo)準(zhǔn)化等運(yùn)維管理環(huán)節(jié)密

6、切相關(guān)，同時(shí)考慮人力配備、技術(shù)能力問題【短期引入】； 如何保持運(yùn)維操作標(biāo)準(zhǔn)化的持續(xù)性？：通過問題日常跟蹤機(jī)制【日積月累】、運(yùn)維操作維護(hù)工作流程【查缺補(bǔ)漏】、相關(guān)人員崗位規(guī)劃、以及工具持續(xù)優(yōu)化【實(shí)用原則】達(dá)成；,意義及思考,目錄,11,運(yùn)維管理中的操作控制難題,1,運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道,2,運(yùn)維自動(dòng)化領(lǐng)域的細(xì)分 標(biāo)準(zhǔn)化是自動(dòng)化的前提 管理體系是有效實(shí)現(xiàn)的基礎(chǔ) .,運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化實(shí)施要點(diǎn),3,運(yùn)維操作領(lǐng)域細(xì)分-領(lǐng)域不同，目標(biāo)及要求則不同，實(shí)現(xiàn)策略與方法不同,操作控制：常規(guī)操作任務(wù)的定義、調(diào)度、執(zhí)行、監(jiān)控、變更、維護(hù)、優(yōu)化 作業(yè)調(diào)度：風(fēng)險(xiǎn)控制、運(yùn)行評(píng)測(cè)、變更控制、配套檢查 操作控制：配置備份、

7、環(huán)境比對(duì)、時(shí)點(diǎn)檢查、標(biāo)準(zhǔn)安裝 數(shù)據(jù)操作：系統(tǒng)備份、業(yè)務(wù)備份、恢復(fù)執(zhí)行、查詢流程、銷毀控制 監(jiān)控診斷：報(bào)警判斷、故障定向、問題定位、二次采集、標(biāo)準(zhǔn)處置、資產(chǎn)核對(duì) 運(yùn)行監(jiān)測(cè)：系統(tǒng)、應(yīng)用、數(shù)據(jù)、外聯(lián)環(huán)節(jié)的主動(dòng)探測(cè)，運(yùn)行數(shù)據(jù)采集 故障診斷：監(jiān)控集成、二次判斷、故障定位、現(xiàn)場(chǎng)采集 故障處置：處置執(zhí)行、狀態(tài)判斷、可用驗(yàn)證、故障隔離 應(yīng)急處置：應(yīng)急環(huán)境與條件自動(dòng)檢測(cè)、應(yīng)急流程實(shí)現(xiàn)與維護(hù)、應(yīng)急操作自動(dòng)執(zhí)行 變更發(fā)布：變更評(píng)審關(guān)鍵點(diǎn)管理（非功能需求在線核對(duì)）、應(yīng)用發(fā)布自動(dòng)化（標(biāo)準(zhǔn)）、系統(tǒng)變更自動(dòng)化（規(guī)范） 規(guī)范檢查：監(jiān)管/管理規(guī)范核對(duì)、安全自動(dòng)檢測(cè)、配置信息自動(dòng)核對(duì)、安裝規(guī)范,運(yùn)維操作管理的實(shí)現(xiàn)：1）標(biāo)準(zhǔn)化；2

8、）工具化；3）自動(dòng)化；4）制度化,作業(yè)管理體系-制度細(xì)則、技術(shù)規(guī)范、監(jiān)測(cè)優(yōu)化,作業(yè)管理體系,應(yīng)急操作管理體系-自上而下、從頭落實(shí)、技術(shù)細(xì)化、持續(xù)改進(jìn),應(yīng)急管理體系,監(jiān)控巡檢管理體系-認(rèn)識(shí)對(duì)象、明確指標(biāo)、操作測(cè)量、評(píng)估優(yōu)化,監(jiān)控管理體系,目錄,17,運(yùn)維管理中的操作控制難題,1,運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道,2,運(yùn)維操作經(jīng)驗(yàn)的積累與獲取 識(shí)別階段工作的重點(diǎn)與難點(diǎn) 工具適用性選擇與人員調(diào)整 .,運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化實(shí)施要點(diǎn),3,作業(yè)管理實(shí)施要點(diǎn)-識(shí)別作業(yè)管理關(guān)鍵點(diǎn)、分析關(guān)鍵問題分布實(shí)現(xiàn),作業(yè)管理實(shí)施,作業(yè)邏輯控制：各個(gè)作業(yè)任務(wù)之間往往存在先后邏輯關(guān)系，尤其是跨應(yīng)用系統(tǒng)的邏輯管理需要嚴(yán)格控制 作業(yè)時(shí)間調(diào)度：

9、很多作業(yè)需要控制執(zhí)行日期及時(shí)間，如周一至周五某時(shí)刻做，每月最后工作日做等等 作業(yè)權(quán)限控制：關(guān)鍵作業(yè)需要特定角色或者多人復(fù)核等，需要進(jìn)行嚴(yán)格控制 作業(yè)自動(dòng)執(zhí)行：對(duì)于將要實(shí)施自動(dòng)執(zhí)行的任務(wù)，應(yīng)具備哪些條件、應(yīng)如何改造、如何控制風(fēng)險(xiǎn) 作業(yè)臨時(shí)干預(yù)：在特殊情況下，如業(yè)務(wù)部門特殊要求，某些作業(yè)不按照計(jì)劃的時(shí)間等條件執(zhí)行，能否有效控制是關(guān)鍵 作業(yè)管理成體系：對(duì)于作業(yè)管理中的人員、信息、流程等要素進(jìn)行系統(tǒng)化管理，將作業(yè)的基礎(chǔ)信息、變更流程、人員工作等環(huán)節(jié)落實(shí)在一套管理制度及工具中 作業(yè)變更標(biāo)準(zhǔn)化：嚴(yán)格控制作業(yè)任務(wù)在系統(tǒng)投產(chǎn)、節(jié)假日處理等情況下的變更及實(shí)施,應(yīng)急處置面臨的復(fù)雜性-系統(tǒng)間關(guān)聯(lián)性高、同城異地災(zāi)備環(huán)

10、境,應(yīng)急處置實(shí)施,應(yīng)急處置操控實(shí)施-處置操作標(biāo)準(zhǔn)化、整體設(shè)計(jì)處置流程、自動(dòng)操控,應(yīng)急處置實(shí)施,監(jiān)測(cè)采集實(shí)施-識(shí)別監(jiān)測(cè)對(duì)象與指標(biāo)、監(jiān)測(cè)采集過程標(biāo)準(zhǔn)化、實(shí)時(shí)自動(dòng)監(jiān)測(cè)采集,監(jiān)測(cè)采集實(shí)施,監(jiān)測(cè)采集實(shí)施-運(yùn)行數(shù)據(jù)采集目標(biāo)確定、采集手段梳理、采集流程設(shè)計(jì)實(shí)現(xiàn),監(jiān)測(cè)采集實(shí)施,關(guān)鍵生產(chǎn)環(huán)節(jié)的可用性保障-梳理整體環(huán)境及鏈路、確認(rèn)測(cè)試方法、自動(dòng)測(cè)試,監(jiān)測(cè)采集實(shí)施,24,運(yùn)維操作實(shí)現(xiàn)的關(guān)鍵因素技術(shù)經(jīng)驗(yàn)、人員能力、工具實(shí)現(xiàn)、持續(xù)優(yōu)化,首先要將內(nèi)部日常運(yùn)維工作逐步標(biāo)準(zhǔn)化規(guī)范化，并形成簡(jiǎn)潔有效的運(yùn)維管理過程，記錄每個(gè)故障、分析成因、跟蹤問題，技術(shù)經(jīng)驗(yàn)、解決方案的日積月累。 外部技術(shù)經(jīng)驗(yàn)及解決方案的引入，如網(wǎng)上資料、外包資

11、源、項(xiàng)目資源等。,技術(shù)經(jīng)驗(yàn),持續(xù)優(yōu)化,在實(shí)施運(yùn)維管理的同時(shí)，必須考慮配套制度規(guī)范及細(xì)則的設(shè)計(jì)，以及技術(shù)標(biāo)準(zhǔn)的建立，同時(shí)形成不斷查缺補(bǔ)漏的工作機(jī)制。 將運(yùn)維操作領(lǐng)域進(jìn)行細(xì)化分工，在系統(tǒng)設(shè)計(jì)、開發(fā)、投產(chǎn)、運(yùn)行監(jiān)測(cè)、優(yōu)化改進(jìn)等環(huán)節(jié)持續(xù)落實(shí)。,24,工具實(shí)現(xiàn),首先要明確各運(yùn)維領(lǐng)域細(xì)化目標(biāo)及需求，基于此分析對(duì)于工具的詳細(xì)需求。 工具必須具備較強(qiáng)的二次開發(fā)能力，充分掌握核心代碼，以結(jié)果為導(dǎo)向整體設(shè)計(jì)，不斷持續(xù)改進(jìn),運(yùn)維管理分工的細(xì)化，由按系統(tǒng)分工模式，逐步調(diào)整為技術(shù)專業(yè)領(lǐng)域分工。 充分利用外包、駐場(chǎng)、項(xiàng)目資源，將上述人員能力，按照標(biāo)準(zhǔn)化模式，輸出成為知識(shí)、解決方案，形成自身人員能力。,人員能力,運(yùn)維自動(dòng)化工具思考-不是簡(jiǎn)單的流程化、復(fù)雜邏輯控制、實(shí)際處理難題.,任務(wù)的暫停、延遲、跳過、置換、提前：任務(wù)的法定時(shí)間因子、前序條件因子、執(zhí)行令牌因子（臨時(shí)干預(yù)）【任務(wù)暫停、任務(wù)略過、任務(wù)提前、臨時(shí)調(diào)換兩個(gè)任務(wù)的先后順序等功能支持的情況】 任務(wù)的時(shí)點(diǎn)報(bào)警、時(shí)長(zhǎng)報(bào)警：可給固定參考值閥值、也可根據(jù)平均時(shí)間動(dòng)態(tài)計(jì)算閥值 任務(wù)流的暫停、終止：向其它相關(guān)流程發(fā)送