某eSee平臺業(yè)務(wù)流IT運營應(yīng)用交流課件

1、IT智能運營可視平臺eSee業(yè)務(wù)流IT運營應(yīng)用交流eSee門戶后臺管理（對象、指標(biāo)集成）在線編輯業(yè)務(wù)流業(yè)務(wù)流運營可視詳情/歷史業(yè)務(wù)流Dashboard用戶訂閱01234578業(yè)務(wù)流IT運營產(chǎn)品運營郵件提醒6IT基礎(chǔ)設(shè)施可視/診斷自動化eSee的運營服務(wù)-運行態(tài)：業(yè)務(wù)流IT運營eSee門戶產(chǎn)品運營業(yè)務(wù)流IT運營自定義門戶運營報表開發(fā)移動化BI后臺管理IaaS產(chǎn)品運營PaaS產(chǎn)品運營托拉拽自助分析SaaS產(chǎn)品運營032417685eSee的運營服務(wù)-運營態(tài)：產(chǎn)品運營關(guān)鍵業(yè)務(wù)流IT運行狀態(tài)可視系統(tǒng)、存儲、硬件診斷一鍵自動化提供系統(tǒng)、存儲、硬件的“一鍵式”批量自動化診斷/健康檢查工具，故障定位效率提升

2、67%（周期30分鐘減少到10min）。事件平均解決周期減少50% (2小時減少到1小時);固化專家管理員日常故障診斷定位經(jīng)驗實現(xiàn)LTC/財經(jīng)/ISC/WEB/IPD領(lǐng)域關(guān)鍵30個業(yè)務(wù)流IT監(jiān)控可視化、覆蓋50個關(guān)鍵級應(yīng)用縱向監(jiān)控可視化。在半年度、第三季度業(yè)務(wù)沖刺和財報月結(jié)期間總共預(yù)警提前發(fā)現(xiàn)60+個隱患。三季度業(yè)務(wù)高峰保障期間，提前預(yù)警iTrigger二級問題。先于用戶26min、先于項目組50min。5大領(lǐng)域、60+共有業(yè)務(wù)流、6976個CI、25300+關(guān)鍵指標(biāo)監(jiān)控可視化EIP集成管道可視化、每月減少50+事件、定位效率提升24倍“1鍵式”自動化診斷，故障定位效率提升67%、解決周期減少

3、50% 業(yè)務(wù)流IT運營可視化eSee效果總結(jié)：業(yè)務(wù)流IT運行可視化主線業(yè)務(wù)評價和反饋：業(yè)務(wù)流IT運營、產(chǎn)品運營受到廣泛認可業(yè)務(wù)流IT運營：應(yīng)用監(jiān)控組長-冷冰業(yè)務(wù)流IT運營：End用戶運營：SO運營團隊組長-王燦森業(yè)務(wù)流IT運營：2012 ERP實施部-任海秀應(yīng)用監(jiān)控預(yù)警例行化效果應(yīng)用監(jiān)控預(yù)警例行化試點范圍（LTC、WEB和DW&FIN），目前涵蓋應(yīng)用CI共67個成果如下：從3月4日試運行以來1）在監(jiān)控團隊wiki上登記問題隱患132條。（上周登記5條）， http:/3/hi/group/9783/wiki_3382959.html2）在One IT Run，監(jiān)控專區(qū)上共發(fā)布監(jiān)控預(yù)警報告博文2

4、7篇。（上周登記1篇） http:/3/hi/group/2028167/blogs.html#category=11102933）在itsm上共登記“Monitor”來源問題88個。（上周登記4個），問題當(dāng)前狀態(tài)分布分別如下： 領(lǐng)域?qū)＜?+ 操作中心 模式，組織上支撐監(jiān)控預(yù)警例行化應(yīng)用監(jiān)控預(yù)警例行化流程應(yīng)用監(jiān)控預(yù)警案例，100+個正確命中預(yù)警平臺技術(shù)架構(gòu)及核心能力：核心能力服務(wù)層：*易用/自助的可視UI *服務(wù)化運營數(shù)據(jù)接口服務(wù)引擎：*運營原子化 - 微服務(wù)池*可視化、智能BI引擎存儲分析：*海量IT運營數(shù)據(jù)容器：分布式存儲，數(shù)據(jù)倉庫*智能、高效運算分析：大數(shù)據(jù)能力、數(shù)據(jù)挖掘數(shù)據(jù)管道：*差異

5、化的數(shù)據(jù)集成能力：IT基礎(chǔ)設(shè)施服務(wù)全球容量可視IaaS服務(wù)各資源全球情況可視應(yīng)用全球分布、訪問性能可視化應(yīng)用在全球布局，各點訪問性能可視業(yè)務(wù)高峰保障Dashboard增強【數(shù)據(jù)庫預(yù)警和定位可視化】將DB問題和預(yù)警可視化出來，如Top慢SQL，診斷自動化eSee 2.0劇透-產(chǎn)品性能/用戶全球分布頁面性能頁面性能頁面性能頁面性能產(chǎn)品全球訪問性能產(chǎn)品運營分析可視門戶1產(chǎn)品運營分析可視門戶2HiCloud云管理（H.I.E）(統(tǒng)一API、資源協(xié)調(diào)調(diào)度、自動化、安全)DCDCDCDCDC全球云數(shù)據(jù)中心 (DCIM)（Region/AZ/Edge Location）復(fù)用彈性大池快照大二層無阻塞云服務(wù)(自

6、服務(wù)Console)云運維(監(jiān)控、操作自動化)云運營(報表、社區(qū)、幫助)動態(tài)智能軟件定義計算軟件定義存儲軟件定義網(wǎng)絡(luò)軟件定義安全廊坊數(shù)據(jù)中心智能管理和運營可視：IT配置信息可視可用性管理和運營可視容量管理和運營可視自動化健康檢查和巡檢 廊坊SDI云數(shù)據(jù)中心運營： DCIM 2.0，初步實現(xiàn)廊坊云數(shù)據(jù)中心智能化”無人值守”的IT基礎(chǔ)設(shè)施智能管理和運營。彰顯華為IT云數(shù)據(jù)中心的獨特軟件定義與智能運營理念。備注：業(yè)務(wù)流可視化圖例監(jiān)控系統(tǒng)報警信息ITSM關(guān)聯(lián)的事件工單ITSM關(guān)聯(lián)的變更工單可視化場景中關(guān)注的指標(biāo)可視化場景中的定制化報警不一致三季度業(yè)務(wù)高峰保障監(jiān)控業(yè)務(wù)流上端到端可視場景化、端到端的運行狀

7、態(tài)和異常。業(yè)務(wù)流IT運營初步效果：三季度業(yè)務(wù)高峰保障，先于用戶預(yù)警iTrigger問題11:1311:5911:27 11:3911:3112:0311:13 通過eSee數(shù)據(jù)庫連接池監(jiān)控，發(fā)現(xiàn)iTrigger的szxap612節(jié)點上數(shù)據(jù)庫連接池異常，根據(jù)經(jīng)驗，曲線一般是在10附近小幅度震蕩，但是現(xiàn)在已經(jīng)上到20了，需要關(guān)注。11:27 連接池的大小一直在增長，已經(jīng)快到上限30了，szxap612-in節(jié)點上的可用連接數(shù)已經(jīng)接近0，該節(jié)點上用戶將無法登陸。此節(jié)點的進程池。szxap612-in節(jié)點上已經(jīng)超過了50，明顯比其他節(jié)點要高11:31 登陸iTrigger應(yīng)用服務(wù)器，生成javacor

8、e分析為何占用大量數(shù)據(jù)庫連接。11:39 共享中心同事反饋有人無法登錄11:59 項目組反饋，有用戶無法登錄12:03聯(lián)系系統(tǒng)支持重啟了szxap612節(jié)點，連接池恢復(fù)正常。DBA已經(jīng)從數(shù)據(jù)庫中抓出了執(zhí)行時間長的sql以便后續(xù)分析優(yōu)化eSee提前預(yù)警用戶反饋先于用戶提前26分鐘 預(yù)警問題業(yè)務(wù)流IT運營初步效果：三季度業(yè)務(wù)高峰保障，先于用戶預(yù)警iTrigger問題eSee平臺先于用戶26min、先于項目組50min提前預(yù)警問題，并提供診斷上下文日志批量下載，幫助快速定位、解決問題。9月24日項目組反饋三季度業(yè)務(wù)高峰保障監(jiān)控-數(shù)據(jù)庫監(jiān)控異常趨勢三季度業(yè)務(wù)高峰保障監(jiān)控-數(shù)據(jù)庫基于24日iTrigge

9、r出現(xiàn)單邊不可訪問的情況，加強了對數(shù)據(jù)庫連接池的監(jiān)控。通過連接池Dashboard對LTC業(yè)務(wù)流上的所有主要系統(tǒng)的連接池使用趨勢做集中展示，一眼即可知是否有連接池問題隱患。監(jiān)控異常趨勢Itrigger預(yù)警可視Itrigger預(yù)警可視三季度業(yè)務(wù)高峰保障監(jiān)控-線程池當(dāng)前大部分的J2EE應(yīng)用線程池大小設(shè)置為100，對于高并發(fā)訪問的應(yīng)用，需要特別關(guān)注。線程池滿會導(dǎo)致新用戶無法登錄通過監(jiān)控并分析LTC主業(yè)務(wù)流上的關(guān)鍵系統(tǒng)，目前只有iSales、prm、cpp、cfs這四個應(yīng)用的高水位達到過50以上。監(jiān)控異常趨勢三季度業(yè)務(wù)高峰保障監(jiān)控-cpu保障期間，個應(yīng)用的cpu利用率，15分鐘內(nèi)的平均負載均較低，業(yè)務(wù)

10、量高峰和用戶訪問高峰對系統(tǒng)硬件來說基本無壓力。用戶訪問系統(tǒng)慢的問題，99%還是sql執(zhí)行效率所致，后面看日志監(jiān)控就會很明顯的看出來。無異常趨勢CPU趨勢可視備注：任意視圖用戶私有視圖，將關(guān)注的對象放在同一張視圖中，用于集中監(jiān)控和管理。mqMQ隊列監(jiān)控三季度業(yè)務(wù)高峰保障監(jiān)控-mq目前eSee中會監(jiān)控8臺mq服務(wù)器所有長度超過5的隊列會被認為是異常隊列，需要關(guān)注目前還無法簡歷隊列名稱和應(yīng)用之間的關(guān)系，需要應(yīng)用支持自己來分辨異常隊列是否屬于某個應(yīng)用。保障期間，LTC主業(yè)務(wù)流關(guān)鍵系統(tǒng)未發(fā)現(xiàn)有超長待處理消息的隊列。時間：2014-09-2819:00通過eSee的mq異常隊列指標(biāo)，發(fā)現(xiàn)有名稱為edocIntranetHealthQueue的隊列長度持續(xù)增長。20:00擔(dān)心會引起edoc問題，聯(lián)系陳惠新協(xié)助排查原因。2014-9-2911:21edoc異常