企業(yè)IT統(tǒng)一監(jiān)控運維平臺建設方案

1、企業(yè)IT統(tǒng)一監(jiān)控運維平臺建設方案4平臺特性目錄1項目背景3實施內容2建設目標4項目實施計劃5項目背景-子公司建設OMC的必要性考核壓力越來越大運維成本越來越高運維難度越來越大構建標準化的運維體系母公司對各子公司自有系統(tǒng)運維能力的要求不斷提升，考核力度逐年增長；各類監(jiān)管規(guī)范與集中行動越來越多，包括：業(yè)務大會戰(zhàn)、應急預案、HW行動、業(yè)務連續(xù)性，內部運維管理要求等；對系統(tǒng)監(jiān)控質量標準日益提高，必須要做到定期巡檢、可用性探測、漏洞掃描、備份等。隨著業(yè)務發(fā)展子公司系統(tǒng)故障影響面越來越大，解決問題的成本越來越高；當前子公司各系統(tǒng)應用規(guī)范日益增大，其中WLAN平臺已接入*客戶，涉及*網(wǎng)點；視頻監(jiān)控平臺已接入

2、*客戶，涉及*路視頻，智慧社區(qū)已承載*社區(qū)，連接設備*個，上述系統(tǒng)一旦出現(xiàn)故障波及面無法估量。隨著新技術引入、新模塊迭代，系統(tǒng)復雜度顯著增強，單靠人工的被動維護無以為繼；目前智慧社區(qū)平臺、移動OA平臺、視頻監(jiān)控和分析平臺、內部項目管人工手理系統(tǒng)等都使用了不同的最新技術，系統(tǒng)復雜度日益增高，新的故障類型也在不斷涌現(xiàn)。子公司運維基礎薄弱、專業(yè)人員稀缺，在明確運維流程基礎上通過系統(tǒng)固化有助于短期內快速實現(xiàn)日常操作的標準化，避免因人而宜產生較大波動；通過本系統(tǒng)建設可以構建標準的運維體系，包括：告警處置流程的標準化，日常巡檢流程的標準化，系統(tǒng)作業(yè)流程的標準化等 。項目背景-子公司IT運維的現(xiàn)狀與問題監(jiān)控

3、深度有限只有硬件、端口，缺少對中間件、應用、網(wǎng)絡等可靠性、安全性的全面監(jiān)控。監(jiān)控廣度有限目前只能安排專人照顧重點平臺和重要系統(tǒng)，子公司涉及運維的所有系統(tǒng)僅能覆蓋約60%。問題處理無標準應急處置方法沒有沉淀渠道和手段，發(fā)生同類問題取決于誰處理，而不是大家都能按標準操作處理。定位故障缺信息故障診斷中運維人員很難獲取定位異常點等全面的信息；事后診斷發(fā)現(xiàn)某一平臺問題焦點的手段不便捷。基于低效的現(xiàn)場人工模式監(jiān)控管理缺乏抓手告警處置進度和結果非顯性化，作為班組長或管理者缺少掌握問題、推進問題解決的抓手。無法達到母公司監(jiān)管要求母公司要求日益增高母公司對各子公司對系統(tǒng)的監(jiān)管與運維要求在“集中監(jiān)控、集中維護和集

4、中管理”三個層面實現(xiàn)信息化和自動化。當前管理基礎薄弱公司目前基本是處在零起步，停留在粗線條的人工管理階段；無法達到母公司的監(jiān)管要求?，F(xiàn)狀問題基于統(tǒng)一規(guī)劃分步完善的思路現(xiàn)階段急需的是滿足母公司對子公司系統(tǒng)可用性、安全性的考核和檢查，確保系統(tǒng)運行穩(wěn)定服務好甲方客戶本期項目的重點是實現(xiàn)集中監(jiān)控項目背景-當前IT運維在集中監(jiān)控方向的總體趨勢 隨著企業(yè)數(shù)字化的迅猛發(fā)展，給IT運維帶來了全新的挑戰(zhàn)，主要體現(xiàn)在： 隨著業(yè)務對IT運維提出的要求越來越高，原來被動救火式的IT運維模式已不能滿足企業(yè)要求，無法為業(yè)務發(fā)展提供保障。只有構建主動巡防式的IT監(jiān)控與運維體系，能夠提前預防并處理系統(tǒng)各類故障，才能為業(yè)務的快

5、速發(fā)展保駕護航，滿足企業(yè)對IT的要求。業(yè)務變化越來越快系統(tǒng)變更越來越頻新系統(tǒng)上線越來越多業(yè)務訪問量快速增長用戶體驗要求越來越高業(yè)務處理時效性更高業(yè)務中斷容忍度更低高層對IT部門考核更嚴系統(tǒng)架構越來越復雜故障類型越來越多系統(tǒng)負載更大、故障風險高故障排查、修復更難技術快速演進與新技術應用人員技術能力與經(jīng)驗不足人員成本越來越高知識經(jīng)驗無法沉淀因此，構建主動式的IT監(jiān)控與運維將成為必然所趨&外部壓力內部挑戰(zhàn)案例2平臺特性目錄1項目背景3實施內容4建設目標項目實施計劃5總體目標是搭建智能化IT運維管理平臺，協(xié)助子公司售后團隊構建主動巡防式的IT運維體系，提升IT運維效率，保障業(yè)務可用性，滿足母公司對子公

6、司各項考核和檢查要求。結合運維能力短板和能力需要的迫切性，本期項目的重點是實現(xiàn)集中的監(jiān)控管理。具體建設目標包括：建設目標通過實施統(tǒng)一IT監(jiān)控運維平臺，不僅打造了一體化、標準化的監(jiān)控運維體系，并注入了主動的IT監(jiān)控數(shù)據(jù)采集與自動的故障風險能力，可以為公司打造更加完善的IT監(jiān)控能力，滿足運維團隊對監(jiān)控深度和廣度的訴求。打造完善監(jiān)控能力實現(xiàn)監(jiān)控與故障數(shù)據(jù)的可視化展示，對監(jiān)控與故障數(shù)據(jù)進行全面、深度的分析，分析故障特征，輔助發(fā)現(xiàn)問題根源，定期輸出分析報告，支持我們從傳統(tǒng)運維統(tǒng)計轉向自動化運維分析。 實現(xiàn)可視化IT監(jiān)控與分析統(tǒng)一IT監(jiān)控運維平臺會全面采集被監(jiān)控系統(tǒng)各項運行數(shù)據(jù)，可以為運維團隊提供有效的故

7、障信息和原因定位輔助，幫助運維人員及時發(fā)現(xiàn)系統(tǒng)故障并迅速、準確定位故障原有，進而可快速修復系統(tǒng)故障，保障業(yè)務的可用性和連續(xù)性。提供有效故障信息和定位輔助利用平臺的自動化故障處理能力，幫助我們構建更加完善的IT故障處理機制，沉淀IT應急預案，提升故障處置的準確性。今后，對于一般系統(tǒng)故障可由人工進行標準化處理，而對于關鍵平臺的服務不可用或功能故障則由平臺自動進行處置。沉淀應急預案提升處置準確性目錄1項目背景5建設目標42平臺特性項目實施計劃實施內容3總體解決方案人員支撐運維工程師技術工程師CIO業(yè)務主管運維主管信息推送工作支撐數(shù)據(jù)采集故障探測采集信息應用服務中間件底層系統(tǒng)基礎設施業(yè)務狀態(tài)連接系統(tǒng)移

8、動辦公智慧社區(qū)視頻監(jiān)控WLAN系統(tǒng)數(shù)據(jù)采集異常檢測主動預警信息通知郵件通知聲音告警報告推送可視化報表可視展示主動告警智能IT監(jiān)控與運維平臺指標配置數(shù)據(jù)采集探傷檢測智能監(jiān)控自動修復消息通知可視展示 基于項目的背景與建設目標，本期將通過部署、實施一套智能化的IT監(jiān)控平臺系統(tǒng)。為公司注入全面采集IT系統(tǒng)各級資源數(shù)據(jù)能力，智能化的故障與風險分析能力、主動故障告警能力，讓IT維護人員能夠及時發(fā)現(xiàn)、甚至提前預測系統(tǒng)故障，進而幫助公司建立主動式的IT監(jiān)控運維告警模式。規(guī)則配置主動告警數(shù)據(jù)分析總體系統(tǒng)架構與應用藍圖智能IT監(jiān)控與運維平臺IT物聯(lián)網(wǎng)大數(shù)據(jù)云計算智能故障分析數(shù)據(jù)統(tǒng)計、分析快速故障修復信息推送與告警

9、故障報告數(shù)據(jù)匯集深度分析發(fā)現(xiàn)故障/風險數(shù)據(jù)分析信息展示信息推送報表管理指標配置故障配置告警配置監(jiān)控任務處理日志調整算法查收報告整體監(jiān)控信息配置處理告警處理故障設置任務數(shù)據(jù)采集主動探測告警、修復識別、預測實時任務定時全面多維智能 本期新建的IT監(jiān)控平臺主要由數(shù)據(jù)采集平臺、數(shù)據(jù)處理平臺、自動告警引擎以及數(shù)據(jù)分析系統(tǒng)組成。數(shù)據(jù)采集平臺會自動采集被監(jiān)控系統(tǒng)的各項運行數(shù)據(jù)，再由統(tǒng)一處理平臺根據(jù)配置的規(guī)則對數(shù)據(jù)進行分析。當發(fā)現(xiàn)了故障或風險時由告警引擎負責告知維護人員，而系統(tǒng)管理員則可以通過可視化報表及時掌握各系統(tǒng)的整體運行與故障情況。以下就是公司智能IT監(jiān)控與運維平臺的整體架構與應用藍圖：統(tǒng)一處理平臺統(tǒng)一

10、采集平臺統(tǒng)一采集平臺業(yè)務應用WLAN視頻監(jiān)控核心平臺業(yè)務應用內部項目管理系統(tǒng)重要系統(tǒng)業(yè)務應用核心內網(wǎng)業(yè)務外網(wǎng)關鍵網(wǎng)絡業(yè)務應用物理機存儲、基礎設施系統(tǒng)功能架構一期 一期建設的IT監(jiān)控平臺的建設目標是為公司注入系統(tǒng)運行狀態(tài)監(jiān)控、數(shù)據(jù)采集能力，實現(xiàn)主動式的IT系統(tǒng)故障監(jiān)控告警。二期主要目標為加強監(jiān)控的自動化故障識別、處理能力以及應用的部署管理能力，進一步提升IT系統(tǒng)監(jiān)控與運維的自主性。具體系統(tǒng)功能架構如下 ：二期用戶管理權限管理認證管理日志管理通知接口基礎功能模塊主機配置中間件配置應用配置前端配置資產配置模塊資產配置模塊調用鏈管理監(jiān)控配置故障類型配置故障模型定義阻斷式不可用監(jiān)控監(jiān)控管理模塊主機監(jiān)控中

11、間件監(jiān)控應用監(jiān)控前端監(jiān)控日志監(jiān)控資產配置模塊WLAN阻斷式不可用處理視頻系統(tǒng)阻斷式不可用處理智慧社區(qū)阻斷式不可用處理內部項目管理系統(tǒng)阻斷式不可用處理自動告警運維告警配置告警通知配置告警通知告警歷史查詢自動故障處理任務管理數(shù)據(jù)統(tǒng)計報表分析統(tǒng)計分析模塊系統(tǒng)監(jiān)控指標規(guī)劃搭建一套IT系統(tǒng)監(jiān)控運維平臺，基于該平臺實現(xiàn)對子公司自有各應用系統(tǒng)的統(tǒng)一、集中監(jiān)控與維護，為子公司提供系統(tǒng)運行信息采集、分析、告警與自恢復能力，確保對應系統(tǒng)的穩(wěn)定性與可用性。搭建智能IT系統(tǒng)監(jiān)控運維平臺子公司自有各系統(tǒng)新增監(jiān)控已有監(jiān)控系統(tǒng)主機監(jiān)控CPU使用率內存使用率磁盤使用率磁盤I/O網(wǎng)絡丟包率網(wǎng)絡I/Olinux/windows中

12、間件監(jiān)控端口監(jiān)控性能監(jiān)控nginx/tomcat/https系統(tǒng)日志分析日志分析日志告警日志集中查詢應用日志/組件日志/服務器日志系統(tǒng)前端監(jiān)控頁面性能監(jiān)控接口性能監(jiān)控監(jiān)控告警管理告警策略設置告警聯(lián)系人設置告警歷史管理鏈路狀態(tài)監(jiān)控鏈路訪問狀態(tài)信息安全監(jiān)控綠盟漏掃服務結果監(jiān)控數(shù)據(jù)庫監(jiān)控mysql/oracle/redis/mongo中間表積壓監(jiān)控端口監(jiān)控性能監(jiān)控定時任務監(jiān)控任務調度進程監(jiān)控任務守護進程監(jiān)控2實施內容目錄1項目背景4平臺特性3建設目標項目實施計劃5打造一體化監(jiān)控運維體系，全面提升運維能力基于統(tǒng)一平臺，打造一體化監(jiān)控運維體系，集中監(jiān)控各應用系統(tǒng)，實施統(tǒng)一監(jiān)控策略，實現(xiàn)統(tǒng)一故障告警并統(tǒng)一

13、故障處理、集中的監(jiān)控信息展示以及全面、深入的IT系統(tǒng)監(jiān)控與故障數(shù)據(jù)分析，由此全面規(guī)范化公司的IT運維工作、提升公司的IT運維能力。統(tǒng)一智能IT監(jiān)控與運維平臺統(tǒng)一策略統(tǒng)一告警統(tǒng)一操作集中展示全面分析集中監(jiān)控所有系統(tǒng)都納入到統(tǒng)一個平臺進行監(jiān)控監(jiān)控信息集中管理統(tǒng)一故障與指標定義故障的分析策略設置故障監(jiān)控與預測策略統(tǒng)一告警能力支持統(tǒng)一告警規(guī)范設置集中告警策略配置統(tǒng)一故障告警處理統(tǒng)一故障自動修復處理統(tǒng)一自動部署操作統(tǒng)一信息與報表展示統(tǒng)一的信息發(fā)布集中數(shù)據(jù)存儲與管理集中的IT故障分析全面的故障與預警報告分析，優(yōu)化IT運維知識沉淀、經(jīng)驗傳遞、能力提升打造IT監(jiān)控工作的信息化，實現(xiàn)關鍵故障的自動處理信息化標準

14、化自動化模型化建立故障識別模型基于體系標準庫建立定義故障的數(shù)據(jù)模型確定關鍵故障、風險、問題的識別數(shù)學模型可以從不同維度建立多種關鍵故障識別模型梳理故障指標體系標準基于保障業(yè)務，確保系統(tǒng)正常運行的目標，梳理出金阿卡指標與故障體系標準構建監(jiān)控指標庫構建故障與風險類型庫構建事件、問題與任務類型庫關鍵故障自動分析基于關鍵故障模型設計自動故障分析算法任務創(chuàng)建IT監(jiān)控與分析任務（監(jiān)控的系統(tǒng)與內容）設置自動化算法的執(zhí)行與調度策略自動執(zhí)行任務，識別關鍵故障與風險基于實際效果技術優(yōu)化、調整算法全面采集系統(tǒng)運行的各項數(shù)據(jù)只是實現(xiàn)主動式監(jiān)控運維的基礎，更關鍵的是要能對這些數(shù)據(jù)進行準確的分析，以自動發(fā)現(xiàn)系統(tǒng)的故障或故

15、障風險，進而及時對故障進行處理。本次建設的IT監(jiān)控與運維平臺將具備關鍵故障的識別能力，它要由標準化故障體系配置、故障識別模型化設計及故障分析算法組成。主動探測與故障告警，提升運維效率并降低故障風險平臺在全面采集系統(tǒng)各項運行數(shù)據(jù)后，進行智能化的分析，可以及時識別出各類故障和故障風險，基于此平臺會進一步采取自主化的處理方式，及時修復故障，提前解除風險，以保障業(yè)務的可用性和連續(xù)性。平臺會主動對系統(tǒng)進行各項指標的探測和巡檢，以便及時發(fā)現(xiàn)系統(tǒng)故障平臺會基于智能化數(shù)據(jù)風險，給出故障風險預測提前判斷潛在的故障任何故障或風險信息，平臺都會及時給予告警(支持郵件、短信、信息、聲音、警燈等方式)，通知相關人員平臺

16、在發(fā)現(xiàn)故障后可以自動生成并派發(fā)故障修復處理任務主動探測+預防主動進行系統(tǒng)應用巡檢和探傷檢測主動預測故障風險并告知維護人員自動告警+任務自動告知相關人員故障與風險信息自動生成、下發(fā)故障修復任務自主化監(jiān)控運維實現(xiàn)可視化IT系統(tǒng)監(jiān)控以及深度的IT運維數(shù)據(jù)分析平臺提供了可視化報表監(jiān)控系統(tǒng)，讓管理人員可以直觀、及時的掌握各系統(tǒng)的整體運行與故障情況，并進行對應的工作安排。同時，系統(tǒng)還會對所采集到的指標數(shù)據(jù)、故障數(shù)據(jù)、故障風險等數(shù)據(jù)進行深度的分析，發(fā)現(xiàn)故障的原因，指導系統(tǒng)的優(yōu)化，幫助公司實現(xiàn)從傳統(tǒng)的IT運維統(tǒng)計轉向智能運維運營。數(shù)據(jù)分析信息展示信息推送平臺具備強大的大數(shù)據(jù)分析能力與可視化展示能力平臺將整合當

17、前與歷史監(jiān)控數(shù)據(jù)進行深度分析，分析故障特征，輔助發(fā)現(xiàn)問題根源平臺將對IT監(jiān)控數(shù)據(jù)全面的分析，定期輸出分析報告，支持企業(yè)從傳統(tǒng)運維統(tǒng)計轉向智能運維分析平臺具備強大的圖形化數(shù)據(jù)展示開發(fā)能力，支持個性化數(shù)據(jù)展示開發(fā)支持各類圖形化的數(shù)據(jù)展示提供數(shù)據(jù)與信息推送功能，支持各種方式的數(shù)據(jù)推送方式亮點及成果亮點標準化：構建標了準化的IT監(jiān)控與運維體系，包括：標準化的告警處置流程、應急處理方案以及系統(tǒng)監(jiān)控部署要求，進而為公司注入高效、規(guī)范的故障與風險察覺能力及可靠的故障處理能力。實施一套標準化的IT監(jiān)控平臺系統(tǒng)，為公司注入高效、規(guī)范的故障與風險察覺能力以及可靠的故障處理能力，為公司建立主動式、體系化的IT監(jiān)控運

18、維模式奠定了基礎。實現(xiàn)了對子公司的各個核心平臺（WLAN、視頻監(jiān)控）、重要系統(tǒng)（內部項目管理系統(tǒng)）、關鍵網(wǎng)絡以及基礎設施（物理機、存儲）實時、全面的監(jiān)控，可有效的降低了系統(tǒng)的故障率，保障系統(tǒng)的運行效率?；谄脚_大大提高了IT系統(tǒng)監(jiān)控與運維工作的自主化程度，極大提高了整個IT運維工作的效率，并降低了IT運維工作量以及人力成本。利用平臺實現(xiàn)主動式的系統(tǒng)監(jiān)控與告警，保障了系統(tǒng)可用性，更好的服務業(yè)務的運營，彰顯了IT部門價值。成果主動式：利用硬件可用性探測、系統(tǒng)業(yè)務可用性測試、系統(tǒng)狀態(tài)巡檢等一系列手段，主動對系統(tǒng)故障進行檢測，及時發(fā)現(xiàn)系統(tǒng)故障風險，實現(xiàn)主動式IT監(jiān)控與告警。可視化：基于集成運維管理界面

19、讓管理員可以對被監(jiān)控系統(tǒng)實現(xiàn)全面的監(jiān)控配置、告警管理及處置、并對監(jiān)控數(shù)據(jù)實現(xiàn)深度分析，并為智能化運維奠定基礎。實施效益通過本次OMC平臺的實施，提升子公司的系統(tǒng)運維能力，進而可以滿足母公司對子公司各項運維動作的要求，避免在日?？己酥惺Х?。降低運維人力成本醫(yī)療行業(yè)發(fā)展方向提升日?？己吮憩F(xiàn)提升內外客戶滿意度提升ICT收入利用系統(tǒng)實現(xiàn)運維指標顯性化和故障告警流程化，可有效節(jié)省運維團隊的工作量，降低人力成本；按現(xiàn)有系統(tǒng)規(guī)模初步估算，通過人工實現(xiàn)同樣程度監(jiān)控和處置所需投入人力，OMC平臺建設后可減少約30%的人力投入。通過OMC+配套運維流程的落地，可顯著改善系統(tǒng)售后服務的質量；可以更好的保障各類系統(tǒng)的

20、可用性與服務連續(xù)性，為業(yè)務提供更好的保障，由此可以大大提升內外部客戶滿意度。當前服務的存量客戶中有不少運維能力也有欠缺，在子公司相關能力成熟后可適當對外輸出，為公司創(chuàng)收，提升社會ICT收入；基于當前長期合作的存量客戶進行初步估算，若向其輸出OMC能力，預計每年可產生100W的收入。目錄1項目背景5建設目標42平臺特性項目實施計劃實施內容3進度計劃設計階段開發(fā)階段測試階段上線試運行階段V1.0發(fā)布按照規(guī)劃功能完成V1.0版本發(fā)布2021.7.102021.7.302021.8.42021.9.62021.9.152021.9.30需求階段V1.1發(fā)布根據(jù)測試情況完成優(yōu)化，發(fā)布V1.1版監(jiān)控配置與

21、告警主機監(jiān)控中間件/數(shù)據(jù)庫監(jiān)控應用監(jiān)控日志監(jiān)控項目立項采購比選2021.8.10軟硬件配置說明系統(tǒng)服務器清單軟件部署架構服務器用途Cpu內存存儲數(shù)量備注監(jiān)控、日志門戶2核8G200G1部署監(jiān)控門戶WEB服務、Nginx服務、接口服務監(jiān)控計算Prometheus監(jiān)控數(shù)據(jù)存儲InfluxDB鏈路追蹤服務Skywalking鏈路追蹤數(shù)據(jù)存儲4核16G500G1部署Prometheus監(jiān)控數(shù)據(jù)采集服務日志緩沖kafka日志處理logstash日志存儲Elasticsearch4核16G1T1部署ES服務集群，用于日志查詢、監(jiān)控數(shù)據(jù)查詢監(jiān)控push網(wǎng)關監(jiān)控收集collector日志推送網(wǎng)關4核16G500G1接入機元數(shù)據(jù)存儲Mysql4核16G500G1Mysql數(shù)據(jù)庫，定期備份數(shù)據(jù)項目成本估算一級模塊二級模塊功能描述資產配置主機配置設置主機基本信息、引導接入主機監(jiān)控中間件配置設置中間件基本信息、引導接入中間件監(jiān)控應用配置設置應用基本信息、引導接入應用監(jiān)控前端配置設置前端基本信息、引導接入前端監(jiān)控監(jiān)控配置管理監(jiān)控指標配置采集指標裁剪配置采集參數(shù)設置采集方式、采集時間配置主機監(jiān)控CPU監(jiān)控空閑、占用、用戶、等待、使用率、進程數(shù)等內存監(jiān)控使用率、交換次數(shù)、換頁換進率、交換頁換出率、等待頁進程數(shù)、系統(tǒng)內存使用率、用戶內存使用率、緩沖命中率等磁盤IO操作速率、請求量、磁盤占用、忙綠、平均等待時