大型企業(yè)智能運(yùn)維架構(gòu)探索與實(shí)踐

1、技術(shù)創(chuàng)新 變革未來(lái)大型企業(yè)智能運(yùn)維架構(gòu)探索與實(shí)踐全景業(yè)務(wù) 服務(wù)管理日志采集 監(jiān)控告警知識(shí)庫(kù) 故障自治目 錄構(gòu)建新IT運(yùn)維管理體系01構(gòu)建新IT運(yùn)維管理體系傳統(tǒng)運(yùn)維軟件逐漸不適應(yīng)運(yùn)維需求所有的運(yùn)維軟件大多是事后報(bào) 警，此時(shí)損失已經(jīng)造成，晚了！事后智能化程度差，以監(jiān)控和報(bào)表為主，不具 備大數(shù)據(jù)關(guān)聯(lián)分析和深度數(shù)據(jù)挖掘功能“弱智”由于無(wú)法發(fā)揮實(shí)質(zhì)性的作用，且運(yùn)行時(shí)間長(zhǎng)之后性能影 響顯著，最終被棄用。無(wú)用零散一種軟件監(jiān)控一類(lèi)設(shè)備，無(wú)法提供整體的運(yùn)維監(jiān)控解決方案單一針對(duì)不同的用戶(hù)提供的是 相同的界面和視圖，不能 滿(mǎn)足用戶(hù)不同崗位、不同 業(yè)務(wù)的運(yùn)維要求數(shù)據(jù)分散，不利于故障分析和問(wèn)題跟蹤不同的數(shù)據(jù)存儲(chǔ)在不同的

2、運(yùn)維系統(tǒng)中，無(wú)法關(guān)聯(lián)數(shù)據(jù)格式、時(shí)間戳等各不相同，不利于問(wèn)題排查要的功能沒(méi)有，沒(méi)用的數(shù)據(jù)重復(fù)采集，影響正常業(yè)務(wù)每個(gè)運(yùn)維軟件都有特長(zhǎng)部分，同時(shí)也采集其他數(shù)據(jù)，造成重復(fù)影響有些甚至相互影響，干擾正常業(yè)務(wù)運(yùn)行投資浪費(fèi)，增加運(yùn)維壓力采購(gòu)多種運(yùn)維軟件，在功能上、設(shè)備上存在投資浪費(fèi)沒(méi)有減輕運(yùn)維壓力，還增加了多種軟件的維護(hù)工作傳統(tǒng)運(yùn)維存在的突出問(wèn)題運(yùn)維技術(shù)在持續(xù)升級(jí)升級(jí)為設(shè)備數(shù)據(jù)以設(shè)備為中心的維護(hù)以數(shù)據(jù)為中心的運(yùn)營(yíng)升級(jí)的3個(gè)原因： 技術(shù)進(jìn)步運(yùn)維事故 運(yùn)維壓力運(yùn)維的理想維護(hù) -運(yùn)營(yíng)幫助用戶(hù)將以設(shè)備為中心的維護(hù) 升級(jí)為以數(shù)據(jù)為中心的運(yùn)營(yíng)。“活著” - 健康將運(yùn)維質(zhì)量的標(biāo)準(zhǔn)，從保證系統(tǒng)“活著”，升級(jí)為 確保系統(tǒng)始終

3、運(yùn)行在最佳狀態(tài)。合規(guī) - 敏捷將用戶(hù)的運(yùn)維管理，從滿(mǎn)足流 程要求的合規(guī)管理，升級(jí)為以 事件響應(yīng)為特點(diǎn)的敏捷管理。運(yùn)維應(yīng)做到無(wú)論云上云下，保障業(yè)務(wù)系統(tǒng)穩(wěn)定運(yùn)行都是最重要的工作。通過(guò)部署智能運(yùn)維系統(tǒng)，能夠顯著提升運(yùn)維效率，大大增強(qiáng)運(yùn)維團(tuán)隊(duì)的能力和價(jià)值；通過(guò)部署智能運(yùn)維系統(tǒng)，能夠顯著增加運(yùn)維透明度，使管理和運(yùn)維人員增加主動(dòng)權(quán)和掌控力；通過(guò)部署智能運(yùn)維系統(tǒng)，能夠顯著降低故障頻率，使運(yùn)維更省心。AIOps解析AIOps：即Algorithmic IT Operations，是由Gartner定義的新類(lèi)別，基于算法的IT運(yùn)維。通俗來(lái)說(shuō)，就是將 人工智能數(shù)據(jù)科學(xué)和算法用于傳統(tǒng)運(yùn)維領(lǐng)域，基于已有的運(yùn)維數(shù)據(jù)（日

4、志、監(jiān)控信息、應(yīng)用信息等），通過(guò)機(jī)器學(xué)習(xí)的方式來(lái)進(jìn)一步解決自動(dòng)化運(yùn)維所未能解決的問(wèn)題，提高系統(tǒng)的智能化、穩(wěn)定性、降低IT成本， 并提高企業(yè)的競(jìng)爭(zhēng)力。科學(xué)規(guī)劃、分階段實(shí)現(xiàn)02 全景業(yè)務(wù)服務(wù)管理IT業(yè)務(wù)服務(wù)管理特點(diǎn)01監(jiān)控的粒度細(xì)02面向業(yè)務(wù)管理03面向用戶(hù)管理易用性數(shù)據(jù)全面擴(kuò)充性040506業(yè)務(wù)視角管理資源的視圖從業(yè)務(wù)的視角進(jìn)行 IT 基礎(chǔ)資源的管理與維護(hù)，一旦某個(gè)資源發(fā)生故障或者問(wèn)題，都可以從業(yè)務(wù)視 圖中直觀地了解到這個(gè)資源的故障將影響什么業(yè)務(wù)，影響哪些服務(wù)，進(jìn)而了解到影響哪些用戶(hù)。業(yè)務(wù)視角的全方位分析業(yè)務(wù)應(yīng)用性能監(jiān)控-發(fā)現(xiàn)瓶頸和故障數(shù)據(jù)采集：1、客戶(hù)端：主動(dòng)式探測(cè)和被動(dòng)式監(jiān)測(cè)2、服務(wù)端：旁路

5、監(jiān)聽(tīng)和應(yīng)用探針幾種技術(shù)的對(duì)比業(yè)務(wù)問(wèn)題整體診斷分析03 大數(shù)據(jù)日志采集與監(jiān)控告警基于大數(shù)據(jù)平臺(tái)，提供日志采集和聚合處理日志關(guān)聯(lián)分析幫助準(zhǔn)確全面定位，提升效能和滿(mǎn)意度智能預(yù)測(cè)與預(yù)警，為精細(xì)管理，科學(xué)決策提供量化依據(jù) 基于大數(shù)據(jù)平臺(tái)的日志采集分析各種日志的采集分析網(wǎng)絡(luò)設(shè)備SNMP操作系統(tǒng)Agent數(shù)據(jù)庫(kù)Agent中間件Agent應(yīng)用日志AgentHbase/HDFS大數(shù)據(jù)分析管理平臺(tái)APPServer WebServer采集器1采集器N網(wǎng)頁(yè)1網(wǎng)頁(yè)NAPP跨層采集與監(jiān)控T1 設(shè)備層對(duì)機(jī)房?jī)?nèi)的各種設(shè)備進(jìn)行監(jiān)控，如：交換機(jī)、路由器、安全設(shè)備、服務(wù)器、UPS、精密空調(diào)等，實(shí)現(xiàn)物理層的實(shí)時(shí)監(jiān)控和數(shù)據(jù)采集。T2

6、系統(tǒng)層以系統(tǒng)作為單位，對(duì)數(shù)據(jù)中心的主機(jī)(Linux主機(jī)和X86服務(wù)器)、操作系統(tǒng)(LINUX/Winwdos)、數(shù)據(jù)庫(kù)（Oracle、Mysql等主流）、中間件、存儲(chǔ)系統(tǒng)、應(yīng)用軟件API、HTTP端口、備份系統(tǒng)、容災(zāi)系統(tǒng)、數(shù)據(jù)同步系統(tǒng)，虛擬化系 統(tǒng)，云平臺(tái)進(jìn)行實(shí)時(shí)監(jiān)控、預(yù)警分析和故障定位。T3業(yè)務(wù)層在條件許可的情況下，采集一定的業(yè)務(wù)數(shù)據(jù)，如用戶(hù)數(shù)、連接數(shù)、業(yè)務(wù)并發(fā)量、日志量等等，通過(guò)多維關(guān)聯(lián)和分析，對(duì)未來(lái)的業(yè)務(wù)運(yùn)行進(jìn)行分析和預(yù)測(cè)。整個(gè)數(shù)據(jù)中心范圍內(nèi)的配置變更跟蹤C(jī)MDB數(shù)據(jù)處理自動(dòng)發(fā)現(xiàn)錄入、導(dǎo)入變 更 管 理關(guān)鍵動(dòng)作：整合、調(diào)和、同步、映射和可視化資產(chǎn)配置管理-CMDB的數(shù)據(jù)管理數(shù)據(jù)大集中-P

7、MDB數(shù)據(jù)統(tǒng)一分析引擎和智能閾值日志處理的幾個(gè)問(wèn)題日志沒(méi)有集中處理登陸每一臺(tái)服務(wù)器，使用腳本命令或程序查看日志被刪除磁盤(pán)滿(mǎn)了刪日志黑客刪除日志，抹除入侵痕跡日志只做事后追查沒(méi)有實(shí)時(shí)監(jiān)控、分析使用數(shù)據(jù)庫(kù)存儲(chǔ)日志無(wú)法適應(yīng)TB級(jí)海量日志數(shù)據(jù)庫(kù)的schema無(wú)法適應(yīng)千變?nèi)f化的日志格式無(wú)法提供全文檢索事件和時(shí)序關(guān)聯(lián)分析事件診斷一直是運(yùn)維領(lǐng)域一 個(gè)很重要的工作，事件和時(shí) 序數(shù)據(jù)的相關(guān)性不僅可以為 事件診斷提供很好的啟發(fā)， 而且在幫助進(jìn)行根因分析等 都能提供很好的線(xiàn)索。數(shù)據(jù)匯聚處理：高性能事件分析引擎高性能規(guī)則引擎3600條事件/分?jǐn)?shù)據(jù)導(dǎo)入通道全量HDFS增量Kafka數(shù)據(jù)分析的應(yīng)用開(kāi)源算法的選擇DataI

8、DE阿里云數(shù)加（MaxCompute）StreamComputeAIOps數(shù)據(jù)平臺(tái)能力體系04 知識(shí)庫(kù)與故障自治管理告警海洋短信告警8000條/天單人最高750條/天郵件最多900封/天如何從錯(cuò)綜復(fù)雜的運(yùn)維數(shù)據(jù)中形成知識(shí)庫(kù)要實(shí)現(xiàn)的目標(biāo)深簡(jiǎn)智IT運(yùn)維管理化繁為簡(jiǎn)機(jī)器學(xué)習(xí)智數(shù)據(jù)標(biāo)注工具應(yīng)用判斷分析自決知識(shí)庫(kù)基于架構(gòu) 基于經(jīng)驗(yàn) 基于概率收斂告警事件基于規(guī)范 基于分工產(chǎn)生告警事件基于數(shù)據(jù) 基于模型提高事件處理能力策略知識(shí)庫(kù)的構(gòu)建深企業(yè)內(nèi)部知識(shí)庫(kù)構(gòu)建申請(qǐng)發(fā)布發(fā)布設(shè) 計(jì)發(fā)布測(cè) 試分發(fā)和安裝結(jié)束發(fā)布管理制定計(jì) 劃新建問(wèn)題評(píng)估調(diào)查原因制定解決方案解決問(wèn)題結(jié)束問(wèn)題管理新建變更經(jīng)理審核變更實(shí)施申請(qǐng)關(guān)閉結(jié)束CAB審核變更管理新建一線(xiàn)處理二線(xiàn)處理事件關(guān)閉結(jié)束事件管理升級(jí)到問(wèn)題觸發(fā)變更轉(zhuǎn)化為知識(shí)自動(dòng)關(guān)聯(lián)知識(shí)轉(zhuǎn)化為知識(shí)轉(zhuǎn)化為知識(shí)知識(shí)庫(kù)CMDB自動(dòng)更 新配置 庫(kù)申請(qǐng)發(fā)布完成實(shí)施效率提升方