工業(yè)互聯(lián)網(wǎng)平臺核心技術(shù)之七：運維技術(shù)

運維監(jiān)控平臺是工業(yè)互聯(lián)網(wǎng)平臺運維工作中不可或缺的一部分，如何構(gòu)建適合自己的運維監(jiān)控平臺，每個公司的需求不一樣，每個運維面對的痛點也不盡相同，但，有了監(jiān)控，有了充足的數(shù)據(jù)，一切以數(shù)據(jù)說話，運維就不再是背鍋俠了。運維管理是工業(yè)互聯(lián)網(wǎng)平臺使能技術(shù)之一，在平臺中的地位極其重要。在工業(yè)互聯(lián)網(wǎng)平臺的運維管理中，我們經(jīng)常聽到關(guān)于運維的話題：“無監(jiān)控，不運維”。隨著云計算和互聯(lián)網(wǎng)的高速發(fā)展，大量應用需要橫跨不同網(wǎng)絡(luò)終端，并廣泛接入第三方服務，平臺系統(tǒng)架構(gòu)越來越復雜。快速迭代的產(chǎn)品需求和良好的用戶體驗，需要運維管理者時刻保障核心業(yè)務穩(wěn)定可用。一運維管理的痛點和難點運維工程師在運維中過程中經(jīng)常遇到運維工作如下的痛點和難點：1、面向業(yè)務的運維，不但關(guān)心單點物理資源的運行狀態(tài)，更關(guān)心整個業(yè)務系統(tǒng)的健康狀態(tài)

2、如果企業(yè)使用了大量的API和模塊化應用，那么需要關(guān)注每個接口的性能變化情況和指標

3、對于運維主管及企業(yè)管理層來說，特別需要上墻的監(jiān)控大屏

4、運維需要每周、每月查看報告趨勢分析，但傳統(tǒng)運維工具數(shù)據(jù)導出困難

5、需要第一時間轉(zhuǎn)雀和快速發(fā)現(xiàn)故障節(jié)點，減少業(yè)務中斷帶來的損失二運維管理1、物理資源監(jiān)控（1）物理資源狀態(tài)監(jiān)控。提供可按照資源池、集群對物理設(shè)備的資源狀態(tài)、如計算、存儲、網(wǎng)絡(luò)等運行狀態(tài)進行監(jiān)控。（2）故障告警及通知。支持Email或者短信、微信等告警的實時通知消息。（3）資源庫存及資產(chǎn)管理。支持對物理設(shè)備庫存及資產(chǎn)管理，需要擴充及時提供運維管理人員。（4）故障分析報表。可按照故障級別、事件類別出具故障的分析報表，便于改善服務。2、業(yè)務資源監(jiān)控（1）業(yè)務資源狀態(tài)監(jiān)控?？砂凑辗杖缣摂M主機、云數(shù)據(jù)庫、塊存儲等進行資源狀態(tài)監(jiān)控。（2）業(yè)務資源容量監(jiān)控。對業(yè)務資源層的資源容量進行分別監(jiān)控，可設(shè)置容量告警閾值提醒資源擴容。（3）運維操作記錄。記錄運維相關(guān)的操作日志且存檔期不少于半年。三運維管理一般流程和功能1.運維管理流程運維管理的一般過程如上圖所示，制定云服務運維管理流程，需要包括：服務臺、事件管理、問題管理、變更管理、配置管理、發(fā)布管理、知識庫管理、報表管理。2、運維管理功能云服務運維管理系統(tǒng)應提供以下功能：（1）監(jiān)控管理，通過對各種物理資源、虛擬化資源數(shù)據(jù)的監(jiān)控，將資源以用戶可見的資源池形式提供給上層應用。統(tǒng)一資源管理，支持發(fā)現(xiàn)其管轄范圍內(nèi)的物理設(shè)備以及它們的組網(wǎng)關(guān)系。支持將這些物理設(shè)備進行池化管理，提供給應用管理模塊使用。（2）權(quán)限管理，可以創(chuàng)建和管理系統(tǒng)中管理員帳號、管理員所承擔的角色和管理員管理區(qū)域，實現(xiàn)系統(tǒng)的分權(quán)分域的功能。系統(tǒng)支持對用戶進行訪問控制，支持用戶組、分權(quán)、分域、密碼管理，便于維護團隊內(nèi)分職責共同有序地維護系統(tǒng)。（3）告警管理，是確保系統(tǒng)正常運行的重要活動，包括：系統(tǒng)故障預防設(shè)計、故障檢測和處理等。告警管理是故障管理的重要部分，便于運維人員進行故障定位，保證系統(tǒng)穩(wěn)定運行。（4）拓撲管理，提供一個可視化界面，呈現(xiàn)全系統(tǒng)的所有資源信息。支持常用設(shè)備自動發(fā)現(xiàn)和識別，系統(tǒng)還對網(wǎng)絡(luò)類型有很好的兼容性，可以很好的發(fā)現(xiàn)VPN、VLAN網(wǎng)絡(luò)拓撲，還支持按照規(guī)則識別不同的設(shè)備類型，方便更準確的呈現(xiàn)拓撲。（5）日志管理包括日志記錄、查看、審計。（6）軟件管理，支持云操作系統(tǒng)軟件預安裝和預置、軟件自動化批量安裝、軟件升級和補丁更新等功能。（7）統(tǒng)計報表管理，可以讓管理員查看虛擬機登錄、分配以及運行狀態(tài)信息，有助于系統(tǒng)優(yōu)化，調(diào)整提升。報表可以根據(jù)要求定制，內(nèi)容主要包括之前描述過得監(jiān)控內(nèi)容，包括CPU、內(nèi)存、網(wǎng)絡(luò)流量、數(shù)據(jù)庫性能、中間件性能等各類性能報表和故障報表。（8）資產(chǎn)管理，是運維管理系統(tǒng)的核心功能，能夠?qū)崿F(xiàn)對云平臺相關(guān)的軟硬件信息資產(chǎn)信息的全面管理，同時，對資產(chǎn)信息進行實時監(jiān)控變更等功能，滿足企業(yè)對資產(chǎn)管理的需要。（9）工單管理，系統(tǒng)提供完整的工單管理的功能，支持創(chuàng)建工單的流轉(zhuǎn)流程。支持手工創(chuàng)建工單，也可以在告警響應動作中創(chuàng)建工單；支持以工單方式實現(xiàn)對告警事件的應急響應、工作任務分配、工作任務管理，可以進行流程定制和流程查看，工作流可以跨多個中心進行聯(lián)動。（10）計費管理，不同的云服務按照各自的計費項計量并收費的能力。（11）安全管理，是對數(shù)據(jù)、賬號等IT資源采取全面保護，使其免受犯罪分子和惡意程序的侵害，并保證云基礎(chǔ)設(shè)施及其提供的資源能被合法地訪問和使用。（12）對系統(tǒng)數(shù)據(jù)均實現(xiàn)多副本保存或其他冗余備份機制。（13）可實現(xiàn)云服務運維管理系統(tǒng)的自動化管理。四運維監(jiān)控平臺設(shè)計思路構(gòu)建一個智能的運維監(jiān)控平臺，必須以運行監(jiān)控和故障報警這兩個方面為重點，將所有業(yè)務系統(tǒng)中所涉及的網(wǎng)絡(luò)資源、硬件資源、軟件資源、數(shù)據(jù)庫資源等納入統(tǒng)一的運維監(jiān)控平臺中，并通過消除管理軟件的差別。數(shù)據(jù)采集手段的差別，對各種不同的數(shù)據(jù)來源實現(xiàn)統(tǒng)一管理、統(tǒng)一規(guī)范、統(tǒng)一處理、統(tǒng)一展現(xiàn)、統(tǒng)一用戶登錄、統(tǒng)一權(quán)限控制，最終實現(xiàn)運維規(guī)范化、自動化、智能化的大運維管理。智能的運維監(jiān)控平臺，設(shè)計架構(gòu)從低到高可以分為6層，三大模塊，如下圖：1、數(shù)據(jù)收集層：位于最底層，主要收集網(wǎng)絡(luò)數(shù)據(jù)、業(yè)務系統(tǒng)數(shù)據(jù)、數(shù)據(jù)庫數(shù)據(jù)、操作系統(tǒng)數(shù)據(jù)等，然后將收集到的數(shù)據(jù)進行規(guī)范化并進行存儲。2、數(shù)據(jù)展示層：主要是將數(shù)據(jù)收集層獲取到的數(shù)據(jù)進行統(tǒng)一展示，展示的方式可以是曲線圖、柱狀圖、餅狀態(tài)等，通過將數(shù)據(jù)圖形化，可以幫助運維人員了解一段時間內(nèi)主機或網(wǎng)絡(luò)的運行狀態(tài)和運行趨勢，并作為運維人員排查問題或解決問題的依據(jù)。3、數(shù)據(jù)提取層：主要是對從數(shù)據(jù)收集層獲取到的數(shù)據(jù)進行規(guī)格化和過濾處理，提取需要的數(shù)據(jù)到監(jiān)控報警模塊，這個部分是監(jiān)控和報警兩個模塊的銜接點。4、報警規(guī)則配置層：主要是根據(jù)第三層獲取到的數(shù)據(jù)進行報警規(guī)則設(shè)置、報警閥值設(shè)置、報警聯(lián)系人設(shè)置和報警方式設(shè)置等。5、報警事件生成層：位于第五層，主要是對報警事件進行實時記錄，將報警結(jié)果存入數(shù)據(jù)庫以備調(diào)用，并將報警結(jié)果形成分析報表，以統(tǒng)計一段時間內(nèi)的故障率和故障發(fā)生趨勢。6、用戶展示管理層：位于最頂層，是一個Web展示界面，主要是將監(jiān)控統(tǒng)計結(jié)果、報警故障結(jié)果進行統(tǒng)一展示，并實現(xiàn)多用戶、多權(quán)限管理，實現(xiàn)統(tǒng)一用戶和統(tǒng)一權(quán)限控制。在這6層中，從功能實現(xiàn)劃分，又分為三個模塊，分別是數(shù)據(jù)收集模塊、數(shù)據(jù)提取模塊和監(jiān)控報警模塊，每個模塊完成的功能如下：數(shù)據(jù)收集模塊：此模塊主要完成基礎(chǔ)數(shù)據(jù)的收集與圖形展示。數(shù)據(jù)收集的方式有很多種，可以通過SNMP實現(xiàn)，也可以通過代理模塊實現(xiàn)，還可以通過自定義腳本實現(xiàn)。常用的數(shù)據(jù)收集工具有Cacti、Ganglia等。數(shù)據(jù)提取模塊：此模板主要完成數(shù)據(jù)的篩選過濾和采集，將需要的數(shù)據(jù)從數(shù)據(jù)收集模塊提取到監(jiān)控報警模塊中?？梢酝ㄟ^數(shù)據(jù)收集模塊提供的接口或自定義腳本實現(xiàn)數(shù)據(jù)的提取。監(jiān)控報警模塊：此模塊主要完成監(jiān)控腳本的設(shè)置、報警規(guī)則設(shè)置，報警閥值設(shè)置、報警聯(lián)系人設(shè)置等，并將報警結(jié)果進行集中展現(xiàn)和歷史記錄。常見的監(jiān)控報警工具有Nagios、Centreon等。運維管理平臺主要有三大部分組成，分別是數(shù)據(jù)收集模塊、監(jiān)控報警模塊和數(shù)據(jù)提取模塊。其中，數(shù)據(jù)提取模塊用于其他兩個模塊之間的數(shù)據(jù)通信，而數(shù)據(jù)收集模塊可以有一臺或多臺數(shù)據(jù)收集服務器組成，每個數(shù)據(jù)收集服務器可以直接從服務器群組收集各種數(shù)據(jù)指標，經(jīng)過規(guī)范數(shù)據(jù)格式，最終將數(shù)據(jù)存儲到數(shù)據(jù)收集服務器中。監(jiān)控報警模塊通過數(shù)據(jù)抽取模塊從數(shù)據(jù)收集服務器獲取需要的數(shù)據(jù)，然后設(shè)置報警閥值、報警聯(lián)系人等，最終實現(xiàn)實時報警。報警方式支持手機短信報警、郵件報警等，另外，也可以通