論COLLECT-D在民航網(wǎng)絡(luò)運(yùn)維的應(yīng)用前景

1、    論collectd在民航網(wǎng)絡(luò)運(yùn)維的應(yīng)用前景    劉蘊(yùn)華隨著民航ip網(wǎng)的建設(shè)，越來越多的運(yùn)維需求被提出，對于網(wǎng)絡(luò)中心而言，轉(zhuǎn)報(bào)、atm、衛(wèi)星網(wǎng)網(wǎng)絡(luò)的監(jiān)控已經(jīng)非常成熟，但是對于網(wǎng)控中心服務(wù)器的性能監(jiān)控尚有空白，在這里我們將探討collectd在民航網(wǎng)絡(luò)服務(wù)器中的應(yīng)用前景及意義。首先collectd是什么，說到collectd，不能不談到apm，即application performance monitoring應(yīng)用程序性能監(jiān)控系統(tǒng)，現(xiàn)代化的運(yùn)維非常依賴于應(yīng)用性能監(jiān)控系統(tǒng)，類比于民航數(shù)據(jù)通信網(wǎng)的網(wǎng)管，其作用都是在應(yīng)用或者線路出現(xiàn)問題的時(shí)候及時(shí)通知維

2、護(hù)人員。collectd的作用就是負(fù)責(zé)收集系統(tǒng)健康度信息，influxdb負(fù)責(zé)基于時(shí)序存儲收集到的數(shù)據(jù)（也可以替換成elasticsearch等），grafana負(fù)責(zé)監(jiān)控?cái)?shù)據(jù)的報(bào)表展示。collectd作為定期收集系統(tǒng)和應(yīng)用程序的性能指標(biāo)的守護(hù)進(jìn)程，可以使用不同方式存儲這些指標(biāo)值。當(dāng)系統(tǒng)運(yùn)行和存儲信息的時(shí)候，collectd會周期性統(tǒng)計(jì)系統(tǒng)的相關(guān)統(tǒng)計(jì)信息，并展示在grafana中（grafana是一個(gè)可視化面板，有著非常漂亮的圖表和布局展示，功能齊全的度量儀表盤和圖形編輯器），同樣需要指出的是，grafana可以接入zabbix源，這為今后實(shí)現(xiàn)多樣性的告警形式成為了可能，zabbix可以接入企

3、業(yè)微信號，通過微信來通知維護(hù)人員。一圖勝千言，這些數(shù)據(jù)在grafana中會變成神奇的圖形。我們通過已經(jīng)搭建好的grafana圖形來看問題，從上面這張圖可以很清楚的看出，服務(wù)器在13：30到16：00期間出現(xiàn)了很不穩(wěn)定的狀態(tài)，cpu的使用量上升到了百分之八十三，這一項(xiàng)使服務(wù)器性能水平處在危險(xiǎn)的邊緣，而這可能并不會直接反映在用戶使用中，但是卻已經(jīng)成為了安全隱患，圖中的問題是因?yàn)樵?4：00-16：00這個(gè)過程中，程序產(chǎn)生了大量的報(bào)錯(cuò)日志內(nèi)容并進(jìn)行壓縮，導(dǎo)致cpu使用率急劇提升，這樣的數(shù)據(jù)可以使運(yùn)維人員在服務(wù)器真正出現(xiàn)生產(chǎn)問題之前進(jìn)行應(yīng)對，從而提升保障水平。隨著民航業(yè)的發(fā)展，網(wǎng)絡(luò)性能勢必隨著進(jìn)行資源

4、的擴(kuò)充，由于系統(tǒng)性能有了記錄，可以記錄系統(tǒng)使用高峰期（瓶頸），collectd使得在高峰到達(dá)之前進(jìn)行資源擴(kuò)容成為可能。類比于阿里巴巴雙11的資源擴(kuò)充策略，多是依賴于這類性能監(jiān)控軟件的采樣結(jié)果，采樣并分析每年的用量高峰，來分配服務(wù)器資源，機(jī)器會記錄真實(shí)的使用狀態(tài)，而是否需要擴(kuò)容，擴(kuò)容哪些資源，很多情況是憑借老員工的經(jīng)驗(yàn)無法得來的。collectd可以監(jiān)控的數(shù)值非常多，從cpu、內(nèi)存、swap使用情況，到磁盤空間使用率，網(wǎng)絡(luò)帶寬利用率等，都可以通過不同的插件，配置來實(shí)現(xiàn)，collectd支持多服務(wù)器監(jiān)控，這對于機(jī)器眾多的機(jī)房而言，大幅的節(jié)省了每臺服務(wù)器需要安裝collectd終端需要消耗的資源，通

5、過network插件，可以將一個(gè)collectd配置成為server，其他的配置成為client，然后client會向服務(wù)器端發(fā)送數(shù)據(jù)，所有的統(tǒng)計(jì)都會記錄在服務(wù)端。grafana圖表內(nèi)容均通過維護(hù)人員手工錄入，雖然很麻煩，但是只需要一次建立就一直可以使用，同時(shí)，grafana可以通過不同的ip地址，對設(shè)備進(jìn)行分類，如監(jiān)控某一應(yīng)用的使用，可以單獨(dú)顯示為不同的圖表，如轉(zhuǎn)報(bào)服務(wù)器，華為服務(wù)器等。grafana的數(shù)據(jù)保存時(shí)間可以自由設(shè)置，具體的時(shí)間可以設(shè)置為5天，也可以不設(shè)限制，但是對于網(wǎng)頁的顯示來說會造成一定的負(fù)擔(dān)，導(dǎo)致頁面的崩潰（視機(jī)器性能而定）。上圖為collectd的架構(gòu)圖，圖中可以看到col

6、lectd進(jìn)程通過和各種插件交互完成對數(shù)據(jù)的采集。相對于zabbix，nagios這種更適合于企業(yè)級（更多應(yīng)用服務(wù)器），且需要專人負(fù)責(zé)維護(hù)的大型監(jiān)控應(yīng)用來說，使用collectd相較于其他收集系統(tǒng)相關(guān)指標(biāo)的工具，有一定的優(yōu)點(diǎn)，比如嵌入式系統(tǒng)，c 語言開發(fā)（高效）、無需系統(tǒng) cron 支持（獨(dú)立）、簡單易用，此外他還包含有超過70多種插件以及文檔支持。collectd 除了解析 configfile 其他一切都是在插件下完成，這意味著主守護(hù)進(jìn)程沒有任何外部依賴，現(xiàn)在已知的可以應(yīng)用在 linux，solaris，mac os x上，aix，freebsd，netbsd 和 openbsd 等系統(tǒng)中

7、，collectd 配置簡單：除了那些需要加載的模塊，你不需要配置其他任何東西。collectd 不是腳本，而是運(yùn)行在內(nèi)存里面的進(jìn)程，不需要每次記錄都啟動(dòng)繁重的解釋器，有 nice 級別的 10 秒鐘的默認(rèn)解析。collectd 能夠處理任意數(shù)量的主機(jī)，從一個(gè)到幾千個(gè)，而且可以通過利用該資源盡可能高效。collectd 支持 snmp，該 snmp 插件提供了一個(gè)通用接口 snm 協(xié)議，可以用它來查詢值，并基于 collectd 機(jī)制處理他們，例如發(fā)送他們做其他地方的服務(wù)器實(shí)例。collectd 支持各種自定義擴(kuò)展，c-plugins，perl-plugins，java-plugins，python-plugins，unix 域套接字，java 的 mbean 的支持等。由于歷史原因，民航網(wǎng)控中心對于用戶每天的訪問量高峰期無法確定，對于網(wǎng)