2024IT運維最佳實踐白皮書

博睿數(shù)據(jù)BOnreeBACKGROUND博睿數(shù)據(jù)BOnreeLOG日志60TB/日博睿數(shù)據(jù)BOnree改變傳統(tǒng)的運維模式，化被動為主動業(yè)務(wù)日志分析能力欠缺,影響問題排查效率監(jiān)控覆蓋度不全,出現(xiàn)故障漏報,業(yè)務(wù)日志分析能力欠缺,影響問題排查效率風險防范意識不足,報警平臺、信息過多,有價值的報警信息容易被淹沒且分散風險防范意識不足,機器資源一直在申請,從未被回收,機器資源一直在申請,從未被回收,浪費嚴重鏈不清晰,無法快速確認故障影響范圍SOLUTION博睿數(shù)據(jù)BOnree系統(tǒng)運作過程中，風險雖然不影響用戶體驗，但多個風險累積容易發(fā)生平臺打不開、數(shù)據(jù)丟失等故障問題。為了提前發(fā)現(xiàn)風險將故障扼殺在搖籃中，運維團隊不斷完善BonreeONE的指標體系建設(shè)，AI風險檢測更加準確。在日常運行中，當系統(tǒng)檢測到有一個多活程序掛了，運維人員便能立刻發(fā)現(xiàn)去解決；CPU過高時，系統(tǒng)發(fā)出告警，負責人員便能及時打堆棧，并聯(lián)系研發(fā)部門分析原因，在風險累積衍生成故障之前解決問題，降低故障發(fā)生率。博睿數(shù)據(jù)BOnreeBonreePilot的自動巡檢和即時巡檢功能利用自動巡檢與即時巡檢功能，對BonreeONE全套組件以及核心指標實施全面健康監(jiān)測，涵蓋主機監(jiān)控、服務(wù)監(jiān)控、運營分析、告警管理、業(yè)務(wù)監(jiān)控等多個關(guān)鍵模塊。當巡檢報告中出現(xiàn)了告警和問題，例如磁盤容量告急：過去的被動運維：磁盤容量告急，立馬縮減/擴容現(xiàn)在的主動運維：磁盤容量告急，先看表詳情，觀察這些表的增長趨勢是否合理，表結(jié)構(gòu)設(shè)計是否合理，是否存在優(yōu)化空間，將空間釋放、不合理設(shè)計優(yōu)化后再采取對應(yīng)的解決措施進行縮減/擴容，對運維成本進行主動管控。博睿數(shù)據(jù)BOnree集成能力將將Zabbix、Prometheus等監(jiān)控方式通過集成功能，實現(xiàn)一體化存儲，用全棧根因分析，統(tǒng)一告警，運維人員無需監(jiān)控每一博睿數(shù)據(jù)BOnree運維團隊搶先體驗了BonreeONE3.0的新功能：可用性監(jiān)測?？捎眯员O(jiān)測支持HTTP多地址訪問，釋放了運維人員寫腳本的工作量。同時能夠自定義內(nèi)外網(wǎng)監(jiān)測點，以前對公網(wǎng)域名監(jiān)控時需要給Zabbix機器增加外網(wǎng)訪問的能力，因Zabbix機器有訪問所有機器的權(quán)限，具備外網(wǎng)能力后，這顯然不符合安全規(guī)定。可用性監(jiān)測功能夠同時使用內(nèi)網(wǎng)和外網(wǎng)的監(jiān)測點，很好地解決了這個問題。新功能彌補了開源工具對HTTP監(jiān)控的缺失，也降低運維人員對shell腳本開發(fā)能力的依賴。3.AI智能觀測，快速定位根因問題與影響范圍全域分析將數(shù)據(jù)統(tǒng)一集成到BonreeONE后，運維團隊以實體關(guān)系為核心構(gòu)建數(shù)據(jù)指標體系，平臺統(tǒng)一對數(shù)據(jù)進行分析、關(guān)聯(lián)、查看過去查看日志需要上機器，且日志需符合等保3級對日志審計系統(tǒng)的要求，系統(tǒng)日志、安全日志、關(guān)鍵配置等均要能夠保存和分析，現(xiàn)在在平臺上便能立即查看相關(guān)日志信息，打破運維傳統(tǒng)的流程慣例。博睿數(shù)據(jù)BOnree博睿數(shù)據(jù)BOnree接入Zabbix、Prometheus等第三方數(shù)據(jù)后，運維人員能夠通過查看依賴分析影響范圍，很直觀地看出當前程序訪問了哪些服務(wù)，以及哪些服務(wù)訪問了當前程序。調(diào)用鏈分析能夠在問題出現(xiàn)時幫助運維團隊定位到Server領(lǐng)域或者慢方法，定位更準確，節(jié)約時間。發(fā)現(xiàn)風險報警問題后，打開問題詳情，通過詳情清單查看本次故障所涉及到的實體信息。博睿數(shù)據(jù)BOnree根據(jù)系統(tǒng)提供的初步判斷查看具體的方法、SQL等博睿數(shù)據(jù)BOnree通過使用BonreeONE，運維團隊的工作模式實現(xiàn)了從被動應(yīng)對問題向主動治理風險的根本性轉(zhuǎn)變。主動運維策略將風險與問題前置，團隊能夠提前識別并解決風險，顯著提升系統(tǒng)穩(wěn)定性的同時極大地減輕了運維人員的工作負擔。同時，風險與問題前置也為運維人員爭取了充裕的時間，能夠在問題出現(xiàn)前對系統(tǒng)進行深入的觀察和分析，及時進行必要的調(diào)整優(yōu)化，這不僅提升了運維效率，還實現(xiàn)了資源成本的節(jié)約。2024年1月至9月期間，BonreeONE的運用及運維團隊工作模式的轉(zhuǎn)變已成功為公司節(jié)約成本近80w人民幣(≈物理機12臺）。博睿數(shù)據(jù)