APM應(yīng)用性能監(jiān)控的應(yīng)用

1、APM應(yīng)用性能監(jiān)控的應(yīng)用技術(shù)創(chuàng)新，變革未來大綱如何應(yīng)對性能問題tutorabc對APM的一些實踐TGOP私有云平臺關(guān)注性能, 從現(xiàn)在開始!一個真實的調(diào)優(yōu)案例線上某API服務(wù)高峰時段CPU用量超過95%. 期間API響應(yīng)變慢.重啟服務(wù)后, 問題依舊存在.之前通過添加新服務(wù)器緩解問題.考慮到近期業(yè)務(wù)量有大幅增長, 同時為節(jié) 約計算資源, 需要對服務(wù)進行優(yōu)化.PS: 本地環(huán)境可以重現(xiàn)該問題.如何優(yōu)化?選擇工具Windows平臺下對應(yīng)的工具程序日志程序日志JProfiler(Java), top, netstat等VS Profiler, Perfmon, Sysinternals Suite等gdb

2、, Perf PMU, TracePointWinDbg, Perfview ETW問題分析: 本地測試得到的性能參數(shù)問題分析: PerfView采集ETW數(shù)據(jù)問題分析: XPerf查看CPU時間分布如果是Perf/brendangregg/FlameGraph問題分析: 定位問題代碼解決方案驗證方案性能調(diào)優(yōu)的挑戰(zhàn)與應(yīng)對重現(xiàn)驗證挑戰(zhàn)重現(xiàn)概率低, 依賴環(huán)境.日志分析, 耗時耗力.問題復(fù)雜, 牽涉知識點眾多.解決方案需要進行驗證.應(yīng)對監(jiān)控覆蓋足夠的廣度和深度.日志具備多個維度的關(guān)聯(lián)性.合適的工具, 如Perf, Perfview等.人的經(jīng)驗與技術(shù)積累.找出重現(xiàn)步驟, 對比測試, 有針對性 的進行監(jiān)

3、控.新的問題應(yīng)用程序開發(fā)框架 & 運行時 操作系統(tǒng)網(wǎng)絡(luò) 硬件用戶我們需要掌控全局用戶/業(yè)務(wù)微服務(wù)/系統(tǒng)應(yīng)用程序?qū)嵗A(chǔ)設(shè)施/網(wǎng)絡(luò)/硬件宏觀微觀追 蹤監(jiān) 控日 志在tutorabc, 我們在實踐自己的APM業(yè)務(wù)挑戰(zhàn)遍及全球135個國家和地區(qū)的客戶 群.遍布全球80多個國家, 100多座城 市的超過15,000名外籍顧問.每年提供超過1000萬堂在線課程.為高質(zhì)量客戶群體提供高質(zhì)量服務(wù).技術(shù)挑戰(zhàn)技術(shù)轉(zhuǎn)型, 業(yè)務(wù)解耦.多語言開發(fā), 多平臺部署.遺留系統(tǒng)眾多, 依賴關(guān)系復(fù)雜.目標(biāo): 全系統(tǒng)APM驅(qū)動APM系統(tǒng)構(gòu)成反饋機制Event Engine業(yè)務(wù)系統(tǒng)報警運維 人員通知Reactor配置管理 & 自動

4、化運維 & 虛擬化 & 資源池監(jiān)控/日志/追蹤KafkaReactor監(jiān)控墻streaming請求追蹤數(shù)據(jù)整合展示與追蹤 鏈關(guān)聯(lián)的日志, 監(jiān) 控和報警數(shù)據(jù), 以 便于問題排查.系統(tǒng)全景實時展示各 個服務(wù)節(jié)點的狀 態(tài), 以及相互依賴 關(guān)系.動態(tài)采樣根據(jù)宿主機(以及調(diào)用鏈上游 服務(wù)器)的負(fù)載調(diào) 整采樣率.監(jiān)控墻ChatOps一些建議監(jiān)控, 日志和追蹤數(shù)據(jù)要具備關(guān)聯(lián)性, 便于后續(xù)分析.盡早建立CMDB, 方便對被監(jiān)控的服務(wù)器和服務(wù)做分類, 打標(biāo)簽.重SDK, 去中心化.InfluxDB適合存儲以數(shù)字為主的記錄, 文本較多的記錄存入ES.InfluxDB需要設(shè)置Series上限, 防止服務(wù)器內(nèi)存耗盡.

5、一些建議(續(xù))Grafana報警功能使用單獨的實例來運行.Grafana數(shù)據(jù)庫Annotation表需要定期清理, 當(dāng)數(shù)據(jù)量累積到30萬以上時, 會嚴(yán)重影響頁面性能.追蹤系統(tǒng)無法跨越消息隊列, 可以在發(fā)送消息前將TraceID/SpanID信息植入 消息內(nèi).追蹤系統(tǒng)SDK一般支持跨線程追蹤, 但是對Timer線程需要清除追蹤上下文.追蹤系統(tǒng)基于采樣率模式, 所以無法指定追蹤特定事件(比如登陸失敗), 需 要調(diào)研基于事件的追蹤模式.關(guān)于APM系統(tǒng)的一些數(shù)字?jǐn)?shù)據(jù)中心3服務(wù)實例1000+每秒查詢50+每秒寫入(單節(jié)點)10,000+監(jiān)控指標(biāo)100+日志500+GB/天服務(wù)器600+iTutorGroup Open Platform租戶管理路由管理資源管理服務(wù)注冊服務(wù)發(fā)現(xiàn)健康檢查狀態(tài)同步文件存儲緩存系統(tǒng)消息隊列任務(wù)調(diào)度監(jiān)控日志追蹤開發(fā)框架VipCoderServiceNodeSDK(Java, .NET)Portal平臺管理服務(wù)治理中間件配置管理消息服務(wù)發(fā)布系統(tǒng)其他核心系統(tǒng)APM平臺運維平臺入口TGOP Portal展望改進追蹤系統(tǒng)UI, 增強與日志和監(jiān)控(報警)系統(tǒng)的集成體驗.基于追蹤系統(tǒng), 實現(xiàn)分業(yè)務(wù)場景監(jiān)控.基于大數(shù)據(jù)進行未來24小時流