演講-2-楊金全-apm 業(yè)務(wù)級運(yùn)維利器_W

1、 2015全球運(yùn)維大會APM 業(yè)務(wù)運(yùn)維利器聽云 楊金全議題 什么是業(yè)務(wù)運(yùn)維 業(yè)務(wù)運(yùn)維的價(jià)值 如何做好業(yè)務(wù)運(yùn)維 2015全 球 運(yùn) 維 大 會什么是業(yè)務(wù)運(yùn)維 2015全 球 運(yùn) 維 大 會由核心目標(biāo)說起 將交付的業(yè)務(wù)軟件和硬件基礎(chǔ)設(shè)施高效合理的整合，轉(zhuǎn)換為可持續(xù)提供高質(zhì)量服務(wù)的產(chǎn)品，同時最大限度降低服務(wù)運(yùn)行的成本，保障服務(wù)運(yùn)行的安全。 貫穿整個IT服務(wù)生命周期發(fā)布前 - 發(fā)布 運(yùn)行維護(hù) 優(yōu)化 下線 運(yùn)行維護(hù) 容量管理、業(yè)務(wù)監(jiān)控、故障管理 優(yōu)化 性能、可用性 2015全 球 運(yùn) 維 大 會運(yùn)維分類業(yè)務(wù)運(yùn)維 IT基礎(chǔ)設(shè)施運(yùn)維- 硬件監(jiān)控- 系統(tǒng)監(jiān)控(CPU、Memory、IO、TCP)-關(guān)注核心業(yè)務(wù)

2、（不只單點(diǎn)，整個業(yè)務(wù)系統(tǒng)） 服務(wù)狀態(tài)管理（數(shù)據(jù)庫、NoSQL、API）調(diào)用鏈（Business Transaction） 業(yè)務(wù)拓?fù)銴PI SLA數(shù)據(jù)（基準(zhǔn)、挖掘）- 2015全 球 運(yùn) 維 大 會業(yè)務(wù)運(yùn)維的價(jià)值 2015全 球 運(yùn) 維 大 會業(yè)務(wù)運(yùn)維數(shù)據(jù)業(yè)務(wù)指標(biāo)數(shù)據(jù) 用戶體驗(yàn)數(shù)據(jù)- DNS、網(wǎng)絡(luò)、首包、首屏- 頁面渲染、元素加載- 可用性-PV、訂單數(shù)量性 能錯 誤調(diào)用鏈業(yè)務(wù)拓?fù)浠鶞?zhǔn)數(shù)據(jù) 運(yùn)維數(shù)據(jù)工單警報(bào)故障- 2015全 球 運(yùn) 維 大 會業(yè)務(wù)運(yùn)維價(jià)值 業(yè)務(wù)可用性- 保證sla 清晰業(yè)務(wù)調(diào)用關(guān)系- 迅速定位問題 錯誤管理- 預(yù)警業(yè)務(wù)基準(zhǔn)數(shù)據(jù)- 高峰時間段數(shù)據(jù)挖掘-轉(zhuǎn)化率熱力圖 2015全 球

3、 運(yùn) 維 大 會如何做好業(yè)務(wù)運(yùn)維 2015全 球 運(yùn) 維 大 會業(yè)務(wù)監(jiān)控 Zabbix Nagios 2015全 球 運(yùn) 維 大 會應(yīng)用日志分析Cost處理各種各樣的日志格式Error-log, Slow Log, SQL Slow Log public void a()long beginTime= System.currentTimeMillis();log.debug(System.currentTimeMillis() - beginTime);無法快速串聯(lián)業(yè)務(wù)組件消耗時間額外的代碼開發(fā)量時間成本繁瑣的運(yùn)維工作 2015全 球 運(yùn) 維 大 會APMApplication Perform

4、ance Management對軟件應(yīng)用的性能和可用性進(jìn)行監(jiān)控和管理，致力于發(fā)現(xiàn)和定位性能瓶頸和故障，以保證應(yīng)用達(dá)到預(yù)期的服務(wù)水平（SLA） 2015全 球 運(yùn) 維 大 會APM助力業(yè)務(wù)運(yùn)維客服真實(shí)用戶的體驗(yàn)數(shù)字化業(yè)務(wù)1.2.3.4.最終用戶體驗(yàn)視角展現(xiàn)慢交互追蹤解決卡頓軌跡回溯解決閃退行業(yè)對比（競品分析）CD NCDN評估外網(wǎng)監(jiān)控全網(wǎng)監(jiān)控業(yè)務(wù)流量傳輸1. 應(yīng)用流程和傳輸監(jiān)測網(wǎng)絡(luò)首屏?xí)r間評估，CDN評估在造成用戶影響前報(bào)警行業(yè)對比（競品分析）業(yè)務(wù)級運(yùn)維Web2.3.4.網(wǎng)絡(luò)運(yùn)維主機(jī)虛擬網(wǎng)絡(luò)App運(yùn)維應(yīng)用實(shí)時性能監(jiān)控虛擬計(jì)算研發(fā)1.2.3.生產(chǎn)環(huán)境的性能展現(xiàn)代碼級監(jiān)控和慢應(yīng)用追蹤應(yīng)用性能的診斷，

5、追蹤和優(yōu)化依據(jù)研發(fā)DBDBAlog虛擬存儲 2015全 球 運(yùn) 維 大 會衡量指標(biāo) 交互時間（用戶感知）- 渲染時間- 首屏?xí)r間 響應(yīng)時間（獨(dú)占時間）吞吐率 rpm - requests per minute cpm- calls per minute錯誤率（可用性） 率CPU利用率內(nèi)存使用率線程數(shù)量-網(wǎng)絡(luò)層時間阻 塞 時 間 應(yīng)用層時間數(shù)據(jù)庫時間NoSQL時間API時間 2015全 球 運(yùn) 維 大 會 2015全 球 運(yùn) 維 大 會聽云App案例分析 用戶流失的定位 隨著用戶推廣訪問量增加，訪問量最大的主機(jī)出現(xiàn)性能問題，導(dǎo)致服務(wù)響應(yīng)時間也隨之出現(xiàn)明顯波動，最終導(dǎo)致用戶的大量流失。 2015全

6、 球 運(yùn) 維 大 會聽云App案例分析 未知主機(jī)錯誤 某應(yīng)用商城應(yīng)用中出現(xiàn)異常高的“未知主機(jī)”錯誤率問題。 2015全 球 運(yùn) 維 大 會聽云Server案例 Memcached性能問題分層展示應(yīng)用響應(yīng)性能： 應(yīng)用層時間： 應(yīng)用代碼排除其他服務(wù)的執(zhí)行性能 數(shù)據(jù)庫調(diào)用時間： SQL數(shù)據(jù)庫訪問性能（支持：Oracle, MySQL, SQL Server, DB2） 外部服務(wù)時間： Web Service調(diào)用性能 NoSQL響應(yīng)時間： Memcache, Redis, MongoDB等NoSQL服務(wù)的訪問性能 2015全 球 運(yùn) 維 大 會EPayEpslpay應(yīng)用中的Memcached訪問性能很

7、差（ 500ms），需要關(guān)注！聽云Server用戶案例 SQL性能分析 2015全 球 運(yùn) 維 大 會聽云Server用戶案例 SQL性能分析 2015全 球 運(yùn) 維 大 會聽云Server案例 Web應(yīng)用過程分解 2015全 球 運(yùn) 維 大 會EpayEpslpay應(yīng)用下的 /ebs/remoting/hessian/ebsPortalHessian.htm 接 口中67.43%的性能消耗在Memcached的INCR操作上，平均響應(yīng)時間500ms聽云Server案例 慢應(yīng)用過程追蹤 聽云Server可以設(shè)置慢應(yīng)用過程追蹤閾值，當(dāng)某一個應(yīng)用過程的響應(yīng)時間超過閾值時，系統(tǒng)會自動記錄詳細(xì)的性能追

8、蹤記錄 2015全 球 運(yùn) 維 大 會1月7日17:26，EPayEpslpay應(yīng)用下的 /ebs/remoting/hessian/ebsPortalHessian.htm接口的有一次響應(yīng)時間達(dá)到 了2.084秒，超過預(yù)先設(shè)定的閾值500ms，系統(tǒng)記錄了這次訪問性能追蹤數(shù)據(jù)聽云Server案例 慢應(yīng)用過程追蹤 2015全 球 運(yùn) 維 大 會性能追蹤摘要里展示本次訪問過程中各代碼模塊的耗時占比，其中可見net.spy.memcached.MemcachedClient.incr() 方 法 的調(diào)用耗時0.5秒，占比超過24%聽云Server案例 慢應(yīng)用過程追蹤 2015全 球 運(yùn) 維 大 會從追蹤詳情可查看詳細(xì)的代碼調(diào)用堆棧，通過堆棧分析，可 獲取調(diào)用這條非常慢Memcached的INCR操作的用戶代碼在 PortalHissianServiceImpl.java文件第114行的excute方法中。應(yīng)用多級拓補(bǔ) 2015全 球 運(yùn) 維 大 會APM價(jià)值CTOCIO業(yè)務(wù)產(chǎn)品研發(fā)運(yùn)維得到真實(shí)用戶的體驗(yàn) 用戶體驗(yàn)可量化 建立用戶體驗(yàn)為基準(zhǔn)的KPI體系 行業(yè)標(biāo)準(zhǔn)對比 提升客戶滿意度，降低TCO提高迭代效率生產(chǎn)環(huán)境下的代碼執(zhí)