APM業(yè)務(wù)保障分析報(bào)告

1、1APM業(yè)務(wù)保障分析報(bào)告部署說(shuō)明監(jiān)控點(diǎn)選取2范圍：亦莊中心節(jié)點(diǎn)：12345鏡像匯聚設(shè)備1互聯(lián)網(wǎng)接入2外聯(lián)接入3負(fù)載均衡4業(yè)務(wù)虛擬機(jī)5數(shù)據(jù)庫(kù)主機(jī)部署說(shuō)明系統(tǒng)架構(gòu)3TAP數(shù)據(jù)業(yè)務(wù)區(qū)數(shù)據(jù)庫(kù)區(qū) SmartProbeBPCNPM核心交換區(qū)廣域網(wǎng)接入?yún)^(qū)安全接入?yún)^(qū)鏡像數(shù)據(jù)分析數(shù)據(jù)控制網(wǎng)絡(luò)線路主干系統(tǒng)說(shuō)明4第二階段工作目標(biāo)針對(duì)丟包問(wèn)題，根據(jù)各地市局端環(huán)境確定是否需要進(jìn)一步的定位分析；配置終端緩存不足的周報(bào)，以便進(jìn)行主動(dòng)運(yùn)維分析；通過(guò)應(yīng)用開(kāi)發(fā)組支持，根據(jù)應(yīng)用協(xié)議規(guī)范完成業(yè)務(wù)追蹤的配置，進(jìn)一步分析和定位應(yīng)用組件偶發(fā)高延時(shí)的業(yè)務(wù)條目與子模塊。5告警參數(shù)設(shè)置經(jīng)過(guò)觀察，主干系統(tǒng)多個(gè)業(yè)務(wù)模塊實(shí)際耗時(shí)為秒級(jí)耗時(shí)，因此各個(gè)組

2、件的耗時(shí)是要大于常規(guī)的應(yīng)用響應(yīng)時(shí)間，后續(xù)各個(gè)業(yè)務(wù)組件的告警參數(shù)需要通過(guò)模擬告警進(jìn)行精細(xì)設(shè)置NPM告警參數(shù)IHS響應(yīng)時(shí)間高于300msAPP-VM響應(yīng)時(shí)間高于200ms生產(chǎn)庫(kù)響應(yīng)時(shí)間高于200msBPC告警參數(shù)APP-VM響應(yīng)時(shí)間高于500ms生產(chǎn)庫(kù)響應(yīng)時(shí)間高于200ms6業(yè)務(wù)視圖主干系統(tǒng)業(yè)務(wù)監(jiān)控視圖：接入?yún)^(qū)、設(shè)備區(qū)、應(yīng)用區(qū)、數(shù)據(jù)區(qū)；7第二階段分析說(shuō)明8分析時(shí)間段：網(wǎng)絡(luò)性能分析：2016.5.30-2016.6.7業(yè)務(wù)追蹤分析：2016.6.7 早上8:00-2016.6.8:下午17:00分析目標(biāo)：主干系統(tǒng)網(wǎng)絡(luò)性能分析主干系統(tǒng)應(yīng)用組件高延時(shí)的業(yè)務(wù)條目與子模塊分析內(nèi)容：用戶體驗(yàn)：慢2s以上；卡5

3、00ms以上；頓：500ms800ms；業(yè)務(wù)延時(shí)：系統(tǒng)交互各組件節(jié)點(diǎn)所耗時(shí)間；業(yè)務(wù)追蹤：應(yīng)用系統(tǒng)業(yè)務(wù)條目跟蹤。分析范圍：亦莊數(shù)據(jù)中心主干系統(tǒng)：系統(tǒng)各組件節(jié)點(diǎn)分析結(jié)論與建議外聯(lián)單位方向丟包（第一階段分析）運(yùn)營(yíng)商鏈路或局端設(shè)備丟包問(wèn)題，如需進(jìn)一步定位，需要在分局部署的分析系統(tǒng)。從一周的統(tǒng)計(jì)來(lái)看終端機(jī)性能不足僅僅是集中在部分終端：主要終端：（北京）10.11.4.58、 10.11.4.57、（天津）10.12.7.67、（石家莊）10.13.72.79、10.13.56.128、10.13.88.21、（總局）10.10.225.145主干系統(tǒng)IHS、應(yīng)用組件多發(fā)數(shù)處理時(shí)間過(guò)長(zhǎng)，非單一應(yīng)用組件性能

4、影響，而是整個(gè)集群和業(yè)務(wù)邏輯的性能問(wèn)題：分析1:應(yīng)用單次業(yè)務(wù)條目處理耗時(shí)較長(zhǎng)，處理環(huán)節(jié)復(fù)雜，關(guān)聯(lián)較多次的數(shù)據(jù)庫(kù)查詢、插入、刪除等操作；分析2:應(yīng)用單次業(yè)務(wù)傳輸數(shù)據(jù)量過(guò)大；數(shù)據(jù)庫(kù)查詢類、插入類操作處理時(shí)間過(guò)長(zhǎng)數(shù)據(jù)庫(kù)語(yǔ)句操作時(shí)，高延遲，數(shù)據(jù)庫(kù)團(tuán)隊(duì)已確認(rèn)該現(xiàn)象，并提交上級(jí)，建議優(yōu)化語(yǔ)句。一次數(shù)據(jù)庫(kù)語(yǔ)句操作時(shí)，關(guān)聯(lián)多次交換庫(kù)語(yǔ)句操作；9分析過(guò)程Crossflow10客戶端性能不足分析1112客戶端零窗口統(tǒng)計(jì)北京局主要客戶端：10.11.4.58、 10.11.4.5713客戶端零窗口統(tǒng)計(jì)天津局主要客戶端：10.12.7.6714客戶端零窗口統(tǒng)計(jì)石家莊局主要客戶端：10.13.72.79、10.13.5

5、6.128、10.13.88.2115客戶端零窗口統(tǒng)計(jì)總局主要客戶端：10.10.225.145外聯(lián)單位終端機(jī)性能分析16配置完成客戶端訪問(wèn)性能日?qǐng)?bào)，測(cè)試期間可以針對(duì)總局、北京、天津、石家莊分局進(jìn)行零窗口IP會(huì)話統(tǒng)計(jì)：分局零窗口匯總總局IP會(huì)話零窗口北京IP會(huì)話零窗口天津IP會(huì)話零窗口業(yè)務(wù)追蹤性能分析1718問(wèn)題組件問(wèn)題組件問(wèn)題組件問(wèn)題組件問(wèn)題組件非單一組件性能問(wèn)題主干系統(tǒng)應(yīng)用區(qū)問(wèn)題的節(jié)點(diǎn)主要集中在應(yīng)用（APP-VM ），IHS多為關(guān)聯(lián)影響應(yīng)用（APP-VM）響應(yīng)高延遲分布在多個(gè)應(yīng)用組件，非單一、固定應(yīng)用組件應(yīng)用19操作類型響應(yīng)時(shí)間統(tǒng)計(jì)在APP-VM應(yīng)用組件上較多的業(yè)務(wù)操作響應(yīng)時(shí)間均較長(zhǎng)，基本

6、在4-9s，成功率為100%查詢檢索類、報(bào)單審批類、獲取數(shù)據(jù)類操作為主要的高延時(shí)操作類型響應(yīng)時(shí)間業(yè)務(wù)操作操作類型響應(yīng)時(shí)間ToP2020操作類型交易量響應(yīng)時(shí)間 ms響應(yīng)率 %描述cancelCount19174.383100每日進(jìn)賬單 作廢票據(jù)詳情findGoodsItemsByGoodsNo38606.52466.67根據(jù)報(bào)檢號(hào)與貨物序號(hào)獲得檢測(cè)項(xiàng)目結(jié)果getCiqUserCode18364.627100recalculateConclusion47856.98575重算機(jī)審queryContByDeclNo17349.561100通過(guò)報(bào)檢號(hào)查詢對(duì)應(yīng)的集裝箱信息getDirectOutPack

7、DeclVo17204.487100查詢直屬局及其下屬分支局信息updateProAndStatus17172.109100施檢結(jié)束調(diào)初始化簽證接口，如果所需證單中只有通關(guān)單，則報(bào)檢單狀態(tài)直接修改為待歸檔findInsResultGoodsVOByDeclNo17077.729100查詢 貨物結(jié)果信息acceptThrough1506418.7658審單受理-報(bào)檢受理-審單通過(guò)loadAll35944.087100查詢臺(tái)賬信息選取一日的業(yè)務(wù)操作響應(yīng)時(shí)間的平均值21操作類型交易量響應(yīng)時(shí)間 ms響應(yīng)率 %描述reloadDclData165771.28462.5重取報(bào)檢數(shù)據(jù)buildTestIte

8、mVos225755.29363.64送檢方法調(diào)用構(gòu)造數(shù)據(jù)，包含其他項(xiàng)目getResponses15437.833100獲得查詢結(jié)果和回執(zhí)信息getInvoiceVos65297.55450查詢票據(jù)管理getDeclResult1185107.2690.68獲取結(jié)果登記信息anewCharging2154881.69478.6計(jì)費(fèi)-檢驗(yàn)檢疫計(jì)費(fèi)getInsMonItemParamEntitys14861.322100根據(jù)檢測(cè)項(xiàng)目主鍵查詢檢測(cè)項(xiàng)目參數(shù)列表submitDisRegResult84678.874100取得管理表主檢的數(shù)據(jù)findRoles44647.173100獲取角色getOldP

9、rintRecord24611.386100取得歷史打印記錄操作類型響應(yīng)時(shí)間ToP20（續(xù)）選取一日的業(yè)務(wù)操作響應(yīng)時(shí)間的平均值場(chǎng)景1業(yè)務(wù)操作耗時(shí)較多，單次業(yè)務(wù)操作關(guān)聯(lián)較多的數(shù)據(jù)庫(kù)操作22232016.6.8早上9點(diǎn)37出現(xiàn)告警，NPM快速定位應(yīng)用區(qū)HIS、APP-VM：分析案例HIS、應(yīng)用高延時(shí)IHS網(wǎng)絡(luò)分析2424響應(yīng)時(shí)間保持在200ms左右告警時(shí)間IHS服務(wù)器發(fā)生重傳早上業(yè)務(wù)辦理高峰期主要的業(yè)務(wù)耗時(shí)在應(yīng)用響應(yīng)上，平均的網(wǎng)絡(luò)響應(yīng)時(shí)間在200ms左右，網(wǎng)絡(luò)時(shí)延在10ms左右告警發(fā)生時(shí)間，IHS服務(wù)器響應(yīng)時(shí)間均值為453.56ms25有較多耗時(shí)100s以上的數(shù)據(jù)交互和傳輸：26APP-VM網(wǎng)絡(luò)分

10、析告警時(shí)間應(yīng)用沒(méi)有零窗口和重傳應(yīng)用響應(yīng)時(shí)間在100ms左右，告警時(shí)間響應(yīng)時(shí)間為253.92ms2627有較多耗時(shí)50s以上的數(shù)據(jù)交互和傳輸：業(yè)務(wù)追蹤分析28業(yè)務(wù)性能追蹤快速定位APP-VM 業(yè)務(wù)組件告警發(fā)現(xiàn)（10.91.63.63）和應(yīng)用組件（10.91.63.19、 10.91.63.62）；10.91.63.64和應(yīng)用組件（10.91.63.16、 10.91.63.18、 10.91.63.61）均出現(xiàn)高延遲響應(yīng)的情況初步排查單個(gè)服務(wù)器節(jié)點(diǎn)或者服務(wù)通信對(duì)性能問(wèn)題的情況，進(jìn)行業(yè)務(wù)追蹤問(wèn)題組件問(wèn)題組件問(wèn)題組件問(wèn)題組件問(wèn)題組件29業(yè)務(wù)量無(wú)突發(fā)增長(zhǎng)，響應(yīng)時(shí)間有增加30多個(gè)業(yè)務(wù)操作響應(yīng)時(shí)間在分鐘級(jí)

11、別，而業(yè)務(wù)成功率為100%業(yè)務(wù)條目追蹤選擇業(yè)務(wù)操作進(jìn)行追蹤分析31isAccept業(yè)務(wù)為業(yè)務(wù)審批的確認(rèn)字段經(jīng)過(guò)多段關(guān)聯(lián)的追蹤分析可以看到主要的業(yè)務(wù)耗時(shí)在APP-VM 的業(yè)務(wù)操作（APP-VM耗時(shí)6191.892ms，數(shù)據(jù)庫(kù)操作耗時(shí)502.505ms，總耗時(shí)6694.387ms）isAccept應(yīng)用操作為主要耗時(shí)32單次的isAccept業(yè)務(wù)字段操作涉及了多次數(shù)據(jù)庫(kù)（生產(chǎn)庫(kù)、交換庫(kù)）操作單次數(shù)據(jù)庫(kù)操作耗時(shí)較少，多為ms級(jí)別單次isAccept請(qǐng)求和響應(yīng)報(bào)文較小APP-VM生產(chǎn)庫(kù)、交換庫(kù)單次業(yè)務(wù)關(guān)聯(lián)多次數(shù)據(jù)庫(kù)操作33findnoteinfobybus字段為業(yè)務(wù)號(hào)查詢票據(jù)信息，業(yè)務(wù)耗時(shí)在APP-VM

12、的響應(yīng)等待（APP-VM耗時(shí)4313.219ms，數(shù)據(jù)庫(kù)操作耗時(shí)793.859ms，總耗時(shí)5107.078ms）單次的findnoteinfobybus查詢操作涉及了多次數(shù)據(jù)庫(kù)操作，每次數(shù)據(jù)庫(kù)操作耗時(shí)較少，多為ms級(jí)別findnoteinfobybus應(yīng)用操作為主要耗時(shí)34單次業(yè)務(wù)關(guān)聯(lián)多次數(shù)據(jù)庫(kù)操作單次的findnoteinfobybus業(yè)務(wù)字段操作涉及了多次數(shù)據(jù)庫(kù)（生產(chǎn)庫(kù)、交換庫(kù)）操作單次數(shù)據(jù)庫(kù)操作耗時(shí)較少，多為ms級(jí)別單次findnoteinfobybus請(qǐng)求和響應(yīng)報(bào)文較小APP-VM生產(chǎn)庫(kù)、交換庫(kù)場(chǎng)景2單次數(shù)據(jù)庫(kù)操作耗時(shí)較長(zhǎng)3536查看自6月7日13點(diǎn)6月8日17點(diǎn)，統(tǒng)計(jì)數(shù)據(jù)庫(kù)語(yǔ)句的響應(yīng)

13、時(shí)間，可以看到單次數(shù)據(jù)庫(kù)語(yǔ)句操作（查詢、插入、刪除）多發(fā)秒級(jí)響應(yīng)時(shí)間，數(shù)據(jù)分析時(shí)間最高達(dá)到5.6s：響應(yīng)時(shí)間數(shù)據(jù)庫(kù)語(yǔ)句單次數(shù)據(jù)庫(kù)操作耗時(shí)較長(zhǎng)37單次數(shù)據(jù)庫(kù)操作主要耗時(shí)在生產(chǎn)庫(kù)處理（生產(chǎn)庫(kù)耗時(shí)5699.372ms，交換庫(kù)總耗時(shí)0.817ms，總耗時(shí)5700.189ms）數(shù)據(jù)庫(kù)語(yǔ)句為主要耗時(shí)38生產(chǎn)庫(kù)交換庫(kù)單次的生存庫(kù)操作涉及了多次交換庫(kù)操作，每次交換庫(kù)操作耗時(shí)較少，多為ms級(jí)別單次生存庫(kù)操作請(qǐng)求和響應(yīng)報(bào)文內(nèi)容較少單次數(shù)據(jù)操作關(guān)聯(lián)多次數(shù)據(jù)庫(kù)操作場(chǎng)景3單次業(yè)務(wù)操作數(shù)據(jù)報(bào)文內(nèi)容較大39acceptThrough完整業(yè)務(wù)關(guān)聯(lián)追蹤40外聯(lián)單位安全設(shè)備:0.465ms、安全設(shè)備負(fù)載均衡:0.339ms負(fù)載均

14、衡IHS:27.420ms、HISApp-VM:7498.720ms41請(qǐng)求報(bào)文響應(yīng)報(bào)文 查看報(bào)檢審批通過(guò)（acceptThrough）操作請(qǐng)求，發(fā)現(xiàn)APP組件服務(wù)器端響應(yīng)的報(bào)文非常大。有的請(qǐng)求的報(bào)文甚至達(dá)到了237頁(yè)（word 小五號(hào)字為單位）。報(bào)文詳情42對(duì)應(yīng)時(shí)段數(shù)據(jù)庫(kù)連接數(shù)不足40生產(chǎn)庫(kù)連接較少43數(shù)據(jù)庫(kù)業(yè)務(wù)耗時(shí)占比較少結(jié)論與建議外聯(lián)單位方向丟包（第一階段分析）運(yùn)營(yíng)商鏈路或局端設(shè)備丟包問(wèn)題，如需進(jìn)一步定位，需要在分局部署的分析系統(tǒng)。從一周的統(tǒng)計(jì)來(lái)看終端機(jī)性能不足僅僅是集中在部分終端：主要終端：（北京）10.11.4.58、 10.11.4.57、（天津）10.12.7.67、（石家莊）10.13.72.79、10.13.56.128、10.13.88.21、（總局）10.10.225.145主干系統(tǒng)IHS、應(yīng)用組件多發(fā)數(shù)處理時(shí)間過(guò)長(zhǎng)，非單一應(yīng)用組件性能影響，而是整個(gè)集群和業(yè)務(wù)邏輯的性能問(wèn)題：分析1:應(yīng)用單次業(yè)務(wù)條目處理耗時(shí)較長(zhǎng)，處理環(huán)節(jié)復(fù)雜，關(guān)聯(lián)較多次的數(shù)