微服務(wù)監(jiān)控平臺(tái)簡(jiǎn)介

1、1. 服務(wù)監(jiān)控服務(wù)監(jiān)控主要查看springboot應(yīng)用的健康狀況、JVM信息、環(huán)境熟悉配置、JMX、線(xiàn)程信息、http-traces、auditevents、Download heapdump等等在wallboard可以查看被監(jiān)控的應(yīng)用和實(shí)例數(shù)；在Applications也可以查看到被監(jiān)控的應(yīng)用和地址。1.1. 查看詳細(xì)信息選擇應(yīng)用點(diǎn)擊進(jìn)入details頁(yè)面：如點(diǎn)擊或者。然后可以查看到信息、健康狀況、進(jìn)程、垃圾收集信息、線(xiàn)程信息、內(nèi)存的堆區(qū)和非堆區(qū)下面均以publics-oauth應(yīng)用為例：1.2. 查看metrics根據(jù)類(lèi)型可以查看對(duì)應(yīng)的metrics，如：查看 http.client.re

2、quests的 post方法，且clientName是icloud-monitor-release度量，可以查看到執(zhí)行數(shù)量、總共耗費(fèi)的時(shí)間和最耗費(fèi)時(shí)間數(shù)1.3. 查看環(huán)境Environment可以查看激活的配置文件，配置文件名稱(chēng)，內(nèi)容等等：1.4. 查看日志進(jìn)入頁(yè)面可以查看到系統(tǒng)使用的日志1.5. 查看JMX1.6. 查看線(xiàn)程1.7. 查看http_trace1.8. 查看audit log1.9. 下載dump2. 鏈路監(jiān)控2.1. 簡(jiǎn)述Spring Cloud Sleuth 主要功能就是在分布式系統(tǒng)中提供追蹤解決方案，并且兼容支持了 zipkin，zipkin為分布式鏈路調(diào)用監(jiān)控系統(tǒng)，聚合

3、各業(yè)務(wù)系統(tǒng)調(diào)用延遲數(shù)據(jù)，達(dá)到鏈路調(diào)用監(jiān)控跟蹤。隨著微服務(wù)數(shù)量不斷增長(zhǎng)，它們之間的關(guān)系會(huì)越來(lái)越復(fù)雜，如果鏈路上任何一個(gè)服務(wù)出現(xiàn)問(wèn)題或者網(wǎng)絡(luò)超時(shí)，都會(huì)形成導(dǎo)致接口調(diào)用失敗，需要跟蹤一個(gè)請(qǐng)求從一個(gè)微服務(wù)到下一個(gè)微服務(wù)的傳播過(guò)程分布式服務(wù)跟蹤可以:l 提供鏈路追蹤，故障快速定位：可以通過(guò)調(diào)用鏈結(jié)合業(yè)務(wù)日志快速定位錯(cuò)誤信息l 可視化各個(gè)階段耗時(shí)，進(jìn)行性能分析l 各個(gè)調(diào)用環(huán)節(jié)的可用性、梳理服務(wù)依賴(lài)關(guān)系以及優(yōu)化l 數(shù)據(jù)分析，優(yōu)化鏈路：可以得到用戶(hù)的行為路徑，匯總分析應(yīng)用在很多業(yè)務(wù)場(chǎng)景2.2. 概念2.2.1. SpanSpan是基本工作單元，一次鏈路調(diào)用(可以是RPC，DB等沒(méi)有特定的限制)創(chuàng)建一個(gè)span

4、，通過(guò)一個(gè)64位ID標(biāo)識(shí)它， span通過(guò)還有其他的數(shù)據(jù)，例如描述信息，時(shí)間戳，key-value對(duì)的(Annotation)tag信息，parent-id等,其中parent-id ，可以表示span調(diào)用鏈路來(lái)源，通俗的理解span就是一次請(qǐng)求信息2.2.2. Trace類(lèi)似于樹(shù)結(jié)構(gòu)的Span集合，表示一條調(diào)用鏈路，存在唯一標(biāo)識(shí)2.2.3. Annotation注解,用來(lái)記錄請(qǐng)求特定事件相關(guān)信息(例如時(shí)間)，通常包含四個(gè)注解信息：l cs - Client Start,表示客戶(hù)端發(fā)起請(qǐng)求 l sr - Server Receive,表示服務(wù)端收到請(qǐng)求l ss - Server Send,表示

5、服務(wù)端完成處理，并將結(jié)果發(fā)送給客戶(hù)端l cr - Client Received,表示客戶(hù)端獲取到服務(wù)端返回信息2.3. 查看調(diào)用鏈2.3.1. 常規(guī)條件查找調(diào)用鏈例如：查看最近3小時(shí)內(nèi)，服務(wù)名是publics-oauth，跨度是post，Annotations Query是http.path=/oauth/check_token，持續(xù)時(shí)間大于300000微秒，最多顯示10條記錄，按時(shí)間最長(zhǎng)排序的 結(jié)果如下：2.3.2. 根據(jù)ID查找調(diào)用鏈如：查找traceID為63de79acce6c531e2.3.3. 根據(jù)json文件查看選擇json文件上傳2.4. 依賴(lài)分析依賴(lài)分析可以查看服務(wù)調(diào)用的依

6、賴(lài)：3. 日志監(jiān)控主要介紹如何查看日志。其他更多詳細(xì)操作請(qǐng)參考kibana操作手冊(cè)：https:/www.elastic.co/guide/cn/kibana/current/index.html3.1. 查看微服務(wù)日志3.1.1. 創(chuàng)建index patterns依次點(diǎn)擊：、. 定義index pattern根據(jù)展示的index pattern 選擇一個(gè)輸入，然后點(diǎn)擊下一步。如：輸入log4j-2019.02.27 ，下一步選擇 timestamp3.1.2. 查看日志點(diǎn)擊，便可以查看到日志信息. 篩選查看展示信息可以根據(jù)選擇的列查看：如我選擇 applicati

7、on、message、level根據(jù)時(shí)間查看：比如我查看15分鐘的日志3.2. 配置可視化指定數(shù)據(jù)來(lái)源，選擇圖形類(lèi)型，在視圖編輯器中為視圖的Y軸選擇指標(biāo)聚合，為視圖X軸選擇一個(gè)桶聚合。比如：正在索引微服務(wù)服務(wù)日志，就可以構(gòu)建一個(gè)條形圖，通過(guò)指定 timestamp 字段上的一個(gè) term 聚合，來(lái)展示日志的請(qǐng)求分布：Y軸表示來(lái)自每個(gè)時(shí)間段的應(yīng)用請(qǐng)求數(shù)量，而X軸則表示要顯示的時(shí)間。圖、線(xiàn)或區(qū)域圖的可視化都是使用 度量 指標(biāo)作為Y軸，使用 桶 作為X軸。桶類(lèi)似于SQL中的 GROUP BY 語(yǔ)句。還可以進(jìn)一步根據(jù)指定的子聚合來(lái)劃分?jǐn)?shù)據(jù)。第一個(gè)聚合決定任何子序列聚合的數(shù)據(jù)集。子聚合是有順序的，可以通

8、過(guò)拖拽聚合來(lái)改變。比如，可以在 application.keyword 字段增加一個(gè) term 子聚合到條形圖，來(lái)查看這些請(qǐng)求對(duì)應(yīng)的位置。3.3. 儀表盤(pán)點(diǎn)擊添加，把創(chuàng)建的圖添加進(jìn)來(lái)即可3.4. 監(jiān)控監(jiān)控可以查看kibana的各項(xiàng)信息，包括請(qǐng)求數(shù)、最大響應(yīng)時(shí)間、實(shí)例數(shù)和內(nèi)存使用情況。還能監(jiān)控Elasticsearch的信息4. 容器管理4.1. dashboard簡(jiǎn)介儀表板主要展示的是主機(jī)上的stacks、services、containers、images、volumes、networks等等的整體信息。點(diǎn)擊展示的面板即可進(jìn)入相應(yīng)的管理頁(yè)面。4.2. app templates簡(jiǎn)介4.3.

9、stacks statcks是docker定義的一簇服務(wù)。4.3.1. 查看點(diǎn)擊左側(cè)菜單欄stacks即可查看所有的stack點(diǎn)擊 portainer 4.3.2. 增加 點(diǎn)擊Add Task 按鈕,進(jìn)入編輯頁(yè)面：填寫(xiě)名稱(chēng) 選擇 構(gòu)建方式 部署如：4.3.3. 刪除選擇 stack remove4.4. ServicesService是docker定義的提供某種服務(wù)，可以有一個(gè)或多個(gè)容器組成。4.4.1. 查看點(diǎn)擊左側(cè)欄service，可以查看到services的名稱(chēng)，所屬stack，image，調(diào)度模式，端口，更新時(shí)間。展開(kāi)可以查看任務(wù)的詳細(xì)信息(日志，監(jiān)控，控制臺(tái)，inspect，節(jié)點(diǎn))等

10、等4.4.2. 添加點(diǎn)擊 添加按鈕 進(jìn)入添加頁(yè)面，必填：name，image，Registry，Scheduling選填：端口映射，卷，網(wǎng)絡(luò)，標(biāo)簽，等等4.4.3. 更新當(dāng)我們更新服務(wù)的時(shí)候，需要把鏡像事先拉取下來(lái)，然后 選中 服務(wù)，點(diǎn)擊4.4.4. 刪除4.5. Containers進(jìn)入容器頁(yè)面會(huì)可以看到主機(jī)上容器的相關(guān)信息比如：狀態(tài)，鏡像，ip，主機(jī)，映射端口等4.5.1. 操作按鈕Start：?jiǎn)?dòng)容器Stop：發(fā)送終止信號(hào)，再一段時(shí)候后再發(fā)送kill信號(hào)，可以做退出前工作，比如保存狀態(tài)、處理當(dāng)前請(qǐng)求等Kill：強(qiáng)行終止容器Restart：重啟容器Pause：暫停容器Resume：恢復(fù)容器

11、Remove：刪除容器4.5.2. 日志查看容器日志查看是比較重要的內(nèi)容。假如部署的微服務(wù)應(yīng)用容器出現(xiàn)問(wèn)題，這個(gè)時(shí)候查看日志就是必須的。點(diǎn)對(duì)應(yīng)容器的日志按鈕即可查看日志。比如我要查看elk容器的日志：4.5.3. 容器監(jiān)控容器監(jiān)控可以查看容器使用的內(nèi)存，cpu，網(wǎng)絡(luò)等信息。4.5.4. 容器詳情容器詳情查看 inspect也是比較重要的。可以查看容器的網(wǎng)絡(luò)，端口映射，掛載目錄，環(huán)境變量，標(biāo)簽，鏡像等等4.5.5. 容器終端容器終端主要進(jìn)入容器的linux系統(tǒng)進(jìn)行操作，比如修改時(shí)間，修改文件等等4.5.6. 容器創(chuàng)建點(diǎn)擊，進(jìn)入編輯頁(yè)面。比如創(chuàng)建一個(gè)nginx容器：訪(fǎng)問(wèn)：http:/ip:端口其他

12、高級(jí)設(shè)置：命令，卷，網(wǎng)絡(luò)，環(huán)境變量，標(biāo)簽，重啟策略，資源限制，系統(tǒng)能力根據(jù)自己需要設(shè)置4.5.7. 容器其他操作創(chuàng)建鏡像：修改重啟策略：加入網(wǎng)絡(luò)：4.6. imagesimages是創(chuàng)建容器的模板，在鏡像頁(yè)面可以管理各個(gè)主機(jī)節(jié)點(diǎn)的鏡像，包括鏡像信息，拉取鏡像，刪除鏡像，構(gòu)建鏡像，導(dǎo)入導(dǎo)出鏡像4.6.1. 鏡像信息4.6.2. 拉取鏡像填寫(xiě)鏡像名 選擇倉(cāng)庫(kù) 選擇主機(jī)節(jié)點(diǎn) 拉取4.6.3. 構(gòu)建鏡像點(diǎn)擊，進(jìn)入編輯頁(yè)面，填寫(xiě) 鏡像名 選擇 構(gòu)建方式 選擇節(jié)點(diǎn)；點(diǎn)擊，如：4.6.4. 刪除鏡像選擇鏡像 刪除即可4.7. networks 4.7.1. 查看4.7.2. 創(chuàng)建必填：名稱(chēng)、drvier類(lèi)型

13、、節(jié)點(diǎn)選填：標(biāo)簽，子網(wǎng)地址，網(wǎng)關(guān)，ip范圍，是否對(duì)外網(wǎng)限制，容器是否可以手動(dòng)加入等等如：創(chuàng)建test網(wǎng)絡(luò)4.7.3. 刪除網(wǎng)絡(luò)中刪除容器：刪除網(wǎng)絡(luò)：刪除網(wǎng)絡(luò)前確保容器已從該網(wǎng)絡(luò)中移除4.8. Volumes卷主要是管理容器中數(shù)據(jù)，在主機(jī)的/var/lib/docker/volumes/目錄下4.8.1. 查看點(diǎn)擊可以查看文件的詳細(xì)信息，如下：4.8.2. 添加點(diǎn)擊，填寫(xiě) 名稱(chēng)，選擇主機(jī)，創(chuàng)建。如：創(chuàng)建一個(gè)testvolumes4.8.3. 刪除刪除上面創(chuàng)建的卷：4.9. ConfigConfig主要用于swarm，docker API版本1.30+；config可以為springboot應(yīng)用在不同環(huán)境、不同應(yīng)用創(chuàng)建不同的配置docker service create -name -config source=dev-spring-boot,target=/application.yaml -publish published=8080,target=8080 -spring.co