丨分布式系統(tǒng)關(guān)鍵技術(shù)全棧監(jiān)控

實(shí)和自處置基礎(chǔ)層：主機(jī)和底層資源。比如：CPU、內(nèi)存、網(wǎng)絡(luò)吞吐、硬盤I/O、硬盤使用等Tomcat應(yīng)用層：應(yīng)用層的使用。比如：HTTP的吞吐量、響應(yīng)時間、返回碼，調(diào)用鏈路1.數(shù)據(jù)是開來的。因?yàn)楣痉止さ膯栴}，開發(fā)、應(yīng)用運(yùn)維、系統(tǒng)運(yùn)維，各管各5關(guān)注于整體應(yīng)用的SLA。主要從為用戶服務(wù)的API來整個系統(tǒng)關(guān)聯(lián)指標(biāo)聚合。把有關(guān)聯(lián)的系統(tǒng)及其指標(biāo)聚合展示。主要是三層系統(tǒng)數(shù)據(jù)：基礎(chǔ)層、平臺中間件層和應(yīng)用層。其中，最重要的是把服務(wù)和相關(guān)的中間件以及主機(jī)關(guān)聯(lián)在一起，服務(wù)有可能運(yùn)行在Docer中，也有可能運(yùn)行在微上的多個JVM中，也有可能運(yùn)行在Tomcat中?？傊?，無論運(yùn)行在哪里，我們都需要把服務(wù)的具體實(shí)例和主機(jī)關(guān)聯(lián)在一起，否則，對于一個分布式系統(tǒng)來說，定位問題猶如大海撈針?？焖俟收隙ㄎ?。對于現(xiàn)有的系統(tǒng)來說，故障總是會發(fā)生的，而且還會頻繁發(fā)生。故障發(fā)生不可怕，可怕的是故障的恢復(fù)時間過長。所以，快速地定位故障就相當(dāng)關(guān)鍵?？焖俣ㄎ粏栴}需要對整個分布式系統(tǒng)做一個用戶請求的rae，我們需要到所有的請求在分布式系統(tǒng)中的調(diào)用鏈，這個事最好是做成沒有侵入性的。 容量管理“服務(wù)調(diào)用鏈。這個系統(tǒng)應(yīng)該從對外的API開始，然后將的實(shí)際服務(wù)給關(guān)聯(lián)起來，然后再進(jìn)一步將這個服務(wù)的依賴服務(wù)關(guān)聯(lián)起來，直到最后一個服務(wù)（如MySQL或Redis），這樣就可以把整個系統(tǒng)的服務(wù)全部都串連起來了。這個事情的最佳實(shí)踐是Daper系統(tǒng)，其對應(yīng)于開源的實(shí)現(xiàn)是ipin。對于Java類的服務(wù)，我們可以使用字節(jié)碼技術(shù)進(jìn)行字節(jié)碼注入，做到代碼無侵入式。如下圖所示（截圖來自我做的一個APM的系統(tǒng)）服務(wù)調(diào)用時長分布Zipkin，可以看到一個服務(wù)調(diào)用鏈上的時間分布，這樣有助于我們知道最耗時的服務(wù)是什么。下圖是Zipkin的服務(wù)調(diào)用時間分布。服務(wù)的TOPN視圖。所謂TOPN視圖就是一個系統(tǒng)請求的情況。一般來說，這個會有三種的方法：a）按調(diào)用量，b)按請求最耗時，c）按熱點(diǎn)數(shù)據(jù)庫操作關(guān)聯(lián)JavaJavaAgent拿到JDBC執(zhí)行數(shù)據(jù)庫操作的執(zhí)行時間。對此，我們可以和相關(guān)的請求對應(yīng)起來。服務(wù)資源。我們的服務(wù)可能運(yùn)行在物理機(jī)上，也可能運(yùn)行在虛擬機(jī)里，還可能運(yùn)行在一個Docker的容器里Docker容器又運(yùn)行在物理機(jī)或是虛擬機(jī)上。我們需要把服務(wù)運(yùn)行的機(jī)器節(jié)點(diǎn)上的數(shù)據(jù)（如CPU、MEM、I/O、DISK、NETWORK）關(guān)聯(lián)起來。JVM中的情況（比如GC的情況）CPUI/O服務(wù)的API。JavaGC，或是其所在的計當(dāng)發(fā)現(xiàn)一個SQL操作過慢的時候，我們能馬上知道其會影響哪個對外服務(wù)的API當(dāng)發(fā)現(xiàn)一個消息隊(duì)列擁塞的時候，我們能馬上知道其會影響哪些對外服務(wù)的API總之，我們就是想知道用戶哪些請求會出現(xiàn)問題，這對于我們了解故障的影響面非常有CPUMySQL所以，一個分布式系統(tǒng)，或是一個自動化運(yùn)維系統(tǒng)，或是一個Cloudaie的云化系統(tǒng)，最重要的事就是把系統(tǒng)做好。在把數(shù)據(jù)收集好的同時，更重要的是把數(shù)據(jù)關(guān)聯(lián)好。這樣，我們才可能很快地定位故障，進(jìn)而才能進(jìn)行自動化調(diào)度。接過多，服務(wù)不過來。另外一個原因是，Java在做FullGC導(dǎo)致處理過慢。于是，消息隊(duì)列出現(xiàn)消息堆積堵塞。這個圖只是一個示例，其形象地體現(xiàn)了在分布式系統(tǒng)中數(shù)據(jù)關(guān)聯(lián)回顧一下今天的要點(diǎn)內(nèi)容。首先，我強(qiáng)調(diào)了全棧系統(tǒng)的重要性，它就像是我們的眼睛，沒有它，我們根本就不知道系統(tǒng)到底發(fā)生了什么。隨后，從基礎(chǔ)層、中間層和應(yīng)用層三個層面，講述了全棧系統(tǒng)要哪些內(nèi)容。然后，闡釋了什么才是好的系統(tǒng)，以及如何做出好的。最后，歡迎你一下你在系統(tǒng)中的比較好的實(shí)踐和方法。 洞悉PaaS平臺的本質(zhì) 歸科技所有 不得售賣。頁面已增加防盜追蹤，將依法其上一 23|分布式系統(tǒng)的技術(shù)下一 25|分布式系統(tǒng)關(guān)鍵技術(shù)：服務(wù)調(diào)言言怪盜キッ 12曹林 pointjarjvm毛洪 6 4 2 1 永 1郎 1沒有做的可以參考做一下啦，基礎(chǔ)一般像阿里云和AWS提供商都做 好，界面強(qiáng)大，指標(biāo)多，有告警，提供非常多的插件，可以市面上大部分主 ，我在一家硅谷startup工作，感覺我們的工程師都沒有重視全棧的意識（比如到處200加errcode）。想請問您有沒有推薦的英文資料