elkfilebeat搭建日志系統(tǒng)

1、elkfilebeat搭建日志系統(tǒng)Elasticsearch分布式找尋和解析引擎。擁有高可伸縮、高可靠和易管理等特點(diǎn)。基于ApacheLucene成立，能對大容量的數(shù)據(jù)進(jìn)行接近實(shí)時的儲藏、找尋和解析操作。Logstash日志收集器。收集各種數(shù)據(jù)源，并對數(shù)據(jù)進(jìn)行過濾、解析、格式化等操作，爾后儲藏到Elasticsearch。Kibana數(shù)據(jù)解析和可視化平臺。與Elasticsearch配合使用，對其中數(shù)據(jù)進(jìn)行找尋、解析、圖表顯現(xiàn)。Filebeat一個輕量級開源日志文件數(shù)據(jù)收集器，F(xiàn)ilebeat讀取文件內(nèi)容，發(fā)送到Logstash進(jìn)行解析后進(jìn)入Elasticsearch，或直接發(fā)送到Elasti

2、csearch進(jìn)行集中式儲藏和解析。架構(gòu)介紹基于ELK的使用方式，Logstash作為日志收集器，Elasticsearch進(jìn)行日志儲藏，Kibana作為日志表現(xiàn)，大體以下幾種架構(gòu)。架構(gòu)一圖中Logstash多個的原因是考慮到程序是分布式架構(gòu)的情況，每臺機(jī)器都需要部署一個Logstash，若是確實(shí)是單服務(wù)器的情況部署一個Logstash即可。前面提到Logstash會對數(shù)據(jù)進(jìn)行解析、過濾、格式化等操作，這一系列操作對服務(wù)器的CPU和內(nèi)存資源的耗資都是比較高的，所以這種架構(gòu)會影響每臺服務(wù)器的性能，所以并不介紹采用。架構(gòu)二對照于架構(gòu)一，增加了一個MQ和Logstash，Logstash的輸出和輸入

3、支持Kafka、Redis、RabbitMQ等常見信息隊(duì)列，MQ前的Logstash只作為日志收集和傳輸，其實(shí)不解析和過濾，先將日志加入隊(duì)列，由MQ后邊的Logstash連續(xù)解析和過濾，這樣就不至于每臺服務(wù)器耗資費(fèi)源都很多。架構(gòu)三這種架構(gòu)是基于架構(gòu)二簡化來的，實(shí)質(zhì)在使用過程中也是可以采用的，日志直接進(jìn)入MQ，Logstash花銷MQ數(shù)據(jù)即可。架構(gòu)四這種架構(gòu)在日志數(shù)據(jù)源和Logstash（或Elasticsearch）中增加了Beats。Beats會集了多種單一用途數(shù)據(jù)收集器，每款收集器都是以用于轉(zhuǎn)發(fā)數(shù)據(jù)的通用庫libbeat為基石，beat所占的系統(tǒng)CPU和內(nèi)存幾乎可以忽略不計(jì)，libbeat平臺還供應(yīng)了檢測體系，當(dāng)下游服務(wù)器負(fù)載高或網(wǎng)絡(luò)擁堵時，會自動降低發(fā)生速率。下面的例子我們使用Filebeat來對文件日志的收集，其他的beat可以忽略。架構(gòu)四對照于架構(gòu)二，若是將每臺服務(wù)器上部署的Logstash都換成對應(yīng)的Beats，那就是更理想的架構(gòu)了。無論怎么樣，對于日志解析和過濾的Logstash資源耗資還是比較高的，所以若是需要，可以將Logstash的部署使用分布式，Elasticsearch的部署使用集群來增強(qiáng)整個日志系統(tǒng)。部署部署從前需要安裝好JDK，Java8版本。爾后官方下