ELK日志分析系統(tǒng)

./ELK日志分析系統(tǒng)ELK日志分析系統(tǒng)介紹1.1傳統(tǒng)的日志統(tǒng)計及分析方式日志主要包括系統(tǒng)日志、應用程序日志和安全日志。系統(tǒng)運維和開發(fā)人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發(fā)生的原因。經(jīng)常分析日志可以了解服務器的負荷,性能安全性,從而及時采取措施糾正錯誤。通常,日志被分散的儲存不同的設(shè)備上。如果你管理數(shù)十上百臺服務器,你還在使用依次登錄每臺機器的傳統(tǒng)方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日志管理,例如：開源的syslog,將所有服務器上的日志收集匯總。集中化管理日志后,日志的統(tǒng)計和檢索又成為一件比較麻煩的事情,一般我們使用grep、awk和wc等Linux命令能實現(xiàn)檢索和統(tǒng)計,但是對于要求更高的查詢、排序和統(tǒng)計等要求和龐大的機器數(shù)量依然使用這樣的方法難免有點力不從心。1.2ELK介紹開源實時日志分析ELK平臺能夠完美的解決我們上述的問題,ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成?！?、Elasticsearch是個開源分布式搜索引擎,它的特點有：分布式,零配置,自動發(fā)現(xiàn),索引自動分片,索引副本機制,restful風格接口,多數(shù)據(jù)源,自動搜索負載等。〔2、Logstash是一個完全開源的工具,可以對日志進行收集、過濾,并將其存儲供以后使用〔如：搜索?！?、Kibana也是一個開源和免費的可視化工具,可以為Logstash和ElasticSearch提供的日志分析友好的Web界面,可以幫助匯總、分析和搜索重要數(shù)據(jù)日志。1.2.1Elasticsearch介紹Elasticsearch是一個基于ApacheLucene<TM>的開源搜索引擎,Lucene是當前行業(yè)內(nèi)最先進、性能最好的、功能最全的搜索引擎庫。但Lucene只是一個庫。無法直接使用,必須使用Java作為開發(fā)語言并將其直接集成到應用中才可以使用,而且Lucene非常復雜,需要提前深入了解檢索的相關(guān)知識才能理解它是如何工作的。Elasticsearch也使用Java開發(fā)并使用Lucene作為其核心來實現(xiàn)所有索引和搜索的功能,但是它的目的是通過簡單的RESTfulAPI來隱藏Lucene的復雜性,從而讓全文搜索變得簡單。但Elasticsearch不僅僅值是Lucene庫和全文搜索,它還有以下用途：?分布式的實時文件存儲,每個字段都被索引并可被搜索?分布式的實時分析搜索引擎?可以擴展到上百臺服務器,處理PB級結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)1.2.2Elasticsearch基礎(chǔ)概念Elasticsearch有幾個核心概念。從一開始理解這些概念會對整個學習過程有莫大的幫助。 〔1、接近實時〔NRTElasticsearch是一個接近實時的搜索平臺。意味著檢索一個文檔直到這個文檔能夠被檢索到有一個輕短暫的延遲〔通常是1秒?！?、集群〔cluster集群就是由一個或多個節(jié)點組織在一起,它們共同持有整個的數(shù)據(jù),并一起提供索引和搜索功能。集群由一個唯一的名字標識,這個名字默認就是"elasticsearch"。這個名字很重要,因為一個節(jié)點只能通過指定某個集群的名字,來加入這個集群。在產(chǎn)品環(huán)境中顯式地設(shè)定這個名字是一個好習慣,但是使用默認值來進行測試/開發(fā)也可以?！?、節(jié)點〔node節(jié)點是值集群中的具體服務器,作為集群的一部分,它可存儲數(shù)據(jù),參與集群的索引和搜索功能。和集群類似,一個節(jié)點也是由一個名字來標識的,默認情況下,這個名字是一個隨機名字,這個名字會在服務啟動時賦予節(jié)點。這個名字對于管理者非常重要,因為在管理過程中,需要確定網(wǎng)絡中的哪些服務器對應于Elasticsearch集群中的哪些節(jié)點。節(jié)點可以通過配置集群名稱的方式來加入一個指定的集群。默認情況下,每個節(jié)點都會被安排加入到一個叫做"elasticsearch"的集群中,這意味著如果在網(wǎng)絡中啟動了若干個節(jié)點,并假定它們能夠相互發(fā)現(xiàn)彼此,那么各節(jié)點將會自動地形成并加入到一個叫做"elasticsearch"的集群中。在一個集群里,可以擁有任意多個節(jié)點。并且,如果當前網(wǎng)絡中沒有運行任何Elasticsearch節(jié)點,這時啟動一個節(jié)點,會默認創(chuàng)建并加入一個叫做"elasticsearch"的集群。〔4、索引〔index索引是指一個擁有相似特征的文檔的集合。比如說,你可以有一個客戶數(shù)據(jù)的索引,另一個產(chǎn)品目錄的索引,還有一個訂單數(shù)據(jù)的索引。每個索引均由一個名字來標識〔必須全部是小寫字母的,并且當要對對應于這個索引中的文檔進行索引、搜索、更新和刪除的時候,都要使用到這個名字。"索引"有兩個意思：A.作為動詞,索引指把一個文檔"保存"到ES中的過程,某個文檔被索引后,就可以使用ES搜索到這個文檔B.作為名詞,索引指保存文檔的地方,相當于數(shù)據(jù)庫概念中的"庫"為了方便理解,我們可以將ES中的一些概念對應到我們熟悉的關(guān)系型數(shù)據(jù)庫上：ES索引類型文檔DB庫表行在一個集群中,可以定義任意多的索引。〔5、類型〔type在一個索引中,可以定義一種或多種類型。類型是指索引的一個邏輯上的分類/分區(qū),其語義可自定義。通常情況下,會為具有一組共同字段的文檔定義一個類型。比如說,我們假設(shè)運營一個博客平臺并且將所有的數(shù)據(jù)存儲到一個索引中。在這個索引中,可以為用戶數(shù)據(jù)定義一個類型,為博客數(shù)據(jù)定義另一個類型,當然,也可以為評論數(shù)據(jù)定義另一個類型?！?、文檔〔document文檔是指可被索引的基礎(chǔ)信息單元。比如,你可以擁有某一個客戶的文檔,某一個產(chǎn)品的一個文檔,當然,也可以擁有某個訂單的一個文檔。文檔以JSON〔JavascriptObjectNotation格式來表示,而JSON是一個普遍存在的互聯(lián)網(wǎng)數(shù)據(jù)交互格式。在一個index/type里面,可以存儲任意多的文檔。注意,盡管一個文檔物理上存在于一個索引之中,但文檔必須被賦予一個索引的type。〔7、分片和復制〔shards&replicas一個索引可以存儲超出單個節(jié)點磁盤限制的大量數(shù)據(jù)。比如以下情況,一個具有10億文檔的索引占據(jù)1TB的磁盤空間,而集群中任一節(jié)點都沒有這樣大的磁盤空間；或者單個節(jié)點處理搜索請求,響應太慢。為了解決此問題,Elasticsearch提供了將索引劃分成多份的能力,這些份就叫做分片。當創(chuàng)建一個索引的時候,可以指定想要的分片的數(shù)量。每個分片本身也是一個功能完善并且獨立的"索引",這個"索引"可以被放置到集群中的任何節(jié)點上。分片之所以重要,主要有兩方面的原因：A.允許水平分割/擴展內(nèi)容容量B.允許在分片〔潛在地,位于多個節(jié)點上之上進行分布式的、并行的操作,進而提高性能/吞吐量至于一個分片怎樣分布,它的文檔怎樣聚合搜索請求,是完全由Elasticsearch管理的,用戶對此是透明的。在一個網(wǎng)絡/云的環(huán)境里,失敗隨時都可能發(fā)生,在某個分片/節(jié)點無原因就處于離線狀態(tài),或者由于任何原因消失了的情況下,Elasticsearch提供一個故障轉(zhuǎn)移機制,它允許你創(chuàng)建分片的一份或多份拷貝,這些拷貝叫做復制分片,或者直接叫復制。復制之所以重要,有兩個主要原因：A.在分片/節(jié)點失敗的情況下,提供了高可用性。因為這個原因,注意到復制分片從不與原/主要〔original/primary分片置于同一節(jié)點上是非常重要的。B.擴展你的搜索量/吞吐量,因為搜索可以在所有的復制上并行運行總之,每個索引可以被分成多個分片。一個索引也可以被復制0次〔意思是沒有復制或多次。一旦復制了,每個索引就有了主分片〔作為復制源的原來的分片和復制分片〔主分片的拷貝之別。分片和復制的數(shù)量可以在索引創(chuàng)建的時候指定。在索引創(chuàng)建之后,可以在任何時候動態(tài)地改變復制的數(shù)量,但是事后不能改變分片的數(shù)量。默認情況下,Elasticsearch中的每個索引被分片5個主分片和1個復制,這意味著,如果你的集群中至少有兩個節(jié)點,你的索引將會有5個主分片和另外5個復制分片〔1個完全拷貝,這樣的話每個索引總共就有10個分片。1.2.3Logstash介紹Logstash的主要功能是收集和過濾,類似于shell中的管道符"|"。它的工作過程是將數(shù)據(jù)進行收集,并對收集的入職根據(jù)策略進行分類和過濾,最后進行輸出.實際上,Logstash是用不同的線程來實現(xiàn)收集、過濾、輸出功能的,可運行top命令然后按下H鍵查看線程。數(shù)據(jù)在線程之間以事件的形式流傳。并且,logstash可以處理多行事件。Logstash會給事件添加一些額外信息。其中最重要的就是@timestamp,是用來標記事件的發(fā)生時間。因為這個字段涉及到Logstash的內(nèi)部流轉(zhuǎn),所以必須是一個json對象,如果自定義給一個字符串字段重命名為@timestamp的話,Logstash會直接報錯,那么就需要使用filters/date插件來管理這個特殊字段。額外信息還包括以下幾個概念：A.host標記事件發(fā)生在哪里。B.type標記事件的唯一類型。C.tags標記事件的某方面屬性。這是一個數(shù)組,一個事件可以有多個標簽。也可以自定義個事件添加字段或者從事件里刪除字段。事實上事件本身就是是一個Ruby對象。1.2.4Kibana介紹Kibana是一個開源的分析與可視化平臺,用于和Elasticsearch一起使用,可以用kibana搜索、查看、交互存放在Elasticsearch索引里的數(shù)據(jù),使用各種不同的圖表、表格、地圖等kibana能夠很輕易地展示高級數(shù)據(jù)分析與可視化。Kibana對大量數(shù)據(jù)的呈現(xiàn)非常清晰。它簡單、基于瀏覽器的接口能快速創(chuàng)建和分享實時展現(xiàn)Elasticsearch查詢變化的動態(tài)儀表盤。Kibana支持LInux、Windows等操作系統(tǒng)。版本要求：Kibana要求安裝版本要和Elasticsearch一致。Kibana版本Elasticsearch版本是否支持5.X2.X不支持5.15.0不支持5.15.1支持5.15.2支持<會有提示升級的警告>支持本次安裝部署的Kibana版本為版本,對應Elasticsearch版本為版本。ELK安裝配置2.1系統(tǒng)架構(gòu)介紹此架構(gòu)的工作流程是Logstashagent〔shipper監(jiān)控并過濾客戶端日志,將過濾后的日志內(nèi)容發(fā)給Redis〔indexer,此處的Redis既充當消息隊列的角色,由于其優(yōu)越的持久化機制也被用來做緩存,然后LogstashServer〔indexer從Redis的對應位置拿出日志數(shù)據(jù),并將其輸出到ElasticSearch中,ElasticSearch獲取到數(shù)據(jù)后開始生產(chǎn)索引,然后使用Kibana進行頁面展示。這是一個完成的日志收集、存儲、檢索流程。2.2安裝ElasticsearchOS:Centos6.5elk-node1：elk-node2：在兩臺主機上分別安裝Elasticsearch。準備工作：、關(guān)閉防火墻、Selinux#iptables-F#chkconfigiptablesoff#setenforce0#vim/etc/sysconfig/selinux改為：SELINUX=disabled、配置java環(huán)境#yuminstall-yjava#java-versionjavaversion"1.7.0_151"OpenJDKRuntimeEnvironment<rhel-.el6_9-x86_64u151-b00>OpenJDK64-BitServerVM<build24.151-b00,mixedmode>、配置主機信息node1、node2節(jié)點分別配置：其中node1是master,node2是slave#vim/etc/hosts8elk-node17elk-node22.2.1Yum方式安裝〔1、下載并安裝GPG-Key#rpm--import〔2、添加yum倉庫[elasticsearch-2.x]name=Elasticsearchrepositoryfor2.xpackagesgpgcheck=1enabled=1〔3、安裝elasticsearch#yuminstall-yelasticsearch〔4、安裝測試軟件注：提前先下載安裝epel源：,否則yum會報錯:NoPackage#yuminstall-yredis#yuminstall-ynginx〔5、部署配置#mkdir-p/data/es-dataelk-node1：#vim/etc/elasticsearch/elasticsearch.yml:nova##集群名稱:elk-node1##節(jié)點名,建議和主機一致node.master:true##指定該節(jié)點是否有資格被選舉成為masternode,默認是true,es是默認集群中的第一臺機器為master,如果這臺機掛了就會重新選舉master。node.data:false##指定該節(jié)點是否存儲索引數(shù)據(jù),默認為true。path.data:/data/es-data##數(shù)據(jù)存放路徑path.logs:/var/log/elasticsearch/##日志存放文件bootstrap.memory_lock:true##內(nèi)存鎖機制,鎖住內(nèi)存,不被使用到交換分區(qū)去##網(wǎng)絡主機訪問權(quán)限設(shè)置http.port:9200##web端口elk-node2：#vim/etc/elasticsearch/elasticsearch.yml:nova##集群名稱:elk-node2##節(jié)點名,建議和主機一致node.master:false##指定該節(jié)點是否有資格被選舉成為masternode,默認是true,默認集群中的第一臺機器為master,如果這臺機掛了就會重新選舉master。node.data:true##指定本節(jié)點為數(shù)據(jù)存儲節(jié)點path.data:/data/es-data##數(shù)據(jù)存放路徑path.logs:/var/log/elasticsearch/##日志存放文件bootstrap.memory_lock:true##內(nèi)存鎖機制,鎖住內(nèi)存,不被使用到交換分區(qū)去##網(wǎng)絡主機訪問權(quán)限設(shè)置http.port:9200##web端口discovery.zen.ping.multicast.enabled:false##多播自動發(fā)現(xiàn)禁用開關(guān),當前設(shè)置為關(guān)閉discovery.zen.ping.unicast.hosts:["8","7"]#chown-Relasticsearch.elasticsearch/data/〔6、啟動服務#/etc/init.d/elasticsearchstartStartingelasticsearch:[OK]#chkconfigelasticsearchon#/etc/init.d/elasticsearchstatuselasticsearch<pid2309>isrunning...#netstat-antplu|egrep"9200|9300"tcp00:::9200:::*LISTEN2309/javatcp00:::9300:::*LISTEN2309/java、驗證1、web瀏覽器訪問打開瀏覽器〔最好是google瀏覽器,輸入IP+端口：8:9200,查看界面顯示。驗證正確。2、通過命令的方式查看注：即可在本機查看,也可在其他主機查看。#curl-i-XGET'8:9200/_count?pretty'-d'{"query":{"match_all":{}}}'HTTP/1.1200OK##訪問成功Content-Type:application/json;charset=UTF-8Content-Length:95{"count":0,"_shards":{"total":0,"successful":0,"failed":0}}2.2.2源碼安裝、獲取源碼包,并保存在系統(tǒng)/usr/local/src中。、解壓安裝#cd/usr/local/src#mvelasticsearch-2.4.6/usr/loca/es、創(chuàng)建es用戶及數(shù)據(jù)目錄#groupaddes#useradd-geses#mkdir-r/data/es-data#chown-Res:es/data/es-data#mkdir-r/var/log/elasticsearch#chown-Res:es/var/log/elasticsearch、es配置#vim/usr/local/es/config/elasticsearch.yml注：配置參數(shù)時,需要先設(shè)置一個空格,否則啟動時會報錯。::elk-node3node.master:falsenode.data:truepath.data:/data/es-datapath.logs:/data/logs/espath.logs:/data/logs/eshttp.port:9200discovery.zen.ping.multicast.enabled:falsediscovery.zen.ping.unicast.hosts:["8","7","8"]、啟動源碼安裝的es不能使用root用戶啟動,必須使用創(chuàng)建好的普通用戶進行啟動。#su-es$/usr/local/es/bin/elasticsearch&[2017-09-2923:57:38,334][WARN][bootstrap]unabletoinstallsyscallfilter:seccompunavailable:CONFIG_SECCOMPnotcompiledintokernel,CONFIG_SECCOMPandCONFIG_SECCOMP_FILTERareneeded[2017-09-2923:57:38,346][WARN][bootstrap]UnabletolockJVMMemory:error=12,reason=Cannotallocatememory[2017-09-2923:57:38,346][WARN][bootstrap]ThiscanresultinpartoftheJVMbeingswappedout.[2017-09-2923:57:38,346][WARN][bootstrap]IncreaseRLIMIT_MEMLOCK,softlimit:65536,hardlimit:65536[2017-09-2923:57:38,346][WARN][bootstrap]Thesecanbeadjustedbymodifying/etc/security/limits.conf,forexample: #allowuser'es'mlockall essoftmemlockunlimited eshardmemlockunlimited[2017-09-2923:57:38,347][WARN][bootstrap]Ifyouareloggedininteractively,youwillhavetore-loginforthenewlimitstotakeeffect.[2017-09-2923:57:38,704][INFO][node][elk-node3]version[2.4.6],pid[3375],build[5376dca/2017-07-18T12:17:44Z][2017-09-2923:57:38,704][INFO][node][elk-node3]initializing...[2017-09-2923:57:39,167][INFO][plugins][elk-node3]modules[lang-groovy,reindex,lang-expression],plugins[],sites[][2017-09-2923:57:39,205][INFO][env][elk-node3]using[1]datapaths,mounts[[/</dev/mapper/vg_nginx-lv_root>]],netusable_space[33.2gb],nettotal_space[36.8gb],spins?[possibly],types[ext4][2017-09-2923:57:39,205][INFO][env][elk-node3]heapsize[1015.6mb],compressedordinaryobjectpointers[true][2017-09-2923:57:39,205][WARN][env][elk-node3]maxfiledescriptors[4096]forelasticsearchprocesslikelytoolow,considerincreasingtoatleast[65536][2017-09-2923:57:40,645][INFO][node][elk-node3]initialized[2017-09-2923:57:40,645][INFO][node][elk-node3]starting...[2017-09-2923:57:40,691][INFO][transport][elk-node3]publish_address{8:9300},bound_addresses{[::]:9300}[2017-09-2923:57:40,695][INFO][discovery][elk-node3]nova/DSP41KSoR2C_RdXJNPO4zg顯示以上信息表示es啟動成功。$netstat-antplu|grepjavatcp00:::9200:::*LISTEN3375/javatcp00:::9300:::*LISTEN3375/java端口已開啟。驗證：$curl-i-XGET'8:9200/_count?pretty'-d'{"query":{"match_all":{}}}'HTTP/1.1200OKContent-Type:application/json;charset=UTF-8Content-Length:98{"count":78,"_shards":{"total":21,"successful":21,"failed":0}}驗證正常。2.2.3head插件安裝、方法一：直接安裝#/usr/share/elasticsearch/bin/plugininstallmobz/elasticsearch-head安裝完成,進行驗證。打開瀏覽器,輸入8:9200/_plugin/head/,查看顯示結(jié)果。插件安裝成功。刪除插件：#/usr/share/elasticsearch/bin/pluginlistInstalledpluginsin/usr/share/elasticsearch/plugins:-head##當前已安裝插件#/usr/share/elasticsearch/bin/pluginremovehead->Removinghead...Removedhead##刪除成功注：源碼安裝的es,在安裝head插件后,重啟會報錯。報錯信息：Exceptioninthread"main"java.lang.IllegalArgumentException:Property[version]ismissingforplugin[head]解決方案：#vim/usr/local/es/plugins/head/pertiesdescription=head-Awebfrontendforanelasticsearchclusterversion=mastersite=truename=head然后進行重啟,重啟后正常。、方法二：源碼安裝head插件包百度云盤下載：,提取密碼：ifj7#cd/usr/local/src/#unzipelasticsearch-head-master.zip#cd/usr/share/elasticsearch/plugins/#mkdirhead#cdhead/#cp-r/usr/local/src/elasticsearch-head-master/*./#chown-Relasticsearch:elasticsearch/usr/share/elasticsearch/plugins#/etc/init.d/elasticsearchrestart#curl-i-XGET'8:9200/_count?pretty'-d'{"query":{"match_all":{}}}'命令測試插件安裝成功。Web界面顯示正確,說明插件安裝成功。2.2.4實例測試、插入數(shù)據(jù)實例測試打開"復合查詢",在POST選項下,任意輸入如/index-demo/test,然后在下面輸入數(shù)據(jù),查看返回結(jié)果。注：內(nèi)容之間換行的逗號不要漏掉點擊"驗證JSON"->"提交請求",提交成功后,觀察右欄里出現(xiàn)的信息：有index,type,version等信息,failed:0〔成功消息測試成功。、實例測試選擇"復合查詢"選項,選擇GET選項,在/index-demo/test/后面輸入上面POST結(jié)果中的id號,不輸入內(nèi)容,即{}括號里為空！點擊"驗證JSON"和"提交請求",觀察右欄內(nèi)顯示結(jié)果。結(jié)果中有上述插入的數(shù)據(jù),這就是elasticsearch檢索功能的具體體現(xiàn)。、實例查詢打開"基本查詢",查看下數(shù)據(jù),如下,即可查詢到〔1步驟中插入的數(shù)據(jù)。打開"數(shù)據(jù)瀏覽",也能查看到插入的數(shù)據(jù)。其中也可通過mesg和user關(guān)鍵字檢索相應數(shù)據(jù)。2.2.5kopf監(jiān)控插件、方法一#/usr/share/elasticsearch/bin/plugininstalllmenezes/elasticsearch-kopf安裝成功。、方法二：源碼安裝#wget/lmenezes/elasticsearch-kopf/archive/master.zip#unzipmaster.zip#cd/usr/share/elasticsearch/plugins/#mkdirkopf#cdkopf#cp-r/usr/local/src/elasticsearch-kopf-master/*./#chown-Relasticsearch:elasticsearch/usr/share/elasticsearch/plugins#/etc/init.d/elasticsearchrestartStoppingelasticsearch:[FAILED]Startingelasticsearch:[OK]測試驗證：2.3安裝Logstash安裝包：2.3.1下載源碼安裝包2.3.2安裝#tar-xvf2.3.3配置環(huán)境#vim/etc/profileexportPATH=$PATH:/usr/local/logstash/bin#source/etc/profile2.3.4重啟elasticsearch#/etc/init.d/elasticsearchrestart2.3.5數(shù)據(jù)測試logstash常用參數(shù)：-e:指定logstash的配置信息,可以用于快速測試;-f:指定logstash的配置文件；可以用于生產(chǎn)環(huán)境;〔1、基本輸入輸出〔數(shù)據(jù)未寫入elasticsearch中#logstash-e'input{stdin{}}output{stdout{}}'Settings:Defaultfilterworkers:1Logstashstartupcompletedhello##輸入2017-09-19T18:51:29.082Zhello##輸出world ##輸入2017-09-19T18:51:38.151Zworld ##輸出〔2、使用rubydebug詳細輸出〔數(shù)據(jù)未寫入elasticsearch中#logstash-e'input{stdin{}}output{stdout{codec=>rubydebug}}'Settings:Defaultfilterworkers:1Logstashstartupcompletedhello##輸入{ ##輸出下面信息"message"=>"hello","@version"=>"1","@timestamp"=>"2017-09-19T19:32:44.701Z","host"=>""}world ##輸入{ ##輸出線面信息"message"=>"world","@version"=>"1","@timestamp"=>"2017-09-19T19:32:55.357Z","host"=>""}、把輸入內(nèi)容輸出到elasticsearch中#logstash-e'input{stdin{}}output{elasticsearch{hosts=>["9:19200"]}}'Settings:Defaultfilterworkers:1Logstashstartupcompleted123456 ##輸入內(nèi)容novahelloworldSIGINTreceived.Shuttingdownthepipeline.{:level=>:warn}Logstashshutdowncompleted注：使用rubydebug和寫到elasticsearch中的區(qū)別：其實就在于后面標準輸出的區(qū)別,前者使用codec；后者使用elasticsearch。測試：寫到elasticsearch中內(nèi)容在logstash中查看,如下圖：注：master收集到日志后,會把一部分數(shù)據(jù)碎片到salve上〔隨機的一部分數(shù)據(jù),master和slave又都會各自做副本,并把副本放到對方機器上,這樣就保證了數(shù)據(jù)不會丟失。如下,master收集到的數(shù)據(jù)放到了自己的第3分片上,其他的放到了slave的第0,1,2,4分片上?！?、elasticsearch查看〔2、Logstash查看〔3、文本查看〔4、既寫到elasticsearch中又寫到文件中#logstash-e'input{stdin{}}output{elasticsearch{hosts=>["9:19200"]}stdout{codec=>rubydebug}}'Settings:Defaultfilterworkers:1Logstashstartupcompletedyangguoqiang##輸入 { ##輸出內(nèi)容"message"=>"yangguoqiang","@version"=>"1","@timestamp"=>"2017-09-19T21:02:36.313Z","host"=>""}nihao ##輸入{ ##輸出內(nèi)容"message"=>"nihao","@version"=>"1","@timestamp"=>"2017-09-19T21:02:39.163Z","host"=>""}Logstashshutdowncompleted注：以上文本可以長期保留、操作簡單、壓縮比大。驗證：輸出信息被記錄在文本中,可實時查詢。2.3.6logstash的配置和文件編寫參考文檔：#mkdir/etc/logstash、logstash的配置input{stdin{}}output{elasticsearch{hosts=>["9:19200"]}stdout{codec=>rubydebug}}執(zhí)行：Settings:Defaultfilterworkers:1Logstashstartupcompletedbeijing##輸入信息{ ##輸出信息"message"=>"beijing","@version"=>"1","@timestamp"=>"2017-09-20T09:00:46.581Z","host"=>""}驗證： 〔2、收集系統(tǒng)日志配置#vim/etc/logstash/log_file.confinput{file{path=>"/var/log/messages"type=>"system"start_position=>"beginning"}}output{elasticsearch{hosts=>["9:19200"]index=>"system-%{+YYYY.MM.dd}"}}驗證：、收集java日志,其中包含上面講到的系統(tǒng)日志收集#vim/etc/logstash/log_java.confinput{ ##系統(tǒng)日志輸入file{path=>"/var/log/messages"type=>"system"start_position=>"beginning"}}input{ ##es-error日志輸入file{path=>"/var/log/elasticsearch/nova.log"type=>"es-error"start_position=>"beginning"}}output{ ##輸出到es中if[type]=="system"{elasticsearch{hosts=>["9:19200"]index=>"system-%{+YYYY.MM.dd}"}}if[type]=="es-error"{ ##判斷日志type,如果符合es-error字段,則輸出到es中。elasticsearch{hosts=>["9:19200"]index=>"es-error-%{+YYYY.MM.dd}"}}}注：如果你的日志中有type字段那你就不能在conf文件中使用type驗證：案例〔3中是將每個報錯收集成一行內(nèi)容,并不是按照一個報錯、一個時間模塊方式收集的。、以事件方式收集報錯信息#vim/etc/logstash/multiline.confinput{stdin{codec=>multiline{pattern=>"^\[INFO"negate=>truewhat=>"previous"}}}output{stdout{codec=>"rubydebug"}}執(zhí)行:#logstash-fmultiline.confSettings:Defaultpipelineworkers:2Pipelinemainstarted123 ##輸入456[123{ ##輸出"@timestamp"=>"2017-09-20T14:36:59.487Z","message"=>"123\n456","@version"=>"1","tags"=>[[0]"multiline"],"host"=>""}123] ##輸入[456]{ ##輸出"@timestamp"=>"2017-09-20T14:37:36.771Z","message"=>"[123\n123]","@version"=>"1","tags"=>[[0]"multiline"],"host"=>""}Pipelinemainhasbeenshutdownstoppingpipeline{:id=>"main"}注：在沒有遇到"["的時候,系統(tǒng)不會收集,只有遇見"["的時候,才算是一個事件,才收集起來。2.4Kibana安裝配置node:elk-node22.4.1安裝kibana#cd/usr/local/src#wget#mvkibana-4.3.1-linux-x64/usr/local/kibana2.4.2配置kibana#vim/usr/local/kibana/config/kibana.ymlserver.port:5601server.host:""9:19200"kibana.index:".kibana"#/usr/local/kibana/bin/kibana&#netstat-antplu|grepnodetcp00:5601:*LISTEN8716/node驗證：打開瀏覽器,輸入：7:5601,點擊Setting進行設(shè)置。2.4.3KibanaWeb界面介紹〔1、Setting窗口點擊"Create"進行創(chuàng)建一個index或者Pattern,用于在分析時確定ES中的Index。Kibana會自動加載該Index下doc的field,并自動選擇合適的field用于圖標中的時間字段：注：這里輸入的index或Pattern項必須為之前l(fā)ogstash中配置好的index。點擊"Discover",注意右上角是查詢的時間范圍。如果沒有查找到數(shù)據(jù),那么就需要需調(diào)整這個時間范圍。選擇時間段后,就可看到ES中的數(shù)據(jù)信息。關(guān)鍵字搜索：點擊右邊的保存按鈕,保存該查詢?yōu)閘ocalhost_logs,點擊Sava保存?！?、Visualize窗口接下來去Visualize頁面,點擊新建一個柱狀圖〔VerticalBarChart,然后選擇剛剛保存的查詢localhost_logs。之后,Kibana將生成類似于下圖的柱狀圖〔只有1條日志,而且是在同一時間段的,比較丑,但足可以說明問題在左邊設(shè)置圖形的各項參數(shù),點擊ApplyChanges按鈕,右邊的圖形將被更新。同理,其他類型的圖形都可以實時更新。點擊右邊的保存,保存此圖,命名為localhost_logs_visual?！?、Dashboard窗口切換到Dashboard頁面,單擊新建按鈕,選擇剛剛保存的search_all_logs_visual圖形,面板上將展示該圖。如果有較多數(shù)據(jù),我們可以根據(jù)業(yè)務需求和關(guān)注點在Dashboard頁面添加多個圖表：柱形圖,折線圖,地圖,餅圖等等。當然,我們可以設(shè)置更新頻率,讓圖表自動更新。如果設(shè)置的時間間隔夠短,就很趨近于實時分析了。到這里,ELK平臺部署和基本的測試已完成。三ELK+Redis架構(gòu)安裝部署如果生產(chǎn)環(huán)境使用Logstashagent直接連接ELK,則會出現(xiàn)以下這個問題：一旦Elasticsearch出現(xiàn)問題,就不能進行日志采集處理了！這種情況下該怎么辦呢？解決方案：可以在Client和Elasticsearch之間添加一個中間件作為緩存,先將采集到的日志內(nèi)容寫到中間件上,然后再從中間件輸入到Elasticsearch中。這就比較完美的解決了上述的問題了。3.1Redis安裝配置3.1.1安裝依賴性#yumrepolist##獲取當前有效rpm包。#yum-yinstallgccgcc-c++makegmakecmakezlibtcl##安裝依賴性下載源碼包,安裝redis#cd/usr/local/src##進入軟件包目錄〔規(guī)范化#wget\\下載軟件包#tar-xzfredis-3.2.9.tar.gz##解壓并進入redis目錄#cdredis-3.2.9##解壓并進入redis目錄#./runtest##運行測試#makeMALLOC=libc##預編譯編譯安裝#maketest##編譯測試#cdsrc##進入src目錄安裝#makePREFIX=/usr/local/redisinstall##編譯安裝#cdutils/#.src/install_server.sh//腳本執(zhí)行后,所有選項都以默認參數(shù)為準即可Pleaseselecttheredisportforthisinstance:[6379] ##此處回車,可設(shè)置Selectingdefault:6379Pleaseselecttheredisconfigfilename[/etc/redis/6379.conf] ##此處回車,可設(shè)置Selecteddefault-/etc/redis/6379.confPleaseselecttheredislogfilename[/var/log/redis_6379.log] ##此處回車,可設(shè)置Selecteddefault-/var/log/redis_6379.logPleaseselectthedatadirectoryforthisinstance[/var/lib/redis/6379] ##此處回車,可設(shè)置Selecteddefault-/var/lib/redis/6379Pleaseselecttheredisexecutablepath[] ##默認為[],設(shè)置為/usr/local/redis/bin/redis-serverSelectedconfig:Port:6379Configfile:/etc/redis/6379.confLogfile:/var/log/redis_6379.logDatadir:/var/lib/redis/6379Executable:/usr/local/bin/redis-serverCliExecutable:/usr/local/bin/redis-cliIsthisok?ThenpressENTERtogoonorCtrl-Ctoabort.##此處回車Copied/tmp/6379.conf=>/etc/init.d/redis_6379Installingservice...Successfullyaddedtochkconfig!Successfullyaddedtorunlevels345!##運行等級為345StartingRedisserver...Installationsuccessful!3.1.3配置redis#vim/usr/local/redis/etc/6379.confport6379tcp-backlog511timeout60stcp-keepalive300daemonizeyessupervisednopidfile/var/run/redis_6379.pidloglevelnoticelogfile/var/log/redis_6379.logdatabases16save9001save30010save6010000stop-writes-on-bgsave-erroryesrdbcompressionyesrdbchecksumyesdbfilenamedump.rdbdir/var/lib/redis/6379repl-diskless-syncnorepl-diskless-sync-delay5repl-timeout60repl-disable-tcp-nodelaynorequirepassmimamaxclients10000maxmemory256mmaxmemory-policyvolatile-ttlmaxmemory-samples5appendonlynoappendfilename"appendonly.aof"appendfsyncalwaysno-appendfsync-on-rewritenoauto-aof-rewrite-percentage100auto-aof-rewrite-min-size64mbaof-load-truncatedyeslua-time-limit5000slowlog-log-slower-than10000slowlog-max-len128latency-monitor-threshold0notify-keyspace-events""hash-max-ziplist-entries128hash-max-ziplist-value1024list-max-ziplist-size-2list-compress-depth0set-max-intset-entries512zset-max-ziplist-entries128zset-max-ziplist-value64hll-sparse-max-bytes3000activerehashingyesclient-output-buffer-limitnormal000client-output-buffer-limitpubsub32mb8mb60hz10aof-rewrite-incremental-fsyncyes3.1.4設(shè)置守護進程/etc/init.d/redis#chmod755/etc/init.d/redis#vim/etc/init. d/redis#!/bin/sh#SimpleRedisinit.dscriptconceivedtoworkonLinuxsystems#asitdoesuseofthe/procfilesystem.#chkconfig:-5874#description:Redis_6379isapersistentkey-valuedatabaseREDISPORT=6379EXEC=/usr/local/redis/bin/redis-serverCLIEXEC=/usr/local/redis/bin/redis-cliPIDFILE=/var/run/redis_${REDISPORT}.pidCONF="/etc/redis/${REDISPORT}.conf"case"$1"instart>if[-f$PIDFILE]thenecho"$PIDFILEexists,processisalreadyrunningorcrashed"elseecho"StartingRedisserver..."$EXEC$CONFfiecho"Redisstart";;stop>if[!-f$PIDFILE]thenecho"$PIDFILEdoesnotexist,processisnotrunning"elsePID=$<cat$PIDFILE>echo"Stopping..."$CLIEXEC-a"mima"-p$REDISPORTshutdownwhile[-x/proc/${PID}]doecho"WaitingforRedistoshutdown..."sleep1doneecho"Redisstopped"fi;;status>PID=$<cat$PIDFILE>if[!-x/proc/${PID}]thenecho'Redisisnotrunning'elseecho"Redisisrunning<$PID>"fi;;restart>$0stop$0start;;*>echo"Pleaseusestartorstopasfirstargument";;esac#chkconfig--addredis #添加系統(tǒng)服務#chkconfigredison #設(shè)置開機自啟#serviceredisstart##服務啟動#serviceredisstatus##查看服務狀態(tài)#serviceredisstop##服務關(guān)閉#serviceredisrestart##服務重啟3.1.5測試redis#redis-cli-h7-p63797:6379>ping<error>NOAUTHAuthenticationrequired. ##認證失敗,即未進行密碼認證,7:6379>auth"mima"##redis的認證方式是auth"密碼",其中密碼是/etc/redis/6379.conf文件中的"requirepass"參數(shù)中OK7:6379>pingPONG7:6379>quit3.2ELK+redis連接配置3.2.1輸出信息到屏幕#vim/etc/logstash/log_redis.conf##logstash+redis配置input{stdin{}}output{stdout{codec=>rubydebug} ##設(shè)置輸出方式,此方式為文本輸出redis{type=>"redis-log"host=>"7" ##主機password=>"mima" ##認證密碼port=>"6379" ##端口db=>"6" ##選擇數(shù)據(jù)庫目錄,自動創(chuàng)建data_type=>"list" ##數(shù)據(jù)類型key=>"demo" ##鍵值對}}#logstashagent-flog_redis.conf--verbosestartingagent{:level=>:info}startingpipeline{:id=>"main",:level=>:info}Settings:Defaultpipelineworkers:2Startingpipeline{:id=>"main",:pipeline_workers=>2,:batch_size=>125,:batch_delay=>5,:max_inflight=>250,:level=>:info}Pipelinemainstartednihao ##輸入內(nèi)容{ ##輸出內(nèi)容"message"=>"nihao","@version"=>"1","@timestamp"=>"2017-09-22T11:31:30.082Z","host"=>"elk-node2"}Inputpluginsstopped!Willshutdownfilter/outputworkers.{:level=>:info}Pipelinemainhasbeenshutdownstoppingpipeline{:id=>"main"}Closinginputs{:level=>:info}Closedinputs{:level=>:info}驗證：#redis-cli-h7-p6379##登陸redis數(shù)據(jù)庫7:6379>auth"mima"##密碼驗證,如果此處沒有進行密碼驗證,則會報出錯誤,錯誤信息如下："NOAUTHAuthenticationrequired."OK7:6379>info##查看redis信息查看#Server##redis版本信息redis_git_sha1:00000000redis_git_dirty:0redis_build_id:2fd0f0229ac00f27redis_mode:standaloneos:Linux2.6.32-696.10.2.el6.x86_64x86_64arch_bits:64multiplexing_api:epoll##gcc版本信息process_id:24757 ##當前Redis服務器進程idrun_id:3563e3ab4f6739fde5a523a668bca974b202706etcp_port:6379uptime_in_seconds:357768##運行時長〔秒uptime_in_days:4 ##運行時長〔天hz:10lru_clock:13265422executable:/usr/local/redis/bin/redis-serverconfig_file:/etc/redis/6379.conf#Clientsconnected_clients:1##客戶端連接數(shù)client_longest_output_list:0client_biggest_input_buf:0blocked_clients:0#Memoryused_memory:1001568##Redis分配的內(nèi)存總量used_memory_human:978.09Kused_memory_rss:3497984 ##Redis分配的內(nèi)存總量<包括內(nèi)存碎片>used_memory_rss_human:3.34Mused_memory_peak:2425176used_memory_peak_human:2.31M###Redis所用內(nèi)存的高峰值total_system_memory:4010504192total_system_memory_human:3.74G##系統(tǒng)內(nèi)存總量used_memory_lua:49152used_memory_lua_human:48.00Kmaxmemory:256000000maxmemory_human:244.14Mmaxmemory_policy:volatile-ttlmem_fragmentation_ratio:3.49mem_allocator:libc#Persistenceloading:0rdb_changes_since_last_save:2rdb_bgsave_in_progress:0rdb_last_save_time:1506436853rdb_last_bgsave_status:okrdb_last_bgsave_time_sec:0rdb_current_bgsave_time_sec:-1aof_enabled:0##redis是否開啟了aofaof_rewrite_in_progress:0aof_rewrite_scheduled:0aof_last_rewrite_time_sec:-1aof_current_rewrite_time_sec:-1aof_last_bgrewrite_status:okaof_last_write_status:ok#Statstotal_connections_received:346605##運行以來連接過的客戶端的總數(shù)量total_commands_processed:4084150##運行以來執(zhí)行過的命令的總數(shù)量instantaneous_ops_per_sec:0total_net_input_bytes:197967251total_net_output_bytes:78672012instantaneous_input_kbps:0.00instantaneous_output_kbps:0.00rejected_connections:0sync_full:0sync_partial_ok:0sync_partial_err:0expired_keys:0evicted_keys:0keyspace_hits:346624keyspace_misses:898947pubsub_channels:0pubsub_patterns:0latest_fork_usec:195migrate_cached_sockets:0#Replicationrole:master##當前實例的角色master還是slaveconnected_slaves:0##當前連接slave數(shù)量master_repl_offset:0repl_backlog_active:0repl_backlog_size:1048576repl_backlog_first_byte_offset:0repl_backlog_histlen:0#CPUused_cpu_sys:289.65##CPU 系統(tǒng)使用量used_cpu_user:4.06 ##CPU用戶使用量used_cpu_sys_children:0.01 ##CPU系統(tǒng)子進程使用量used_cpu_user_children:0.00 ##CPU用戶子進程使用量#Clustercluster_enabled:0 ##集群模式啟動#Keyspacedb0:keys=1,expires=0,avg_ttl=0##各個數(shù)據(jù)庫的key的數(shù)量,以及帶有生存期的key的數(shù)量db1:keys=1,expires=0,avg_ttl=0db6:keys=1,expires=0,avg_ttl=07:6379[1]>select6##選擇db6庫目錄OK7:6379[6]>keys* ##查看當前庫目錄下的所有key值1>"demo" ##當前庫目錄下只有"demo"一個key值7:6379[6]>LINDEXdemo1##查看"demo"key的第二個value"{\"message\":\"2\",\"@version\":\"1\",\"@timestamp\":\"2017-09-26T15:57:10.167Z\",\"host\":\"elk-node2\"}"7:6379[6]>LINDEXdemo-1##查看"demo"key的最后一個value"{\"message\":\"8\",\"@version\":\"1\",\"@timestamp\":\"2017-09-26T15:57:13.467Z\",\"host\":\"elk-node2\"}"以上實驗證明輸入信息可以正常輸出到redis數(shù)據(jù)庫對應庫中,并以key：value簡直對的形式存儲。3.2.2輸出信息到Elasticsearch#vim/etc/logstash/log_es_redis.confinput{redis{host=>"7"password=>"mima"##redis認證密碼port=>"6379" ##redis端口db=>"6" ##此處的db庫名應與此前寫入redis數(shù)據(jù)庫的庫名一致。data_type=>