基于es構(gòu)建實(shí)時(shí)日志檢索平臺-

1、基于es構(gòu)建實(shí)時(shí)日志檢索平臺系統(tǒng)架構(gòu)核心技術(shù)日志采集日志采集日志轉(zhuǎn)發(fā)日志轉(zhuǎn)發(fā)日志日志搜索搜索ES優(yōu)化優(yōu)化日志采集日志采集文件監(jiān)控文件監(jiān)控監(jiān)控文件的新增、刪除、修改、備份事件，及時(shí)響應(yīng)并生成采集任務(wù)有限資源的最大化利用有限資源的最大化利用：根據(jù)文件的變更頻率動(dòng)態(tài)調(diào)整采集任務(wù)的采集頻率，如：文件超過1小時(shí)未變更，則每分鐘執(zhí)行一次文件狀態(tài)監(jiān)控，文件變更頻率較高的，每秒鐘執(zhí)行一次文件狀態(tài)監(jiān)控并生成采集任務(wù)文件采集文件采集采集內(nèi)容的準(zhǔn)確性采集內(nèi)容的準(zhǔn)確性：摘要算法文件唯一標(biāo)識，在文件備份事件發(fā)生時(shí)，保證文件內(nèi)容的連續(xù)性、準(zhǔn)確性數(shù)據(jù)發(fā)送數(shù)據(jù)發(fā)送流量均衡流量均衡：通過統(tǒng)一調(diào)度中心（統(tǒng)一服務(wù)）獲取流量最小的轉(zhuǎn)

2、發(fā)中心地址，并將數(shù)據(jù)發(fā)送到該轉(zhuǎn)發(fā)中心，確保各轉(zhuǎn)發(fā)中心的流量均衡。日志轉(zhuǎn)發(fā)轉(zhuǎn)發(fā)中心：日志生產(chǎn)方與日志消費(fèi)方的橋梁四種發(fā)送策略基于日志分類的流量均衡發(fā)送基于日志分類的流量均衡發(fā)送同一段時(shí)間內(nèi)，轉(zhuǎn)發(fā)中心集群所有主機(jī)將同一種數(shù)據(jù)類型發(fā)送到接收器集群的同一個(gè)IP，比如：HDFS或JSS的接收器基于日志分類的輪詢發(fā)送基于日志分類的輪詢發(fā)送同一數(shù)據(jù)類型在同一轉(zhuǎn)發(fā)器上一段時(shí)間內(nèi)只往接收器的一個(gè)IP發(fā)送，不同轉(zhuǎn)發(fā)器可以發(fā)送到不同的IP上，比如日志查詢接收器日志轉(zhuǎn)發(fā)基于基于IP地址的輪詢發(fā)送地址的輪詢發(fā)送向接收器的所有IP輪詢發(fā)送數(shù)據(jù)，如果某IP不可用，將被剔除輪詢隊(duì)列，等到監(jiān)測OK后，又自動(dòng)添加到輪詢發(fā)送數(shù)據(jù)I

3、P隊(duì)列中，比如UMP心跳數(shù)據(jù)基于基于IP地址的并發(fā)發(fā)送地址的并發(fā)發(fā)送同一種數(shù)據(jù)并發(fā)發(fā)送到指定接收器，比如：UMP的JVM數(shù)據(jù)支持將一份數(shù)據(jù)同時(shí)轉(zhuǎn)發(fā)到多個(gè)消費(fèi)方（接收器）支持將一份數(shù)據(jù)同時(shí)轉(zhuǎn)發(fā)到多個(gè)消費(fèi)方（接收器）日志搜索應(yīng)用索引策略：減少日志創(chuàng)建索引壓力的有效手段按應(yīng)用所屬的系統(tǒng)級別定制索引策略日志搜索ES優(yōu)化內(nèi)存優(yōu)化內(nèi)存優(yōu)化有限的機(jī)器資源第一個(gè)跳出來出問題是內(nèi)存，lucene查詢與建索引的模塊jvm 分配16G內(nèi)存，經(jīng)常out of memory。優(yōu)化方向：1.lucene cache使用方式調(diào)整為filter cache2.gc 優(yōu)化ES優(yōu)化lucene merge的的困擾困擾有限的機(jī)器資

4、源第二個(gè)跳出來出問題是cpu，24 core 機(jī)器 cpu load達(dá)到200，最高500。問題根源：1.Lucene 索引同時(shí)只能由一個(gè)線程執(zhí)行寫操作2.lucene要根據(jù)條件進(jìn)行索引段合并(merge)，以提高查詢效率當(dāng)如此大的數(shù)據(jù)量一旦觸發(fā)merge滾雪球效應(yīng)的時(shí)候，可能會持續(xù)幾分鐘。導(dǎo)致后續(xù)發(fā)送過來的數(shù)據(jù)等待寫入，同時(shí)數(shù)據(jù)也會擠壓在內(nèi)存，也會導(dǎo)致內(nèi)存問題。ES優(yōu)化lucene merge的的困擾困擾優(yōu)化方向： 1.將一次長merge合并操作盡量分散在多次merge合并操作中調(diào)整lucene merge操作相關(guān)參數(shù)2.將日志量大的應(yīng)用分布到多個(gè)lucene 索引中，同時(shí)避免不同大應(yīng)用分布到相同lucene 索引上。調(diào)整參數(shù)調(diào)整參數(shù)說明說明調(diào)整前值調(diào)整前值調(diào)整后值調(diào)整后值mergeFactor當(dāng)大