芒果TV ELK日志系統(tǒng)實(shí)踐 -劉波濤

1、芒果TV ELK日志系統(tǒng)實(shí)踐關(guān)于我關(guān)于我劉波濤芒果TV研發(fā)工程師日志文件重要性日志文件重要性Linux哲學(xué): 萬(wàn)物皆文件運(yùn)維哲學(xué): 日志管理是保障高質(zhì)量服務(wù)的基礎(chǔ)日志架構(gòu)演變?nèi)罩炯軜?gòu)演變?nèi)罩鞠到y(tǒng)架構(gòu)日志系統(tǒng)架構(gòu)ELK系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)RsyslogNginx： 通過(guò)syslog模塊轉(zhuǎn)發(fā)應(yīng)用程序: 通過(guò)調(diào)用syslog函數(shù)寫入規(guī)范統(tǒng)一格式v8版本以上(原生支持Kafka)Rsyslog-Avoid-Block關(guān)閉HUPIsRestart配置選項(xiàng)(低版本)監(jiān)控rsyslog服務(wù),一旦crashes能夠馬上重啟傳輸方式由TCP改為UDP(惡性循環(huán))Kafka強(qiáng)大消息堆積能力日志領(lǐng)域高度成熟支持Hado

2、op數(shù)據(jù)并行加載高性能(順序?qū)憜螜C(jī)寫入TPS約在百萬(wàn)秒/s)Kafka vs RedisKafka-OptionsPartition Number(數(shù)量必須大于消費(fèi)者數(shù)量)Broker Number(配置和內(nèi)核數(shù)相同)work.threadsnum.io.threadsLogstashLogstash性能問(wèn)題,大量消耗CPU和內(nèi)存容易僵死自定義JAVA程序替代Logstash(支持kafka,syslog輸入,ES輸出)啟動(dòng)多個(gè)進(jìn)程進(jìn)行消費(fèi)配置Elasticsearch以寫為主,讀為輔助(隨機(jī)寫 磁盤瓶頸 使用SSD替代傳統(tǒng)硬盤)增加Index.refresh_interval 時(shí)間(默認(rèn)為一

3、秒),降低壓力設(shè)置filedldata: format :doc_value 避免Heap crash減少副本數(shù)量(副本數(shù)為0)合理使用TCP,UDP索引模式(我們使用Http模式)關(guān)閉系統(tǒng)swap內(nèi)核配置修改對(duì)數(shù)據(jù)聚合聚合進(jìn)行處理string2int定時(shí)刪除舊索引(保存2個(gè)星期)服務(wù)器參數(shù)調(diào)整服務(wù)器參數(shù)調(diào)整net.ipv4.tcp_fin_timeout = 30net.ipv4.tcp_keepalive_time = 1200net.ipv4.tcp_syncookies = 1net.ipv4.tcp_tw_reuse = 1net.ipv4.tcp_tw_recycle = 1net

4、.ipv4.ip_local_port_range = 1024 65000net.ipv4.tcp_max_syn_baklog = 8192net.ipv4.tcp_max_tw_bukets = 5000TCP參數(shù)調(diào)整Linux的最大文件數(shù)ulimit -SHn 65535磁盤磁盤如果util接近100%則說(shuō)明產(chǎn)生的I/O請(qǐng)求太多,I/O系統(tǒng)已經(jīng)滿負(fù)載磁盤可能存在瓶頸如果idle小于70%,I/O的壓力比較大,說(shuō)明讀取進(jìn)程中有較多的waitiostat vmstat 2 查看b堵塞進(jìn)程情況vmstat磁盤磁盤# fio -filename=/dev/sda3 -direct=1 -iod

5、epth 1 -thread -rw=randrw -ioengine=psync -bs=1k size=1G -numjobs=10 -runtime=120 -group_reporting -name=mytest檢查磁盤性能Elasticsearch自定義分詞:盡量不使用標(biāo)準(zhǔn)分詞使用ikMapping:壓縮_source(compress:true)Mapping:禁用all(include_in_all:false)ES_HEAP_SIZE: -Xms = -Xmx 不超過(guò)內(nèi)存50%index.cache.field.type = softindex.cache.field.max

6、_size:50000index.cache.field.expire:10mindex.fielddata.cache: softElasticsearch SSD優(yōu)化參數(shù)優(yōu)化參數(shù)mmap索引文件格式 (index.store.type: mmapfs)indices.store.throttle.type:noneindices.memory.index_buffer_size: 30%index.translog.flush_threshold_size:5gbindex.translog.flush_threshold_ops: 500000index.gateway.local.sync:30sindex.merge.scheduler.max_thread_count: 3index.merge.scheduler.max_merge_count: 6關(guān)閉文件系統(tǒng)ATIME（atimeoff）磁盤RAID0KibanaK3 VS K4原生 VS 自定義可視化監(jiān)控報(bào)警監(jiān)控報(bào)警Nginx 5xx/sMysql 慢日志、錯(cuò)誤日志Redis