flume介紹及常見(jiàn)問(wèn)題

日志收集之Flume賀永明博客：/rjhym微博：/4077200432012.03.08目錄Flume簡(jiǎn)介Flume工作原理以及常見(jiàn)配置Flume如何支持Reliability、Scalability、Manageability和ExtensibilityFlume運(yùn)行監(jiān)控Flume部署過(guò)程中發(fā)現(xiàn)的問(wèn)題Q&AFlume簡(jiǎn)介Flume介紹Flume的特性典型的體系結(jié)構(gòu)節(jié)點(diǎn)介紹三種可靠性級(jí)別的對(duì)比Flume性能Flume可靠性Flume介紹

Flume是Cloudera提供的一個(gè)分布式、可靠、和高可用的海量日志采集、聚合和傳輸?shù)娜罩臼占到y(tǒng)，支持在日志系統(tǒng)中定制各類(lèi)數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù);同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫(xiě)到各種數(shù)據(jù)接受方(可定制)的能力。flume的特性可靠性可伸縮性高性能可延展性可管理性開(kāi)源社區(qū)的支持典型的體系結(jié)構(gòu)Node介紹

節(jié)點(diǎn)是非常靈活的抽象體，每一個(gè)邏輯節(jié)點(diǎn)包含兩個(gè)組成部分，source和sink。source告訴邏輯節(jié)點(diǎn)從哪里收集數(shù)據(jù)，sink告訴邏輯節(jié)點(diǎn)將數(shù)據(jù)發(fā)送到何處。兩個(gè)節(jié)點(diǎn)之間唯一的不同之處在于source和sink的配置，即數(shù)據(jù)來(lái)源和目的地的不同。source和sink可以額外配置decorators用來(lái)實(shí)現(xiàn)對(duì)source到sink數(shù)據(jù)的簡(jiǎn)單處理。在先前的結(jié)構(gòu)中source和sink是運(yùn)行在同一個(gè)節(jié)點(diǎn)上的。三種可靠性方式的對(duì)比End-to-endStoreonfailureBesteffortFlume性能Flume數(shù)據(jù)準(zhǔn)確性1.日收集日志量一億條，天日志大小50-60G的情況下，日志數(shù)量誤差在100條以?xún)?nèi)。引發(fā)條件為每天零點(diǎn)日志切割與日志讀?。∣Stail）周期間誤差導(dǎo)致。2.日志全部按照用戶(hù)訪問(wèn)時(shí)間存放到對(duì)應(yīng)時(shí)間段的文件中，沒(méi)有誤差。3.節(jié)點(diǎn)崩潰重啟之后，滯后的日志會(huì)按照用戶(hù)訪問(wèn)的時(shí)間發(fā)送到對(duì)應(yīng)時(shí)間段文件。Flume工作原理以及常見(jiàn)配置Flume數(shù)據(jù)源以及輸出方式

Flume提供了從console(控制臺(tái))、RPC(Thrift-RPC)、text(文件)、tail(UNIXtail)、syslog(syslog日志系統(tǒng)，支持TCP和UDP等2種模式)，exec(命令執(zhí)行)等數(shù)據(jù)源上收集數(shù)據(jù)的能力，主要分為以下兩類(lèi)。 PushSources：外部系統(tǒng)會(huì)主動(dòng)地將數(shù)據(jù)推送到Flume中，如RPC、syslog。 PollingSources：Flume到外部系統(tǒng)中獲取數(shù)據(jù)，一般使用輪詢(xún)的方式，如text和exec。Flume數(shù)據(jù)源以及輸出方式 Flume的數(shù)據(jù)接受方，可以是console(控制臺(tái))、text(文件)、dfs(HDFS文件)、RPC(Thrift-RPC)和syslogTCP(TCPsyslog日志系統(tǒng))等。

Flume常用配置基本配置格式：node：source|sinkNode：source|decoratorssinkFlume常用配置之sourceConsoleExecTailtailDirMultitailcollectorSource……Flume常用配置之sinkagentSinkagentBESinkagentDFOChaincollectorSinksohuAgentSink……Flume常用配置之DecoratorsSplitBatchGzipformat……Flume如何支持Reliability、Scalability、Manageability和ExtensibilityReliability：Flume提供3中數(shù)據(jù)可靠性選項(xiàng)，包括End-to-end、Storeonfailure和Besteffort。其中End-to-end使用了磁盤(pán)日志和接受端Ack的方式，保證Flume接受到的數(shù)據(jù)會(huì)最終到達(dá)目的。Storeonfailure在目的不可用的時(shí)候，數(shù)據(jù)會(huì)保持在本地硬盤(pán)。和End-to-end不同的是，如果是進(jìn)程出現(xiàn)問(wèn)題，Storeonfailure可能會(huì)丟失部分?jǐn)?shù)據(jù)。Besteffort不做任何服務(wù)質(zhì)量保證。Flume如何支持Reliability、Scalability、Manageability和ExtensibilityScalability：Flume的3大組件：collector、master和storagetier都是可伸縮的。需要注意的是，F(xiàn)lume中對(duì)事件的處理不需要帶狀態(tài)，它的Scalability可以很容易實(shí)現(xiàn)。Flume如何支持Reliability、Scalability、Manageability和ExtensibilityManageability：Flume利用ZooKeeper和gossip，保證配置數(shù)據(jù)的一致性、高可用。同時(shí)，多Master，保證Master可以管理大量的節(jié)點(diǎn)。Flume如何支持Reliability、Scalability、Manageability和ExtensibilityExtensibility：基于Java，用戶(hù)可以為Flume添加各種新的功能，如通過(guò)繼承Source，用戶(hù)可以實(shí)現(xiàn)自己的數(shù)據(jù)接入方式，實(shí)現(xiàn)Sink的子類(lèi)，用戶(hù)可以將數(shù)據(jù)寫(xiě)往特定目標(biāo)，同時(shí)，通過(guò)SinkDecorator，用戶(hù)可以對(duì)數(shù)據(jù)進(jìn)行一定的預(yù)處理。Flume運(yùn)行監(jiān)控整個(gè)集群狀態(tài)：http://masterip:35871/Flume運(yùn)行監(jiān)控Node節(jié)點(diǎn)狀態(tài)：http://nodeip:port/node/reports（默認(rèn)port為35862）Flume運(yùn)行監(jiān)控Node節(jié)點(diǎn)狀態(tài)：http://nodeip:port/node/reports/logicnodename（默認(rèn)port為35862）Flume部署過(guò)程中遇到的問(wèn)題1.節(jié)點(diǎn)啟動(dòng)或配置后異常終止。（修改plugins異常）