Flume安裝和配置

1、第一章 Flume基礎(chǔ)篇一、核心概念1、 Event 數(shù)據(jù)傳輸基本單元 。 構(gòu)成 header(可選的)+ byte array(載有數(shù)據(jù))。2、 Client 將原始log包裝成events并且發(fā)送它們到一個或多個agent的實(shí)體。3、 AgentFlume流的基礎(chǔ)部分。包含Sources, Channels, Sinks和其他組件，它利用這些組件將events從一個節(jié)點(diǎn)傳輸?shù)搅硪粋€節(jié)點(diǎn)或最終目的。Flume為這些組件提供了配置、生命周期管理、監(jiān)控支持。4、Source負(fù)責(zé)接收events或通過特殊機(jī)制產(chǎn)生events，并將events批量的放到一個或多個Channels。有event驅(qū)動和

2、輪詢2種類型的Source。5、Channel位于Source和Sink之間，用于緩存進(jìn)來的events，當(dāng)Sink成功的將events發(fā)送到下一跳的channel或最終目的，events從Channel移除。持久化水平。Channels支持事務(wù)。提供較弱的順序保證?？梢院腿魏螖?shù)量的Source和Sink工作。6、Sink 責(zé)將events傳輸?shù)较乱惶蜃罱K目的，成功完成后將events從channel移除。類型：HDFS、HBase 存儲events到最終目的的終端的Sink Null Sink 自動消耗的Sink Avro 用于Agent間通信的IPC Sink必須做用于一個確切的Chan

3、nel。7、Interceptor用于Source的一組Interceptor，按照預(yù)設(shè)的順序在必要地方裝飾和過濾events。內(nèi)建的Interceptors允許增加event的headers比如：時間戳、主機(jī)名、靜態(tài)標(biāo)記等等。定制的interceptors可以通過內(nèi)省event payload（讀取原始日志），在必要的地方創(chuàng)建一個特定的headers。8、Channel Selector允許Source基于預(yù)設(shè)的標(biāo)準(zhǔn)，從所有Channel中，選擇一個或多個Channel。內(nèi)建的Channel Selectors：復(fù)制Replicating: event被復(fù)制到相關(guān)的channel復(fù)用Mult

4、iplexing: 基于hearder，event被路由到特定的channel9、Sink Processor多個Sink可以構(gòu)成一個Sink Group。一個Sink Processor負(fù)責(zé)從一個指定的Sink Group中激活一個Sink。Sink Processor可以通過組中所有Sink實(shí)現(xiàn)負(fù)載均衡；也可以在一個Sink失敗時轉(zhuǎn)移到另一個。Flume通過Sink Processor實(shí)現(xiàn)負(fù)載均衡（Load Balancing）和故障轉(zhuǎn)移（failover）。所有的Sink都是采取輪詢（polling）的方式從Channel上獲取events。這個動作是通過Sink Runner激活的。S

5、ink Processor充當(dāng)Sink的一個代理。內(nèi)建的Sink Processor：Load Balancing Sink Processor 使用RANDOM, ROUND_ROBIN或定制的選擇算法Failover Sink ProcessorDefault Sink Processor（單Sink）第二章 公司Collect項目各個組件1、 collect.flume.plugin第三章 Flume1.6.0單機(jī)版安裝與配置環(huán)境：JDK1.6及以上、Telnet工具（遠(yuǎn)程連接、明文發(fā)送）1、 解壓縮apache-flume-1.6.0-bin.tar.gztar zxvf apache

6、-flume-1.6.0-bin.tar.gz2、 在conf下新建simple.conf# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# Describe th

7、e sinka1.sinks.k1.type = logger# Use a channel which buffers events in memorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c13、$ bin/flume-ng agent -conf conf

8、 -conf-file example.conf -name a1 -Dflume.root.logger=INFO,console4、$ telnet localhost 44444第四章 Flume常見問題解決1、少zookeeper-3.4.5-cdh5.5.0-20150721.160244-261.jar包2、第五章 Flume Configuration研究1、simple.conf單個agent配置文件# example.conf: A single-node Flume configuration# Name the components on this agenta1.sou

9、rces = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# Describe the sinka1.sinks.k1.type = logger# Use a channel which buffers events in memorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000

10、a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1這種結(jié)構(gòu)定義了一個agent a1。a1有一個在端口44444監(jiān)聽數(shù)據(jù)的source，一個用來事件數(shù)據(jù)緩存在內(nèi)存的channel，和一個把事件數(shù)據(jù)輸出到控制臺的sink。這個配置文件命名了各個組成部分，然后介紹了它們的類型和配置參數(shù)。一個給定的配置文件可以定義幾個指定的agent；當(dāng)一個給定的Flume進(jìn)程工作的時候，告訴這個進(jìn)程哪個已經(jīng)命名的agent會起作用的標(biāo)記會被通過。3、 flume-site.conf