hadoop應(yīng)用12.第周關(guān)于flume

1、關(guān)于Flume課程內(nèi)容Flume簡(jiǎn)介Flume示例Flume配置Flume實(shí)戰(zhàn)2/51什么是Flume3/51什么是FlumeFlume是一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)Flume支持在日志系統(tǒng)中定制各類(lèi)數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫(xiě)到各種數(shù)據(jù)接受方（可定制）的能力。4/51Flume原理5/51Flume原理6/51Flume原理Flume的數(shù)據(jù)流由事件(Event)貫穿始終。Event是Flume的基本數(shù)據(jù)單位，它攜帶日志數(shù)據(jù)(字節(jié)數(shù)組形式)并且攜帶有頭信息，Event由Agent的Source生成，當(dāng)Source捕獲事

2、件后會(huì)進(jìn)行特定的格式化，然后Source會(huì)把事件推入(單個(gè)或多個(gè))Channel中。Channel可以看作是一個(gè)緩沖區(qū)，它將保存Event直到Sink處理完該Event。Sink負(fù)責(zé)持久化日志或者把Event推向另一個(gè)Source。7/51Flume AgentAgent由Source、Channel和Sink組成。Flume內(nèi)部有一個(gè)或者多個(gè)AgentAgent中可以包含多個(gè)Source和Sink。Agent是一共獨(dú)立的守護(hù)進(jìn)程(JVM)8/51Flume Agent-SourceSource 負(fù)責(zé)數(shù)據(jù)的產(chǎn)生或收集，一般是對(duì)接RPC的程序或者是其他的Flume節(jié)點(diǎn)的SinkSource接收數(shù)

3、據(jù),并將接收的數(shù)據(jù)以Flume的Event格式傳遞給Channel9/51Flume AgentSource類(lèi)型10/51Flume Agent-ChannelChannel 是短暫的存儲(chǔ)容器,負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)，將從Source處接收到的Event格式的數(shù)據(jù)緩存起來(lái)，直到被Sink消費(fèi)掉Channel類(lèi)似一個(gè)先進(jìn)先出的隊(duì)列，數(shù)據(jù)只有存儲(chǔ)在下一個(gè)存儲(chǔ)位置（可能是最終的存儲(chǔ)位置，如HDFS；也可能是下一個(gè)Flume節(jié)點(diǎn)的Channel），數(shù)據(jù)才會(huì)從當(dāng)前的Channel中刪除。這個(gè)過(guò)程是通過(guò)事務(wù)來(lái)控制的，這樣就保證了數(shù)據(jù)的可靠性。11/51Flume Agent12/51Flume Agent-Sin

4、kSink負(fù)責(zé)數(shù)據(jù)的轉(zhuǎn)發(fā)，它從Channel消費(fèi)數(shù)據(jù)(Events)并將其傳遞給目標(biāo)地。目標(biāo)地可能是另一個(gè)Sink,也可能是hdfs、logger、avro、thrift、ipc、file、null、Hbase、solr等13/51Flume AgentSink類(lèi)型14/51Flume的特點(diǎn)Flume提供收集、移動(dòng)、聚合大量日志數(shù)據(jù)的服務(wù)實(shí)時(shí)的基于事件的流數(shù)據(jù)架構(gòu)在生產(chǎn)和消費(fèi)者之間啟動(dòng)協(xié)調(diào)作用提供了事務(wù)保證，確保Event可靠傳輸15/51課程內(nèi)容Flume簡(jiǎn)介Flume示例Flume配置Flume實(shí)戰(zhàn)16/51netcat簡(jiǎn)介17/51netcat簡(jiǎn)介netcat是網(wǎng)絡(luò)工具中的瑞士軍刀，它能

5、通過(guò)TCP和UDP在網(wǎng)絡(luò)中讀寫(xiě)數(shù)據(jù)。netcat所做的就是在兩臺(tái)電腦之間建立鏈接并返回兩個(gè)數(shù)據(jù)流。netcat應(yīng)用場(chǎng)景：建立一個(gè)服務(wù)器，傳輸文件，與朋友聊天，傳輸流媒體或者用它作為其它協(xié)議的獨(dú)立客戶(hù)端。18/51Flume配置-netcat19/51課程內(nèi)容Flume簡(jiǎn)介Flume示例Flume配置Flume實(shí)戰(zhàn)20/51Flume配置（1）-定義流21/51Flume配置（1）定義流示例22/51說(shuō)明：一個(gè)名為agent_foo的agent，從一個(gè)外部的avro client讀取數(shù)據(jù)，然后經(jīng)過(guò)channel，再發(fā)送到HDFSFlume配置（2）-配置組件23/51Flume配置（2）配置組件

6、示例24/51Flume配置-單agent多流25/51Flume配置-單agent多流示例26/51Flume配置多agent流27/51為了能使數(shù)據(jù)流跨越多個(gè)agent或者跳，前一個(gè)agent的sink和當(dāng)前一跳的source需要同樣是avro類(lèi)型的，并且sink需要指定source的hostname（或者ip地址）和端口號(hào)。Flume配置多agent流（1）28/51Flume配置多agent流（2）29/51合并數(shù)據(jù)流30/51扇出流31/51扇出流扇出（fan out）：一個(gè)Source的數(shù)據(jù)發(fā)送到多個(gè)SinkFlume支持多路輸出event流到一個(gè)或多個(gè)目的地。這是靠定義一個(gè)多路數(shù)

7、據(jù)流實(shí)現(xiàn)的，它可以實(shí)現(xiàn)復(fù)制和選擇性路由一個(gè)event到一個(gè)或者多個(gè)channel。這個(gè)扇出可以是復(fù)制（replicating）或者多路輸出（multiplexing）。在復(fù)制數(shù)據(jù)流的情況下，每一個(gè)event被發(fā)送所有的channel中在多路輸出的情況下，一個(gè)event被發(fā)送到一部分可用的channel中32/51扇出流配置（1）33/51扇出流配置（2）34/51扇出流示例（1）35/51課程內(nèi)容Flume簡(jiǎn)介Flume示例Flume配置Flume實(shí)戰(zhàn)36/51實(shí)驗(yàn)說(shuō)明Spooling Directory Source37/51實(shí)驗(yàn)38/51實(shí)驗(yàn)Spooling Directory Source監(jiān)測(cè)配置的目錄下新增的