《基于新信息技術(shù)的Hadoop大數(shù)據(jù)技術(shù)》 課件 項(xiàng)目12 Flume的安裝與使用

Hadoop大數(shù)據(jù)技術(shù)——Flume日志采集系統(tǒng)Flume概述

Flume是Cloudera開發(fā)的一個(gè)分布式的、可靠的、高可用的系統(tǒng)，它能夠?qū)⒉煌瑪?shù)據(jù)源的海量日志數(shù)據(jù)進(jìn)行高效收集、聚合、移動(dòng)，最后存儲(chǔ)到一個(gè)中心化的數(shù)據(jù)存儲(chǔ)系統(tǒng)中。隨著互聯(lián)網(wǎng)的發(fā)展，特別是移動(dòng)互聯(lián)網(wǎng)的興起，產(chǎn)生了海量的用戶日志信息，為了實(shí)時(shí)分析和挖掘用戶需求，需要使用Flume高效快速采集用戶日志，同時(shí)對(duì)日志進(jìn)行聚合避免小文件的產(chǎn)生，然后將聚合后的數(shù)據(jù)通過管道移動(dòng)到存儲(chǔ)系統(tǒng)進(jìn)行后續(xù)的數(shù)據(jù)分析和挖掘。湖南軟件職業(yè)技術(shù)大學(xué)Flume架構(gòu)設(shè)計(jì)湖南軟件職業(yè)技術(shù)大學(xué)

Flume之所以比較強(qiáng)大，是源于自身的一個(gè)設(shè)計(jì)-Agent。Agent本身是一個(gè)Java進(jìn)程，它運(yùn)行在日志收集節(jié)點(diǎn)之上。Agent里面包含3個(gè)核心組件：source、Channel和Sink。Flume構(gòu)架如圖所示。Flume架構(gòu)設(shè)計(jì)湖南軟件職業(yè)技術(shù)大學(xué)

客戶端操作消費(fèi)數(shù)據(jù)的來源，可以將數(shù)據(jù)發(fā)送給FlumeAgent。Flume支持多種數(shù)據(jù)源，如Avro、Log4j、Syslog和Http。Flume自帶很多Source組件支持采集各種數(shù)據(jù)源，常見的類型見表。Flume架構(gòu)設(shè)計(jì)湖南軟件職業(yè)技術(shù)大學(xué)Channel是中轉(zhuǎn)Event（數(shù)據(jù)的表現(xiàn)形式）的一個(gè)臨時(shí)存儲(chǔ)就，保存用Source組件傳遞過來的Event，目前比較常用的Channel有MemoryChannel和FileChannel。FlumeChannel支持的常用類型見表Flume架構(gòu)設(shè)計(jì)湖南軟件職業(yè)技術(shù)大學(xué)

Sink在設(shè)置存儲(chǔ)數(shù)據(jù)時(shí)，可以向文件系統(tǒng)、數(shù)據(jù)庫、hadoop中存儲(chǔ)