2023學年完整公開課版flume配置文件

Flume配置文件主要內(nèi)容2Flume配置文件的使用Flume配置文件常見參數(shù)詳解3一、flume配置文件的使用4Flume配置文件的使用Flume的在搭建好以后需要根據(jù)需求編寫配置文件，根據(jù)編寫好的配置文件通過flume-ng運行agent實現(xiàn)對數(shù)據(jù)的收集功能運行命令：flume-ngagent--conf(flume下的conf/)--name(agent名字)--conf-file（自己編寫的配置文件路徑）5二、flume配置文件常見參數(shù)詳解6三大組件1.source2.sink3.channel71.1AvroSourceavro

source:avro可以監(jiān)聽和收集指定端口的日志，使用avro的source需要說明被監(jiān)聽的主機ip和端口號agent1.sources

=

r1agent1.sources.r1.type

=

avro

(類型為avro

source)agent1.sources.r1.bind

=

（指定監(jiān)聽的主機ip.本機是.）agent1.sources.r1.port

=

9090

(指定監(jiān)聽的端口號)81.2ExecSourceexec

source:可以通過指定的操作對日志進行讀取，使用exec時需要指定shell命令，對日志進行讀取agent1.source

=

r2agent1.sources.r2.type

=

exec

mand

=tail

-F

/tmp/root/hive.log

(監(jiān)聽的文件的路徑)91.3Spool-directorySourceSpooling-directory

source:可以讀取文件夾里的日志，使用時指定一個文件夾，可以讀取該文件夾中的所有文件，當出現(xiàn)新文件時會讀取該文件并獲取數(shù)據(jù).需要注意的是該文件夾中的文件在讀取過程中不能修改，同時文件名也不能修改。1、completedSuffix是文件讀取完畢后給完成文件添加的標記后綴，默認是".COMPLETED"；2、deletePolicy這是是否刪除讀取完畢的文件，默認是"never"，就是不刪除，目前只支持"never"和“IMMEDIATE”；102.Channelagent1.channels

=

c1agent1.channels.c1.type

=

memory：緩存方式為內(nèi)存agent1.channels.c1.capacity

=

100000agent1.channels.c1.transactionCapacity

=

100000113.1LoggerSinklogger

sink:將收集到的日志寫到flume的log中agent1.sinks

=

k1agent2.sinks.k1.type

=

logger123.2.1HDFSSink把數(shù)據(jù)存放至hdfs中a1.sinks.k1.type=hdfsa1.sinks.k1.hdfs.path：上傳到hdfs的路徑a1.sinks.k1.hdfs.filePrefix：文件前綴a1.sinks.k1.hdfs.round：是否按時間新建文件夾a1.sinks.k1.hdfs.roundValue：定義多久新建文件夾a1.sinks.k1.hdfs.roundUnit：重新定義時間單位133.2.2HDFSSinka1.sinks.k1.hdfs.useLocalTimeStamp：是否使用本地時間戳a1.sinks.k1.hdfs.batchSize：flush到hdfs需要積攢event的數(shù)量a1.sinks.k1.hdfs.fileType：設置文件類型a1.sinks.k1.hdfs.rollInterval：多久生成一個新的文件（單位：秒）a1.sinks.k1.hdfs.rollSize：接收多少數(shù)據(jù)生成一個新文件（單位：字節(jié)）a