收集文件系統(tǒng)的指標(biāo)

主講：侯磊目錄01收集文件系統(tǒng)的指標(biāo)收集文件系統(tǒng)的指標(biāo)1收集文件系統(tǒng)的指標(biāo)要收集指標(biāo)并使用它們進(jìn)行調(diào)優(yōu)和故障排除，必須配置各種Hadoop守護(hù)程序，以指定的時(shí)間間隔收集指標(biāo)，并輸出指標(biāo)?？梢允褂貌寮敵鲋笜?biāo)。Hadoop守護(hù)程序產(chǎn)生的指標(biāo)稱為sources，插件稱為sinks。因此，sources產(chǎn)生數(shù)據(jù)，sinks消耗數(shù)據(jù)或輸出數(shù)據(jù)?？梢允褂酶鞣N類型的插件，默認(rèn)使用FileContext，它將指標(biāo)寫入文件。Null-Context丟棄指標(biāo),GangliaContext會(huì)將指標(biāo)發(fā)送到Ganglia監(jiān)控系統(tǒng)收集文件系統(tǒng)的指標(biāo)為了獲取由Hadoop生成的指標(biāo)，需要配置perties文件。該文件通常位于諸如/etc/hadoop/conf之類的目錄中。以下示例顯示了如何在該文件中存儲(chǔ)與NameNode和DataNodes有關(guān)的指標(biāo)?？梢詫⑵渌笜?biāo)（例如JVM指標(biāo)）添加到同一個(gè)文件中。收集文件系統(tǒng)的指標(biāo)#ThefollowingentriesshowhowtocapturemetricsfromtheNameNode,and#DataNodestoasinknamed"tfile"(outputtofile).#Definingsinkforfileoutput*.sink.tfile.class=org.apache.hadoop.metrics2.sink.FileSink收集文件系統(tǒng)的指標(biāo)#FilenameforNameNodemetricscapturenamenode.sink.tfile.filename=namenode-metrics.log#FilenameforDataNodemetricsdatanode.sink.tfile.filename=datanode-metrics.log收集文件系統(tǒng)的指標(biāo)在這個(gè)例子中，使用本地文件從NameNode和DataNode收集指標(biāo)。演示了如何將指標(biāo)發(fā)送到Gangliasink后，我們講一下應(yīng)該添加到此文件的條目，從而將數(shù)據(jù)捕獲到Gangliasink。為了只關(guān)注關(guān)鍵指標(biāo)，避免在海量的指標(biāo)中迷失，可以根據(jù)源、上下文、記錄過濾Hadoop指標(biāo)。在一個(gè)源中，可以根據(jù)include或excludee的模式進(jìn)行過濾，其中include模式優(yōu)先于exclude模式。過濾器可以通過將輸出限制為在hadoop-metrics2-properties文件中配置的指標(biāo)文件來有效地管理指標(biāo)。以下是一些示例，說明如何通過各種自定義過濾器來限制指標(biāo)輸出。收集文件系統(tǒng)的指標(biāo)在設(shè)置自定義過濾器之前，將以下參數(shù)添加到hadoop-metrics2-properties文件中:#Syntax:<prefix>.(source|sink).<instance>.<option>*.sink.file.class=org.apache.hadoop.metrics2.sink.Filesink*.source.filter.class=org.apache.hadoop.metrics2.filter.GlobFilter*.record.filter.class=${*.source.filter.class}*.metric.filter.class=${*.source.filter.class}收集文件系統(tǒng)的指標(biāo)#Thefollowinglimitsmetricstojustthosefromthedfscontext.bcl.sink.file0.class=org.apache.hadoop.metrics2.sink.FileSinkbcl.sink.file0.context=dfs#Thefollowingwillfilteroutmetricsfromthespecifiedhost.jobtracker.source.dfs.record.filter.exclude=hadoop01.localhost*#Thefollowingwillfilteroutmetricsmatchingthepattern-cpu*.jobtracker.sink.file.metric.filter.exclude=cpu*收集文件系統(tǒng)的指標(biāo)通過手動(dòng)檢查所有集群節(jié)點(diǎn)中的大量文件來了解Hadoop守護(hù)程序的性能是不現(xiàn)實(shí)的。解決這個(gè)問題有幾種方法?？梢詫?shù)據(jù)存儲(chǔ)在Hive外部表或HBase表中。然后，可以設(shè)置警報(bào)機(jī)制來發(fā)送適當(dāng)?shù)木瘓?bào)。訪問Hadoop指標(biāo)的最佳方法是將警報(bào)發(fā)送到Ganglia接收器。發(fā)送指標(biāo)到Ganglia接收器不需要做額外的事情（當(dāng)然配置了Ganglia)，這非常類似于將警報(bào)指向文件。Ganglia是監(jiān)測(cè)系統(tǒng)狀態(tài)的流行工具。Nagi