hadoop作業(yè)調(diào)優(yōu)參數(shù)調(diào)整及原理

1、 私塾本節(jié)課程概覽core-site.xmlhdfs-site.xmlmapred-stie.xml：做最好的學(xué)習(xí)社區(qū)第一部分：core-site.xml：做最好的學(xué)習(xí)社區(qū)core-site.xmlcore-site.xml為Hadoop的屬性文件，參數(shù)為Hadoop功能，獨(dú)立于HDFS與MapReduce。的：做最好的學(xué)習(xí)社區(qū)參數(shù)列表 默認(rèn)值 file:/說(shuō)明：設(shè)置Hadoop namenode的hostname及port，預(yù)設(shè)是 Standalone mode,如果是偽分布式文件系統(tǒng)要設(shè)置成hdfs:/localhost:9000，如果使用集群模式則配置為hd

2、fs:/hostname:9000：做最好的學(xué)習(xí)社區(qū)參數(shù)列表 hadoop.tmp.dir默認(rèn)值/tmp/hadoop-$會(huì)在tmp下根據(jù)username生成不同的目錄：做最好的學(xué)習(xí)社區(qū)參數(shù)列表 fs.checkpo.dir默認(rèn)值$hadoop.tmp.dir/dSencondary NameNode 鏡像amesecondary目錄fs.checkpo.period默認(rèn)值: 3600(秒)控制 secondary namenode 的 checkpo時(shí)間間隔。如果距離上次 checkpo的時(shí)間大于這個(gè)參數(shù)的設(shè)定，就會(huì)觸發(fā)checkpo。secondary namenode

3、會(huì)把 namenode 的 fsimage和 editlog 做 snapshot。如果存取 Hadoop 的次數(shù)頻繁或?yàn)榱藴p少重起 namenode 的 downtime，可以把這個(gè)值設(shè)小一點(diǎn)。：做最好的學(xué)習(xí)社區(qū)參數(shù)列表fs.checkpo.size默認(rèn)值67108864(byte)如果 Hadoop 非常的忙碌，editlog 可能會(huì)在短時(shí)間內(nèi)變的很大，fs.checkpo保險(xiǎn)的做 fs.checkpo.period 的設(shè)定不見(jiàn)得可以完全這個(gè)狀況，所以多設(shè)定這個(gè)值，以保證當(dāng)數(shù)據(jù)大到超過(guò).size 的值也會(huì)觸發(fā) checkpo。io.fiuffer.size默認(rèn)值 4096這是讀寫(xiě) sequ

4、ence file 的 buffer size, 可減少 I/O 次數(shù)。在大型的 Hadoop cluster，建議可設(shè)定為 65536 到 131072。：做最好的學(xué)習(xí)社區(qū)參數(shù)列表t.connection.maxidletime默認(rèn)值 10000(毫秒)設(shè)定 Hadoop cnt 連接時(shí)最大的閑置，默認(rèn)是是 10 秒。如果Hadoop cluster 的網(wǎng)絡(luò)聯(lián)系不穩(wěn)，可以把這個(gè)值設(shè)到 60000(60秒)ipc.server.tcpnay默認(rèn)值 false在 Hadoop server 是否啟動(dòng) Nagles 算法。設(shè) true 會(huì) disable 這個(gè)演算法，關(guān)掉會(huì)減少延遲，但是會(huì)增加小數(shù)

5、據(jù)包的傳輸。 server site 不太需要這定這個(gè)值。：做最好的學(xué)習(xí)社區(qū)參數(shù)列表hadoop.security.authorization默認(rèn)值 false是不是要開(kāi)啟 賬號(hào)驗(yàn)證機(jī)制，開(kāi)啟之后 Hadoop 在執(zhí)行任何動(dòng)作限。詳細(xì)的權(quán)限設(shè)定會(huì)放在 hadoop-之前都會(huì)先確認(rèn)是否policy.xml 裡。例如要讓 fenriswolf 這個(gè) account 及 mapreduce group 可以 submit M/R jobs，要設(shè)定tocol.aclhadoop.security.authentication默認(rèn)值 simplesimple

6、 表示沒(méi)有 authentication，Hadoop 會(huì)用 system account 及 group 來(lái)控管q權(quán)限。另外可以指定為 kerberos，這部分相對(duì)比較復(fù)雜，要有一個(gè) kerberosserver 并產(chǎn)生 account keytab，在執(zhí)行任何操作前 cnt 要先用 kinit 指令對(duì)kerberos server 認(rèn)證，之後的任何操作都是以 kerberos account 來(lái)執(zhí)行。：做最好的學(xué)習(xí)社區(qū)參數(shù)列表fs.trash.erval默認(rèn)值 0（分）筒的時(shí)間。預(yù)設(shè)是不清, 所以在刪除文件時(shí)要自己執(zhí)行清掉hadoop.native.lib默認(rèn)值 true默認(rèn) Hadoop

7、 會(huì)去找所有可用的 native libraries 并自動(dòng) load 進(jìn)來(lái)使用，例如壓縮類的 libraries 像 GZIP, LZO 等等。：做最好的學(xué)習(xí)社區(qū)第二部分：hdfs-site.xml：做最好的學(xué)習(xí)社區(qū)參數(shù)列表dfs.block.size默認(rèn)值67108864（字節(jié)）默認(rèn)每個(gè) block 是 64MB。如果確定存取的文件塊都很大可以改為 134217728(128MB)。Cnt 也可自行決定要使用的 block size而不需要更改整個(gè) cluster 的設(shè)定。dfs.safemode.threshold.pct默認(rèn)值 0.999fHadoop 啟動(dòng)時(shí)會(huì)進(jìn)入 safe mode

8、，也就是安全模式，這時(shí)是不能寫(xiě)入數(shù)據(jù)的。只有當(dāng)99.9% 的 blocks 達(dá)到最小的 dfs.replication.min 數(shù)量(默認(rèn)是3)才會(huì)離開(kāi) safe mode。在 dfs.replication.min 設(shè)的比較大或 data nodes 數(shù)量比較多時(shí)會(huì)等比較久。：做最好的學(xué)習(xí)社區(qū)參數(shù)列表damenode.handler.count默認(rèn)值 10設(shè)定 namenode server threads 的數(shù)量，這些 threads 會(huì)用 RPC跟其他的 datanodes 溝通。當(dāng) datanodes 數(shù)量太多時(shí)會(huì)發(fā)現(xiàn)很容易出現(xiàn) RPC timeout，解決方法是網(wǎng)絡(luò)速度或提高這個(gè)值，

9、但要注意的是 thread 數(shù)量多也表示 namenode 消耗的內(nèi)存也隨著增加dfs.datanode.handler.count默認(rèn)值 3指定 data node 上用的 thread 數(shù)量。：做最好的學(xué)習(xí)社區(qū)參數(shù)列表dfs.datanode.max.xcievers默認(rèn)值 256這個(gè)值是指定 datanode 可同時(shí)處理的最大文件數(shù)量、dfs.datanode.du.默認(rèn)值 0默認(rèn)值表示 data nodes 會(huì)使用整個(gè) 磁盤(pán)，寫(xiě)滿之后會(huì)導(dǎo)致無(wú)法再寫(xiě)入 M/R jobs。如果還有其他程式共用這些目錄也會(huì)受到影響。建議保留至少 1073741824(1G) 的空間。：做最好的學(xué)習(xí)社區(qū)第三部

10、分：mapred-site.xml：做最好的學(xué)習(xí)社區(qū)參數(shù)列表io.sort.mb默認(rèn)值100緩存map中間結(jié)果的buffer大小(B)io.sort.record.percent默認(rèn)值 0.05io.sort.mb中用來(lái)保存map output邊界的百分比，其他緩存用來(lái)保存數(shù)據(jù)：做最好的學(xué)習(xí)社區(qū)參數(shù)列表io.sort.spill.percent默認(rèn)值0.80map開(kāi)始做spill操作的閾值io.sort.factor默認(rèn)值 10做merge操作時(shí)同時(shí)操作的stream數(shù)上限。：做最好的學(xué)習(xí)社區(qū)參數(shù)列表minbine默認(rèn)值3combiner函數(shù)運(yùn)行的最小spill數(shù)press.map.outpu

11、t默認(rèn)值 falsemap中間結(jié)果是否采用壓縮mappres.codec.appress.DefaultCodec：做最好的學(xué)習(xí)社區(qū)參數(shù)列表minbine默認(rèn)值3combiner函數(shù)運(yùn)行的最小spill數(shù)press.map.output默認(rèn)值 falsemap中間結(jié)果是否采用壓縮mappres.codec.appress.DefaultCodec：做最好的學(xué)習(xí)社區(qū)參數(shù)列表mapred.reduce.parallel.copies默認(rèn)值5每個(gè)reduce并行map結(jié)果的最大線程數(shù)mapred.reduce.copy.backoff默認(rèn)值 300reduce線程最大等待時(shí)間（in sec）io.sort.factor默認(rèn)值10.appress.DefaultCodec：做最好的學(xué)習(xí)社區(qū)參數(shù)列表mapred.job.shuffle.input.buffercent默認(rèn)值0.7用來(lái)緩存shuffle數(shù)據(jù)的reduce task heap百分比mapred.job.shuffle.merge.percent默認(rèn)值 0.66緩存的內(nèi)存中多少百分比后開(kāi)始做merge操作mapred.job.r