hadoop作業(yè)調(diào)優(yōu)參數(shù)調(diào)整及原理

1、 私塾本節(jié)課程概覽core-site.xmlhdfs-site.xmlmapred-stie.xml：做最好的學(xué)習(xí)社區(qū)第一部分：core-site.xml：做最好的學(xué)習(xí)社區(qū)core-site.xmlcore-site.xml為Hadoop的屬性文件，參數(shù)為Hadoop功能，獨立于HDFS與MapReduce。的：做最好的學(xué)習(xí)社區(qū)參數(shù)列表 默認(rèn)值 file:/說明：設(shè)置Hadoop namenode的hostname及port，預(yù)設(shè)是 Standalone mode,如果是偽分布式文件系統(tǒng)要設(shè)置成hdfs:/localhost:9000，如果使用集群模式則配置為hd

2、fs:/hostname:9000：做最好的學(xué)習(xí)社區(qū)參數(shù)列表 hadoop.tmp.dir默認(rèn)值/tmp/hadoop-$會在tmp下根據(jù)username生成不同的目錄：做最好的學(xué)習(xí)社區(qū)參數(shù)列表 fs.checkpo.dir默認(rèn)值$hadoop.tmp.dir/dSencondary NameNode 鏡像amesecondary目錄fs.checkpo.period默認(rèn)值: 3600(秒)控制 secondary namenode 的 checkpo時間間隔。如果距離上次 checkpo的時間大于這個參數(shù)的設(shè)定，就會觸發(fā)checkpo。secondary namenode

3、會把 namenode 的 fsimage和 editlog 做 snapshot。如果存取 Hadoop 的次數(shù)頻繁或為了減少重起 namenode 的 downtime，可以把這個值設(shè)小一點。：做最好的學(xué)習(xí)社區(qū)參數(shù)列表fs.checkpo.size默認(rèn)值67108864(byte)如果 Hadoop 非常的忙碌，editlog 可能會在短時間內(nèi)變的很大，fs.checkpo保險的做 fs.checkpo.period 的設(shè)定不見得可以完全這個狀況，所以多設(shè)定這個值，以保證當(dāng)數(shù)據(jù)大到超過.size 的值也會觸發(fā) checkpo。io.fiuffer.size默認(rèn)值 4096這是讀寫 sequ

4、ence file 的 buffer size, 可減少 I/O 次數(shù)。在大型的 Hadoop cluster，建議可設(shè)定為 65536 到 131072。：做最好的學(xué)習(xí)社區(qū)參數(shù)列表t.connection.maxidletime默認(rèn)值 10000(毫秒)設(shè)定 Hadoop cnt 連接時最大的閑置，默認(rèn)是是 10 秒。如果Hadoop cluster 的網(wǎng)絡(luò)聯(lián)系不穩(wěn)，可以把這個值設(shè)到 60000(60秒)ipc.server.tcpnay默認(rèn)值 false在 Hadoop server 是否啟動 Nagles 算法。設(shè) true 會 disable 這個演算法，關(guān)掉會減少延遲，但是會增加小數(shù)

5、據(jù)包的傳輸。 server site 不太需要這定這個值。：做最好的學(xué)習(xí)社區(qū)參數(shù)列表hadoop.security.authorization默認(rèn)值 false是不是要開啟 賬號驗證機制，開啟之后 Hadoop 在執(zhí)行任何動作限。詳細(xì)的權(quán)限設(shè)定會放在 hadoop-之前都會先確認(rèn)是否policy.xml 裡。例如要讓 fenriswolf 這個 account 及 mapreduce group 可以 submit M/R jobs，要設(shè)定tocol.aclhadoop.security.authentication默認(rèn)值 simplesimple

6、 表示沒有 authentication，Hadoop 會用 system account 及 group 來控管q權(quán)限。另外可以指定為 kerberos，這部分相對比較復(fù)雜，要有一個 kerberosserver 并產(chǎn)生 account keytab，在執(zhí)行任何操作前 cnt 要先用 kinit 指令對kerberos server 認(rèn)證，之後的任何操作都是以 kerberos account 來執(zhí)行。：做最好的學(xué)習(xí)社區(qū)參數(shù)列表fs.trash.erval默認(rèn)值 0（分）筒的時間。預(yù)設(shè)是不清, 所以在刪除文件時要自己執(zhí)行清掉hadoop.native.lib默認(rèn)值 true默認(rèn) Hadoop

7、 會去找所有可用的 native libraries 并自動 load 進來使用，例如壓縮類的 libraries 像 GZIP, LZO 等等。：做最好的學(xué)習(xí)社區(qū)第二部分：hdfs-site.xml：做最好的學(xué)習(xí)社區(qū)參數(shù)列表dfs.block.size默認(rèn)值67108864（字節(jié)）默認(rèn)每個 block 是 64MB。如果確定存取的文件塊都很大可以改為 134217728(128MB)。Cnt 也可自行決定要使用的 block size而不需要更改整個 cluster 的設(shè)定。dfs.safemode.threshold.pct默認(rèn)值 0.999fHadoop 啟動時會進入 safe mode

8、，也就是安全模式，這時是不能寫入數(shù)據(jù)的。只有當(dāng)99.9% 的 blocks 達到最小的 dfs.replication.min 數(shù)量(默認(rèn)是3)才會離開 safe mode。在 dfs.replication.min 設(shè)的比較大或 data nodes 數(shù)量比較多時會等比較久。：做最好的學(xué)習(xí)社區(qū)參數(shù)列表damenode.handler.count默認(rèn)值 10設(shè)定 namenode server threads 的數(shù)量，這些 threads 會用 RPC跟其他的 datanodes 溝通。當(dāng) datanodes 數(shù)量太多時會發(fā)現(xiàn)很容易出現(xiàn) RPC timeout，解決方法是網(wǎng)絡(luò)速度或提高這個值，

9、但要注意的是 thread 數(shù)量多也表示 namenode 消耗的內(nèi)存也隨著增加dfs.datanode.handler.count默認(rèn)值 3指定 data node 上用的 thread 數(shù)量。：做最好的學(xué)習(xí)社區(qū)參數(shù)列表dfs.datanode.max.xcievers默認(rèn)值 256這個值是指定 datanode 可同時處理的最大文件數(shù)量、dfs.datanode.du.默認(rèn)值 0默認(rèn)值表示 data nodes 會使用整個 磁盤，寫滿之后會導(dǎo)致無法再寫入 M/R jobs。如果還有其他程式共用這些目錄也會受到影響。建議保留至少 1073741824(1G) 的空間。：做最好的學(xué)習(xí)社區(qū)第三部

10、分：mapred-site.xml：做最好的學(xué)習(xí)社區(qū)參數(shù)列表io.sort.mb默認(rèn)值100緩存map中間結(jié)果的buffer大小(B)io.sort.record.percent默認(rèn)值 0.05io.sort.mb中用來保存map output邊界的百分比，其他緩存用來保存數(shù)據(jù)：做最好的學(xué)習(xí)社區(qū)參數(shù)列表io.sort.spill.percent默認(rèn)值0.80map開始做spill操作的閾值io.sort.factor默認(rèn)值 10做merge操作時同時操作的stream數(shù)上限。：做最好的學(xué)習(xí)社區(qū)參數(shù)列表minbine默認(rèn)值3combiner函數(shù)運行的最小spill數(shù)press.map.outpu

11、t默認(rèn)值 falsemap中間結(jié)果是否采用壓縮mappres.codec.appress.DefaultCodec：做最好的學(xué)習(xí)社區(qū)參數(shù)列表minbine默認(rèn)值3combiner函數(shù)運行的最小spill數(shù)press.map.output默認(rèn)值 falsemap中間結(jié)果是否采用壓縮mappres.codec.appress.DefaultCodec：做最好的學(xué)習(xí)社區(qū)參數(shù)列表mapred.reduce.parallel.copies默認(rèn)值5每個reduce并行map結(jié)果的最大線程數(shù)mapred.reduce.copy.backoff默認(rèn)值 300reduce線程最大等待時間（in sec）io.sort.factor默認(rèn)值10.appress.DefaultCodec：做最好的學(xué)習(xí)社區(qū)參數(shù)列表mapred.job.shuffle.input.buffercent默認(rèn)值0.7用來緩存shuffle數(shù)據(jù)的reduce task heap百分比mapred.job.shuffle.merge.percent默認(rèn)值 0.66緩存的內(nèi)存中多少百分比后開始做merge操作mapred.job.r