Hadoop集群測(cè)試報(bào)告

1、測(cè)試報(bào)告集群設(shè)置1. 服務(wù)器配置CPU24內(nèi)存128G帶寬1024M磁盤(pán)44T磁盤(pán)吞吐預(yù)計(jì)100M/S2. Hadoop服務(wù)部署HADOOP-12-151NameNode Balancer、Hive Gateway、Spark Gateway> ResourceManager、Zk ServerHADOOP-12-152DataNode、SNN HFS Hive Gateway、WebHCat Hue> Impala Deamon CMServerMonitor、CM Activity Monitor 、CM Host Monitor、CM Event Server、CM Aler

2、tPublisher、Oozie Server、Spark History Server、Spark Gateway> NodeManagenJobHistory Server 、Zk ServerHADOOP-12-153DataNode、Hive Gateway、HiveMetastore、HiveServer2、Impala Catalog、ImpalaStateStore 、Impala Deamon、Spark Gateway > NodeManagen Zk ServerHADOOP-12-154DataNode、Hive Gateway、Impala Deamon S

3、park Gateway、NodeManagec Sqoop2HADOOP-12-155DataNode、Hive Gateway、Impala Deamon Spark Gateway、NodeManager、Zk ServerHADOOP-12-156DataNode、Hive Gateway、Impala Deamon Spark Gateway、NodeManager、Zk Server3. hadoop參數(shù)設(shè)置yarn-mb108544-allocation-mb4096-allocation-mb32768-allocation-mb4096-vcores24-pmem-ratio

4、mapreduce40968192307261441536100151555dfs3534096二、基準(zhǔn)測(cè)試1. HDFSW寫(xiě)的吞吐性能連續(xù)10次執(zhí)行如下寫(xiě)操作，其性能見(jiàn)圖示：cd /opt/clouderahdfsadmin hadoopTestDFSIO -write -nrFiles 10 -fileSize 1000 -resFile /tmp/其具體數(shù)據(jù)見(jiàn)表格：123456789 10均值HDFS寫(xiě)文件吞吐均值：/ S平均執(zhí)行時(shí)間：占用帶寬：/ S結(jié)論：HDFSf,其磁盤(pán)吞吐基本上處于理想狀態(tài)，且在此吞吐水平上其網(wǎng)絡(luò)帶寬占用較少，沒(méi)有造成明顯的帶寬負(fù)載。連續(xù)10次執(zhí)行如下讀操作，其性

5、能見(jiàn)圖示：hdfsadmin hadoopTestDFSIO -read -nrFiles 10 -fileSize 1000 -resFile /tmp/Map Task平均吞吐：S 。文件的平均IO速度：S,基本符合理想狀態(tài)。附：I.帶寬計(jì)算過(guò)程：10000/=6, 10個(gè)文件則10個(gè)進(jìn)程并發(fā)，復(fù)本數(shù)為 2,則有1份網(wǎng)絡(luò)彳輸，10個(gè)進(jìn)程并發(fā)在5臺(tái)機(jī)器上，基本上每臺(tái)機(jī)器有2個(gè)寫(xiě)進(jìn)程，則網(wǎng)絡(luò)流量大約為：S* 1*2=,遠(yuǎn)遠(yuǎn)低于千兆網(wǎng)絡(luò)的帶寬。II.清除測(cè)試數(shù)據(jù)：dfsadmin hadoopTestDFSIO - clean208192寫(xiě)性能：基本上與之前相當(dāng)。讀性能：Map Task平均吞吐

6、：S 。文件的平均IO速度：So2. mrbench基準(zhǔn)測(cè)試重復(fù)執(zhí)行小作業(yè)50次，檢查平均執(zhí)行時(shí)間hdfsadmin hadoopmrbench -numRuns 50基本情況，上述操作完全來(lái)自默認(rèn)值：inputlines : 1mapper： 2reducer : 1完成時(shí)間：17986ms,即17秒。修改上述各參數(shù)的設(shè)置，inputlines : 100000mapper： 1000reducer : 200 hdfsadmin hadoopmrbench -numRuns 10 -inputLines 100000 -maps 1000 -reduces 200 完成時(shí)間：190131m

7、s,即190秒。在此參數(shù)設(shè)置下，集群負(fù)載很重，mapper&reducer總數(shù)明顯超過(guò)了集群一般可以承受的水平繼續(xù)調(diào)整參數(shù)設(shè)置，inputlines : 100000mapper： 100reducer : 5 hdfsadmin hadoopmrbench -numRuns 10 -inputLines 100000 -maps 100 -reduces 5完成時(shí)間：28682ms,即28秒。在此參數(shù)設(shè)置下，基本上符合集群負(fù)載的一般水平，mapper&reducer數(shù)設(shè)置較為合理，完成時(shí)間比較理想，即數(shù)據(jù)量越大，Hadoop越能夠體現(xiàn)其優(yōu)勢(shì)。208192hdfsadmin h

8、adoopmrbench -numRuns 5015996ms,16shdfsadmin hadoopmrbench -numRuns 10 -inputLines 100000 -maps 100 -reduces 528975ms,29s3. 利用全局排序Terasort測(cè)試MapReduce行性能cd /opt/cloudera生成10G數(shù)據(jù)：hdfsadmin hadoop jar teragen -=100 /home/songuanglei/gen10G排序：hdfsadmin hadoop jar terasort -=100/60/10/5 /home/songuanglei/

9、gen10G /home/songuanglei/output10Gmap數(shù)目為2,不斷調(diào)整reducer數(shù)目為100、60、10、5,其執(zhí)行時(shí)間趨勢(shì)如下圖：結(jié)論：reducer數(shù)越接近集群節(jié)點(diǎn)數(shù)目，其執(zhí)行速度越快。生成100G數(shù)據(jù)：hdfsadmin hadoop jar teragen -=100 /home/songuanglei/gen100G排序：hdfsadmin hadoop jar terasort -=100/6010/5 /home/songuanglei/gen100G /home/songuanglei/output100Gmap數(shù)目為800,不斷調(diào)整reducer數(shù)目

10、為100、60、10、5,其執(zhí)行時(shí)間趨勢(shì)如下圖：結(jié)論：隨著處理數(shù)據(jù)的增大，map階段耗時(shí)顯著增加，成為整個(gè) Job執(zhí)行的重點(diǎn)，reducer數(shù)越接近集群節(jié)點(diǎn)數(shù)目，其執(zhí)行速度越快。附：I.驗(yàn)證是否有序hdfsadmin hadoop jar teravalidate /home/songuanglei/output100G /home/songuanglei/validate100G4. 利用wordcount測(cè)試MR執(zhí)行性能wordcount是CPU資源消耗型的 操作如下：hdfsadmin hadoop jar wordcount -=10 /user/songguanglei/ /user/songguanglei/output基本情況：輸入文件：622MB默認(rèn) mapper數(shù)：5分別設(shè)置 reducer 數(shù)據(jù)為 60、10、5,分別得出 CPU time spent (ms)值：218340、130900