Hadoop3.0大數(shù)據(jù)平臺性能

1、    hadoop3.0大數(shù)據(jù)平臺性能    李士果 盧建云摘要    針對發(fā)布的hadoop3.0，本文研究了hadoop3.0大數(shù)據(jù)平臺性能。首先，采用華為云服務器搭建大數(shù)據(jù)平臺;其次，利用hadoop框架提供的基準性能測試程序進行性能驗證，測試指標包括testdfsio、mrbench和terasort。最后，對比分析不同負載、不同數(shù)據(jù)量對平臺性能的影響。實驗結(jié)果表明，hadoop3.0在hdfs讀寫能力、mapreduce計算能力上均表現(xiàn)出較優(yōu)的性能。【關鍵詞】大數(shù)據(jù) hadoop3.0 性能測試1 引言hadoo

2、p作為開源的分布式系統(tǒng)基礎架構(gòu)，具有高擴展性、高可靠性、高容錯性、低成本等特性，在政府、金融、工業(yè)、教育等領域得到了廣泛的應用。hadoop平臺發(fā)展至今，發(fā)布了三個大版本，分別是hadoop1.0、2.0和3.0。從hadoop1.0到hadoop2.0，增加了資源管理系統(tǒng)yarn，使得hadoop2.0具有更好的擴展性和性能，并支持多種計算框架。近來，apache發(fā)布了hadoop3.0版本，該版本在功能和性能方面做了多項改進，使得hadoop3.0在存儲和計算性能方面得到很大提升。因此，對hadoop3.0平臺性能進行研究具有重要的實際應用意義。本文基于華為云服務器搭建hadoop3.0完

3、全分布式集群，使用hadoop3.0提供的基準測試程序?qū)ζ脚_進行性能測試。分析對比不同負載、不同數(shù)據(jù)量對hadoop3.0平臺的性能影響。2 hadoop3.0平臺特性hadoop是apache旗下一個頂級分布式計算開源框架項目，主要包括兩個核心組件：分布式存儲子系統(tǒng)hdfs和分布式計算子系統(tǒng)mapreduce。hadoop采用主/從架構(gòu)管理存儲和計算。通常，在hadoop完全分布式集群上，運行了一系列后臺程序。這些后臺程序代表了不同的服務，例如namenode、datanode、secondary namenode、jobtracker、tasktracker等。其中namenode、sec

4、ondary namenode、jobtracker運行在master節(jié)點上，而在每個worker節(jié)點上，部署一個datanode和tasktracker，以便這個worker服務器運行的數(shù)據(jù)處理程序能盡可能直接處理本機的數(shù)據(jù)。hadoop3.0框架如圖1所示。hadoop3.0引入了一些重要的特性，如hdfs可擦除編碼技術(shù)、支持多namenode、yarn基于cgroup的內(nèi)存和磁盤io隔離、mr native task優(yōu)化等，綜合性能有很大提升。3 實驗與結(jié)果分析為了測試hadoop3.0平臺性能，方便對平臺性能進行調(diào)優(yōu)。實驗采用hadoop3.0具有代表性的基準測試工具testdfsio

5、、mrbench和terasort對hdfs讀寫性能、mapreduce并行計算能力進行測試，通過吞吐量、執(zhí)行時間等指標對測試結(jié)果進行分析。3.1 實驗環(huán)境實驗采用4臺華為云服務器搭建hadoop3.0完全分布式集群。該集群包含4個節(jié)點，其中2個節(jié)點部署為master，全部4個節(jié)點作為worker。linux操作系統(tǒng)版本是centos7.4，java版本是1.8.0_191，hadoop版本是3.1.0。表1列出了hadoop3.0完全分布式集群部署信息。3.2 實驗與分析3.2.1 testdfsio測試testdfsio是hadoop提供的基準測試工具，用于測試hdfs的讀寫性能。test

6、dfsio設計原理是每個文件讀寫都在單獨的map任務中進行，map任務以并行方式讀寫文件，reduce任務用于收集和匯總文件處理性能數(shù)據(jù)。該實驗數(shù)據(jù)總量為20g，不斷增加文件數(shù)量進行測試。測試結(jié)果如圖2和圖3所示。圖2和圖3表明，在20g數(shù)據(jù)量保持不變的情況下，隨著文件數(shù)量的增加，并發(fā)map數(shù)量不斷增加，hdfs讀寫吞吐量和讀寫時間均呈下降趨勢。其中，寫數(shù)據(jù)的吞吐量明顯低于讀數(shù)據(jù)的吞吐量，寫數(shù)據(jù)的執(zhí)行時間明顯高于讀數(shù)據(jù)的執(zhí)行時間。3.2.2 mrbench測試mrbench用于檢驗小作業(yè)是否可重復高效運行，它通過多次重復執(zhí)行一個小作業(yè)來驗證mapreduce的并行處理性能。本實驗使用mrben

7、ch默認配置重復執(zhí)行小作業(yè)進行測試。mrbench配置如下：inputlines=1，mapper=2，reducer=1，分別重復執(zhí)行10次、50次、100次、200次、500次和1000次，運行結(jié)果如圖4所示。圖4結(jié)果顯示，隨著重復執(zhí)行次數(shù)的增加，作業(yè)的平均執(zhí)行時間緩慢下降并趨于穩(wěn)定。從最后兩次測試結(jié)果發(fā)現(xiàn)，重復執(zhí)行500次和1000次的時間相對持平，說明小作業(yè)重復執(zhí)行500次到1000次的性能趨于穩(wěn)定。3.2.3 terasort測試terasort是hadoop壓力測試最具代表性的工具之一。terasort不僅測試hdfs文件系統(tǒng)的讀寫性能，也是對mapreduce自動排序能力的一種測

8、試。terasort包含三個工具，其中teragen用來生成排序的隨機數(shù)據(jù)，terasort用來將隨機數(shù)據(jù)排序，teravalidate用于校驗terasort的排序結(jié)果是否正確。實驗分別對1g、2g、5g、10g、20g、50g和100g文件進行terasort測試，測試結(jié)果如圖5所示。從圖5可以看出，隨著數(shù)據(jù)量的增加，terasort排序時間呈曲線增長。當數(shù)據(jù)量在20g以內(nèi)時，排序時間增長比較緩慢，當數(shù)據(jù)量增加到50g，甚至100g時，排序時間增長顯著。5 總結(jié)本文采用華為云服務器搭建hadoop3.0平臺，利用hadoop3.0提供的基準測試工具testdfsio、mrbench和ter

9、esort對平臺性能進行測試。實驗結(jié)果表明，hadoop3.0大數(shù)據(jù)平臺在hdfs讀寫能力、mapreduce計算能力上均表現(xiàn)出較優(yōu)的性能。后續(xù)我們將對hadoop2.0與3.0平臺進行性能對比研究。參考文獻1white t.hadoop權(quán)威指南m.清華大學出版社，2015.2apache hadoop website， http：/hadoop. .3michealg.noll. benchmarking and stress testing an hadoop clusterwith terasort， testdfsio& co.， http：/ benchmarking-and-st