異構(gòu)Hadoop集群下自適應(yīng)平衡數(shù)據(jù)存儲的大數(shù)據(jù)放置策略

1、異構(gòu)Hadoop集群下自適應(yīng)平衡數(shù)據(jù)存儲的大數(shù)據(jù)放置策略摘要：Hadoop是一種處理和存儲大數(shù)據(jù)的平臺， 針對異構(gòu)Hadoop集群下采用均等數(shù)據(jù)分配方法易降低系統(tǒng) 計算性能的問題，提由一種自適應(yīng)平衡數(shù)據(jù)存儲的大數(shù)據(jù)放 置策略。根據(jù)異構(gòu)集群中各節(jié)點的計算能力比例，將數(shù)據(jù)分 配到節(jié)點中。在任務(wù)處理過程中，根據(jù)反饋的任務(wù)完成時間 信息，動態(tài)更新節(jié)點的能力比例，自適應(yīng)調(diào)整數(shù)據(jù)分配，從 而使異構(gòu)Hadoop集群中各節(jié)點處理數(shù)據(jù)的時間大致相同， 降低節(jié)點之間的數(shù)據(jù)移動量，提高了節(jié)點利用率。實驗結(jié)果 表明，該策略能夠有效縮減任務(wù)完成時間，提高了系統(tǒng)的整 體性能。關(guān)鍵詞：異構(gòu)Hadoop集群；大數(shù)據(jù)放置；數(shù)據(jù)

2、存儲平臺；平衡數(shù)據(jù)存儲中圖分類號：TN915734; TP393文獻(xiàn)標(biāo)識碼：A文章編號： 1004?373X (2016) 10?0049?05A big data placement strategy for adaptive balance data storage in heterogeneous Hadoop clusterZHANG Shaohui1, ZHANG Zhongjun2, YU Laihang3(1. College of Network Engineering , Zhoukou Normal University , Zhoukou 466001 , China;

3、2. College of ComputerScience and Technology, Zhoukou Normal University ,Zhoukou 466001 , China; 3. College of Computer Science and Technology, Dalian University of Technology , DaLian 116024, China)Abstract: Hadoop is a platform for processing and storage of big data. A big data placement strategy

4、for adaptive balance data storage in heterogeneous Hadoop cluster is proposed to solve the issue that equal data placement in heterogeneous Hadoop cluster will debase the calculation performance of the system. The data is placed into nodes according to the computing capacity ratio of each node in he

5、terogeneous cluster. In the process of task processing , the node ratio is updated dynamically according to the feedback information of task completion time , and then the adaptive adjustment of data distribution is conducted ， so that the time that every node in heterogeneous Hadoop cluster process

6、es the data is basically same, the amount of data transfer between nodes is reduced , and the utilization of nodes is improved. The experimental results show that the proposed strategy can effectively reduce the task completion time and improve the overall performance of the system.Keywords: heterog

7、eneous Hadoop cluster ; big dataplacement; data storage platform ； balance data storage0引言Hadoop系統(tǒng)通過分布式文件系統(tǒng) 1?2 (Hadoop Distributed File System, HDF0 來解決大數(shù)據(jù)的存儲。HDFS具有橫向擴(kuò)展存儲能力、高可靠性、適合對數(shù)據(jù)進(jìn)行分布式 計算等優(yōu)點3?4。異構(gòu)環(huán)境中，若采用原始 HDFS的均等數(shù) 據(jù)分配策略，將會大大增加數(shù)據(jù)傳輸?shù)臅r間，影響系統(tǒng)整體 性能5?6。因此，需要開發(fā)一種異構(gòu)環(huán)境中的動態(tài)數(shù)據(jù)放置 策略，以減少數(shù)據(jù)塊從高能量節(jié)點移動至低能量節(jié)點的

8、次數(shù) 7,從而提高 Hadoop性能?，F(xiàn)有針對異構(gòu)Hadoop中的數(shù)據(jù)放置問題的研究中，文 獻(xiàn)8提由一種調(diào)度器，通過計算所有節(jié)點的剩余執(zhí)行時間， 為剩余時間最長的節(jié)點啟動備份任務(wù)；具雖然能提高 MapRaduce的計算性能，卻需要較多的等待時間。文獻(xiàn) 9 提由一種數(shù)據(jù)放置策略，依據(jù)每個節(jié)點的計算能力值來分配 數(shù)據(jù)，主要解決計算階段的數(shù)據(jù)傾斜問題，然而，該策略只 在開始階段進(jìn)行數(shù)據(jù)放置，沒有考慮任務(wù)執(zhí)行過程中的節(jié)點 計算能力的動態(tài)變化，且節(jié)點能量值的計算也不夠精確。本文提由一種異構(gòu) Hadoop集群下的自適應(yīng)大數(shù)據(jù)放置 策略，根據(jù)節(jié)點的計算能力放置數(shù)據(jù)，并在任務(wù)執(zhí)行過程中 自適應(yīng)調(diào)整放置比例。實

9、驗結(jié)果表明，本文策略能夠有效減 少數(shù)據(jù)的移動量，從而縮短了任務(wù)完成時間，提高了 Hadoop系統(tǒng)的性能1 Hadoop 介紹Hadoop包括兩個主要部分：MapReduce和HDF其中 MapReduce負(fù)責(zé)并行計算，HDFS負(fù)責(zé)數(shù)據(jù)管理10。Hadoop 系統(tǒng)中，Hadoop劃分任務(wù)和數(shù)據(jù)為子任務(wù)和數(shù)據(jù)塊，并分 配到集群中的節(jié)點11。HDFS文件系統(tǒng)通常包括一個 NameNode和多個 DataNode, HDFS總體結(jié)構(gòu)示意圖如圖 1所示。NameNode 只負(fù)責(zé)存儲節(jié)點元數(shù)據(jù)，并且 DataNode通過周期性的心跳 信號與 NameNode通信，這樣一來，減輕了 NameNode的 負(fù)載

10、壓力，不會由現(xiàn)大量的數(shù)據(jù)流造成擁堵12。2問題描述Hadoop假設(shè)集群中每個節(jié)點的計算能力相同，并為每 個節(jié)點分配相同的負(fù)載，因此其能充分利用集群中的資源； 但是，在現(xiàn)實應(yīng)用程序中，集群經(jīng)常工作在異構(gòu)環(huán)境下，可 能存在不同配置的 PC或服務(wù)器，致使節(jié)點能量各不相同。 在這種情況下，如果仍然使用原始HDFS策略，平均分配數(shù)據(jù)塊和負(fù)載到每個節(jié)點，這會使各節(jié)點處理本地數(shù)據(jù)塊的完 成時間不同，從而降低 Hadoop策略的整體性能13。另外， 若此時主節(jié)點仍然分配非執(zhí)行性的任務(wù)到閑置的較快節(jié)點， 但該節(jié)點未擁有處理所需的數(shù)據(jù)，所需數(shù)據(jù)需從網(wǎng)絡(luò)的另一 節(jié)點傳輸。由于等待數(shù)據(jù)傳輸需要時間，也將導(dǎo)致延長整個

11、任務(wù)的執(zhí)行時間，所以，大量的數(shù)據(jù)移動也會影響整體Hadoop性能14。其中，整個任務(wù)執(zhí)行時間為從執(zhí)行開始到 最后一個子任務(wù)完成的時間。圖2顯示了一個原始 HDFS數(shù)據(jù)分配的例子。圖 2中， 集群中有3個節(jié)點，3個節(jié)點的計算能力不同，假設(shè)節(jié)點A的計算能力是節(jié)點 B的2倍，是節(jié)點C的3倍。如圖2 (a) 所示，處理任務(wù)所需的數(shù)據(jù)塊近似等分配到每個節(jié)點：節(jié)點 A有3個數(shù)據(jù)塊，節(jié)點B有4個，節(jié)點C有4個。任務(wù)開始 執(zhí)行后，節(jié)點A將是最快完成處理存儲在節(jié)點A中數(shù)據(jù)塊的節(jié)點，此時，節(jié)點 B和節(jié)點C分別完成其中1.5個和1個數(shù) 據(jù)塊。由于此時節(jié)點 A具有空任務(wù)時隙，所以 NameNode安 排未處理任務(wù)給節(jié)

12、點 A,則節(jié)點A必須等待處理任務(wù)，即需 要從節(jié)點B或節(jié)點C轉(zhuǎn)移數(shù)據(jù)(圖2 (c)中為從節(jié)點B到節(jié) 點A,圖2 (d)和圖2 (e)中為從節(jié)點 C到節(jié)點A),此時 節(jié)點A需要等待，直到數(shù)據(jù)轉(zhuǎn)移結(jié)束再進(jìn)行下一步操作。最 后，如圖2 (f)所示，節(jié)點A從其他兩個節(jié)點轉(zhuǎn)移了 3個數(shù) 據(jù)塊，以此均衡負(fù)載，但轉(zhuǎn)移等待時間延長了整體任務(wù)執(zhí)行 時間，影響了 Hadoop性能。如果能夠合理分配任務(wù)，減少轉(zhuǎn)移數(shù)據(jù)量，就能夠有效 減少任務(wù)執(zhí)行時間，進(jìn)一步提高了Hadoop的性能。正如上所述，如圖3所示為一個改進(jìn)后的最佳數(shù)據(jù)分配的例子。按照3個節(jié)點的計算能力重新分配數(shù)據(jù)塊，假設(shè)節(jié)點A擁有6個數(shù)據(jù)塊，節(jié)點B擁有3個，而

13、節(jié)點C擁有2個，如 圖3所示。當(dāng)執(zhí)行任務(wù)時，節(jié)點 A執(zhí)行最快，但節(jié)點 A比節(jié) 點B和節(jié)點C的數(shù)據(jù)塊多，不需要轉(zhuǎn)移數(shù)據(jù)塊，節(jié)點能夠使 用本地數(shù)據(jù)執(zhí)行任務(wù)，使各節(jié)點能夠幾乎同時完成任務(wù)，因 此，可以減少總體任務(wù)執(zhí)行時間。3提由的數(shù)據(jù)放置策略本文針對異構(gòu)Hadoop集群，根據(jù)任務(wù)類型提生了一種 自適應(yīng)數(shù)據(jù)放置策略，合理調(diào)整數(shù)據(jù)塊的分配。提由的策略 主要包括兩個階段：(1)初始數(shù)據(jù)分配階段，在輸入數(shù)據(jù)寫入HDFS時執(zhí)行；(2)能力決策和數(shù)據(jù)重分配階段，在處理任務(wù)時執(zhí)行。創(chuàng)建 RatioTable當(dāng) Hadoop 開始時，在 NameNode 中創(chuàng)建 RatioTable, RatioTable表示各節(jié)

14、點計算能力的比例。當(dāng)數(shù)據(jù)寫入HDFS時，RatioTable用于確定節(jié)點中數(shù)據(jù)塊的分配比例；在執(zhí)行任務(wù) 時，RatioTable用于確定數(shù)據(jù)塊是否需要重新分配。RatioTable記錄任務(wù)類型和每個節(jié)點能量的比例。NameNode根據(jù)每個DataNode的心跳消息所返回的任務(wù)執(zhí)行時間，來計算每個節(jié) 點的計算能力比例。表1顯示了一個RatioTable例子。集群中有3個節(jié)點，其中每個節(jié)點的計算能力不相同：節(jié)點 A最 快，然后是節(jié)點B,節(jié)點C最慢，集群執(zhí)行兩項任務(wù)， WordCount和Grep。因止匕，RatioTable中有兩項任務(wù)記錄，對于WordCount任務(wù)，節(jié)點之間的計算能力比例為3

15、： 1.5 ： 1。對于 Grep任務(wù)，比例為 2.5 ： 1.5 ： 1。表1節(jié)點計算能力的比例初始數(shù)據(jù)分配階段當(dāng)數(shù)據(jù)寫入 HDFS時，NameNode首先檢查RatioTable, 用于確定是否執(zhí)行比例分配。如果RatioTable中具有該項任務(wù)的信息記錄，則將依據(jù)記錄在RatioTable中的節(jié)點計算能力比例，將最新寫入數(shù)據(jù)分配到每個節(jié)點；如果 RatioTable 沒有該項任務(wù)的記錄，則將數(shù)據(jù)均勻分配到節(jié)點，同時， NameNode將在RatioTable中增加該類任務(wù)的新記錄，并設(shè) 置每個節(jié)點的計算能力為1。根據(jù)表1,如果有數(shù)據(jù)要寫入 HDFS,假設(shè)這些數(shù)據(jù)可劃 分為11個數(shù)據(jù)塊，用

16、來執(zhí)行 WordCount任務(wù)，則根據(jù) RatioTable中記錄的性能比例來分配數(shù)據(jù)。因此，節(jié)點 A分 配6個11X33+1.5+1=6數(shù)據(jù)塊，節(jié)點 B分配3個11X 1.53+1.5+1=3數(shù)據(jù)塊，節(jié)點 C 分配 2 個11 X 13+1.5+1=2數(shù)據(jù) 塊。如果執(zhí)行的任務(wù)為一個新任務(wù)TeraSort, NameNode先檢查RatioTable,且沒有尋找到 TeraSort記錄，這種情況下， 則設(shè)定計算節(jié)點 A、節(jié)點B和節(jié)點C執(zhí)行TeraSort的能力比 例為1 ： 1 ： 1,并將數(shù)據(jù)均勻分配到3個節(jié)點，然后在RatioTable創(chuàng)建TeraSort的記錄。初始數(shù)據(jù)分配流程圖見圖4,

17、過程如算法1所示。算法1初始數(shù)據(jù)分配：當(dāng)數(shù)據(jù)寫入HDFS時：JobType將執(zhí)行的數(shù)據(jù)的任務(wù)類型;DataSize-從數(shù)據(jù)信息獲得；BlockSize一用戶設(shè)置；TotalBlockNumber=DataSizeBlockSize;設(shè)置 Same=0;for RatioTable中的每條記錄 doif JobType與記錄相同 thenSame=1;ComputerCapacityRatio從記錄獲得；for集群中每個 DataNode doNodeCapacity從 ComputerCapacityRatio 獲得；BlockNumber=TotalBlockNumber*NodeCapac

18、ityeachnode capacity ;分配 BlockNumber 數(shù)據(jù)塊到 DataNode;if Same=0 thenComputerCapacityRatio設(shè)置每個節(jié)點的能力為1;添力口 ComputerCapacityRatio 的 JobType記錄至fj RatioTable;for集群中每個節(jié)點 doNodeCapacity=1;BlockNumber=TotalBlockNumber*NodeCapacityeachnode capacity; 分配 BlockNumber 數(shù)據(jù)塊到 DataNode數(shù)據(jù)重分配階段初始分配結(jié)束后，開始執(zhí)行任務(wù)，并進(jìn)入數(shù)據(jù)重分配階 段。

19、該階段分為2個部分：(1)計算節(jié)點的計算能力比例；(2)根據(jù)該比例進(jìn)行數(shù)據(jù)重新分配。一旦任務(wù)開始執(zhí)行，每個節(jié)點將接收首批任務(wù)，當(dāng)每個 DataNode執(zhí)行完成該任務(wù)后，將返回任務(wù)執(zhí)行時間給 NameNode, NameNode依據(jù)這些執(zhí)行時間來計算節(jié)點的能 力比例。但是，每個節(jié)點具有不同任務(wù)時隙數(shù)，可使多個任 務(wù)并行處理。為了獲得準(zhǔn)確的計算能力比例，本文采用完成 一組任務(wù)所需的平均時間除以時隙數(shù)來計算。例如，有兩個 節(jié)點：節(jié)點A和節(jié)點B,其中節(jié)點A的速度是節(jié)點 B的2倍， 假設(shè)節(jié)點A的任務(wù)時隙數(shù)為4,節(jié)點B的為2。節(jié)點A可同 時執(zhí)行4個任務(wù)，假設(shè)這4個任務(wù)所需的時間分別為 45 s, 43 s

20、, 43 s和46 s,取平均為 44.25 s。節(jié)點B同時執(zhí)行2個 任務(wù)所需的時間分別為 39 s和40 s,取平均為39.5 s。因此， 節(jié)點A和節(jié)點B的計算能力比為39.52 : 44.254o 用數(shù)學(xué)公 式表示以上分析，令Tavg (X)表示節(jié)點X中完成一批任務(wù) 的平均執(zhí)行時間；令S (X)表示X的任務(wù)時隙數(shù)；Tt (X) 表示X完成一項任務(wù)的計算能力，即，Tt (X) =Tavg (X) S(X)NameNode使用Tt (X)來計算每個節(jié)點的計算能力比 例，然后，將該比例與RatioTable中的記錄相比較，如果與現(xiàn)有記錄相同，則將不轉(zhuǎn)移任何數(shù)據(jù)塊；如果不同，則將根 據(jù)該新比例轉(zhuǎn)移

21、數(shù)據(jù)塊，同時，NameNode將修改RatioTable中的記錄。另外，轉(zhuǎn)移數(shù)據(jù)塊在后臺處理，Hadoop任務(wù)不需要等待數(shù)據(jù)轉(zhuǎn)移完成。數(shù)據(jù)重分配過程流程圖如圖5所示，如算法2所示。圖5數(shù)據(jù)重分配階段的流程圖算法2數(shù)據(jù)重分配： 當(dāng)一項任務(wù)開始時： NodeNumber 從 NameNode 獲得； CurrentNumberNodeNumber 所有項均設(shè)為 0;/記錄從每個節(jié)點接收的任務(wù)執(zhí)行時間 TotalExecutionTimeNodeNumber所有項均設(shè)為 0; While從DataNodei接收到任務(wù)執(zhí)行時間doSlotNumber 從 DataNodei獲得； ExecutionT

22、ime任務(wù)執(zhí)行時間；TotalExecutionTimei=TotalExecutionTimei+ExecutionTime ;CurrentNumberi=CurrentNumberi+1; if CurrentNumberi= SlotNumber then Tavg=TotalExecutionTimeiSlotNumber; Tt=TavgSlotNumber;CurrentNumberi=0;TotalExecutionTimei=0;if獲得每個節(jié)點的Tt thenPerformanceRatio PerformanceRatio 和Tt成反比；for RatioTable 中的

23、記錄 doif PerformanceRatio 與t己錄不同 then 艱據(jù)PerformanceRatio重新分配數(shù)據(jù)塊； 艱據(jù)PerformanceRatio修改記錄4實驗及分析實驗環(huán)境實驗中，本文使用了2個HP ProLiant DL380 G6服務(wù)器,每個擁有16個CPU, 20 GB內(nèi)存和500 GB硬盤，本文使用 虛擬機(jī)軟件VirtualBox來創(chuàng)建計算節(jié)點。為了實現(xiàn)異構(gòu)環(huán)境， 設(shè)置每個節(jié)點上的 CPU和內(nèi)存不同。本文創(chuàng)建了 5個虛擬機(jī): 1個主機(jī)和4個從機(jī)，各節(jié)點配置如表2所示。另外，所有虛擬機(jī)都采用Ubuntu操作系統(tǒng)。表2每個節(jié)點的配置實驗結(jié)果執(zhí)行 WordCount和Gr

24、ep兩種類型的任務(wù)，以評估本文策略的性能。WordCount是用于統(tǒng)計輸入文本中字?jǐn)?shù)的應(yīng)用； Grep是一種使用正則表達(dá)式搜索文本的應(yīng)用15。首先，本文測量每個節(jié)點的計算性能，設(shè)定所有輸入數(shù) 據(jù)的大小為1 GB和2 GB時，在每個節(jié)點上分別執(zhí)行 WordCount和Grep兩種任務(wù)，共運(yùn)行10輪，取時間平均值， 結(jié)果如圖6所示，具體數(shù)據(jù)如表 3所示。表3每個節(jié)點執(zhí)行 WordCount和Grep任務(wù)的時間 s從圖6可看由，所執(zhí)行數(shù)據(jù)大小不影響節(jié)點之間的運(yùn)算 能力比例，對于莫一特定的應(yīng)用程序，雖然輸入文件的大小 不同，但是節(jié)點在執(zhí)行時的速率基本上是一致的，每個節(jié)點 的執(zhí)行時間與數(shù)據(jù)大小成正比。由

25、表3的數(shù)據(jù)可知集群中各節(jié)點的工作計算能力比例見表4 o表4每個節(jié)點計算能力的比例將本文策略與傳統(tǒng) HDFS策略、兩種改進(jìn)HDFS策略（見 文獻(xiàn)8?9）進(jìn)行比較。實驗中每個數(shù)據(jù)為2 GB,數(shù)據(jù)塊的為64 MB。在具有4個節(jié)點的集群上分別執(zhí)行 WordCount和Grep 兩種任務(wù)，每一輪同時執(zhí)行10個任務(wù)，共執(zhí)行5輪，其中每個任務(wù)處理不同的數(shù)據(jù)文件。最后獲得各種策略的任務(wù)平 均執(zhí)行時間見圖7。從圖7可看由，傳統(tǒng)HDFS策略的執(zhí)行時 間最長，因其沒有考慮節(jié)點異構(gòu)性，平均分配數(shù)據(jù)到各個節(jié) 點，致使在執(zhí)行任務(wù)過程中，要大量移動數(shù)據(jù)，延長執(zhí)行時 間。文獻(xiàn)8?9的改進(jìn)方法一定程度上改善了數(shù)據(jù)放置性能， 但

26、其只在開始階段進(jìn)行數(shù)據(jù)放置，不能自適應(yīng)的調(diào)整。本文 策略獲得最短的執(zhí)行時間，因為其根據(jù)節(jié)點異構(gòu)性在放置數(shù) 據(jù)，并在執(zhí)行任務(wù)過程中根據(jù)該任務(wù)類型下的節(jié)點計算能力 比例變化，自適應(yīng)調(diào)整數(shù)據(jù)放置，使數(shù)據(jù)的移動量最小，從 而獲得最小執(zhí)行時間，相比于傳統(tǒng)HDFSt略縮短了約27%。5結(jié)語本文針對異構(gòu)Hadoop集群，提由一種大數(shù)據(jù)放置策略， 根據(jù)異構(gòu)集群中各節(jié)點的計算能力比例，將數(shù)據(jù)分配到節(jié)點 中，并根據(jù)任務(wù)處理階段反饋的任務(wù)完成時間信息，動態(tài)更 新節(jié)點的能力比例，降低節(jié)點之間數(shù)據(jù)的移動量，提高節(jié)點 的利用率。將本文策略與傳統(tǒng) HDFS和兩種改進(jìn)策略進(jìn)行比 較，結(jié)果表明，本文策略能夠有效縮減任務(wù)完成時間

27、，提高 系統(tǒng)的整體性能。將來工作中，將進(jìn)行大量數(shù)據(jù)來驗證本文 策略的有效性。另外，考慮不同密集型任務(wù)，如 I/O和CPU 密集型等，研究本文策略對于處理這些任務(wù)所需數(shù)據(jù)的分配 性能。參考文獻(xiàn)1翟巖龍，羅壯，楊凱，等.基于Hadoop的高性能海 量數(shù)據(jù)處理平臺研究J.計算機(jī)科學(xué)，2013, 40 (3): 100?103.2宮靖，王文君.大數(shù)據(jù)存儲中的容錯關(guān)鍵技術(shù)綜述J.南京郵電大學(xué)學(xué)報(自然科學(xué)版)，2014, 34 (4): 20?25.3周江，王偉平，孟丹，等.面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)J.計算機(jī)研究與發(fā)展，2014, 51 (2): 3827394.4 KALA K A CH

28、ITHARANJAN K. Locality sensitive hashing based incremental clustering for creating affinity groups in Hadoop HDFS An infrastructure extension C/ 2013 International Conference on Circuits , Power and Computing Technologies (ICCPCT . S.l.: IEEE 2013:124371249.5羅鵬，龔勛.HDFS數(shù)據(jù)存放策略的研究與改進(jìn)J.計算 機(jī)工程與設(shè)計，2014, 3

29、5 (4): 112771131.6 MPATEL N M PATEL N I HASAN M, et al. Improving data transfer rate and throughput of HDFS using efficient replica placement J. International journal of computer applications , 2014, 86 (2): 477.7林偉偉.一種改進(jìn)的Hadoop數(shù)據(jù)放置策略J.華南理 工大學(xué)學(xué)報(自然科學(xué)版)，2012, 40 (1): 1527158.RAO B T, SRIDEVI N V REDDY V K et al. Performance issues of heterogeneous Hadoop clusters in cloud computing J. Global journal of computer science & technology , 2012, 32 (6): 55763.ARASANAL R M RUMANI D U. Improving MapReduceperformance through complexity and performa