2023學(xué)年完整公開課版MapReduce的重要概念

MapReduce的重要概念目錄一、什么是MapReduce二、MapReduce核心思想三、MapReduce特點(diǎn)四、MapReduce適用的開發(fā)場景一、什么是MapReduce

MapReduce起源，在介紹大數(shù)據(jù)編年史時(shí)有提到Google最早在04年發(fā)表論文MapReduce，之后DougCutting基于這篇論文通過Java做了開源實(shí)現(xiàn)，Mapredce如今是作為Hadoop的核心組件之一，而HDFS是Hadoop的另外一個(gè)核心，此外還有Hadoop2.X之后推出的YARN。什么是MapReduce二、MapReduce核心思想“分而治之”，分治思想是MapReduce當(dāng)中一個(gè)非常重要的思想。大數(shù)據(jù)場景當(dāng)中我們處理的數(shù)據(jù)量非常之大，任務(wù)也很重，于是我們通常采用分治的思想，把這樣一個(gè)大任務(wù)拆分為數(shù)個(gè)本質(zhì)相同卻又互相獨(dú)立的小任務(wù)（就像將一個(gè)大面包切分成多塊小的面包），這些小任務(wù)同時(shí)進(jìn)行計(jì)算，后對計(jì)算結(jié)果進(jìn)行匯總，這樣子的話會比我們單進(jìn)程的計(jì)算速度要快很多。分而治之，分布式計(jì)算二、MapReduce核心思想在HDFS中數(shù)據(jù)已經(jīng)按不同的block拆分之后分散的存儲在不同的DataNode服務(wù)器上，可以讓每一臺數(shù)據(jù)存放結(jié)點(diǎn)（服務(wù)器）先將各自結(jié)點(diǎn)上的數(shù)據(jù)塊計(jì)算完，然后再將最終結(jié)果做一個(gè)整理，也就是說數(shù)據(jù)在哪里、就在哪里計(jì)算，過程當(dāng)中只是將計(jì)算任務(wù)移動(dòng)到對應(yīng)的數(shù)據(jù)結(jié)點(diǎn)來進(jìn)行處理。這樣計(jì)算速度顯然會非常的高效。移動(dòng)計(jì)算，而非移動(dòng)數(shù)據(jù)三、MapReduce特點(diǎn)分布式計(jì)算，計(jì)算跟著數(shù)據(jù)走，數(shù)據(jù)存放在哪就在哪里進(jìn)行計(jì)算，極大的減少了IO的開銷。移動(dòng)計(jì)算而不移動(dòng)數(shù)據(jù)良好的擴(kuò)展性分布式計(jì)算框架擁有相當(dāng)良好的擴(kuò)展性，隨著節(jié)點(diǎn)數(shù)量的增加，單個(gè)節(jié)點(diǎn)的計(jì)算量減小，整體的計(jì)算能力近乎線性的遞增。高容錯(cuò)性計(jì)算任務(wù)失敗，會自動(dòng)恢復(fù)計(jì)算，擁有良好的容錯(cuò)性。三、MapReduce特點(diǎn)提交任務(wù)之后，任務(wù)具體執(zhí)行在哪個(gè)節(jié)點(diǎn)，具體執(zhí)行到哪個(gè)階段，在后臺或者監(jiān)控界面，我們都能實(shí)時(shí)的進(jìn)行監(jiān)控。狀態(tài)監(jiān)控適合于海量數(shù)據(jù)的離線批處理

MapReduce在設(shè)計(jì)之初的目標(biāo)就是面向離線批處理，特別是大吞吐量的離線處理場景，更適合于MapReduce。降低了分布式編程的門檻大部分操作MapReduce已經(jīng)實(shí)現(xiàn)，我們僅僅需要在特定的部分編寫我們自己的業(yè)務(wù)邏輯，極大的減少了工作量，同時(shí)也降低了編程的門檻。四、MapReduce適用的開發(fā)場景對于高吞吐量要求的離線批處理場景，MapReduce都是適用的，如數(shù)據(jù)統(tǒng)計(jì)，搜索引擎構(gòu)建索引，海量數(shù)據(jù)查詢等。并且對于復(fù)雜數(shù)據(jù)分析算法的實(shí)現(xiàn)，MapReduce也是十分適用的。MapReduce適用的開發(fā)場景習(xí)題：1、請解釋一下MapReduce核心思想“分而治之”的含義？2、請解釋一下MapReduce核心思想“移動(dòng)計(jì)算而非移動(dòng)