Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)與案例實(shí)戰(zhàn)（微課版）課件 5.1認(rèn)識(shí)MapReduce(完)

Hadoop大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)——認(rèn)識(shí)MapReduce目錄content02MapReduce設(shè)計(jì)思想01MapReduce簡(jiǎn)介03MapReduce特點(diǎn)MapReduce簡(jiǎn)介在大數(shù)據(jù)時(shí)代，數(shù)據(jù)量非常大，不能把數(shù)據(jù)放在一個(gè)單機(jī)上運(yùn)行，而是借助一個(gè)集群通過(guò)多臺(tái)機(jī)器同時(shí)并行處理大規(guī)模數(shù)據(jù)集，幫助我們獲得海量的計(jì)算能力；單機(jī)無(wú)法運(yùn)行集群多臺(tái)機(jī)器并行處理MapReduce簡(jiǎn)介開(kāi)源實(shí)現(xiàn)谷歌公司最早提出分布式并行編程MapReduce，Hadoop平臺(tái)對(duì)它進(jìn)行了開(kāi)源實(shí)現(xiàn)，成為Hadoop平臺(tái)兩個(gè)核心組件之一。MapReduce簡(jiǎn)介任何一個(gè)節(jié)點(diǎn)出現(xiàn)問(wèn)題不會(huì)影響其他節(jié)點(diǎn)正常運(yùn)行，又設(shè)置了冗余和容錯(cuò)機(jī)制。整個(gè)集群可以隨意增加減少計(jì)算節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)只需要很廉價(jià)的PC機(jī)。只需要告訴Hadoop“做什么？”，整個(gè)系統(tǒng)框架自動(dòng)實(shí)現(xiàn)分布式部署。Hadoop平臺(tái)對(duì)Google上的MapReduce進(jìn)行了很多相關(guān)的優(yōu)化處理：集群架構(gòu)和容錯(cuò)性硬件價(jià)格及擴(kuò)展性編程和學(xué)習(xí)難度MapReduce設(shè)計(jì)思想Reduce函數(shù)Map函數(shù)屏蔽所有編程細(xì)節(jié)，把復(fù)雜的并行編程過(guò)程高度抽象為：MapReduce名稱(chēng)的由來(lái)：MapReduce整個(gè)框架中核心設(shè)計(jì)只有這兩個(gè)函數(shù)，底層的細(xì)節(jié)都被隱藏掉了，所以它極大的降低了分布式并行編程的難度，這是MapReduce的突出優(yōu)點(diǎn)。MapReduce設(shè)計(jì)思想策略理念函數(shù)兩個(gè)函數(shù)一個(gè)策略一個(gè)理念MapReduce的設(shè)計(jì)思想總結(jié)有：一個(gè)策略，一個(gè)理念，兩個(gè)函數(shù)。MapReduce設(shè)計(jì)思想一個(gè)策略：“分而治之”第一步：MapReduce采用分而治之；第二步：把非常龐大的數(shù)據(jù)集，切分成非常多的獨(dú)立小分片；第三步：然后為每一個(gè)分片單獨(dú)地啟動(dòng)一個(gè)Map任務(wù)；最后：最終通過(guò)多個(gè)Map任務(wù)，并行地在多個(gè)機(jī)器上去處理。MapReduce設(shè)計(jì)思想一個(gè)理念：”計(jì)算向數(shù)據(jù)靠攏”機(jī)器：數(shù)據(jù)機(jī)器：數(shù)據(jù)機(jī)器：數(shù)據(jù)機(jī)器：計(jì)算在大數(shù)據(jù)計(jì)算設(shè)計(jì)時(shí)，采用“計(jì)算向數(shù)據(jù)靠攏”，移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)更加經(jīng)濟(jì)，大大減少了整個(gè)網(wǎng)絡(luò)中數(shù)據(jù)傳輸開(kāi)銷(xiāo)，大大提升整個(gè)分布式程序的處理性能。機(jī)器：數(shù)據(jù)MapReduce設(shè)計(jì)思想MapReduce把復(fù)雜的并行編程過(guò)程高度抽象為Map和Reduce兩個(gè)函數(shù)Map對(duì)一組數(shù)據(jù)元素進(jìn)行某種重復(fù)式的處理，提取數(shù)據(jù)的特征。Reduce對(duì)Map的中間結(jié)果進(jìn)行某種進(jìn)一步的結(jié)果整理。兩個(gè)函數(shù)：Map函數(shù)和Reduce函數(shù)=+MapReduce設(shè)計(jì)思想統(tǒng)一構(gòu)架，隱藏系統(tǒng)層細(xì)節(jié)通過(guò)抽象模型和計(jì)算框架把需要“做什么”與“怎么做”分開(kāi)，為設(shè)計(jì)者提供一個(gè)高層的編程接口和框架。將具體完成并行計(jì)算任務(wù)相關(guān)的諸多系統(tǒng)層細(xì)節(jié)隱藏起來(lái)，交給計(jì)算框架去處理。MapReduce優(yōu)點(diǎn)0203易于編程良好的擴(kuò)展性高容錯(cuò)性01只需要告訴Hadoop“做什么？”，整個(gè)系統(tǒng)框架自動(dòng)實(shí)現(xiàn)分布式部署。整個(gè)集群可以隨意增加減少計(jì)算節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)只需要很廉價(jià)的PC機(jī)。任何一個(gè)節(jié)點(diǎn)出現(xiàn)問(wèn)題不會(huì)影響其他節(jié)點(diǎn)正常運(yùn)行，又設(shè)置了冗余和容錯(cuò)機(jī)制。MapReduce不足不擅長(zhǎng)實(shí)時(shí)計(jì)算不擅長(zhǎng)流式計(jì)算不擅長(zhǎng)有向圖計(jì)算性能局限應(yīng)用局限MapReduce不足不擅長(zhǎng)流式計(jì)算不擅長(zhǎng)有向圖計(jì)算不擅長(zhǎng)實(shí)時(shí)計(jì)算MapReduce無(wú)法在毫秒或者秒級(jí)內(nèi)返回結(jié)果。321流式計(jì)算的輸入數(shù)據(jù)是動(dòng)態(tài)的，而MapReduce的輸入數(shù)據(jù)集是靜態(tài)的，不能動(dòng)態(tài)變化；MapReduce適用于海量數(shù)據(jù)的離線批處理；不適合數(shù)據(jù)事務(wù)處理或單一請(qǐng)求處理。多個(gè)應(yīng)用程序存在依賴(lài)關(guān)系，后一個(gè)應(yīng)用程序的輸入為前一個(gè)的輸出。在這種情況下，MapReduce并不是不能做，而是使用后，每個(gè)MapReduce作業(yè)的輸出結(jié)果都會(huì)寫(xiě)入到磁盤(pán)，會(huì)造成大量的磁盤(pán)IO開(kāi)銷(xiāo)，導(dǎo)致性能非常低。MapReduce不足Map任務(wù)和Reduce任務(wù)存在著嚴(yán)格的依賴(lài)關(guān)系，Map任務(wù)的中間結(jié)果存儲(chǔ)在本地磁盤(pán)上，Reduce任務(wù)需要從磁盤(pán)上獲取Map計(jì)算的中間結(jié)果并將其作為Reduce的輸入，這樣就會(huì)產(chǎn)生大量的磁盤(pán)IO開(kāi)銷(xiāo)，使得計(jì)算機(jī)性能降低。性能局限MapReduce不適合一般的Web應(yīng)用，因?yàn)檫@些應(yīng)用只是簡(jiǎn)單的數(shù)據(jù)訪問(wèn)且每次訪問(wèn)請(qǐng)求所需要的資源非常少，同時(shí)還需要滿(mǎn)足高并發(fā)訪問(wèn)需求。應(yīng)用