分布式并行編程

分布式并行編程學(xué)習(xí)任務(wù)2了解什么是MapReduce了解MapReduce概述MapReduce適合處理的任務(wù)MapReduce框架的核心優(yōu)勢(shì)3知識(shí)目標(biāo)了解什么是MapReduceMapReduce適合處的任務(wù)MapReduce框架的核心優(yōu)勢(shì)01能力目標(biāo)了解什么是MapReduceMapReduce適合處的任務(wù)MapReduce框架的核心優(yōu)勢(shì)02學(xué)習(xí)目標(biāo)4目錄01MapReduce概述02MapReduce適合處理的任務(wù)03MapReduce框架的核心優(yōu)勢(shì)Hadoop概述-什么是MapReduceMapReduce是一種用于大規(guī)模數(shù)據(jù)集（數(shù)量大、類型復(fù)雜）離線并行運(yùn)算的編程框架。概念"Map（映射）"和"Reduce（歸約）"，是它們的主要思想，都是從函數(shù)式編程語(yǔ)言里借來(lái)的，還有從矢量編程語(yǔ)言里借來(lái)的特性。5Hadoop概述-什么是MapReduce在Hadoop中，每個(gè)MapReduce任務(wù)都被初始化為一個(gè)Job，每個(gè)Job又可以分為四個(gè)主要階段：Split，Map，Shuffle以及Reduce，其中最重要的兩個(gè)階段是Map階段和Reduce階段。6MapReduce適合處理的任務(wù)復(fù)雜的數(shù)據(jù)：業(yè)務(wù)數(shù)據(jù)不能適合行列的數(shù)據(jù)庫(kù)結(jié)構(gòu)。超大規(guī)模數(shù)據(jù)：很多公司僅僅應(yīng)為數(shù)據(jù)存放成本過(guò)高就放棄了很多有價(jià)值的數(shù)據(jù)。新的分析手段：海量復(fù)雜數(shù)據(jù)分析需要使用新的方法。7MapReduce框架的核心優(yōu)勢(shì)高度可擴(kuò)展，可動(dòng)態(tài)增加/削減計(jì)算節(jié)點(diǎn)，真正實(shí)現(xiàn)彈性計(jì)算。高容錯(cuò)能力，支持任務(wù)自動(dòng)遷移、重試和預(yù)測(cè)執(zhí)行，不受計(jì)算節(jié)點(diǎn)故障影響。公平調(diào)度算法，支持優(yōu)先級(jí)和任務(wù)搶占，兼顧長(zhǎng)/短任務(wù)，有效支持交互式任務(wù)。8MapReduce框架的核心優(yōu)勢(shì)就近調(diào)度算法，調(diào)度任務(wù)到最近的數(shù)據(jù)節(jié)點(diǎn)，有效降低網(wǎng)絡(luò)帶寬。動(dòng)態(tài)靈活的資源分配和調(diào)度，達(dá)到資源利用最大化，計(jì)算節(jié)點(diǎn)不會(huì)出現(xiàn)閑置和過(guò)載的情況；同時(shí)支持資源配額管理。經(jīng)過(guò)大量實(shí)際生產(chǎn)環(huán)境使用和驗(yàn)證，最大集群規(guī)模在4000個(gè)計(jì)算節(jié)點(diǎn)9小