組件配置總覽_第1頁
組件配置總覽_第2頁
組件配置總覽_第3頁
組件配置總覽_第4頁
組件配置總覽_第5頁
已閱讀5頁，還剩6頁未讀， 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

組件配置總覽Hadoop生態(tài)圈各常用組件介紹0102MapReduceContent目錄301

Hadoop生態(tài)圈各常用組件介紹Hadoop生態(tài)圈各常用組件介紹Hadoop一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。特點(diǎn)具有可靠、高效、可伸縮的特點(diǎn)。具有成熟的生態(tài)系統(tǒng)，包括眾多的開源工具，從下圖可以大致看出Hadoop生態(tài)圈的龐大。YARN,HDFS和MapReduce，Hdfs是分布式文件存儲(chǔ)系統(tǒng)，用于存儲(chǔ)海量數(shù)據(jù)；MapReduce是并行處理框架，實(shí)現(xiàn)任務(wù)分解和調(diào)度。Hadoop可以用來搭建大型數(shù)據(jù)倉庫，對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)、分析、處理和統(tǒng)計(jì)等業(yè)務(wù)，功能十分強(qiáng)大。核心Hadoop生態(tài)圈各常用組件介紹02

MapReduce

MapReduceMapReduce整個(gè)MapReduce的過程大致分為MapShuffle（排序）Combine（組合）Reduce用一句話概括就是，分而治之，然后歸約，即將一個(gè)大任務(wù)分解為多個(gè)小任務(wù)（map），并行執(zhí)行后，合并結(jié)果（reduce）。MapReduce的工作原理MapReduce1.將文件拆分成splits(片)，并將每個(gè)split按行分割形成<key,value>對(duì)。這一步由MapReduce框架自動(dòng)完成，其中偏移量即key值。2.將分割好的<key,value>對(duì)交給用戶定義的map方法進(jìn)行處理，生成新的<key,value>對(duì)。3.得到map方法輸出的<key,value>對(duì)后，Mapper會(huì)將它們按照key值進(jìn)行Shuffle（排序），并執(zhí)行Combine過程，將key值相同得value值累加，得到Mapper的最終輸出結(jié)果。4.Reducer先對(duì)從Mapper接收的數(shù)據(jù)進(jìn)行排序，再交由用戶自定義的reduce方法進(jìn)行處理，得到新的<key,value>對(duì)。1、介紹

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間，僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論