Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)與案例實(shí)戰(zhàn)（微課版）課件 2.1Hadoop簡(jiǎn)介（完）

Hadoop大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)——Hadoop簡(jiǎn)介目錄content0201Hadoop簡(jiǎn)介Hadoop特點(diǎn)Hadoop簡(jiǎn)介Hadoop是一個(gè)Apache軟件基金會(huì)旗下的開(kāi)源軟件Hadoop簡(jiǎn)介Hadoop具有旺盛的生命力免費(fèi)極大的降低使用的復(fù)雜旺盛的生命力它對(duì)普通用戶屏蔽了技術(shù)底層實(shí)現(xiàn)的細(xì)節(jié)，只要按照它提供的接口做一些簡(jiǎn)單的操作，后臺(tái)所有的工作全部有它整個(gè)系統(tǒng)技術(shù)自己去實(shí)現(xiàn)。Hadoop簡(jiǎn)介Hadoop是用Java開(kāi)發(fā)，但支持多種編程語(yǔ)言開(kāi)發(fā)Hadoop是使用Java語(yǔ)言開(kāi)發(fā)，但不是只能用Java語(yǔ)言去寫Hadoop的應(yīng)用，在Hadoop平臺(tái)上開(kāi)發(fā)它的應(yīng)用可以使用任意語(yǔ)言。Hadoop簡(jiǎn)介--兩大核心大數(shù)據(jù)項(xiàng)目的集合體，一整套解決方案的統(tǒng)稱分布式并行編程框架MapReduce海量數(shù)據(jù)的分布式計(jì)算分布式文件系統(tǒng)HDFS：海量數(shù)據(jù)的分布式存儲(chǔ)Hadoop簡(jiǎn)介--解決兩大關(guān)鍵問(wèn)題HDFS：海量數(shù)據(jù)的分布式存儲(chǔ)解決怎么用成百上千乃至上萬(wàn)臺(tái)機(jī)器存儲(chǔ)PB乃至EB規(guī)模的數(shù)據(jù)。Hadoop解決了大數(shù)據(jù)時(shí)代最關(guān)鍵的兩個(gè)難題：MapReduce:海量數(shù)據(jù)的分布式處理解決上千臺(tái)服務(wù)器同時(shí)完成一個(gè)任務(wù)的分布式并行處理。Hadoop在各個(gè)領(lǐng)域得到了非常廣泛的應(yīng)用，滿足了許多企業(yè)實(shí)際的需求，也成為各大知名公司的寵兒。。Hadoop簡(jiǎn)介--應(yīng)用國(guó)內(nèi)點(diǎn)擊添加標(biāo)題內(nèi)容添加關(guān)鍵字Hadoop起源Hadoop平臺(tái)的兩大核心組件均來(lái)自于谷歌2008年1月，Hadoop正式成為Apache頂級(jí)項(xiàng)目；2008年4月，Hadoop用910個(gè)節(jié)點(diǎn)構(gòu)成集群，對(duì)1TB的數(shù)據(jù)進(jìn)行排序，僅用了209秒，一戰(zhàn)成名，Hadoop由此名聲大震。Hadoop最早是為了構(gòu)建一個(gè)大型全網(wǎng)搜索引擎。谷歌2004年發(fā)布了并行編程框架MapReduce。2005年，Hadoop平臺(tái)把它作為自己的MapReduce的開(kāi)源實(shí)現(xiàn)。谷歌2003年發(fā)布了分布式文件系統(tǒng)GFS，2004年，Hadoop把GFS應(yīng)用到自己的平臺(tái)，即HDFS是GFS的開(kāi)源實(shí)現(xiàn)。Hadoop簡(jiǎn)介Hadoop的名字不是單詞的首字母縮寫Hadoop不是版本號(hào)最高就代表最新這是因?yàn)閷?duì)于任何一個(gè)Apache開(kāi)源項(xiàng)目，當(dāng)需要開(kāi)發(fā)某個(gè)特性時(shí)，會(huì)專門從主代碼線中延伸出一個(gè)分支。由于多個(gè)分支可能會(huì)同時(shí)進(jìn)行研發(fā)，因此版本高的分支有時(shí)候會(huì)先于版本低的分支發(fā)布。Hadoop項(xiàng)目負(fù)責(zé)人曾經(jīng)這樣描述過(guò)這個(gè)名字：“這是我的孩子給他的黃色毛絨小象玩具起得名字，簡(jiǎn)短易于讀寫，沒(méi)有具體意義且沒(méi)有被別人使用過(guò)，這就是我對(duì)于項(xiàng)目命名的原則”。Hadoop特點(diǎn)低成本高效性高容錯(cuò)性高可靠性支持多種編程語(yǔ)言高擴(kuò)展性Hadoop特點(diǎn)高可靠性Hadoop采用冗余副本機(jī)制；當(dāng)部分機(jī)器發(fā)生故障時(shí)，其他機(jī)器也可以保證集群正常對(duì)外提供服務(wù)。集群中的一臺(tái)機(jī)器有問(wèn)題，其余機(jī)器繼續(xù)提供服務(wù)Hadoop特點(diǎn)高效性Hadoop以并行的方式工作，非常高效的處理海量數(shù)據(jù)。成百上千臺(tái)機(jī)器一起計(jì)算Hadoop特點(diǎn)高擴(kuò)展性Hadoop實(shí)現(xiàn)了線性擴(kuò)展，可以從單個(gè)服務(wù)器擴(kuò)展到數(shù)千臺(tái)計(jì)算機(jī)，并且每臺(tái)計(jì)算機(jī)都提供了數(shù)據(jù)存儲(chǔ)功能和計(jì)算功能。Hadoop特點(diǎn)高容錯(cuò)性Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配，當(dāng)其中一個(gè)副本出現(xiàn)故障時(shí)，不影響集群的整體運(yùn)行。Hadoop特點(diǎn)低成本Hadoop使用廉價(jià)計(jì)算機(jī)搭建集群，從而降低了硬件成本，普通用戶也可以使用自己的個(gè)人計(jì)算機(jī)搭建和運(yùn)行Hadoop。個(gè)人計(jì)算機(jī)搭建大數(shù)據(jù)集群Hadoop特點(diǎn)123支持多種編程語(yǔ)言支持多種編程語(yǔ)言完成Hadoop平臺(tái)的應(yīng)用程序開(kāi)發(fā)。

具有很好的跨平臺(tái)特性；Ha