《基于新信息技術(shù)的Hadoop大數(shù)據(jù)技術(shù)》 課件 項(xiàng)目2 Hadoop技術(shù)概述

Hadoop大數(shù)據(jù)技術(shù)——Hadoop技術(shù)概述湖南軟件職業(yè)技術(shù)大學(xué)Hadoop的前世今生什么是大數(shù)據(jù)湖南軟件職業(yè)技術(shù)大學(xué)數(shù)據(jù)結(jié)構(gòu)海量存儲(chǔ)能力讀寫速度實(shí)時(shí)hadoophbasesparkstrom雙11電商數(shù)據(jù)大屏智慧交通高速收費(fèi)站數(shù)據(jù)大屏工程建設(shè)作戰(zhàn)指揮室生產(chǎn)作業(yè)KPI指標(biāo)分析什么是大數(shù)據(jù)湖南軟件職業(yè)技術(shù)大學(xué)操作系統(tǒng)hadoop數(shù)據(jù)庫硬件大數(shù)據(jù)是什么大數(shù)據(jù)的背后是硬件、數(shù)據(jù)庫、操作系統(tǒng)、Hadoop等一系列技術(shù)的綜合應(yīng)用。

大數(shù)據(jù)這三個(gè)字只是一門市場(chǎng)語言，不是一項(xiàng)專門的技術(shù)。湖南軟件職業(yè)技術(shù)大學(xué)HDFS負(fù)責(zé)大數(shù)據(jù)的存儲(chǔ)MapReduce負(fù)責(zé)大數(shù)據(jù)的計(jì)算YARN負(fù)責(zé)集群資源的調(diào)度

Hadoop是由一系列軟件庫組成的框架。這些軟件庫各自負(fù)責(zé)Hadoop的一部分功能，其中最主要的是HDFS、MapReduce和YARN。Hadoop是什么湖南軟件職業(yè)技術(shù)大學(xué)Hadoop項(xiàng)目起源湖南軟件職業(yè)技術(shù)大學(xué)《TheGoogleFileSystem》2003年《MapReduce:SimplifiedDataProcessingonLargeClusters》2004年《Bigtable:ADistributedStorageSystemforStructuredData》2006年Hadoop起源于Google的三篇著名論文：2004年左右，DougCutting開發(fā)出初始版本的Hadoop，作為Nutch項(xiàng)目的一部分。Hadoop發(fā)展歷程HDFS（分布式文件系統(tǒng)）MapReduce(分布式離線計(jì)算框架)HBase（NOSQL分布式數(shù)據(jù)庫）第一階段前Hadoop時(shí)代（2003-2007）三大論文、DougCutting、HadoopHBase萌芽階段湖南軟件職業(yè)技術(shù)大學(xué)Hadoop發(fā)展歷程第二階段后Hadoop時(shí)代（2008-2014）Hadoop、HBase、Hive、Pig、Sqoop等百花齊放，眼花繚亂各個(gè)組件層出不窮，相互之間的兼容性管理混亂，雖然選擇性多，但是很亂湖南軟件職業(yè)技術(shù)大學(xué)HDFS（分布式文件系統(tǒng)）MapReduce(分布式離線計(jì)算框架)HivePigMahoutHBaseZookeeperSqoopFlumeOozieHadoop發(fā)展歷程第三階段Hadoop商業(yè)發(fā)行版時(shí)代（2011-2020）商業(yè)發(fā)行版、CDH、HDP等等，云原生套件出現(xiàn)，如阿里云、華為云、騰訊云、百度云標(biāo)準(zhǔn)的發(fā)行版大行其道，提供免費(fèi)版本，云原生商業(yè)版如火如荼湖南軟件職業(yè)技術(shù)大學(xué)Hadoop發(fā)展歷程第四階段國產(chǎn)化開源發(fā)行版時(shí)代（2021開始）USDP標(biāo)準(zhǔn)的發(fā)行版紛紛收費(fèi)，國產(chǎn)化開源發(fā)行版勢(shì)在必行湖南軟件職業(yè)技術(shù)大學(xué)Hadoop名字起源湖南軟件職業(yè)技術(shù)大學(xué)

Hadoop這個(gè)名字不是一個(gè)縮寫，而是一個(gè)虛構(gòu)的名字。該項(xiàng)目的創(chuàng)建者，DougCutting解釋Hadoop的得名：“這個(gè)名字是我孩子給一個(gè)棕黃色的大象玩具命名的。我的命名標(biāo)準(zhǔn)就是簡(jiǎn)短，容易發(fā)音和拼寫，沒有太多的意義，并且不會(huì)被用于別處。小孩子恰恰是這方面的高手?！泵秩〉暮秒S意啊，大象玩具湖南軟件職業(yè)技術(shù)大學(xué)Hadoop生態(tài)系統(tǒng)簡(jiǎn)介20092019hadoop版本迭代Hadoop版本迭代20072014湖南軟件職業(yè)技術(shù)大學(xué)Hadoop生態(tài)系統(tǒng)湖南軟件職業(yè)技術(shù)大學(xué)生態(tài)圈湖南軟件職業(yè)技術(shù)大學(xué)Hadoop的優(yōu)勢(shì)及應(yīng)用場(chǎng)景方便彈性簡(jiǎn)單Hadoop可以運(yùn)行在一般商業(yè)服務(wù)器構(gòu)成的大型集群上，或者是亞馬遜彈性計(jì)算云(AmazonEC2)/阿里云等云計(jì)算服務(wù)上。Hadoop可以通過增加節(jié)點(diǎn)方式來線性地?cái)U(kuò)展集群規(guī)模，以便處理更大的數(shù)據(jù)集。同時(shí)，在集群負(fù)載下降時(shí)，也可以減少節(jié)點(diǎn)以提高資源使用效率。Hadoop允許用戶快速編寫出高效的分布式計(jì)算程序。Hadoop的優(yōu)勢(shì)湖南軟件職業(yè)技術(shù)大學(xué)健壯Hadoop在設(shè)計(jì)之初，就將故障檢測(cè)和自動(dòng)恢復(fù)作為一個(gè)設(shè)計(jì)目標(biāo)，它可以從容處理通用計(jì)算平臺(tái)上出現(xiàn)硬件失效的情況。Cloudera運(yùn)營總監(jiān)稱，美國有70%的智能手機(jī)數(shù)據(jù)服務(wù)背后都是由Hadoop來支撐的，也就是說包括數(shù)據(jù)的存儲(chǔ)以及無線運(yùn)營商的數(shù)據(jù)處理等，都是在利用Hadoop技術(shù)。Hadoop在這一領(lǐng)域應(yīng)用非常廣泛，eBay就是最大的實(shí)踐者之一。國內(nèi)的電商平臺(tái)在Hadoop技術(shù)儲(chǔ)備上也非常雄厚。目前全球范圍內(nèi)80%的在線旅游網(wǎng)站都是在使用Cloudera公司提供的Hadoop發(fā)行版，其中SearchBI網(wǎng)站曾經(jīng)報(bào)導(dǎo)過的Expedia也在其中。這個(gè)領(lǐng)域普通用戶接觸得比較少，一般只有金融服務(wù)或者政府機(jī)構(gòu)會(huì)用到。利用Hadoop來存儲(chǔ)所有的客戶交易數(shù)據(jù)，包括一些非結(jié)構(gòu)化的數(shù)據(jù)，能夠幫助機(jī)構(gòu)發(fā)現(xiàn)客戶的異常活動(dòng)，預(yù)防欺詐行為。電在詐移動(dòng)數(shù)據(jù)在線旅游詐騙檢測(cè)電子商務(wù)移Hadoop的應(yīng)用領(lǐng)域醫(yī)療行業(yè)也會(huì)用到Hadoop，像IBM的Watson就會(huì)使用Hadoop集群作為其服務(wù)的基礎(chǔ)，包括語義分析等高級(jí)分析技術(shù)。醫(yī)療機(jī)構(gòu)可以利用語義分析為患者提供醫(yī)護(hù)人員，并協(xié)助醫(yī)生更好地為患者進(jìn)行診斷。美國Chevron公司是全美