Hadoop技術(shù)介紹ppt課件

1、Hadoop是什么Hadoop是如何運(yùn)作的Hadoop能做什么大數(shù)據(jù)時(shí)代三架馬車目錄一份數(shù)據(jù)存放多個(gè)副本，自動重新分配失敗的任務(wù)。Hadoop是什么Hadoop是如何運(yùn)作的Hadoop能做什么大數(shù)據(jù)時(shí)代三架馬車目錄 化大為小化大為小 化繁為簡化繁為簡開發(fā)方式開發(fā)方式 實(shí)現(xiàn)實(shí)現(xiàn)mapmap函數(shù)函數(shù) 實(shí)現(xiàn)實(shí)現(xiàn)reducereduce函數(shù)函數(shù) 方法一方法一寫一個(gè)小程序遍歷整個(gè)文件，統(tǒng)計(jì)每一個(gè)遇到的詞的出現(xiàn)次數(shù)。寫一個(gè)小程序遍歷整個(gè)文件，統(tǒng)計(jì)每一個(gè)遇到的詞的出現(xiàn)次數(shù)。 方法二方法二寫一個(gè)多線程并發(fā)遍歷整個(gè)文件。寫一個(gè)多線程并發(fā)遍歷整個(gè)文件。多線程并發(fā)控制多線程并發(fā)控制 方法三方法三將程序放到多臺機(jī)器上

2、執(zhí)行。將程序放到多臺機(jī)器上執(zhí)行。部署麻煩，需要人工部署麻煩，需要人工copycopy、整合、整合 方法四方法四MapReduceMapReduce。只需實(shí)現(xiàn)只需實(shí)現(xiàn)MapMap和和ReduceReduce的邏輯，的邏輯，MapReduceMapReduce框架已經(jīng)幫我們實(shí)現(xiàn)了文件分割、同步框架已經(jīng)幫我們實(shí)現(xiàn)了文件分割、同步CopyCopy、合并等工作。、合并等工作。 NameNodeNameNode命名服務(wù)器、記錄元數(shù)據(jù)的信息命名服務(wù)器、記錄元數(shù)據(jù)的信息 JobTrackerJobTracker負(fù)責(zé)負(fù)責(zé)MapReduceMapReduce的的JobJob調(diào)度調(diào)度 SecondaryNameNo

3、deSecondaryNameNode對對NameNodeNameNode元數(shù)據(jù)的備份服務(wù)元數(shù)據(jù)的備份服務(wù) DataNodeDataNode數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn), ,響應(yīng)客戶端的數(shù)據(jù)請求響應(yīng)客戶端的數(shù)據(jù)請求 TaskTrackerTaskTracker負(fù)責(zé)負(fù)責(zé)MapReduceMapReduce的任務(wù)調(diào)度的任務(wù)調(diào)度集群拓?fù)浣Y(jié)構(gòu) HDFS上的最小數(shù)據(jù)單元為Block。原始文件被分成1個(gè)或者多個(gè)Block，默認(rèn)Block大小為6464M，默認(rèn)存儲3 3份Block。 由NameNode決定三份Block分別存放在哪些DataNode上。根據(jù)散列算法出第一份數(shù)據(jù)的存放節(jié)點(diǎn)，在同一機(jī)架（Rack）中的另一

4、個(gè)DataNode保存第二份數(shù)據(jù)，在不同機(jī)架的另一個(gè)DataNode保存第三份數(shù)據(jù)。NameNode記錄了數(shù)據(jù)的所有位置信息。 客戶端對數(shù)據(jù)的存取都是直接與DataNode之間進(jìn)行數(shù)據(jù)傳輸，NameNode向客戶端反饋數(shù)據(jù)的位置信息和數(shù)據(jù)節(jié)點(diǎn)的信息。 Hadoop Hadoop命令與大部分命令與大部分linuxlinux文件操作命令相同或者類似。分為以下幾類命令。文件操作命令相同或者類似。分為以下幾類命令。n 啟動命令啟動命令start-all.shstart-all.sh啟動整個(gè)集群服務(wù)啟動整個(gè)集群服務(wù)stop-all.shstop-all.sh停止整個(gè)集群服務(wù)停止整個(gè)集群服務(wù)startst

5、art單個(gè)服務(wù)的啟動、停止單個(gè)服務(wù)的啟動、停止n 管理命令管理命令hadoop dfsadmin hadoop dfsadmin 集群管理命令集群管理命令hadoop namenodehadoop namenode命名節(jié)點(diǎn)管理命令命名節(jié)點(diǎn)管理命令hadoop fsckhadoop fsck文件系統(tǒng)檢查命令文件系統(tǒng)檢查命令n 文件操作命令文件操作命令hadoop fs lshadoop fs lshadoop fs put localpath hdfspathhadoop fs put localpath hdfspathhadoop fs -get hdfspath localpathhado

6、op fs -get hdfspath localpathn JobJob管理命令管理命令hadoop job listhadoop job listmapreducemapreduce任務(wù)列表任務(wù)列表hadoop job kill jobidhadoop job kill jobid殺死殺死m(xù)apreducemapreduce任務(wù)任務(wù)Hadoop是什么Hadoop是如何運(yùn)作的Hadoop能做什么大數(shù)據(jù)時(shí)代三架馬車目錄 離線海量數(shù)據(jù)分析離線海量數(shù)據(jù)分析一次寫入，多次讀取一次寫入，多次讀取海量歷史數(shù)據(jù)統(tǒng)計(jì)分析海量歷史數(shù)據(jù)統(tǒng)計(jì)分析 非結(jié)構(gòu)化數(shù)據(jù)處理非結(jié)構(gòu)化數(shù)據(jù)處理日志分析日志分析用戶行為分析用戶行

7、為分析 分布式并行計(jì)算應(yīng)用分布式并行計(jì)算應(yīng)用復(fù)雜算法計(jì)算復(fù)雜算法計(jì)算圓周率圓周率Hadoop是什么Hadoop是如何運(yùn)作的Hadoop能做什么大數(shù)據(jù)時(shí)代三架馬車目錄HDFSMapReduceHBasePigHiveZooKeeperZooKeeperETLBI ReportRDBMSThriftThriftHive/Pig 數(shù)據(jù)倉庫工具HBase 列式數(shù)據(jù)庫Hadoop 數(shù)據(jù)底層Hive Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。 其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過類SQL

8、語句快速實(shí)現(xiàn)簡單的MapReduce統(tǒng)計(jì)，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計(jì)分析。數(shù)據(jù)存儲數(shù)據(jù)存儲n TableTable每個(gè)表對應(yīng)HDFS上一個(gè)目錄。n PartitionPartition對指定列根據(jù)列值進(jìn)行分區(qū)，每個(gè)區(qū)一個(gè)目錄。n BucketBucket對指定列進(jìn)行Hash分區(qū)，每個(gè)區(qū)一個(gè)目錄。n External TableExternal Table對應(yīng)HDFS一個(gè)目錄路徑，刪除表，數(shù)據(jù)不會刪除Hbase (Hadoop DataBase) HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫。Hbase依托于Hadoop的HDFS作為最基本存儲基礎(chǔ)單元?；痉?wù)

9、基本服務(wù)n HMaster管理元數(shù)據(jù)的信息管理HRegionServer的負(fù)載均衡n HRegionServer響應(yīng)用戶I/O請求存儲格式存儲格式n HFileHBase中KeyValue數(shù)據(jù)的存儲格式，HFile是Hadoop的二進(jìn)制格式文件。n HLogFileHBase中WAL（Write Ahead Log） 的存儲格式，物理上是Hadoop的Sequence File。相關(guān)框架相關(guān)框架n ZooKeeperZookeeper是Google的Chubby一個(gè)開源的實(shí)現(xiàn)，是高有效和可靠的協(xié)同工作系統(tǒng)，Zookeeper能夠用來Leader選舉，配置信息維護(hù)等。n SqoopSqoop是一個(gè)用來將