Hadoop家族介紹資料

Hadoop家族介紹簡(jiǎn)介ApacheHadoop是一款支持?jǐn)?shù)據(jù)密集型分布式應(yīng)用并以Apache2.0許可協(xié)議發(fā)布的開(kāi)源軟件框架。它支持在商品硬件構(gòu)建的大型集群上運(yùn)行的應(yīng)用程序。Hadoop是根據(jù)Google公司發(fā)表的MapReduce和Google檔案系統(tǒng)的論文自行實(shí)作而成。Hadoop框架透明地為應(yīng)用提供可靠性和數(shù)據(jù)移動(dòng)。它實(shí)現(xiàn)了名為MapReduce的編程范式：應(yīng)用程序被分割成許多小部分，而每個(gè)部分都能在集群中的任意節(jié)點(diǎn)上執(zhí)行或重新執(zhí)行。此外，Hadoop還提供了分布式文件系統(tǒng)，用以存儲(chǔ)所有計(jì)算節(jié)點(diǎn)的數(shù)據(jù)，這為整個(gè)集群帶來(lái)了非常高的帶寬。MapReduce和分布式文件系統(tǒng)的設(shè)計(jì)，使得整個(gè)框架能夠自動(dòng)處理節(jié)點(diǎn)故障。它使應(yīng)用程序與成千上萬(wàn)的獨(dú)立計(jì)算的電腦和PB級(jí)的數(shù)據(jù)。常用的項(xiàng)目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa，YARN,Hcatalog,Oozie,Cassandra,Hama,Whirr,Flume,Bigtop,Crunch,Hue等。關(guān)系圖如下：各項(xiàng)目簡(jiǎn)介Apache

Hadoop:是Apache開(kāi)源組織的一個(gè)分布式計(jì)算開(kāi)源框架，提供了一個(gè)分布式文件系統(tǒng)子項(xiàng)目(HDFS)和支持MapReduce分布式計(jì)算的軟件架構(gòu)。ApacheHive:是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，通過(guò)類(lèi)SQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)，不必開(kāi)發(fā)專(zhuān)門(mén)的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析。ApachePig:是一個(gè)基于Hadoop的大規(guī)模數(shù)據(jù)分析工具，它提供的SQL-LIKE語(yǔ)言叫PigLatin，該語(yǔ)言的編譯器會(huì)把類(lèi)SQL的數(shù)據(jù)分析請(qǐng)求轉(zhuǎn)換為一系列經(jīng)過(guò)優(yōu)化處理的MapReduce運(yùn)算。ApacheHBase:是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。ApacheSqoop:是一個(gè)用來(lái)將Hadoop和關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)（MySQL,Oracle,Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。ApacheZookeeper:是一個(gè)為分布式應(yīng)用所設(shè)計(jì)的分布的、開(kāi)源的協(xié)調(diào)服務(wù)，它主要是用來(lái)解決分布式應(yīng)用中經(jīng)常遇到的一些數(shù)據(jù)管理問(wèn)題，簡(jiǎn)化分布式應(yīng)用協(xié)調(diào)及其管理的難度，提供高性能的分布式服務(wù)ApacheMahout:是基于Hadoop的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的一個(gè)分布式框架。Mahout用MapReduce實(shí)現(xiàn)了部分?jǐn)?shù)據(jù)挖掘算法，解決了并行挖掘的問(wèn)題。ApacheCassandra:是一套開(kāi)源分布式NoSQL數(shù)據(jù)庫(kù)系統(tǒng)。它最初由Facebook開(kāi)發(fā)，用于儲(chǔ)存簡(jiǎn)單格式數(shù)據(jù)，集GoogleBigTable的數(shù)據(jù)模型與AmazonDynamo的完全分布式的架構(gòu)于一身ApacheAvro:是一個(gè)數(shù)據(jù)序列化系統(tǒng)，設(shè)計(jì)用于支持?jǐn)?shù)據(jù)密集型，大批量數(shù)據(jù)交換的應(yīng)用。Avro是新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機(jī)制ApacheAmbari:是一種基于Web的工具，支持Hadoop集群的供應(yīng)、管理和監(jiān)控。ApacheChukwa:是一個(gè)開(kāi)源的用于監(jiān)控大型分布式系統(tǒng)的數(shù)據(jù)收集系統(tǒng)，它可以將各種各樣類(lèi)型的數(shù)據(jù)收集成適合Hadoop處理的文件保存在HDFS中供Hadoop進(jìn)行各種MapReduce操作。ApacheHama:是一個(gè)基于HDFS的BSP（BulkSynchronousParallel)并行計(jì)算框架,Hama可用于包括圖、矩陣和網(wǎng)絡(luò)算法在內(nèi)的大規(guī)模、大數(shù)據(jù)計(jì)算。ApacheFlume:是一個(gè)分布的、可靠的、高可用的海量日志聚合的系統(tǒng)，可用于日志數(shù)據(jù)收集，日志數(shù)據(jù)處理，日志數(shù)據(jù)傳輸。ApacheGiraph:是一個(gè)可伸縮的分布式迭代圖處理系統(tǒng)，基于Hadoop平臺(tái)，靈感來(lái)自BSP(bulksynchronousparallel)和Google的Pregel。ApacheOozie:是一個(gè)工作流引擎服務(wù)器,用于管理和協(xié)調(diào)運(yùn)行在Hadoop平臺(tái)上（HDFS、Pig和MapReduce）的任務(wù)。ApacheCrunch:是基于Google的FlumeJava庫(kù)編寫(xiě)的Java庫(kù)，用于創(chuàng)建MapReduce程序。與Hive，Pig類(lèi)似，Crunch提供了用于實(shí)現(xiàn)如連接數(shù)據(jù)、執(zhí)行聚合和排序記錄等常見(jiàn)任務(wù)的模式庫(kù)ApacheWhirr:是一套運(yùn)行于云服務(wù)的類(lèi)庫(kù)（包括Hadoop），可提供高度的互補(bǔ)性。Whirr學(xué)支持AmazonEC2和Rackspace的服務(wù)。ApacheBigtop:是一個(gè)對(duì)Hadoop及其周邊生態(tài)進(jìn)行打包，分發(fā)和測(cè)試的工具。ApacheHCatalog:是基于Hadoop的數(shù)據(jù)表和存儲(chǔ)管理，實(shí)現(xiàn)中央的元數(shù)據(jù)和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供