CDH-HDP-MAPR-DKH-星環(huán)組件比較

1、、組件比較:序號組件名稱（美國（美國（美國（中國大快）Transwarp（中國星環(huán)）VVVVVVVVVVVVVVVVVVVVVVVVV7ImpalaVV8SqoopVVVVV9FlumeVVVVV10OozieVVVVV11SolrVVV12IsilonV13KVindexerV14ClouderaManagerV15kafkaVVVVV17ElasticsearchVV18DK-ESSQLV19DK-NLPV20DK-SPIDERV21DKMV22DK-DMYSQLV23FalconV24KnoxV25PhoenixVVV27RangerV28SliderV29TezV30DrillV31M

2、apR-DBV32MapRStreamsV33MahoutVV34HttpFSV35SentryV36SaharaV37MyriadV38TranswarpInceptorV39TranswarpHyperbaseV40TranswarpStreamV41AmbariV、組件簡介：1、Hadoop簡介：集群基礎組件，分為存儲6DFS)和計算(Mapreduce)兩大部分。apache社區(qū)開源。技術來源于Google的GFS和Mapreduce。Hbase簡介：鍵-值非關系型數據庫，apache社區(qū)開源。是Google的Bigtable一個開源的實現(xiàn)。Zookeeper簡介：集群協(xié)調組件，已開源

3、。是Google的Chubby一個開源的實現(xiàn)。Spark簡介：內存計算框架，伯克利首先提出，現(xiàn)已開源。5、Hive簡介：基于HDFS的SQL工具，facebook開發(fā)，后開源。6、Hue簡介：圖形化集群工具，cloudera開發(fā)，后開源。7、Impala簡介：基于HDFS的SQL工具，cloudera開發(fā)，后開源。8、Sqoop簡介：用于關系型數據庫與NOSQL數據庫之間的數據導入導出。Cloudera開發(fā)，已開源。9、Flume簡介：用于數據流的導入，Cloudera開發(fā)，已開源。10、Oozie簡介：工作流系統(tǒng)，用于提交、監(jiān)控集群作業(yè)。Cloudera開發(fā)，已開源。Solr簡介：基于Luc

4、ene的全文搜索服務器。已開源。Isilon簡介：基于OneFs操作系統(tǒng)的存儲產品，美國賽龍公司開發(fā)，后屬于EMC，一種集群存儲方案。13、K-Vstoreindexer簡介：為HBase到solr的索引中間件，為NGDATA公司開發(fā)，已開源。14、ClouderaManager簡介：CDH集群安裝管理工具。Cloudera開發(fā)。15、kafka簡介：消息隊列組件。已經開源。Storm簡介：流數據處理組件。Elasticsearch簡介：基于Lucene的全文搜索服務器。已開源。ESSQL簡介：基于Elasticsearch的SQL工具，大快開發(fā)。19、DK-NLP簡介：自然語言處理組件。大快

5、開發(fā)，已開源。20、DK-SPIDER簡介：分布式爬蟲組件。大快開發(fā)。21、DKM簡介：集群安裝管理工具。大快開發(fā)。22、DK-DMYSQL簡介：分布式MYSQL組件，大快改寫。23、ApacheFalcon簡介：Falcon是一個面向Hadoop的、新的數據處理和管理平臺，設計用于數據移動、數據管道協(xié)調、生命周期管理和數據發(fā)現(xiàn)。ApacheKnox簡介：Apacheknox是一個訪問hadoop集群的restapi網關，它為所有rest訪問提供了一個簡單的訪問接口點。ApachePhoenix簡介：Phoenix是HBase的SQL驅動。ApachePig簡介：Pig定義了數據流語言PigL

6、atin，它是MapReduce編程抽象。ApacheRanger簡介：ranger是一個hadoop集群權限框架，提供操作、監(jiān)控、管理復雜的數據權限，它提供一個集中的管理機制，管理基于yarn的hadoop生態(tài)圈的所有數據權限。ApacheSlider簡介：Slider是一個YARN應用，用于發(fā)布已有的分布式應用到YARN上，并對這些應用進行監(jiān)控以及根據需要調整規(guī)模。Tez簡介：Tez支持DAG作業(yè)的計算框架，它直接源于MapReduce框架，核心思想是將Map和Reduce兩個操作進一步拆分形成一個大的DAG作業(yè)。ApacheDrill簡介：ApacheDrill是一個低延遲的分布式海量數

7、據（涵蓋結構化、半結構化以及嵌套數據）交互式查詢引擎，使用ANSISQL兼容語法。MapR-DB簡介：MapR開發(fā)MapRStreams簡介：MapR開發(fā)Mahout簡介：機器學習算法庫，現(xiàn)已停止更新。HttpFS簡介：Cloudera開發(fā)的基于http協(xié)議的HDFS操作組件。Sentry簡介：ApacheSentry是Cloudera公司發(fā)布的一個Hadoop開源組件，截止目前還是Apache的孵化項目，它提供了細粒度級、基于角色的授權以及多租戶的管理模式。Sahara簡介：Sahara旨在為用戶提供簡單部署Hadoop集群的能力，提供在OpenStack上快速配置和部署Hadoop集群的能

8、力。37、Myriad0.1.0簡介:Myriad是一個Mesos框架用來動態(tài)擴展YARN集群，并支持運行Hadoop應用，如Spark和非Hadoop應用，如Node.js、Memcached、RoR等。TranswarpInceptor簡介：由ApacheSpark改寫，TranswarpInceptor交互式分析引擎提供高速SQL分析和R語言數據挖掘能力，可幫助企業(yè)建立高速可擴展的數據倉庫和/或數據集市，結合多種報表工具提供交互式數據分析、即時報表和可視化能力。星環(huán)開發(fā)。TranswarpHyperbase簡介：TranswarpHyperbase實時數據庫是建立在ApacheHBase基礎之上，融合了多種索引技術、分布式事務處理、全文實時搜索、圖形數據庫在內的實時NoSQL數據庫。星環(huán)開發(fā)。TranswarpStream簡介：TranswarpStream實時流處理引擎提供了強大的流計算表達能力，支持復雜的應用邏輯，生產系統(tǒng)的消息通過實時消息隊列進入計算集群，在集群內以流水線方式被依次處理，完成數據轉換、特征提取、