CDH-HDP-MAPR-DKH-星環(huán)組件比較_第1頁(yè)
CDH-HDP-MAPR-DKH-星環(huán)組件比較_第2頁(yè)
CDH-HDP-MAPR-DKH-星環(huán)組件比較_第3頁(yè)
CDH-HDP-MAPR-DKH-星環(huán)組件比較_第4頁(yè)
CDH-HDP-MAPR-DKH-星環(huán)組件比較_第5頁(yè)
已閱讀5頁(yè),還剩3頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

、組件比較:序號(hào)組件名稱CDH(美國(guó)Cloudera)HDP(美國(guó)Hortonworks)MAPR(美國(guó)MapR)DKH(中國(guó)大快)Transwarp(中國(guó)星環(huán))1HadoopJVVVV2HBaseVVVV3ZookeeperJVVVV4SparkVVVV5HiveVVVV6HueVVV7ImpalaVV8SqoopVVVVV9FlumeVVVVV10OozieVVVVV11SolrVVV12IsilonV13KVindexerV14ClouderaManagerV15kafkaVV16StormVVV17ElasticsearchVV18DK-ESSQLV19DK-NLPV20DK-SPIDERV21DKMV22DK-DMYSQLV23FalconV24KnoxV25PhoenixV26PigVV27RangerV28SliderV29TezV30DrillV31MapR-DBV32MapRStreamsV33MahoutVV34HttpFSV35SentryV36SaharaV37MyriadV38TranswarpInceptorV39TranswarpHyperbaseV40TranswarpStreamV41AmbariV、組件簡(jiǎn)介:Hadoop簡(jiǎn)介:集群基礎(chǔ)組件,分為存儲(chǔ)6DFS)和計(jì)算(Mapreduce)兩大部分。apache社區(qū)開(kāi)源。技術(shù)來(lái)源于因空”的GFS和Mapreduce。Hbase簡(jiǎn)介:鍵-值非關(guān)系型數(shù)據(jù)庫(kù),apache社區(qū)開(kāi)源。是Google的Bigtable一個(gè)開(kāi)源的實(shí)現(xiàn)。Zookeeper簡(jiǎn)介:集群協(xié)調(diào)組件,已開(kāi)源。是Google的Chubby一個(gè)開(kāi)源的實(shí)現(xiàn)。Spark簡(jiǎn)介:內(nèi)存計(jì)算框架,伯克利首先提出,現(xiàn)已開(kāi)源。Hive簡(jiǎn)介:基于HDFS的SQL工具,facebook開(kāi)發(fā),后開(kāi)源。6、Hue簡(jiǎn)介:圖形化集群工具,cloudera開(kāi)發(fā),后開(kāi)源。Impala簡(jiǎn)介:基于HDFS的SQL工具,cloudera開(kāi)發(fā),后開(kāi)源。Sqoop簡(jiǎn)介:用于關(guān)系型數(shù)據(jù)庫(kù)與NOSQL數(shù)據(jù)庫(kù)之間的數(shù)據(jù)導(dǎo)入導(dǎo)出。Cloudera開(kāi)發(fā),已開(kāi)源。Flume簡(jiǎn)介:用于數(shù)據(jù)流的導(dǎo)入,Cloudera開(kāi)發(fā),已開(kāi)源。Oozie簡(jiǎn)介:工作流系統(tǒng),用于提交、監(jiān)控集群作業(yè)。Cloudera開(kāi)發(fā),已開(kāi)源。Solr簡(jiǎn)介:基于Lucene的全文搜索服務(wù)器。已開(kāi)源。Isilon簡(jiǎn)介:基于OneFs操作系統(tǒng)的存儲(chǔ)產(chǎn)品,美國(guó)賽龍公司開(kāi)發(fā),后屬于EMC,一種集群存儲(chǔ)方案。K-Vstoreindexer簡(jiǎn)介:為HBase到solr的索引中間件,為NGDATA公司開(kāi)發(fā),已開(kāi)源。ClouderaManager簡(jiǎn)介:CDH集群安裝管理工具。Cloudera開(kāi)發(fā)。kafka簡(jiǎn)介:消息隊(duì)列組件。已經(jīng)開(kāi)源。Storm簡(jiǎn)介:流數(shù)據(jù)處理組件。Elasticsearch簡(jiǎn)介:基于Lucene的全文搜索服務(wù)器。已開(kāi)源。ESSQL簡(jiǎn)介:基于Elasticsearch的SQL工具,大快開(kāi)發(fā)。DK-NLP簡(jiǎn)介:自然語(yǔ)言處理組件。大快開(kāi)發(fā),已開(kāi)源。DK-SPIDER簡(jiǎn)介:分布式爬蟲(chóng)組件。大快開(kāi)發(fā)。DKM簡(jiǎn)介:集群安裝管理工具。大快開(kāi)發(fā)。DK-DMYSQL簡(jiǎn)介:分布式MYSQL組件,大快改寫(xiě)。ApacheFalcon簡(jiǎn)介:Falcon是一個(gè)面向Hadoop的、新的數(shù)據(jù)處理和管理平臺(tái),設(shè)計(jì)用于數(shù)據(jù)移動(dòng)、數(shù)據(jù)管道協(xié)調(diào)、生命周期管理和數(shù)據(jù)發(fā)現(xiàn)。ApacheKnox簡(jiǎn)介:Apacheknox是一個(gè)訪問(wèn)hadoop集群的restapi網(wǎng)關(guān),它為所有rest訪問(wèn)提供了一個(gè)簡(jiǎn)單的訪問(wèn)接口點(diǎn)。ApachePhoenix簡(jiǎn)介:Phoenix是HBase的SQL驅(qū)動(dòng)。ApachePig簡(jiǎn)介:Pig定義了數(shù)據(jù)流語(yǔ)言PigLatin,它是MapReduce編程抽象。ApacheRanger簡(jiǎn)介:ranger是一個(gè)hadoop集群權(quán)限框架,提供操作、監(jiān)控、管理復(fù)雜的數(shù)據(jù)權(quán)限,它提供一個(gè)集中的管理機(jī)制,管理基于yarn的hadoop生態(tài)圈的所有數(shù)據(jù)權(quán)限。ApacheSlider簡(jiǎn)介:Slider是一個(gè)YARN應(yīng)用,用于發(fā)布已有的分布式應(yīng)用到Y(jié)ARN上,并對(duì)這些應(yīng)用進(jìn)行監(jiān)控以及根據(jù)需要調(diào)整規(guī)模。Tez簡(jiǎn)介:Tez支持DAG作業(yè)的計(jì)算框架,它直接源于MapReduce框架,核心思想是將Map和Reduce兩個(gè)操作進(jìn)一步拆分形成一個(gè)大的DAG作業(yè)。ApacheDrill簡(jiǎn)介:ApacheDrill是一個(gè)低延遲的分布式海量數(shù)據(jù)(涵蓋結(jié)構(gòu)化、半結(jié)構(gòu)化以及嵌套數(shù)據(jù))交互式查詢引擎,使用ANSISQL兼容語(yǔ)法。MapR-DB簡(jiǎn)介:MapR開(kāi)發(fā)MapRStreams簡(jiǎn)介:MapR開(kāi)發(fā)Mahout簡(jiǎn)介:機(jī)器學(xué)習(xí)算法庫(kù),現(xiàn)已停止更新。HttpFS簡(jiǎn)介:Cloudera開(kāi)發(fā)的基于http協(xié)議的HDFS操作組件。Sentry簡(jiǎn)介:ApacheSentry是Cloudera公司發(fā)布的一個(gè)Hadoop開(kāi)源組件,截止目前還是Apache的孵化項(xiàng)目,它提供了細(xì)粒度級(jí)、基于角色的授權(quán)以及多租戶的管理模式。Sahara簡(jiǎn)介:Sahara旨在為用戶提供簡(jiǎn)單部署Hadoop集群的能力,提供在OpenStack上快速配置和部署Hadoop集群的能力。37、Myriad0.1.0簡(jiǎn)介:Myriad是一個(gè)Mesos框架用來(lái)動(dòng)態(tài)擴(kuò)展YARN集群,并支持運(yùn)行Hadoop應(yīng)用,如Spark和非Hadoop應(yīng)用,如Node.js、Memcached、RoR等。TranswarpInceptor簡(jiǎn)介:由ApacheSpark改寫(xiě),TranswarpInceptor交互式分析引擎提供高速SQL分析和R語(yǔ)言數(shù)據(jù)挖掘能力,可幫助企業(yè)建立高速可擴(kuò)展的數(shù)據(jù)倉(cāng)庫(kù)和/或數(shù)據(jù)集市,結(jié)合多種報(bào)表工具提供交互式數(shù)據(jù)分析、即時(shí)報(bào)表和可視化能力。星環(huán)開(kāi)發(fā)。TranswarpHyperbase簡(jiǎn)介:TranswarpHyperbase實(shí)時(shí)數(shù)據(jù)庫(kù)是建立在ApacheHBase基礎(chǔ)之上,融合了多種索引技術(shù)、分布式事務(wù)處理、全文實(shí)時(shí)搜索、圖形數(shù)據(jù)庫(kù)在內(nèi)的實(shí)時(shí)NoSQL數(shù)據(jù)庫(kù)。星環(huán)開(kāi)發(fā)。TranswarpStream簡(jiǎn)介:TranswarpStream實(shí)時(shí)流處理引擎提供了強(qiáng)大的流計(jì)算表達(dá)能力,支持復(fù)雜的應(yīng)用邏輯,生產(chǎn)系統(tǒng)的消息通過(guò)實(shí)時(shí)消息隊(duì)列進(jìn)入計(jì)算集群,在集群內(nèi)以流水線方式被依次處理,完成數(shù)據(jù)轉(zhuǎn)換、

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論