版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
、組件比較:序號(hào)組件名稱CDH(美國(guó)Cloudera)HDP(美國(guó)Hortonworks)MAPR(美國(guó)MapR)DKH(中國(guó)大快)Transwarp(中國(guó)星環(huán))1HadoopJVVVV2HBaseVVVV3ZookeeperJVVVV4SparkVVVV5HiveVVVV6HueVVV7ImpalaVV8SqoopVVVVV9FlumeVVVVV10OozieVVVVV11SolrVVV12IsilonV13KVindexerV14ClouderaManagerV15kafkaVV16StormVVV17ElasticsearchVV18DK-ESSQLV19DK-NLPV20DK-SPIDERV21DKMV22DK-DMYSQLV23FalconV24KnoxV25PhoenixV26PigVV27RangerV28SliderV29TezV30DrillV31MapR-DBV32MapRStreamsV33MahoutVV34HttpFSV35SentryV36SaharaV37MyriadV38TranswarpInceptorV39TranswarpHyperbaseV40TranswarpStreamV41AmbariV、組件簡(jiǎn)介:Hadoop簡(jiǎn)介:集群基礎(chǔ)組件,分為存儲(chǔ)6DFS)和計(jì)算(Mapreduce)兩大部分。apache社區(qū)開(kāi)源。技術(shù)來(lái)源于因空”的GFS和Mapreduce。Hbase簡(jiǎn)介:鍵-值非關(guān)系型數(shù)據(jù)庫(kù),apache社區(qū)開(kāi)源。是Google的Bigtable一個(gè)開(kāi)源的實(shí)現(xiàn)。Zookeeper簡(jiǎn)介:集群協(xié)調(diào)組件,已開(kāi)源。是Google的Chubby一個(gè)開(kāi)源的實(shí)現(xiàn)。Spark簡(jiǎn)介:內(nèi)存計(jì)算框架,伯克利首先提出,現(xiàn)已開(kāi)源。Hive簡(jiǎn)介:基于HDFS的SQL工具,facebook開(kāi)發(fā),后開(kāi)源。6、Hue簡(jiǎn)介:圖形化集群工具,cloudera開(kāi)發(fā),后開(kāi)源。Impala簡(jiǎn)介:基于HDFS的SQL工具,cloudera開(kāi)發(fā),后開(kāi)源。Sqoop簡(jiǎn)介:用于關(guān)系型數(shù)據(jù)庫(kù)與NOSQL數(shù)據(jù)庫(kù)之間的數(shù)據(jù)導(dǎo)入導(dǎo)出。Cloudera開(kāi)發(fā),已開(kāi)源。Flume簡(jiǎn)介:用于數(shù)據(jù)流的導(dǎo)入,Cloudera開(kāi)發(fā),已開(kāi)源。Oozie簡(jiǎn)介:工作流系統(tǒng),用于提交、監(jiān)控集群作業(yè)。Cloudera開(kāi)發(fā),已開(kāi)源。Solr簡(jiǎn)介:基于Lucene的全文搜索服務(wù)器。已開(kāi)源。Isilon簡(jiǎn)介:基于OneFs操作系統(tǒng)的存儲(chǔ)產(chǎn)品,美國(guó)賽龍公司開(kāi)發(fā),后屬于EMC,一種集群存儲(chǔ)方案。K-Vstoreindexer簡(jiǎn)介:為HBase到solr的索引中間件,為NGDATA公司開(kāi)發(fā),已開(kāi)源。ClouderaManager簡(jiǎn)介:CDH集群安裝管理工具。Cloudera開(kāi)發(fā)。kafka簡(jiǎn)介:消息隊(duì)列組件。已經(jīng)開(kāi)源。Storm簡(jiǎn)介:流數(shù)據(jù)處理組件。Elasticsearch簡(jiǎn)介:基于Lucene的全文搜索服務(wù)器。已開(kāi)源。ESSQL簡(jiǎn)介:基于Elasticsearch的SQL工具,大快開(kāi)發(fā)。DK-NLP簡(jiǎn)介:自然語(yǔ)言處理組件。大快開(kāi)發(fā),已開(kāi)源。DK-SPIDER簡(jiǎn)介:分布式爬蟲(chóng)組件。大快開(kāi)發(fā)。DKM簡(jiǎn)介:集群安裝管理工具。大快開(kāi)發(fā)。DK-DMYSQL簡(jiǎn)介:分布式MYSQL組件,大快改寫(xiě)。ApacheFalcon簡(jiǎn)介:Falcon是一個(gè)面向Hadoop的、新的數(shù)據(jù)處理和管理平臺(tái),設(shè)計(jì)用于數(shù)據(jù)移動(dòng)、數(shù)據(jù)管道協(xié)調(diào)、生命周期管理和數(shù)據(jù)發(fā)現(xiàn)。ApacheKnox簡(jiǎn)介:Apacheknox是一個(gè)訪問(wèn)hadoop集群的restapi網(wǎng)關(guān),它為所有rest訪問(wèn)提供了一個(gè)簡(jiǎn)單的訪問(wèn)接口點(diǎn)。ApachePhoenix簡(jiǎn)介:Phoenix是HBase的SQL驅(qū)動(dòng)。ApachePig簡(jiǎn)介:Pig定義了數(shù)據(jù)流語(yǔ)言PigLatin,它是MapReduce編程抽象。ApacheRanger簡(jiǎn)介:ranger是一個(gè)hadoop集群權(quán)限框架,提供操作、監(jiān)控、管理復(fù)雜的數(shù)據(jù)權(quán)限,它提供一個(gè)集中的管理機(jī)制,管理基于yarn的hadoop生態(tài)圈的所有數(shù)據(jù)權(quán)限。ApacheSlider簡(jiǎn)介:Slider是一個(gè)YARN應(yīng)用,用于發(fā)布已有的分布式應(yīng)用到Y(jié)ARN上,并對(duì)這些應(yīng)用進(jìn)行監(jiān)控以及根據(jù)需要調(diào)整規(guī)模。Tez簡(jiǎn)介:Tez支持DAG作業(yè)的計(jì)算框架,它直接源于MapReduce框架,核心思想是將Map和Reduce兩個(gè)操作進(jìn)一步拆分形成一個(gè)大的DAG作業(yè)。ApacheDrill簡(jiǎn)介:ApacheDrill是一個(gè)低延遲的分布式海量數(shù)據(jù)(涵蓋結(jié)構(gòu)化、半結(jié)構(gòu)化以及嵌套數(shù)據(jù))交互式查詢引擎,使用ANSISQL兼容語(yǔ)法。MapR-DB簡(jiǎn)介:MapR開(kāi)發(fā)MapRStreams簡(jiǎn)介:MapR開(kāi)發(fā)Mahout簡(jiǎn)介:機(jī)器學(xué)習(xí)算法庫(kù),現(xiàn)已停止更新。HttpFS簡(jiǎn)介:Cloudera開(kāi)發(fā)的基于http協(xié)議的HDFS操作組件。Sentry簡(jiǎn)介:ApacheSentry是Cloudera公司發(fā)布的一個(gè)Hadoop開(kāi)源組件,截止目前還是Apache的孵化項(xiàng)目,它提供了細(xì)粒度級(jí)、基于角色的授權(quán)以及多租戶的管理模式。Sahara簡(jiǎn)介:Sahara旨在為用戶提供簡(jiǎn)單部署Hadoop集群的能力,提供在OpenStack上快速配置和部署Hadoop集群的能力。37、Myriad0.1.0簡(jiǎn)介:Myriad是一個(gè)Mesos框架用來(lái)動(dòng)態(tài)擴(kuò)展YARN集群,并支持運(yùn)行Hadoop應(yīng)用,如Spark和非Hadoop應(yīng)用,如Node.js、Memcached、RoR等。TranswarpInceptor簡(jiǎn)介:由ApacheSpark改寫(xiě),TranswarpInceptor交互式分析引擎提供高速SQL分析和R語(yǔ)言數(shù)據(jù)挖掘能力,可幫助企業(yè)建立高速可擴(kuò)展的數(shù)據(jù)倉(cāng)庫(kù)和/或數(shù)據(jù)集市,結(jié)合多種報(bào)表工具提供交互式數(shù)據(jù)分析、即時(shí)報(bào)表和可視化能力。星環(huán)開(kāi)發(fā)。TranswarpHyperbase簡(jiǎn)介:TranswarpHyperbase實(shí)時(shí)數(shù)據(jù)庫(kù)是建立在ApacheHBase基礎(chǔ)之上,融合了多種索引技術(shù)、分布式事務(wù)處理、全文實(shí)時(shí)搜索、圖形數(shù)據(jù)庫(kù)在內(nèi)的實(shí)時(shí)NoSQL數(shù)據(jù)庫(kù)。星環(huán)開(kāi)發(fā)。TranswarpStream簡(jiǎn)介:TranswarpStream實(shí)時(shí)流處理引擎提供了強(qiáng)大的流計(jì)算表達(dá)能力,支持復(fù)雜的應(yīng)用邏輯,生產(chǎn)系統(tǒng)的消息通過(guò)實(shí)時(shí)消息隊(duì)列進(jìn)入計(jì)算集群,在集群內(nèi)以流水線方式被依次處理,完成數(shù)據(jù)轉(zhuǎn)換、
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五年酒店會(huì)議室場(chǎng)地租賃及旅游套餐合同2篇
- 二零二五年戶外運(yùn)動(dòng)俱樂(lè)部裝修設(shè)計(jì)合同2篇
- 二零二五年第3章電子發(fā)票電子合同操作規(guī)范3篇
- 二零二五版文化創(chuàng)意產(chǎn)業(yè)試用期員工激勵(lì)合同3篇
- 二零二五年度物業(yè)經(jīng)理競(jìng)聘選拔合同3篇
- 二零二五版環(huán)保型廠房買賣合同范本3篇
- 幼兒園2025年度教學(xué)計(jì)劃設(shè)計(jì)與執(zhí)行合同3篇
- 二零二五年綜合性商業(yè)地產(chǎn)合作開(kāi)發(fā)合同范本3篇
- 二零二五版無(wú)抵押個(gè)人寵物醫(yī)療借款合同2篇
- 二零二五年甲乙間設(shè)備租賃借款合同6篇
- 預(yù)防艾滋病、梅毒和乙肝母嬰傳播轉(zhuǎn)介服務(wù)制度
- 集裝箱貨運(yùn)碼頭的火災(zāi)防范措施
- 《高速鐵路客運(yùn)安全與應(yīng)急處理》課程標(biāo)準(zhǔn)
- 23J916-1:住宅排氣道(一)
- 七年級(jí)數(shù)學(xué)上冊(cè)專題1.14數(shù)軸與絕對(duì)值綜合問(wèn)題大題專練(重難點(diǎn)培優(yōu))-【講練課堂】2022-2023學(xué)年七年級(jí)數(shù)學(xué)上冊(cè)尖子生同步培優(yōu)題典(原卷版)【人教版】
- 社會(huì)保險(xiǎn)職工增減表
- 小學(xué)語(yǔ)文低年級(jí)寫(xiě)話 鴿子
- 仁愛(ài)英語(yǔ)八年級(jí)上冊(cè)詞匯練習(xí)題全冊(cè)
- 通用BIQS培訓(xùn)資料課件
- 報(bào)價(jià)單模板及范文(通用十二篇)
- 鈑金部品質(zhì)控制計(jì)劃
評(píng)論
0/150
提交評(píng)論