騰訊云-彈性MapReduce服務(wù)平臺(tái)概述

1、彈性MapReduce服務(wù)平臺(tái)產(chǎn)品概述目 錄 TOC o 1-3 h z u HYPERLINK l _Toc31989472 產(chǎn)品簡(jiǎn)介產(chǎn)品概述 PAGEREF _Toc31989472 h 4 HYPERLINK l _Toc31989473 簡(jiǎn)介 PAGEREF _Toc31989473 h 4 HYPERLINK l _Toc31989474 功能特性 PAGEREF _Toc31989474 h 4 HYPERLINK l _Toc31989475 產(chǎn)品優(yōu)勢(shì) PAGEREF _Toc31989475 h 5 HYPERLINK l _Toc31989476 靈活 PAGEREF _To

2、c31989476 h 5 HYPERLINK l _Toc31989477 可靠 PAGEREF _Toc31989477 h 5 HYPERLINK l _Toc31989478 安全 PAGEREF _Toc31989478 h 5 HYPERLINK l _Toc31989479 易用 PAGEREF _Toc31989479 h 5 HYPERLINK l _Toc31989480 節(jié)約成本 PAGEREF _Toc31989480 h 5 HYPERLINK l _Toc31989481 產(chǎn)品功能 PAGEREF _Toc31989481 h 7 HYPERLINK l _Toc3

3、1989482 彈性伸縮 PAGEREF _Toc31989482 h 7 HYPERLINK l _Toc31989483 存儲(chǔ)計(jì)算分離 PAGEREF _Toc31989483 h 7 HYPERLINK l _Toc31989484 運(yùn)維支撐 PAGEREF _Toc31989484 h 7 HYPERLINK l _Toc31989485 安全 PAGEREF _Toc31989485 h 8 HYPERLINK l _Toc31989486 應(yīng)用場(chǎng)景 PAGEREF _Toc31989486 h 9 HYPERLINK l _Toc31989487 離線數(shù)據(jù)分析 PAGEREF _T

4、oc31989487 h 9 HYPERLINK l _Toc31989488 流式數(shù)據(jù)處理 PAGEREF _Toc31989488 h 9 HYPERLINK l _Toc31989489 分析 COS 數(shù)據(jù) PAGEREF _Toc31989489 h 10 HYPERLINK l _Toc31989490 節(jié)點(diǎn)類型說明 PAGEREF _Toc31989490 h 12 HYPERLINK l _Toc31989491 組件版本 PAGEREF _Toc31989491 h 13 HYPERLINK l _Toc31989492 版本歷史 PAGEREF _Toc31989492 h

5、15 HYPERLINK l _Toc31989493 2019.12.26 PAGEREF _Toc31989493 h 15 HYPERLINK l _Toc31989494 2019.12.17 PAGEREF _Toc31989494 h 15 HYPERLINK l _Toc31989495 2019.11.04 PAGEREF _Toc31989495 h 15 HYPERLINK l _Toc31989496 2019.10.17 PAGEREF _Toc31989496 h 15 HYPERLINK l _Toc31989497 2019.09.18 PAGEREF _Toc3

6、1989497 h 15 HYPERLINK l _Toc31989498 2019.08.07 PAGEREF _Toc31989498 h 16 HYPERLINK l _Toc31989499 2019.08.01 PAGEREF _Toc31989499 h 16 HYPERLINK l _Toc31989500 2019.07.05 PAGEREF _Toc31989500 h 16 HYPERLINK l _Toc31989501 2019.06.18 PAGEREF _Toc31989501 h 16 HYPERLINK l _Toc31989502 2019.05.17 PAG

7、EREF _Toc31989502 h 16 HYPERLINK l _Toc31989503 2019.05.07 PAGEREF _Toc31989503 h 17 HYPERLINK l _Toc31989504 2019.03.29 PAGEREF _Toc31989504 h 17 HYPERLINK l _Toc31989505 2019.03.04 PAGEREF _Toc31989505 h 17 HYPERLINK l _Toc31989506 2019.01.15 PAGEREF _Toc31989506 h 17產(chǎn)品簡(jiǎn)介產(chǎn)品概述19-04-24 20:02:36簡(jiǎn)介彈性

8、MapReduce（EMR）是騰訊云提供的云上 Hadoop 托管服務(wù)，提供了便捷的 Hadoop 集群部署、軟件安裝、配置修改、監(jiān)控告警、彈性伸縮等功能，為企業(yè)及用戶提供安全穩(wěn)定的大數(shù)據(jù)處理解決方案。功能特性彈性 MapReduce 的軟件完全源于開源社區(qū)中的 Hadoop 軟件，您可以將現(xiàn)有的大數(shù)據(jù)集群無縫平滑遷移至騰訊云上。彈性 MapReduce 產(chǎn)品中集成了社區(qū)中常見的熱門組件，包括但不限于 Hive、Hbase、Spark、Presto、Sqoop、Hue 等，可以滿足您對(duì)大數(shù)據(jù)的離線處理、流式計(jì)算等全方位需求。MapReduce 無縫集成了騰訊云對(duì)象存儲(chǔ)HDFS本。彈性 MapR

9、educe 采用了5種節(jié)點(diǎn)類型：Master 節(jié)點(diǎn)、Core 節(jié)點(diǎn)、Task 節(jié)點(diǎn)、Router 節(jié)點(diǎn)和 Common 節(jié)點(diǎn)。各類型節(jié)點(diǎn)作用，請(qǐng)參見 HYPERLINK /document/product/589/14624 節(jié)點(diǎn)類型說明。彈性 MapReduce 目前支持了眾多資源規(guī)格，您可以采用 EMR 標(biāo)準(zhǔn)型、內(nèi)存型、高 IO、計(jì)算型及大數(shù)據(jù)機(jī)型實(shí)例作為計(jì)算資源。若您需要在黑石物理主機(jī)上部署 Hadoop 集群，請(qǐng) HYPERLINK /workorder/category 提交工單 聯(lián)系我們。產(chǎn)品優(yōu)勢(shì)19-04-24 20:02:44與自建 Hadoop 相比，彈性 MapReduce

10、 能提供更方便、更安全、更可靠的云端 Hadoop 服務(wù)。靈活HadoopHive、Spark、 等主流開源大數(shù)據(jù)計(jì)算框架?？蓪?duì)一個(gè)已有的彈性 MapReduce 集群進(jìn)行快速的彈性伸縮，以在變動(dòng)的業(yè)務(wù)部門數(shù)據(jù)分析需求與高昂 IT 硬件成本之間快速獲得平衡點(diǎn)?？煽縈aster 節(jié)點(diǎn)容災(zāi)設(shè)計(jì)，備節(jié)點(diǎn)秒級(jí)拉起，保障大數(shù)據(jù)服務(wù)可用性。完善的監(jiān)控體系建設(shè)，您可以通過短信渠道秒級(jí)感知集群組件及任務(wù)的運(yùn)行異常狀況。支持將 Hive 元數(shù)據(jù)存放于 TencentDB，元數(shù)據(jù)可靠性達(dá)99.9996%。支持分析存放于 COS 的高存儲(chǔ)耐久性的 PB 級(jí)數(shù)據(jù)。集群默認(rèn)開啟回收站功能。安全可通過便捷的 VPC 網(wǎng)絡(luò)

11、安全隔離手段規(guī)劃托管 Hadoop 集群網(wǎng)絡(luò)策略，支持網(wǎng)絡(luò) ACL 和安全組，可從子網(wǎng)和主機(jī)維度篩選流量，全方位滿足網(wǎng)絡(luò)安全需求。騰訊云品質(zhì)的安全加固服務(wù)為 EMR 集群提供一體化的安全服務(wù)，涵蓋網(wǎng)絡(luò)防護(hù)、入侵檢測(cè)、漏洞防護(hù)等。易用可以響應(yīng)業(yè)務(wù)需求創(chuàng)建不同版本的集群分析 COS 上的同一份數(shù)據(jù)。可以借助開箱即用的 Hue、Oozie 等社區(qū)組件隨心分析位于數(shù)據(jù)節(jié)點(diǎn)或 COS 上的 PB 級(jí)數(shù)據(jù)，無需擔(dān)心產(chǎn)生任何知識(shí)遷移成本。節(jié)約成本通過 EMR 服務(wù)，可以按業(yè)務(wù)曲線隨心伸縮托管 Hadoop 集群，縮減高昂的硬件成本。豐富的運(yùn)維工具支持，大幅提升運(yùn)維工作效率，讓工程師更專注于業(yè)務(wù)本身的商業(yè)價(jià)值

12、，擺脫重復(fù)搭建監(jiān)控、安全、運(yùn)維工具等基礎(chǔ)設(shè)施。產(chǎn)品功能19-04-24 20:02:49彈性 MapReduce 結(jié)合云技術(shù)和 Hadoop、Hive、Spark、Storm 等社區(qū)開源技術(shù)，為您提供安全、低成本、高可靠、可彈性伸縮的云端 Hadoop 服務(wù)。其主要功能體現(xiàn)在以下方面：彈性伸縮分鐘級(jí)集群創(chuàng)建通過控制臺(tái)數(shù)分鐘就可創(chuàng)建一個(gè)安全、穩(wěn)定的云端托管 Hadoop 集群。分鐘級(jí)集群擴(kuò)縮容僅需數(shù)分鐘即可對(duì)現(xiàn)有 EMR 集群進(jìn)行平滑擴(kuò)縮容，以適應(yīng)互聯(lián)網(wǎng)業(yè)務(wù)需求的快速變化。API 支持支持通過 API 方式便捷的在程序中創(chuàng)建、擴(kuò)縮容、銷毀 EMR 集群。存儲(chǔ)計(jì)算分離集群內(nèi)存儲(chǔ)計(jì)算分離集群內(nèi)支持按

13、照存儲(chǔ)節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)的模式來規(guī)劃云端 Hadoop 集群，以支持客戶對(duì)計(jì)算節(jié)點(diǎn)的隨意伸縮來降低硬件成本?；?COS 的存儲(chǔ)計(jì)算分離支持把待分析海量數(shù)據(jù)存放于 COS，在通過 COS 規(guī)模化效應(yīng)降低存儲(chǔ)成本的同時(shí)，您還可以創(chuàng)建不同 EMR 版本分析同一份數(shù)據(jù)，這將為您帶來極度的架構(gòu)靈活性。運(yùn)維支撐監(jiān)控與多渠道告警Spark、Hive、技術(shù)服務(wù)支持在提供完善技術(shù)文檔之外，還支持包含郵件、QQ、微信等渠道在內(nèi)的技術(shù)服務(wù)體系，為客戶提供完備的技術(shù)支持。安全EMR 創(chuàng)建的 CVM 子機(jī)同時(shí)會(huì)創(chuàng)建安全組來限制外網(wǎng)訪問。各組件 Web UI 均通過其中一臺(tái)有外網(wǎng) IP 的子機(jī)進(jìn)行訪問，并且通過用戶名和密碼

14、進(jìn)行驗(yàn)證，有外網(wǎng) IP 的子機(jī)安全組只開放 SSH 端口和代理訪問端口。注意：注意：CVM 子機(jī)如果更換項(xiàng)目會(huì)導(dǎo)致 CVM 安全組丟失。應(yīng)用場(chǎng)景19-11-28 10:58:52彈性 MapReduce（EMR）集群應(yīng)用場(chǎng)景很多，Hadoop 和 Spark 能夠支持的場(chǎng)景 EMR 都可以支持，因?yàn)?EMR 本質(zhì)就是 Hadoop 和 Spark 的集群服務(wù)。以下為 EMR 應(yīng)用的經(jīng)典場(chǎng)景。離線數(shù)據(jù)分析把游戲、WebAppEMRHueHive、Spark、Sqoop 或其他存儲(chǔ)引擎的數(shù)據(jù)，并把分析后的數(shù)據(jù)同步到 TencentDB，為 RayData 這樣的數(shù)據(jù)可視化產(chǎn)品提供數(shù)據(jù)支撐。流式數(shù)據(jù)

15、處理在程序/工具中通過 API、SDK 把位于業(yè)務(wù)服務(wù)器上實(shí)時(shí)產(chǎn)生的數(shù)據(jù) Push 到 CMQ 消息中間件之后，可在 EMR 產(chǎn)品中選擇合適的流式數(shù)據(jù)處理引擎來分析數(shù)據(jù)，以實(shí)現(xiàn)對(duì)業(yè)務(wù)變動(dòng)的實(shí)時(shí)告警；還可以把分析結(jié)果實(shí)時(shí)同步到TencentDB 等存儲(chǔ)引擎，以便于通過 RayData 等數(shù)據(jù)可視化產(chǎn)品對(duì)業(yè)務(wù)狀態(tài)進(jìn)行實(shí)時(shí)可視化檢測(cè)。分析 COS 數(shù)據(jù)可通過 EMR 產(chǎn)品快速分析存儲(chǔ)于 COS 上的海量數(shù)據(jù)，以實(shí)現(xiàn)徹底的存儲(chǔ)計(jì)算分離。通過這樣的設(shè)計(jì)，可充分利用COS 提供的豐富數(shù)據(jù)同步工具，同時(shí)還可以讓多個(gè)不同版本 Hadoop 集群分析同一份數(shù)據(jù)，以滿足數(shù)據(jù)一致性及歷史原因?qū)е碌亩喟姹?Hadoo

16、p 集群共存的問題。節(jié)點(diǎn)類型說明19-11-28 16:48:59EMR 提供了5種節(jié)點(diǎn)類型，您可以根據(jù)自身需求進(jìn)行選擇：注意：注意：高可用集群節(jié)點(diǎn)最小節(jié)點(diǎn)數(shù)為個(gè)，包含Master3Common 節(jié)點(diǎn)，最少個(gè)，包含Master節(jié)點(diǎn)類型說明HA（高可用）數(shù)量 HA 數(shù)量主節(jié)點(diǎn)（Master）部署 NameNode、ResourceManager、HMaster 等進(jìn)程。21核心節(jié)點(diǎn)（Core）部署 DataNode、NodeManager、RegionServer 等進(jìn)程。 3 2計(jì)算節(jié)點(diǎn)（Task）部署 NodeManger、PrestoWork 等進(jìn)程?？呻S時(shí)更改 Task 節(jié)點(diǎn)數(shù)，實(shí)現(xiàn)集群

17、彈性伸縮，最小值為0。通用節(jié)點(diǎn)（Common）部署分布式協(xié)調(diào)器組件，如ZooKeeper、JournalNode 等節(jié)點(diǎn)。 30路由節(jié)點(diǎn)（Router）部署 Hadoop 軟件包，可選擇部署Hive、Hue、Spark 等軟件和進(jìn)程?？呻S時(shí)更改 Router 節(jié)點(diǎn)數(shù)，最小值為0。Master 節(jié)點(diǎn)為管理節(jié)點(diǎn)，保證集群的調(diào)度正常進(jìn)行。Core 節(jié)點(diǎn)為計(jì)算及存儲(chǔ)節(jié)點(diǎn)，您在 HDFS 中的數(shù)據(jù)全部存儲(chǔ)于 Core 節(jié)點(diǎn)中，因此為了保證數(shù)據(jù)安全，擴(kuò)容Core 節(jié)點(diǎn)后不允許縮容。Task 節(jié)點(diǎn)為純計(jì)算節(jié)點(diǎn)，不存儲(chǔ)數(shù)據(jù)，被計(jì)算的數(shù)據(jù)來自 Core 節(jié)點(diǎn)及 COS 中，因此 Task 節(jié)點(diǎn)往往被作為彈性節(jié)點(diǎn)

18、，可隨時(shí)擴(kuò)容和縮容。Common 節(jié)點(diǎn)為 HA 集群 Master 節(jié)點(diǎn)提供數(shù)據(jù)共享同步以及高可用容錯(cuò)服務(wù)。Router 節(jié)點(diǎn)用以分擔(dān) Master 節(jié)點(diǎn)的負(fù)載或者作為集群的任務(wù)提交機(jī)，可以隨時(shí)擴(kuò)容和縮容。組件版本19-11-21 16:26:57騰訊云彈性 MapReduce 由一系列大數(shù)據(jù)生態(tài)的開源應(yīng)用程序組成。每個(gè)彈性 MapReduce 的版本，包含了一組特定版本的開源程序。當(dāng)您在創(chuàng)建集群時(shí)，可以選擇對(duì)應(yīng)的 EMR 版本，以滿足您對(duì)其中包含的開源組件的版本需求。注意：注意：EMR 版本會(huì)定期升級(jí)，類似 EMR-V1.3.1、EMR-V2.0.1、EMR-V2.1.0。每一個(gè)版本上捆綁的

19、組件和組件的版本都是固定的。目前還不支持組件的多個(gè)不同版本的選擇，也不支持用戶自行更改組件的版本。例如在 EMR-V2.0.1 中內(nèi)置的是 Hadoop 2.7.3、Spark 2.2.1 等。一旦選擇了 EMR 某個(gè)版本創(chuàng)建集群，該集群使用的 EMR 版本和組件版本不會(huì)自動(dòng)升級(jí)，例如選 EMR- V2.0.1 版本，那么 Hadoop 就一直保持在2.7.3，Spark 就一直保持在2.2.1。后續(xù)如果版本升級(jí)到了EMR-V2.1.0，Hadoop 到了2.8.4，Spark 到了2.3.2也不會(huì)影響到已經(jīng)創(chuàng)建出來的集群。只有新的集群才會(huì)使用新的鏡像。當(dāng)您通過數(shù)據(jù)遷移的方式升級(jí)集群版本的時(shí)候

20、，例如從 EMR-V2.0.1 升級(jí)到 EMR-V2.1.0，為防止一些升級(jí)不兼容，環(huán)境變化等，請(qǐng)務(wù)必測(cè)試需要遷移的任務(wù)，保證在新的軟件環(huán)境中能正常運(yùn)行。各 EMR 版本包含的組件及組件版本如下：組件名稱EMR-V 1.3.1EMR-V 2.0.1EMR-V 2.1.0EMR-V 3.0.0發(fā)布時(shí)間-2019.052019.10Flink1.2.01.2.0.1Ganglia.23.7.2-Hadoop.2Hbase.0Hive.1Hue3.12.03.12.04.4.04.40Ooize4.3.0.15.1.0Phoneix1.04.13.0-Presto0.1610.1880.2150.2

21、22組件名稱EMR-V 1.3.1EMR-V 2.0.1EMR-V 2.1.0EMR-V 3.0.0Ranger-.11.2.0Spark.3Sqoop.7Storm1.1.01.1.01.1.0-Tez.2Zookeeper.9Flume-1.8.01.9.0Alluxio-.1Knox1.2.01.2.01.2.01.2.0Kerberos-1.15.0-版本歷史20-01-02 09:50:452019.12.26【新功能】新增配置分組下發(fā)功能。支持 CAM 資源級(jí)授權(quán)。支持關(guān)聯(lián) CHDFS，詳見 HYPERLINK /document/product/589/40541 掛載云 HDF

22、S?！拘乱?guī)格】北上廣地域支持 AMD 機(jī)型 HYPERLINK /document/product/213/11518 l SA2 標(biāo)準(zhǔn)型 SA2。2019.12.17【新功能】新增集群監(jiān)控概覽頁(yè)，提供集群狀態(tài)、主機(jī)及服務(wù)狀態(tài)整體視圖。【優(yōu)化】?jī)?yōu)化服務(wù)監(jiān)控頁(yè)，指標(biāo)展示粒度可按需選擇。優(yōu)化主機(jī)監(jiān)控頁(yè)，增加主機(jī)服務(wù)部署狀態(tài)、負(fù)載狀態(tài)視圖。2019.11.04【新功能】新增 HYPERLINK /document/product/589/39103 節(jié)點(diǎn)規(guī)格管理。配置管理支持 zookeeper、alluxio、flink 組件。支持對(duì)集群及集群下節(jié)點(diǎn)分配 HYPERLINK /document/p

23、roduct/589/39085 標(biāo)簽。【新版本/新規(guī)格】北上廣地域支持 S5、M5、C3、CN3 機(jī)型。2019.10.17【新版本/新規(guī)格】新增 EMR-V3.0.0 版本，相關(guān)主要 HYPERLINK /document/product/589/20279 組件版本 升級(jí)。2019.09.18【新功能】云 API 全量支持3.0版本，規(guī)范原已提供部分3.0版本 API 接口的出/入?yún)?shù)、以及在3.0版本中全量支持原2.0版本接口。【優(yōu)化】控制臺(tái)修改配置取消對(duì)特殊字符轉(zhuǎn)義。主機(jī)監(jiān)控和服務(wù)監(jiān)控關(guān)鍵指標(biāo)支持在云監(jiān)控（彈性 MapReduce 產(chǎn)品類別下）配置告警策略。2019.08.07【新功能】新增 HYPERLINK /document/product/589/35655 軟件配置 功能支持自定義組件參數(shù)創(chuàng)建集群，同時(shí)兼容訪問外部集群功能。新購(gòu)集群過程中支持自主開啟/關(guān)閉遠(yuǎn)程登錄端口。2019.08.01【新功能】新購(gòu)集群支持多云盤掛載。支持指定組件擴(kuò)容。新增 Sp