版H3C大數(shù)據(jù)產(chǎn)品技術(shù)白皮書

1、H3CFlexDataMPPCluster技術(shù)白皮書H3C大數(shù)據(jù)產(chǎn)品技術(shù)白皮書杭州華三通信技術(shù)有限企業(yè)2020年4月杭州華三通信技術(shù)有限企業(yè)IH3CFlexDataMPPCluster技術(shù)白皮書目錄1H3C大數(shù)據(jù)產(chǎn)品介紹.11.1產(chǎn)品簡介.11.2產(chǎn)品架構(gòu).1數(shù)據(jù)辦理.2數(shù)據(jù)分層.31.3產(chǎn)品技術(shù)特點(diǎn).4先進(jìn)的混雜計(jì)算架構(gòu).4高性價(jià)比的分布式集群.4云化ETL.4數(shù)據(jù)分層和分級儲藏.5數(shù)據(jù)解析挖掘.5數(shù)據(jù)服務(wù)接口.5可視化運(yùn)維管理.51.4產(chǎn)品功能簡介.6管理平面功能：.7業(yè)務(wù)平面功能：.82DataEngineHDP核心技術(shù).93DataEngineMPPCluster核心技術(shù).93.1MP

2、P+SharedNothing架構(gòu).93.2核心組件.103.3高可用.113.4高性能擴(kuò)展能力.113.5高性能數(shù)據(jù)加載.123.6OLAP函數(shù).133.7行列混雜儲藏.13杭州華三通信技術(shù)有限企業(yè)IIH3CFlexDataMPPCluster技術(shù)白皮書H3C大數(shù)據(jù)產(chǎn)品介紹1.1產(chǎn)品簡介H3C大數(shù)據(jù)平臺采用開源社區(qū)ApacheHadoop2.0和MPP分布式數(shù)據(jù)庫混合計(jì)算框架為用戶供應(yīng)一套完滿的大數(shù)據(jù)平臺解決方案，具備高性能、高可用、高擴(kuò)展特點(diǎn)，可以為超大規(guī)模數(shù)據(jù)管理供應(yīng)高性價(jià)比的通用計(jì)算儲藏能力。H3C大數(shù)據(jù)平臺供應(yīng)數(shù)據(jù)采集變換、計(jì)算儲藏、解析挖掘、共享交換以及可視化等全系列功能，并廣泛地

3、用于支撐各種數(shù)據(jù)庫房系統(tǒng)、BI系統(tǒng)和決策支持系統(tǒng)幫助用戶成立海量數(shù)據(jù)辦理系統(tǒng)，發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在價(jià)值。1.2產(chǎn)品架構(gòu)H3C大數(shù)據(jù)平臺包括4個(gè)部分：第一部分是運(yùn)維管理，包括：安裝部署、配置管理、主機(jī)管理、用戶管杭州華三通信技術(shù)有限企業(yè)-1-H3CFlexDataMPPCluster技術(shù)白皮書理、服務(wù)管理、監(jiān)指控警和安全管理等。第二部分是數(shù)據(jù)ETL，即獲取、變換、加載，包括：關(guān)系數(shù)據(jù)庫連接Sqoop、日志采集Flume、ETL工具Kettle。第三部分是數(shù)據(jù)計(jì)算。MPP采用解析型分布式數(shù)據(jù)庫，儲藏高價(jià)值密度的結(jié)構(gòu)化數(shù)據(jù)；Hadoop儲藏非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)和廉價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)。計(jì)算結(jié)果都存到數(shù)據(jù)庫

4、房，數(shù)據(jù)庫房中的數(shù)據(jù)可直接用于解析和顯現(xiàn)。數(shù)據(jù)庫房是面向主題的、集成的、牢固的且隨時(shí)間不斷變化的數(shù)據(jù)會集，用以支持經(jīng)營管理中的決策擬定過程。第四部分?jǐn)?shù)據(jù)服務(wù)，包括：機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)檢索、數(shù)據(jù)可視化、即席解析、SQL和API，為應(yīng)用層供應(yīng)服務(wù)和中間件調(diào)用。數(shù)據(jù)辦理對于大數(shù)據(jù)管理平臺，應(yīng)該成立一套標(biāo)準(zhǔn)化、規(guī)范化的數(shù)據(jù)辦理流程，比方：如何采集內(nèi)部和外面數(shù)據(jù)、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；如何沖刷采集來的臟數(shù)據(jù)和無效數(shù)據(jù)；如何對不同樣本源的數(shù)據(jù)進(jìn)行打通；如何對非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化加工；如何在結(jié)構(gòu)化數(shù)據(jù)的基礎(chǔ)進(jìn)步行商業(yè)建模和數(shù)據(jù)挖掘等等。大數(shù)據(jù)管理層在一條數(shù)據(jù)總線上成立了一條完滿的大數(shù)據(jù)辦理流水線。

5、這條流水線從數(shù)據(jù)的采集、沖刷到加工辦理，把原始紛亂無章的數(shù)據(jù)加工成結(jié)構(gòu)化的數(shù)據(jù)組件，供上層的大數(shù)據(jù)應(yīng)用來拼裝調(diào)用，讓企業(yè)擁有創(chuàng)辦數(shù)據(jù)財(cái)富的能力。杭州華三通信技術(shù)有限企業(yè)-2-H3CFlexDataMPPCluster技術(shù)白皮書數(shù)據(jù)分層ODS層：數(shù)據(jù)本源于各生產(chǎn)系統(tǒng)，經(jīng)過ETL工具對接口文件數(shù)據(jù)進(jìn)行編碼代替和數(shù)據(jù)沖刷變換，不做關(guān)系操作。未來也可用于準(zhǔn)實(shí)時(shí)數(shù)據(jù)盤問。輕度匯總層：主題域內(nèi)部基于明細(xì)層數(shù)據(jù)，進(jìn)行多維度的、用戶級的匯總明細(xì)數(shù)據(jù)層：主題域內(nèi)部進(jìn)行拆分、關(guān)系。是對ODS操作型數(shù)據(jù)依照主題域劃分規(guī)則進(jìn)行的拆分及合并。信息子層：報(bào)表數(shù)據(jù)、多維數(shù)據(jù)、指標(biāo)庫等數(shù)據(jù)本源于匯總層。匯總層：主題域之間進(jìn)行

6、關(guān)系、匯總計(jì)算。匯總數(shù)據(jù)服務(wù)于信息子層，目的是為了節(jié)約信息子層數(shù)據(jù)計(jì)算成本和計(jì)算時(shí)間。杭州華三通信技術(shù)有限企業(yè)-3-H3CFlexDataMPPCluster技術(shù)白皮書應(yīng)用層：應(yīng)用系統(tǒng)的私有數(shù)據(jù)，應(yīng)用的業(yè)務(wù)數(shù)據(jù)。精巧化營銷做為大數(shù)據(jù)平臺的一個(gè)上層應(yīng)用，由大數(shù)據(jù)平臺供應(yīng)數(shù)據(jù)支撐。1.3產(chǎn)品技術(shù)特點(diǎn)先進(jìn)的混雜計(jì)算架構(gòu)采用Hadoop和MPP交融技術(shù)架構(gòu)，對半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)支持并行計(jì)算和低成本儲藏，供應(yīng)低時(shí)延、高并發(fā)的盤問和解析功能；對結(jié)構(gòu)化數(shù)據(jù)采用MPP分布式列儲藏，支持分布式計(jì)算、智能索引等功能，實(shí)現(xiàn)高性能結(jié)構(gòu)化數(shù)據(jù)解析辦理。集成MapReduce、Spark、Storm、Tez等多種計(jì)算

7、框架，利用YARN資源管理做一致管理，可在同一份數(shù)據(jù)集上運(yùn)行多種計(jì)算。離線計(jì)算、內(nèi)存計(jì)算和流式計(jì)算并存，能滿足高吞吐、大數(shù)據(jù)量和低時(shí)延實(shí)時(shí)辦理等多方面的數(shù)據(jù)計(jì)算要求。高性價(jià)比的分布式集群基于x86服務(wù)器當(dāng)?shù)氐挠?jì)算與儲藏資源，計(jì)算集群可以動向調(diào)整，從數(shù)臺到數(shù)千臺之間彈性擴(kuò)展，按需成立應(yīng)用，減少整體成本；同時(shí)，在設(shè)計(jì)時(shí)充分考慮了硬件設(shè)備的不可以靠因素，在軟件層面供應(yīng)計(jì)算和儲藏的高可靠保證，具備較強(qiáng)的容錯(cuò)性。云化ETL將不同樣業(yè)務(wù)系統(tǒng)中分別、紛亂、標(biāo)準(zhǔn)不一致的各種源數(shù)據(jù)中的數(shù)據(jù)進(jìn)行匯聚。支持從DBMS、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、企業(yè)生產(chǎn)系統(tǒng)等各種數(shù)據(jù)源中提取數(shù)據(jù)。各種數(shù)據(jù)經(jīng)過抽取、沖刷和轉(zhuǎn)變后，實(shí)現(xiàn)多對多地加

8、載到包括但不限于大數(shù)據(jù)集群和各種關(guān)系型數(shù)據(jù)庫中。該過程由一個(gè)一致的操作接口封裝，經(jīng)過無代碼的可視化配置后，可實(shí)現(xiàn)自動化地、分布式地執(zhí)行整個(gè)ETL作業(yè)流程。杭州華三通信技術(shù)有限企業(yè)-4-H3CFlexDataMPPCluster技術(shù)白皮書數(shù)據(jù)分層和分級儲藏把數(shù)據(jù)依照不同樣階段分為ODS(OperationalDataStore)數(shù)據(jù)、輕度匯總數(shù)據(jù)、信息子層數(shù)據(jù)和應(yīng)用數(shù)據(jù)，分別儲藏在Hadoop平臺、MPP分布式數(shù)據(jù)庫和數(shù)據(jù)庫房，滿足不同樣階段的計(jì)算需求；依照在線數(shù)據(jù)、歷史數(shù)據(jù)等來管理數(shù)據(jù)生命周期，滿足在線數(shù)據(jù)的高性能儲藏的需求；將核心模型數(shù)據(jù)經(jīng)過改造融入到數(shù)據(jù)庫房的核心模型中，減少許據(jù)冗余，提升

9、數(shù)據(jù)質(zhì)量；將數(shù)據(jù)庫房中的歷史數(shù)據(jù)遷移到低成本分布式數(shù)據(jù)庫，減少許據(jù)庫房的計(jì)算與儲藏壓力并支撐深度數(shù)據(jù)解析。數(shù)據(jù)解析挖掘支持R語言，集成機(jī)器學(xué)習(xí)算法庫Mahout和SparkMLlib，包括聚類解析、分類算法、頻度關(guān)系解析和介紹系統(tǒng)在內(nèi)的常用機(jī)器學(xué)習(xí)算法。滿足批處理統(tǒng)計(jì)解析、在線數(shù)據(jù)檢索、R語言數(shù)據(jù)挖掘、實(shí)時(shí)流辦理、全文找尋等全方向需求。可幫助企業(yè)成立高速可擴(kuò)展的數(shù)據(jù)庫房和數(shù)據(jù)集市，結(jié)合多種報(bào)表工具供應(yīng)交互式數(shù)據(jù)解析、即時(shí)報(bào)表和BI可視化顯現(xiàn)能力。數(shù)據(jù)服務(wù)接口?供應(yīng)交互式SQL和可編程API，提取數(shù)據(jù)儲藏計(jì)算平臺的數(shù)據(jù)辦理結(jié)果，屏蔽基層細(xì)節(jié)，為上層應(yīng)用供應(yīng)數(shù)據(jù)服務(wù)。主要包括SQL接口、MapRe

10、duce/Spark/Storm計(jì)算接口等多種可編程API、全文實(shí)時(shí)找尋接口、業(yè)務(wù)定向接口、關(guān)系盤問接口，滿足數(shù)據(jù)盤問、可視化BI顯現(xiàn)、數(shù)據(jù)交換、數(shù)據(jù)解析、目錄服務(wù)、綜合盤問等業(yè)務(wù)應(yīng)用的需要?？梢暬\(yùn)維管理供應(yīng)Web圖形化界面實(shí)現(xiàn)運(yùn)集群的管理和監(jiān)控，集群的節(jié)點(diǎn)、主機(jī)和服務(wù)的運(yùn)行狀態(tài)都能在界面上顯示，操作友好，功能豐富。供應(yīng)集群快速安裝部署、機(jī)架顯現(xiàn)、用戶權(quán)限管理、主機(jī)與服務(wù)管理、監(jiān)控及告警通知等多方面支持，在可管理性方面優(yōu)勢顯然。杭州華三通信技術(shù)有限企業(yè)-5-服務(wù)分類系統(tǒng)服務(wù)計(jì)算服務(wù)儲藏服務(wù)數(shù)據(jù)辦理服務(wù)名稱YARNZooKeeperSliderOozieKafkaKerberosMapRedu

11、ceSparkStormTezHDFSHBaseSqoopFlumeHivePigMahout數(shù)據(jù)即服務(wù)H3CFlexDataMPPCluster技術(shù)白皮書服務(wù)功能說明一種嶄新的通用的Hadoop資源管理器，為集群在利用率和資源統(tǒng)一管理等方面帶來了巨大便利。可使MapReduce、Spark、Storm等共存。分布式應(yīng)用程序協(xié)調(diào)服務(wù)，保證集群的一致性。供應(yīng)的功能包括：配置保護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。將已存在服務(wù)部署在YARN集群上，而不用更正已存在服務(wù)。供應(yīng)Hadoop作業(yè)工作流管理功能，可管理MR、Hive、Pig、Sqoop和HDFS等任務(wù)。一種低時(shí)延高吞吐量的分布式宣布/訂閱信

12、息系統(tǒng)，同時(shí)滿足在線和離線辦理海量信息數(shù)據(jù)派發(fā)。一個(gè)基于共享密鑰對稱加密的安全網(wǎng)絡(luò)認(rèn)證系統(tǒng)，可防范對集群的惡意使用和篡改，保障Hadoop集群的安全可靠。批辦理框架，將一個(gè)大任務(wù)分成多個(gè)獨(dú)立的小任務(wù)，最后匯總各個(gè)小任務(wù)的結(jié)果。用戶只需關(guān)注上層應(yīng)用的邏輯，完滿不用關(guān)注基層分布式細(xì)節(jié)，大大提升了分布式應(yīng)用開發(fā)的效率和質(zhì)量。主要用于離線計(jì)算和計(jì)算密集型應(yīng)用。迭代計(jì)算框架，基于內(nèi)存計(jì)算。性能比MR快10-100倍，通用性好，支持批辦理、流辦理、SQL盤問、機(jī)器學(xué)習(xí)、圖計(jì)算等。流辦理框架，擁有效率高、能保證每條信息都能被辦理和實(shí)踐應(yīng)用很多等優(yōu)點(diǎn)。MapReduce程序性能優(yōu)化器。將MR程序轉(zhuǎn)變成有向無環(huán)

13、圖，大大提升性能。Hadoop分布式文件系統(tǒng)，擁有高容錯(cuò)性，可以部署在廉價(jià)的機(jī)器上。供應(yīng)高吞吐量來接見應(yīng)用程序的數(shù)據(jù)，適合儲藏超大數(shù)據(jù)集。分布式、面向列數(shù)據(jù)庫，利用HDFS作為長遠(yuǎn)化數(shù)據(jù)儲藏，使用Zookeeper作為共同服務(wù)組件。擁有容量巨大、面向列儲藏和權(quán)限控制、稀罕性、高可用和高性能等特點(diǎn)。Hadoop和關(guān)系型數(shù)據(jù)庫之間進(jìn)行批量數(shù)據(jù)轉(zhuǎn)移的工具。一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。基于Hadoop的數(shù)據(jù)庫房工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件照射為一張數(shù)據(jù)庫表，采用HiveQL作為盤問語言。將HiveQL變換為MapReduce任務(wù)，從而完成海量數(shù)據(jù)的盤問和解析。基于H

14、adoop的數(shù)據(jù)流辦理引擎，將類SQL的數(shù)據(jù)解析央求變換為Map/Reduce任務(wù)。機(jī)器學(xué)習(xí)算法庫，3個(gè)主要應(yīng)用途景是協(xié)作精選、集群和分類，可使用MR、Scala、Spark來提交Mahout接口。供應(yīng)機(jī)器學(xué)習(xí)Mahout、數(shù)據(jù)挖掘、數(shù)據(jù)檢索、R語言、交互式SQL杭州華三通信技術(shù)有限企業(yè)-6-H3CFlexDataMPPCluster技術(shù)白皮書（SQLonHadoop）、可編程API等功能，滿足前一次應(yīng)用開發(fā)需求。MPP分布H3CMPP關(guān)系型數(shù)據(jù)庫集群，優(yōu)異的SQL語言支持。高性能、高容錯(cuò)、高可式數(shù)據(jù)庫用。1.4產(chǎn)品功能簡介服務(wù)名稱服務(wù)功能說明安裝部署供應(yīng)定制部署、Zero部署和虛機(jī)部署等多種

15、集群部署方式，滿足用戶不用應(yīng)用途景需求。供應(yīng)Web圖形化界面和快速導(dǎo)游，引導(dǎo)用戶快捷高效地成立集群。機(jī)架管理實(shí)現(xiàn)HDFS副本存放策略的可視化管理。配置管理實(shí)現(xiàn)集群各項(xiàng)服務(wù)配置參數(shù)的歷史快照功能，記錄配置改正，方便性能調(diào)優(yōu)。用戶和組管理支持單用戶和用戶組管理，便利的用戶和組的增刪操作，供應(yīng)不同樣級其他接見權(quán)限控制；主機(jī)管理實(shí)時(shí)監(jiān)控主機(jī)各項(xiàng)硬件資源(CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等)及其上承載的服務(wù)的運(yùn)行狀態(tài)。執(zhí)行主機(jī)級別操作如停止、運(yùn)行主機(jī)上的服務(wù)等。服務(wù)管理對集群的各項(xiàng)服務(wù)做集中式管理，供應(yīng)啟動服務(wù)、停止服務(wù)、更正屬性和設(shè)定運(yùn)行參數(shù)等功能。實(shí)現(xiàn)集群各項(xiàng)服務(wù)運(yùn)行狀態(tài)(基本信息、告警、運(yùn)行健康狀態(tài))實(shí)時(shí)

16、監(jiān)控。監(jiān)控和告警版本管理多租戶安全管理數(shù)據(jù)管理監(jiān)控集群運(yùn)行的健康狀態(tài)，在特定的情況下發(fā)出信息，幫助鑒別和定位問題原因?？勺远x告警的監(jiān)控間隔和閾值、觸發(fā)條件、告警通知方式。實(shí)現(xiàn)HDPStack可用服務(wù)和軟件版本的管理功能。支持多租戶接見集群資源。支持當(dāng)?shù)?、LDAP和Kerberos多種身份認(rèn)證方式，實(shí)現(xiàn)接見權(quán)限控制。支持對文件、目錄、表、列、行等細(xì)粒度的接見控制，可防范對集群的惡意使用和篡改，保證集群的可安全可靠。實(shí)現(xiàn)數(shù)據(jù)的壓縮、備份、交換及數(shù)據(jù)ETL的管理。管理平面功能：杭州華三通信技術(shù)有限企業(yè)-7-H3CFlexDataMPPCluster技術(shù)白皮書業(yè)務(wù)平面功能：杭州華三通信技術(shù)有限企業(yè)-

17、8-H3CFlexDataMPPCluster技術(shù)白皮書2DataEngineHDP核心技術(shù)DataEngineHDP基于X86服務(wù)器當(dāng)?shù)氐挠?jì)算與儲藏資源供應(yīng)了分布式并行計(jì)算和低成本存儲，供應(yīng)低時(shí)延、高并發(fā)的盤問功能，集群可以擴(kuò)展到上千臺服務(wù)器。H3C經(jīng)過對Hadoop開源組件的封裝和增強(qiáng)，對外供應(yīng)數(shù)據(jù)分布式計(jì)算儲藏、數(shù)據(jù)解析能力。資源管理YARN：改進(jìn)的YARN一致資源管理，在同一物理主機(jī)/虛假主機(jī)和數(shù)據(jù)集上運(yùn)行多種計(jì)算框架,包括離線計(jì)算、內(nèi)存計(jì)算和實(shí)時(shí)計(jì)算。分布式文件系統(tǒng)HDFS：分布式文件系統(tǒng)，有較強(qiáng)的容錯(cuò)性，可在x86平臺上運(yùn)行，減少整體成本，可擴(kuò)展，能成立大規(guī)模的應(yīng)用。數(shù)據(jù)庫HBas

18、e：HBase是一種成立在HDFS（HadoopDistributedFileSystem）之上的分布式、面向列的儲藏系統(tǒng)，它擁有高可靠、高性能、面向列和可伸縮的特點(diǎn)。HBase適合于儲藏大表數(shù)據(jù)（表的規(guī)?？梢赃_(dá)到數(shù)十億行以及數(shù)百萬列），而且對大表數(shù)據(jù)的讀、寫接見可以達(dá)到實(shí)時(shí)級別。離線計(jì)算：MapReduce是一種離線計(jì)算框架，將一個(gè)算法抽象成Map和Reduce兩個(gè)階段進(jìn)行辦理，適合數(shù)據(jù)密集型計(jì)算場景。內(nèi)存計(jì)算：Spark是一種內(nèi)存計(jì)算框架，它將數(shù)據(jù)盡可能放到內(nèi)存中以提升迭代應(yīng)用和交互式應(yīng)用的計(jì)算效率。實(shí)時(shí)計(jì)算：Storm擅長流式計(jì)算、實(shí)時(shí)解析，比方廣告點(diǎn)擊計(jì)算、它在實(shí)時(shí)性要遠(yuǎn)遠(yuǎn)好于MapR

19、educe計(jì)算框架。3DataEngineMPPCluster核心技術(shù)3.1MPP+SharedNothing架構(gòu)DataEngineMPPCluster采用完滿并行的MPP+SharedNothing的分布式扁平架構(gòu)，這種架構(gòu)中的每一個(gè)節(jié)點(diǎn)（node）都是獨(dú)立的、自給的、節(jié)點(diǎn)之間同等，而且整個(gè)系統(tǒng)中不存在單點(diǎn)瓶頸，擁有特別強(qiáng)的擴(kuò)展性。杭州華三通信技術(shù)有限企業(yè)-9-H3CFlexDataMPPCluster技術(shù)白皮書圖3-1SharedNothing+MPP架構(gòu)表示圖3.2核心組件DataEngineMPPCluster產(chǎn)品總合包括三大核心組件，即GCluster、GCware和GNode。G

20、CWare用于各節(jié)點(diǎn)GCluster實(shí)例間共享信息，GCluster負(fù)責(zé)集群調(diào)換，每個(gè)GNode就是最基本的儲藏和計(jì)算單元。GCluster：GCluster負(fù)責(zé)SQL的解析、SQL優(yōu)化、分布式執(zhí)行計(jì)劃生成、執(zhí)行調(diào)換。GCWare：GCWare用于各節(jié)點(diǎn)GCluster實(shí)例間共享信息(包括集群結(jié)構(gòu)，節(jié)點(diǎn)狀態(tài)，節(jié)點(diǎn)資源狀態(tài)等信息)，以及控制多副本數(shù)據(jù)操作時(shí)，供應(yīng)可操作節(jié)點(diǎn)，并在多副本操作中，控制各節(jié)點(diǎn)數(shù)據(jù)一致性狀態(tài)。GCWare對于集群的管理工作是以節(jié)點(diǎn)為基本單位的。GNode：GNode是GCluster中最基本的儲藏和計(jì)算單元。GNode是由GCWare管理的一個(gè)8a實(shí)例，每個(gè)GCluste

21、r節(jié)點(diǎn)上有一個(gè)GNode實(shí)例運(yùn)行。GNode負(fù)責(zé)集群數(shù)據(jù)在節(jié)點(diǎn)上的實(shí)質(zhì)儲藏，并從GCluster接收和執(zhí)行經(jīng)分解的SQL執(zhí)行計(jì)劃，執(zhí)行結(jié)果返回給GCluster。數(shù)據(jù)加載時(shí)，GNode直接從集群加載服務(wù)接收數(shù)據(jù)，寫入當(dāng)?shù)貎Σ乜臻g。GCMonit：杭州華三通信技術(shù)有限企業(yè)-10-H3CFlexDataMPPCluster技術(shù)白皮書GCMonit用于如期監(jiān)測DataEngineMPPCluster服務(wù)程序的運(yùn)行狀態(tài),一旦發(fā)現(xiàn)某個(gè)服務(wù)程序的進(jìn)度狀態(tài)發(fā)生變化，就會依照配置文件中的內(nèi)容來執(zhí)行相應(yīng)的命令。GCMonit進(jìn)程監(jiān)控程序?yàn)榧褐械拿總€(gè)組件供應(yīng)各自的啟停腳本，供應(yīng)的總腳本可以一次性啟停所有模塊的服務(wù)。3.3高可用DataEngineMPPCluster經(jīng)過SafeGroup組內(nèi)冗余體系來保證集群的高可用特點(diǎn)：每個(gè)SafeGroup可供應(yīng)1個(gè)或2個(gè)副本數(shù)據(jù)冗余；SafeGroup內(nèi)數(shù)據(jù)副本自動同步；復(fù)制引擎自動管理數(shù)據(jù)同步；圖3-2SafeGroup高可用性管理表示圖3.4高性能擴(kuò)展能力DataEngineMPPCluster具備高性能擴(kuò)展能力：經(jīng)過SafeGroup動向擴(kuò)展集群節(jié)點(diǎn)；每個(gè)節(jié)點(diǎn)可以辦理10TB有效數(shù)據(jù)，同時(shí)供應(yīng)計(jì)算和儲藏能力；GCware負(fù)責(zé)新節(jié)點(diǎn)的數(shù)據(jù)同步。杭州華三通信技術(shù)有限企業(yè)-11-H3CFlexDataMPPCluste