大數(shù)據(jù)處理與分析相關(guān)平臺簡介課件

大數(shù)據(jù)處理與分析相關(guān)平臺簡介中國人民大學(xué)信息學(xué)院董兆安內(nèi)容來自CSDN等互聯(lián)網(wǎng)資源大數(shù)據(jù)處理與分析相關(guān)平臺簡介中國人民大學(xué)信息學(xué)院董兆安內(nèi)容來大數(shù)據(jù)及其主要特征2規(guī)模（Volume）、種類（Variety）、速度（Velocity）2001年，道格.萊尼（DougLaney）VolumeVolumeVarietyVolume模態(tài)多樣VelocityVolume速度極快體量巨大文本視頻圖片音頻到2020年，數(shù)據(jù)總量達40ZB，人均5.2TB分享的內(nèi)容條目超過25億個/天，增加數(shù)據(jù)超過500TB/天大數(shù)據(jù)及其主要特征2規(guī)模（Volume）、種類（Variet關(guān)于大數(shù)據(jù)定義的誤解/doug-laney/Other“V”slikeveracity,validity,value,etc.areaspirationalqualitiesofalldata,notdefinitionalqualitiesofbigdata.3關(guān)于大數(shù)據(jù)定義的誤解http://blogs.gartner硬件、技術(shù)、數(shù)據(jù)不斷進化4硬件、技術(shù)、數(shù)據(jù)不斷進化4傳統(tǒng)的數(shù)據(jù)處理ExternalDataSourcesExtractTransformLoadDataWarehouseIntegratedstorageDataprocessingUsersSQL傳統(tǒng)的數(shù)據(jù)處理ExternalExtractDataWar數(shù)據(jù)分析的需求也逐漸提高從海量數(shù)據(jù)中快速獲取有價值信息低延遲、高性能、分布式、可擴展、容錯。6RTAPOLAPOLTP數(shù)據(jù)分析的需求也逐漸提高從海量數(shù)據(jù)中快速獲取有價值信息6RT需求變化7Real-TimeNon-InteractiveBatchInteractiveOnlinesystemsRealtimeAnalyticsComplexeventprocessingDatapreparationIncrementalbatchprocessingDashboardsOperationalbatchprocessingEnterprisereportsDataminingParameterized

ReportsDrilldownVisualizationExploration0--5s5s--1m1m--1h1h+需求變化7Real-TimeNon-InteractiveB場景不同-工具不同-視角不同Hortonworks將應(yīng)用需求進行了如下劃分：實時應(yīng)用場景(0~5s)：Storm、S4、ClouderaImpala，ApacheDrill等；交互式場景（5s~1m）：最好支持SQL，：ClouderaImpala、ApacheDrill、Shark等；非交互式場景（1m~1h）：MapReduce、Hive、Pig、Stinger等；批處理場景（1h+）運行時間較長，處理數(shù)據(jù)量較大，對容錯性和擴展性要求較高MapReduce、Hive、Pig、Stinger等。8場景不同-工具不同-視角不同Hortonworks將應(yīng)用需求大數(shù)據(jù)分析與處理架構(gòu)——一個案例9IngestLandingandAnalyticsSandboxZoneIndexes,facetsHive/HBaseColStoresDocumentsInVarietyofFormatsAnalyticsMapReduceRepository,WorkbenchIngestionandReal-timeAnalyticZoneDataSinksFilter,TransformIngestCorrelate,ClassifyExtract,AnnotateWarehousingZoneEnterpriseWarehouseDataMartsQueryEnginesCubesDescriptive,PredictiveModelsModelsWidgetsDiscovery,VisualizerSearchAnalyticsandReportingZoneMetadataandGovernanceZone9Connectors大數(shù)據(jù)分析與處理架構(gòu)——一個案例9IngestLandi大數(shù)據(jù)處理與分析技術(shù)數(shù)據(jù)采集數(shù)據(jù)處理數(shù)據(jù)存儲統(tǒng)計分析數(shù)據(jù)挖掘模型預(yù)測數(shù)據(jù)可視化元數(shù)據(jù)管理10大數(shù)據(jù)處理與分析技術(shù)數(shù)據(jù)采集10數(shù)據(jù)處理的幾種模式轉(zhuǎn)換TransformerConvertpayloadormodifyheaders過濾FilterDiscardmessagesbasedonbooleanevaluation路由RouterDeterminenextchannelbasedoncontent分割SplitterGeneratemultiplemessagesfromone聚集AggregatorAssembleasinglemessagefrommultiple11數(shù)據(jù)處理的幾種模式轉(zhuǎn)換Transformer11幾種平臺介紹MPPHadoopstormspark12幾種平臺介紹MPP12開源的大數(shù)據(jù)處理平臺SQLonHadoopHortonworks:Tez、StingerCloudera:ImpalaFacebook：Hive，PrestoGoogle發(fā)布了Dremel和PowerDrillEMC推出Pivotal+HAWQ開源數(shù)據(jù)倉庫brighthouse基于MySQL的數(shù)據(jù)倉庫存儲引擎13開源的大數(shù)據(jù)處理平臺SQLonHadoop13開源的大數(shù)據(jù)處理平臺NO-MapReduce系統(tǒng)微軟的DAG任務(wù)計算模型Dryad

Google的圖批量同步處理系統(tǒng)Pregel和增量式計算框架PercolatorYahoo!的數(shù)據(jù)流計算系統(tǒng)S4、NYU的共享內(nèi)存處理系統(tǒng)PiccoloBerkeley的交互式實時處理系統(tǒng)Spark等等。NEWSQL系統(tǒng)VoltDBmySQL集群14開源的大數(shù)據(jù)處理平臺NO-MapReduce系統(tǒng)14Hadoop的版本15Hadoop的版本151616IntelHadoop*17IntelHadoop*17Hadoop1.018Hadoop1.018Hadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorMorevarieddatasourceswithmanymoreaccess/retentionrequirementsUsersHadoopeco-systemExternalHDFSHadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorDataaccessedthroughmultipleentrypointsUsersHadoopeco-systemExternalHDFSHadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorUsersLotsofnewconsumersofthedataHadoopeco-systemExternalHDFSHadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorUsersOneaccesscontrolmechanism:filesHadoopeco-systemExternalHDFSHadoop1.0——HDFS存儲模型23Hadoop1.0——HDFS存儲模型23Hadoop1.0——計算模型MapReduce24Hadoop1.0——計算模型MapReduce24節(jié)點功能與角色25節(jié)點功能與角色25集群部署示意26集群部署示意26YARN和Hadoop2.027YARN和Hadoop2.027comprisesthelatestreleaseacrossHadoopandthekeyrelatedprojectsintoasingleintegratedandtestedplatformCoreservicesDataservicesOperationalservices28Hadoop2.0comprisesthelatestreleaseaHadoop2.0YARN的基本思想是將JobTracker的兩個主要功能資源管理和作業(yè)調(diào)度/監(jiān)控分離主要方法是創(chuàng)建一個全局的ResourceManager（RM）和若干個針對應(yīng)用程序的ApplicationMaster（AM）29Hadoop2.0YARN的基本思想是將JobTracke對比：Hadoop1.0JobTracker和TaskTracker30對比：Hadoop1.0JobTracker和Task對比：Hadoop2.031對比：Hadoop2.031運行在YARN上的計算框架YARN=YetAnotherResourceNeogitator.32運行在YARN上的計算框架YARN=YetAnothe內(nèi)存計算——SparkandShark33High-SpeedIn-MemoryAnalytics

overHadoopandHiveDataUCBERKELEY內(nèi)存計算——SparkandShark33High-Sp34MapReduce——數(shù)據(jù)共享于HDFSiter.1iter.2...InputHDFS

readHDFS

writeHDFS

readHDFS

writeInputquery1query2query3result1result2result3...HDFS

readSlowduetoreplication,serialization,anddiskIO34MapReduce——數(shù)據(jù)共享于HDFSiter.1i35iter.1iter.2...InputSpark——數(shù)據(jù)共享于內(nèi)存Distributed

memoryInputquery1query2query3...one-time

processing10-100×

fasterthannetworkanddisk35iter.1iter.2...InputSpSpark之RDD——彈性分布式數(shù)據(jù)集Spark之RDD——彈性分布式數(shù)據(jù)集3737伯克利架構(gòu)38伯克利架構(gòu)38分布式實時計算系統(tǒng)

Storm流數(shù)據(jù)處理Storm可以用來處理源源不斷流進來的消息，處理之后將結(jié)果寫入到某個存儲中去。S4(SimpleScalableStreamingSystem)是一個分布式流處理引擎，開發(fā)者可以在這個引擎基礎(chǔ)上開發(fā)面向無界的，不間斷的流數(shù)據(jù)處理應(yīng)用。分布式rpc由于storm的處理組件是分布式的，而且處理延遲極低，所以可以作為一個通用的分布式rpc框架來使用。搜索引擎本身也是一個分布式rpc系統(tǒng)。39分布式實時計算系統(tǒng)

Storm流數(shù)據(jù)處理39STORM角色Nimbus：負責(zé)資源分配和任務(wù)調(diào)度。Supervisor：負責(zé)接受nimbus分配的任務(wù)，啟動和停止屬于自己管理的worker進程。Worker：運行具體處理組件邏輯的進程。Task：worker中每一個spout/bolt的線程稱為一個task.40STORM角色Nimbus：40基本邏輯——概念Spout：在一個topology中產(chǎn)生源數(shù)據(jù)流的組件。Spout是一個主動的角色，其接口中有個nextTuple()函數(shù)，storm框架會不停地調(diào)用此函數(shù)，用戶只要在其中生成源數(shù)據(jù)即可。Bolt：在一個topology中接受數(shù)據(jù)然后執(zhí)行處理的組件。Bolt可以執(zhí)行過濾、函數(shù)操作、合并、寫數(shù)據(jù)庫等任何操作。Bolt是一個被動的角色，Tuple：一次消息傳遞的基本單元。Stream：源源不斷傳遞的tuple就組成了stream。Topology：storm中運行的一個實時應(yīng)用程序，因為各個組件間的消息流動形成邏輯上的一個拓撲結(jié)構(gòu)。41基本邏輯——概念Spout：41大數(shù)據(jù)處理平臺——MPP42

應(yīng)用程序通過Master主機訪問數(shù)據(jù)

在存儲節(jié)點和Master主機之間交換數(shù)據(jù)

每一個存儲節(jié)點都是獨立的PgSQL數(shù)據(jù)庫（無共享）QueryPlanMPP=MassiveParallelProcessing海量并行處理結(jié)構(gòu)大數(shù)據(jù)處理平臺——MPP42應(yīng)用程序通過Master主數(shù)據(jù)分發(fā)43數(shù)據(jù)分發(fā)43Share-Nothing的完全并行架構(gòu)

44共享磁盤例如：OracleRACDBSAN/共享磁盤DBDBDB網(wǎng)絡(luò)SAN/FC完全共享例如：SMP服務(wù)器DB磁盤完全不共享例如：GreenplumDBDBDBDB網(wǎng)絡(luò)磁盤磁盤磁盤磁盤Master注：所有的共享資源都用藍灰色表示Share-Nothing的完全并行架構(gòu)

44共享磁盤DBS基于外部表的高速數(shù)據(jù)加載利用并行數(shù)據(jù)流引擎，Greenplum可以直接用SQL操作外部表數(shù)據(jù)加載完全并行，加載速度可達4.5TB/小時45Master主機Segment主機內(nèi)部互聯(lián)網(wǎng)—千兆以太網(wǎng)交換機gdfdistgdfdistSegment主機Segment主機Segment主機外部表文件外部表文件ETL服務(wù)器內(nèi)部網(wǎng)絡(luò)基于外部表的高速數(shù)據(jù)加載利用并行數(shù)據(jù)流引擎，GreenpluMapReduce&SQL一體環(huán)境46傳統(tǒng)RDBMS系統(tǒng)ACID交易管理器ACID交易管理器查詢優(yōu)化器ACID交易管理器關(guān)系型表關(guān)系型表SQL關(guān)系型表數(shù)據(jù)庫日志數(shù)據(jù)流引擎reduce{……}map{……}化簡映射reduce{……}map{……}數(shù)據(jù)流引擎數(shù)據(jù)流引擎map{……}ACID交易管理器ACID交易管理器查詢優(yōu)化器ACID交易管理器關(guān)系型表關(guān)系型表SQL關(guān)系型表數(shù)據(jù)庫日志數(shù)據(jù)流引擎查詢優(yōu)化器關(guān)系型表查詢優(yōu)化器數(shù)據(jù)庫日志化簡映射化簡map{……}reduce{……}ACID交易管理器ACID交易管理器ACID交易管理器關(guān)系型表關(guān)系型表關(guān)系型表數(shù)據(jù)庫日志數(shù)據(jù)流引擎關(guān)系型表數(shù)據(jù)庫日志傳統(tǒng)的編程環(huán)境Greenplum機制MapReduce&SQL一體環(huán)境46傳統(tǒng)RDBMS系統(tǒng)PivotalHD+hawq47PivotalHD+hawq47Phd集群48Phd集群48謝謝大家！謝謝大家！大數(shù)據(jù)處理與分析相關(guān)平臺簡介中國人民大學(xué)信息學(xué)院董兆安內(nèi)容來自CSDN等互聯(lián)網(wǎng)資源大數(shù)據(jù)處理與分析相關(guān)平臺簡介中國人民大學(xué)信息學(xué)院董兆安內(nèi)容來大數(shù)據(jù)及其主要特征51規(guī)模（Volume）、種類（Variety）、速度（Velocity）2001年，道格.萊尼（DougLaney）VolumeVolumeVarietyVolume模態(tài)多樣VelocityVolume速度極快體量巨大文本視頻圖片音頻到2020年，數(shù)據(jù)總量達40ZB，人均5.2TB分享的內(nèi)容條目超過25億個/天，增加數(shù)據(jù)超過500TB/天大數(shù)據(jù)及其主要特征2規(guī)模（Volume）、種類（Variet關(guān)于大數(shù)據(jù)定義的誤解/doug-laney/Other“V”slikeveracity,validity,value,etc.areaspirationalqualitiesofalldata,notdefinitionalqualitiesofbigdata.52關(guān)于大數(shù)據(jù)定義的誤解http://blogs.gartner硬件、技術(shù)、數(shù)據(jù)不斷進化53硬件、技術(shù)、數(shù)據(jù)不斷進化4傳統(tǒng)的數(shù)據(jù)處理ExternalDataSourcesExtractTransformLoadDataWarehouseIntegratedstorageDataprocessingUsersSQL傳統(tǒng)的數(shù)據(jù)處理ExternalExtractDataWar數(shù)據(jù)分析的需求也逐漸提高從海量數(shù)據(jù)中快速獲取有價值信息低延遲、高性能、分布式、可擴展、容錯。55RTAPOLAPOLTP數(shù)據(jù)分析的需求也逐漸提高從海量數(shù)據(jù)中快速獲取有價值信息6RT需求變化56Real-TimeNon-InteractiveBatchInteractiveOnlinesystemsRealtimeAnalyticsComplexeventprocessingDatapreparationIncrementalbatchprocessingDashboardsOperationalbatchprocessingEnterprisereportsDataminingParameterized

ReportsDrilldownVisualizationExploration0--5s5s--1m1m--1h1h+需求變化7Real-TimeNon-InteractiveB場景不同-工具不同-視角不同Hortonworks將應(yīng)用需求進行了如下劃分：實時應(yīng)用場景(0~5s)：Storm、S4、ClouderaImpala，ApacheDrill等；交互式場景（5s~1m）：最好支持SQL，：ClouderaImpala、ApacheDrill、Shark等；非交互式場景（1m~1h）：MapReduce、Hive、Pig、Stinger等；批處理場景（1h+）運行時間較長，處理數(shù)據(jù)量較大，對容錯性和擴展性要求較高MapReduce、Hive、Pig、Stinger等。57場景不同-工具不同-視角不同Hortonworks將應(yīng)用需求大數(shù)據(jù)分析與處理架構(gòu)——一個案例58IngestLandingandAnalyticsSandboxZoneIndexes,facetsHive/HBaseColStoresDocumentsInVarietyofFormatsAnalyticsMapReduceRepository,WorkbenchIngestionandReal-timeAnalyticZoneDataSinksFilter,TransformIngestCorrelate,ClassifyExtract,AnnotateWarehousingZoneEnterpriseWarehouseDataMartsQueryEnginesCubesDescriptive,PredictiveModelsModelsWidgetsDiscovery,VisualizerSearchAnalyticsandReportingZoneMetadataandGovernanceZone58Connectors大數(shù)據(jù)分析與處理架構(gòu)——一個案例9IngestLandi大數(shù)據(jù)處理與分析技術(shù)數(shù)據(jù)采集數(shù)據(jù)處理數(shù)據(jù)存儲統(tǒng)計分析數(shù)據(jù)挖掘模型預(yù)測數(shù)據(jù)可視化元數(shù)據(jù)管理59大數(shù)據(jù)處理與分析技術(shù)數(shù)據(jù)采集10數(shù)據(jù)處理的幾種模式轉(zhuǎn)換TransformerConvertpayloadormodifyheaders過濾FilterDiscardmessagesbasedonbooleanevaluation路由RouterDeterminenextchannelbasedoncontent分割SplitterGeneratemultiplemessagesfromone聚集AggregatorAssembleasinglemessagefrommultiple60數(shù)據(jù)處理的幾種模式轉(zhuǎn)換Transformer11幾種平臺介紹MPPHadoopstormspark61幾種平臺介紹MPP12開源的大數(shù)據(jù)處理平臺SQLonHadoopHortonworks:Tez、StingerCloudera:ImpalaFacebook：Hive，PrestoGoogle發(fā)布了Dremel和PowerDrillEMC推出Pivotal+HAWQ開源數(shù)據(jù)倉庫brighthouse基于MySQL的數(shù)據(jù)倉庫存儲引擎62開源的大數(shù)據(jù)處理平臺SQLonHadoop13開源的大數(shù)據(jù)處理平臺NO-MapReduce系統(tǒng)微軟的DAG任務(wù)計算模型Dryad

Google的圖批量同步處理系統(tǒng)Pregel和增量式計算框架PercolatorYahoo!的數(shù)據(jù)流計算系統(tǒng)S4、NYU的共享內(nèi)存處理系統(tǒng)PiccoloBerkeley的交互式實時處理系統(tǒng)Spark等等。NEWSQL系統(tǒng)VoltDBmySQL集群63開源的大數(shù)據(jù)處理平臺NO-MapReduce系統(tǒng)14Hadoop的版本64Hadoop的版本156516IntelHadoop*66IntelHadoop*17Hadoop1.067Hadoop1.018Hadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorMorevarieddatasourceswithmanymoreaccess/retentionrequirementsUsersHadoopeco-systemExternalHDFSHadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorDataaccessedthroughmultipleentrypointsUsersHadoopeco-systemExternalHDFSHadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorUsersLotsofnewconsumersofthedataHadoopeco-systemExternalHDFSHadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorUsersOneaccesscontrolmechanism:filesHadoopeco-systemExternalHDFSHadoop1.0——HDFS存儲模型72Hadoop1.0——HDFS存儲模型23Hadoop1.0——計算模型MapReduce73Hadoop1.0——計算模型MapReduce24節(jié)點功能與角色74節(jié)點功能與角色25集群部署示意75集群部署示意26YARN和Hadoop2.076YARN和Hadoop2.027comprisesthelatestreleaseacrossHadoopandthekeyrelatedprojectsintoasingleintegratedandtestedplatformCoreservicesDataservicesOperationalservices77Hadoop2.0comprisesthelatestreleaseaHadoop2.0YARN的基本思想是將JobTracker的兩個主要功能資源管理和作業(yè)調(diào)度/監(jiān)控分離主要方法是創(chuàng)建一個全局的ResourceManager（RM）和若干個針對應(yīng)用程序的ApplicationMaster（AM）78Hadoop2.0YARN的基本思想是將JobTracke對比：Hadoop1.0JobTracker和TaskTracker79對比：Hadoop1.0JobTracker和Task對比：Hadoop2.080對比：Hadoop2.031運行在YARN上的計算框架YARN=YetAnotherResourceNeogitator.81運行在YARN上的計算框架YARN=YetAnothe內(nèi)存計算——SparkandShark82High-SpeedIn-MemoryAnalytics

overHadoopandHiveDataUCBERKELEY內(nèi)存計算——SparkandShark33High-Sp83MapReduce——數(shù)據(jù)共享于HDFSiter.1iter.2...InputHDFS

readHDFS

writeHDFS

readHDFS

writeInputquery1query2query3result1result2result3...HDFS

readSlowduetoreplication,serialization,anddiskIO34MapReduce——數(shù)據(jù)共享于HDFSiter.1i84iter.1iter.2...InputSpark——數(shù)據(jù)共享于內(nèi)存Distributed

memoryInputquery1query2query3...one-time

processing10-100×

fasterthannetworkanddisk35iter.1iter.2...InputSpSpark之RDD——彈性分布式數(shù)據(jù)集Spark之RDD——彈性分布式數(shù)據(jù)集8637伯克利架構(gòu)87伯克利架構(gòu)38分布式實時計算系統(tǒng)

Storm流數(shù)據(jù)處理Storm可以用來處理源源不斷流進來的消息，處理之后將結(jié)果寫入到某個存儲中去。S4(SimpleScalableStreamingSystem)是一個分布式流處理引擎，開發(fā)者可以在這個引擎基礎(chǔ)上開發(fā)面向無界的，不間斷的流數(shù)據(jù)處理應(yīng)用。分布式rpc由于storm的處理組件是分布式的，而且處理延遲極低，所以可以作為一個通用的分布式rpc框架來使用。搜索引擎本身也是一個分布式rpc系統(tǒng)。88分布式實時計算系統(tǒng)

Storm流數(shù)據(jù)處理39STORM角色Nimbus：負責(zé)資源分配和任務(wù)調(diào)度。Supervisor：負責(zé)接受nimbus分配的任務(wù)，啟動和停止屬于自己管理的worker進程。Worker：運行具體處理組件邏輯的進程。Task：worker中每一個spout/bolt的線程稱為一個task.89STORM角色Nimbus：40基本邏輯