大數(shù)據(jù)處理與相關(guān)平臺簡介

大數(shù)據(jù)處理與分析相關(guān)平臺簡介中國人民大學(xué)信息學(xué)院董兆安內(nèi)容來自CSDN等互聯(lián)網(wǎng)資源大數(shù)據(jù)及其主要特征2規(guī)模（Volume）、種類（Variety）、速度（Velocity）2001年，道格.萊尼（DougLaney）VolumeVolumeVarietyVolume模態(tài)多樣VelocityVolume速度極快體量巨大文本視頻圖片音頻到2020年，數(shù)據(jù)總量達(dá)40ZB，人均5.2TB分享的內(nèi)容條目超過25億個(gè)/天，增加數(shù)據(jù)超過500TB/天關(guān)于大數(shù)據(jù)定義的誤解Other“V”slikeveracity,validity,value,etc.areaspirationalqualitiesofalldata,notdefinitionalqualitiesofbigdata.3硬件、技術(shù)、數(shù)據(jù)不斷進(jìn)化4傳統(tǒng)的數(shù)據(jù)處理ExternalDataSourcesExtractTransformLoadDataWarehouseIntegratedstorageDataprocessingUsersSQL數(shù)據(jù)分析的需求也逐漸提高從海量數(shù)據(jù)中快速獲取有價(jià)值信息低延遲、高性能、分布式、可擴(kuò)展、容錯(cuò)。6RTAPOLAPOLTP需求變化7Real-TimeNon-InteractiveBatchInteractiveOnlinesystemsRealtimeAnalyticsComplexeventprocessingDatapreparationIncrementalbatchprocessingDashboardsOperationalbatchprocessingEnterprisereportsDataminingParameterized

ReportsDrilldownVisualizationExploration0--5s5s--1m1m--1h1h+場景不同-工具不同-視角不同Hortonworks將應(yīng)用需求進(jìn)行了如下劃分：實(shí)時(shí)應(yīng)用場景(0~5s)：Storm、S4、ClouderaImpala，ApacheDrill等；交互式場景（5s~1m）：最好支持SQL，：ClouderaImpala、ApacheDrill、Shark等；非交互式場景（1m~1h）：MapReduce、Hive、Pig、Stinger等；批處理場景（1h+）運(yùn)行時(shí)間較長，處理數(shù)據(jù)量較大，對容錯(cuò)性和擴(kuò)展性要求較高M(jìn)apReduce、Hive、Pig、Stinger等。8大數(shù)據(jù)分析與處理架構(gòu)——一個(gè)案例9IngestLandingandAnalyticsSandboxZoneIndexes,facetsHive/HBaseColStoresDocumentsInVarietyofFormatsAnalyticsMapReduceRepository,WorkbenchIngestionandReal-timeAnalyticZoneDataSinksFilter,TransformIngestCorrelate,ClassifyExtract,AnnotateWarehousingZoneEnterpriseWarehouseDataMartsQueryEnginesCubesDescriptive,PredictiveModelsModelsWidgetsDiscovery,VisualizerSearchAnalyticsandReportingZoneMetadataandGovernanceZone9Connectors大數(shù)據(jù)處理與分析技術(shù)數(shù)據(jù)采集數(shù)據(jù)處理數(shù)據(jù)存儲(chǔ)統(tǒng)計(jì)分析數(shù)據(jù)挖掘模型預(yù)測數(shù)據(jù)可視化元數(shù)據(jù)管理10數(shù)據(jù)據(jù)處處理理的的幾幾種種模模式式轉(zhuǎn)換換TransformerConvertpayloadormodifyheaders過濾濾FilterDiscardmessagesbasedonbooleanevaluation路由由RouterDeterminenextchannelbasedoncontent分割割SplitterGeneratemultiplemessagesfromone聚集集AggregatorAssembleasinglemessagefrommultiple11幾種種平平臺臺介介紹紹MPPHadoopstormspark12開源源的的大大數(shù)數(shù)據(jù)據(jù)處處理理平平臺臺SQLonHadoopHortonworks:Tez、StingerCloudera:ImpalaFacebook：Hive，PrestoGoogle發(fā)布布了了Dremel和PowerDrillEMC推出出Pivotal+HAWQ開源源數(shù)數(shù)據(jù)據(jù)倉倉庫庫brighthouse基于于MySQL的數(shù)數(shù)據(jù)據(jù)倉倉庫庫存存儲(chǔ)儲(chǔ)引引擎擎13開源源的的大大數(shù)數(shù)據(jù)據(jù)處處理理平平臺臺NO-MapReduce系統(tǒng)統(tǒng)微軟軟的的DAG任務(wù)務(wù)計(jì)計(jì)算算模模型型DryadGoogle的圖圖批批量量同同步步處處理理系系統(tǒng)統(tǒng)Pregel和增增量量式式計(jì)計(jì)算算框框架架PercolatorYahoo!的數(shù)數(shù)據(jù)據(jù)流流計(jì)計(jì)算算系系統(tǒng)統(tǒng)S4、NYU的共共享享內(nèi)內(nèi)存存處處理理系系統(tǒng)統(tǒng)PiccoloBerkeley的交交互互式式實(shí)實(shí)時(shí)時(shí)處處理理系系統(tǒng)統(tǒng)Spark等等等。。NEWSQL系統(tǒng)統(tǒng)VoltDBmySQL集群群14Hadoop的版版本本1516IntelHadoop*17Hadoop1.018Hadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorMorevarieddatasourceswithmanymoreaccess/retentionrequirementsUsersHadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorDataaccessedthroughmultipleentrypointsUsersHadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorUsersLotsofnewconsumersofthedataHadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorUsersOneaccesscontrolmechanism:filesHadoop1.0————HDFS存儲(chǔ)儲(chǔ)模模型型23Hadoop1.0————計(jì)算算模模型型MapReduce24節(jié)點(diǎn)點(diǎn)功功能能與與角角色色25集群群部部署署示示意意26YARN和Hadoop2.027comprisesthelatestreleaseacrossHadoopandthekeyrelatedprojectsintoasingleintegratedandtestedplatformCoreservicesDataservicesOperationalservices28Hadoop2.0Hadoop2.0YARN的基本思想是是將JobTracker的兩個(gè)主要功功能資源管理理和作業(yè)調(diào)度度/監(jiān)控分離主要方法是創(chuàng)創(chuàng)建一個(gè)全局局的ResourceManager（RM）和若干個(gè)針針對應(yīng)用程序序的ApplicationMaster（AM）29對比：Hadoop1.0JobTracker和TaskTracker30對比：Hadoop2.031運(yùn)行在YARN上的計(jì)算框架架YARN=YetAnotherResourceNeogitator.32內(nèi)存計(jì)算——SparkandShark33High-SpeedIn-MemoryAnalyticsoverHadoopandHiveDataUCBERKELEY34MapReduce———數(shù)據(jù)共享于HDFSiter.1iter.2...InputHDFSreadHDFSwriteHDFSreadHDFSwriteInputquery1query2query3result1result2result3...HDFS

readSlowduetoreplication,serialization,anddiskIO35iter.1iter.2...InputSpark———數(shù)據(jù)共享于內(nèi)內(nèi)存Distributed

memoryInputquery1query2query3...one-time

processing10-100×fasterthannetworkanddiskSpark之RDD——彈性分布式數(shù)數(shù)據(jù)集37伯克利架構(gòu)38分布式實(shí)時(shí)計(jì)計(jì)算系統(tǒng)Storm流數(shù)據(jù)處理Storm可以用來處理理源源不斷流流進(jìn)來的消息息，處理之后后將結(jié)果寫入入到某個(gè)存儲(chǔ)儲(chǔ)中去。S4(SimpleScalableStreamingSystem)是一個(gè)分布式式流處理引擎擎，開發(fā)者可可以在這個(gè)引引擎基礎(chǔ)上開開發(fā)面向無界界的，不間斷斷的流數(shù)據(jù)處處理應(yīng)用。分布式rpc由于storm的處理組件是是分布式的，，而且處理延延遲極低，所所以可以作為為一個(gè)通用的的分布式rpc框架來使用。。搜索引擎本身身也是一個(gè)分分布式rpc系統(tǒng)。39STORM角色Nimbus：負(fù)責(zé)資源分配配和任務(wù)調(diào)度度。Supervisor：負(fù)責(zé)接受nimbus分配的任務(wù)，，啟動(dòng)和停止止屬于自己管管理的worker進(jìn)程。Worker：運(yùn)行具體處理理組件邏輯的的進(jìn)程。Task：worker中每一個(gè)spout/bolt的線程稱為一一個(gè)task.40基本邏輯——概念Spout：在一個(gè)topology中產(chǎn)生源數(shù)據(jù)據(jù)流的組件。。Spout是一個(gè)主動(dòng)的的角色，其接接口中有個(gè)nextTuple()函數(shù)，storm框架會(huì)不停地地調(diào)用此函數(shù)數(shù)，用戶只要要在其中生成成源數(shù)據(jù)即可可。Bolt：在一個(gè)topology中接受數(shù)據(jù)然然后執(zhí)行處理理的組件。Bolt可以執(zhí)行過濾濾、函數(shù)操作作、合并、寫寫數(shù)據(jù)庫等任任何操作。Bolt是一個(gè)被動(dòng)動(dòng)的角色，Tuple：一次消息傳遞遞的基本單元元。Stream：源源不斷傳遞遞的tuple就組成了stream。Topology：storm中運(yùn)行的一個(gè)個(gè)實(shí)時(shí)應(yīng)用程程序，因?yàn)楦鱾€(gè)組件件間的消息流流動(dòng)形成邏輯輯上的一個(gè)拓拓?fù)浣Y(jié)構(gòu)。41大數(shù)據(jù)處理平平臺——MPP42應(yīng)用程序通過Master主機(jī)訪問數(shù)據(jù)在存儲(chǔ)節(jié)點(diǎn)和Master主機(jī)之間交換數(shù)據(jù)每一個(gè)存儲(chǔ)節(jié)點(diǎn)都是獨(dú)立的PgSQL數(shù)據(jù)庫（無共享）QueryPlanMPP=MassiveParallelProcessing海量并行處理理結(jié)構(gòu)數(shù)據(jù)分發(fā)43Share-Nothing的完全并行架架構(gòu)44共享磁盤例如：OracleRACDBSAN/共享磁盤DBDBDB網(wǎng)絡(luò)SAN/FC完全共享例如：SMP服務(wù)器DB磁盤完全不共享例如：GreenplumDBDBDBDB網(wǎng)絡(luò)磁盤磁盤磁盤磁盤Master注：所有的共共享資源都用用藍(lán)灰色表