大數(shù)據(jù)計算模式和關(guān)鍵技術(shù)

1、未來，已發(fā)生改變大數(shù)據(jù)的關(guān)鍵技術(shù)1大數(shù)據(jù)關(guān)鍵技術(shù)1、數(shù)據(jù)采集2、數(shù)據(jù)存儲與管理3、數(shù)據(jù)處理與分析4、數(shù)據(jù)隱私與安全1.5大數(shù)據(jù)關(guān)鍵技術(shù)分布式存儲分布式處理大數(shù)據(jù)1.5大數(shù)據(jù)關(guān)鍵技術(shù)單機無法存儲集群分布式存儲海量數(shù)據(jù)的存儲1.5大數(shù)據(jù)關(guān)鍵技術(shù)1分布式數(shù)據(jù)庫Bigtable分布式文件系統(tǒng)GFS分布式并行處理技術(shù)Mapreduce 1.5大數(shù)據(jù)關(guān)鍵技術(shù)正如“不同的鎖需要不同的鑰匙”企業(yè)中不同的應(yīng)用場景數(shù)據(jù)不同的計算模式，需要使用不同的大數(shù)據(jù)技術(shù)1大數(shù)據(jù)關(guān)鍵技術(shù)批處理流數(shù)據(jù)需要實時處理圖計算需要實時處理實時計算交互式查詢分析交互式計算不同的計算模式需要使用不同的產(chǎn)品MapReduce批處理計算模式的典

2、型代表批處理計算MapReduce是批處理計算模式的典型代表可做迭代計算的Spark，實時性更好10流計算代表技術(shù)：Storm、S4、Flume、Streams流數(shù)據(jù)（網(wǎng)購數(shù)據(jù)、游戲內(nèi)玩家活動、社交網(wǎng)站信息、金融交易大廳或地理空間服務(wù)，以及來自數(shù)據(jù)中心內(nèi)所連接設(shè)備或儀器的遙測數(shù)據(jù)）需要實時處理，給出實時響應(yīng)，否則分析結(jié)果會失去商業(yè)價值。圖計算代表技術(shù)：Pregel、GraphX、社交網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換成圖結(jié)構(gòu)查詢分析計算代表技術(shù)：Dremel、Hive、Cassandra、Impala等大數(shù)據(jù)計算模式大數(shù)據(jù)計算模式大數(shù)據(jù)計算模式解決問題解決問題代表產(chǎn)品代表產(chǎn)品批處理計算針對大規(guī)模數(shù)據(jù)的批量處理Map

3、Reduce、Spark等流計算針對流數(shù)據(jù)的實時計算Storm、S4、Flume、Streams、Puma、DStream、Super Mario、銀河流數(shù)據(jù)處理平臺等圖計算針對大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等查詢分析計算大規(guī)模數(shù)據(jù)的存儲管理和查詢分析Dremel、Hive、Cassandra、Impala等表1-3 大數(shù)據(jù)計算模式及其代表產(chǎn)品分布式存儲分布式處理大數(shù)據(jù)1. 云計算概念云計算實現(xiàn)了通過網(wǎng)絡(luò)提供可伸縮的、廉價的分布式計算能力，用戶只需要在具備網(wǎng)絡(luò)接入條件的地方，就可以隨時隨地獲得所需的各種IT資源

4、。云計算的優(yōu)勢企業(yè)不需要自建IT基礎(chǔ)設(shè)施，可以租用云端資源云計算的優(yōu)勢企業(yè)不需要自建IT基礎(chǔ)設(shè)施，可以租用云端資源圖1-7 云計算的服務(wù)模式和類型 云計算的服務(wù)模式和類型公有云私有云混合云Infrastructure as a ServicePlatform as a ServiceSoftware as a ServiceSaaSPaaSIaaSGoogle Apps, Microsoft “Software+Services”面向用戶（云軟件）Sina APP Engine, Google App Engine面向應(yīng)用開發(fā)者（搭建開發(fā)平臺作為服務(wù)出租）Amazon EC2, IBM Blue Cloud, Sun Grid面向網(wǎng)絡(luò)架構(gòu)師（基礎(chǔ)設(shè)施作為服務(wù)出租）ServerStorageServerStorageVisualizationInfrastructurePlatformApplication從一個集中的系統(tǒng)部署軟件，使之在一臺本地計算機上(或從云中遠程地)運行的一個模型。由于是計量服務(wù)，SaaS 允許出租一個應(yīng)用程序，并計時收費 IaaS將基礎(chǔ)設(shè)施(計算資源和存儲)作為服務(wù)出租PaaS類似于 IaaS，但是它包括操作系統(tǒng)和圍繞特定應(yīng)用的必需的服務(wù)S