大數(shù)據(jù)計算模式和關(guān)鍵技術(shù)PPT課件

1、1未來，已發(fā)生改變未來，已發(fā)生改變大數(shù)據(jù)的關(guān)鍵技術(shù)大數(shù)據(jù)的關(guān)鍵技術(shù)21大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)關(guān)鍵技術(shù)1、數(shù)據(jù)采集、數(shù)據(jù)采集2、數(shù)據(jù)存儲與管理、數(shù)據(jù)存儲與管理3、數(shù)據(jù)處理與分析、數(shù)據(jù)處理與分析4、數(shù)據(jù)隱私與安全、數(shù)據(jù)隱私與安全31.5大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)關(guān)鍵技術(shù)分布式存儲分布式處理大數(shù)據(jù)兩大核心技術(shù)41.5大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)關(guān)鍵技術(shù)分布式存儲：解決海量數(shù)據(jù)的存儲問題分布式存儲：解決海量數(shù)據(jù)的存儲問題單機無法存儲集群分布式存儲海量數(shù)據(jù)的存儲51.5大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)技術(shù)都是以google公司技術(shù)為代表61分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫bigtable分布式文件系統(tǒng)分布式文件系統(tǒng)gfs分布

2、式并行處理技術(shù)分布式并行處理技術(shù)mapreduce 1.5大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)關(guān)鍵技術(shù)7正如“不同的鎖需要不同的鑰匙”企業(yè)中不同的應(yīng)用場景數(shù)據(jù)不同的計算模式，需要使用不同的大數(shù)據(jù)技術(shù)不同的計算模式需要使用不同的產(chǎn)品不同的計算模式需要使用不同的產(chǎn)品81大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)關(guān)鍵技術(shù)批處理批處理流數(shù)據(jù)需要實時處理圖計算需要實時處理實時計算實時計算交互式查詢分析交互式計算交互式計算不同的計算模式需要使用不同的產(chǎn)品mapreduce批處理計算模式的典型代表9批處理計算mapreduce是批處理計算模式的典型代表可做迭代計算的spark，實時性更好1010流計算代表技術(shù)：storm、s4、flume、st

3、reams流數(shù)據(jù)（網(wǎng)購數(shù)據(jù)、游戲內(nèi)玩家活動、社交網(wǎng)站信息、金融交易大廳或地理空間服務(wù)，以及來自數(shù)據(jù)中心內(nèi)所連接設(shè)備或儀器的遙測數(shù)據(jù)）需要實時處理，給出實時響應(yīng)，否則分析結(jié)果會失去商業(yè)價值。11圖計算代表技術(shù)：pregel、graphx、社交網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換成圖結(jié)構(gòu)12查詢分析計算代表技術(shù)：dremel、hive、cassandra、impala等等13大數(shù)據(jù)計算模式表1-3 大數(shù)據(jù)計算模式及其代表產(chǎn)品14分布式存儲分布式處理大數(shù)據(jù)兩大核心問題151. 云計算概念云計算概念云計算實現(xiàn)了通過網(wǎng)絡(luò)提供可伸縮的、廉價的分布式計算能力，用戶只需要在具備網(wǎng)絡(luò)接入條件的地方，就可以隨時隨地獲得所需的各種it資源

4、。16云計算的優(yōu)勢企業(yè)不需要自建it基礎(chǔ)設(shè)施，可以租用云端資源17云計算的優(yōu)勢企業(yè)不需要自建it基礎(chǔ)設(shè)施，可以租用云端資源18圖1-7 云計算的服務(wù)模式和類型 云計算的服務(wù)模式和類型云計算的服務(wù)模式和類型19公有云20私有云21混合云22infrastructure as a serviceplatform as a servicesoftware as a servicesaaspaasiaasgoogle apps, microsoft “software+services”面面向用戶（云軟件）向用戶（云軟件）sina app engine, google app engine面向應(yīng)用開發(fā)

5、者（搭建開發(fā)平臺作為服務(wù)出面向應(yīng)用開發(fā)者（搭建開發(fā)平臺作為服務(wù)出租）租）amazon ec2, ibm blue cloud, sun grid面向網(wǎng)絡(luò)架構(gòu)師（基礎(chǔ)設(shè)施作為服務(wù)出租）面向網(wǎng)絡(luò)架構(gòu)師（基礎(chǔ)設(shè)施作為服務(wù)出租）serverstorageserverstoragevisualizationinfrastructureplatformapplication從一個集中的系統(tǒng)部署軟件，使之在一臺本地計算機上(或從云中遠程地)運行的一個模型。由于是計量服務(wù)，saas 允許出租一個應(yīng)用程序，并計時收費 iaas將基礎(chǔ)設(shè)施(計算資源和存儲)作為服務(wù)出租paas類似于 iaas，但是它包括操作系統(tǒng)和圍繞特定應(yīng)用的必需的服務(wù)saas23 云計算關(guān)鍵技術(shù)包括：虛擬化、分布式存儲、分布式計算、多租戶等云計算關(guān)鍵技術(shù)云計算關(guān)鍵技術(shù)24云計算數(shù)據(jù)中心的建設(shè)云