大數(shù)據(jù)與云計算知識

1、西北農(nóng)林科技大學云計算信息工程學院第1頁推薦資源教材云計算 第三版 電子工業(yè)出版社 參考教材虛擬化與云計算小組著. 虛擬化與云計算，電子工業(yè)出版社，.陸嘉恒，文繼榮著. 分布式系統(tǒng)及云計算概論. 清華大學出版社，2013.Tom White著 曾大聃譯. Hadoop權(quán)威指南，清華大學出版社，年.第2頁西北農(nóng)林科技大學大數(shù)據(jù)與云計算第 1 章第3頁目錄 大數(shù)據(jù)時代云計算大數(shù)據(jù)計算云計算發(fā)展現(xiàn)實狀況云計算實現(xiàn)機制云計算壓倒性成本優(yōu)勢第4頁1.1大數(shù)據(jù)時代第一章 大數(shù)據(jù)與云計算“大數(shù)據(jù)”(Big Data)搜索指數(shù)數(shù)據(jù)起源：baidu指數(shù) “大數(shù)據(jù)”這個詞從才引發(fā)關(guān)注，之后搜索量便迅猛增加。為何大

2、數(shù)據(jù)這么受關(guān)注？第5頁(EB)(年份)全球數(shù)據(jù)總量改變圖1.1大數(shù)據(jù)時代第一章 大數(shù)據(jù)與云計算第6頁為何全球數(shù)據(jù)量增加如此之快？第7頁一：數(shù)據(jù)產(chǎn)生方式改變二：人類活動越來越依賴數(shù)據(jù)1.人類日常生活已經(jīng)與數(shù)據(jù)密不可分2.科學研究進入了“數(shù)據(jù)科學”時代3.各行各業(yè)也越來越依賴大數(shù)據(jù)伎倆來開展工作1.1大數(shù)據(jù)時代第一章 大數(shù)據(jù)與云計算第8頁何謂大數(shù)據(jù)？第9頁海量數(shù)據(jù)或巨量數(shù)據(jù)，其規(guī)模巨大到無法經(jīng)過當前主流計算機系統(tǒng)在合理時間內(nèi)獲取、存放、管理、處理并提煉以幫助使用者決議。定義10第10頁1C4V多樣（Variety）數(shù)據(jù)增加速度快，而且越新數(shù)據(jù)價值越大，這就要求對數(shù)據(jù)處理速度也要快?？焖伲╒eloc

3、ity）在成本可接收條件下，經(jīng)過快速采集、發(fā)覺和分析，從大量、各種類別數(shù)據(jù)中提取價值體系架構(gòu)。價值密度低（Value）復雜度（Complexity）數(shù)據(jù)量大（Volume）存放數(shù)據(jù)量巨大，PB級別是常態(tài)，因而對其分析計算量也大。數(shù)據(jù)起源及格式多樣，數(shù)據(jù)格式除了傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)外，還包含半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，比如用戶上傳音頻和視頻內(nèi)容。對數(shù)據(jù)處理和分析難度大。1.1大數(shù)據(jù)時代第一章 大數(shù)據(jù)與云計算第11頁目錄 大數(shù)據(jù)時代云計算大數(shù)據(jù)計算云計算發(fā)展現(xiàn)實狀況云計算實現(xiàn)機制云計算壓倒性成本優(yōu)勢第12頁G=f(x)大數(shù)據(jù)與云計算關(guān)系我們目標云計算大數(shù)據(jù)1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算第13頁

4、云計算是什么？“它起源于我們將互聯(lián)網(wǎng)視為云時候 我們不關(guān)心消息去往何處 云為我們屏蔽了復雜性”Kevin Marks, Google“融合云是對服務(wù)器，應用，數(shù)據(jù)，基礎(chǔ)設(shè)施復雜性和異構(gòu)平臺簡化抽象”Amazons CEO Jeff Bezos1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算第14頁1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算云計算發(fā)展路線并行計算集群計算網(wǎng)格計算云計算第15頁1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算并行計算并行計算或稱平行計算是相對于串行計算來說。并行計算（Parallel Computing）是指同時使用各種計算資源處理計算問題過程。為執(zhí)行并行計算，計算資源應

5、包含一臺配有多處理機（并行處理）計算機、一個與網(wǎng)絡(luò)相連計算機專有編號（？），或二者結(jié)合使用。并行計算主要目標是快速處理大型且復雜計算問題。并行計算能夠劃分成時間并行和空間并行。時間并行即流水線技術(shù)，空間并行使用多個處理器執(zhí)行并發(fā)計算，當前研究主要是空間并行問題。以程序和算法設(shè)計人員角度看，并行計算又可分為數(shù)據(jù)并行和任務(wù)并行。數(shù)據(jù)并行把大任務(wù)化解成若干個相同子任務(wù)，處理起來比任務(wù)并行簡單。第16頁/wiki/Parallel_computing第17頁1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算集群計算計算機集群將一組渙散集成計算機軟件或硬件連接起來高度緊密地協(xié)作完成計算工作。在某種意義上，他們

6、能夠被看作是一臺計算機。集群系統(tǒng)中單個計算機通常稱為節(jié)點，通常經(jīng)過局域網(wǎng)連接，但也有其它可能連接方式。集群計算機通慣用來改進單個計算機計算速度和/或可靠性。普通情況下集群計算機比單個計算機，比如工作站或超級計算機性價比要高得多。依據(jù)組成集群系統(tǒng)計算機之間體系結(jié)構(gòu)是否相同，集群可分為同構(gòu)與異構(gòu)兩種。集群計算機按功效和結(jié)構(gòu)能夠分為，高可用性集群（High-availability (HA) clusters）、負載均衡集群（Loadbalancing clusters）、高性能計算集群（High-performance (HPC)clusters）、網(wǎng)格計算（Grid computing）。第18

7、頁/wiki/Cluster_(computing)第19頁1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算分布式計算分布式計算這個研究領(lǐng)域，主要研究分散系統(tǒng)（Distributed system）怎樣進行計算。分散系統(tǒng)是一組計算機，經(jīng)過計算機網(wǎng)絡(luò)相互鏈接與通信后形成系統(tǒng)。把需要進行大量計算工程數(shù)據(jù)分區(qū)成小塊，由多臺計算機分別計算，在上傳運算結(jié)果后，將結(jié)果統(tǒng)一合并得出數(shù)據(jù)結(jié)論科學。第20頁/wiki/Distributed_computing第21頁1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算并行計算與分布式計算區(qū)分并行計算與分布式計算都是利用并行來取得更高性能，化大任務(wù)為小任務(wù)。簡單說來，假如處

8、理單元共享內(nèi)存，就稱為并行計算，反之就是分布式計算。也有些人認為分布式計算是并行計算一個特例。第22頁1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算并行計算與分布式計算區(qū)分并行計算與分布式計算都是利用并行來取得更高性能，化大任務(wù)為小任務(wù)。簡單說來，假如處理單元共享內(nèi)存，就稱為并行計算，反之就是分布式計算。也有些人認為分布式計算是并行計算一個特例。分布式任務(wù)包相互之間有獨立性，上一個任務(wù)包結(jié)果未返回或者是結(jié)果處理錯誤，對下一個任務(wù)包處理幾乎沒有什么影響。所以，分布式實時性要求不高，而且允許存在計算錯誤（因為每個計算任務(wù)給好幾個參加者計算，上傳結(jié)果到服務(wù)器后要比較結(jié)果，然后對結(jié)果差異大進行驗證。第2

9、3頁1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算并行計算與分布式計算區(qū)分并行計算與分布式計算都是利用并行來取得更高性能，化大任務(wù)為小任務(wù)。簡單說來，假如處理單元共享內(nèi)存，就稱為并行計算，反之就是分布式計算。也有些人認為分布式計算是并行計算一個特例。并行程序并行處理任務(wù)包之間有很大聯(lián)絡(luò)，而且并行計算每一個任務(wù)塊都是必要，沒有浪費分割，就是每個任務(wù)包都要處理，而且計算結(jié)果相互影響，就要求每個計算結(jié)果要絕對正確，而且在時間上要盡可能做到同時，而分布式很多任務(wù)塊能夠根本就不處理，有大量無用數(shù)據(jù)塊，所以說分布式計算速度盡管很快，不過真正“效率”是低之再低 ，可能一直在尋找，不過永遠都找不到，也可能一開始

10、就找到了；而并行處理不一樣，它任務(wù)包個數(shù)相對有限，在一個有限時間應該是可能完成。第24頁1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算網(wǎng)格計算網(wǎng)格計算是分布式計算一個，也是一個與集群計算非常相關(guān)技術(shù)。假如我們說某項工作是分布式，那么，參加這項工作一定不只是一臺計算機，而是一個計算機網(wǎng)絡(luò)，顯然這種“螞蟻搬山”方式將含有很強數(shù)據(jù)處理能力。網(wǎng)格計算實質(zhì)就是組合與共享資源并確保系統(tǒng)安全。網(wǎng)格計算經(jīng)過利用大量異構(gòu)計算機未用資源（CPU周 期和磁盤存放），將其作為嵌入在分布式電信基礎(chǔ)設(shè)施中一個虛擬計算機集群，為處理大規(guī)模計算問題提供一個模型。網(wǎng)格計算焦點放在支持跨管理域計算 能力，這使它與傳統(tǒng)計算機集群或傳

11、統(tǒng)分布式計算相區(qū)分。網(wǎng)格計算目標是處理對于任何單一超級計算機來說依然大得難以處理問題，并同時保持處理 多個較小問題靈活性。這么，網(wǎng)格計算就提供了一個多用戶環(huán)境。 第25頁/wiki/Grid_computing第26頁1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算云計算云計算，不只是計算等計算機概念，還有運行服務(wù)等概念了。它是分布式計算、并行計算和網(wǎng)格計算發(fā)展，或者說是這些概念商業(yè)實現(xiàn)。云計算不但包含分布式計算還包含分布式存放和分布式緩存。分布式存放又包含分布式文件存放和分布式數(shù)據(jù)存放。第27頁彈性能力虛擬化服務(wù)互聯(lián)網(wǎng)多租戶動態(tài)配置按需付費IaaSPaaSSaaS云計算定義 wiki第一章 大數(shù)

12、據(jù)與云計算第28頁云計算定義NIST 美國國家標準技術(shù)研究院云計算是一個模型，它能夠?qū)崿F(xiàn)隨時隨地，便捷地，隨需應變地從可配置計算資源共享池中獲取所需資源(比如，網(wǎng)絡(luò)、服務(wù)器、存放、應用、及服務(wù))，資源能夠快速供給并釋放，使管理資源工作量和與服務(wù)提供商交互減小到最低程度。云計算基本特點是：隨需應變自助服務(wù)、無處不在網(wǎng)絡(luò)訪問、資源共享池、快速而靈活、計量付費服務(wù)。廣大用戶依靠互聯(lián)網(wǎng)一些節(jié)點強大信息資源、包含存放資源、計算資源、軟件資源、數(shù)據(jù)資源，管理資源為己所用，強調(diào)需求驅(qū)動，用戶主導，按需服務(wù)，即用即付，用完即散，不對用戶集中控制，用戶不關(guān)心服務(wù)者在什么地方。云計算定義第一章 大數(shù)據(jù)與云計算第2

13、9頁云計算長定義云計算短定義云計算是一個商業(yè)計算模型。它將計算任務(wù)分布在大量計算機組成資源池上，使各種應用系統(tǒng)能夠依據(jù)需要獲取計算力、存放空間和信息服務(wù)。云計算是經(jīng)過網(wǎng)絡(luò)按需提供可動態(tài)伸縮廉價計算服務(wù)。第30頁將軟件作為服務(wù)SaaS（Software as a Service）將平臺作為服務(wù)PaaS（Platform as a Service）將基礎(chǔ)設(shè)施作為服務(wù)IaaS（Infrastructure as a Service）針對性更強，它將一些特定應用軟件功效封裝成服務(wù)如：Salesforce online CRM對資源抽象層次更深入，提供用戶應用程序運行環(huán)境如：Google App Eng

14、ine Microsoft Windows Azure將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用如：Amazon EC2/S3云計算按服務(wù)類型大致分為三類：專用通用1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算第31頁服務(wù)模型與系統(tǒng)架構(gòu)：SaaSPaaSIaaSNetworkH/WVirtualizationOSDatabaseMiddlewareApplicationManagement1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算第32頁布署模型：公有云小區(qū)云私有云混合云企業(yè)獨立擁有或獨立承租云系統(tǒng)在特定小區(qū)內(nèi)共享云系統(tǒng)，如：由某企業(yè)及其合作搭檔共同承建并分享使用云系統(tǒng)面向公眾開放租售大規(guī)模云系

15、統(tǒng)由以上三種云系統(tǒng)中兩種以上云系統(tǒng)共同配合而提供IT能力混合型云系統(tǒng) 1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算第33頁云計算7個特點超大規(guī)模虛 擬 化高可靠性通 用 性高可伸縮性按需服務(wù)極其廉價1.2云計算大數(shù)據(jù)計算第一章 大數(shù)據(jù)與云計算基本特征：第34頁目錄 大數(shù)據(jù)時代云計算大數(shù)據(jù)計算云計算發(fā)展現(xiàn)實狀況云計算實現(xiàn)機制云計算壓倒性成本優(yōu)勢第35頁微軟緊跟云計算步伐，推出了Windows Azure操作系統(tǒng)國外云計算先行者亞馬遜云計算稱為Amazon Web Services（AWS）谷歌是最大云計算技術(shù)使用者第36頁率先在全球提供了彈性計算云EC2（Elastic Computing Cl

16、oud）和簡單存放服務(wù)S3（Simple Storage Service），為企業(yè)提供計算和存放服務(wù)。收費服務(wù)項目包含存放空間、帶寬、CPU資源以及月租費。AWS服務(wù)種類非常齊全全球用戶數(shù)量已經(jīng)超出100萬第37頁最大云計算技術(shù)使用者谷歌搜索引擎就建立在分布在200多個站點、超出100萬臺服務(wù)器支撐之上，而且這些設(shè)施數(shù)量正在迅猛增加發(fā)表學術(shù)論文形式公開其云計算三大法寶：GFS、MapReduce和Bigtable，并在美國、中國等高校開設(shè)怎樣進行云計算編程課程采取Google Docs之類應用，用戶數(shù)據(jù)會保留在互聯(lián)網(wǎng)上某個位置，能夠經(jīng)過任何一個與互聯(lián)網(wǎng)相連終端十分便利地訪問和共享這些數(shù)據(jù)谷歌已

17、經(jīng)允許第三方在谷歌云計算中經(jīng)過Google App Engine運行大型并行應用程序第38頁微軟于10月推出了Windows Azure操作系統(tǒng)。Azure(譯為“藍天”)是繼Windows取代DOS之后，微軟又一次顛覆性轉(zhuǎn)型。微軟云平臺包含幾十萬臺服務(wù)器.在中國，微軟3月27日宣告由世紀互聯(lián)負責運行Microsoft Azure公有云服務(wù)正式商用，這是國內(nèi)首個正式商用國際公有云服務(wù)平臺。Azure底層是微軟全球基礎(chǔ)服務(wù)系統(tǒng)，由遍布全球第四代數(shù)據(jù)中心組成。微軟將為Windows Azure用戶推出許多新功效，不但能更簡單地將現(xiàn)有應用程序轉(zhuǎn)移到云中，而且能夠加強云托管應用程序可用服務(wù)，充分表達出

18、微軟“云”+“端”戰(zhàn)略。第39頁國內(nèi)云計算崛起代表企業(yè)存放服務(wù)為特色多處擁有云計算數(shù)據(jù)中心游戲托管為特色國際上云計算產(chǎn)品最全提供類似AWS服務(wù)專門支撐智能硬件大數(shù)據(jù)無償托管第40頁目錄 大數(shù)據(jù)時代云計算大數(shù)據(jù)計算云計算發(fā)展現(xiàn)實狀況云計算實現(xiàn)機制云計算壓倒性成本優(yōu)勢41第41頁服務(wù)接口服務(wù)注冊服務(wù)查找服務(wù)訪問服務(wù)工作流SOA構(gòu)建層管理中間件層環(huán)境配置計算資源池存放資源池網(wǎng)絡(luò)資源池數(shù)據(jù)資源池軟件資源池計算機存放器網(wǎng)絡(luò)設(shè)施數(shù)據(jù)庫軟件資源池層物理資源層賬號管理用戶管理任務(wù)管理資源管理交互管理使用計費身份認證訪問授權(quán)綜合防護安全審計安全管理任務(wù)調(diào)度映像布署和管理任務(wù)執(zhí)行生命期管理故障檢測負載均衡故障恢復

19、監(jiān)視統(tǒng)計1.4云計算實現(xiàn)機制第一章 大數(shù)據(jù)與云計算第42頁計算機、存放器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫和軟件等 封裝云計算能力成標準Web Services服務(wù)，并納入到SOA體系云計算資源管理，并對眾多應用任務(wù)進行調(diào)度，使資源能夠高效、安全地為應用提供服務(wù) 將大量相同類型資源組成同構(gòu)或靠近同構(gòu)資源池云計算體系結(jié)構(gòu)SOA構(gòu)建層 管理中間件層 物理資源層資源池層 管理中間件層和資源池層是云計算技術(shù)最關(guān)鍵部分，SOA構(gòu)建層功效更多依靠外部設(shè)施提供。1.4云計算實現(xiàn)機制第一章 大數(shù)據(jù)與云計算第43頁均衡使用云資源節(jié)點，檢測節(jié)點故障并試圖恢復或屏蔽之，并對資源使用情況進行監(jiān)視統(tǒng)計 資源管理 任務(wù)管理安全管理 用戶

20、管理 云計算管理中間件層 執(zhí)行用戶或應用提交任務(wù)，包含完 成用戶任務(wù)映象（Image）布署和管理、任務(wù)調(diào)度、任務(wù)執(zhí)行、任務(wù)生命期管理等 實現(xiàn)云計算商業(yè)模式一個必不可少步驟，包含提供用戶交互接口、管理和識別用戶身份、創(chuàng)建用戶程序執(zhí)行環(huán)境、對用戶使用進行計費等 保障云計算設(shè)施整體安全，包含身份認證、訪問授權(quán)、綜合防護和安全審計等 1.4云計算實現(xiàn)機制44第一章 大數(shù)據(jù)與云計算第44頁簡化IaaS實現(xiàn)機制圖服務(wù)目錄是用戶能夠訪問服務(wù)清單。系統(tǒng)管理模塊負責管理和分配全部可用資源，其關(guān)鍵是負載均衡。配置工具負責在分配節(jié)點上準備任務(wù)運行環(huán)境。監(jiān)視統(tǒng)計模塊負責監(jiān)視節(jié)點運行狀態(tài)，并完成用戶使用節(jié)點情況統(tǒng)計。用戶交互接口向應用以Web Services方式提供訪問接口，獲取用戶需求。1.4云計算實現(xiàn)機制第一章 大數(shù)據(jù)與云計算第45頁目錄 大數(shù)據(jù)時代云計算大數(shù)據(jù)計算云計算發(fā)展現(xiàn)實狀況云計算實現(xiàn)機制云計算壓倒性成本