《云計算(第三版)》配套PPT之一：第1章大數(shù)據(jù)與云計算

1、of42電子工業(yè)出版社云計算(第三版)配套課件云 計 算（第三版）CLOUD COMPUTING Third Edition大 數(shù) 據(jù) 與 云 計 算主編：劉鵬 教授第 1 章本套PPT下載地址：http:/ 教授、博導(dǎo)、學(xué)科帶頭人，清華大學(xué)博士?，F(xiàn)任中國云計算專家咨詢委員會秘書長、中國信息協(xié)會大數(shù)據(jù)分會副會長、工業(yè)與信息化部云計算研究中心專家。 主持完成科研項目25項，發(fā)表論文80余篇，出版專業(yè)書籍15本。獲部級科技進(jìn)步二等獎4項、三等獎4項。主編了國內(nèi)第一本云計算教材云計算和第一本云計算編程書籍實戰(zhàn)Hadoop。創(chuàng)辦了知名的中國云計算（）和中國大數(shù)據(jù)（）網(wǎng)站。 曾率隊奪得2002 Penn

2、ySort國際計算機(jī)排序比賽冠軍，兩次奪得全國高校科技比賽最高獎，并三次奪得清華大學(xué)科技比賽最高獎。 榮獲“全軍十大學(xué)習(xí)成才標(biāo)兵”（排名第一）、南京“十大杰出青年”、江蘇省“333高層次人才培養(yǎng)工程”中青年科學(xué)技術(shù)帶頭人、清華大學(xué)“學(xué)術(shù)新秀”等稱號。劉 鵬大數(shù)據(jù)時代云計算大數(shù)據(jù)的計算云計算發(fā)展現(xiàn)狀云計算實現(xiàn)機(jī)制云計算壓倒性的成本優(yōu)勢4of421.1大數(shù)據(jù)時代云計算第三版配套PPT課件“大數(shù)據(jù)”(Big Data)的搜索指數(shù)數(shù)據(jù)來源：百度指數(shù) baidu“大數(shù)據(jù)”這個詞從2012年才引起關(guān)注，之后搜索量便迅猛增長。為什么大數(shù)據(jù)這么受關(guān)注？5of42305016128054080012001800

3、79003500005000100001500020000250003000035000400002004200520062007200820092010201120152020(EB)(年份)全球數(shù)據(jù)總量變化圖1.1大數(shù)據(jù)時代云計算第三版配套PPT課件6of42為什么全球數(shù)據(jù)量增長如此之快？of42一：數(shù)據(jù)產(chǎn)生方式的改變二：人類的活動越來越依賴數(shù)據(jù)1.人類的日常生活已經(jīng)與數(shù)據(jù)密不可分2.科學(xué)研究進(jìn)入了“數(shù)據(jù)科學(xué)”時代3.各行各業(yè)也越來越依賴大數(shù)據(jù)手段來開展工作1.1大數(shù)據(jù)時代云計算第三版配套PPT課件8of42何謂大數(shù)據(jù)？海量數(shù)據(jù)或巨量數(shù)據(jù)，其規(guī)模巨大到無法通過目前主流的計算機(jī)系統(tǒng)在合理時間

4、內(nèi)獲取、存儲、管理、處理并提煉以幫助使用者決策。定義10of421C4V多樣（Variety）快速（Velocity）價值密度低（Value）復(fù)雜度（Complexity）數(shù)據(jù)量大（Volume）存儲的數(shù)據(jù)量巨大，PB級別是常態(tài)，因而對其分析的計算量也大。數(shù)據(jù)的來源及格式多樣，數(shù)據(jù)格式除了傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)外，還包括半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，比如用戶上傳的音頻和視頻內(nèi)容。而隨著人類活動的進(jìn)一步拓寬，數(shù)據(jù)的來源更加多樣。對數(shù)據(jù)的處理和分析的難度大。數(shù)據(jù)增長速度快，而且越新的數(shù)據(jù)價值越大，這就要求對數(shù)據(jù)的處理速度也要快，以便能夠從數(shù)據(jù)中及時地提取知識，發(fā)現(xiàn)價值。在成本可接受的條件下，通過快速采集、發(fā)現(xiàn)

5、和分析，從大量、多種類別的數(shù)據(jù)中提取價值的體系架構(gòu)。1.1大數(shù)據(jù)時代云計算第三版配套PPT課件11大數(shù)據(jù)時代云計算大數(shù)據(jù)的計算云計算發(fā)展現(xiàn)狀云計算實現(xiàn)機(jī)制云計算壓倒性的成本優(yōu)勢of42G=f(x)大數(shù)據(jù)與云計算的關(guān)系我們的目標(biāo)云計算大數(shù)據(jù)云計算第三版配套PPT課件1.2云計算大數(shù)據(jù)的計算13云計算長定義云計算短定義云計算是一種商業(yè)計算模型。它將計算任務(wù)分布在大量計算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和信息服務(wù)。云計算是通過網(wǎng)絡(luò)按需提供可動態(tài)伸縮的廉價計算服務(wù)。of42云計算的7個特點超大規(guī)模虛 擬 化高可靠性通 用 性高可伸縮性按需服務(wù)極其廉價云計算第三版配套PP

6、T課件1.2云計算大數(shù)據(jù)的計算15of42將軟件作為服務(wù)SaaS（Software as a Service）將平臺作為服務(wù)PaaS（Platform as a Service）將基礎(chǔ)設(shè)施作為服務(wù)IaaS（Infrastructure as a Service）針對性更強(qiáng)，它將某些特定應(yīng)用軟件功能封裝成服務(wù)如：Salesforce online CRM對資源的抽象層次更進(jìn)一步，提供用戶應(yīng)用程序運行環(huán)境如：Google App Engine Microsoft Windows Azure將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用如：Amazon EC2/S3云計算按服務(wù)類型大致分為三類：專用通用云

7、計算第三版配套PPT課件1.2云計算大數(shù)據(jù)的計算16大數(shù)據(jù)時代云計算大數(shù)據(jù)的計算云計算發(fā)展現(xiàn)狀云計算實現(xiàn)機(jī)制云計算壓倒性的成本優(yōu)勢of4218微軟緊跟云計算步伐，推出了Windows Azure操作系統(tǒng)國外云計算的先行者亞馬遜的云計算稱為Amazon Web Services（AWS）谷歌是最大的云計算技術(shù)的使用者of42率先在全球提供了彈性計算云EC2（Elastic Computing Cloud）和簡單存儲服務(wù)S3（Simple Storage Service），為企業(yè)提供計算和存儲服務(wù)。收費的服務(wù)項目包括存儲空間、帶寬、CPU資源以及月租費。AWS服務(wù)的種類非常齊全全球用戶數(shù)量已經(jīng)超過

8、100萬19of42最大的云計算技術(shù)的使用者谷歌搜索引擎就建立在分布在200多個站點、超過100萬臺的服務(wù)器的支撐之上，而且這些設(shè)施的數(shù)量正在迅猛增長發(fā)表學(xué)術(shù)論文的形式公開其云計算三大法寶：GFS、MapReduce和Bigtable，并在美國、中國等高校開設(shè)如何進(jìn)行云計算編程的課程采用Google Docs之類的應(yīng)用，用戶數(shù)據(jù)會保存在互聯(lián)網(wǎng)上的某個位置，可以通過任何一個與互聯(lián)網(wǎng)相連的終端十分便利地訪問和共享這些數(shù)據(jù)谷歌已經(jīng)允許第三方在谷歌的云計算中通過Google App Engine運行大型并行應(yīng)用程序20of42微軟于2008年10月推出了Windows Azure操作系統(tǒng)。Azure(

9、譯為“藍(lán)天”)是繼Windows取代DOS之后，微軟的又一次顛覆性轉(zhuǎn)型。微軟的云平臺包括幾十萬臺服務(wù)器.在中國，微軟2014年3月27日宣布由世紀(jì)互聯(lián)負(fù)責(zé)運營的Microsoft Azure公有云服務(wù)正式商用，這是國內(nèi)首個正式商用的國際公有云服務(wù)平臺。Azure的底層是微軟全球基礎(chǔ)服務(wù)系統(tǒng)，由遍布全球的第四代數(shù)據(jù)中心構(gòu)成。微軟將為Windows Azure用戶推出許多新的功能，不但能更簡單地將現(xiàn)有的應(yīng)用程序轉(zhuǎn)移到云中，而且可以加強(qiáng)云托管應(yīng)用程序的可用服務(wù)，充分體現(xiàn)出微軟的“云”+“端”戰(zhàn)略。21of42國內(nèi)云計算崛起代表企業(yè)22存儲服務(wù)為特色多處擁有云計算數(shù)據(jù)中心游戲托管為特色全系列云計算大數(shù)

10、據(jù)產(chǎn)品線提供類似AWS服務(wù)專門支撐智能硬件大數(shù)據(jù)免費托管大數(shù)據(jù)時代云計算大數(shù)據(jù)的計算云計算發(fā)展現(xiàn)狀云計算實現(xiàn)機(jī)制云計算壓倒性的成本優(yōu)勢23of42服務(wù)接口服務(wù)注冊服務(wù)查找服務(wù)訪問服務(wù)工作流SOA構(gòu)建層管理中間件層用戶環(huán)境配置計算資源池存儲資源池網(wǎng)絡(luò)資源池數(shù)據(jù)資源池軟件資源池計算機(jī)存儲器網(wǎng)絡(luò)設(shè)施數(shù)據(jù)庫軟件資源池層物理資源層賬號管理用戶管理任務(wù)管理資源管理用戶交互管理使用計費身份認(rèn)證訪問授權(quán)綜合防護(hù)安全審計安全管理任務(wù)調(diào)度映像部署和管理任務(wù)執(zhí)行生命期管理故障檢測負(fù)載均衡故障恢復(fù)監(jiān)視統(tǒng)計云計算第三版配套PPT課件1.4云計算實現(xiàn)機(jī)制24of42計算機(jī)、存儲器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫和軟件等 封裝云計算能力

11、成標(biāo)準(zhǔn)的Web Services服務(wù)，并納入到SOA體系云計算的資源管理，并對眾多應(yīng)用任務(wù)進(jìn)行調(diào)度，使資源能夠高效、安全地為應(yīng)用提供服務(wù) 將大量相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池云計算體系結(jié)構(gòu)SOA構(gòu)建層 管理中間件層 物理資源層資源池層 管理中間件層和資源池層是云計算技術(shù)的最關(guān)鍵部分，SOA構(gòu)建層的功能更多依靠外部設(shè)施提供。云計算第三版配套PPT課件1.4云計算實現(xiàn)機(jī)制25of42均衡使用云資源節(jié)點，檢測節(jié)點故障并試圖恢復(fù)或屏蔽之，并對資源的使用情況進(jìn)行監(jiān)視統(tǒng)計 資源管理 任務(wù)管理安全管理 用戶管理 云計算的管理中間件層云計算的管理中間件層 執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完 成用戶任務(wù)

12、映象（Image）的部署和管理、任務(wù)調(diào)度、任務(wù)執(zhí)行、任務(wù)生 命期管理等 實現(xiàn)云計算商業(yè)模式的一個必不可少的環(huán)節(jié)，包括提供用戶交互接口、管理和識別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對用戶的使用進(jìn)行計費等 保障云計算設(shè)施的整體安全，包括身份認(rèn)證、訪問授權(quán)、綜合防護(hù)和安全審計等 云計算第三版配套PPT課件1.4云計算實現(xiàn)機(jī)制26of42簡化的簡化的IaaSIaaS實現(xiàn)機(jī)制圖實現(xiàn)機(jī)制圖服務(wù)目錄是用戶可以訪問的服務(wù)清單。系統(tǒng)管理模塊負(fù)責(zé)管理和分配所有可用的資源，其核心是負(fù)載均衡。配置工具負(fù)責(zé)在分配的節(jié)點上準(zhǔn)備任務(wù)運行環(huán)境。監(jiān)視統(tǒng)計模塊負(fù)責(zé)監(jiān)視節(jié)點的運行狀態(tài)，并完成用戶使用節(jié)點情況的統(tǒng)計。用戶交互接口向應(yīng)

13、用以Web Services方式提供訪問接口，獲取用戶需求。云計算第三版配套PPT課件1.4云計算實現(xiàn)機(jī)制27大數(shù)據(jù)時代云計算大數(shù)據(jù)的計算云計算發(fā)展現(xiàn)狀云計算實現(xiàn)機(jī)制云計算壓倒性的成本優(yōu)勢of4229全球企業(yè)IT開銷發(fā)展趨勢Source: IBM Corporate Strategy analysis of IDC data, Sept. 2007云計算第三版配套PPT課件1.5云計算壓倒性的成本優(yōu)勢of4230項目中型數(shù)據(jù)中心成本特大型數(shù)據(jù)中心成本比率網(wǎng)絡(luò)$95 每 Mb/秒/月$13 每 Mb/秒/月7.3存儲$2.20 每 GB/月$0.40 每 GB/月5.7管理每個管理員約管理140

14、個服務(wù)器每個管理員管理1000個服務(wù)器以上7.1中型數(shù)據(jù)中心和特大型數(shù)據(jù)中心的成本比較云計算第三版配套PPT課件1.5云計算壓倒性的成本優(yōu)勢of4231價格 地點可能的定價原因3.6美分愛達(dá)荷州水力發(fā)電，沒有長途輸送10.0美分加州電力在電網(wǎng)上長途輸送，灣區(qū)的輸送線有限，加州不允許煤電18.0美分夏威夷發(fā)電的能源需要海運到島上美國不同地區(qū)電力價格的差異云計算第三版配套PPT課件1.5云計算壓倒性的成本優(yōu)勢“信息時代核電站”Google數(shù)據(jù)中心of42某典型網(wǎng)站的流量數(shù)據(jù)提供彈性的服務(wù)，在超大資源池中動態(tài)分配和釋放資源資源利用率達(dá)到80%左右，是傳統(tǒng)模式57倍 云計算平臺的規(guī)模極大，比較容易平穩(wěn)

15、整體負(fù)載云計算第三版配套PPT課件1.5云計算壓倒性的成本優(yōu)勢33of42云計算將計算變成了大眾用得上和用得起的“水和電” 成 本 資源利用率 硬件成本電價管理費用10%15% 80%57倍30倍節(jié)約總成本云計算較之傳統(tǒng)方式的性價比優(yōu)勢云計算第三版配套PPT課件1.5云計算壓倒性的成本優(yōu)勢34of421.大數(shù)據(jù)現(xiàn)象是怎么形成的？2.新摩爾定律的含義是什么？3.云計算有哪些特點？4.云計算按照服務(wù)類型可以分為哪幾類？5.云計算技術(shù)體系結(jié)構(gòu)可以分為哪幾層？6.在性價比上云計算相比傳統(tǒng)技術(shù)為什么有壓倒性的優(yōu)勢？習(xí)題：百度排名首位的大數(shù)據(jù)資料和交流中心百 度 排 名 首 位 的 云 計 算 資 料 和 交 流 中 心終 生 免 費 的 智 能 硬 件 大 數(shù) 據(jù) 托 管 平 臺終 生 免 費 的 環(huán) 境 大 數(shù) 據(jù) 共 享 平 臺學(xué) 習(xí) 云 計 算 必 須 關(guān) 注 的 公 眾 號知名微信公眾號推薦劉鵬看未來云計算頭條云創(chuàng)大數(shù)據(jù)中國大數(shù)據(jù)微信號： chinacloudnj微信號： cstorbigdata資源豐富、分析深入、更新及時的云計算知識共享平臺。微信號：lpout