大數(shù)據(jù)與云計(jì)算

1、of39大 數(shù) 據(jù) 與 云 計(jì) 算組員：李昱，柏楊，孫梓凱大數(shù)據(jù)時(shí)代云計(jì)算大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢(shì)2of391.1大數(shù)據(jù)時(shí)代“大數(shù)據(jù)”(Big Data)的搜索指數(shù)數(shù)據(jù)來(lái)源：百度指數(shù) baidu“大數(shù)據(jù)”這個(gè)詞從2012年才引起關(guān)注，之后搜索量便迅猛增長(zhǎng)。為什么大數(shù)據(jù)這么受關(guān)注？3of3930501612805408001200180079003500005000100001500020000250003000035000400002004200520062007200820092010201120152020(EB)(年份)全球數(shù)據(jù)總量變化圖1.1大數(shù)據(jù)

2、時(shí)代4of39為什么全球數(shù)據(jù)量增長(zhǎng)如此之快？of39一：數(shù)據(jù)產(chǎn)生方式的改變二：人類(lèi)的活動(dòng)越來(lái)越依賴數(shù)據(jù)1.人類(lèi)的日常生活已經(jīng)與數(shù)據(jù)密不可分2.科學(xué)研究進(jìn)入了“數(shù)據(jù)科學(xué)”時(shí)代3.各行各業(yè)也越來(lái)越依賴大數(shù)據(jù)手段來(lái)開(kāi)展工作1.1大數(shù)據(jù)時(shí)代6of39何謂大數(shù)據(jù)？海量數(shù)據(jù)或巨量數(shù)據(jù)，其規(guī)模巨大到無(wú)法通過(guò)目前主流的計(jì)算機(jī)系統(tǒng)在合理時(shí)間內(nèi)獲取、存儲(chǔ)、管理、處理并提煉以幫助使用者決策。定義8of391C4V多樣（Variety）快速（Velocity）價(jià)值密度低（Value）復(fù)雜度（Complexity）數(shù)據(jù)量大（Volume）存儲(chǔ)的數(shù)據(jù)量巨大，PB級(jí)別是常態(tài)，因而對(duì)其分析的計(jì)算量也大。數(shù)據(jù)的來(lái)源及格式多樣，

3、數(shù)據(jù)格式除了傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)外，還包括半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，比如用戶上傳的音頻和視頻內(nèi)容。而隨著人類(lèi)活動(dòng)的進(jìn)一步拓寬，數(shù)據(jù)的來(lái)源更加多樣。對(duì)數(shù)據(jù)的處理和分析的難度大。數(shù)據(jù)增長(zhǎng)速度快，而且越新的數(shù)據(jù)價(jià)值越大，這就要求對(duì)數(shù)據(jù)的處理速度也要快，以便能夠從數(shù)據(jù)中及時(shí)地提取知識(shí)，發(fā)現(xiàn)價(jià)值。在成本可接受的條件下，通過(guò)快速采集、發(fā)現(xiàn)和分析，從大量、多種類(lèi)別的數(shù)據(jù)中提取價(jià)值的體系架構(gòu)。1.1大數(shù)據(jù)時(shí)代9大數(shù)據(jù)時(shí)代云計(jì)算大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢(shì)of39G=f(x)大數(shù)據(jù)與云計(jì)算的關(guān)系我們的目標(biāo)云計(jì)算大數(shù)據(jù)1.2云計(jì)算大數(shù)據(jù)的計(jì)算11云計(jì)算長(zhǎng)定義云計(jì)算短定義云計(jì)算是一種商業(yè)

4、計(jì)算模型。它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算力、存儲(chǔ)空間和信息服務(wù)。云計(jì)算是通過(guò)網(wǎng)絡(luò)按需提供可動(dòng)態(tài)伸縮的廉價(jià)計(jì)算服務(wù)。of39云計(jì)算的7個(gè)特點(diǎn)超大規(guī)模虛 擬 化高可靠性通 用 性高可伸縮性按需服務(wù)極其廉價(jià)1.2云計(jì)算大數(shù)據(jù)的計(jì)算13of39將軟件作為服務(wù)SaaS（Software as a Service）將平臺(tái)作為服務(wù)PaaS（Platform as a Service）將基礎(chǔ)設(shè)施作為服務(wù)IaaS（Infrastructure as a Service）針對(duì)性更強(qiáng)，它將某些特定應(yīng)用軟件功能封裝成服務(wù)如：Salesforce online CRM對(duì)資

5、源的抽象層次更進(jìn)一步，提供用戶應(yīng)用程序運(yùn)行環(huán)境如：Google App Engine Microsoft Windows Azure將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用如：Amazon EC2/S3云計(jì)算按服務(wù)類(lèi)型大致分為三類(lèi)：專用通用1.2云計(jì)算大數(shù)據(jù)的計(jì)算14大數(shù)據(jù)時(shí)代云計(jì)算大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢(shì)of3916微軟緊跟云計(jì)算步伐，推出了Windows Azure操作系統(tǒng)國(guó)外云計(jì)算的先行者亞馬遜的云計(jì)算稱為Amazon Web Services（AWS）谷歌是最大的云計(jì)算技術(shù)的使用者of39率先在全球提供了彈性計(jì)算云EC2（Elastic Compu

6、ting Cloud）和簡(jiǎn)單存儲(chǔ)服務(wù)S3（Simple Storage Service），為企業(yè)提供計(jì)算和存儲(chǔ)服務(wù)。收費(fèi)的服務(wù)項(xiàng)目包括存儲(chǔ)空間、帶寬、CPU資源以及月租費(fèi)。AWS服務(wù)的種類(lèi)非常齊全全球用戶數(shù)量已經(jīng)超過(guò)100萬(wàn)17of39最大的云計(jì)算技術(shù)的使用者谷歌搜索引擎就建立在分布在200多個(gè)站點(diǎn)、超過(guò)100萬(wàn)臺(tái)的服務(wù)器的支撐之上，而且這些設(shè)施的數(shù)量正在迅猛增長(zhǎng)發(fā)表學(xué)術(shù)論文的形式公開(kāi)其云計(jì)算三大法寶：GFS、MapReduce和Bigtable，并在美國(guó)、中國(guó)等高校開(kāi)設(shè)如何進(jìn)行云計(jì)算編程的課程采用Google Docs之類(lèi)的應(yīng)用，用戶數(shù)據(jù)會(huì)保存在互聯(lián)網(wǎng)上的某個(gè)位置，可以通過(guò)任何一個(gè)與互聯(lián)網(wǎng)相

7、連的終端十分便利地訪問(wèn)和共享這些數(shù)據(jù)谷歌已經(jīng)允許第三方在谷歌的云計(jì)算中通過(guò)Google App Engine運(yùn)行大型并行應(yīng)用程序18of39微軟于2008年10月推出了Windows Azure操作系統(tǒng)。Azure(譯為“藍(lán)天”)是繼Windows取代DOS之后，微軟的又一次顛覆性轉(zhuǎn)型。微軟的云平臺(tái)包括幾十萬(wàn)臺(tái)服務(wù)器.在中國(guó)，微軟2014年3月27日宣布由世紀(jì)互聯(lián)負(fù)責(zé)運(yùn)營(yíng)的Microsoft Azure公有云服務(wù)正式商用，這是國(guó)內(nèi)首個(gè)正式商用的國(guó)際公有云服務(wù)平臺(tái)。Azure的底層是微軟全球基礎(chǔ)服務(wù)系統(tǒng)，由遍布全球的第四代數(shù)據(jù)中心構(gòu)成。微軟將為Windows Azure用戶推出許多新的功能，不但

8、能更簡(jiǎn)單地將現(xiàn)有的應(yīng)用程序轉(zhuǎn)移到云中，而且可以加強(qiáng)云托管應(yīng)用程序的可用服務(wù)，充分體現(xiàn)出微軟的“云”+“端”戰(zhàn)略。19of39國(guó)內(nèi)云計(jì)算崛起代表企業(yè)20存儲(chǔ)服務(wù)為特色多處擁有云計(jì)算數(shù)據(jù)中心游戲托管為特色國(guó)際上云計(jì)算產(chǎn)品最全提供類(lèi)似AWS服務(wù)專門(mén)支撐智能硬件大數(shù)據(jù)免費(fèi)托管大數(shù)據(jù)時(shí)代云計(jì)算大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢(shì)21of39服務(wù)接口服務(wù)注冊(cè)服務(wù)查找服務(wù)訪問(wèn)服務(wù)工作流SOA構(gòu)建層管理中間件層用戶環(huán)境配置計(jì)算資源池存儲(chǔ)資源池網(wǎng)絡(luò)資源池?cái)?shù)據(jù)資源池軟件資源池計(jì)算機(jī)存儲(chǔ)器網(wǎng)絡(luò)設(shè)施數(shù)據(jù)庫(kù)軟件資源池層物理資源層賬號(hào)管理用戶管理任務(wù)管理資源管理用戶交互管理使用計(jì)費(fèi)身份認(rèn)證訪問(wèn)授

9、權(quán)綜合防護(hù)安全審計(jì)安全管理任務(wù)調(diào)度映像部署和管理任務(wù)執(zhí)行生命期管理故障檢測(cè)負(fù)載均衡故障恢復(fù)監(jiān)視統(tǒng)計(jì)1.4云計(jì)算實(shí)現(xiàn)機(jī)制22of39計(jì)算機(jī)、存儲(chǔ)器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫(kù)和軟件等 封裝云計(jì)算能力成標(biāo)準(zhǔn)的Web Services服務(wù)，并納入到SOA體系云計(jì)算的資源管理，并對(duì)眾多應(yīng)用任務(wù)進(jìn)行調(diào)度，使資源能夠高效、安全地為應(yīng)用提供服務(wù) 將大量相同類(lèi)型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池云計(jì)算體系結(jié)構(gòu)SOA構(gòu)建層 管理中間件層 物理資源層資源池層 管理中間件層和資源池層是云計(jì)算技術(shù)的最關(guān)鍵部分，SOA構(gòu)建層的功能更多依靠外部設(shè)施提供。1.4云計(jì)算實(shí)現(xiàn)機(jī)制23of39均衡使用云資源節(jié)點(diǎn)，檢測(cè)節(jié)點(diǎn)故障并試圖恢復(fù)或屏蔽

10、之，并對(duì)資源的使用情況進(jìn)行監(jiān)視統(tǒng)計(jì) 資源管理 任務(wù)管理安全管理 用戶管理 云計(jì)算的管理中間件層云計(jì)算的管理中間件層 執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完 成用戶任務(wù)映象（Image）的部署和管理、任務(wù)調(diào)度、任務(wù)執(zhí)行、任務(wù)生 命期管理等 實(shí)現(xiàn)云計(jì)算商業(yè)模式的一個(gè)必不可少的環(huán)節(jié)，包括提供用戶交互接口、管理和識(shí)別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對(duì)用戶的使用進(jìn)行計(jì)費(fèi)等 保障云計(jì)算設(shè)施的整體安全，包括身份認(rèn)證、訪問(wèn)授權(quán)、綜合防護(hù)和安全審計(jì)等 1.4云計(jì)算實(shí)現(xiàn)機(jī)制24of39簡(jiǎn)化的簡(jiǎn)化的IaaSIaaS實(shí)現(xiàn)機(jī)制圖實(shí)現(xiàn)機(jī)制圖服務(wù)目錄是用戶可以訪問(wèn)的服務(wù)清單。系統(tǒng)管理模塊負(fù)責(zé)管理和分配所有可用的資源，其核心是負(fù)

11、載均衡。配置工具負(fù)責(zé)在分配的節(jié)點(diǎn)上準(zhǔn)備任務(wù)運(yùn)行環(huán)境。監(jiān)視統(tǒng)計(jì)模塊負(fù)責(zé)監(jiān)視節(jié)點(diǎn)的運(yùn)行狀態(tài)，并完成用戶使用節(jié)點(diǎn)情況的統(tǒng)計(jì)。用戶交互接口向應(yīng)用以Web Services方式提供訪問(wèn)接口，獲取用戶需求。1.4云計(jì)算實(shí)現(xiàn)機(jī)制25大數(shù)據(jù)時(shí)代云計(jì)算大數(shù)據(jù)的計(jì)算云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制云計(jì)算壓倒性的成本優(yōu)勢(shì)of3927全球企業(yè)IT開(kāi)銷(xiāo)發(fā)展趨勢(shì)Source: IBM Corporate Strategy analysis of IDC data, Sept. 20071.5云計(jì)算壓倒性的成本優(yōu)勢(shì)of3928項(xiàng)目中型數(shù)據(jù)中心成本特大型數(shù)據(jù)中心成本比率網(wǎng)絡(luò)$95 每 Mb/秒/月$13 每 Mb/秒/月7.3存

12、儲(chǔ)$2.20 每 GB/月$0.40 每 GB/月5.7管理每個(gè)管理員約管理140個(gè)服務(wù)器每個(gè)管理員管理1000個(gè)服務(wù)器以上7.1中型數(shù)據(jù)中心和特大型數(shù)據(jù)中心的成本比較云計(jì)算第三版配PPT課件1.5云計(jì)算壓倒性的成本優(yōu)勢(shì)of3929價(jià)格 地點(diǎn)可能的定價(jià)原因3.6美分愛(ài)達(dá)荷州水力發(fā)電，沒(méi)有長(zhǎng)途輸送10.0美分加州電力在電網(wǎng)上長(zhǎng)途輸送，灣區(qū)的輸送線有限，加州不允許煤電18.0美分夏威夷發(fā)電的能源需要海運(yùn)到島上美國(guó)不同地區(qū)電力價(jià)格的差異1.5云計(jì)算壓倒性的成本優(yōu)勢(shì)“信息時(shí)代核電站”Google數(shù)據(jù)中心of39某典型網(wǎng)站的流量數(shù)據(jù)提供彈性的服務(wù)，在超大資源池中動(dòng)態(tài)分配和釋放資源資源利用率達(dá)到80%左右，是傳統(tǒng)模式57倍 云計(jì)算平臺(tái)的規(guī)模極大，比較容易平穩(wěn)整體負(fù)載1.5云計(jì)算壓倒性的成本優(yōu)勢(shì)31of39云計(jì)算將計(jì)算變成了大眾用得