模塊二 云計算_第1頁
模塊二 云計算_第2頁
模塊二 云計算_第3頁
模塊二 云計算_第4頁
模塊二 云計算_第5頁
已閱讀5頁,還剩42頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

02新一代信息技術(shù)導(dǎo)論模塊2云計算云計算是一種通過網(wǎng)絡(luò)以服務(wù)的方式提供動態(tài)可伸縮的虛擬化的資源的計算模式,它是一種按使用量付費(fèi)的新型商業(yè)模式,服務(wù)內(nèi)容是提供可配置的計算資源共享池(包括網(wǎng)絡(luò),服務(wù)器,存儲,應(yīng)用軟件,服務(wù)等)。本主題包括云計算基本概念、云計算服務(wù)模式、布署模式、云計算關(guān)鍵技術(shù)和云計算的主流產(chǎn)品等內(nèi)容7.1認(rèn)知云計算02一、理解云計算的基本概念

2006年8月9日,Google首席執(zhí)行官埃里克·施密特(EricSchmidt)在搜索引擎大會(SESSanJose2006)首次提出“云計算”(CloudComputing)的概念,在他的支持下,Google推出了“Google101計劃”,并正式提出“云”的概念,其核心思想是將大量用網(wǎng)絡(luò)連接的計算資源統(tǒng)一管理和調(diào)度,構(gòu)成一個計算資源池向用戶按需提供服務(wù)。1.云計算的由來

云計算的發(fā)展由來概述起來經(jīng)歷了以下四個階段。(1)單機(jī)時代

計算機(jī)之間是無法進(jìn)行聯(lián)系的,每臺計算機(jī)都是獨立的計算單位(2)集群時代

集群技術(shù)目的主要有兩個,一個是通過多臺計算機(jī)完成同一個工作,達(dá)到更高的效率;另一個是兩臺或多臺計算機(jī)內(nèi)容、工作過程等完全一樣,提高可靠性(3)網(wǎng)格時代

網(wǎng)格計算主要關(guān)注如何把一個任務(wù)分配到它所需要的資源上,再把一個大的計算任務(wù)分成多個小任務(wù),然后被分配到服務(wù)器資源上運(yùn)行(4)云計算時代以服務(wù)的形式交付給用戶,使得用戶可以像使用水、電一樣按需取用資源一、理解云計算的基本概念(1)云計算概念的形成2.云計算的概念

互聯(lián)網(wǎng)階段

互聯(lián)網(wǎng)(Internet)又稱國際網(wǎng)絡(luò),指的是網(wǎng)絡(luò)與網(wǎng)絡(luò)之間所串連成的龐大網(wǎng)絡(luò),這些網(wǎng)絡(luò)以一組通用的協(xié)議相連,形成邏輯上的單一巨大國際網(wǎng)絡(luò)?;ヂ?lián)網(wǎng)可以實現(xiàn)不同軟硬軟的計算機(jī)之間進(jìn)行數(shù)據(jù)交換。萬維網(wǎng)階段

萬維網(wǎng)稱為WWW(WorldWideWeb),它是存儲在互聯(lián)網(wǎng)計算機(jī)中、數(shù)量巨大的文檔的集合。Netscape(網(wǎng)景)、Yahoo!(雅虎)、Google等企業(yè)依賴萬維網(wǎng)的技術(shù)創(chuàng)造了巨量的財富。云計算階段

萬維網(wǎng)出現(xiàn)后,萬維網(wǎng)上的信息越來越多,形成了一個信息大爆炸的時代。通過網(wǎng)絡(luò)向用戶提供廉價的、滿足業(yè)務(wù)發(fā)展的IT服務(wù)的需求產(chǎn)生,從而形成了云計算的概念。一、理解云計算的基本概念(2)云計算概念定義和特點2.云計算的概念

云計算并非是一個新的概念,只能算是一個新名詞。云計算概念應(yīng)該理解為一種商業(yè)和技術(shù)的模式。從商業(yè)層面,云計算模式代表了按需索取、按量計費(fèi)、網(wǎng)絡(luò)交付的商業(yè)模式。從技術(shù)層面,云計算模式代表整合多種不同的技術(shù)來實現(xiàn)一個可擴(kuò)展、快速部署、多租戶共享的IT系統(tǒng),提供各種IT服務(wù)。超大規(guī)模虛擬化通用性高可靠性高擴(kuò)展性按需獲取價格低廉特點描述:云計算是以虛擬化技術(shù)為基礎(chǔ),將所有硬件資源虛擬化后,形成一個資源池,供用戶使用;“云”能賦予用戶前所未有的計算能力,具備超大規(guī)模;通過采取冗余方式則能夠降低錯誤出現(xiàn)的概率,同時保證了數(shù)據(jù)的可靠性;從廣義角度來看,云計算本質(zhì)是一種新型的數(shù)據(jù)字化服務(wù);同一個“云”可以同時支撐不同的應(yīng)用運(yùn)行,也可以提供多樣性的服務(wù)(通用性);成本可以得到極大的節(jié)約,也極其廉價(經(jīng)濟(jì)性);云”是一個龐大的資源池,如同自來水和電,根據(jù)業(yè)務(wù)的需求獲取,自動化部署模式;云計算供應(yīng)商呆以快速靈活地部署云計算資源,快速地對“云”規(guī)劃進(jìn)行伸縮(高擴(kuò)展性)。8大特點可計量性二、云計算的應(yīng)用行業(yè)和典型場景1.云計算的應(yīng)用行業(yè)政府部門第一梯隊是中國移動、中國電信、中國聯(lián)通第二梯隊是傳統(tǒng)的IT企業(yè),以華為云、曙光云、紫光云等為代表;第三梯隊是互聯(lián)網(wǎng)服務(wù)商,包括騰訊云、阿里云等銀行、保險、證券和互聯(lián)網(wǎng)金融。我國金融行業(yè)云計算市場規(guī)模在2021年將達(dá)到近2000億元,預(yù)計到2023年將達(dá)到3500多億元在醫(yī)療行業(yè)由云廠商為醫(yī)療機(jī)構(gòu)搭建的云平臺以及提供的云服務(wù),通過云計算技術(shù)連通醫(yī)療機(jī)構(gòu)內(nèi)部各類信息系統(tǒng),存儲大量醫(yī)療數(shù)據(jù),同時還可以提供高效的計算資源,便于在云上開展大數(shù)據(jù)分析和人工智能應(yīng)用能源領(lǐng)域云計算的應(yīng)用起步較晚、進(jìn)展也比較緩慢,大部分處于服務(wù)器虛擬化為主的階段。市場廣闊四個領(lǐng)域增長快速進(jìn)展緩慢電信行業(yè)云計算主要包括建設(shè)云化的新型電信網(wǎng)絡(luò)服務(wù)環(huán)境(物理基礎(chǔ)設(shè)施、虛擬基本設(shè)施、云操作系統(tǒng)、中間件等)和面向IT的應(yīng)用支撐系統(tǒng)。

目前,云計算在我國軌道交通、鐵路交通、航空運(yùn)輸以及物流運(yùn)輸?shù)确矫娑加休^廣泛的應(yīng)用.杭州城市大腦、12306網(wǎng)站、地鐵辦公OA全民系統(tǒng)、鐵路安全管控信息平臺飛速發(fā)展應(yīng)用廣泛金融行業(yè)交通行業(yè)醫(yī)療行業(yè)能源行業(yè)電信行業(yè)二、云計算的應(yīng)用行業(yè)和典型場景2.云計算的典型場景(1)云辦公

辦公是各企業(yè)員工最重要的日常事務(wù),內(nèi)容豐富,事務(wù)繁雜,包括各類文檔、報表的處理,合作伙伴、客戶之間交流,市場調(diào)研,內(nèi)部人員之間的協(xié)作等。辦公手段和工具的改進(jìn)有利于辦公效率的提升,降低成本,方便工作。

云辦公(CloudOffice)廣義上是指將企事業(yè)單位及政府部門的辦公完全建立在云計算技術(shù)基礎(chǔ)上,從而實現(xiàn)降低成本、提高效率和低碳減排的目標(biāo);狹義上講云辦公是指以“辦公文檔”為中心,為企事業(yè)單位及政府部門提供文檔編輯、文檔存儲、協(xié)作、溝通、移動辦公、工作流程等云端軟件服務(wù)。云辦公作為IT界的發(fā)展方向,正在逐漸形成期獨特的產(chǎn)業(yè)鏈和生態(tài)圈,是一種和傳統(tǒng)辦公軟件完全不同的應(yīng)用場景。Thanks.02新一代信息技術(shù)導(dǎo)論模塊2云計算云計算是一種通過網(wǎng)絡(luò)以服務(wù)的方式提供動態(tài)可伸縮的虛擬化的資源的計算模式,它是一種按使用量付費(fèi)的新型商業(yè)模式,服務(wù)內(nèi)容是提供可配置的計算資源共享池(包括網(wǎng)絡(luò),服務(wù)器,存儲,應(yīng)用軟件,服務(wù)等)。本主題包括云計算基本概念、云計算服務(wù)模式、布署模式、云計算關(guān)鍵技術(shù)和云計算的主流產(chǎn)品等內(nèi)容云計算的服務(wù)模式02云計算的服務(wù)模式1.基礎(chǔ)設(shè)施即服務(wù)(IaaS)

關(guān)于云計算的名詞五花八門,對于云計算的分類方法也很多,常用的分類方法有按布署方式、按行業(yè)以及按服務(wù)內(nèi)容區(qū)分,云計算按服務(wù)類型內(nèi)容可以分為基礎(chǔ)設(shè)施即服務(wù)、平臺即服務(wù)和軟件即服務(wù)共三種。(1)IaaS概述

基礎(chǔ)設(shè)施即服務(wù)(IaaS,InfrastructureasaService)是一種向用戶提供計算基礎(chǔ)設(shè)施服務(wù)的模式,基礎(chǔ)設(shè)施包括CPU、內(nèi)存、存儲、網(wǎng)絡(luò)等,將這些硬件封裝成服務(wù)供用戶使用。在IaaS模式下,用戶相當(dāng)于在使用物理的計算機(jī)和磁盤,即可以在上面運(yùn)行Windows操作系統(tǒng),也可以運(yùn)行Linux操作系統(tǒng)。用戶可以通過互聯(lián)網(wǎng)從IaaS供應(yīng)商獲得云主機(jī)、云存儲等服務(wù),用戶可以根據(jù)自己的業(yè)務(wù)需求,布署和運(yùn)行任意軟件。這種模式下用戶不需要管理或控制任何云計算基礎(chǔ)設(shè)施,但能控制操作系統(tǒng)的選擇、儲存空間、部署空間,也可以獲取防火墻、負(fù)載均衡等網(wǎng)絡(luò)組件。(2)IaaS主要功能

IaaS在企業(yè)內(nèi)部可以進(jìn)行資源整合和優(yōu)化,提高資源利用率;對外則能夠?qū)T資源作為一種互聯(lián)網(wǎng)服務(wù)提供給終端用戶,幫助用戶降低成本,從而能夠?qū)崿F(xiàn)低碳環(huán)保,可以也幫助用戶便捷實現(xiàn)信息化。資源抽象:將各種基礎(chǔ)設(shè)施抽象為資源池,可以更好地高度和管理物理資源。負(fù)載管理:通過負(fù)載管理,不僅能使部署在基礎(chǔ)設(shè)施上的應(yīng)用更好地應(yīng)對突發(fā)情況,而且還能更好地利用系統(tǒng)資源。數(shù)據(jù)管理:對云計算來說,數(shù)據(jù)的完整性、可靠性和可管理性是對IaaS的基本要求。資源部署:將整個資源從申請到交付的流程全部自動化,無需人工干預(yù)。安全管理:IaaS安全管理的主要目標(biāo)是保證基礎(chǔ)設(shè)施和提供給用戶的資源合法的訪問和使用。計費(fèi)管理:可計費(fèi)是云計算最主要特征,通過按量計費(fèi)讓用戶更靈活地使用各種資源。

IaaS架構(gòu)意示圖如下:云計算的服務(wù)模式實現(xiàn)IaaS主要服務(wù)IaaS提供的服務(wù)主要包括云主機(jī)、云存儲、CDN等,企業(yè)規(guī)模也較大,像國內(nèi)的阿里云、華為云、天翼云、騰訊云、沃云等均采用了這樣的產(chǎn)品模式,這樣的產(chǎn)品模式可以為用戶提供一站式的服務(wù)體系,從而提升了產(chǎn)品的競爭力。搭建平臺對IaaS應(yīng)用此類型主要是通過搭建一個成長型平臺的方式來實現(xiàn)對基礎(chǔ)設(shè)施的部署,比較有代表性是青云(QingCloud),并且使用青云服務(wù)的廠商還能夠得到在同一平臺其他企業(yè)的功能支持。傳統(tǒng)IDC服務(wù)通過使用傳統(tǒng)ID(InternetDataCenter是專業(yè)級的機(jī)房環(huán)境)的IaaS服務(wù),企業(yè)可以在原有的物理資源基礎(chǔ)上搭建IaaS環(huán)境,通過資源的整合和優(yōu)化,為IaaS的搭建降低成本。模塊定制化服務(wù)目前典型的應(yīng)用有360云、訊雷、堅果云、七牛云等都是從IaaS服務(wù)的一個模塊出發(fā)。IaaS產(chǎn)品類型基礎(chǔ)設(shè)施即服務(wù)(IaaS)

云計算廠商是互聯(lián)網(wǎng)企業(yè)基礎(chǔ)設(shè)施的供給平臺,然而不同的IaaS廠商,其公司規(guī)模、資源優(yōu)勢、技術(shù)優(yōu)勢和發(fā)展戰(zhàn)略各不相同,其提供的產(chǎn)品模式也有較大差異,而主流的產(chǎn)品類型有上圖幾種。云計算的服務(wù)模式2.平臺即服務(wù)(PaaS)

平臺即服務(wù)(PaaS,PlatformasaService)是一種向用戶提供應(yīng)用程序的運(yùn)行環(huán)境、開發(fā)環(huán)境(開發(fā)工具、中間件、數(shù)據(jù)庫軟件等)和服務(wù)器平臺等,并將這些以服務(wù)形式提供給用戶的服務(wù)模式(1)PaaS概述

通常PaaS服務(wù)商通過基礎(chǔ)架構(gòu)平臺或開發(fā)引擎為用戶提供軟件開發(fā)、部署和運(yùn)行環(huán)境。用戶基于PaaS提供商提供的開發(fā)平臺可以快速開發(fā)并部署自己所需要的應(yīng)用和產(chǎn)品,縮短了應(yīng)用程序的開發(fā)周期,降低了環(huán)境的配置和管理難度,節(jié)省了環(huán)境搭建和維護(hù)的成本。這種服務(wù)模式下用戶可以非常方便地編寫應(yīng)用程序,而且不論是在部署,或者在運(yùn)行的時候,用戶都無須為服務(wù)器、操作系統(tǒng)、網(wǎng)絡(luò)和存儲等資源的管理操心,這些煩瑣的工作都由PaaS供應(yīng)商負(fù)責(zé)處理。(2)PaaS主要功能

友好的開發(fā)環(huán)境:為軟件開發(fā)人員提供友好的SDK和IDE等工具,讓用戶能在本地方便地進(jìn)行應(yīng)用的開發(fā)和測試。

豐富的服務(wù):通常會以API(Applicationprograminterface應(yīng)用程序接口)的形式將各種服務(wù)提供給其它系統(tǒng)或模塊來應(yīng)用。

自動的資源調(diào)度:通過可伸縮性對資源進(jìn)行自動的增加或減少,從而幫助應(yīng)用程序更好地應(yīng)對流量的變化。

精細(xì)的管理和監(jiān)控:PaaS可以提供對應(yīng)用程序的管理和監(jiān)控,如能夠記錄應(yīng)用程序的運(yùn)行情況和狀態(tài)變化,從而可以科學(xué)的衡量應(yīng)用程序的運(yùn)行狀態(tài),同時還可以精確的對應(yīng)用程序所消耗的資源進(jìn)行計量云計算的服務(wù)模式2.平臺即服務(wù)(PaaS)(3)PaaS特點

PaaS能將現(xiàn)有各種業(yè)務(wù)能力進(jìn)行整合,具體可以歸類為應(yīng)用服務(wù)器、業(yè)務(wù)能力接入、業(yè)務(wù)引擎、業(yè)務(wù)開放平臺,向下根據(jù)業(yè)務(wù)能力需要測算基礎(chǔ)服務(wù)能力,通過IaaS提供的API調(diào)用硬件資源,向上提供業(yè)務(wù)調(diào)度中心服務(wù),實時監(jiān)控平臺的各種資源,并將這些資源通過API開放給用戶。PaaS主要具備以下三個特點:平臺即服務(wù)PaaS所提供的服務(wù)與其他的服務(wù)最根本的區(qū)別是PaaS提供的是一個基礎(chǔ)平臺,而不是某種應(yīng)用。在傳統(tǒng)的觀念中,平臺是向外提供服務(wù)的基礎(chǔ)。平臺及服務(wù)PaaS運(yùn)營商所需提供的服務(wù),不僅僅是單純的基礎(chǔ)平臺,而且包括針對該平臺的技術(shù)支持服務(wù),甚至針對該平臺而進(jìn)行的應(yīng)用系統(tǒng)開發(fā)、優(yōu)化等服務(wù)平臺級服務(wù)PaaS運(yùn)營商對外提供的服務(wù)不同于其他的服務(wù),這種服務(wù)的背后是強(qiáng)大而穩(wěn)定的基礎(chǔ)運(yùn)營平臺,以及專業(yè)的技術(shù)支持隊伍。這種“平臺級”服務(wù)能夠保證支撐各種應(yīng)用系統(tǒng)長時間、穩(wěn)定的運(yùn)行。PaaS特點云計算的服務(wù)模式2.平臺即服務(wù)(PaaS)(4)PaaS布署模式云計算起源于大型互聯(lián)網(wǎng)企業(yè)。對于互聯(lián)網(wǎng)企業(yè),成本壓力和指數(shù)級的業(yè)務(wù)增長壓力使他們關(guān)注于物理資源的利用率和應(yīng)用的可擴(kuò)展性。在應(yīng)用服務(wù)器這層,通過ClusterSession來實現(xiàn)水平擴(kuò)展;在數(shù)據(jù)存儲這層,采用基于BASE模型的NOSQL數(shù)據(jù)存儲來實現(xiàn)擴(kuò)展?;ヂ?lián)網(wǎng)企業(yè)主導(dǎo)面向公眾服務(wù)的公有云PaaS平臺,如GoogleAppEngine、AmazonBeanstalk等。PaaS就是云環(huán)境下的應(yīng)用部署平臺,它的部署方式有三種。

基于商業(yè)軟件的部署方式Application-Framework/Libs-Websphere/Weblogic+RDBMSWebSphere:是IBM的軟件平臺。它包含了編寫、運(yùn)行和監(jiān)視全天候的工業(yè)強(qiáng)度的隨需應(yīng)變Web應(yīng)用程序和跨平臺WebLogic是美國Oracle公司出品一個基于JAVAEE架構(gòu)的中間件,WebLogic是用于開發(fā)、集成。RDBMS(RelationalDatabaseManagementSystem關(guān)系數(shù)據(jù)庫管理系統(tǒng))是指包括相互聯(lián)系的邏輯組織和存取這些數(shù)據(jù)的一套程序(數(shù)據(jù)庫管理系統(tǒng)軟件)基于開源軟件的部署方式Application-Frameworks/Libs-Tomcat/JBoss+RDBMSTomcat服務(wù)器是一個免費(fèi)的開放源代碼的Web應(yīng)用服務(wù)器JBoss是一個基于J2EE的開放源代碼的應(yīng)用服務(wù)器云環(huán)境下的部署方式Application-Frameworks/Libs-PaaS(GoogleAppEngine)GoogleAppEngine是一種讓用戶可以在Google的基礎(chǔ)架構(gòu)上運(yùn)行自己的網(wǎng)絡(luò)應(yīng)用程序。GoogleAppEngine應(yīng)用程序易于構(gòu)建和維護(hù),并可根據(jù)用戶的訪問量和數(shù)據(jù)存儲需要的增長輕松擴(kuò)展云計算的服務(wù)模式(5)國內(nèi)PaaS平臺騰訊云開發(fā)平臺騰訊云開放平臺是騰訊基于其擁有的各大社交平臺推出的應(yīng)用開放平臺。開發(fā)者可以利用騰訊開放平臺提供的各種API,開發(fā)出優(yōu)秀有創(chuàng)意的社交游戲及實用工具通過微信、QQ空間、騰訊游戲等多個社交平臺給應(yīng)用帶來巨大的流量百度應(yīng)用引擎百度應(yīng)用引擎BAE(BaiduAppEngine)是百度推出的網(wǎng)絡(luò)應(yīng)用開發(fā)平臺?;贐AE架構(gòu),開發(fā)者不需要維護(hù)任何服務(wù)器,只需要簡單的上傳應(yīng)用程序,就可以為用戶提供服務(wù)。開發(fā)者可以基于BAE平臺進(jìn)行PHP、Java、Python、Nodejs應(yīng)用的開發(fā)、編譯、發(fā)布、調(diào)試。同時BAE平臺也提供了大量的云服務(wù)給開發(fā)者華為云PaaS平臺在華為云PaaS家族產(chǎn)品中,最具有代表性的是ServiceStage和FunctionStage。華為云的PaaS產(chǎn)專注讓企業(yè)上云更簡單,運(yùn)行更高效,從客戶視角出發(fā),無微不至的解決客戶場景中的實際痛點;同時在各款產(chǎn)品中也深藏著華為云PaaS對業(yè)界技術(shù)走勢的洞察與引領(lǐng),在技術(shù)領(lǐng)域堅持不斷探索的突破阿里云ACEACE(AliyunCloudEnginee)是阿里云推出的一個基于云計算基礎(chǔ)架構(gòu)的網(wǎng)絡(luò)應(yīng)用程序托管環(huán)境,幫助應(yīng)用開發(fā)者簡化網(wǎng)站應(yīng)用程序的構(gòu)建和維護(hù),并可根據(jù)應(yīng)用訪問量和數(shù)據(jù)存儲的增長進(jìn)行彈性伸縮云計算的服務(wù)模式3.軟件即服務(wù)(SaaS)

軟件即服務(wù)(SaaS,SoftwareasaService)即通過網(wǎng)絡(luò)提供軟件服務(wù)。它是隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和應(yīng)用軟件的成熟,在21世紀(jì)開始興起的一種完全創(chuàng)新的軟件應(yīng)用模式。(1)SaaS概述

傳統(tǒng)模式下,廠商通過License將軟件產(chǎn)品部署到企業(yè)內(nèi)部多個客戶終端實現(xiàn)交付。SaaS定義了一種新的交付方式,也使得軟件進(jìn)一步回歸服務(wù)本質(zhì)。企業(yè)部署信息化軟件的本質(zhì)是為了自身的運(yùn)營管理服務(wù),軟件的表象是一種業(yè)務(wù)流程的信息化,本質(zhì)還是第一種服務(wù)模式,SaaS改變了傳統(tǒng)軟件服務(wù)的提供方式,減少本地部署所需的大量前期投入,進(jìn)一步突出信息化軟件的服務(wù)屬性,或成為未來信息化軟件市場的主流交付模式。(2)SaaS服務(wù)的功能需求隨時隨地訪問在任何時候,任何地點,只要能夠接上網(wǎng)絡(luò),用戶就能獲取到SaaS服務(wù)。支持公開協(xié)議通過支持公開協(xié)議(比如HTML5),方便用戶使用。安全保障SaaS供應(yīng)商需要提供一定的安全機(jī)制,不僅要使存儲在云端的用戶數(shù)據(jù)處于絕對安全的境地,而且要在用戶端實施一定的安全機(jī)制(如HTTPS)來保護(hù)用戶。多用戶和可定制化通過多用戶機(jī)制,不僅能更經(jīng)濟(jì)地支持龐大的用戶規(guī)模,而且能提供一定的可個性化功能以滿足用戶的不同需求。云計算的服務(wù)模式3.軟件即服務(wù)(SaaS)(3)SaaS特性互聯(lián)網(wǎng)特性SaaS服務(wù)通過互聯(lián)網(wǎng)瀏覽器或WebServices/Web2.0程序連接的形式為用戶提供服務(wù),使得SaaS應(yīng)用具備了典型互聯(lián)網(wǎng)技術(shù)特點;由于SaaS極大地縮短了用戶與SaaS提供商之間的時空距離,從而使得SaaS服務(wù)的營銷、交付與傳統(tǒng)軟件相比有著很大的不同。多重租賃特性SaaS服務(wù)通?;谝惶讟?biāo)準(zhǔn)軟件系統(tǒng)為成百上千的不同客戶(又稱為租戶)提供服務(wù)。這要求SaaS服務(wù)能夠支持不同租戶之間數(shù)據(jù)和配置的隔離,從而保證每個租戶數(shù)據(jù)的安全與隱私,以及用戶對諸如界面、業(yè)務(wù)邏輯、數(shù)據(jù)結(jié)構(gòu)等的個性化需求服務(wù)(Service)特性SaaS使軟件以互聯(lián)網(wǎng)為載體的服務(wù)形式被客戶使用,所以很多服務(wù)合約的簽訂、服務(wù)使用的計量、在線服務(wù)質(zhì)量的保證和服務(wù)費(fèi)用收取等問題都必須加以考慮SaaS特性云計算的服務(wù)模式4.云計算三種服務(wù)模式的比較

SaaS、PaaS和IaaS三者之間沒有必然的聯(lián)系,只是3種不同的服務(wù)模式,都是基于互聯(lián)網(wǎng),按需按時付費(fèi)。不同的模式為用戶提供的服務(wù)不同,如圖7-8所示,IaaS主要提供計算、存儲、網(wǎng)絡(luò)資源,PaaS主要提供數(shù)據(jù)庫、中間件及開發(fā)環(huán)境和平臺,而SaaS主要提供ERP、CRP、協(xié)同辦公等服務(wù)。從用戶體驗角度而言,它們之間的關(guān)系是獨立的,因為它們面對的是不同的用戶。從實際商業(yè)模式角度而言,PaaS的發(fā)展確實促進(jìn)了SaaS的發(fā)展,因為提供了開發(fā)平臺后,SaaS的開發(fā)難度降低了。從技術(shù)角度而言,三者并不是簡單的繼承關(guān)系,因為PaaS可以基于PaaS或者直接部署于IaaS,其次PaaS可以構(gòu)建于IaaS之上,也可以直接構(gòu)建在物理資源之上。Thanks.02新一代信息技術(shù)導(dǎo)論模塊2云計算云計算是一種通過網(wǎng)絡(luò)以服務(wù)的方式提供動態(tài)可伸縮的虛擬化的資源的計算模式,它是一種按使用量付費(fèi)的新型商業(yè)模式,服務(wù)內(nèi)容是提供可配置的計算資源共享池(包括網(wǎng)絡(luò),服務(wù)器,存儲,應(yīng)用軟件,服務(wù)等)。本主題包括云計算基本概念、云計算服務(wù)模式、布署模式、云計算關(guān)鍵技術(shù)和云計算的主流產(chǎn)品等內(nèi)容云計算部署模式02云計算的部署模式1.云計算部署模式概述

據(jù)云計算的部署模式,可以將云計算分為公有云、私有云、混合云三種模式,另外針對不同的行業(yè),可以將云計算分為不同的行業(yè)云。公有云模式公用云(PublicClouds)是第三方提供商通過公共Internet提供的計算服務(wù),面向希望使用或購買的組織和個人私有云模式私有云(PrivateClouds)是為一個客戶單獨使用而構(gòu)建的,因而提供對數(shù)據(jù)、安全性和服務(wù)質(zhì)量的最有效控制混合云模式混合云融合了公有云和私有云,是近年來云計算的主要模式和發(fā)展方向云計算的部署模式2.公有云

為客戶按需提供服務(wù),通過對CPU資源、存儲或帶寬使用量支付費(fèi)用。公有云的核心特征是云端資源面向社會大眾開放,符合條件的任何個人或者單位組織都可以租賃并使用云端資源。公有云的管理比私有云的管理要復(fù)雜得多,尤其是安全防范,要求更高公有云概述

從使用者角度來看,簡單來說就是免去所有自己搭建云服務(wù)器的繁瑣與費(fèi)用,直接租用云服務(wù)器廠商的資源,運(yùn)營維護(hù)等工作就全交給云廠商去處理。企業(yè)或者個人只需要專注于自己的業(yè)務(wù)和開發(fā),大多數(shù)底層復(fù)雜性直接交給由云服務(wù)器提供商處理。除非組織的實際業(yè)務(wù)是提供IT服務(wù),否則企業(yè)就應(yīng)該專注自己的核心任務(wù)和核心客戶,而不是將注意力放在建設(shè)一個內(nèi)部龐大的IT部門或數(shù)據(jù)中心上??紤]到這一點,再加上云計算的優(yōu)勢我們可以做個大膽的結(jié)論:遷移到云,它不僅可以讓企業(yè)節(jié)省成本,還可以讓企業(yè)IT保持一個合理的規(guī)模。公有云特點安全:云計算提供了最可靠、最安全的數(shù)據(jù)存儲中心,用戶不用再擔(dān)心數(shù)據(jù)丟失、病毒入侵等麻煩方便:云計算對用戶端的設(shè)備要求最低,使用起來也最方便。數(shù)據(jù)共享:云計算可以輕松實現(xiàn)不同設(shè)備間的數(shù)據(jù)與應(yīng)用共享。無限可能:云計算為我們使用網(wǎng)絡(luò)提供了幾乎無限多的可能。為存儲和管理數(shù)據(jù)提供了幾乎無限多的空間,也為我們完成各類應(yīng)用提供了幾乎無限強(qiáng)大的計算能力。云計算的部署模式3.私有云私有云概述

私有云(PrivateClouds)是為一個客戶單獨使用而構(gòu)建的,因而提供對數(shù)據(jù)、安全性和服務(wù)質(zhì)量的最有效控制。該企業(yè)/組織擁有基礎(chǔ)設(shè)施,并可以控制在此基礎(chǔ)設(shè)施上部署應(yīng)用程序的方式。私有云可部署在企業(yè)數(shù)據(jù)中心的防火墻內(nèi),也可以將它們部署在一個安全的主機(jī)托管場所。私有云的核心屬性是專有資源基礎(chǔ)設(shè)施即服務(wù)(IaaS)模式。私有云可由公司自己的IT機(jī)構(gòu),也可由云提供商進(jìn)行構(gòu)建。在此“托管式專用”模式中,像Sun、IBM這樣的云計算提供商可以安裝、配置和運(yùn)營基礎(chǔ)設(shè)施,以支持一個公司企業(yè)數(shù)據(jù)中心內(nèi)的專用云。此模式賦予公司對于云資源使用情況的極高水平的控制能力,同時帶來建立并運(yùn)作該環(huán)境所需的專門知識。私有云平臺構(gòu)成私有云平臺:私有云平臺向用戶提供各類私有云計算服務(wù)、資源和管理系統(tǒng)。私有云服務(wù):私有云服務(wù)提供了以資源和計算能力為主的云服務(wù),包括硬件虛擬化、集中管理、彈性資源調(diào)度等。私有云管理平臺:私有云管理平臺負(fù)責(zé)私有云計算各種服務(wù)的運(yùn)營,并對各類資源進(jìn)行集中管理。云計算的部署模式3.私有云私有云優(yōu)點(1)數(shù)據(jù)安全:雖然每個公有云的提供商都對外宣稱,其服務(wù)在各方面都是非常安全,特別是對數(shù)據(jù)的管理。但是對企業(yè)而言,特別是大型企業(yè)而言,和業(yè)務(wù)有關(guān)的數(shù)據(jù)是其的生命線,是不能受到任何形式的威脅,所以短期而言,大型企業(yè)是不會將其核心的應(yīng)用放到公有云上運(yùn)行的。而私有云在這方面是非常有優(yōu)勢的,因為它一般都構(gòu)筑在防火墻后(2)服務(wù)質(zhì)量:因為私有云一般在防火墻之后,而不是在某一個遙遠(yuǎn)的數(shù)據(jù)中心中,所以當(dāng)公司員工訪問那些基于私有云的應(yīng)用時,它的服務(wù)應(yīng)該會非常穩(wěn)定,不會受到網(wǎng)絡(luò)不穩(wěn)定的影響(3)充分利用現(xiàn)有硬件資源和軟件資源:由于每個企業(yè)IT發(fā)展情況各不相同,通常企業(yè)的各種應(yīng)用都是采用不同語言編寫,對上云帶來了很多的不便和工作量。但私有云在這方面就不錯,比如IBM推出的cloudburst,通過cloudburst,能非常方便地構(gòu)建基于Java的私有云。而且一些私有云的工具能夠利用企業(yè)現(xiàn)有的硬件資源來構(gòu)建云,這樣將極大降低企業(yè)的成本。(4)不影響現(xiàn)有IT管理的流程:對大型企業(yè)而言,流程是其管理的核心,如果沒有完善的流程,企業(yè)將會成為一盤散沙。不僅與業(yè)務(wù)有關(guān)的流程非常繁多,而且IT部門的流程也不少。在這方面,公有云就不是很適合,因為假如使用公有云的話,將會對IT部門流程有很多的沖擊,比如在數(shù)據(jù)管理方面和安全規(guī)定等方面,而在私有云,因為它一般在防火墻內(nèi)的,所以對IT部門流程沖擊不大。云計算的部署模式4.混合云(1)概述

混合云融合了公有云和私有云,是近年來云計算的主要模式和發(fā)展方向。我們已經(jīng)知道私有云主要是面向企業(yè)用戶,出于安全考慮,企業(yè)更愿意將數(shù)據(jù)存放在私有云中,但是同時又希望可以獲得公有云的計算資源,在這種情況下混合云被越來越多的采用,它將公有云和私有云進(jìn)行混合和匹配,以獲得最佳的效果,這種個性化的解決方案,達(dá)到了既省錢又安全的目的。(2)特點更完善:私有云的安全性是超越公有云的,而公有云的計算資源又是私有云無法企及的?;旌显萍瓤梢岳盟接性频陌踩?,將內(nèi)部重要數(shù)據(jù)保存在本地數(shù)據(jù)中心;同時也可以使用公有云的計算資源,更高效快捷地完成工作,相比私有云或是公有云都更完善??蓴U(kuò)展:混合云突破了私有云的硬件限制,利用公有云的可擴(kuò)展性,可以隨時獲取更高的計算能力。更節(jié)?。夯旌显瓶梢杂行У亟档统杀尽T朴嬎愕牟渴鹉J交旌显苾?yōu)點(1)降低成本:降低成本是云計算最吸引人的優(yōu)勢之一,也是驅(qū)使企業(yè)管理層考慮云服務(wù)的重要因素。升級預(yù)置基礎(chǔ)設(shè)施的增量成本很高,增加預(yù)置的計算資源需要購置額外的服務(wù)器、存儲、電力以及在某些極端情況下新建數(shù)據(jù)中心的需求。混合云可以幫助企業(yè)降低成本,利用“即用即付”云計算資源來消除購買本地資源的需求。(2)增加存儲和可擴(kuò)展性:混合云為企業(yè)擴(kuò)展存儲提供了經(jīng)濟(jì)高效的方式,云存儲的成本相比等量本地存儲要低得多,是備份、復(fù)制虛擬機(jī)和數(shù)據(jù)歸檔的不錯選擇。除此之外,增加云存儲沒有前置成本和本地資源需求。(3)提高敏捷性和靈活性:混合云最大的好處之一就是靈活性?;旌显剖褂脩裟軌?qū)①Y源和工作負(fù)載從本地遷移到云,反之亦然。對于開發(fā)和測試而言,混合云使開發(fā)人員能夠輕松搞定新的虛擬機(jī)和應(yīng)用程序,而無需IT運(yùn)維人員的協(xié)助。用戶還可以利用具有彈性伸縮的混合云,將部分應(yīng)用程序擴(kuò)展到云中以處理峰值處理需求。云還提供了各種各樣的服務(wù),如BI、分析、物聯(lián)網(wǎng)等,用戶可以隨時使用這些服務(wù),而不是自己構(gòu)建。(4)獲得應(yīng)用集成優(yōu)勢:許多應(yīng)用程序都提供了內(nèi)置的混合云集成功能。例如Hyper-V副本和SQLServerAlwaysOn可用性組都具有內(nèi)置的云集成功能。SQLServer的StretchDatabases功能等新技術(shù)也使您能夠?qū)?shù)據(jù)庫從內(nèi)部部署到云中。Thanks.02新一代信息技術(shù)導(dǎo)論模塊2云計算云計算是一種通過網(wǎng)絡(luò)以服務(wù)的方式提供動態(tài)可伸縮的虛擬化的資源的計算模式,它是一種按使用量付費(fèi)的新型商業(yè)模式,服務(wù)內(nèi)容是提供可配置的計算資源共享池(包括網(wǎng)絡(luò),服務(wù)器,存儲,應(yīng)用軟件,服務(wù)等)。本主題包括云計算基本概念、云計算服務(wù)模式、布署模式、云計算關(guān)鍵技術(shù)和云計算的主流產(chǎn)品等內(nèi)容分布式計算原理和云計算技術(shù)架構(gòu)02一、了解分布式計算的原理

分布式計算是研究如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分,然后把這些部分分配給許多計算機(jī)進(jìn)行處理,最后把這些計算結(jié)果綜合起來得到最終的結(jié)果。分布式計算是一種計算方法,是和集中式計算是相對的。隨著計算技術(shù)的發(fā)展,有些應(yīng)用需要非常巨大的計算能力才能完成,如果采用集中式計算,需要耗費(fèi)相當(dāng)長的時間來完成。分布式計算可以節(jié)約整體計算時間,大大提高計算效率。最近的分布式計算項目已經(jīng)被用于使用世界各地成千上萬位志愿者的計算機(jī)的閑置計算能力,通過因特網(wǎng),可以分析來自外太空的電訊號,尋找隱蔽的黑洞,并探索可能存在的外星智慧生命;可以尋找超過1000萬位數(shù)字的梅森質(zhì)數(shù);也可以尋找并發(fā)現(xiàn)對抗艾滋病病毒的更為有效的藥物。這些項目都很龐大,需要驚人的計算量,僅僅由單個的電腦或是個人在一個能讓人接受的時間內(nèi)計算完成是絕不可能的。1.什么是分布式計算2.分布式計算原理

(1)問題確定:首先要發(fā)現(xiàn)一個需要非常巨大的計算能力才能解決的問題。這類問題一般是跨學(xué)科的、極富挑戰(zhàn)性的、人類急待解決的科研課題。

(2)問題拆解:由服務(wù)端將非常復(fù)雜的問題拆解為大量的更小的計算片斷。

(3)分發(fā)問題:服務(wù)端將各計算片斷分發(fā)給數(shù)量眾多的客戶端

(4)客戶端開始并行計算:當(dāng)客戶端接受到問題后,利用本地的CPU資源、內(nèi)存資源進(jìn)行計算。

(5)綜合計算結(jié)果:當(dāng)各客戶端并行處理完成后,最后各客戶端將問題計算結(jié)果發(fā)送回到服務(wù)端,由服務(wù)端將計算結(jié)果綜合起來得到最終的結(jié)果。一、了解分布式計算的原理(1)分布式計算系統(tǒng):一個分布式系統(tǒng)包括若干通過網(wǎng)絡(luò)互聯(lián)的計算機(jī),這些計算機(jī)互相配合以完成一個共同的目標(biāo)。在分布式系統(tǒng)上運(yùn)行的計算機(jī)程序稱為分布式計算程序;分布式編程就是編寫上述程序的過程。簡單的來說,采用分布式計算的一組計算機(jī)組成的系統(tǒng),叫做分布式計算系統(tǒng)。(2)分布式系統(tǒng)類型:分布式計算系統(tǒng)通常根據(jù)計算方式的不同,分為計算機(jī)集群系統(tǒng)和計算機(jī)網(wǎng)格系統(tǒng)。3.分布式計算系統(tǒng)計算機(jī)集群系統(tǒng):計算機(jī)集群系統(tǒng)的結(jié)構(gòu)如右圖所示。主結(jié)點是管理結(jié)點,負(fù)責(zé)管理程序、并行組件庫和本地操作系統(tǒng)。子(從)結(jié)點是計算結(jié)點,使用并行應(yīng)用程序、并行組件庫和操作系統(tǒng)進(jìn)行計算。其中,管理程序負(fù)責(zé)系統(tǒng)管理和配置、作業(yè)管理;并行組件庫是基于消息的通信工具;本地操作系統(tǒng)為標(biāo)準(zhǔn)的通用操作系統(tǒng);并行應(yīng)用程序就是并行執(zhí)行的應(yīng)用程序。計算機(jī)集群系統(tǒng)之間是同構(gòu)的,主要采用集群計算。計算機(jī)網(wǎng)格系統(tǒng):計算機(jī)網(wǎng)格系統(tǒng)之間是異構(gòu)的,是因為,在單個計算內(nèi)部,各個之間的工作是分層次的,形似OSI的七層模型,各層之間提供API相互進(jìn)行鄰層的調(diào)用,但是各層內(nèi)部的構(gòu)成是地外透明的。網(wǎng)格與傳統(tǒng)集群的主要差別是網(wǎng)格是連接一組相關(guān)并不信任的計算機(jī),它的運(yùn)作更像一個計算公共設(shè)施而不是一個獨立的計算機(jī),網(wǎng)格通常比集群支持更多不同類型的計算機(jī)集合。網(wǎng)格本質(zhì)上就是動態(tài)的,集群包含的處理器和資源的數(shù)量通常都是靜態(tài)的。在網(wǎng)格上資源則可以動態(tài)出現(xiàn),資源可以根據(jù)需要添加到網(wǎng)格中或從網(wǎng)格中刪除。另外,集群和網(wǎng)格計算是相互補(bǔ)充的,很多網(wǎng)格都在自己管理的資源中采用了集群,網(wǎng)格用戶可能并不清楚他的工作負(fù)載是在一個遠(yuǎn)程的集群上執(zhí)行的。一、了解分布式計算的原理4.主流的分布式計算系統(tǒng)得到廣泛使用的分布式計算系統(tǒng)主要有Hadoop,Spark和Storm,它們是最重要的三大分布式計算系統(tǒng)。Hadoop常用于離線的復(fù)雜的大數(shù)據(jù)分析處理,Spark常用于離線的快速的大數(shù)據(jù)處理,而Storm常用于在線的實時的大數(shù)據(jù)處理。HadoopHadoop采用MapReduce分布式計算框架,并根據(jù)Google文件系統(tǒng)(GFS)開發(fā)了HDFS分布式文件系統(tǒng),根據(jù)BigTable開發(fā)了HBase數(shù)據(jù)存儲系統(tǒng)。SparkSpark也是Apache基金會的開源項目,它由加州大學(xué)伯克利分校的實驗室開發(fā),是另外一種重要的分布式計算系統(tǒng)Storm是Twitter主推的分布式計算系統(tǒng),它由BackType團(tuán)隊開發(fā),是Apache基金會的孵化項目。它在Hadoop的基礎(chǔ)上提供了實時運(yùn)算的特性,可以實時的處理大數(shù)據(jù)流。不同于Hadoop和Spark,Storm不進(jìn)行數(shù)據(jù)的收集和存儲工作,它直接通過網(wǎng)絡(luò)實時的接受數(shù)據(jù)并且實時的處理數(shù)據(jù),然后直接通過網(wǎng)絡(luò)實時的傳回結(jié)果。二、云計算技術(shù)架構(gòu)傳統(tǒng)的IT部署架構(gòu)是“煙囪式”或稱為“專機(jī)專用”系統(tǒng),其結(jié)構(gòu)圖如下圖所示。在“煙囪式”架構(gòu)中,每個應(yīng)用系統(tǒng)根據(jù)自己對系統(tǒng)資源需求確定底層架構(gòu)所需要的計算、存儲、網(wǎng)絡(luò)等設(shè)備規(guī)格和數(shù)量。顯然這種架構(gòu)存在的問題有:各應(yīng)用系統(tǒng)間基礎(chǔ)設(shè)施很難共享;為每個應(yīng)用系統(tǒng)建設(shè)基礎(chǔ)設(shè)施,成本高、建設(shè)周期長、資源利用率低,隨著業(yè)務(wù)的發(fā)展將來系統(tǒng)也很難擴(kuò)展;造成企業(yè)內(nèi)部IT架構(gòu)無法統(tǒng)一規(guī)劃,后期的管理維護(hù)困難;數(shù)據(jù)分布廣,格式不統(tǒng)一,導(dǎo)致數(shù)據(jù)難以打通。1.傳統(tǒng)的IT部署架構(gòu)這種部署模式主要存在以下問題:(1)資源和信息孤島,整合困難:這種“煙囪式”部署架構(gòu)的數(shù)據(jù)中心是基于單個項目建設(shè)的,是垂直的體系結(jié)構(gòu),每一個IT系統(tǒng)都有自己的存儲和IT設(shè)備,以及獨立的管理工具和數(shù)據(jù)庫,不同的系統(tǒng)不能共享資源,不能交付和訪問,形成了資源孤島和信息孤島。

(2)資源利用率低:這種部署架構(gòu)通常為了考慮業(yè)務(wù)的發(fā)展,配置較實際業(yè)務(wù)需要更高的硬件資源,會有一定比例的余量,這樣就導(dǎo)致系統(tǒng)上線后在一定時間范圍內(nèi)負(fù)載并不會太高,使得IT資源的利用率低。(3)擴(kuò)展性差:根據(jù)每個系統(tǒng)建設(shè)的系統(tǒng)軟硬件環(huán)境,導(dǎo)致IT基礎(chǔ)設(shè)施復(fù)雜,難以適應(yīng)業(yè)務(wù)變化的需求,尤其是面對業(yè)務(wù)突發(fā)的需求,更是無能為力。二、云計算技術(shù)架構(gòu)(1)為了解決傳統(tǒng)的IT部署架構(gòu)存在的明顯問題,云計算技術(shù)應(yīng)運(yùn)而生,它的出現(xiàn)對于整個IT部署架構(gòu)帶來了創(chuàng)新,對整個IT領(lǐng)域帶來一場巨大的變革,其技術(shù)和應(yīng)用涉及硬件每系統(tǒng)、軟件系統(tǒng)、應(yīng)用系統(tǒng)、運(yùn)維管理、服務(wù)模式等各個方面。云計算基礎(chǔ)架構(gòu)的簡化形式如右圖所示。(2)云基礎(chǔ)架構(gòu)在傳統(tǒng)IT部署架構(gòu)的硬件層的基礎(chǔ)上增加了虛擬化層和云層。通過虛擬化層,屏蔽了硬件層自身的差異和復(fù)雜度,向上呈現(xiàn)為標(biāo)準(zhǔn)化、可靈活擴(kuò)展和收縮、彈性的虛擬化資源池。虛擬化技術(shù)包括計算虛擬化、存儲虛擬化、網(wǎng)絡(luò)虛擬化等。在云層通過對資源池進(jìn)行統(tǒng)一的調(diào)配、組合、根據(jù)應(yīng)用自身的需要自動生成、擴(kuò)展所需要的硬件資源,將更多的應(yīng)用系統(tǒng)進(jìn)行流程化、自動化部署和管理,從而提高設(shè)備利用率和提升IT效率。(3)相對于傳統(tǒng)IT部署架構(gòu),云基礎(chǔ)架構(gòu)通過虛擬化整合與自動化,應(yīng)用系統(tǒng)共享基礎(chǔ)架構(gòu)資源池,實現(xiàn)高利用率、高可用性、低成本、低能耗,并且通過云層的自動化管理,實現(xiàn)快速部署、易于擴(kuò)展、智能管理,幫助用戶構(gòu)建IaaS云業(yè)務(wù)模式。2.云計算的部署架構(gòu)Thanks.02新一代信息技術(shù)導(dǎo)論模塊2云計算云計算是一種通過網(wǎng)絡(luò)以服務(wù)的方式提供動態(tài)可伸縮的虛擬化的資源的計算模式,它是一種按使用量付費(fèi)的新型商業(yè)模式,服務(wù)內(nèi)容是提供可配置的計算資源共享池(包括網(wǎng)絡(luò),服務(wù)器,存儲,應(yīng)用軟件,服務(wù)等)。本主題包括云計算基本概念、云計算服務(wù)模式、布署模式、云計算關(guān)鍵技術(shù)和云計算的主流產(chǎn)品等內(nèi)容主流云計算廠商02一、

Google云計算

GFS是Google自己設(shè)計的大型分布式文件系統(tǒng),位于所有核心技術(shù)的底層。它是由大量安裝有Linux操作系統(tǒng)的普通PC構(gòu)成的集群系統(tǒng),整個集群系統(tǒng)由Client(客戶端)、Master(主服務(wù)器)和ChunkServer(數(shù)據(jù)塊服務(wù)器)構(gòu)成。GFS中文件備份成固定大小的Chunk分別存儲在不同的ChunkServer上,每個Chunk有多份拷貝,也存儲在不同的ChunkServer上。Master負(fù)責(zé)維護(hù)GFS中的元數(shù)據(jù)(Metadata),即文件名及其Chunk信息,客戶端先從Master上得到文件的Metadata,根據(jù)要讀取的數(shù)據(jù)在文件中的位置與相應(yīng)的ChunkServer通信,獲取文件數(shù)據(jù)。GFS解決了大數(shù)據(jù)量的存儲問題,具體體系結(jié)構(gòu)如下圖所示。1.Google文件系統(tǒng)一、

Google云計算2.分布式計算編程模型(MapReduce)-主要功能數(shù)據(jù)劃分和計算任務(wù)調(diào)度系統(tǒng)自動將一個作業(yè)待處理的大數(shù)據(jù)劃分為很多個數(shù)據(jù)塊,每個數(shù)據(jù)塊對應(yīng)于一個計算任務(wù),并自動調(diào)度計算節(jié)點來處理相應(yīng)的數(shù)據(jù)塊。作業(yè)和任務(wù)調(diào)度功能主要負(fù)責(zé)分配和調(diào)度計算節(jié)點(Map節(jié)點或Reduce節(jié)點),同時負(fù)責(zé)監(jiān)控這些節(jié)點的執(zhí)行狀態(tài),并負(fù)責(zé)Map節(jié)點執(zhí)行的同步控制。

數(shù)據(jù)/代碼互定位為了減少數(shù)據(jù)通信,一個基本原則是本地化數(shù)據(jù)處理,即一個計算節(jié)點盡可能處理其本地磁盤上所分布存儲的數(shù)據(jù),這實現(xiàn)了代碼向數(shù)據(jù)的遷移;當(dāng)無法進(jìn)行這種本地化數(shù)據(jù)處理時,再尋找其他可用節(jié)點并將數(shù)據(jù)從網(wǎng)絡(luò)上傳送給該節(jié)點,但將盡可能從數(shù)據(jù)所在的本地機(jī)架上尋找可用節(jié)點以減少通信延遲。

系統(tǒng)優(yōu)化為了減少數(shù)據(jù)通信開銷,中間結(jié)果數(shù)據(jù)進(jìn)入Reduce節(jié)點前會進(jìn)行一定的合并處理;一個Reduce節(jié)點所處理的數(shù)據(jù)可能會來自多個Map節(jié)點,為了避免Reduce計算階段發(fā)生數(shù)據(jù)相關(guān)性,Map節(jié)點輸出的中間結(jié)果需使用一定的策略進(jìn)行適當(dāng)?shù)膭澐痔幚?,保證相關(guān)性數(shù)據(jù)發(fā)送到同一個Reduce節(jié)點;此外系統(tǒng)還進(jìn)行一些計算性能優(yōu)化處理,如對最慢的計算任務(wù)采用多備份執(zhí)行、選最快完成者作為結(jié)果。

出錯檢測和恢復(fù)以低端商用服務(wù)器構(gòu)成的大規(guī)模MapReduce計算集群中,節(jié)點硬件出錯和軟件出錯是常態(tài),因此MapReduce需要能檢測并隔離出錯節(jié)點,并調(diào)度分配新的節(jié)點接管出錯節(jié)點的計算任務(wù)。同時,系統(tǒng)還將維護(hù)數(shù)據(jù)存儲的可靠性,用多備份冗余存儲機(jī)制提高數(shù)據(jù)存儲的可靠性,并能及時檢測和恢復(fù)出錯的數(shù)據(jù)。一、

Google云計算3.分布式鎖服務(wù)(Chubby)Chubby是Google設(shè)計的提供粗粒度鎖服務(wù)的一個文件系統(tǒng),它基于松耦合分布式系統(tǒng),解決了分布的一致性問題。通過使用的鎖服務(wù),用戶可以確保數(shù)據(jù)操作過程中的一致性。GFS使用Chubby選取一個GFS主服務(wù)器,Bigtable使用Chubby指定一個主服務(wù)器并發(fā)現(xiàn)、控制與其相關(guān)的子表服務(wù)器。除了最常用的鎖服務(wù)之外,Chubby還可以作為一個穩(wěn)定的存儲系統(tǒng)存儲包括元數(shù)據(jù)在內(nèi)的小數(shù)據(jù)。4.分布式結(jié)構(gòu)化數(shù)據(jù)表(BigTable)為解決海量數(shù)據(jù)存儲的問題,Google的軟件開發(fā)工程師研發(fā)了Bigtable,并于2005年4月投入使用。Bigtable為Google的60多種產(chǎn)品和項目提供存儲和獲取結(jié)構(gòu)化數(shù)據(jù)的支撐平臺,在Google內(nèi)部至少運(yùn)行著500個Bigtable集群。BigTable由三部分組成,分別是客戶端程序庫、一個主服務(wù)器和多個子表服務(wù)器。主服務(wù)器主要進(jìn)行元數(shù)據(jù)的操作以及子表服務(wù)器之間的負(fù)載調(diào)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論