云計(jì)算導(dǎo)論（大數(shù)據(jù)技術(shù)、云計(jì)算技術(shù)相關(guān)專(zhuān)業(yè)）全套教學(xué)課件

云計(jì)算導(dǎo)論主講老師：全套可編輯PPT課件走進(jìn)云計(jì)算云計(jì)算基礎(chǔ)云計(jì)算中的數(shù)據(jù)處理技術(shù)虛擬化技術(shù)云計(jì)算管理平臺(tái)云計(jì)算解決方案云計(jì)算安全云計(jì)算應(yīng)用走進(jìn)云計(jì)算第一章走進(jìn)云計(jì)算

近年來(lái)，隨著IT技術(shù)的飛速發(fā)展，云計(jì)算早已在眾多領(lǐng)域獲得了廣泛的應(yīng)用和發(fā)展，成為了與人們?nèi)粘Ｉ钕⑾⑾嚓P(guān)的核心技術(shù)。

本章將從云計(jì)算的產(chǎn)生和發(fā)展開(kāi)始，介紹云計(jì)算的概念和特征，最后通過(guò)實(shí)例讓讀者認(rèn)識(shí)身邊的云計(jì)算。本章導(dǎo)讀學(xué)習(xí)目標(biāo)了解云計(jì)算的思想起源。熟悉云計(jì)算的發(fā)展歷程。掌握云計(jì)算的概念和特征。認(rèn)識(shí)身邊的云計(jì)算。1.1云計(jì)算的產(chǎn)生和發(fā)展1.2云計(jì)算的概念和特征1.3實(shí)例-身邊的云計(jì)算云計(jì)算的產(chǎn)生和發(fā)展1.1.1云計(jì)算的思想起源1983年，SUN公司提出“網(wǎng)絡(luò)就是計(jì)算機(jī)（thenetworkisthecomputer）”的概念，并開(kāi)始探索以網(wǎng)絡(luò)為中心的計(jì)算模式，極具前瞻性地揭示了“超級(jí)計(jì)算”時(shí)代的來(lái)臨。1999年，時(shí)任甲骨文（Oracle）公司副總裁的馬克·貝尼奧夫（MarcBenioff）預(yù)見(jiàn)到，隨著Internet的發(fā)展，越來(lái)越多的企業(yè)會(huì)選擇通過(guò)Internet獲取軟件服務(wù)。于是，他與合作伙伴于同年3月創(chuàng)辦了Salesforce公司，并提出“軟件即服務(wù)（SoftwareasaService，SaaS）”的服務(wù)理念。Salesforce公司的成立，是云計(jì)算發(fā)展史上一個(gè)重要的里程碑。

云計(jì)算的思想起源最早可追溯到由約翰·麥卡錫（JohnMcCarthy）于1961年提出的“效用計(jì)算”概念。此后，云計(jì)算思想又經(jīng)歷了一系列演變和發(fā)展。云計(jì)算的產(chǎn)生和發(fā)展1.1.1云計(jì)算的思想起源2006年3月19日，亞馬遜公司通過(guò)推出簡(jiǎn)單存儲(chǔ)服務(wù)（simplestorageservice，S3）正式發(fā)布了AWS平臺(tái)；8月9日，谷歌（Google）公司首席執(zhí)行官埃里克·施密特（EricEmersonSchmidt）在搜索引擎大會(huì)上提出了“云計(jì)算”的概念；8月25日，AWS平臺(tái)推出了彈性計(jì)算云（elasticcomputecloud，EC2）服務(wù)產(chǎn)品，標(biāo)志著“基礎(chǔ)設(shè)施即服務(wù)（InfrastructureasaService，IaaS）”的云計(jì)算服務(wù)開(kāi)始逐步成型。此后，云計(jì)算因其蘊(yùn)藏的巨大價(jià)值受到了谷歌、亞馬遜、微軟（Microsoft）和阿里巴巴等互聯(lián)網(wǎng)巨頭的追捧，在數(shù)年內(nèi)得以迅猛發(fā)展，這些互聯(lián)網(wǎng)巨頭共同拉開(kāi)了互聯(lián)網(wǎng)“云時(shí)代”的序幕。2002年，亞馬遜（Amazon）公司開(kāi)始著手研發(fā)AWS（AmazonWebServices）平臺(tái)，該平臺(tái)旨在以Internet為媒介，將存儲(chǔ)空間、計(jì)算能力、數(shù)據(jù)庫(kù)等資源以按需付費(fèi)的方式租賃給個(gè)人、公司或政府。電廠模式云計(jì)算的產(chǎn)生和發(fā)展1.1.2云計(jì)算的發(fā)展歷史

電廠模式就是利用電廠的規(guī)模經(jīng)濟(jì)效應(yīng)來(lái)降低電力的價(jià)格，并讓用戶在無(wú)須購(gòu)買(mǎi)任何發(fā)電設(shè)備的情況下方便地使用電力。效用計(jì)算網(wǎng)格計(jì)算云計(jì)算

網(wǎng)格計(jì)算（gridcomputing）是一種解決大規(guī)模計(jì)算問(wèn)題的分布式計(jì)算模型。

云計(jì)算是分布式計(jì)算的一種，它可看作是效用計(jì)算和網(wǎng)格計(jì)算的商業(yè)實(shí)現(xiàn)。與效用計(jì)算和網(wǎng)格計(jì)算類(lèi)似，云計(jì)算同樣希望用戶方便地獲得廉價(jià)的計(jì)算機(jī)資源。

分時(shí)操作系統(tǒng)技術(shù)將使計(jì)算能力和特定應(yīng)用程序等資源可以統(tǒng)一使用和出售，用戶可以像將燈泡插入燈座一樣使用計(jì)算機(jī)的資源，并如同支付水電費(fèi)一樣，按使用量進(jìn)行個(gè)性化付費(fèi)。云計(jì)算的產(chǎn)生和發(fā)展1.1.2云計(jì)算的發(fā)展歷史

“網(wǎng)格”這個(gè)詞源于電力網(wǎng)格（powergrid）。電力網(wǎng)格簡(jiǎn)稱電網(wǎng)，它用高壓線路把分散在各地的發(fā)電站連接在一起，并在輸電、配電和變電等標(biāo)準(zhǔn)化操作后，將電力統(tǒng)一提供給用戶。用戶無(wú)須關(guān)心電力的來(lái)源、存量或類(lèi)型，僅需將用電設(shè)備的插頭插入插座即可用電。網(wǎng)格計(jì)算借鑒了電力網(wǎng)格的結(jié)構(gòu)，兩者結(jié)構(gòu)如圖所示。云計(jì)算的產(chǎn)生和發(fā)展1.1.2云計(jì)算的發(fā)展歷史

網(wǎng)格計(jì)算以Internet為通信支撐平臺(tái)，將分散的資源聚合在一起，形成更高層次的分布式資源共享環(huán)境，具有高性能、一體化、資源共享等技術(shù)優(yōu)點(diǎn)。但由于參與網(wǎng)格計(jì)算的計(jì)算機(jī)是自發(fā)組成的聯(lián)盟，可靠性和安全性不高，因此網(wǎng)格計(jì)算并未成功商業(yè)化。盡管如此，網(wǎng)格計(jì)算在學(xué)術(shù)研究領(lǐng)域卻大放異彩。例如，2018年，基于網(wǎng)格計(jì)算的“因特網(wǎng)梅森素?cái)?shù)大搜索（GIMPS）”項(xiàng)目動(dòng)用了超過(guò)180萬(wàn)核CPU發(fā)現(xiàn)了第51個(gè)梅森素?cái)?shù)，該素?cái)?shù)有24862048位，是迄今為止人類(lèi)發(fā)現(xiàn)的最大素?cái)?shù)。此外，網(wǎng)格計(jì)算還為現(xiàn)在普遍運(yùn)用的云計(jì)算模型奠定了理論基礎(chǔ)和實(shí)驗(yàn)環(huán)境。1.11.2云計(jì)算的產(chǎn)生和發(fā)展1.3實(shí)例-身邊的云計(jì)算云計(jì)算的概念和特征

云計(jì)算是基于“按需付費(fèi)定價(jià)（pay-as-you-gopricing）”模式的IT資源交付服務(wù)。亞馬遜

云計(jì)算是通過(guò)網(wǎng)絡(luò)按需分配計(jì)算資源。計(jì)算資源包括服務(wù)器、數(shù)據(jù)庫(kù)、存儲(chǔ)、平臺(tái)、架構(gòu)及應(yīng)用等。云計(jì)算支持按用量付費(fèi)，即只需支付您需要的量。阿里巴巴

云計(jì)算是一種模型，用于實(shí)現(xiàn)對(duì)可配置計(jì)算資源共享池便捷按需的網(wǎng)絡(luò)訪問(wèn)。該共享池中的計(jì)算資源包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用程序和服務(wù)等，這些資源可以快速地獲取和釋放，同時(shí)管理成本極低，而且與服務(wù)提供商的溝通成本基本為零。NIST

云計(jì)算是一種通過(guò)網(wǎng)絡(luò)統(tǒng)一組織和靈活調(diào)用各種信息與通信技術(shù)（informationandcommunicationstechnology，ICT）資源，實(shí)現(xiàn)大規(guī)模計(jì)算的信息處理方式。我國(guó)工業(yè)和信息化部電信研究院1.2.1什么是云計(jì)算云計(jì)算的概念和特征云計(jì)算云計(jì)算的概念和特征1.2.2云計(jì)算的特征1、用戶按需自助獲取服務(wù)2、廣泛的網(wǎng)絡(luò)訪問(wèn)3、資源虛擬化4、快速?gòu)椥缘馁Y源分配5、可度量的資源使用情況1.11.2云計(jì)算的產(chǎn)生和發(fā)展1.3實(shí)例-身邊的云計(jì)算云計(jì)算的概念和特征實(shí)例-身邊的云計(jì)算1.3.1云盤(pán)

云盤(pán)（cloudstorage）又稱網(wǎng)盤(pán)、網(wǎng)絡(luò)硬盤(pán)或網(wǎng)絡(luò)U盤(pán)，是一種基于網(wǎng)絡(luò)的在線存儲(chǔ)服務(wù)，云盤(pán)服務(wù)提供商將其服務(wù)器的硬件資源分配給注冊(cè)用戶并提供文件存儲(chǔ)、訪問(wèn)、備份、共享等文檔管理功能，用戶可以通過(guò)Internet上傳、下載和管理云盤(pán)中的文件。百度網(wǎng)盤(pán)騰訊微云華為云空間360安全云盤(pán)iCloudDropBoxOneDrive不占用本地空間便于遷徙和備份在線管理方便文件分享方便支持在線查看和播放支持不同平臺(tái)同步數(shù)據(jù)較安全特點(diǎn)百度網(wǎng)盤(pán)

百度網(wǎng)盤(pán)是百度公司推出的一項(xiàng)云盤(pán)服務(wù)，分為個(gè)人版和企業(yè)版兩種，其中個(gè)人版在Windows、Android、iOS、macOS和Linux等操作系統(tǒng)環(huán)境下均開(kāi)發(fā)了客戶端，同時(shí)支持瀏覽器訪問(wèn)。因此，百度網(wǎng)盤(pán)是當(dāng)前國(guó)內(nèi)個(gè)人終端市場(chǎng)中最受歡迎、最具有代表性的云盤(pán)。實(shí)例-身邊的云計(jì)算1.3.1云盤(pán)實(shí)例-身邊的云計(jì)算1.3.1云盤(pán)百度網(wǎng)盤(pán)實(shí)例-身邊的云計(jì)算1.3.1云盤(pán)（1）超大容量（2）多元數(shù)據(jù)存儲(chǔ)（3）在線解壓（4）在線查看常規(guī)數(shù)據(jù)（5）離線下載（6）文件分類(lèi)和搜索（7）文件分享百度網(wǎng)盤(pán)具有以下幾個(gè)特點(diǎn):百度網(wǎng)盤(pán)實(shí)例-身邊的云計(jì)算1.3.1云盤(pán)文件分類(lèi)文件分享離線下載文件搜索超大容量實(shí)例-身邊的云計(jì)算1.3.1云盤(pán)iCloudiCloud是Apple公司為用戶提供的私人云存儲(chǔ)服務(wù)，注冊(cè)用戶可免費(fèi)獲得5GB存儲(chǔ)容量，用戶可通過(guò)按月付費(fèi)的方式購(gòu)買(mǎi)更多存儲(chǔ)容量。

與百度網(wǎng)盤(pán)側(cè)重于大容量存儲(chǔ)不同，iCloud更側(cè)重于多端同步。實(shí)例-身邊的云計(jì)算1.3.1云盤(pán)實(shí)例-身邊的云計(jì)算1.3.2云應(yīng)用

云應(yīng)用（cloudApps）即運(yùn)行在云端的應(yīng)用，它是云計(jì)算技術(shù)在應(yīng)用層的體現(xiàn)，其工作原理是：把傳統(tǒng)軟件“本地安裝、本地運(yùn)行”的使用方式變?yōu)榱恕凹慈〖从谩钡男滦头绞健Ｔ茟?yīng)用

用戶在本地終端使用云應(yīng)用時(shí)的操作與使用本地應(yīng)用無(wú)異，但其所有的計(jì)算和渲染等工作均在云端完成，用戶無(wú)須在本地安裝軟件或配置復(fù)雜的環(huán)境，也無(wú)須具備運(yùn)行軟件所需的CPU性能、內(nèi)存或存儲(chǔ)等硬件配置，僅需瀏覽器即可完成與傳統(tǒng)軟件等同的操作。特點(diǎn)實(shí)例-身邊的云計(jì)算1.3.2云應(yīng)用uzer.me是上海諧桐信息技術(shù)有限公司推出的云應(yīng)用系統(tǒng)，用戶訪問(wèn)其官方網(wǎng)站https://uzer.me并注冊(cè)登錄后即可進(jìn)入應(yīng)用桌面該云應(yīng)用系統(tǒng)中包括有AutoCAD、Matlab、XMind、Office系列軟件和Adobe系列軟件等Uzer.me實(shí)例-身邊的云計(jì)算1.3.2云應(yīng)用

除Web端外，uzer.me云應(yīng)用系統(tǒng)還為用戶提供了Windows、macOS、Android和iOS等操作系統(tǒng)的客戶端，這些客戶端均可在其官方網(wǎng)站下載。實(shí)例-身邊的云計(jì)算1.3.2云應(yīng)用

用戶可免費(fèi)使用應(yīng)用桌面中的云應(yīng)用，其使用體驗(yàn)與本地應(yīng)用基本無(wú)異。

每名注冊(cè)用戶均會(huì)獲得1GB的云存儲(chǔ)空間，應(yīng)用程序產(chǎn)生的工程文件將存儲(chǔ)于此，用戶可將工程文件下載到本地。

此外，用戶也可將需要的本地素材上傳到云存儲(chǔ)空間中。實(shí)例-身邊的云計(jì)算1.3.2云應(yīng)用

OfficeOnWeb是微軟公司推出的云應(yīng)用，用戶訪問(wèn)其官方網(wǎng)站并使用Microsoft賬號(hào)登錄后即可使用OfficeOnWeb實(shí)例-身邊的云計(jì)算1.3.2云應(yīng)用實(shí)例-身邊的云計(jì)算1.3.2云應(yīng)用功能包括OfficeOnWeb支持的Office功能包括Outlook、OneDrive、Word、Excel、PowerPoint和OneNote等OfficeOnWeb實(shí)例-身邊的云計(jì)算1.3.2云應(yīng)用

用戶單擊“Word”圖標(biāo)后即可打開(kāi)Word云應(yīng)用的新建界面，單擊“Newblankdocument”圖標(biāo)即可新建一個(gè)空白Word文檔.本章小結(jié)cloudcomputing2、云計(jì)算的5大基本特征包括用戶按需自助獲取服

務(wù)、廣泛的網(wǎng)絡(luò)訪問(wèn)、資源虛擬化、快速?gòu)椥缘?/p>

資源分配和可度量的資源使用情況3、云計(jì)算離日常生活并不遙遠(yuǎn)，善于利用身邊的云

計(jì)算服務(wù)（如云盤(pán)和云應(yīng)用等）可使工作和生

活

更加

便捷。走進(jìn)云計(jì)算1、云計(jì)算經(jīng)歷了電廠模式、效用計(jì)算、網(wǎng)格計(jì)算

和云計(jì)算4個(gè)階段。感謝觀看THANKS云計(jì)算導(dǎo)論主講老師：云計(jì)算基礎(chǔ)第二章云計(jì)算基礎(chǔ)“沒(méi)有規(guī)矩，不成方圓”。云計(jì)算作為一個(gè)龐大且復(fù)雜的系統(tǒng)，要使其科學(xué)高效地實(shí)施與運(yùn)轉(zhuǎn)，必須設(shè)計(jì)與之相匹配的規(guī)則和模型。本章將依次介紹云計(jì)算系統(tǒng)架構(gòu)參考模型、云計(jì)算服務(wù)模型和云計(jì)算服務(wù)部署模式。本章導(dǎo)讀學(xué)習(xí)目標(biāo)了解NIST云計(jì)算參考架構(gòu)。理解云計(jì)算“四層兩域”模型。掌握云計(jì)算服務(wù)模型。熟悉云計(jì)算服務(wù)部署模式。認(rèn)識(shí)Docker容器引擎。2.1云計(jì)算系統(tǒng)架構(gòu)參考模型2.2云計(jì)算服務(wù)模型2.3云計(jì)算服務(wù)部署模式2.4實(shí)例-Docker容器云計(jì)算系統(tǒng)架構(gòu)參考模型

云計(jì)算是一個(gè)規(guī)模龐大的系統(tǒng)，為了更好地描述、應(yīng)用和管理該系統(tǒng)，在設(shè)計(jì)系統(tǒng)時(shí)就應(yīng)建立一套完整且科學(xué)的規(guī)則體系，即云計(jì)算系統(tǒng)架構(gòu)。

在云計(jì)算的發(fā)展和標(biāo)準(zhǔn)化過(guò)程中，許多機(jī)構(gòu)和廠商都根據(jù)自身優(yōu)勢(shì)和云計(jì)算服務(wù)的建設(shè)重點(diǎn)提出了云計(jì)算系統(tǒng)架構(gòu)，如NIST云計(jì)算參考架構(gòu)、“四層兩域”模型、亞馬遜AWS云計(jì)算系統(tǒng)架構(gòu)、阿里云“飛天”架構(gòu)、移動(dòng)“大云”系統(tǒng)架構(gòu)等。下面重點(diǎn)介紹NIST云計(jì)算參考架構(gòu)和“四層兩域”模型。2.1云計(jì)算系統(tǒng)架構(gòu)參考模型云計(jì)算系統(tǒng)架構(gòu)參考模型2.1.1NIST云計(jì)算參考架構(gòu)作為云計(jì)算定義的延伸，NIST在其2011年發(fā)布的《特別出版物500-292：NIST云計(jì)算參考架構(gòu)》技術(shù)報(bào)告中提出了NIST云計(jì)算參考架構(gòu)。

云消費(fèi)者（cloudcustomer）

云審核員（cloudauditor）

云提供商（cloudprovider）

云代理商（cloudbroker）

云承載者（cloudcarrier）2.1.1NIST云計(jì)算參考架構(gòu)云計(jì)算參考架構(gòu)云計(jì)算系統(tǒng)架構(gòu)參考模型2.1.1NIST云計(jì)算參考架構(gòu)云計(jì)算系統(tǒng)架構(gòu)參考模型角色職責(zé)云消費(fèi)者

與云提供商保持業(yè)務(wù)關(guān)系，并使用云提供商提供的云計(jì)算服務(wù)的個(gè)人或組織云審核員

能夠?qū)υ朴?jì)算服務(wù)、信息系統(tǒng)操作、性能和安全性進(jìn)行獨(dú)立評(píng)估的中立機(jī)構(gòu)云提供商

負(fù)責(zé)向云消費(fèi)者提供云計(jì)算服務(wù)的個(gè)人、組織或?qū)嶓w云代理商

對(duì)云計(jì)算服務(wù)的使用、性能及交付進(jìn)行管理，并協(xié)調(diào)云提供商和云消費(fèi)者之間

關(guān)系的實(shí)體云承載者

在云提供商和云消費(fèi)者之間提供云計(jì)算服務(wù)的連接和傳輸?shù)闹薪镹IST云計(jì)算參考架構(gòu)中各角色的職責(zé)2.1.1NIST云計(jì)算參考架構(gòu)云計(jì)算系統(tǒng)架構(gòu)參考模型NIST云計(jì)算參考架構(gòu)中各角色的交互關(guān)系云承載者為整個(gè)云計(jì)算系統(tǒng)提供技術(shù)

支持和實(shí)現(xiàn)途徑.云提供商為云消費(fèi)者提供云計(jì)算服務(wù)。云消費(fèi)者可直接向云提供商或通過(guò)云

代理商申請(qǐng)?jiān)朴?jì)算服務(wù)。云代理商可作為云消費(fèi)者和云提供商

之間的媒介。云審核員為第三方獨(dú)立審核機(jī)構(gòu)，可

對(duì)云提供商或代理商提供的云計(jì)算服

務(wù)進(jìn)行獨(dú)立審核（包括服務(wù)安全性、

隱私性和性能等），并將審核結(jié)果反

饋給云消費(fèi)者、云提供商和云代理商。2.1.2”四層兩域“模型

“四層兩域”

模型，是一套較具有概括性的云計(jì)算系統(tǒng)架構(gòu)參考模型。

“四層”是指基礎(chǔ)設(shè)施層、資源層、平臺(tái)層和應(yīng)用層。

“兩域”則是指服務(wù)域和管理域。云計(jì)算系統(tǒng)架構(gòu)參考模型2.1.2”四層兩域“模型云計(jì)算系統(tǒng)架構(gòu)參考模型基礎(chǔ)設(shè)施層

基礎(chǔ)設(shè)施層的作用是對(duì)數(shù)據(jù)中心、操作系統(tǒng)和服務(wù)器等軟硬件設(shè)施進(jìn)行管理，為服務(wù)域內(nèi)的其他層提供基礎(chǔ)設(shè)施資源支持。資源層資源層即基礎(chǔ)設(shè)施經(jīng)過(guò)虛擬化后形成的IT資源池。平臺(tái)層是鏈接應(yīng)用層和資源層的中間層。應(yīng)用層

應(yīng)用層直接面向客戶的需求，通常采用友好的交互界面，以向云消費(fèi)者提供高度集成化的軟件云服務(wù)。平臺(tái)層2.1.2”四層兩域“模型云計(jì)算系統(tǒng)架構(gòu)參考模型服務(wù)域

服務(wù)域由基礎(chǔ)設(shè)施層、資源層、平臺(tái)層和應(yīng)用層共同構(gòu)成，它主要是面向云計(jì)算系統(tǒng)的用戶提供資源服務(wù)、平臺(tái)資源調(diào)用服務(wù)和應(yīng)用服務(wù)等。管理域

管理域的管理對(duì)象是服務(wù)域，無(wú)論是服務(wù)域的各層還是整個(gè)服務(wù)域，管理域均有相應(yīng)的管理方法。資源管理運(yùn)營(yíng)管理

資源管理主要是對(duì)底層資源及其虛擬化資源池的正常運(yùn)行和安全性等方面的管理，包括資源監(jiān)控、調(diào)配、優(yōu)化和報(bào)警等。

運(yùn)營(yíng)管理是管理域?qū)⒎?wù)域各層提供的服務(wù)作為商品出售給用戶，使云計(jì)算服務(wù)更加商業(yè)化。2.1云計(jì)算服務(wù)模型2.2云計(jì)算系統(tǒng)架構(gòu)參考模型2.3云計(jì)算服務(wù)部署模式2.4實(shí)例-Docker容器2.2云計(jì)算服務(wù)模型云計(jì)算服務(wù)模型云計(jì)算云計(jì)算是一種通過(guò)出售服務(wù)盈利的商業(yè)模式，具有一套完整的業(yè)務(wù)交付系統(tǒng)，即云計(jì)算服務(wù)模型?；A(chǔ)設(shè)施即服務(wù)（InfrastructureasaService，IaaS）平臺(tái)即服務(wù)（PlatformasaService，PaaS）軟件即服務(wù)（SoftwareasaService，SaaS）數(shù)據(jù)即服務(wù)（DataasaService，DaaS）容器即服務(wù)（ContainerasaService，CaaS）2.2.1基礎(chǔ)設(shè)施即服務(wù)基礎(chǔ)設(shè)施即服務(wù)：

簡(jiǎn)稱IaaS，它是一種將服務(wù)器、存儲(chǔ)器、網(wǎng)絡(luò)、

設(shè)備等IT基礎(chǔ)設(shè)施虛擬化，并通過(guò)Internet租給用戶的云計(jì)算服務(wù)模型。云計(jì)算服務(wù)模型2.2.1基礎(chǔ)設(shè)施即服務(wù)云計(jì)算服務(wù)模型使用靈活01運(yùn)維成本低。02自助服務(wù)。03計(jì)費(fèi)透明。04可靠性高。05IaaS云服務(wù)特點(diǎn)2.2.2平臺(tái)即服務(wù)平臺(tái)即服務(wù)：

簡(jiǎn)稱PaaS，它是指將應(yīng)用的開(kāi)發(fā)、管理和運(yùn)行環(huán)境集成并打包為按需付費(fèi)的服務(wù)后，通過(guò)Internet租給用戶的云計(jì)算服務(wù)模型。云計(jì)算服務(wù)模型2.2.2平臺(tái)即服務(wù)云計(jì)算服務(wù)模型部署開(kāi)發(fā)環(huán)境簡(jiǎn)單

代碼實(shí)時(shí)托管服務(wù)豐富維護(hù)方便著名的PaaS云服務(wù)包括GoogleAppEngine、MicrosoftAzure和SaleforcePlatform。2.2.3軟件即服務(wù)軟件即服務(wù)：

軟件即服務(wù)簡(jiǎn)稱SaaS，它是指將開(kāi)發(fā)好的軟件系統(tǒng)作為按需付費(fèi)的服務(wù)，并通過(guò)Internet提供給用戶的云計(jì)算服務(wù)模型。云計(jì)算服務(wù)模型2.2.3軟件即服務(wù)云計(jì)算服務(wù)模型值得注意的是，PaaS提供的云應(yīng)用程序開(kāi)發(fā)平臺(tái)也可看作是一種軟件，因此也可以說(shuō)，PaaS是SaaS的一種特殊形式。SaaS可基于PaaS構(gòu)建，也可直接構(gòu)建在IaaS上。對(duì)于個(gè)人用戶而言，用戶不再需要支付昂貴的軟件購(gòu)買(mǎi)費(fèi)用，也不再需要為終端設(shè)備配置高性能的硬件，只需將其聯(lián)網(wǎng)，即可通過(guò)瀏覽器使用SaaS云服務(wù)。這樣，不僅降低了用戶使用SaaS云服務(wù)的成本，還提高了靈活性。對(duì)于企業(yè)用戶而言，由于SaaS云服務(wù)一般是由大型云計(jì)算服務(wù)提供商提供的，因此會(huì)對(duì)軟件進(jìn)行統(tǒng)一管理、升級(jí)和維護(hù)，這意味著企業(yè)用戶可以在最大限度降低成本的同時(shí)享受高質(zhì)量的軟件托管服務(wù)，且其數(shù)據(jù)安全性也有了很好的保障。2.2.4其他云計(jì)算服務(wù)模型云計(jì)算服務(wù)模型一切皆為服務(wù)數(shù)據(jù)即服務(wù)網(wǎng)絡(luò)即服務(wù)容器即服務(wù)2.2.4其他云計(jì)算服務(wù)模型云計(jì)算服務(wù)模型1、數(shù)據(jù)即服務(wù)

數(shù)據(jù)即服務(wù)簡(jiǎn)稱DaaS，它可在保證數(shù)據(jù)安全性的前提下，以云計(jì)算為基礎(chǔ)設(shè)施，以大數(shù)據(jù)為載體，通過(guò)對(duì)大數(shù)據(jù)進(jìn)行整合、存儲(chǔ)和計(jì)算，實(shí)現(xiàn)數(shù)據(jù)挖掘、分析和優(yōu)化的自動(dòng)化處理，并通過(guò)Internet將這種自動(dòng)化處理作為一種云服務(wù)提供給用戶。由于DaaS云服務(wù)多以應(yīng)用程序接口（applicationprogramminginterface，API）的形式提供給用戶使用，因此，DaaS可看作是SaaS的特殊形式。2.2.4其他云計(jì)算服務(wù)模型云計(jì)算服務(wù)模型2、容器即服務(wù)容器即服務(wù)簡(jiǎn)稱CaaS，它是指云計(jì)算服務(wù)提供商將基于容器的應(yīng)用開(kāi)發(fā)平臺(tái)作為服務(wù)提供給用戶，用戶可通過(guò)Web或API使用此類(lèi)服務(wù)并按需付費(fèi)。容器技術(shù)是一種輕量級(jí)虛擬化技術(shù)，它可將應(yīng)用程序和其依賴的開(kāi)發(fā)環(huán)境打包為統(tǒng)一格式的鏡像文件，使其可在不同環(huán)境（如安裝不同操作系統(tǒng)的實(shí)體機(jī)、虛擬機(jī)、公有云和私有云等）下進(jìn)行自由遷移。2.12.2云計(jì)算系統(tǒng)架構(gòu)參考模型2.3云計(jì)算服務(wù)模型2.4實(shí)例-Docker容器云計(jì)算服務(wù)部署模式2.3云計(jì)算服務(wù)部署模式云計(jì)算服務(wù)部署模式公有云私有云社區(qū)云NIST混合云2.3.1公有云公有云（publiccloud）是云服務(wù)提供商對(duì)外提供的公共云服務(wù)部署模式。云計(jì)算服務(wù)部署模式2.3.2私有云私有云（privatecloud）是指某企業(yè)或組織專(zhuān)屬的云服務(wù)部署模式，私有云擁有者對(duì)私有云具有完全的訪問(wèn)和控制權(quán)限，而未授權(quán)的用戶則無(wú)法獲取私有云的任何信息，更無(wú)法使用私有云提供的任何服務(wù)。本地私有云本地私有云是指基礎(chǔ)設(shè)施和組織架構(gòu)均由企業(yè)自行搭建和維護(hù)的私有云。外包私有云外包私有云是指由第三方云服務(wù)提供商為企業(yè)搭建和維護(hù)的私有云。云計(jì)算服務(wù)部署模式2.3.2私有云本地私有云云計(jì)算服務(wù)部署模式2.3.2私有云外包私有云云計(jì)算服務(wù)部署模式2.3.3社區(qū)云社區(qū)云（communitycloud）是面向某社區(qū)中所有成員的云服務(wù)部署模式?！吧鐓^(qū)”是指由一組云消費(fèi)者組成的集體，社區(qū)中的各成員共同制定了安全和隱私政策并統(tǒng)一遵守。與私有云類(lèi)似，社區(qū)云僅對(duì)社區(qū)內(nèi)的各成員開(kāi)放，且也分為本地社區(qū)云和外包社區(qū)云兩種。兩者的區(qū)別在于，私有云的服務(wù)對(duì)象是單個(gè)云消費(fèi)者，而社區(qū)云的服務(wù)對(duì)象則是一組云消費(fèi)者。云計(jì)算服務(wù)部署模式2.3.4混合云混合云（hybridcloud）是指包含兩個(gè)或多個(gè)不同的云計(jì)算服務(wù)部署模式（公有云、私有云或社區(qū)云）組成的云服務(wù)獲取平臺(tái)，它并不是上述云的簡(jiǎn)單組合，而是云服務(wù)提供商根據(jù)企業(yè)實(shí)際情況定制的個(gè)性化云計(jì)算服務(wù)部署模式。云計(jì)算服務(wù)部署模式2.12.2云計(jì)算系統(tǒng)架構(gòu)參考模型2.3云計(jì)算服務(wù)模型2.4云計(jì)算服務(wù)部署模式實(shí)例-Docker容器實(shí)例-Docker容器2.4.1Docker簡(jiǎn)介Docker是由dotCloud公司（后更名為Docker公司）推出的世界領(lǐng)先的容器引擎和平臺(tái)，它基于Linux內(nèi)核，使用Google公司的Go語(yǔ)言開(kāi)發(fā)，可實(shí)現(xiàn)操作系統(tǒng)級(jí)的輕量級(jí)虛擬化。Docker的核心思想是將各種應(yīng)用程序及其依賴環(huán)境打包為標(biāo)準(zhǔn)的容器，該標(biāo)準(zhǔn)容器可在任何安裝了Docker的操作系統(tǒng)上運(yùn)行。換句話說(shuō)，Docker就如同應(yīng)用程序的“集裝箱”。croDke實(shí)例-Docker容器2.4.1Docker簡(jiǎn)介應(yīng)用程序的”集裝箱“實(shí)例-Docker容器2.4.1Docker簡(jiǎn)介倉(cāng)庫(kù)（repository）核心組件倉(cāng)庫(kù)用于存放鏡像，一般為遠(yuǎn)端鏡像服務(wù)器，用戶可通過(guò)Internet從倉(cāng)庫(kù)中獲取鏡像（此過(guò)程稱為“pull”），也可在制作鏡像后將其保存到倉(cāng)庫(kù)中（此過(guò)程稱為“push”）。鏡像是某應(yīng)用程序及其開(kāi)發(fā)環(huán)境的打包文件，而容器是鏡像的實(shí)例化，兩者的關(guān)系可比作面向?qū)ο缶幊趟枷胫械念?lèi)和對(duì)象，鏡像是一個(gè)靜態(tài)的只讀（read-only）模板（好比類(lèi)），當(dāng)執(zhí)行（run）這個(gè)模板時(shí)，就創(chuàng)建了一個(gè)容器（好比對(duì)象），容器進(jìn)行運(yùn)行、停止、移動(dòng)和刪除等操作時(shí)，鏡像本身不受影響，運(yùn)行著的容器也可在當(dāng)前狀態(tài)進(jìn)行提交，形成另一個(gè)獨(dú)立的鏡像。

鏡像（image）和容器（container）實(shí)例-Docker容器2.4.1Docker簡(jiǎn)介Docker倉(cāng)庫(kù)、鏡像和容器的關(guān)系實(shí)例-Docker容器2.4.2安裝DockerDocker是基于Linux系統(tǒng)設(shè)計(jì)的，因此Linux系統(tǒng)對(duì)Docker的支持最好。經(jīng)過(guò)不斷發(fā)展，Docker已擁有了Windows、Linux和macOS操作系統(tǒng)的版本。1、啟用Hyper-V虛擬機(jī)2．安裝DockerDesktopforWindows3．運(yùn)行一個(gè)Docker容器安裝Docker具體步驟詳見(jiàn)P32本章小結(jié)cloudcomputing2、云計(jì)算服務(wù)模型包括基礎(chǔ)設(shè)施即服務(wù)

（IaaS）、平臺(tái)即服務(wù)（PaaS）和軟件即

服務(wù)（SaaS）。近年來(lái)隨著云計(jì)算服務(wù)內(nèi)

涵的不斷豐富，又提出了“一切皆為服務(wù)

（XaaS）”的概念。3、云計(jì)算服務(wù)的部署模式可分為公有云、私

有云、社區(qū)云和混合云4種。云計(jì)算基礎(chǔ)1、不同組織、廠商均推出過(guò)云計(jì)算系統(tǒng)參考

架構(gòu)，如NIST云計(jì)算參考架構(gòu)、“四層兩

域”模型、亞馬遜AWS云計(jì)算系統(tǒng)架構(gòu)、

阿里云“飛天”架構(gòu)、移動(dòng)“大云”系統(tǒng)

架構(gòu)等。其中，“四層兩域”模型是業(yè)界

目前較具有概括性的云計(jì)算系統(tǒng)參考架構(gòu)。感謝觀看THANKS云計(jì)算導(dǎo)論主講老師：云計(jì)算中的數(shù)據(jù)處理技術(shù)第三章云計(jì)算中的數(shù)據(jù)處理技術(shù)

數(shù)據(jù)處理一直是計(jì)算機(jī)科學(xué)研究的重要課題。作為一個(gè)復(fù)雜的系統(tǒng)，云計(jì)算系統(tǒng)的發(fā)展過(guò)程就是其數(shù)據(jù)處理技術(shù)不斷完善和進(jìn)步的過(guò)程。本章導(dǎo)讀學(xué)習(xí)目標(biāo)了解大數(shù)據(jù)的概念及其與云計(jì)算的關(guān)系。理解分布式系統(tǒng)的概念。理解分布式數(shù)據(jù)存儲(chǔ)的概念及為其提供技術(shù)支持的分布式文件系統(tǒng)。理解并行編程技術(shù)。了解數(shù)據(jù)管理技術(shù)。認(rèn)識(shí)ApacheHadoop項(xiàng)目。3.1云計(jì)算與大數(shù)據(jù)3.2分布式數(shù)據(jù)存儲(chǔ)3.3并行編程技術(shù)3.5實(shí)例-ApacheHadoop項(xiàng)目3.4數(shù)據(jù)管理技術(shù)云計(jì)算與大數(shù)據(jù)

大數(shù)據(jù)（bigdata）也稱海量數(shù)據(jù)或巨量數(shù)據(jù)，是指數(shù)據(jù)量大到無(wú)法利用傳統(tǒng)的數(shù)據(jù)處理技術(shù)在合理的時(shí)間內(nèi)獲取、存儲(chǔ)、管理和分析的數(shù)據(jù)集合。“大數(shù)據(jù)”一詞除用于描述信息時(shí)代產(chǎn)生的海量數(shù)據(jù)外，也可用于指代與之相關(guān)的技術(shù)、創(chuàng)新與應(yīng)用3.1.1什么是大數(shù)據(jù)海量的數(shù)據(jù)規(guī)模（volume）快速的數(shù)據(jù)流轉(zhuǎn)（velocity）多樣的數(shù)據(jù)類(lèi)型（variety）較低的價(jià)值密度（value）4V特征大數(shù)據(jù)技術(shù)是指用非傳統(tǒng)的方式對(duì)大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，以挖掘出數(shù)據(jù)中蘊(yùn)含的價(jià)值的技術(shù)。根據(jù)數(shù)據(jù)的處理流程，可以將大數(shù)據(jù)的關(guān)鍵技術(shù)分為：數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)與管理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)可視化等。云計(jì)算與大數(shù)據(jù)3.1.1什么是大數(shù)據(jù)數(shù)據(jù)采集

數(shù)據(jù)采集就是將網(wǎng)絡(luò)上各種來(lái)源的數(shù)據(jù)寫(xiě)入數(shù)據(jù)倉(cāng)庫(kù)，并整合在一起，以便對(duì)數(shù)據(jù)進(jìn)行綜合分析。數(shù)據(jù)采集包括網(wǎng)絡(luò)日志采集、網(wǎng)絡(luò)文件采集（提取網(wǎng)頁(yè)中的圖片、文本等）、關(guān)系型數(shù)據(jù)庫(kù)的接入等，常用的工具有Flume、Kafka、Sqoop等。云計(jì)算與大數(shù)據(jù)3.1.1什么是大數(shù)據(jù)數(shù)據(jù)存儲(chǔ)與管理數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理是指將雜亂無(wú)章的數(shù)據(jù)轉(zhuǎn)化為相對(duì)單一且便于處理的結(jié)構(gòu)（數(shù)據(jù)抽取），或者去除沒(méi)有價(jià)值甚至可能對(duì)分析造成干擾的數(shù)據(jù)（數(shù)據(jù)清洗），從而為后期的數(shù)據(jù)分析奠定基礎(chǔ)。

數(shù)據(jù)存儲(chǔ)是指用存儲(chǔ)器把采集到的數(shù)據(jù)存儲(chǔ)起來(lái)，并建立相應(yīng)的文件系統(tǒng)和數(shù)據(jù)庫(kù)，以便對(duì)數(shù)據(jù)進(jìn)行管理和調(diào)用。云計(jì)算與大數(shù)據(jù)3.1.1什么是大數(shù)據(jù)數(shù)據(jù)分析與挖掘

數(shù)據(jù)分析與挖掘是指通過(guò)各種算法從大量的數(shù)據(jù)中找出潛在的有用信息，并研究數(shù)據(jù)的內(nèi)在規(guī)律和相互之間的關(guān)系。常用的數(shù)據(jù)分析與挖掘技術(shù)包括批處理、流處理、實(shí)時(shí)處理和交互處理等技術(shù)名稱技術(shù)實(shí)例特

點(diǎn)應(yīng)用案例批處理Hadoop分布式高速計(jì)算和存儲(chǔ)社交網(wǎng)絡(luò)、推薦系統(tǒng)流處理Storm低時(shí)延，高響應(yīng)圖像處理、社交媒體實(shí)時(shí)處理Spark低延遲計(jì)算視頻分析、實(shí)時(shí)廣告交互處理Dremel快速處理PB級(jí)海量數(shù)據(jù)電商平臺(tái)云計(jì)算與大數(shù)據(jù)3.1.1什么是大數(shù)據(jù)數(shù)據(jù)可視化

數(shù)據(jù)可視化是指利用可視化手段對(duì)數(shù)據(jù)進(jìn)行分析，并將分析結(jié)果用圖表或文字等形式展現(xiàn)出來(lái)，從而使讀者對(duì)數(shù)據(jù)的分布、發(fā)展趨勢(shì)、相關(guān)性和統(tǒng)計(jì)信息等一目了然云計(jì)算與大數(shù)據(jù)3.1.2云計(jì)算與大數(shù)據(jù)的關(guān)系

作為引領(lǐng)未來(lái)技術(shù)變革的兩項(xiàng)關(guān)鍵技術(shù)，云計(jì)算與大數(shù)據(jù)既緊密相連，又相互區(qū)別。從整體上看，兩者是相輔相成的。一方面，云計(jì)算為大數(shù)據(jù)提供了技術(shù)支持和實(shí)現(xiàn)途徑；另一方面，大數(shù)據(jù)讓云計(jì)算更有價(jià)值，并推動(dòng)著云計(jì)算相關(guān)技術(shù)的不斷更新和完善。服務(wù)領(lǐng)域相同。云計(jì)算與大數(shù)據(jù)的聯(lián)系關(guān)鍵技術(shù)相同。云計(jì)算與大數(shù)據(jù)3.1.2云計(jì)算與大數(shù)據(jù)的關(guān)系云計(jì)算與大數(shù)據(jù)的區(qū)別處理對(duì)象不同。目的不同。產(chǎn)生的背景不同。35推動(dòng)力不同。421帶來(lái)的價(jià)值不同。3.13.2云計(jì)算與大數(shù)據(jù)3.3并行編程技術(shù)3.5實(shí)例-ApacheHadoop項(xiàng)目3.4數(shù)據(jù)管理技術(shù)分布式數(shù)據(jù)存儲(chǔ)3.2分布式數(shù)據(jù)存儲(chǔ)分布式數(shù)據(jù)存儲(chǔ)

云計(jì)算最主要的特征是擁有大規(guī)模的數(shù)據(jù)集，基于該數(shù)據(jù)集向用戶提供服務(wù)。為了保證高可用性、高可靠性和經(jīng)濟(jì)性，云計(jì)算采用了分布式數(shù)據(jù)存儲(chǔ)方式。存儲(chǔ)3.2.1分布式系統(tǒng)分布式數(shù)據(jù)存儲(chǔ)

分布式系統(tǒng)（distributedsystem）是指一組通過(guò)網(wǎng)絡(luò)連接的計(jì)算機(jī)及其軟件系統(tǒng)，這些計(jì)算機(jī)的耦合度較低，相互之間協(xié)調(diào)工作以實(shí)現(xiàn)整體負(fù)載均衡。3.2.1分布式系統(tǒng)分布式數(shù)據(jù)存儲(chǔ)升級(jí)性能

的方法

縱向擴(kuò)展是指升級(jí)當(dāng)前集中式系統(tǒng)中的主機(jī)，其優(yōu)勢(shì)是數(shù)據(jù)備份和恢復(fù)簡(jiǎn)單、部署方便、安全性高、穩(wěn)定性好、維護(hù)成本低；

橫向擴(kuò)展是指增加主機(jī)數(shù)量，將各主機(jī)通過(guò)網(wǎng)絡(luò)連接組成分布式系統(tǒng)，共同存儲(chǔ)數(shù)據(jù)和處理任務(wù)。縱向擴(kuò)展橫向擴(kuò)展分布式數(shù)據(jù)存儲(chǔ)

分布式數(shù)據(jù)存儲(chǔ)即利用分布式系統(tǒng)來(lái)存儲(chǔ)數(shù)據(jù)，而用于存儲(chǔ)數(shù)據(jù)的分布式系統(tǒng)也稱為分布式存儲(chǔ)系統(tǒng)（distributedstoragesystem）。3.2.2分布式存儲(chǔ)系統(tǒng)@SMS3.2.2分布式存儲(chǔ)系統(tǒng)分布式數(shù)據(jù)存儲(chǔ)低成本高

性

能可

擴(kuò)

展易

用

性自

治

性3.2.3分布式數(shù)據(jù)存儲(chǔ)技術(shù)分布式數(shù)據(jù)存儲(chǔ)

為分布式數(shù)據(jù)存儲(chǔ)提供技術(shù)支持的是分布式文件系統(tǒng)（distributedfilesystem）。分布式文件系統(tǒng)又稱集群文件系統(tǒng)，它是由分布式存儲(chǔ)系統(tǒng)中多個(gè)節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)共同組建和共享的文件系統(tǒng)。3.2.3分布式數(shù)據(jù)存儲(chǔ)技術(shù)分布式數(shù)據(jù)存儲(chǔ)GFS是谷歌公司設(shè)計(jì)并開(kāi)發(fā)的大型分布式文件系統(tǒng)，它是通過(guò)廉價(jià)設(shè)備進(jìn)行大規(guī)模數(shù)據(jù)存儲(chǔ)的解決方案，與MapReduce并行編程模型及Bigtable分布式數(shù)據(jù)庫(kù)共同構(gòu)成了谷歌公司云計(jì)算的技術(shù)體系，并合稱為拉動(dòng)谷歌公司海量數(shù)據(jù)處理和搜索引擎等服務(wù)的“三駕馬車(chē)”。GFS采用了客戶機(jī)/服務(wù)器的設(shè)計(jì)模式。一個(gè)GFS由一個(gè)主控服務(wù)器（masterserver）和若干數(shù)據(jù)塊服務(wù)器（chunkserver）組成，并供許多GFS客戶端（GFSclient）訪問(wèn)，如圖3-2所示。系統(tǒng)中的元數(shù)據(jù)以數(shù)據(jù)分片的形式存儲(chǔ)在數(shù)據(jù)塊服務(wù)器中，數(shù)據(jù)塊服務(wù)器越多，能存儲(chǔ)的數(shù)據(jù)總量越大，因此數(shù)據(jù)塊服務(wù)器的數(shù)量往往決定了整個(gè)GFS的規(guī)模。主控服務(wù)器是整個(gè)GFS的核心，它存儲(chǔ)著系統(tǒng)中所有元數(shù)據(jù)的信息（如創(chuàng)建時(shí)間、索引等）?？蛻舳嗽L問(wèn)系統(tǒng)文件時(shí)，必須向主控服務(wù)器發(fā)送請(qǐng)求，主控服務(wù)器返回給客戶端要與之交互的數(shù)據(jù)塊服務(wù)器信息，然后客戶端直接訪問(wèn)這些數(shù)據(jù)塊服務(wù)器完成數(shù)據(jù)的存取。3.2.3分布式數(shù)據(jù)存儲(chǔ)技術(shù)分布式數(shù)據(jù)存儲(chǔ)GFS的系統(tǒng)架構(gòu)3.13.2云計(jì)算與大數(shù)據(jù)3.3分布式數(shù)據(jù)存儲(chǔ)3.5實(shí)例-ApacheHadoop項(xiàng)目3.4數(shù)據(jù)管理技術(shù)并行編程技術(shù)3.3并行編程技術(shù)并行編程技術(shù)

并行編程（parallelprogramming）也稱并行程序設(shè)計(jì)、平行編程，是針對(duì)并行計(jì)算的程序設(shè)計(jì)方法，在云計(jì)算領(lǐng)域，并行編程則是指對(duì)分布式并行計(jì)算進(jìn)行程序設(shè)計(jì)。3.3.1分布式并行計(jì)算并行編程技術(shù)分布式計(jì)算

分布式計(jì)算（distributedcomputing）是一種計(jì)算方法，是與集中式計(jì)算相對(duì)的概念。它可以將大任務(wù)拆分成許多小任務(wù)，然后把這些任務(wù)派發(fā)給多臺(tái)計(jì)算機(jī)進(jìn)行計(jì)算，最后將所有的計(jì)算結(jié)果進(jìn)行匯總，以得到最終結(jié)果。1．分布式計(jì)算2．并行計(jì)算3.3.1分布式并行計(jì)算并行編程技術(shù)并行計(jì)算

并行計(jì)算（parallelcomputing）又稱平行計(jì)算，是相對(duì)于串行計(jì)算來(lái)說(shuō)的。它是一種允許讓多條指令以平行的方式同時(shí)進(jìn)行計(jì)算的模式，存在時(shí)間并行和空間并行兩種方式。1．分布式計(jì)算2．并行計(jì)算3.3.2MapReduce并行編程模型并行編程技術(shù)MapReduce并行編程模型（以下簡(jiǎn)稱模型）是一個(gè)針對(duì)大規(guī)模集群中的分布式文件進(jìn)行并行處理的計(jì)算模型。MapReduce模型中的“Map”和“Reduce”的設(shè)計(jì)靈感受到了函數(shù)式編程中的Map()和Reduce()兩個(gè)功能函數(shù)的啟發(fā)。在MapReduce模型中，“Map”意為“映射”，是指將一個(gè)大任務(wù)分割為多個(gè)小任務(wù)，以便對(duì)這些小任務(wù)進(jìn)行并行計(jì)算；“Reduce”意為“歸約”，是指將并行計(jì)算后得到的結(jié)果進(jìn)行匯總。因此，可以說(shuō)，“Map”和“Reduce”就是MapReduce模型的核心思想的最好詮釋。MR3.3.2MapReduce并行編程模型并行編程技術(shù)MapReduce模型的大致執(zhí)行過(guò)程輸入Input分解Split映射Map重排Shuffle歸約Reduce輸出Finalize3.3.2MapReduce并行編程模型并行編程技術(shù)使用MapReduce模型建立倒排索引3.13.2云計(jì)算與大數(shù)據(jù)3.3分布式數(shù)據(jù)存儲(chǔ)3.5實(shí)例-ApacheHadoop項(xiàng)目3.4并行編程技術(shù)數(shù)據(jù)管理技術(shù)3.4數(shù)據(jù)管理技術(shù)數(shù)據(jù)管理技術(shù)

云計(jì)算的特點(diǎn)是對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)和分析，這要求云計(jì)算的數(shù)據(jù)管理系統(tǒng)必須支持海量數(shù)據(jù)的高速存儲(chǔ)（hugestorage）、高頻的并行讀寫(xiě)和并發(fā)訪問(wèn)（highperformance）、快速的橫向擴(kuò)展（highscalability）和高可用性（highavailability）。

傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)無(wú)法滿足云計(jì)算的數(shù)據(jù)管理需求，因此，人們提出了“NoSQL數(shù)據(jù)庫(kù)”的概念。3.4數(shù)據(jù)管理技術(shù)數(shù)據(jù)管理技術(shù)

關(guān)系型數(shù)據(jù)庫(kù)（relationaldatabase）是指采用關(guān)系模型組織和存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)，關(guān)系模型可將實(shí)體數(shù)據(jù)抽象為邏輯關(guān)系，并存儲(chǔ)在由行和列組成的二維表格中。表格中的數(shù)據(jù)稱為行數(shù)據(jù)或結(jié)構(gòu)化數(shù)據(jù)，它們遵循嚴(yán)格的存儲(chǔ)規(guī)范（如數(shù)據(jù)格式和長(zhǎng)度規(guī)范等），用戶可通過(guò)結(jié)構(gòu)化查詢語(yǔ)言（structuredquerylanguage，SQL）對(duì)數(shù)據(jù)進(jìn)行查詢、控制和定義等操作。由于關(guān)系型數(shù)據(jù)庫(kù)普遍使用SQL作為查詢語(yǔ)言，因此SQL數(shù)據(jù)庫(kù)逐漸成為了關(guān)系型數(shù)據(jù)庫(kù)的代名詞。3.4.1NoSQL數(shù)據(jù)庫(kù)概述數(shù)據(jù)管理技術(shù)NoSQL數(shù)據(jù)庫(kù)采用了松耦合的數(shù)據(jù)存儲(chǔ)模式，它不再使用關(guān)系模型作為數(shù)據(jù)存儲(chǔ)模型（故NoSQL也稱為“非關(guān)系型數(shù)據(jù)庫(kù)”），數(shù)據(jù)不必存儲(chǔ)在行列分明的二維表格中，也無(wú)須遵循嚴(yán)格的存儲(chǔ)規(guī)范，開(kāi)發(fā)人員可自行制定存儲(chǔ)規(guī)范。3.4.1NoSQL數(shù)據(jù)庫(kù)概述數(shù)據(jù)管理技術(shù)NoSQL

數(shù)

據(jù)

庫(kù)

的

常

用

存

儲(chǔ)

模

式

在數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)單位稱為“值（value）”，每個(gè)值均有與之相匹配的“鍵（key）”，通過(guò)“鍵”可迅速查找到“值”.原理鍵值映射

查找速度較快，但數(shù)據(jù)庫(kù)整體的存儲(chǔ)結(jié)構(gòu)較混亂特性

線上多媒體或社交平臺(tái)（如Youtube、Instagram）適用場(chǎng)景Redis、Riak、AWSDynamoDB代表產(chǎn)品3.4.1NoSQL數(shù)據(jù)庫(kù)概述數(shù)據(jù)管理技術(shù)NoSQL

數(shù)

據(jù)

庫(kù)

的

常

用

存

儲(chǔ)

模

式

可看作SQL數(shù)據(jù)庫(kù)中表的擴(kuò)展，表中仍存在鍵，但鍵不再指向某一列，而是若干列，稱為列族或列簇。原理列族

相關(guān)數(shù)據(jù)可存放在一起，查找和擴(kuò)展方便。特性博客平臺(tái)

（如Facebook）適用場(chǎng)景HbaseCassandra代表產(chǎn)品3.4.1NoSQL數(shù)據(jù)庫(kù)概述數(shù)據(jù)管理技術(shù)NoSQL

數(shù)

據(jù)

庫(kù)

的

常

用

存

儲(chǔ)

模

式

也可看作一種鍵值映射。一個(gè)文檔即為數(shù)據(jù)庫(kù)的最小存儲(chǔ)單位，每個(gè)文檔本身即為“值”，且均具有與之對(duì)應(yīng)的“鍵”（如文檔標(biāo)題、哈希值等）以便于查找文檔.文檔

文檔查找速度快，數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)結(jié)構(gòu)和存儲(chǔ)規(guī)范要求不嚴(yán)格。特性企業(yè)日志（如SAP）適用場(chǎng)景MongoDBRavenDB代表產(chǎn)品原理3.4.1NoSQL數(shù)據(jù)庫(kù)概述數(shù)據(jù)管理技術(shù)NoSQL

數(shù)

據(jù)

庫(kù)

的

常

用

存

儲(chǔ)

模

式

使用了最短路徑尋址、N度關(guān)系查詢等圖結(jié)構(gòu)算法，以圖存儲(chǔ)為核心的數(shù)據(jù)庫(kù)。原理圖

可實(shí)現(xiàn)圖片的快速存儲(chǔ)和查找等操作。特性適用場(chǎng)景以圖片存儲(chǔ)為主的云存儲(chǔ)服務(wù)（如AdobeCreativeCloud）Neo4J代表產(chǎn)品3.4.2Bigtable數(shù)據(jù)管理技術(shù)Bigtable是一個(gè)由谷歌公司設(shè)計(jì)并開(kāi)發(fā)的NoSQL數(shù)據(jù)庫(kù)模型，它是谷歌公司云計(jì)算數(shù)據(jù)處理的關(guān)鍵技術(shù)之一，用于管理Google各服務(wù)（如GoogleAnalytics、GoogleFinance、GoogleEarth等）產(chǎn)生的海量數(shù)據(jù)。

與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)相比，Bigtable的數(shù)據(jù)存儲(chǔ)方式更加靈活，它不再使用傳統(tǒng)的關(guān)系模型，而是為用戶提供了簡(jiǎn)單靈活的數(shù)據(jù)存儲(chǔ)模型，甚至可以說(shuō)，存儲(chǔ)在Bigtable中的數(shù)據(jù)沒(méi)有固定的格式，用戶可以動(dòng)態(tài)地控制數(shù)據(jù)的分布和格式，也可以自定義數(shù)據(jù)格式。3.4.2Bigtable數(shù)據(jù)管理技術(shù)Bigtable采用了鍵值映射的數(shù)據(jù)存儲(chǔ)模式，在一個(gè)鍵值映射中，每個(gè)鍵由行關(guān)鍵字（row）、列關(guān)鍵字（column）和時(shí)間戳（time）3個(gè)維度共同組成。其中，行關(guān)鍵字和列關(guān)鍵字的數(shù)據(jù)類(lèi)型均為字節(jié)數(shù)組（string），時(shí)間戳的數(shù)據(jù)類(lèi)型則為64位整型（int）。Bigtable的鍵值映射數(shù)據(jù)模型3.4.2Bigtable數(shù)據(jù)管理技術(shù)

在Bigtable

中

存

儲(chǔ)

數(shù)

據(jù)

時(shí)

的

鍵

值

映

射

假設(shè)要存儲(chǔ)一個(gè)項(xiàng)目，這個(gè)項(xiàng)目包括海量的網(wǎng)頁(yè)及相關(guān)數(shù)據(jù)，現(xiàn)將此項(xiàng)目中的所有文件均存儲(chǔ)在一張稱為Webtable的表中，其數(shù)據(jù)結(jié)構(gòu)如圖所示。在Webtable表中存儲(chǔ)網(wǎng)頁(yè)時(shí)，行關(guān)鍵字是網(wǎng)頁(yè)的URL（假設(shè)為），并將URL的倒排形式（即n.www）作為行名；列關(guān)鍵字由內(nèi)容列和錨鏈接文本列族組成，其中內(nèi)容列存儲(chǔ)著網(wǎng)頁(yè)的內(nèi)容，列名為“contents:”，錨鏈接文本列族由兩個(gè)存儲(chǔ)著鏈接文本的列組成（假設(shè)每個(gè)文本占用1列），列名為“anchor:”；時(shí)間戳代表數(shù)據(jù)進(jìn)入Bigtable的準(zhǔn)確時(shí)間，數(shù)據(jù)的不同版本按照時(shí)間戳降序存儲(chǔ)，例如，可以用（“n.www”，“contents”，t5）找到主頁(yè)在t5時(shí)刻的內(nèi)容。3.4.2Bigtable數(shù)據(jù)管理技術(shù)

在Bigtable

中

存

儲(chǔ)

數(shù)

據(jù)

時(shí)

的

鍵

值

映

射

3.13.2云計(jì)算與大數(shù)據(jù)3.3分布式數(shù)據(jù)存儲(chǔ)3.5數(shù)據(jù)管理技術(shù)3.4并行編程技術(shù)實(shí)例-ApacheHadoop項(xiàng)目3.5實(shí)例—ApacheHadoop項(xiàng)目實(shí)例—ApacheHadoop項(xiàng)目谷歌

谷歌公司在2003年、2004年和2006年分別發(fā)表了3篇論文，依次闡釋和論證了GFS、MapReduce模型和Bigtable的基本思想和原理。這3篇論文不僅成為谷歌公司云計(jì)算技術(shù)設(shè)計(jì)和開(kāi)發(fā)的理論基礎(chǔ)，確立了谷歌公司在云計(jì)算領(lǐng)域的先驅(qū)和領(lǐng)跑者地位，還奠定了云計(jì)算與大數(shù)據(jù)技術(shù)的基本框架。受到谷歌公司3篇論文的啟發(fā)，各互聯(lián)網(wǎng)公司或組織均開(kāi)始嘗試研發(fā)自家的分布式計(jì)算平臺(tái)，其中最著名的是Apache軟件基金會(huì)的Hadoop項(xiàng)目。3.5.1Hadoop簡(jiǎn)介

實(shí)例—ApacheHadoop項(xiàng)目Hadoop最初的設(shè)計(jì)目的是解決其ApacheLucence項(xiàng)目中Nutch子項(xiàng)目的數(shù)據(jù)存儲(chǔ)和擴(kuò)展性問(wèn)題，后來(lái)獨(dú)立成為Apache的頂級(jí)項(xiàng)目，并在云計(jì)算和大數(shù)據(jù)領(lǐng)域大放異彩，成為各大軟件廠商廣泛使用的大數(shù)據(jù)分析與挖掘工具。Hadoop的核心設(shè)計(jì)目標(biāo)01

易于編程

Hadoop對(duì)分布式系統(tǒng)上的程序設(shè)計(jì)進(jìn)行了簡(jiǎn)化，將底層的設(shè)計(jì)細(xì)節(jié)抽象化、模塊化后交由系統(tǒng)實(shí)現(xiàn)，從而使得用戶可以更關(guān)心應(yīng)用的邏輯實(shí)現(xiàn)，大大減少了開(kāi)發(fā)人員的工作量，提高了程序開(kāi)發(fā)效率。0302

良好的擴(kuò)展性Hadoop力求通過(guò)簡(jiǎn)單易行且成本較低的橫向擴(kuò)展方案擴(kuò)大分布式系統(tǒng)的集群規(guī)模，確保隨著任務(wù)規(guī)模的不斷擴(kuò)大，集群的性能也可以同步增長(zhǎng)。

高容錯(cuò)性

隨著集群規(guī)模的增大，集群中節(jié)點(diǎn)的故障率也會(huì)顯著增加，如磁盤(pán)損壞或節(jié)點(diǎn)宕機(jī)導(dǎo)致的數(shù)據(jù)丟失。Hadoop復(fù)制因子的概念可通過(guò)多地備份，自動(dòng)遷移和復(fù)制等特性來(lái)達(dá)到集群可用性和容錯(cuò)性的要求。3.5.2Hadoop生態(tài)系統(tǒng)

實(shí)例—ApacheHadoop項(xiàng)目

作為Google云計(jì)算體系的開(kāi)源實(shí)現(xiàn)，Hadoop也具有3大核心技術(shù)，即與GFS對(duì)應(yīng)的HDFS、與MapReduce模型相對(duì)應(yīng)的HadoopMapReduce，以及與Bigtable對(duì)應(yīng)的Hbase。基于這3大核心技術(shù)的Hadoop現(xiàn)已發(fā)展成了一個(gè)龐大的多元化生態(tài)系統(tǒng)。MahoutAmbariZookeeperFlumePigHiveSqoopSparkHadoopKafka3.5.2Hadoop生態(tài)系統(tǒng)

實(shí)例—ApacheHadoop項(xiàng)目Hadoop

生

態(tài)

系

統(tǒng)

中

的3

大

核

心

技

術(shù)HDFS

是Apache基金會(huì)受到谷歌GFS論文《谷歌文件系統(tǒng)》啟發(fā)而設(shè)計(jì)和開(kāi)發(fā)的分布

式

文件系統(tǒng)，它可部署在由幾十臺(tái)、上百臺(tái)甚至上千臺(tái)主機(jī)組成的分布式系統(tǒng)

中，并具有高可用性、高容錯(cuò)率、高性能和高擴(kuò)展性等特點(diǎn)，因此常用于存儲(chǔ)

和管理海量數(shù)據(jù)。3.5.2Hadoop生態(tài)系統(tǒng)

實(shí)例—ApacheHadoop項(xiàng)目Hadoop

生

態(tài)

系

統(tǒng)

中

的3

大

核

心

技

術(shù)3.5.2Hadoop生態(tài)系統(tǒng)

實(shí)例—ApacheHadoop項(xiàng)目Hadoop

生

態(tài)

系

統(tǒng)

中

的3

大

核

心

技

術(shù)NameNode是集群的核心管理部分，一個(gè)Hadoop集群中只有一個(gè)NameNode，它負(fù)責(zé)管理HDFS的目錄樹(shù)和維護(hù)相關(guān)的文件元數(shù)據(jù)信息，這些信息包括HDFS元數(shù)據(jù)鏡像文件和文件改動(dòng)日志等。NameNodeDataNode是HDFS系統(tǒng)中的各存儲(chǔ)節(jié)點(diǎn)，它們將數(shù)據(jù)以固定大?。J(rèn)為64MB）的塊（block）進(jìn)行存儲(chǔ)。DataNode01023.5.2Hadoop生態(tài)系統(tǒng)

實(shí)例—ApacheHadoop項(xiàng)目Hadoop

生

態(tài)

系

統(tǒng)

中

的3

大

核

心

技

術(shù)HadoopMapReduce

是根據(jù)谷歌MapReduce論文《MapReduce：大規(guī)模集群中的簡(jiǎn)化數(shù)據(jù)處理》設(shè)計(jì)的一個(gè)并行編程模型的開(kāi)源版本，它可將大型數(shù)據(jù)處理任務(wù)進(jìn)行分片處理，分配給分布式系統(tǒng)中的多臺(tái)計(jì)算機(jī)進(jìn)行并行計(jì)算，并將最終的結(jié)果進(jìn)行匯總，以實(shí)現(xiàn)大數(shù)據(jù)的并行計(jì)算。MapReduce是整個(gè)Hadoop生態(tài)系統(tǒng)的核心技術(shù)，也是HDFS得以實(shí)現(xiàn)的技術(shù)支撐。3.5.2Hadoop生態(tài)系統(tǒng)

實(shí)例—ApacheHadoop項(xiàng)目Hadoop

生

態(tài)

系

統(tǒng)

中

的3

大

核

心

技

術(shù)Hbase根據(jù)谷歌的Bigtable論文《Bigtable：一個(gè)針對(duì)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系

統(tǒng)》設(shè)計(jì)和開(kāi)發(fā)，是GoogleBigtable的克隆版本和開(kāi)源實(shí)現(xiàn)。Hbase是一個(gè)

針對(duì)海量數(shù)據(jù)存儲(chǔ)的動(dòng)態(tài)模式的數(shù)據(jù)庫(kù)。與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)不同，HBase的

數(shù)據(jù)存儲(chǔ)模式為鍵值映射。本章小結(jié)cloudcomputing2、為分布式數(shù)據(jù)存儲(chǔ)提供技術(shù)支持的是分布

式文件系統(tǒng)，在眾多分布式文件系統(tǒng)中，

以谷歌的GFS和ApacheHadoop的HDFS

最具有代表性。3、MapReduce模型的核心思想是“分而治

之”。用戶在使用MapReduce模型進(jìn)行

并行編程時(shí)，只需實(shí)現(xiàn)映射函數(shù)Map()和

歸約函數(shù)Reduce()，而無(wú)須關(guān)心并行計(jì)算

過(guò)程中的其他步驟。云計(jì)算中的數(shù)據(jù)處理1、云計(jì)算與大數(shù)據(jù)的關(guān)系。兩者是一體兩面

的關(guān)系，云計(jì)算為大數(shù)據(jù)提供技術(shù)支持和

實(shí)現(xiàn)途徑，大數(shù)據(jù)推動(dòng)云計(jì)算相關(guān)技術(shù)的

不斷更新和完善。本章小結(jié)cloudcomputing5、谷歌公司的3篇論文在云計(jì)算和大數(shù)據(jù)領(lǐng)域具

有里程碑意義，Hadoop生態(tài)系統(tǒng)中的核心

技術(shù)HDFS、HadoopMapReduce和Hbase

是這3篇論文中技術(shù)的開(kāi)源實(shí)現(xiàn)，同時(shí)也是Hadoop生態(tài)系統(tǒng)的3大關(guān)鍵技術(shù)。云計(jì)算中的數(shù)據(jù)處理4、數(shù)據(jù)庫(kù)是實(shí)現(xiàn)數(shù)據(jù)管理的重要手段。過(guò)去，

數(shù)據(jù)量較少，數(shù)據(jù)種類(lèi)相對(duì)單一，因此往往

采用集中式文件系統(tǒng)和關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行數(shù)

據(jù)的存儲(chǔ)和管理；但到了大數(shù)據(jù)時(shí)代，由于

數(shù)據(jù)量暴增，且種類(lèi)愈發(fā)多樣化，傳統(tǒng)的方

式已經(jīng)不足以應(yīng)對(duì)如此規(guī)模的數(shù)據(jù)

集合，因

此，云計(jì)算技術(shù)

中，采用了NoSQL數(shù)據(jù)庫(kù)

對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)和管理。感謝觀看THANKS云計(jì)算導(dǎo)論主講老師：虛擬化技術(shù)第四章虛擬化技術(shù)

作為一種全新的服務(wù)模式，云計(jì)算的核心競(jìng)爭(zhēng)力在于按需取用的低成本IT資源，而云計(jì)算之所以能對(duì)IT資源進(jìn)行統(tǒng)一生產(chǎn)和調(diào)配，還要?dú)w功于虛擬化技術(shù)。

本章將對(duì)虛擬化這一云計(jì)算的核心技術(shù)進(jìn)行講解，其內(nèi)容包括虛擬化的發(fā)展歷程，虛擬化的分類(lèi)，常見(jiàn)的虛擬化解決方案，以及虛擬化軟件的簡(jiǎn)單使用。本章導(dǎo)讀學(xué)習(xí)目標(biāo)了解虛擬化的發(fā)展歷程。理解虛擬化的各分類(lèi)。熟悉常見(jiàn)的虛擬化解決方案。掌握使用VMwareWorkstationPro創(chuàng)建虛擬機(jī)的方法。4.1虛擬化概述4.2虛擬化分類(lèi)4.3虛擬化解決方案4.4實(shí)踐—使用VMwareWorkstationPro創(chuàng)建虛擬機(jī)虛擬化概述

云計(jì)算是一種IT資源服務(wù)，它通過(guò)虛擬化的IT資源池為用戶提供按需取用的資源服務(wù)。虛擬化技術(shù)可降低云計(jì)算生產(chǎn)IT資源的成本，提高硬件設(shè)施的利用率和整體性能，是云計(jì)算最核心的技術(shù)。4.1虛擬化概述4.1.1虛擬化和虛擬機(jī)虛擬化概述

虛擬化（virtualization）是一種通過(guò)虛擬化軟件將計(jì)算機(jī)系統(tǒng)中的各物理資源（如服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)和應(yīng)用等）抽象為邏輯資源，打破實(shí)體設(shè)備之間不可分割和組合的障礙，對(duì)資源進(jìn)行重新整合和分配的資源管理技術(shù)。虛擬化技術(shù)的典型應(yīng)用就是虛擬機(jī)4.1.1虛擬化和虛擬機(jī)虛擬化概述

虛擬機(jī)是由安裝在計(jì)算機(jī)軟件系統(tǒng)上的虛擬機(jī)軟件部署的。虛擬機(jī)軟件可將計(jì)算機(jī)的硬件資源進(jìn)行分區(qū)、隔離和封裝，并抽象出一臺(tái)邏輯上獨(dú)立的虛擬主機(jī)。用戶可在虛擬機(jī)上安裝操作系統(tǒng)，該操作系統(tǒng)完全獨(dú)立于物理主機(jī)（稱為宿主機(jī)）上的原生操作系統(tǒng)，兩者可同時(shí)運(yùn)行，共享物理主機(jī)的硬件資源。傳統(tǒng)計(jì)算機(jī)系統(tǒng)架構(gòu)和虛擬機(jī)架構(gòu)的對(duì)比4.1.1虛擬化和虛擬機(jī)虛擬化概述虛擬機(jī)和容器的區(qū)別

（1）虛擬機(jī)是硬件級(jí)別的，一個(gè)虛擬機(jī)包含一臺(tái)邏輯計(jì)算機(jī)、操作系統(tǒng)和在操作系統(tǒng)中運(yùn)行的軟件。虛擬機(jī)具有體量大、啟動(dòng)較慢、移植性較弱、占用資源較多等缺點(diǎn)，但隔離性和安全性較高。

（2）容器則是操作系統(tǒng)級(jí)別的，一個(gè)容器只包含要運(yùn)行的軟件及其依賴環(huán)境。容器具有體量小、啟動(dòng)快、部署方便、移植性強(qiáng)、占用資源少等優(yōu)點(diǎn)，但隔離性和安全性較低。

盡管容器與虛擬機(jī)相比具有很多優(yōu)勢(shì)，但并不是說(shuō)容器就可以完全替代虛擬機(jī)。在很多場(chǎng)景（如不同用戶的隔離）中，虛擬機(jī)仍然發(fā)揮著不可替代的作用。4.1.2虛擬化的發(fā)展歷史虛擬化概述

20世紀(jì)60年代中期

首次出現(xiàn)了虛擬機(jī)（virtualmachine，VM）

的概念1974年

提出了將

軟件稱為VMM的3個(gè)條件，成為決

定虛擬

化軟件，是否可稱為VMM的

標(biāo)準(zhǔn)，

也為虛擬化軟件的開(kāi)發(fā)提供了重要依據(jù)20世紀(jì)80年代微型機(jī)和PC得到了普及，計(jì)算

資源緊缺的情況得

到

了緩解，虛擬化

的發(fā)展腳步

逐步放緩20世紀(jì)90年代

虛擬化

技術(shù)重新回到了人們的視野2006年谷歌公司在搜索引擎大會(huì)上首

次提出了“云

計(jì)算”

的

概念，

為大數(shù)據(jù)時(shí)

代的數(shù)據(jù)處理

指明了道路4.1虛擬化概述4.2虛擬化分類(lèi)4.3虛擬化解決方案4.4實(shí)踐—使用VMwareWorkstationPro創(chuàng)建虛擬機(jī)4.2虛擬化的分類(lèi)虛擬化分類(lèi)

虛擬化是一種資源管理技術(shù)，更是一種重要的思想。虛擬化根據(jù)應(yīng)用領(lǐng)域的不同可分為

服務(wù)器虛擬化

網(wǎng)絡(luò)虛擬化

存儲(chǔ)虛擬化

應(yīng)用虛擬化4.2.1服務(wù)器虛擬化虛擬化分類(lèi)

服務(wù)器虛擬化就是通過(guò)虛擬化軟件將一臺(tái)物理服務(wù)器抽象為若干臺(tái)邏輯獨(dú)立的虛擬服務(wù)器的資源管理技術(shù)，其實(shí)現(xiàn)方式主要有：是指在服務(wù)器的宿主機(jī)操作系統(tǒng)（HostOS）上安裝虛擬化軟件，用戶可利用虛擬化軟件安裝寄宿操作系統(tǒng)（GuestOS）。在這種實(shí)現(xiàn)形式中，GuestOS與HostOS在功能上完全獨(dú)立，但HostOS掌握著物理主機(jī)的硬件資源，整個(gè)虛擬機(jī)對(duì)HostOS而言相當(dāng)于一個(gè)大型軟件。寄宿的服務(wù)器虛擬化部署方便，實(shí)現(xiàn)容易，但性能較低。寄宿是指在服務(wù)器的裸物理主機(jī)上使用虛擬化軟件形成一個(gè)虛擬層，在虛擬層上安裝多個(gè)操作系統(tǒng)，各操作系統(tǒng)之間地位平等，互不干擾，共同使用服務(wù)器的硬件資源。原生的服務(wù)器虛擬化性能較高，但實(shí)現(xiàn)較難。原生4.2.1服務(wù)器虛擬化虛擬化分類(lèi)加速應(yīng)用部署降低運(yùn)營(yíng)成本提高應(yīng)用兼容性優(yōu)勢(shì)提升資源利用率降低能源消耗4.2.2網(wǎng)絡(luò)虛擬化虛擬化分類(lèi)

網(wǎng)絡(luò)虛擬化是指將物理網(wǎng)絡(luò)設(shè)備（如交換機(jī)）和線路抽象為邏輯上的網(wǎng)絡(luò)設(shè)備和線路，主要可分為：局域網(wǎng)虛擬化廣域網(wǎng)虛擬化虛擬局域網(wǎng)虛擬專(zhuān)用網(wǎng)4.2.2網(wǎng)絡(luò)虛擬化虛擬化分類(lèi)虛擬局域網(wǎng)

虛擬局域網(wǎng)（virtuallocalareanetwork，VLAN）是一種網(wǎng)絡(luò)虛擬化技術(shù)，劃分VLAN指將局域網(wǎng)劃分成若干個(gè)廣播域，使廣播幀僅在VLAN內(nèi)部傳播。

局域網(wǎng)（localareanetwork，LAN）是指由某組織或機(jī)構(gòu)未借助任何第三方機(jī)構(gòu)建立的信息傳輸網(wǎng)絡(luò)。4.2.2網(wǎng)絡(luò)虛擬化虛擬化分類(lèi)虛擬局域網(wǎng)

劃分VLAN可看作是將一臺(tái)物理交換機(jī)虛擬為若干臺(tái)邏輯上獨(dú)立的交換機(jī)，其具體過(guò)程是，將物理交換機(jī)上的若干端口分別劃分到不同的VLAN中，這樣局域網(wǎng)本身的連接并沒(méi)有發(fā)生任何改變，但不同VLAN間的設(shè)備將無(wú)法直接通信，更無(wú)法廣播。這樣，就可以通過(guò)軟件手段縮小廣播域，提升網(wǎng)絡(luò)的性能和安全性。4.2.2網(wǎng)絡(luò)虛擬化虛擬化分類(lèi)

劃

分VLAN

的

過(guò)

程4.2.2網(wǎng)絡(luò)虛擬化虛擬化分類(lèi)虛擬專(zhuān)用網(wǎng)

虛擬專(zhuān)用網(wǎng)（virtualprivatenetwork，VPN）是指將公共的Internet作為專(zhuān)用網(wǎng)之間通信載體的網(wǎng)絡(luò)虛擬化技術(shù)，它的核心技術(shù)是隧道加密技術(shù)

專(zhuān)用網(wǎng)（privatenetwork）是指僅供組織或部門(mén)內(nèi)部使用，不對(duì)外開(kāi)放的網(wǎng)絡(luò)，專(zhuān)用網(wǎng)內(nèi)部的主機(jī)使用專(zhuān)用IP地址進(jìn)行通信。4.2.2網(wǎng)絡(luò)虛擬化虛擬化分類(lèi)

使

用

隧

道

技

術(shù)

實(shí)

現(xiàn)VPN

的

過(guò)

程4.2.3存儲(chǔ)虛擬化虛擬化分類(lèi)

存儲(chǔ)虛擬化是指將不同廠商、型號(hào)、通信技術(shù)和介質(zhì)的異構(gòu)存儲(chǔ)設(shè)備相互連接，并通過(guò)存儲(chǔ)虛擬化軟件映射為統(tǒng)一的存儲(chǔ)資源池。01020304實(shí)現(xiàn)對(duì)存儲(chǔ)資源的統(tǒng)一管理讓用戶透明化地使用云存儲(chǔ)服務(wù)屏蔽資源的異構(gòu)性和物理空間差異降低構(gòu)建、管理和維護(hù)存儲(chǔ)資源的成本提升云存儲(chǔ)系統(tǒng)的資源利用率054.2.3存儲(chǔ)虛擬化虛擬化分類(lèi)

基于主機(jī)的虛擬化主要通過(guò)邏輯卷管理（logicalvolumemanagement，LVM）程序?qū)崿F(xiàn)。LVM程序可將主機(jī)上的單個(gè)或多個(gè)物理存儲(chǔ)器映射為邏輯卷（組），并通過(guò)文件系統(tǒng)提供給操作系統(tǒng)及應(yīng)用程序，使數(shù)據(jù)的存儲(chǔ)直接在邏輯卷上進(jìn)行。

基于存儲(chǔ)設(shè)備的虛擬化主要通過(guò)存儲(chǔ)陣列控制模塊實(shí)現(xiàn)，它可對(duì)異構(gòu)存儲(chǔ)設(shè)備陣列進(jìn)行虛擬化。

基于存儲(chǔ)網(wǎng)絡(luò)的虛擬化主要通過(guò)支持虛擬化功能的網(wǎng)絡(luò)設(shè)備實(shí)現(xiàn)。010203基于主機(jī)的虛級(jí)化基于存儲(chǔ)設(shè)備的虛擬化基于存儲(chǔ)網(wǎng)絡(luò)的虛擬化4.2.4應(yīng)用虛擬化虛擬化分類(lèi)

應(yīng)用虛擬化是指將應(yīng)用程序的人機(jī)交互邏輯（程序界面、I/O操作等）與實(shí)體計(jì)算機(jī)隔離開(kāi)來(lái)，并使用客戶端/服務(wù)器（client/server，C/S）架構(gòu)，用戶與應(yīng)用之間的交互在本地客戶端進(jìn)行，而數(shù)據(jù)處理和存儲(chǔ)等操作則在遠(yuǎn)端的服務(wù)器中進(jìn)行。桌面虛擬化應(yīng)用程序虛擬化4.2.4應(yīng)用虛擬化虛擬化分類(lèi)桌面虛擬化

是指將操作系統(tǒng)用于人機(jī)交互的桌面（如Windows操作系統(tǒng)的桌面）與終端設(shè)備進(jìn)行解耦合，然后將完整的桌面及其操作系統(tǒng)存儲(chǔ)在服務(wù)器端的虛擬機(jī)中，最后通過(guò)管理系統(tǒng)將整個(gè)虛擬機(jī)打包作為服務(wù)提供給用戶。4.2.4應(yīng)用虛擬化虛擬化分類(lèi)應(yīng)該程序虛擬化

是在桌面虛擬化的基礎(chǔ)上，直接將安裝在虛擬機(jī)操作系統(tǒng)中的應(yīng)用程序作為服務(wù)提供給用戶，用戶在終端設(shè)備中登錄客戶端后，直接進(jìn)入應(yīng)用選擇界面或進(jìn)入某應(yīng)用程序，而不是進(jìn)入桌面，這樣可進(jìn)一步簡(jiǎn)化用戶與虛擬機(jī)的人機(jī)交互，提升用戶的操作體驗(yàn)，并節(jié)省虛擬機(jī)的資源。4.1虛擬化概述4.2虛擬化分類(lèi)4.3虛擬化解決方案4.4實(shí)踐—使用VMwareWorkstationPro創(chuàng)建虛擬機(jī)4.3虛擬化解決方案虛擬化解決方案VMwareVMwareWorkstationOracleVirtualBox微軟Hyper-VXenKVM虛擬化bc

4.3.1VMwar虛擬化VMware公司是知名的虛擬化服務(wù)提供商，也是商用虛擬化解決方案的先行者

在VMware公司的眾多虛擬化產(chǎn)品中，最廣為人知的虛擬化軟件是可實(shí)現(xiàn)寄宿式服務(wù)器虛擬化的WorkstationPro、Player和FusionforMac。虛擬化解決方案4.3.1VMwar虛擬化

VMwareWorkstationPro的軟件界面虛擬化解決方案4.3.2

VirtualBox虛擬化VirtualBox是美國(guó)Oracle公司旗下的一款虛擬化軟件，其功能與上述VMware的軟件相同，即實(shí)現(xiàn)寄宿式的服務(wù)器虛擬化。

使用VirtualBox軟件可在HostOS上同時(shí)運(yùn)行若干個(gè)GuestOS，其支持的操作系統(tǒng)包括Windows、Linux、macOS等。虛擬化解決方案

OracleVMVirtualBox

管理器4.3.2

VirtualBox虛擬化虛擬化解決方案4.3.2

VirtualBox虛擬化在VirtualBox中創(chuàng)建虛擬機(jī)的方法虛擬化解決方案VirtualBox虛擬化具體步驟詳見(jiàn)P764.3.3

Hyper-V虛擬化虛擬化概述Hyper-V是微軟公司于2008年發(fā)布的一款虛擬化軟件，其前身是微軟公司的Viridan軟件。虛擬化解決方案虛擬化概述4.3.2

VirtualBox虛擬化啟動(dòng)Hyper-V管理器的方法虛擬化解決方案Hyper-V虛擬化具體步驟詳見(jiàn)P794.3.4

Xen虛擬化虛擬化概述Xen虛擬化技術(shù)起源于由劍橋大學(xué)發(fā)起的研究項(xiàng)目Xenoserver，它基于x86架構(gòu)，可實(shí)現(xiàn)原生的服務(wù)器虛擬化。Xen虛擬化技術(shù)可在物理硬件和虛擬機(jī)之間形成一個(gè)虛擬層，將物理硬件邏輯化為虛擬資源池，并對(duì)資源池進(jìn)行有效管理，使虛擬層上運(yùn)行的多個(gè)虛擬機(jī)如同直接使用物理資源一樣。0102

思杰公司收購(gòu)了XenSource公司，基于Xen技術(shù)推出了XenServer、XenDesktop和XenApp等主打桌面虛擬化的商用虛擬化產(chǎn)品。2007年

為了吸引更多開(kāi)發(fā)人員參與Xen虛擬化技術(shù)的研發(fā)，Xen的母公司XenSource對(duì)其進(jìn)行了開(kāi)源。2020年虛擬化解決方案4.3.5

KVM虛擬化虛擬化概述KVM可實(shí)現(xiàn)x86架構(gòu)的虛擬化，但這種虛擬化無(wú)法獨(dú)立實(shí)現(xiàn)，需要Linux內(nèi)核和CPU虛擬化（如IntelVT或AMD-V）技術(shù)的支持。KVM本身就運(yùn)行在Linux系統(tǒng)內(nèi)核中，體積較小，屬于輕量級(jí)虛擬化解決方案。虛擬化解決方案4.3.5

KVM虛擬化虛擬化概述KVM可分別為Intel和AMD的CPU虛擬化提供支持。處理器模塊kvm-intel.kokvm-amd.ko它可為L(zhǎng)inux核心的虛擬化提供支持。內(nèi)核模塊kvm.ko虛擬化解決方案4.3.5

KVM虛擬化虛擬化概述KVM

虛

擬

化

架

構(gòu)圖虛擬化解決方案4.3.5

KVM虛擬化虛擬化概述KVM虛擬化特點(diǎn)KVM1、靈活性2、、廣泛的適應(yīng)性3、占用資源少4、性能穩(wěn)定虛擬化解決方案4.1虛擬化概述4.2虛擬化分類(lèi)4.3虛擬化解決方案4.4實(shí)踐—使用VMwareWorkstationPro創(chuàng)建虛擬機(jī)4.4.1下載Ubuntu鏡像文件實(shí)踐——使用VMwareWorkstationPro創(chuàng)建虛擬機(jī)Ubuntu是一個(gè)免費(fèi)的Linux發(fā)行版本，該系統(tǒng)具有Linux操作系統(tǒng)在服務(wù)器領(lǐng)域的所有優(yōu)勢(shì)，安裝體積較小，集成了良好的用戶界面和大量應(yīng)用程序，在服務(wù)器和云計(jì)算領(lǐng)域的使用頻率和受歡迎程度較高，是目前較受歡迎的Linux發(fā)行版本。4.4.2創(chuàng)建虛擬機(jī)4.4.3為虛擬機(jī)安裝Ubuntu4.4安裝虛擬機(jī)實(shí)踐——使用VMwareWorkstationPro創(chuàng)建虛擬機(jī)安裝虛擬機(jī)

使用VMwar