《大數(shù)據(jù)通識教程》 課件 第10章 大數(shù)據(jù)與云計算

數(shù)字文明與數(shù)字治理大數(shù)據(jù)通識教程第10章楊武劍周蘇主編大數(shù)據(jù)與云計算01與數(shù)字化相關(guān)的技術(shù)02云計算概述03計算虛擬化04網(wǎng)絡(luò)虛擬化目錄/CONTENTS05存儲虛擬化06云計算服務(wù)形式06大數(shù)據(jù)與云計算PART01與數(shù)字化相關(guān)的技術(shù)麥肯錫全球研究院（MGI）為大數(shù)據(jù)給出的定義是：一種規(guī)模大到在獲取、存儲、管理和分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。10.1與數(shù)字化相關(guān)的技術(shù)除了大數(shù)據(jù)，數(shù)字化所依托的還有如下一些主要技術(shù)。（1）云計算。是把各種計算資源集合起來，通過軟件實現(xiàn)自動化管理，只需要很少的人參與，就能讓資源被快速提供，也就是說，計算能力作為一種商品，可以在互聯(lián)網(wǎng)上流通，就像水、電、煤一樣，可以方便地按需取用，且價格較為低廉。10.1與數(shù)字化相關(guān)的技術(shù)（2）5G。即第五代移動通信技術(shù)，是4G、3G、2G的延伸，有傳輸速度更快，時滯更短(接口延時在1ms左右)、容量更大、系統(tǒng)協(xié)同化和智能化水平提升等特點。主要的應(yīng)用場景如：車聯(lián)網(wǎng)和自動駕駛、外科遠(yuǎn)程手術(shù)、VR游戲、物聯(lián)網(wǎng)等場景。10.1與數(shù)字化相關(guān)的技術(shù)（3）工業(yè)互聯(lián)網(wǎng)。本質(zhì)和核心是通過工業(yè)互聯(lián)網(wǎng)平臺，把設(shè)備、生產(chǎn)線、工廠、供應(yīng)商、產(chǎn)品和客戶緊密地聯(lián)結(jié)整合起來?？梢孕纬煽缭O(shè)備、跨系統(tǒng)、跨廠區(qū)、跨地區(qū)的互聯(lián)互通，從而提高效率，推動整個制造服務(wù)體系化智能化。10.1與數(shù)字化相關(guān)的技術(shù)（4）物聯(lián)網(wǎng)。即“萬物相連的互聯(lián)網(wǎng)”，是在互聯(lián)網(wǎng)的基礎(chǔ)上延伸和擴(kuò)展的網(wǎng)絡(luò)，是將各種信息傳感設(shè)備與互聯(lián)網(wǎng)結(jié)合起來形成一個巨大的網(wǎng)絡(luò)，實現(xiàn)在任何時間、任何地點，人、機(jī)、物的互聯(lián)互通。物聯(lián)網(wǎng)通過視頻識別、紅外感應(yīng)器、全球定位系統(tǒng)、激光掃描器等信息傳感設(shè)備，按約定的協(xié)議，把任何物品和互聯(lián)網(wǎng)相連接，進(jìn)行信息交換和通信，以實現(xiàn)對物品的智能識別、定位、跟蹤、監(jiān)控和管理。10.1與數(shù)字化相關(guān)的技術(shù)（5）區(qū)塊鏈。本質(zhì)是一個去中心化的數(shù)據(jù)庫，同時作為比特幣的底層技術(shù)，是一串使用密碼學(xué)方法相關(guān)聯(lián)產(chǎn)生的數(shù)據(jù)塊，每個數(shù)據(jù)塊都包含了一批次比特幣網(wǎng)絡(luò)交易的信息，用于驗證其信息的有效性（防偽）和生成下一個區(qū)塊。區(qū)塊鏈?zhǔn)欠植际綌?shù)據(jù)存儲、點對點傳輸、共識傳輸、共識機(jī)制、加密算法等計算機(jī)技術(shù)的新型應(yīng)用模式。區(qū)塊鏈的特點：去中心化、開放性、獨(dú)立性、安全性、匿名性。10.1與數(shù)字化相關(guān)的技術(shù)（6）人工智能。其主要目標(biāo)是使機(jī)器能夠勝任一些通常需要人類智能才完成的復(fù)雜工作。它是一門跨學(xué)科的科學(xué)，如機(jī)器學(xué)習(xí)、計算機(jī)視覺等科學(xué)和技術(shù)，還涉及心理學(xué)和哲學(xué)等人文學(xué)科。該領(lǐng)域的研究包括機(jī)器人、語言識別、圖像識別、自然語言處理和專家系統(tǒng)等。10.1與數(shù)字化相關(guān)的技術(shù)PART02云計算概述所謂基礎(chǔ)設(shè)施，是指在IT環(huán)境中，為具體應(yīng)用提供計算、存儲、互聯(lián)、管理等基礎(chǔ)功能的軟硬件系統(tǒng)。在信息技術(shù)發(fā)展的早期，IT基礎(chǔ)設(shè)施往往由一系列昂貴的，經(jīng)過特殊設(shè)計的軟硬件設(shè)備組成，存儲容量有限，系統(tǒng)之間也沒有高效的數(shù)據(jù)交換通道，應(yīng)用軟件直接運(yùn)行在硬件平臺上。在這種環(huán)境中，用戶不容易、也沒有必要去區(qū)分哪些部分屬于基礎(chǔ)設(shè)施，哪些部分是應(yīng)用軟件。然而，隨著對新應(yīng)用的需求不斷涌現(xiàn)，IT基礎(chǔ)設(shè)施發(fā)生了翻天覆地的變化。10.2云計算概述摩爾定律在過去的幾十年書寫了奇跡。在這奇跡的背后，是越來越廉價、越來越高效的計算能力。有了強(qiáng)大的計算能力，人類可以處理更為龐大的數(shù)據(jù)，而這又帶來對存儲的需求。再之后，就需要把并行計算的理論搬上臺面，更大限度地挖掘IT基礎(chǔ)設(shè)施的潛力。于是，網(wǎng)絡(luò)也蓬勃發(fā)展起來。由于硬件已經(jīng)變得前所未有的復(fù)雜，專門管理硬件資源、為上層應(yīng)用提供運(yùn)行環(huán)境的系統(tǒng)軟件也順應(yīng)歷史潮流，迅速發(fā)展壯大。10.2.1云計算定義基于大規(guī)模數(shù)據(jù)的系列應(yīng)用正在悄然推動著IT基礎(chǔ)設(shè)施的發(fā)展，尤其是大數(shù)據(jù)對海量、高速存儲的需求。為了對大規(guī)模數(shù)據(jù)進(jìn)行有效的計算，必須最大限度地利用計算和網(wǎng)絡(luò)資源。計算虛擬化和網(wǎng)絡(luò)虛擬化要對分布式、異構(gòu)的計算、存儲、網(wǎng)絡(luò)資源進(jìn)行有效的管理。10.2.1云計算定義所謂“云計算”是一種基于互聯(lián)網(wǎng)的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計算機(jī)和其他設(shè)備?；蛘?，云計算是通過網(wǎng)絡(luò)“云”將巨大的數(shù)據(jù)計算處理程序分解成無數(shù)個小程序，然后通過多部服務(wù)器組成的系統(tǒng)進(jìn)行處理和分析這些小程序得到結(jié)果并返回給用戶。云計算為我們提供了跨地域、高可靠、按需付費(fèi)、所見即所得、快速部署等能力，這些都是長期以來IT行業(yè)所追尋的。隨著云計算的發(fā)展，大數(shù)據(jù)正成為云計算面臨的一個重大考驗。10.2.1云計算定義云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說法。過去在圖中往往用云來表示電信網(wǎng)，后來也用來表示互聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的抽象。云計算是繼1980年代大型計算機(jī)到客戶端-服務(wù)器的大轉(zhuǎn)變之后的又一種巨變。用戶不再需要了解“云”中基礎(chǔ)設(shè)施的細(xì)節(jié)，不必具有相應(yīng)的專業(yè)知識，也無需直接進(jìn)行控制。云計算描述了一種基于互聯(lián)網(wǎng)的新的IT服務(wù)增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴(kuò)展，而且經(jīng)常是虛擬化的資源，它意味著計算能力也可作為一種商品通過互聯(lián)網(wǎng)進(jìn)行流通。10.2.1云計算定義美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）的定義是：云計算是一種按使用量付費(fèi)的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問，進(jìn)入可配置的計算資源共享池（資源包括網(wǎng)絡(luò)，服務(wù)器，存儲，應(yīng)用軟件，服務(wù)），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互。10.2.1云計算定義云計算是分布式計算、并行計算、網(wǎng)格計算、效用計算、網(wǎng)絡(luò)存儲、虛擬化、負(fù)載均衡等傳統(tǒng)計算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。其中，網(wǎng)格計算是由一群松散耦合的計算機(jī)組成的一個超級虛擬計算機(jī)，常用來執(zhí)行一些大型任務(wù)；效用計算是IT資源的一種打包和計費(fèi)方式，比如按照計算、存儲分別計量費(fèi)用，像傳統(tǒng)的電力等公共設(shè)施一樣；自主計算是具有自我管理功能的計算機(jī)系統(tǒng)。事實上，許多云計算部署依賴于計算機(jī)集群（但與網(wǎng)格的組成、體系結(jié)構(gòu)、目的、工作方式大相徑庭），也吸收了自主計算和效用計算的特點。10.2.1云計算定義大數(shù)據(jù)解決方案的構(gòu)架離不開云計算的支撐。支撐大數(shù)據(jù)及云計算的底層原則是一樣的，即規(guī)?；?、自動化、資源配置、自愈性，這些都是底層的技術(shù)原則。也可以說，大數(shù)據(jù)是構(gòu)建在云計算基礎(chǔ)架構(gòu)之上的應(yīng)用形式，因此它很難獨(dú)立于云計算架構(gòu)而存在。云計算下的海量存儲、計算虛擬化、網(wǎng)絡(luò)虛擬化、云安全及云平臺就像支撐大數(shù)據(jù)這座大樓的鋼筋水泥。只有好的云基礎(chǔ)架構(gòu)支持，大數(shù)據(jù)才能立起來，站得更高。10.2.2云基礎(chǔ)設(shè)施虛擬化是云計算所有要素中最基本，也是最核心的組成部分。和云計算在最近幾年才出現(xiàn)不同，虛擬化技術(shù)的發(fā)展其實已經(jīng)走過了半個多世紀(jì)（1956）。在虛擬化技術(shù)的發(fā)展初期，IBM是主力軍，它把虛擬化技術(shù)用在了大型機(jī)領(lǐng)域。1964年，IBM設(shè)計了名為CP-40的新型操作系統(tǒng)，實現(xiàn)了虛擬內(nèi)存和虛擬機(jī)。到1965年，IBM推出了System/360Model67和TSS分時共享系統(tǒng)，允許很多遠(yuǎn)程用戶共享同一高性能計算設(shè)備的使用時間。10.2.2云基礎(chǔ)設(shè)施1972年，IBM發(fā)布了用于創(chuàng)建靈活大型主機(jī)的虛擬機(jī)技術(shù)，實現(xiàn)了根據(jù)動態(tài)需求快速而有效地使用各種資源的效果。作為對大型機(jī)進(jìn)行邏輯分區(qū)以形成若干獨(dú)立虛擬機(jī)的一種方式。這些分區(qū)允許大型機(jī)進(jìn)行“多任務(wù)處理”——同時運(yùn)行多個應(yīng)用程序和進(jìn)程。由于當(dāng)時大型機(jī)是十分昂貴的資源，虛擬化技術(shù)起到了提高投資利用率的作用。利用虛擬化技術(shù)，允許在一臺主機(jī)上運(yùn)行多個操作系統(tǒng)，讓用戶盡可能地充分利用昂貴的大型機(jī)資源。其后，虛擬化技術(shù)從大型機(jī)延伸到UNIX小型機(jī)領(lǐng)域。10.2.2云基礎(chǔ)設(shè)施1998年，VMware公司成立，這是在x86虛擬化技術(shù)發(fā)展史上很重要的一個里程碑。VMware發(fā)布的第一款虛擬化產(chǎn)品VMwareVirtualPlatform，通過運(yùn)行在WindowsNT上的VMware來啟動Windows95，開啟了虛擬化在x86服務(wù)器上的應(yīng)用。10.2.2云基礎(chǔ)設(shè)施相比于大型機(jī)和小型機(jī)，x86服務(wù)器和虛擬化技術(shù)并不是兼容得很好。但是VMware針對x86平臺研發(fā)的虛擬化技術(shù)不僅克服了虛擬化技術(shù)層面的種種挑戰(zhàn)，其提供的VMware基礎(chǔ)設(shè)施更是極大地方便了虛擬機(jī)的創(chuàng)建和管理。VMware對虛擬化技術(shù)的研究，開創(chuàng)了虛擬化技術(shù)的x86時代，在很長一段時間內(nèi)，服務(wù)器虛擬化市場都是VMware一枝獨(dú)秀。虛擬化技術(shù)中最核心的部分分別是計算虛擬化、存儲虛擬化和網(wǎng)絡(luò)虛擬化。10.2.2云基礎(chǔ)設(shè)施PART03計算虛擬化計算虛擬化，又稱平臺虛擬化或服務(wù)器虛擬化，它的核心思想是使在一個物理計算機(jī)上同時運(yùn)行多個操作系統(tǒng)成為可能。在虛擬化世界中，我們通常把提供虛擬化能力的物理計算機(jī)稱為宿主機(jī)，而把在虛擬化環(huán)境中運(yùn)行的計算機(jī)稱為客戶機(jī)。宿主機(jī)和客戶機(jī)雖然運(yùn)行在同樣的硬件上，但是它們在邏輯上卻是完全隔離的。10.3計算虛擬化這些虛擬計算機(jī)（以及物理計算機(jī)）在邏輯上是完全隔離的，擁有各自獨(dú)立的軟、硬件環(huán)境。討論計算虛擬化，所涉及的計算機(jī)僅包含構(gòu)成一個最小計算單位所需的部件，其中包括處理器（CPU）和內(nèi)存，不包含任何可選的外接設(shè)備（例如，主板、硬盤、網(wǎng)卡、顯卡、聲卡等）。10.3計算虛擬化計算虛擬化是大數(shù)據(jù)處理不可缺少的支撐技術(shù)，其作用體現(xiàn)在提高設(shè)備利用率、提高系統(tǒng)可靠性、解決計算單元管理問題等方面。將大數(shù)據(jù)應(yīng)用運(yùn)行在虛擬化平臺上，可以充分享受虛擬化帶來的管理紅利。例如，虛擬化可以支持對虛擬機(jī)的快照（Snapshot）操作，從而使得備份和恢復(fù)變得更加簡單、透明和高效。此外，虛擬機(jī)還可以根據(jù)需要動態(tài)遷移到其他物理機(jī)上，這一特性可以讓大數(shù)據(jù)應(yīng)用享受高可靠性和容錯性。10.3計算虛擬化虛擬機(jī)（VirtualMachine，VM）是對物理計算機(jī)功能的一種部分或完全的軟件模擬，其中虛擬設(shè)備在硬件細(xì)節(jié)上可以獨(dú)立于物理設(shè)備。虛擬機(jī)的實現(xiàn)目標(biāo)通常是在其中不經(jīng)修改地運(yùn)行那些原本為物理計算機(jī)設(shè)計的程序。通常情況下，多臺虛擬機(jī)可以共存于一臺物理機(jī)上，以期獲得更高的資源使用率以及降低整體的費(fèi)用。虛擬機(jī)之間是互相獨(dú)立、完全隔離的。

圖10-8VMware虛擬化10.3計算虛擬化虛擬機(jī)管理程序（VMM）是在宿主機(jī)上提供虛擬機(jī)創(chuàng)建和運(yùn)行管理的軟件系統(tǒng)或固件。虛擬機(jī)管理程序可以歸納為原生的和托管的兩個類型。前者直接運(yùn)行在硬件上去管理硬件和虛擬機(jī)，常見的有XenServer、KVM、VMwareESX/ESXi和微軟的Hyper-V。后者則運(yùn)行在常規(guī)的操作系統(tǒng)上，作為二層的管理軟件存在，而客戶機(jī)相對硬件來說則是在第三層運(yùn)行，常見的有VMware工作站和Virtual盒子。10.3計算虛擬化PART04網(wǎng)絡(luò)虛擬化網(wǎng)絡(luò)虛擬化，簡單來講是指把邏輯網(wǎng)絡(luò)從底層的物理網(wǎng)絡(luò)分離開來。網(wǎng)絡(luò)虛擬化涉及的技術(shù)范圍相當(dāng)寬泛，包括網(wǎng)卡的虛擬化、虛擬接入技術(shù)、覆蓋網(wǎng)絡(luò)交換，以及軟件定義的網(wǎng)絡(luò)等，這個概念的產(chǎn)生已經(jīng)比較久了。VLAN、VPN、VPLS等都可以歸為網(wǎng)絡(luò)虛擬化的技術(shù)。近年來，云計算的浪潮席卷IT界。幾乎所有的IT基礎(chǔ)構(gòu)架都在朝著云的方向發(fā)展。10.4網(wǎng)絡(luò)虛擬化在云計算的發(fā)展中，虛擬化技術(shù)一直是重要的推動因素。作為基礎(chǔ)構(gòu)架，服務(wù)器和存儲的虛擬化已經(jīng)發(fā)展得有聲有色，而同作為基礎(chǔ)構(gòu)架的網(wǎng)絡(luò)卻還是一直沿用老的套路。在這種環(huán)境下，網(wǎng)絡(luò)確實期待一次變革，使之更加符合云計算和互聯(lián)網(wǎng)發(fā)展的需求。在云計算的大環(huán)境下，網(wǎng)絡(luò)虛擬化的定義沒有變，但是其包含的內(nèi)容卻大大增加了（例如動態(tài)性、多租戶模式等）。10.4網(wǎng)絡(luò)虛擬化多個虛擬機(jī)共享服務(wù)器中的物理網(wǎng)卡，需要一種機(jī)制既能保證I/O的效率，又能保證多個虛擬機(jī)對用物理網(wǎng)卡共享使用。I/O虛擬化的出現(xiàn)就是為了解決這類問題。I/O虛擬化包括了從CPU到設(shè)備的一攬子解決方案。10.4.1網(wǎng)卡虛擬化從CPU的角度看，要解決虛擬機(jī)訪問物理網(wǎng)卡等I/O設(shè)備的性能問題，能做的就是直接支持虛擬機(jī)內(nèi)存到物理網(wǎng)卡的DMA操作。Intel的VT-d技術(shù)及AMD的輸入/輸出內(nèi)存管理單元技術(shù)通過DMA重新映射機(jī)制來解決這個問題。DMA重新映射機(jī)制主要解決了兩個問題，一方面為每個VM創(chuàng)建了一個DMA保護(hù)域并實現(xiàn)了安全的隔離，另一方面提供一種機(jī)制是將虛擬機(jī)的物理地址翻譯為物理機(jī)的物理地址。10.4.1網(wǎng)卡虛擬化從虛擬機(jī)對網(wǎng)卡等設(shè)備訪問角度看，傳統(tǒng)虛擬化的方案是虛擬機(jī)通過虛擬機(jī)管理程序來共享地訪問一個物理網(wǎng)卡，虛擬機(jī)管理程序需要處理多虛擬機(jī)對設(shè)備的并發(fā)訪問和隔離等。具體的實現(xiàn)方式是通過軟件模擬多個虛擬網(wǎng)長（完全獨(dú)立于物理網(wǎng)卡），所有的操作都在CPU與內(nèi)存進(jìn)行。這樣的方案滿足了多租戶模式的需求，但是犧牲了整體的性能，因為虛擬機(jī)管理程序很容易形成一個性能瓶頸。為了提高性能，一種做法是虛擬機(jī)繞過虛擬機(jī)管理程序直接操作物理網(wǎng)卡，這種做法通常稱為PCI直通，VMware、XEN和KVM都支持這種技術(shù)。但這種做法的問題是虛擬機(jī)通常需要獨(dú)占一個PCI插槽，不是一個完整的解決方案，成本較高且擴(kuò)展性不足。10.4.1網(wǎng)卡虛擬化最新的解決方案是物理設(shè)備（如網(wǎng)卡）直接對上層操作系統(tǒng)或虛擬機(jī)管理程序提供虛擬化的功能，一個以太網(wǎng)卡可以對上層軟件提供多個獨(dú)立的虛擬的PCIe設(shè)備并提供虛擬通道來實現(xiàn)并發(fā)訪問；這些虛擬設(shè)備擁有各自獨(dú)立的總線地址，從而可以提供對虛擬機(jī)I/O的DMA支持。這樣一來，CPU得以從繁重的I/O中解放出來，能夠更加專注于核心的計算任務(wù)（例如大數(shù)據(jù)分析）。這種方法也是業(yè)界主流的做法和發(fā)展方向，目前已經(jīng)形成了標(biāo)準(zhǔn)。10.4.1網(wǎng)卡虛擬化在虛擬化早期階段，由于物理網(wǎng)卡并不具備為多個虛擬機(jī)服務(wù)的能力，為了將同一物理機(jī)上的多臺虛擬機(jī)接入網(wǎng)絡(luò)，引入了一個虛擬交換機(jī)的概念。通常也稱為軟件交換機(jī)，以區(qū)別于硬件實現(xiàn)的網(wǎng)絡(luò)交換機(jī)。虛擬機(jī)通過虛擬網(wǎng)片接入到虛擬交換機(jī)，然后通過物理網(wǎng)卡外連到外部交換機(jī)，從而實現(xiàn)了外部網(wǎng)絡(luò)接入，例如VMware虛擬交換機(jī)就屬于這一類技術(shù)。圖10-9VMware虛擬交換機(jī)結(jié)構(gòu)圖10.4.2虛擬交換機(jī)這樣的解決方案也帶來一系列的問題。首先，一個很大的顧慮就是性能問題，因為所有的網(wǎng)絡(luò)交換都必須通過軟件模擬。研究表明：一個接入10~15臺虛擬機(jī)的軟件交換機(jī)，通常需要消耗10％~15％的主機(jī)計算能力；隨著虛擬機(jī)數(shù)量的增長，性能問題無疑將更加嚴(yán)重。其次，由于虛擬交換機(jī)工作在二層，無形中也使得二層子網(wǎng)的規(guī)模變得更大。更大的子網(wǎng)意味著更大的廣播域，對性能和管理來說都是不小的挑戰(zhàn)。最后，由于越來越多的網(wǎng)絡(luò)數(shù)據(jù)交換在虛擬交換機(jī)內(nèi)進(jìn)行，傳統(tǒng)的網(wǎng)絡(luò)監(jiān)控和安全管理工具無法對其進(jìn)行管理，也意味著管理和安全的復(fù)雜性大大增加了。10.4.2虛擬交換機(jī)在傳統(tǒng)的服務(wù)器虛擬化方案中，從虛擬機(jī)的虛擬網(wǎng)卡發(fā)出的數(shù)據(jù)包在經(jīng)過服務(wù)器的物理網(wǎng)片傳送到外部網(wǎng)絡(luò)的上聯(lián)交換機(jī)后，虛擬機(jī)的標(biāo)識信息被屏蔽掉了，上聯(lián)交換機(jī)只能感知從某個服務(wù)器的物理網(wǎng)卡流出的所有流量，而無法感知服務(wù)器內(nèi)某個虛擬機(jī)的流量，這桿就不能從傳統(tǒng)網(wǎng)絡(luò)設(shè)備層面來保證服務(wù)質(zhì)量和安全隔離。虛擬接入要解決的問題是要把虛擬機(jī)的網(wǎng)絡(luò)流量納入傳統(tǒng)網(wǎng)絡(luò)交換設(shè)備的管理之中，需要對虛擬機(jī)的流量做標(biāo)識。10.4.3接入層虛擬化虛擬網(wǎng)絡(luò)并不是全新的概念，事實上我們熟知的VLAN就是一種已有的方案。VLAN的作用是在一個大的物理二層網(wǎng)絡(luò)里劃分出多個互相隔離的虛擬三層網(wǎng)絡(luò)，這個方案在傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)中得到了廣泛的應(yīng)用。這里就引出了虛擬網(wǎng)絡(luò)的第一個需求：隔離；VLAN雖然很好地解決了這個需求。然而由于內(nèi)在的缺陷，VLAN無法滿足第二個需求，即可擴(kuò)展性（支持?jǐn)?shù)量龐大的虛擬網(wǎng)絡(luò)）。隨著云計算的興起，一個數(shù)據(jù)中心需要支持上百萬的用戶，每個用戶需要的子網(wǎng)可能也不止一個。在這樣的需求背景下，VLAN已經(jīng)遠(yuǎn)遠(yuǎn)不敷使用，需要重新思考虛擬網(wǎng)絡(luò)的設(shè)計與實現(xiàn)。10.4.4覆蓋網(wǎng)絡(luò)虛擬化當(dāng)虛擬數(shù)據(jù)中心開始普及后，其本身的一些特性也帶來對網(wǎng)絡(luò)新的需求。物理機(jī)的位置一般是相對固定的，虛擬化方案的一個很大的特性在于虛擬機(jī)可以遷移。當(dāng)遷移發(fā)生在不同網(wǎng)絡(luò)、不同數(shù)據(jù)中心之間時，對網(wǎng)絡(luò)產(chǎn)生了新的要求，比如需要保證虛擬機(jī)的IP在遷移前后不發(fā)生改變，需要保證虛擬機(jī)內(nèi)運(yùn)行的應(yīng)用程序在遷移后仍可以跨越網(wǎng)絡(luò)和數(shù)據(jù)中心進(jìn)行通信等。這又引出了虛擬網(wǎng)絡(luò)的第三個需求：支持動態(tài)遷移。10.4.4覆蓋網(wǎng)絡(luò)虛擬化覆蓋網(wǎng)絡(luò)虛擬化就是應(yīng)以上需求而生的，它可以更好地滿足云計算和下一代數(shù)據(jù)中心的需求，它為用戶虛擬化應(yīng)用帶來了許多好處（特別是對大規(guī)模的、分布式的數(shù)據(jù)處理），包括：（1）虛擬網(wǎng)絡(luò)的動態(tài)創(chuàng)建與分配；（2）虛擬機(jī)的動態(tài)遷移（跨子網(wǎng)、跨數(shù)據(jù)中心）；（3）一個虛擬網(wǎng)絡(luò)可以跨多個數(shù)據(jù)中心；（4）將物理網(wǎng)絡(luò)與虛擬網(wǎng)絡(luò)的管理分離；（5）安全（邏輯抽象與完全隔離）。10.4.4覆蓋網(wǎng)絡(luò)虛擬化OpenFlow和SDN（軟件定義網(wǎng)絡(luò)）盡管不是專門為網(wǎng)絡(luò)虛擬化而生，但是它們帶來的標(biāo)準(zhǔn)化和靈活性卻給網(wǎng)絡(luò)虛擬化的發(fā)展帶來無限可能。OpenFlow起源于斯坦福大學(xué)的CleanSlate項目組，其目的是要重新發(fā)明因特網(wǎng)，旨在改變現(xiàn)有的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)。2006年，斯坦福的學(xué)生馬丁·卡薩多領(lǐng)導(dǎo)的Ethane項目試圖通過一個集中式的控制器，讓網(wǎng)絡(luò)管理員可以方便地定義基于網(wǎng)絡(luò)流的安全控制策略，并將這些安全策略應(yīng)用到各種網(wǎng)絡(luò)設(shè)備中，從而實現(xiàn)對整個網(wǎng)絡(luò)通信的安全控制。10.4.5軟件定義網(wǎng)絡(luò)（SDN）受此項目啟發(fā)，研究人員發(fā)現(xiàn)如果將傳統(tǒng)網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)轉(zhuǎn)發(fā)和路由控制兩個功能模塊相分離，通過集中式的控制器以標(biāo)準(zhǔn)化的接口對各種網(wǎng)絡(luò)設(shè)備進(jìn)行管理和配置，這將為網(wǎng)絡(luò)資源的設(shè)計、管理和使用提供更多的可能性，從而更容易推動網(wǎng)絡(luò)的革新與發(fā)展。10.4.5軟件定義網(wǎng)絡(luò)（SDN）OpenFlow可能的應(yīng)用場景包括：（1）校園網(wǎng)絡(luò)中對實驗性通信協(xié)議的支持；（2）網(wǎng)絡(luò)管理和訪問控制；（3）網(wǎng)絡(luò)隔離和VLAN；（4）基于WiFi的移動網(wǎng)絡(luò)；（5）非IP網(wǎng)絡(luò)；（6）基于網(wǎng)絡(luò)包的處理。10.4.5軟件定義網(wǎng)絡(luò)（SDN）PART05存儲虛擬化存儲虛擬化是一種貫穿于整個IT環(huán)境、用于簡化本來可能會相對復(fù)雜的底層基礎(chǔ)架構(gòu)的技術(shù)。存儲虛擬化的思想是將資源的邏輯映像與物理存儲分開，從而為系統(tǒng)和管理員提供一幅簡化、無縫的資源虛擬視圖。10.5存儲虛擬化對于用戶來說，虛擬化的存儲資源就像是一個巨大的“存儲池”，用戶不會看到具體的磁盤、磁帶，也不必關(guān)心自己的數(shù)據(jù)經(jīng)過哪一條路徑通往哪一個具體的存儲設(shè)備。

圖10-10異構(gòu)環(huán)境構(gòu)建存儲虛擬化10.5存儲虛擬化從管理的角度來看，虛擬存儲池是采取集中化的管理，并根據(jù)具體的需求把存儲資源動態(tài)地分配給各個應(yīng)用。值得特別指出的是，利用虛擬化技術(shù)，可以用磁盤陣列模擬磁帶庫，為應(yīng)用提供速度像磁盤一樣快、容量卻像磁帶庫一樣大的存儲資源，這就是當(dāng)今應(yīng)用越來越廣泛的虛擬磁帶庫，在當(dāng)今企業(yè)存儲系統(tǒng)中扮演著越來越重要的角色。10.5存儲虛擬化將存儲作為池子一樣，存儲空間如同一個流動的池子的水一樣，可以任意地根據(jù)需要進(jìn)行分配。通過將一個（或多個）目標(biāo)服務(wù)或功能與其它附加的功能集成，統(tǒng)一提供有用的全面功能服務(wù)。典型的虛擬化包括如下一些情況：屏蔽系統(tǒng)的復(fù)雜性，增加或集成新的功能，仿真、整合或分解現(xiàn)有的服務(wù)功能等。虛擬化是作用在一個或者多個實體上的，而這些實體則是用來提供存儲資源及服務(wù)的。10.5存儲虛擬化PART06云計算服務(wù)形式云計算按照服務(wù)的組織方式不同，有公有云、私有云、混合云之分。公有云向所有人提供服務(wù)，典型的公有云提供商例如阿里云、騰訊云等，人們可以用相對低廉的價格方便地使用虛擬主機(jī)服務(wù)。私有云往往只針對特定客戶群提供服務(wù)，比如一個企業(yè)內(nèi)部IT可以在自己的數(shù)據(jù)中心搭建私有云，并向企業(yè)內(nèi)部提供服務(wù)。也有部分企業(yè)整合了內(nèi)部私有云和公有云，統(tǒng)一交付云服務(wù)，這就是混合云。10.6云計算服務(wù)形式云計算包括以下幾個層次的服務(wù)：基礎(chǔ)設(shè)施即服務(wù)（IaaS），平臺即服務(wù)（PaaS）和軟件即服務(wù)（SaaS）。這里，分層體系架構(gòu)意義上的“層次”IaaS、PaaS和SaaS分別在基礎(chǔ)設(shè)施層、軟件開放運(yùn)行平臺層和應(yīng)用軟件層實現(xiàn)。

圖10-11IaaS和PaaS都脫胎于SaaS10.6.1云計算的服務(wù)層次IaaS（基礎(chǔ)設(shè)施即服務(wù)）：消費(fèi)者通過因特網(wǎng)可以從完善的計算機(jī)基礎(chǔ)設(shè)施獲得服務(wù)。IaaS通過網(wǎng)絡(luò)向用戶提供計算機(jī)（物理機(jī)和虛擬機(jī)）、存儲空間、網(wǎng)絡(luò)連接、負(fù)載均衡和防火墻等基本計算資源；用戶在此基礎(chǔ)上部署和運(yùn)行各種軟件，包括操作系統(tǒng)和應(yīng)用程序。例如，通過亞馬遜的AWS，用戶可以按需定制所要的虛擬主機(jī)和塊存儲等，在線配置和管理這些資源。10.6.1云計算的服務(wù)層次PaaS（平臺即服務(wù)）：實際上是指將軟件研發(fā)的平臺作為一種服務(wù)，以SaaS的模式提交給用戶。因此，PaaS也是SaaS模式的一種應(yīng)用。但是，PaaS的出現(xiàn)可以加快SaaS的發(fā)展，尤其是加快SaaS應(yīng)用的開發(fā)速度。平臺通常包括操作系統(tǒng)、編程語言的運(yùn)行環(huán)境、數(shù)據(jù)庫和Web服務(wù)器，用戶在此平臺上部署和運(yùn)行自己的應(yīng)用。用戶不能管理和控制底層的基礎(chǔ)設(shè)施，只能控制自己部署的應(yīng)用。目前常見的PaaS提供商有CloudFoundry、谷歌的GAE等。10.6.1云計算的服務(wù)層次SaaS（軟件即服務(wù)）：是一種通過因特網(wǎng)提供軟件的模式，用戶無需購買軟件，而是向提供商租用基于Web的軟件，來管理企業(yè)經(jīng)營活動，例如郵件服務(wù)、數(shù)據(jù)處理服務(wù)、財務(wù)管理服務(wù)等。10.6.1云計算的服務(wù)層次DaaS（數(shù)據(jù)即服務(wù)）：是繼IaaS、PaaS、SaaS之后又一個新的服務(wù)概念，指數(shù)據(jù)為決策提供依據(jù)，數(shù)據(jù)可以轉(zhuǎn)化為財富。DaaS是一個跨越大數(shù)據(jù)基礎(chǔ)設(shè)施和應(yīng)用的領(lǐng)域。過去的公司一般先獲得大數(shù)據(jù)集，然后再使用——通常難以獲得當(dāng)前數(shù)據(jù)，或從互聯(lián)網(wǎng)上得到即時數(shù)據(jù)。但是現(xiàn)在，出現(xiàn)了各種各樣的DaaS供應(yīng)商，例如鄧白氏公司為金融、地址以及其他形式的數(shù)據(jù)提供網(wǎng)絡(luò)編程接口，費(fèi)埃哲公司（FICO）提供財務(wù)信息等等。10.6.1云計算的服務(wù)層次長期以來，信息技術(shù)的發(fā)展主要解決的是云計算中結(jié)構(gòu)化數(shù)據(jù)的存儲、處理與應(yīng)用。結(jié)構(gòu)化數(shù)據(jù)的特征是“邏輯性強(qiáng)”，每個“因”都有“果”。然而，現(xiàn)實社會中大量數(shù)據(jù)事實上沒有“顯現(xiàn)”的因果關(guān)系，如一個時刻的交通堵塞、天氣狀態(tài)、人的心理狀態(tài)等，它的特征是隨時、海量與彈性的，如一個突變天氣分析包含會有幾百個PB數(shù)據(jù)。而一個社會事件如喬布斯去世瞬間所產(chǎn)生在互聯(lián)網(wǎng)上的數(shù)據(jù)（微博、紀(jì)念、文章、視頻等）也是突然爆發(fā)出來的。10.6.2大數(shù)據(jù)與云相輔相成傳統(tǒng)的計算機(jī)設(shè)計與軟件都是以解決結(jié)構(gòu)化數(shù)據(jù)為主，對“非結(jié)構(gòu)”要求一種新的計算架構(gòu)。互聯(lián)網(wǎng)時代，尤其是社交網(wǎng)絡(luò)、電子商務(wù)與移動通信把人類社會帶入一個以“PB”為單位的結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)信息的新時代，它就是“大數(shù)據(jù)”時代。10.6.2大數(shù)據(jù)與云相輔相成云計算和大數(shù)據(jù)在很大程度上是相輔相成的，最大的不同在于：云計算是你在做的事情，而大數(shù)據(jù)是你所擁有的東西。以云計算為基礎(chǔ)的信息存儲、分享和挖掘手段為知識生產(chǎn)提供了工具，而通過對大數(shù)據(jù)分析、預(yù)測會使得決策更加精準(zhǔn)，兩者相得益彰。從另一個角度講，云計算是一種IT理念、技術(shù)架構(gòu)和標(biāo)準(zhǔn)，而云計算也不可避免地會產(chǎn)生大量的數(shù)據(jù)。所以說，大數(shù)據(jù)技術(shù)與云計算的發(fā)展密切相關(guān)，大型的云計算應(yīng)用不可或缺的就是數(shù)據(jù)中心的建設(shè)，大數(shù)據(jù)技術(shù)是云計算技術(shù)的延伸。10.6.2大數(shù)據(jù)與云相輔相成所以，云計算是硬件資源的虛擬化；大數(shù)據(jù)是海量數(shù)據(jù)的高效處理。整體來看，未來的趨勢是，云計算作為計算資源的底層，支撐著上層的大數(shù)據(jù)處理，而大數(shù)據(jù)的發(fā)展趨勢是，實時交互式的查詢效率和分析能力。10.6.2大數(shù)據(jù)與云相輔相成相對于普通應(yīng)用，大數(shù)據(jù)的分析與處理對網(wǎng)絡(luò)有著更高的要求，涉及從帶寬到延時，從吞吐率到負(fù)載均衡，以及可靠性、服務(wù)質(zhì)量控制等方方面面。同時隨著越來越多的大數(shù)據(jù)應(yīng)用部署到云計算平臺中，對虛擬網(wǎng)絡(luò)的管理需求就越來越高。首先，網(wǎng)絡(luò)接入設(shè)備虛擬化的發(fā)展，在保證多租戶服務(wù)模式的前提下，還能同時兼顧高性能與低延時、低CPU占用率。其次，接入層的虛擬化保證了虛擬機(jī)在整個網(wǎng)絡(luò)中的可見性，使得基于虛擬機(jī)粒度（或大數(shù)據(jù)應(yīng)用粒度）的服務(wù)質(zhì)量控制成為可能。10.6.2大數(shù)據(jù)與云相輔相成覆蓋網(wǎng)絡(luò)的虛擬化，一方面使得大數(shù)據(jù)應(yīng)用能夠得到有效的網(wǎng)絡(luò)隔離，更好地保證了數(shù)據(jù)通信的安全；另一力面也使得應(yīng)用的動態(tài)遷移更加便捷，保證了應(yīng)用的性能和可靠性。軟件定義的網(wǎng)絡(luò)更是從全局的視角來重新管理和規(guī)劃網(wǎng)絡(luò)資源，使得整體的網(wǎng)絡(luò)資源利用率得到優(yōu)化利用?？傊?，網(wǎng)絡(luò)虛擬化技術(shù)通過對性能、可靠性和資源優(yōu)化利用的貢獻(xiàn)，間接提高了大數(shù)據(jù)系統(tǒng)的可靠性和運(yùn)行效率。10.6.2大數(shù)據(jù)與云相輔相成當(dāng)然，許多人仍然對能否利用公共云基礎(chǔ)設(shè)施持有懷疑。過去，這項服務(wù)一直存在著三個潛在問題：（1）企業(yè)覺得這項服務(wù)不安全。內(nèi)部基礎(chǔ)設(shè)施被認(rèn)為更有保障。（2）許多大供應(yīng)商根本不提供軟件的互聯(lián)網(wǎng)/云版本。公司必須購買硬件，自行運(yùn)行軟件或者雇用