《云計(jì)算導(dǎo)論》課件云計(jì)算導(dǎo)論 第3章3.2之后

1、云計(jì)算系統(tǒng)關(guān)鍵技術(shù)馮丹總體介紹目的：通過對(duì)分布式、虛擬化和云平臺(tái)等技術(shù)的講解，讓學(xué)生了解或掌握云計(jì)算系統(tǒng)的一些關(guān)鍵技術(shù)，并理解 “分布式”、“虛擬化”和“通過定制技術(shù)，形成服務(wù)封裝”等思想。內(nèi)容：3.2節(jié)（分布式技術(shù)）： 從分布式系統(tǒng)、分布式計(jì)算、分布式存儲(chǔ)等3個(gè)方面的分布式技術(shù)3.3節(jié)（虛擬化技術(shù)）：介紹虛擬化的基本概念，并從計(jì)算虛擬化、存儲(chǔ)虛擬化、網(wǎng)絡(luò)虛擬化和桌面虛擬化等4個(gè)方面分析虛擬化的技術(shù)細(xì)節(jié)3.4節(jié)（云平臺(tái)技術(shù)）：介紹了服務(wù)計(jì)算、多租戶以及容器等核心技術(shù)總體介紹知識(shí)點(diǎn)：分布式技術(shù)和虛擬化技術(shù)云平臺(tái)的技術(shù)發(fā)展?fàn)顩r服務(wù)計(jì)算、多租戶以及容器技術(shù)課時(shí)安排3.2節(jié)（分布式技術(shù)）：建議1.5個(gè)

2、課時(shí)3.3節(jié)（虛擬化技術(shù)）：建議1.5個(gè)課時(shí)3.4節(jié)（云平臺(tái)技術(shù)）：建議1個(gè)課時(shí)實(shí)踐課：建議4個(gè)課時(shí)實(shí)踐課安排實(shí)驗(yàn)題目：(見3.2.2小節(jié)后的思考題) 利用MapReduce方法對(duì)輸入文件中所有數(shù)據(jù)按照從小到大的順序排序?qū)嶒?yàn)?zāi)康氖煜adoop平臺(tái)通過實(shí)驗(yàn)掌握基本的MapReduce編程方法掌握用MapReduce解決數(shù)據(jù)排序等常見的數(shù)據(jù)處理問題通過操作MapReduce的實(shí)驗(yàn)，模仿實(shí)驗(yàn)內(nèi)容，深入理解MapReduce的過程，熟悉MapReduce程序的編程方式實(shí)驗(yàn)平臺(tái)操作系統(tǒng):Ubuntu-16.04Hadoop版本:2.6.0JDK版本:1.8IDE:Eclipse提綱分布式技術(shù)（3.2節(jié)

3、）虛擬化技術(shù)（3.3節(jié)）云平臺(tái)技術(shù)（3.4節(jié)）提綱分布式技術(shù)（3.2節(jié)）虛擬化技術(shù)（3.3節(jié)）云平臺(tái)技術(shù)（3.4節(jié)）分布式技術(shù)分布式系統(tǒng)（3.2.1節(jié)）分布式計(jì)算（3.2.2節(jié)）分布式存儲(chǔ)/數(shù)據(jù)管理（3.2.3節(jié)）分布式技術(shù)分布式系統(tǒng)（3.2.1節(jié)）分布式計(jì)算（3.2.2節(jié)）分布式存儲(chǔ)/數(shù)據(jù)管理（3.2.3節(jié)）分布式系統(tǒng)集中式系統(tǒng)定義：一個(gè)主機(jī)帶多個(gè)終端的系統(tǒng)，整個(gè)系統(tǒng)的數(shù)據(jù)的存儲(chǔ)、控制與處理則完全交由主機(jī)來完成；每個(gè)終端僅負(fù)責(zé)數(shù)據(jù)的輸入和輸出缺點(diǎn)：由于采用單節(jié)點(diǎn)部署，很可能帶來系統(tǒng)過大而難于維護(hù)、發(fā)生單點(diǎn)故障例子：大學(xué)選課時(shí)，如果學(xué)校的選課系統(tǒng)是部署在基于集中式系統(tǒng)的單機(jī)服務(wù)器上，所以常常是

4、大家不停刷新頁(yè)面，也可能擠不進(jìn)去服務(wù)器，導(dǎo)致選不了課分布式系統(tǒng)分布式系統(tǒng)定義：一組通過網(wǎng)絡(luò)進(jìn)行通信、為了完成共同的任務(wù)而協(xié)調(diào)工作的計(jì)算機(jī)節(jié)點(diǎn)組成的系統(tǒng)。設(shè)計(jì)思想：分片對(duì)于計(jì)算任務(wù)，系統(tǒng)將其進(jìn)行分割，每個(gè)節(jié)點(diǎn)計(jì)算其中的一部分內(nèi)容，然后將所有的計(jì)算結(jié)果進(jìn)行匯總；對(duì)于存儲(chǔ)任務(wù)，每個(gè)節(jié)點(diǎn)存儲(chǔ)其中的一部分?jǐn)?shù)據(jù)。分片的好處：提升系統(tǒng)的性能和并發(fā)度，操作被分發(fā)到相互獨(dú)立的不同分片上；提升系統(tǒng)的可用性，即使其中的部分分片不能用，其他的分片也不會(huì)受到影響。分布式系統(tǒng)分布式系統(tǒng)的特點(diǎn)低成本：滿足需求的單一大型機(jī)的價(jià)格往往造價(jià)高昂令人難以承受，人們發(fā)現(xiàn)使用多臺(tái)普通甚至廉價(jià)的計(jì)算機(jī)組成的分布式系統(tǒng)也可以完成同樣的任務(wù)

5、。低成本分布式系統(tǒng)分布式系統(tǒng)的特點(diǎn)高性能：分布式系統(tǒng)擁有單個(gè)大型集中式系統(tǒng)所不能達(dá)到的性能。比如淘寶網(wǎng)，每天有千萬甚至上億的用戶同時(shí)訪問，此時(shí)單一大型機(jī)遠(yuǎn)遠(yuǎn)無法承載如此多的訪問量。 低成本高性能分布式系統(tǒng)分布式系統(tǒng)的特點(diǎn)多用戶：分布式系統(tǒng)是由大量的機(jī)器組成的，這些機(jī)器不僅可以共同用來完成一個(gè)任務(wù)，也可以分解開來用來完成多個(gè)用戶的多個(gè)任務(wù)。低成本高性能多用戶分布式系統(tǒng)分布式系統(tǒng)的特點(diǎn)分布式：分布式系統(tǒng)中的計(jì)算機(jī)在地理空間上的分布幾乎沒有任何限制可能部署在不同的城市、國(guó)家甚至大洲。另外，由于一些應(yīng)用本身是分布式的，所以它們更適合運(yùn)行于分布式系統(tǒng)上。低成本高性能多用戶分布式分布式系統(tǒng)分布式系統(tǒng)的特點(diǎn)

6、協(xié)同工作：協(xié)同工作即一組相互之間在物理上距離較遠(yuǎn)的人員可以一起進(jìn)行工作。例如，位于全國(guó)各地的多個(gè)游戲玩家使用自己的計(jì)算機(jī)在網(wǎng)絡(luò)上進(jìn)行實(shí)時(shí)游戲。低成本高性能多用戶分布式協(xié)同工作分布式系統(tǒng)分布式系統(tǒng)的特點(diǎn)高可靠性：分布式系統(tǒng)把工作負(fù)載分散到眾多的機(jī)器上，當(dāng)出現(xiàn)單臺(tái)機(jī)器發(fā)生故障時(shí)，其它機(jī)器不會(huì)受到影響。低成本高性能多用戶分布式協(xié)同工作高可靠分布式系統(tǒng)分布式系統(tǒng)的特點(diǎn)高可擴(kuò)展性：相比于單一機(jī)器，采用分布式系統(tǒng)，在需求增多的時(shí)候，公司僅僅需要在系統(tǒng)中增加一些機(jī)器就可以了，幾乎無額外開銷。低成本高性能多用戶分布式協(xié)同工作高可靠高可擴(kuò)展分布式技術(shù)分布式系統(tǒng)（3.2.1節(jié)）分布式計(jì)算（3.2.2節(jié)）分布式存儲(chǔ)

7、/數(shù)據(jù)管理（3.2.3節(jié)）分布式計(jì)算場(chǎng)景：航空公司的網(wǎng)頁(yè)廣告精準(zhǔn)投送的場(chǎng)景19廣告推送大量數(shù)據(jù)進(jìn)行實(shí)時(shí)分析分布式計(jì)算直觀解決方案： 用并行分布的方式來對(duì)這些數(shù)據(jù)進(jìn)行處理。也就是通過交換機(jī)將大量計(jì)算機(jī)連接成集群來進(jìn)行大規(guī)模并行計(jì)算。需解決的問題：（1）如何將計(jì)算任務(wù)分布到計(jì)算節(jié)點(diǎn)機(jī)上？（2）怎樣更簡(jiǎn)單、高效的進(jìn)行分布式編程？分布式計(jì)算定義： 分布式計(jì)算技術(shù)是研究如何把一個(gè)需要海量計(jì)算能力的任務(wù)分成許多小的任務(wù)，然后把這些小的任務(wù)分配給大量的計(jì)算機(jī)進(jìn)行處理，最后通過綜合這些計(jì)算結(jié)果來得到最終的結(jié)果。特點(diǎn)：可通過將計(jì)算均勻分布在多臺(tái)計(jì)算機(jī)上來平衡計(jì)算負(fù)載分布式計(jì)算定義： 分布式計(jì)算技術(shù)是研究如何把一

8、個(gè)需要海量計(jì)算能力的任務(wù)分成許多小的任務(wù)，然后把這些小的任務(wù)分配給大量的計(jì)算機(jī)進(jìn)行處理，最后通過綜合這些計(jì)算結(jié)果來得到最終的結(jié)果。特點(diǎn)：計(jì)算資源可以被多個(gè)用戶共享分布式計(jì)算定義： 分布式計(jì)算技術(shù)是研究如何把一個(gè)需要海量計(jì)算能力的任務(wù)分成許多小的任務(wù)，然后把這些小的任務(wù)分配給大量的計(jì)算機(jī)進(jìn)行處理，最后通過綜合這些計(jì)算結(jié)果來得到最終的結(jié)果。特點(diǎn)：可適配最佳的運(yùn)行環(huán)境，針對(duì)程序特性與需求將其放在最適合的機(jī)器上來運(yùn)行分布式計(jì)算商業(yè)應(yīng)用解決方案之一：MapReduce功能：MapReduce是Hadoop中用來在集群上使用并行、分布式算處理和生成大數(shù)據(jù)集的軟件框架。結(jié)構(gòu)：MapReduce程序是由映射（

9、Map）函數(shù)和歸約（Reduce）函數(shù)組成映射：映射函數(shù)執(zhí)行過濾和排序，比如對(duì)學(xué)生按姓名順序進(jìn)行排序。歸約：歸約方法則是執(zhí)行一個(gè)匯總操作，比如計(jì)算每個(gè)隊(duì)列中的學(xué)生數(shù)，以及姓名出現(xiàn)的頻率。分布式計(jì)算商業(yè)應(yīng)用解決方案之一：MapReduce流程舉例：對(duì)“My name is Ann”和“My name is Bob”這兩句話進(jìn)行詞頻統(tǒng)計(jì)。分布式計(jì)算商業(yè)應(yīng)用解決方案之一：MapReduce架構(gòu)：主從架構(gòu)，包括客戶端、作業(yè)跟蹤器、任務(wù)跟蹤器和任務(wù)分布式計(jì)算商業(yè)應(yīng)用解決方案之二：Spark動(dòng)機(jī)：對(duì)于大數(shù)據(jù)處理，MapReduce的計(jì)算量非常大，計(jì)算速度不夠快。概念： Spark是一個(gè)圍繞速度、易用性和復(fù)

10、雜分析構(gòu)建的大數(shù)據(jù)處理框架，它以其先進(jìn)的設(shè)計(jì)理念，迅速成為大數(shù)據(jù)社區(qū)的熱門項(xiàng)目。在廣告業(yè)務(wù)方面，大數(shù)據(jù)應(yīng)用分析、效果分析、定向優(yōu)化等；在推薦系統(tǒng)方面，大數(shù)據(jù)優(yōu)化相關(guān)排名、個(gè)性化推薦以及熱點(diǎn)點(diǎn)擊分析等。分布式計(jì)算商業(yè)應(yīng)用解決方案之二：Spark優(yōu)點(diǎn)（和MapReduce相比）：Spark把中間數(shù)據(jù)存放于內(nèi)存中，使得迭代運(yùn)算的效率提升。MapReduce中計(jì)算結(jié)果需要保存到磁盤上，這樣勢(shì)必會(huì)影響整體速度。分布式計(jì)算商業(yè)應(yīng)用解決方案之二：Spark優(yōu)點(diǎn)（和MapReduce相比）：Spark引進(jìn)了彈性分布式數(shù)據(jù)集(Resilient Distributed Dataset, RDD)，它是分布在一組

11、節(jié)點(diǎn)中的只讀對(duì)象的集合，這些集合是彈性的，如果數(shù)據(jù)集中的一部分丟失，則可以根據(jù)“血統(tǒng)”（即基于數(shù)據(jù)衍生過程）對(duì)它們進(jìn)行重建。分布式計(jì)算商業(yè)應(yīng)用解決方案之二：Spark優(yōu)點(diǎn)（和MapReduce相比）：Spark提供了多種數(shù)據(jù)集的操作類型，而不像Hadoop的MapReduce只提供了映射和歸約兩種操作。Spark的操作類型大致可以分為：轉(zhuǎn)換（Transformations）和動(dòng)作（Actions）兩大類，轉(zhuǎn)換包括映射、過濾、取樣等操作；動(dòng)作包括歸約、檢索、保存等操作分布式計(jì)算場(chǎng)景回顧： 針對(duì)本節(jié)開始提到的廣告投放問題的案例，該公司借助Spark的快速迭代的優(yōu)勢(shì)，實(shí)現(xiàn)了“數(shù)據(jù)實(shí)時(shí)采集、算法實(shí)時(shí)訓(xùn)

12、練、系統(tǒng)實(shí)時(shí)預(yù)測(cè)”的實(shí)時(shí)算法，支持每天上百億的請(qǐng)求量。 通過對(duì)比發(fā)現(xiàn)，Spark性能比MapReduce提升很多。交互查詢響應(yīng)快，性能比MapReduce提高若干倍；廣告投放計(jì)算效率高、延遲?。ㄍ琀adoop比延遲至少降低一個(gè)數(shù)量級(jí)），極大的提高的計(jì)算性能。分布式技術(shù)分布式系統(tǒng)（3.2.1節(jié)）分布式計(jì)算（3.2.2節(jié)）分布式存儲(chǔ)（3.2.3節(jié)）分布式存儲(chǔ)存儲(chǔ)技術(shù)的發(fā)展：Title in here存儲(chǔ)和計(jì)算分離，或稱之為網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)分布式存儲(chǔ)，是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上存儲(chǔ)是和計(jì)算部署在一起，存儲(chǔ)作為計(jì)算主機(jī)的一部分分布式存儲(chǔ)分布式存儲(chǔ)的兩大主流技術(shù)：分布式文件系統(tǒng)：主要針對(duì)非結(jié)構(gòu)化數(shù)據(jù)

13、，比如文件分布式數(shù)據(jù)庫(kù)系統(tǒng)：主要針對(duì)結(jié)構(gòu)化數(shù)據(jù)，包括五類數(shù)據(jù)庫(kù)存儲(chǔ)模型，即行、列、鍵值、文檔、圖等。分布式存儲(chǔ)分布式存儲(chǔ)的兩大主流技術(shù)：分布式文件系統(tǒng)分布式數(shù)據(jù)庫(kù)系統(tǒng)分布式存儲(chǔ) - 分布式文件系統(tǒng)場(chǎng)景：臉書（Facebook）公司的數(shù)據(jù)存儲(chǔ)需求3620億分布式存儲(chǔ) - 分布式文件系統(tǒng)歷史： 文件系統(tǒng)是操作系統(tǒng)的一部分，起初運(yùn)行在單機(jī)上。隨著網(wǎng)絡(luò)的普及，出現(xiàn)了文件服務(wù)器，采用集中的存儲(chǔ)服務(wù)器存放所有文件數(shù)據(jù)。分布式應(yīng)用對(duì)文件系統(tǒng)提出了一系列挑戰(zhàn)，逐漸采用分布式系統(tǒng)而不是集中式系統(tǒng)進(jìn)行文件管理概念： 分布式文件系統(tǒng)（Distributed File System，DFS）的設(shè)計(jì)基于客戶機(jī)/服務(wù)器模

14、式，存儲(chǔ)在其中的數(shù)據(jù)被分為很多塊，這些塊分布于通過網(wǎng)絡(luò)連接的不同的服務(wù)器中，供多個(gè)用戶進(jìn)行讀寫刪除等操作。分布式存儲(chǔ) - 分布式文件系統(tǒng)一致性問題： 如何在多個(gè)分布化的存儲(chǔ)節(jié)點(diǎn)之間保證節(jié)點(diǎn)存儲(chǔ)的信息是一致的、節(jié)點(diǎn)工作步伐是一致的、節(jié)點(diǎn)狀態(tài)是一致的、以及節(jié)點(diǎn)間互相協(xié)調(diào)有序的工作。舉例：銀行轉(zhuǎn)賬，扣減掉轉(zhuǎn)出一方賬戶上的余額，然后增加轉(zhuǎn)入一方賬戶的余額： 如果扣減賬戶余額成功，但增加對(duì)方賬戶余額失敗，那么轉(zhuǎn)出一方就會(huì)損失這筆資金。 如果扣減賬戶余額失敗，增加對(duì)方賬戶余額成功，那么銀行就會(huì)損失這筆資金。分布式存儲(chǔ) - 分布式文件系統(tǒng)一致性問題： 如何在多個(gè)分布化的存儲(chǔ)節(jié)點(diǎn)之間保證節(jié)點(diǎn)存儲(chǔ)的信息是一致的

15、、節(jié)點(diǎn)工作步伐是一致的、節(jié)點(diǎn)狀態(tài)是一致的、以及節(jié)點(diǎn)間互相協(xié)調(diào)有序的工作。ACID原理： A: Atomicity，原子性C: Consistency,一致性I: Isolation，隔離性D: Durability，持久性保證每個(gè)事務(wù)是原子的，或者成功或者失敗 事務(wù)間是隔離的，互相完全不影響最終狀態(tài)是持久的寫入硬盤中的存儲(chǔ)系統(tǒng)會(huì)從一個(gè)明確的狀態(tài)到另外一個(gè)明確 的狀態(tài)，中間臨時(shí)狀態(tài)不會(huì)出現(xiàn)，因此是一致的。分布式存儲(chǔ) - 分布式文件系統(tǒng)一致性問題： 如何在多個(gè)分布化的存儲(chǔ)節(jié)點(diǎn)之間保證節(jié)點(diǎn)存儲(chǔ)的信息是一致的、節(jié)點(diǎn)工作步伐是一致的、節(jié)點(diǎn)狀態(tài)是一致的、以及節(jié)點(diǎn)間互相協(xié)調(diào)有序的工作。CAP原理：C: Co

16、nsistency一致性A：Availability 可用性P：Partition tolerance 分區(qū)容忍性在分布式系統(tǒng)中所有數(shù)據(jù)備份，在同一時(shí)刻具有同樣的值，所有節(jié)點(diǎn)在同一時(shí)刻讀取的數(shù)據(jù)都是最新數(shù)據(jù)的副本好的響應(yīng)性能，服務(wù)在有限的時(shí)間內(nèi)完成響應(yīng)網(wǎng)絡(luò)上有部分?jǐn)?shù)據(jù)丟失，但系統(tǒng)仍然可以繼續(xù)工作分布式存儲(chǔ) - 分布式文件系統(tǒng)一致性問題： 如何在多個(gè)分布化的存儲(chǔ)節(jié)點(diǎn)之間保證節(jié)點(diǎn)存儲(chǔ)的信息是一致的、節(jié)點(diǎn)工作步伐是一致的、節(jié)點(diǎn)狀態(tài)是一致的、以及節(jié)點(diǎn)間互相協(xié)調(diào)有序的工作。CAP原理：在分布式系統(tǒng)中，對(duì)于這C、A、P這三者不能同時(shí)滿足，簡(jiǎn)而言之就是：1）要想讓數(shù)據(jù)避免單點(diǎn)故障，就得寫多份數(shù)據(jù)。2）寫多份

17、的問題會(huì)導(dǎo)致數(shù)據(jù)一致性的問題。3）數(shù)據(jù)一致性的問題又會(huì)引發(fā)性能問題。分布式存儲(chǔ) - 分布式文件系統(tǒng)商業(yè)應(yīng)用解決方案：HDFS動(dòng)機(jī)：Hadoop分布式文件系統(tǒng)是為了在擁有大量機(jī)器的集群中跨機(jī)器的對(duì)大量文件進(jìn)行可靠存儲(chǔ)而設(shè)計(jì)的。優(yōu)點(diǎn)：高度容錯(cuò)性，適合部署在大量廉價(jià)的機(jī)器上；非常高的吞吐量，非常適合那些在大規(guī)模數(shù)據(jù)集上的應(yīng)用；流式讀取文件系統(tǒng)數(shù)據(jù)。 以上這些優(yōu)點(diǎn)使得其非常適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。分布式存儲(chǔ) - 分布式文件系統(tǒng)商業(yè)應(yīng)用解決方案：HDFS特點(diǎn)：HDFS拿出一臺(tái)或多臺(tái)機(jī)器（名字節(jié)點(diǎn)）來保存元數(shù)據(jù)，并讓剩下的機(jī)器來保存文件的內(nèi)容。名字節(jié)點(diǎn)相當(dāng)于系統(tǒng)的管理者，不僅要管理存儲(chǔ)在HDFS

18、上內(nèi)容的元數(shù)據(jù)，而且要記錄一些日志與信息，比如哪些節(jié)點(diǎn)是集群的一部分，某個(gè)文件有幾份副本等。分布式存儲(chǔ) - 分布式文件系統(tǒng)商業(yè)應(yīng)用解決方案：HDFS特點(diǎn)：在HDFS中，文件會(huì)被切分成大小相同的數(shù)據(jù)塊（通常為為64MB），然后將這些塊寫入到文件系統(tǒng)中。同一個(gè)文件的不同數(shù)據(jù)塊一般會(huì)保存在不同的數(shù)據(jù)節(jié)點(diǎn)上。這樣做帶來以下好處：首先，當(dāng)對(duì)這些文件執(zhí)行運(yùn)算時(shí)，能夠通過并行方式讀取和處理文件的不同部分；其次，可以并行的寫入來提升寫效率。分布式存儲(chǔ) - 分布式文件系統(tǒng)商業(yè)應(yīng)用解決方案：HDFS特點(diǎn)：數(shù)據(jù)節(jié)點(diǎn)會(huì)周期性發(fā)送心跳信息給名字節(jié)點(diǎn) (默認(rèn)是每3秒鐘一次)。如果名字節(jié)點(diǎn)在預(yù)定的時(shí)間沒有收到數(shù)據(jù)節(jié)點(diǎn)的心跳

19、信息(默認(rèn)是10分鐘)，它就會(huì)認(rèn)為數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)問題了，名字節(jié)點(diǎn)會(huì)把該數(shù)據(jù)節(jié)點(diǎn)從集群中移除，并且啟動(dòng)一個(gè)進(jìn)程去恢復(fù)數(shù)據(jù)。HDFS默認(rèn)采用三副本冗余策略，這意味著所有數(shù)據(jù)塊均有三個(gè)部分保持在三個(gè)節(jié)點(diǎn)上。分布式存儲(chǔ) - 分布式文件系統(tǒng)商業(yè)應(yīng)用解決方案：HDFS架構(gòu)：名字節(jié)點(diǎn)，數(shù)據(jù)節(jié)點(diǎn)，第二名字節(jié)點(diǎn)名字節(jié)點(diǎn)：管理數(shù)據(jù)塊映射；處理客戶端的讀寫請(qǐng)求；配置副本策略；管理HDFS的名稱空間分布式存儲(chǔ) - 分布式文件系統(tǒng)商業(yè)應(yīng)用解決方案：HDFS架構(gòu)：名字節(jié)點(diǎn)，數(shù)據(jù)節(jié)點(diǎn)，第二名字節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)：負(fù)責(zé)存儲(chǔ)客戶端發(fā)來的數(shù)據(jù)塊；執(zhí)行數(shù)據(jù)塊的讀寫操作；分布式存儲(chǔ) - 分布式文件系統(tǒng)商業(yè)應(yīng)用解決方案：HDFS架構(gòu)：名字節(jié)點(diǎn)

20、，數(shù)據(jù)節(jié)點(diǎn)，第二名字節(jié)點(diǎn)第二名字節(jié)點(diǎn)：保存著名字節(jié)點(diǎn)的部分信息（不是全部信息，當(dāng)名字節(jié)點(diǎn)宕掉之后用來恢復(fù)數(shù)據(jù)），是名字節(jié)點(diǎn)的冷備份分布式存儲(chǔ) - 分布式文件系統(tǒng)場(chǎng)景回顧： 針對(duì)本小節(jié)開始提到的臉書存儲(chǔ)數(shù)據(jù)激增的案例，臉書后來部署了一個(gè)HDFS集群。 隨著集群的規(guī)模和使用迅速增長(zhǎng)，現(xiàn)在臉書正在運(yùn)行世界第二大HDFS集群系統(tǒng)，存放的數(shù)據(jù)超過了2 PB，每天給它加載的數(shù)據(jù)超過10 TB。分布式存儲(chǔ)分布式存儲(chǔ)的兩大主流技術(shù)：分布式文件系統(tǒng)分布式數(shù)據(jù)庫(kù)系統(tǒng)分布式存儲(chǔ) - 分布式數(shù)據(jù)庫(kù)場(chǎng)景：電商應(yīng)用的交易快照的數(shù)據(jù)存儲(chǔ)需求51交易快照數(shù)據(jù)特點(diǎn)：?jiǎn)螚l數(shù)據(jù)小，條數(shù)多，高速讀取不能丟，需要持久化保存，滿足高可靠

21、性分布式存儲(chǔ) - 分布式數(shù)據(jù)庫(kù)概念： 分布式數(shù)據(jù)庫(kù)系統(tǒng)通常使用較小的計(jì)算機(jī)系統(tǒng)，每臺(tái)計(jì)算機(jī)中都可能有數(shù)據(jù)庫(kù)管理系統(tǒng)(Database Management System, DBMS)的一份完整拷貝副本，并具有自己的局部數(shù)據(jù)庫(kù)，位于不同地點(diǎn)的許多計(jì)算機(jī)通過網(wǎng)絡(luò)互相連接，共同組成一個(gè)完整的、全局的邏輯上集中、物理上分布的大型數(shù)據(jù)庫(kù)。分布式存儲(chǔ) - 分布式數(shù)據(jù)庫(kù)設(shè)計(jì)特點(diǎn)：提供冗余容錯(cuò)機(jī)制，保證數(shù)據(jù)和服務(wù)的高度可靠性分布式存儲(chǔ) - 分布式數(shù)據(jù)庫(kù)設(shè)計(jì)特點(diǎn)：可以及時(shí)響應(yīng)大規(guī)模用戶的讀/寫請(qǐng)求，能對(duì)海量數(shù)據(jù)進(jìn)行隨機(jī)讀/寫。分布式存儲(chǔ) - 分布式數(shù)據(jù)庫(kù)設(shè)計(jì)特點(diǎn)：可以動(dòng)態(tài)地增添存儲(chǔ)節(jié)點(diǎn)以實(shí)現(xiàn)存儲(chǔ)容量擴(kuò)展分布式存

22、儲(chǔ) - 分布式數(shù)據(jù)庫(kù)商業(yè)應(yīng)用解決方案：Hbase動(dòng)機(jī)：建立在HDFS之上，提供高可靠性、高性能、可伸縮和實(shí)時(shí)讀寫的分布式列存儲(chǔ)的開源數(shù)據(jù)庫(kù)系統(tǒng)。依托于Hadoop：分布式存儲(chǔ) - 分布式數(shù)據(jù)庫(kù)商業(yè)應(yīng)用解決方案：Hbase架構(gòu)： HRegion服務(wù)器, HMaster服務(wù)器, ZookeeperHRegion服務(wù)器:負(fù)責(zé)數(shù)據(jù)的讀寫，與客戶端進(jìn)行對(duì)話分布式存儲(chǔ) - 分布式數(shù)據(jù)庫(kù)商業(yè)應(yīng)用解決方案：Hbase架構(gòu)： HRegion服務(wù)器, HMaster服務(wù)器, ZookeeperHMaster服務(wù)器:分配Region，創(chuàng)建表，刪除表等操作分布式存儲(chǔ) - 分布式數(shù)據(jù)庫(kù)商業(yè)應(yīng)用解決方案：Hbase架構(gòu)：

23、 HRegion服務(wù)器, HMaster服務(wù)器, ZookeeperZooKeeper是一個(gè)分布式的，開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組服務(wù)等分布式存儲(chǔ) - 分布式數(shù)據(jù)庫(kù)場(chǎng)景回顧： 針對(duì)本小節(jié)開始提到的電商交易快照存儲(chǔ)的案例，有電商廠商設(shè)計(jì)了一個(gè)分布式數(shù)據(jù)庫(kù)系統(tǒng)存儲(chǔ)引擎，包括非持久化和持久化兩個(gè)部分。 其中非持久化部分是一個(gè)基于內(nèi)存的分布式緩存數(shù)據(jù)庫(kù)系統(tǒng)，持久化部分一個(gè)基于磁盤的分布式文件系統(tǒng)。 于是，該系統(tǒng)可以將快照的一個(gè)備份放在非持久化分布式數(shù)據(jù)庫(kù)系統(tǒng)以保證數(shù)據(jù)的高速并行讀取，另一個(gè)備份放在持久化的分布式文

24、件系統(tǒng)里以保證數(shù)據(jù)的高可靠性提綱分布式技術(shù)（3.2節(jié)）虛擬化技術(shù)（3.3節(jié)）云平臺(tái)技術(shù)（3.4節(jié)）虛擬化技術(shù)概念：虛擬化，是指將一臺(tái)計(jì)算機(jī)虛擬為多臺(tái)邏輯計(jì)算機(jī)，每個(gè)邏輯計(jì)算機(jī)可相互獨(dú)立運(yùn)行而互不影響，從而顯著提高計(jì)算機(jī)的工作效率。歷史：IBM公司發(fā)明了操作系統(tǒng)虛擬機(jī)技術(shù)，使其能在一臺(tái)主機(jī)上運(yùn)行多個(gè)操作系統(tǒng)，從而讓用戶盡可能地充分利用昂貴的大型機(jī)資源X86處理器的應(yīng)用普及，虛擬化技術(shù)開始進(jìn)入更廣泛應(yīng)用的X86平臺(tái)19801960大型機(jī)上的技術(shù)開始向小型機(jī)上移植，但真正使用大型機(jī)和小型機(jī)的用戶畢竟還是少數(shù)1965Windows NT上就支持Vmware來啟動(dòng)Windows 95。許多IT人員也幵始

25、在個(gè)人機(jī)或工作站上運(yùn)用這種虛擬化技術(shù)1998虛擬化技術(shù)和云計(jì)算之間的關(guān)系：資源的整合統(tǒng)一資源的匯聚云計(jì)算問題分區(qū)虛擬化技術(shù)隔離硬件獨(dú)立封裝解決虛擬化技術(shù)虛擬化技術(shù)特點(diǎn)：分區(qū)：大型的、擴(kuò)展能力強(qiáng)的硬件可被用來作為多臺(tái)獨(dú)立的服務(wù)器使用；在一個(gè)單獨(dú)的物理系統(tǒng)上，可以運(yùn)行多個(gè)虛擬的操作系統(tǒng)和應(yīng)用；計(jì)算資源可以被放置在資源池中，并能夠被有效地控制分區(qū)虛擬化技術(shù)隔離硬件獨(dú)立封裝虛擬化技術(shù)虛擬化技術(shù)特點(diǎn)：隔離：虛擬化能夠提供理想化的物理機(jī)，每個(gè)虛擬機(jī)互相隔離；數(shù)據(jù)不會(huì)在虛擬機(jī)之間泄露；應(yīng)用只能在配置好的網(wǎng)絡(luò)上進(jìn)行通訊。分區(qū)虛擬化技術(shù)隔離硬件獨(dú)立封裝虛擬化技術(shù)虛擬化技術(shù)特點(diǎn)：封裝：虛擬單元的所有環(huán)境被存放在一

26、個(gè)單獨(dú)文件中；為應(yīng)用展現(xiàn)的是標(biāo)準(zhǔn)化的虛擬硬件，確保兼容性；整個(gè)磁盤分區(qū)被存儲(chǔ)為一個(gè)文件，易于備份、轉(zhuǎn)移和拷貝分區(qū)虛擬化技術(shù)隔離硬件獨(dú)立封裝虛擬化技術(shù)虛擬化技術(shù)特點(diǎn)：硬件獨(dú)立：可以在其他服務(wù)器上不加修改的運(yùn)行虛擬機(jī)。虛擬技術(shù)支持高可用性、動(dòng)態(tài)資源調(diào)整，極大地提高系統(tǒng)的可持續(xù)運(yùn)行能力分區(qū)虛擬化技術(shù)隔離硬件獨(dú)立封裝虛擬化技術(shù)虛擬化技術(shù)是一種思想： IT界的所有硬件或者軟件都可以一種“服務(wù)組合”的抽象思想來處理，即形成一個(gè)可被用戶靈活調(diào)用的資源池，從而實(shí)現(xiàn)外部用戶業(yè)務(wù)系統(tǒng)和IT軟硬件環(huán)境的解耦。 這意味著，外部用戶業(yè)務(wù)系統(tǒng)無須了解軟硬件的實(shí)現(xiàn)細(xì)節(jié)，就能方便地使用各式各樣的軟硬件資源，就好像這些資源放在

27、一個(gè)黑箱里一樣，只需通過接口就能訪問，感受不到其真正的實(shí)體和虛體的區(qū)別，而這也通常被稱為“用戶透明化”。虛擬化技術(shù)計(jì)算虛擬化（3.3.1節(jié)）存儲(chǔ)虛擬化（3.3.2節(jié)）網(wǎng)絡(luò)虛擬化（3.3.3節(jié)）桌面虛擬化（3.3.4節(jié)）虛擬化技術(shù)計(jì)算虛擬化（3.3.1節(jié)）存儲(chǔ)虛擬化（3.3.2節(jié)）網(wǎng)絡(luò)虛擬化（3.3.3節(jié)）桌面虛擬化（3.3.4節(jié)）計(jì)算虛擬化場(chǎng)景：公有云計(jì)算的深度學(xué)習(xí)平臺(tái)71人工智能AI大數(shù)據(jù)Big Data云計(jì)算Cloud Computing獲取深度學(xué)習(xí)能力深度學(xué)習(xí)平臺(tái)共享圖形顯示處理器(GPU)訓(xùn)練計(jì)算虛擬化定義： 計(jì)算虛擬化是指在物理服務(wù)器的宿主機(jī)操作系統(tǒng)(Host OS)中加入一個(gè)虛擬化

28、層(Hypervisor)，在虛擬化層之上可以運(yùn)行多個(gè)客戶端操作系統(tǒng)(Guest OS)。資源利用率和靈活性。開源計(jì)算虛擬化軟件：KVM（ Kernel-based Virtual Machine ）CPU虛擬化內(nèi)存虛擬化GPU虛擬化計(jì)算虛擬化定義： 計(jì)算虛擬化是指在物理服務(wù)器的宿主機(jī)操作系統(tǒng)(Host OS)中加入一個(gè)虛擬化層(Hypervisor)，在虛擬化層之上可以運(yùn)行多個(gè)客戶端操作系統(tǒng)(Guest OS)。資源利用率和靈活性。開源計(jì)算虛擬化軟件：KVM（ Kernel-based Virtual Machine ）CPU虛擬化內(nèi)存虛擬化GPU虛擬化計(jì)算虛擬化 CPU虛擬化定義： 一個(gè)虛

29、擬機(jī)本質(zhì)上就是一個(gè)進(jìn)程中。相關(guān)概念：x86處理器的Ring級(jí)別： x86處理器級(jí)別共分4層，RING0,RING1,RING2,RING3。Windows只使用其中的兩個(gè)級(jí)別RING0和RING3。RING0層擁有最高的權(quán)限，RING3層擁有最低的權(quán)限。CPU虛擬化： 宿主機(jī)運(yùn)行在根模式(root)下，宿主機(jī)的內(nèi)核處于Ring0，用戶態(tài)程序處于Ring3；Guest OS運(yùn)行在非根模式，Guest OS的內(nèi)核運(yùn)行在Ring0，用戶態(tài)程序運(yùn)行在Ring3。計(jì)算虛擬化 CPU虛擬化圖示：計(jì)算虛擬化將主機(jī)單個(gè)物理CPU核虛擬出多個(gè)vCPU，這些vCPU本質(zhì)上是一些運(yùn)行的進(jìn)程計(jì)算虛擬化定義： 計(jì)算虛擬

30、化是指在物理服務(wù)器的宿主機(jī)操作系統(tǒng)(Host OS)中加入一個(gè)虛擬化層(Hypervisor)，在虛擬化層之上可以運(yùn)行多個(gè)客戶端操作系統(tǒng)(Guest OS)。資源利用率和靈活性。開源計(jì)算虛擬化軟件：KVM（ Kernel-based Virtual Machine ）CPU虛擬化內(nèi)存虛擬化GPU虛擬化計(jì)算虛擬化 內(nèi)存虛擬化定義： 通過內(nèi)存虛擬化來對(duì)物理系統(tǒng)內(nèi)存進(jìn)行共享，并將其動(dòng)態(tài)分配給虛擬機(jī)，操作系統(tǒng)保持著虛擬頁(yè)到物理頁(yè)的映射相關(guān)概念：物理頁(yè)和虛擬頁(yè) 為便于管理，物理內(nèi)存被分頁(yè)，就像一本書里面的好多頁(yè)紙，每張紙上記錄了不同的信息。對(duì)于32位的CPU來說，每個(gè)物理頁(yè)大小是4K。與之對(duì)應(yīng)的，虛擬頁(yè)

31、指的是虛擬內(nèi)存中的分頁(yè)。 內(nèi)存虛擬化： 讓客戶機(jī)使用一個(gè)隔離的、從零開始且具有連續(xù)的內(nèi)存空間，KVM 引入一層新的地址空間，只是宿主機(jī)虛擬地址空間在客戶機(jī)地址空間的一個(gè)映射。計(jì)算虛擬化 內(nèi)存虛擬化圖示：KVM 為了運(yùn)行多臺(tái)虛擬機(jī)于一臺(tái)物理機(jī)器上，需要實(shí)現(xiàn)虛擬內(nèi)存到物理內(nèi)存到 機(jī)器內(nèi)存直接的地址轉(zhuǎn)換。計(jì)算虛擬化定義： 計(jì)算虛擬化是指在物理服務(wù)器的宿主機(jī)操作系統(tǒng)(Host OS)中加入一個(gè)虛擬化層(Hypervisor)，在虛擬化層之上可以運(yùn)行多個(gè)客戶端操作系統(tǒng)(Guest OS)。開源計(jì)算虛擬化軟件：KVM（ Kernel-based Virtual Machine ）CPU虛擬化內(nèi)存虛擬化GP

32、U虛擬化計(jì)算虛擬化 GPU虛擬化定義： 通過GPU虛擬化來對(duì)GPU資源進(jìn)行共享。GPU虛擬化：虛擬顯卡顯卡直通顯卡虛擬化計(jì)算虛擬化 GPU虛擬化定義： 通過GPU虛擬化來對(duì)GPU資源進(jìn)行共享。GPU虛擬化：虛擬顯卡顯卡直通顯卡虛擬化當(dāng)前主流的虛擬化系統(tǒng)往往采用虛擬顯卡來對(duì)圖像進(jìn)行處理。目前虛擬顯卡的技術(shù)包括：虛擬網(wǎng)絡(luò)計(jì)算機(jī)Xen 虛擬幀緩存VMware虛擬圖形顯示處理器獨(dú)立于虛擬機(jī)管理器的圖形加速系統(tǒng)計(jì)算虛擬化 GPU虛擬化定義： 通過GPU虛擬化來對(duì)GPU資源進(jìn)行共享。GPU虛擬化：虛擬顯卡顯卡直通顯卡虛擬化顯卡直通指繞過虛擬機(jī)管理系統(tǒng)，將GPU 單獨(dú)分配給某一虛擬機(jī)，只有該虛擬機(jī)擁有使用G

33、PU的權(quán)限。這種方法保留了GPU的完整性和獨(dú)立性，可以達(dá)到與非虛擬化情況下相似的性能，且可以用來進(jìn)行通用計(jì)算。但是顯卡直通需要利用顯卡的一些特性，并且僅有部分GPU設(shè)備可以使用，兼容性差計(jì)算虛擬化 GPU虛擬化定義： 通過GPU虛擬化來對(duì)GPU資源進(jìn)行共享。GPU虛擬化：虛擬顯卡顯卡直通顯卡虛擬化將顯卡使用時(shí)間進(jìn)行分片，一般可以根據(jù)需求切分成不同的大小的時(shí)間分片，將這些分片分配給虛擬機(jī)進(jìn)行使用。其實(shí)現(xiàn)原理其實(shí)就是利用應(yīng)用層接口虛擬化，利用應(yīng)用程序編程接口 進(jìn)行重定向，在應(yīng)用層進(jìn)行攔截與GPU相關(guān)的API接口，通過重定向（仍使用GPU）的方式完成相應(yīng)功能，再將執(zhí)行結(jié)果返回到相應(yīng)的應(yīng)用程序。計(jì)算虛

34、擬化場(chǎng)景回顧： 針對(duì)本小節(jié)開始提到的在公有云的深度學(xué)習(xí)平臺(tái)案例，可以采用了基于GPU虛擬化的托管集群，實(shí)現(xiàn)GPU資源按需使用，從而為深度學(xué)習(xí)的各種事務(wù)提供虛擬化的深度學(xué)習(xí)能力。 虛擬化技術(shù)計(jì)算虛擬化（3.3.1節(jié)）存儲(chǔ)虛擬化（3.3.2節(jié)）網(wǎng)絡(luò)虛擬化（3.3.3節(jié)）桌面虛擬化（3.3.4節(jié)）存儲(chǔ)虛擬化場(chǎng)景：某醫(yī)療集團(tuán)的存儲(chǔ)需求86醫(yī)療集團(tuán)下屬多家醫(yī)院幾百TB的醫(yī)療記錄挑戰(zhàn)：海量醫(yī)療數(shù)據(jù)的高讀寫速度高可用性和可靠性存儲(chǔ)虛擬化定義： 對(duì)硬件存儲(chǔ)資源進(jìn)行抽象化，通過對(duì)存儲(chǔ)系統(tǒng)或存儲(chǔ)服務(wù)內(nèi)部的功能進(jìn)行隱藏、隔離及抽象，使存儲(chǔ)與網(wǎng)絡(luò)、應(yīng)用等管理分離，存儲(chǔ)資源得以合并，從而提升資源利用率。分類： 根據(jù)SN

35、IA(Storage Networking Industry Association)的分類方法，可將存儲(chǔ)虛擬化技術(shù)從不同角度進(jìn)行分類。存儲(chǔ)虛擬化分類： 根據(jù)SNIA(Storage Networking Industry Association)的分類方法，可將存儲(chǔ)虛擬化技術(shù)從不同角度進(jìn)行分類。 存儲(chǔ)虛擬化挑戰(zhàn)：低成本易實(shí)現(xiàn)靈活性可擴(kuò)展性存儲(chǔ)虛擬化挑戰(zhàn)：低成本易實(shí)現(xiàn)靈活性可擴(kuò)展性存儲(chǔ)虛擬化：基于主機(jī)基于存儲(chǔ)設(shè)備基于網(wǎng)絡(luò)利用安裝在一個(gè)或多個(gè)主機(jī)上的控制軟件來實(shí)現(xiàn)存儲(chǔ)虛擬化的控制和管理：最易于實(shí)現(xiàn)且其設(shè)備成本最低，因?yàn)椴恍枰黾尤魏胃郊拥挠布U(kuò)展性較差，因?yàn)橛捎谶\(yùn)行在主機(jī)上的控制軟件會(huì)占用主機(jī)的

36、處理時(shí)間。靈活性較差，因?yàn)椴煌鎯?chǔ)廠商軟硬件的差異而帶來不必要的互操作性開銷。存儲(chǔ)虛擬化挑戰(zhàn)：低成本易實(shí)現(xiàn)靈活性可擴(kuò)展性存儲(chǔ)虛擬化：基于主機(jī)基于存儲(chǔ)設(shè)備基于網(wǎng)絡(luò)利用可以提供相關(guān)功能的存儲(chǔ)模塊來進(jìn)行虛擬化：可擴(kuò)展性差，如果沒有使用第三方的虛擬軟件，基于存儲(chǔ)設(shè)備的虛擬化往往只能提供不完全的存儲(chǔ)虛擬化解決方案。靈活性差，因?yàn)槭褂眠@種方法來提供虛擬化意味著最終將鎖定某一家特定的存儲(chǔ)供應(yīng)商。較容易實(shí)現(xiàn)，因?yàn)槿菀着c某個(gè)特定存儲(chǔ)供應(yīng)商的設(shè)備相協(xié)調(diào)。存儲(chǔ)虛擬化挑戰(zhàn)：低成本易實(shí)現(xiàn)靈活性可擴(kuò)展性存儲(chǔ)虛擬化：基于主機(jī)基于存儲(chǔ)設(shè)備基于網(wǎng)絡(luò)(1)基于互聯(lián)設(shè)備的存儲(chǔ)虛擬化基于互聯(lián)設(shè)備的虛擬化方法能夠運(yùn)行于使用標(biāo)準(zhǔn)操作系統(tǒng)

37、的專用服務(wù)器上。該方法相對(duì)于基于主機(jī)的虛擬化方法具有易使用、設(shè)備低廉等優(yōu)勢(shì)。存儲(chǔ)虛擬化挑戰(zhàn)：低成本易實(shí)現(xiàn)靈活性可擴(kuò)展性存儲(chǔ)虛擬化：基于主機(jī)基于存儲(chǔ)設(shè)備基于網(wǎng)絡(luò)(2)基于路由器的存儲(chǔ)虛擬化基于路由器的方法是利用路由器的固件來實(shí)現(xiàn)存儲(chǔ)虛擬化的功能。由于路由器可以服務(wù)于每一臺(tái)主機(jī)，且大多數(shù)控制模塊存在于這些路由器中，所以該方式相對(duì)于基于主機(jī)和大多數(shù)基于互聯(lián)設(shè)備的方法具有更好的性能和效果。存儲(chǔ)虛擬化挑戰(zhàn)：低成本易實(shí)現(xiàn)靈活性可擴(kuò)展性存儲(chǔ)虛擬化：基于主機(jī)基于存儲(chǔ)設(shè)備基于網(wǎng)絡(luò)(3)基于交換機(jī)的存儲(chǔ)虛擬化交換機(jī)的虛擬化是通過在交換機(jī)中嵌入虛擬化模塊來實(shí)現(xiàn)的由于在交換機(jī)中集成有虛擬化功能，交換機(jī)易成為系統(tǒng)的瓶頸

38、，并可能產(chǎn)生單點(diǎn)故障問題。存儲(chǔ)虛擬化場(chǎng)景回顧： 針對(duì)本小節(jié)開始提到的醫(yī)療集團(tuán)的存儲(chǔ)需求案例，該公司對(duì)現(xiàn)有存儲(chǔ)設(shè)備的虛擬化管理，在此基礎(chǔ)之上進(jìn)行數(shù)據(jù)分層，將整個(gè)存儲(chǔ)分為兩個(gè)層次：第一層存儲(chǔ)：需要快速訪問的患者數(shù)據(jù)可以放置在高性能的基于光纖的存儲(chǔ)系統(tǒng)上；第二層存儲(chǔ)：緊急性稍低的數(shù)據(jù)則可放置在普通的存儲(chǔ)系統(tǒng)上。 在多層存儲(chǔ)上采用虛擬化技術(shù)使存儲(chǔ)系統(tǒng)能夠進(jìn)行有效的成本管理，同時(shí)還降低了風(fēng)險(xiǎn)、改善了服務(wù)，大大節(jié)約了成本。虛擬化技術(shù)計(jì)算虛擬化（3.3.1節(jié)）存儲(chǔ)虛擬化（3.3.2節(jié)）網(wǎng)絡(luò)虛擬化（3.3.3節(jié)）桌面虛擬化（3.3.4節(jié)）網(wǎng)絡(luò)虛擬化場(chǎng)景：大型網(wǎng)絡(luò)公司跨地域數(shù)據(jù)中心的網(wǎng)絡(luò)管理97挑戰(zhàn)：數(shù)據(jù)中心間

39、網(wǎng)絡(luò)鏈路帶寬資源有限，難以滿足業(yè)務(wù)臨時(shí)性的大容量傳輸需求，通常需要業(yè)務(wù)部門自行搭建VPN平臺(tái)并通過公網(wǎng)傳輸，響應(yīng)速度慢。數(shù)十萬服務(wù)器分布在全球10多個(gè)城市、數(shù)十個(gè)數(shù)據(jù)中心，產(chǎn)生的跨城數(shù)據(jù)中心間流量達(dá)到數(shù)百G規(guī)模網(wǎng)絡(luò)虛擬化定義： 對(duì)物理網(wǎng)絡(luò)及其組件（比如交換機(jī)、端口以及路由器）進(jìn)行抽象，并從中分離網(wǎng)絡(luò)業(yè)務(wù)流量的一種方式。 采用網(wǎng)絡(luò)虛擬化可以將多個(gè)物理網(wǎng)絡(luò)抽象為一個(gè)虛擬網(wǎng)絡(luò)，或者將一個(gè)物理網(wǎng)絡(luò)分割為多個(gè)邏輯網(wǎng)絡(luò)。舉例： 虛擬局域網(wǎng)VLAN（Virtual Local Area Network）：虛擬局域網(wǎng)是一組邏輯上的設(shè)備和用戶，這些設(shè)備和用戶并不受物理位置的限制，相互之間的通信就好像它們?cè)谕粋€(gè)

40、網(wǎng)段中一樣。網(wǎng)絡(luò)虛擬化網(wǎng)絡(luò)功能虛擬化： 網(wǎng)絡(luò)虛擬化通過網(wǎng)絡(luò)來創(chuàng)建通道、同時(shí)利用每一條傳輸流進(jìn)行服務(wù)。 網(wǎng)絡(luò)功能虛擬化旨在對(duì)網(wǎng)絡(luò)通信互聯(lián)模型的四到七層功能進(jìn)行虛擬化處理。 網(wǎng)絡(luò)功能虛擬化可以幫助人們?yōu)樘摂M機(jī)或者傳輸流創(chuàng)建一套服務(wù)配置方案，并在網(wǎng)絡(luò)上建立起抽象結(jié)構(gòu)，最終在特定邏輯環(huán)境下構(gòu)建起虛擬服務(wù)。 網(wǎng)絡(luò)虛擬化基于軟件定義網(wǎng)絡(luò)的網(wǎng)絡(luò)虛擬化： 定義：軟件定義網(wǎng)絡(luò)（Software Defined Network, SDN），是由Emulex提出的一種新型網(wǎng)絡(luò)創(chuàng)新架構(gòu)。軟件定義網(wǎng)絡(luò)可對(duì)網(wǎng)絡(luò)進(jìn)行編程，從而構(gòu)建新的連接方式，而不是像以前那樣通過設(shè)備來建立網(wǎng)絡(luò)連接。 優(yōu)點(diǎn)： 傳統(tǒng)的網(wǎng)絡(luò)虛擬化部署需要手動(dòng)逐

41、跳部署，其效率低下，人力成本很高。通過軟件定義網(wǎng)絡(luò)，網(wǎng)絡(luò)可以通過一種編排好的方式進(jìn)行分配，從而自動(dòng)化可以快速地分配網(wǎng)絡(luò)服務(wù)。網(wǎng)絡(luò)虛擬化軟件定義網(wǎng)絡(luò)的商業(yè)應(yīng)用OpenFlow： 定義： OpenFlow 是軟件定義網(wǎng)絡(luò)（SDN，Software Definded Network） 的一種協(xié)議實(shí)現(xiàn)，起源于斯坦福大學(xué)，出發(fā)點(diǎn)是用于網(wǎng)絡(luò)研究人員實(shí)驗(yàn)其創(chuàng)新網(wǎng)絡(luò)架構(gòu)，考慮到實(shí)際的網(wǎng)絡(luò)創(chuàng)新思想需要在實(shí)際網(wǎng)絡(luò)上才能更好地驗(yàn)證，而研究人員又無法修改在網(wǎng)的網(wǎng)絡(luò)設(shè)備，故而提出了 OpenFlow 的控制轉(zhuǎn)發(fā)分離架構(gòu)，將控制邏輯從網(wǎng)絡(luò)設(shè)備中獨(dú)立出來以便于研究。特點(diǎn)： OpenFlow盡管不是專門為網(wǎng)絡(luò)虛擬化而生，但是

42、它帶來的標(biāo)準(zhǔn)化和靈活性卻給網(wǎng)絡(luò)虛擬化的發(fā)展帶來無限可能?；?OpenFlow的軟件定義網(wǎng)絡(luò)，可實(shí)現(xiàn)控制層和轉(zhuǎn)發(fā)層分離，極大地提升網(wǎng)絡(luò)的交換速度，滿足云計(jì)算種高速數(shù)據(jù)交換和傳輸?shù)囊蟆?網(wǎng)絡(luò)虛擬化軟件定義網(wǎng)絡(luò)的商業(yè)應(yīng)用OpenFlow： 架構(gòu) 控制器：控制器可以通過OpenFlow 協(xié)議就可以對(duì)網(wǎng)絡(luò)交換設(shè)備的流表 進(jìn)行編程和管理。網(wǎng)絡(luò)虛擬化軟件定義網(wǎng)絡(luò)的商業(yè)應(yīng)用OpenFlow： 架構(gòu) 流表：流表支持對(duì)遠(yuǎn)程的訪問控制，這樣可以將流表的配置與管理從網(wǎng)絡(luò)交換設(shè)備本身中剝離出來，也使得可以對(duì)整個(gè)網(wǎng)絡(luò)中 流表 進(jìn)行集中控制與管理，將物理網(wǎng)絡(luò)和邏輯網(wǎng)絡(luò)有效的分離開來網(wǎng)絡(luò)虛擬化軟件定義網(wǎng)絡(luò)的商業(yè)應(yīng)用Ope

43、nFlow： 架構(gòu) 安全通道：用于連接網(wǎng)絡(luò)交換設(shè)備和遠(yuǎn)程網(wǎng)絡(luò)控制器，在控制器和網(wǎng)絡(luò)交換設(shè)備之間互相發(fā)送命令和數(shù)據(jù)包網(wǎng)絡(luò)虛擬化場(chǎng)景回顧： 針對(duì)本小節(jié)開始提到的跨地域數(shù)據(jù)中心網(wǎng)絡(luò)管理的案例，基于網(wǎng)絡(luò)虛擬化的SDN技術(shù)可以允許網(wǎng)絡(luò)工程師更為靈活地控制和管理網(wǎng)絡(luò)，以便最好地服務(wù)需求，從而達(dá)到提高響應(yīng)速度的效果。 虛擬化技術(shù)計(jì)算虛擬化（3.3.1節(jié)）存儲(chǔ)虛擬化（3.3.2節(jié)）網(wǎng)絡(luò)虛擬化（3.3.3節(jié)）桌面虛擬化（3.3.4節(jié)）桌面虛擬化場(chǎng)景：云辦公107挑戰(zhàn)：客戶急需一種能快速部署、平滑平移到平板電腦和手機(jī)上的移動(dòng)辦公產(chǎn)品,如何讓銀行外的設(shè)備可以像在銀行內(nèi)部一樣，對(duì)內(nèi)部系統(tǒng)的軟件進(jìn)行直接操作？辦公系統(tǒng)都

44、是部署在銀行內(nèi)網(wǎng)在外出差的領(lǐng)導(dǎo)和外勤人員無法正常使用,工作效率不是太高桌面虛擬化定義： 桌面虛擬化將用戶的桌面環(huán)境和與其他的終端設(shè)備解耦合。服務(wù)器上面存放的是每個(gè)用戶的完整桌面，用戶可以通過任意的終端設(shè)備（如個(gè)人電腦、智能手機(jī)、PAD等），在任意時(shí)間，任意地點(diǎn)通過網(wǎng)絡(luò)訪問該桌面環(huán)境。和云端的關(guān)系： 將來的終端各種各樣，但只要前端采用了桌面虛擬化技術(shù)，用戶能夠在任何時(shí)間、任何地點(diǎn)、以各種方式對(duì)后端的云進(jìn)行信息的處理與管理。桌面虛擬化場(chǎng)景回顧 針對(duì)本小節(jié)開始提到的遠(yuǎn)程云辦公，該銀行可采用面向桌面虛擬化技術(shù)的金山WPS云辦公技術(shù)，利用移動(dòng)終端進(jìn)行云辦公，原來需要在現(xiàn)場(chǎng)采集數(shù)據(jù)后回公司再次錄入的工作現(xiàn)

45、在已經(jīng)可以在現(xiàn)場(chǎng)實(shí)時(shí)錄入，大大減輕了工作人員的工作員，提高了工作效率。提綱分布式技術(shù)（3.2節(jié)）虛擬化技術(shù)（3.3節(jié)）云平臺(tái)技術(shù)（3.4節(jié)）云平臺(tái)技術(shù) 與云計(jì)算之間的關(guān)系： 云技術(shù)的關(guān)注點(diǎn)主要在于如何在一套軟硬件環(huán)境中，為不同的用戶提供服務(wù)，使得不同的用戶之間彼此不可見，并進(jìn)行資源隔離，保障每個(gè)用戶的服務(wù)質(zhì)量。云平臺(tái)技術(shù)是支撐云計(jì)算的基礎(chǔ)技術(shù)，本小節(jié)主要針對(duì)三個(gè)有代表性的云平臺(tái)技術(shù)進(jìn)行詳述:服務(wù)計(jì)算技術(shù)（3.4.1節(jié)）多租戶技術(shù)（3.4.2節(jié)）容器技術(shù)（3.4.3節(jié)）云平臺(tái)技術(shù)服務(wù)計(jì)算技術(shù)（3.4.1節(jié)）多租戶技術(shù)（3.4.2節(jié)）容器技術(shù)（3.4.3節(jié)）服務(wù)計(jì)算技術(shù)場(chǎng)景：手機(jī)游戲開發(fā) 游戲創(chuàng)業(yè)

46、團(tuán)隊(duì)最大的優(yōu)勢(shì)可能就是內(nèi)容上的創(chuàng)新，但是技術(shù)能力上的不足卻將會(huì)嚴(yán)重拖累他們的創(chuàng)新，比如自主部署服務(wù)器的運(yùn)行環(huán)境等至少需要3-6個(gè)月的時(shí)間。本來自己擁有一個(gè)好的創(chuàng)意，卻因?yàn)殚_發(fā)時(shí)間周期過長(zhǎng)，可能導(dǎo)致這個(gè)創(chuàng)意被別人搶先一步發(fā)布，這對(duì)創(chuàng)業(yè)者的打擊是十分沉重的。如何大大縮短游戲創(chuàng)業(yè)團(tuán)隊(duì)的開發(fā)周期？服務(wù)計(jì)算技術(shù)定義： 面向服務(wù)的架構(gòu)（Service-Oriented Architecture，SOA）是指為了解決在互聯(lián)網(wǎng)環(huán)境下業(yè)務(wù)集成的需要，通過連接能完成特定任務(wù)的獨(dú)立功能實(shí)體來實(shí)現(xiàn)的一種軟件系統(tǒng)架構(gòu)。特點(diǎn)：SOA將應(yīng)用程序的不同功能單元（稱為服務(wù)）通過接口聯(lián)系起來。接口獨(dú)立于實(shí)現(xiàn)服務(wù)的硬件平臺(tái)、操作系

47、統(tǒng)和編程語言，使得各種服務(wù)可以以一種統(tǒng)一和通用的方式進(jìn)行交互。服務(wù)計(jì)算技術(shù)優(yōu)點(diǎn)：降低用戶成本，用戶不需要知道各服務(wù)之間是什么語言的以及如何調(diào)用服務(wù)；程序之間關(guān)系服務(wù)簡(jiǎn)單；識(shí)別哪些程序發(fā)生故障。體系結(jié)構(gòu)：服務(wù)計(jì)算技術(shù)優(yōu)點(diǎn)：降低用戶成本，用戶不需要知道各服務(wù)之間是什么語言的以及如何調(diào)用服務(wù)；程序之間關(guān)系服務(wù)簡(jiǎn)單；識(shí)別哪些程序發(fā)生故障。體系結(jié)構(gòu)：服務(wù)消費(fèi)者：服務(wù)消費(fèi)者可以是應(yīng)用程序、軟件模塊或需要其它服務(wù)的服務(wù)。它發(fā)起對(duì)注冊(cè)中心中的服務(wù)的查詢，然后綁定查詢獲得的服務(wù)，并且執(zhí)行服務(wù)功能。服務(wù)消費(fèi)者根據(jù)接口規(guī)約來執(zhí)行服務(wù)。服務(wù)計(jì)算技術(shù)優(yōu)點(diǎn)：降低用戶成本，用戶不需要知道各服務(wù)之間是什么語言的以及如何調(diào)用服

48、務(wù)；程序之間關(guān)系服務(wù)簡(jiǎn)單；識(shí)別哪些程序發(fā)生故障。體系結(jié)構(gòu)：服務(wù)提供者：服務(wù)提供者是一個(gè)可通過網(wǎng)絡(luò)尋址的實(shí)體，它接受和執(zhí)行來自消費(fèi)者的請(qǐng)求。它將自己的服務(wù)和接口規(guī)約發(fā)布到服務(wù)注冊(cè)中心，以便服務(wù)消費(fèi)者可以發(fā)現(xiàn)和訪問該服務(wù)。服務(wù)計(jì)算技術(shù)優(yōu)點(diǎn)：降低用戶成本，用戶不需要知道各服務(wù)之間是什么語言的以及如何調(diào)用服務(wù)；程序之間關(guān)系服務(wù)簡(jiǎn)單；識(shí)別哪些程序發(fā)生故障。體系結(jié)構(gòu)：服務(wù)代理：服務(wù)注冊(cè)代理是服務(wù)發(fā)現(xiàn)的支持者。它包含一個(gè)可用服務(wù)的存儲(chǔ)庫(kù)，并允許感興趣的服務(wù)消費(fèi)者查找服務(wù)提供者接口。服務(wù)計(jì)算技術(shù)微服務(wù)定義：微服務(wù)是一種使用一套小服務(wù)來開發(fā)單個(gè)應(yīng)用的方式途徑，每個(gè)服務(wù)運(yùn)行在自己的進(jìn)程中，并使用輕量級(jí)機(jī)制通信。原

49、理： 將單一應(yīng)用程序劃分成一組小的服務(wù)，服務(wù)之間互相協(xié)調(diào)、互相配合，為用戶提供最終價(jià)值。每個(gè)服務(wù)運(yùn)行在其獨(dú)立的進(jìn)程中，服務(wù)與服務(wù)間采用輕量級(jí)的通信機(jī)制互相溝通。服務(wù)計(jì)算技術(shù)微服務(wù)與單體結(jié)構(gòu)對(duì)比：?jiǎn)误w結(jié)構(gòu)的問題：傳統(tǒng)的單體架構(gòu)里，一個(gè)歸檔包含了應(yīng)用所有功能的應(yīng)用程序。單體架構(gòu)在規(guī)模較小下工作情況良好，但是隨著系統(tǒng)規(guī)模的擴(kuò)大，它暴露出來的問題也越來越多。單體架構(gòu)微服務(wù)所有模塊全都耦合在一塊，代碼量大，維護(hù)困難每個(gè)模塊就相當(dāng)于一個(gè)單獨(dú)的項(xiàng)目，代碼量明顯減少，遇到問題也相對(duì)來說比較好解決服務(wù)計(jì)算技術(shù)微服務(wù)與單體結(jié)構(gòu)對(duì)比：?jiǎn)误w結(jié)構(gòu)的問題：傳統(tǒng)的單體架構(gòu)里，一個(gè)歸檔包含了應(yīng)用所有功能的應(yīng)用程序。單體架構(gòu)在

50、規(guī)模較小下工作情況良好，但是隨著系統(tǒng)規(guī)模的擴(kuò)大，它暴露出來的問題也越來越多。單體架構(gòu)微服務(wù)所有的模塊都共用一個(gè)數(shù)據(jù)庫(kù)，存儲(chǔ)方式比較單一每個(gè)模塊都可以使用不同的存儲(chǔ)方式；數(shù)據(jù)庫(kù)也是每個(gè)模塊對(duì)應(yīng)自己的數(shù)據(jù)庫(kù)。服務(wù)計(jì)算技術(shù)微服務(wù)與單體結(jié)構(gòu)對(duì)比：?jiǎn)误w結(jié)構(gòu)的問題：傳統(tǒng)的單體架構(gòu)里，一個(gè)歸檔包含了應(yīng)用所有功能的應(yīng)用程序。單體架構(gòu)在規(guī)模較小下工作情況良好，但是隨著系統(tǒng)規(guī)模的擴(kuò)大，它暴露出來的問題也越來越多。單體架構(gòu)微服務(wù)有的模塊開發(fā)所使用的技術(shù)一樣每個(gè)模塊都可以使用不同的開發(fā)技術(shù)，開發(fā)模式更靈活。服務(wù)計(jì)算技術(shù)場(chǎng)景回顧： 針對(duì)本小節(jié)開始提到的游戲創(chuàng)業(yè)團(tuán)隊(duì)的開發(fā)周期過高的案例，某云廠商云為中小游戲開發(fā)商提供微服

51、務(wù)技術(shù)，用微服務(wù)器替代整體應(yīng)用程序，或者建立新的應(yīng)用程序，從而使得這些開發(fā)團(tuán)隊(duì)有更好的敏捷性，迭代速度更快，并跟上市場(chǎng)變化。云平臺(tái)技術(shù)服務(wù)計(jì)算技術(shù)（3.4.1節(jié)）多租戶技術(shù)（3.4.2節(jié)）容器技術(shù)（3.4.3節(jié)）多租戶技術(shù)場(chǎng)景：政務(wù)云辦公權(quán)限分配 近兩年政務(wù)云的發(fā)展非常迅速，從許多地方政府披露的信息來看，電子政務(wù)上云已經(jīng)拓展延伸到鄉(xiāng)鎮(zhèn)一級(jí)。不少地方的政務(wù)云只追求快速上線，而忽視數(shù)據(jù)安全保障體系的構(gòu)建，特別是權(quán)限設(shè)置。比如，如何允許中央領(lǐng)導(dǎo)查看全中國(guó)的數(shù)據(jù)，但限定各省分（如，江蘇省、浙江?。┑念I(lǐng)導(dǎo)只能查看本省的數(shù)據(jù)。如何在政府云中做好不同權(quán)限的人員獲取不同級(jí)別的數(shù)據(jù)？多租戶技術(shù)定義： 多租戶技術(shù)

52、是一種軟件架構(gòu)技術(shù)，實(shí)現(xiàn)如何在多用戶的環(huán)境下共用相同的系統(tǒng)或程序組件，并且仍可以確保各用戶的數(shù)據(jù)隔離且業(yè)務(wù)不互相影響。目的：降低服務(wù)維護(hù)成本：一個(gè)服務(wù)能夠同時(shí)提供給多個(gè)個(gè)人/企業(yè)使用，而且這些客戶最好是共享同一套服務(wù)運(yùn)行時(shí)。提高了數(shù)據(jù)安全性：在云計(jì)算環(huán)境下，很多應(yīng)用都放到了云端，導(dǎo)致在應(yīng)用入口，敏感數(shù)據(jù)泄露、數(shù)據(jù)訪問無詳細(xì)記錄、應(yīng)用冒名訪問開放接口。通過多租戶數(shù)據(jù)資源隔離機(jī)制，就可以保證數(shù)據(jù)的安全性多租戶技術(shù)舉例： 小飛，小象，小君三人同租了一套房子，三人各占一間獨(dú)立臥室，每間房各配一把鑰匙，從而保證每個(gè)人都有自己的獨(dú)立私密空間，如果別人要進(jìn)入，必須通過權(quán)限驗(yàn)證（也就是配套的開門鑰匙）才行，但

53、廚房、餐廳、客廳這些資源是共用的。多租戶技術(shù)舉例： 這里的小飛，小象，小君就是多租戶，別的租戶要訪問必須通過權(quán)限驗(yàn)證的獨(dú)立臥室就是數(shù)據(jù)隔離，共用的資源（廚房、餐廳、客廳）就是多租戶環(huán)境下的系統(tǒng)和應(yīng)用程序、組件。多租戶技術(shù)實(shí)現(xiàn)方式：獨(dú)立數(shù)據(jù)庫(kù)。該方案一個(gè)租戶一個(gè)數(shù)據(jù)庫(kù)，使用的用戶數(shù)據(jù)隔離級(jí)別最高，安全性最好，但成本也高；共享數(shù)據(jù)庫(kù)，隔離數(shù)據(jù)架構(gòu)。多個(gè)或所有租戶共享數(shù)據(jù)庫(kù)，但一個(gè)租戶一個(gè)數(shù)據(jù)架構(gòu)；共享數(shù)據(jù)庫(kù)，共享數(shù)據(jù)架構(gòu)租戶共享同一個(gè)數(shù)據(jù)庫(kù)、同一個(gè)架構(gòu)，但在表中通過租戶ID來區(qū)分租戶的數(shù)據(jù)。這是共享程度最高、隔離級(jí)別最低的模式。多租戶技術(shù)三種實(shí)現(xiàn)方式的優(yōu)缺點(diǎn)優(yōu)點(diǎn)缺點(diǎn)為不同的租戶提供獨(dú)立的數(shù)據(jù)庫(kù)，有助于簡(jiǎn)化數(shù)據(jù)模型的擴(kuò)展設(shè)計(jì)，滿足不同租戶的獨(dú)特需求；如果出現(xiàn)故障，恢復(fù)數(shù)據(jù)比較簡(jiǎn)單。增大了數(shù)據(jù)庫(kù)的安裝數(shù)量，隨之帶來維護(hù)成本和購(gòu)置成本的增加；如果面對(duì)的是銀行、醫(yī)院等需要非常高數(shù)據(jù)隔離級(jí)別的租戶，可以選擇這種模式，提高租用的定價(jià)。如果定價(jià)較低，產(chǎn)品走低價(jià)路線，這種方案一般對(duì)運(yùn)營(yíng)商來說是無法承受的。多租戶技術(shù)