《云計(jì)算和大數(shù)據(jù)技術(shù) 概念應(yīng)用與實(shí)戰(zhàn)》第1章云計(jì)算基礎(chǔ)

1、1 第 1 章 云計(jì)算基礎(chǔ)? ?云計(jì)算和大數(shù)據(jù)技術(shù) 概念應(yīng)用與實(shí)戰(zhàn)? ?第1 1章云計(jì)算根底2 第 1 章 云計(jì)算基礎(chǔ)集群系統(tǒng)概述云計(jì)算根底分布式系統(tǒng)中計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制云計(jì)算與物聯(lián)網(wǎng)內(nèi)容導(dǎo)航C O N T E N T S3 第 1 章 云計(jì)算基礎(chǔ)4 第 1 章 云計(jì)算基礎(chǔ)5 第 1 章 云計(jì)算基礎(chǔ)云計(jì)算簡(jiǎn)介 云計(jì)算是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計(jì)算機(jī)和其他設(shè)備，它就像我們?nèi)粘Ｉ钪杏盟陀秒娨粯?，按需付費(fèi)，而無需關(guān)心水、電是從何而來的一種資源管理模式。維基百科中對(duì)云計(jì)算的定義6 第 1 章 云計(jì)算基礎(chǔ)云計(jì)算簡(jiǎn)介 云計(jì)算是基于互聯(lián)網(wǎng)的效勞的增

2、加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動(dòng)態(tài)、易擴(kuò)展且經(jīng)常是虛擬化的資源。云計(jì)算是傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)開展融合的產(chǎn)物，它意味著計(jì)算能力也可作為一種商品通過互聯(lián)網(wǎng)進(jìn)行流通。2021年的國(guó)務(wù)院政府工作報(bào)告將云計(jì)算作為國(guó)家戰(zhàn)略性新興產(chǎn)業(yè)給出了定義7 第 1 章 云計(jì)算基礎(chǔ)云計(jì)算簡(jiǎn)介在云計(jì)算時(shí)代根本的3種角色負(fù)責(zé)資源的整合輸出資源的整合運(yùn)營(yíng)者負(fù)責(zé)將資源轉(zhuǎn)變?yōu)闈M足客戶需求的各種應(yīng)用資源的使用者資源的最終消費(fèi)者終端客戶8 第 1 章 云計(jì)算基礎(chǔ)云計(jì)算的特點(diǎn)資源池彈性可擴(kuò)張1243按需提供資源效勞虛擬化網(wǎng)絡(luò)化的資源接入5提高可靠性和平安性9 第 1 章 云計(jì)算基礎(chǔ)云計(jì)算技術(shù)分類這種類型的云計(jì)算系統(tǒng)在技術(shù)

3、實(shí)現(xiàn)方面大多表達(dá)為集群架構(gòu)，通過將大量節(jié)點(diǎn)的計(jì)算資源和存儲(chǔ)資源整合后輸出。這類系統(tǒng)通常能實(shí)現(xiàn)跨節(jié)點(diǎn)彈性化的資源池構(gòu)建，核心技術(shù)為分布式計(jì)算和存儲(chǔ)技術(shù)。MPI、Hadoop、HPCC、Storm等都可以被分類為資源整合型云計(jì)算系統(tǒng)。1、按技術(shù)路線分類資源整合型云計(jì)算10 第 1 章 云計(jì)算基礎(chǔ)云計(jì)算技術(shù)分類優(yōu)點(diǎn)：用戶的系統(tǒng)可以不做任何改變接入采用虛擬化技術(shù)的云系統(tǒng)，是目前應(yīng)用較為廣泛的技術(shù)，特別是在桌面云計(jì)算技術(shù)上應(yīng)用得較為成功。資源切分型云計(jì)算這種類型最為典型的就是虛擬化系統(tǒng)，這類云計(jì)算系統(tǒng)通過系統(tǒng)虛擬化實(shí)現(xiàn)對(duì)單個(gè)效勞器資源的彈性化切分，從而有效地利用效勞器資源，其核心技術(shù)為虛擬化技術(shù)。缺點(diǎn)：

4、跨節(jié)點(diǎn)的資源整合代價(jià)較大。KVM、VMware都是這類技術(shù)的代表。11 第 1 章 云計(jì)算基礎(chǔ)云計(jì)算技術(shù)分類公有云：指效勞對(duì)象是面向公眾的云計(jì)算效勞，公有云對(duì)云計(jì)算系統(tǒng)的穩(wěn)定性、平安性和并發(fā)效勞能力有更高的要求。2、按效勞對(duì)象分類私有云：指主要效勞于某一組織內(nèi)部的云計(jì)算效勞，其效勞并不向公眾開放，如企業(yè)、政府內(nèi)部的云效勞。12 第 1 章 云計(jì)算基礎(chǔ)云計(jì)算技術(shù)分類混合云：是把公有云和私有云結(jié)合在一起的方式。在這個(gè)模式中，用戶通常將非企業(yè)關(guān)鍵信息外包，并在公有云上處理，而掌握企業(yè)關(guān)鍵效勞及數(shù)據(jù)的內(nèi)容那么放在私有云上處理。2、按效勞對(duì)象分類社區(qū)云：是公有云范疇內(nèi)的一個(gè)組成局部。它由眾多利益相仿的組

5、織掌控及使用，其目的是實(shí)現(xiàn)云計(jì)算的一些優(yōu)勢(shì)，例如特定平安要求、共同宗旨等。社區(qū)成員共同使用云數(shù)據(jù)及應(yīng)用程序。13 第 1 章 云計(jì)算基礎(chǔ)云計(jì)算技術(shù)分類 1 根底設(shè)施即效勞：把單純的計(jì)算和存儲(chǔ)資源不經(jīng)封裝地直接通過網(wǎng)絡(luò)以效勞的形式提供的用戶使用。3、按資源封裝的層次分類 2 平臺(tái)即效勞：計(jì)算和存儲(chǔ)資源經(jīng)封裝后，以某種接口和協(xié)議的形式提供給用戶調(diào)用，資源的使用者不再直接面對(duì)底層資源。14 第 1 章 云計(jì)算基礎(chǔ)云計(jì)算技術(shù)分類3軟件即效勞：將計(jì)算和存儲(chǔ)資源封裝為用戶可以直接使用的應(yīng)用并通過網(wǎng)絡(luò)提供給用戶，SaaS面向的效勞對(duì)象為最終用戶，用戶只是對(duì)軟件功能進(jìn)行使用，無需了解任何云計(jì)算系統(tǒng)的內(nèi)部結(jié)構(gòu)，

6、也不需要用戶具有專業(yè)的技術(shù)開發(fā)能力。3、按資源封裝的層次分類15 第 1 章 云計(jì)算基礎(chǔ)集群系統(tǒng)概述分布式系統(tǒng)中計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制內(nèi)容導(dǎo)航C O N T E N T S云計(jì)算根底云計(jì)算與物聯(lián)網(wǎng)16 第 1 章 云計(jì)算基礎(chǔ)集群系統(tǒng)概述 當(dāng)前云計(jì)算技術(shù)領(lǐng)域存在兩個(gè)主要技術(shù)路線，一個(gè)是基于集群技術(shù)的云計(jì)算資源整合技術(shù)，另一個(gè)是基于虛擬機(jī)技術(shù)的云計(jì)算資源切分技術(shù)?；诩杭夹g(shù)的云計(jì)算資源整合技術(shù)路線將分散的計(jì)算和存儲(chǔ)資源整合輸出，主要依托的技術(shù)為分布式計(jì)算技術(shù)。Google、Hadoop、Storm、HPCC等系統(tǒng)都采用了集群技術(shù)，其資源整合是跨物理節(jié)點(diǎn)的。學(xué)習(xí)集群技術(shù)的根本知識(shí)對(duì)理解云計(jì)算與大數(shù)據(jù)

7、技術(shù)有很好的作用，只有這樣在學(xué)習(xí)時(shí)才能知其所以然。17 第 1 章 云計(jì)算基礎(chǔ)集群系統(tǒng)的根本概念 集群系統(tǒng)是一組獨(dú)立的計(jì)算機(jī)節(jié)點(diǎn)的集合體，節(jié)點(diǎn)間通過高性能的互聯(lián)網(wǎng)絡(luò)連接，各節(jié)點(diǎn)除了作為一個(gè)單一的計(jì)算資源供交互式用戶使用外，還可以協(xié)同工作，并表示為一個(gè)單一的、集中地計(jì)算資源，供并行計(jì)算任務(wù)使用。集群系統(tǒng)是一種造價(jià)低廉、易于構(gòu)建并且具有較好可擴(kuò)放性的體系結(jié)構(gòu)。18 第 1 章 云計(jì)算基礎(chǔ)集群系統(tǒng)的根本概念網(wǎng)絡(luò)接口與節(jié)點(diǎn)的I/O總線松耦合相連；各節(jié)點(diǎn)有一個(gè)本地磁盤；各節(jié)點(diǎn)有自己的完整的操作系統(tǒng)。集群系統(tǒng)具有以下重要特征：集群系統(tǒng)的各節(jié)點(diǎn)都是一個(gè)完整的系統(tǒng)，節(jié)點(diǎn)可以是工作站，也可以是PC或SMP器；互

8、聯(lián)網(wǎng)絡(luò)通常使用商品化網(wǎng)絡(luò)，如以太網(wǎng)、FDDI、光纖通道和ATM開關(guān)等，局部商用集群系統(tǒng)也采用專用網(wǎng)絡(luò)互聯(lián)；19 第 1 章 云計(jì)算基礎(chǔ)集群系統(tǒng)系統(tǒng)的分類1高可用性集群系統(tǒng)。2負(fù)載均衡集群系統(tǒng)。3高性能集群系統(tǒng)。4虛擬化集群系統(tǒng)。20 第 1 章 云計(jì)算基礎(chǔ)集群系統(tǒng)概述云計(jì)算根底分布式系統(tǒng)中計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制內(nèi)容導(dǎo)航C O N T E N T S云計(jì)算與物聯(lián)網(wǎng)21 第 1 章 云計(jì)算基礎(chǔ)分布式系統(tǒng)中計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制 計(jì)算和存儲(chǔ)也是云計(jì)算系統(tǒng)研究的核心問題，分布式系統(tǒng)中計(jì)算和數(shù)據(jù)的協(xié)作關(guān)系非常重要，在分布式系統(tǒng)中實(shí)施計(jì)算都存在計(jì)算如何獲得數(shù)據(jù)的問題，在面向計(jì)算時(shí)代這一問題并不突出，在面向數(shù)據(jù)

9、時(shí)代計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制問題就成為了必須考慮的問題。通常這種機(jī)制的實(shí)現(xiàn)與系統(tǒng)的架構(gòu)有緊密的關(guān)系，系統(tǒng)的根底架構(gòu)決定了系統(tǒng)計(jì)算和數(shù)據(jù)的根本協(xié)作模式。22 第 1 章 云計(jì)算基礎(chǔ)基于計(jì)算切分的分布式計(jì)算 MPI將大量的節(jié)點(diǎn)通過消息傳遞機(jī)制連接起來，從而使節(jié)點(diǎn)的計(jì)算能力聚集成為強(qiáng)大的高性能計(jì)算，主要面向計(jì)算密集的任務(wù)。 MPI提供API接口，通過MPI_Send()和MPI_Recv()等消息通信函數(shù)實(shí)現(xiàn)計(jì)算過程中數(shù)據(jù)的交換。 高性能計(jì)算是一種較為典型的面向計(jì)算的系統(tǒng)，通常處理的是計(jì)算密集型任務(wù)，因此在基于MPI的分布式系統(tǒng)中并沒有與之匹配的文件系統(tǒng)支持，計(jì)算在發(fā)起前通過NFS等網(wǎng)絡(luò)文件系統(tǒng)從集中的

10、存儲(chǔ)系統(tǒng)中讀出數(shù)據(jù)并用于計(jì)算。23 第 1 章 云計(jì)算基礎(chǔ)基于計(jì)算切分的分布式計(jì)算 通常將MPI這樣以切分計(jì)算實(shí)現(xiàn)分布式計(jì)算的系統(tǒng)稱為基于計(jì)算切分的分布式計(jì)算系統(tǒng)。這種系統(tǒng)計(jì)算和存儲(chǔ)的協(xié)作是通過存儲(chǔ)向計(jì)算的遷移來實(shí)現(xiàn)的，也就是說系統(tǒng)先定位計(jì)算節(jié)點(diǎn)再將數(shù)據(jù)從集中存儲(chǔ)設(shè)備通過網(wǎng)絡(luò)讀入計(jì)算程序所在的節(jié)點(diǎn)，在數(shù)據(jù)量不大時(shí)這種方法是可行的，但對(duì)于海量數(shù)據(jù)讀取這種方式會(huì)很低效。MPI的典型系統(tǒng)架構(gòu)24 第 1 章 云計(jì)算基礎(chǔ)基于計(jì)算切分的分布式計(jì)算MPI的典型系統(tǒng)架構(gòu)25 第 1 章 云計(jì)算基礎(chǔ)基于計(jì)算和數(shù)據(jù)切分的混合型分布式計(jì)算技術(shù)網(wǎng)格計(jì)算 硬件和網(wǎng)絡(luò)開展到一定階段后，硬件價(jià)格的廉價(jià)使大多數(shù)人都有了自己

11、的個(gè)人電腦，但卻出現(xiàn)了一方面一些需要大量計(jì)算的任務(wù)資源不夠，另一方面大量個(gè)人電腦閑置的問題。得益于網(wǎng)絡(luò)的開展網(wǎng)格技術(shù)正好是在這個(gè)時(shí)期解決這一矛盾的巧妙方法。人們對(duì)網(wǎng)格技術(shù)的普遍理解是：將分布在世界各地的大量異構(gòu)計(jì)算設(shè)備的資源整合起來，構(gòu)建一個(gè)具有強(qiáng)大計(jì)算能力的超級(jí)計(jì)算系統(tǒng)。26 第 1 章 云計(jì)算基礎(chǔ)基于計(jì)算和數(shù)據(jù)切分的混合型分布式計(jì)算技術(shù)網(wǎng)格計(jì)算 典型網(wǎng)格系統(tǒng)的根本架構(gòu)27 第 1 章 云計(jì)算基礎(chǔ)基于數(shù)據(jù)切分的分布式計(jì)算技術(shù) 通過數(shù)據(jù)切分實(shí)現(xiàn)計(jì)算的分布化是面向數(shù)據(jù)技術(shù)的一個(gè)重要特征，2003年Google逐步公開了它的系統(tǒng)結(jié)構(gòu)，Google的文件系統(tǒng)GFS實(shí)現(xiàn)了在文件系統(tǒng)上就對(duì)數(shù)據(jù)進(jìn)行了切分

12、，這一點(diǎn)對(duì)利用MapReduce實(shí)現(xiàn)對(duì)數(shù)據(jù)的自動(dòng)分布式計(jì)算非常重要，文件系統(tǒng)自身就對(duì)文件施行了自動(dòng)的切分完全改變了分布式計(jì)算的性質(zhì)，MPI、網(wǎng)格計(jì)算都沒有相匹配的文件系統(tǒng)支持，從本質(zhì)上看數(shù)據(jù)都是集中存儲(chǔ)的，網(wǎng)格計(jì)算雖然有數(shù)據(jù)切分的功能，但只是在集中存儲(chǔ)前提下的切分。具有數(shù)據(jù)切分功能的文件系統(tǒng)是面向數(shù)據(jù)的分布式系統(tǒng)的根本要求。28 第 1 章 云計(jì)算基礎(chǔ)基于數(shù)據(jù)切分的分布式計(jì)算技術(shù) 2004年Jeffrey Dean 和Sanjay Ghemawat發(fā)表文章描述了Google系統(tǒng)的MapReduce框架。與MPI不同，這種框架通常不是拆分計(jì)算來實(shí)現(xiàn)分布式處理，而是通過拆分?jǐn)?shù)據(jù)來實(shí)現(xiàn)對(duì)大數(shù)據(jù)的分布

13、式處理，MapReduce框架中分布式文件系統(tǒng)是整個(gè)框架的根底，這一框架下的文件系統(tǒng)一般將數(shù)據(jù)分為128MB的塊進(jìn)行分布式存放，需要對(duì)數(shù)據(jù)進(jìn)行處理時(shí)將計(jì)算在各個(gè)塊所在的節(jié)點(diǎn)直接發(fā)起，防止了從網(wǎng)絡(luò)上讀取數(shù)據(jù)所消耗的大量時(shí)間，實(shí)現(xiàn)計(jì)算主動(dòng)“尋找數(shù)據(jù)的功能，大大簡(jiǎn)化了分布式處理程序設(shè)計(jì)的難度。29 第 1 章 云計(jì)算基礎(chǔ)基于數(shù)據(jù)切分的分布式計(jì)算技術(shù)基于數(shù)據(jù)切分的分布式系統(tǒng)結(jié)構(gòu)30 第 1 章 云計(jì)算基礎(chǔ)基于數(shù)據(jù)切分的分布式計(jì)算技術(shù) MapReduce框架使計(jì)算在集群節(jié)點(diǎn)中能準(zhǔn)確找到所處理的數(shù)據(jù)所在節(jié)點(diǎn)位置的前提是所處理的數(shù)據(jù)具有相同的數(shù)據(jù)類型和處理模式，從而可以通過數(shù)據(jù)的拆分實(shí)現(xiàn)計(jì)算向數(shù)據(jù)的遷移，事

14、實(shí)上這類面向數(shù)據(jù)系統(tǒng)的負(fù)載均衡在其對(duì)數(shù)據(jù)進(jìn)行分塊時(shí)就完成了，系統(tǒng)各節(jié)點(diǎn)的處理壓力與該節(jié)點(diǎn)上的數(shù)據(jù)塊的具體情況相對(duì)應(yīng)，因此MapReduce框架下某一節(jié)點(diǎn)處理能力低下可能會(huì)造成系統(tǒng)的整體等待形成數(shù)據(jù)處理的瓶頸。 2005年Apache基金會(huì)以Google的系統(tǒng)為模板啟動(dòng)了Hadoop工程Hadoop完整地實(shí)現(xiàn)了上面描述的面向數(shù)據(jù)切分的分布式計(jì)算系統(tǒng)，對(duì)應(yīng)的文件系統(tǒng)為HDFS，Hadoop成為了面向數(shù)據(jù)系統(tǒng)的一個(gè)被廣泛接納的標(biāo)準(zhǔn)系統(tǒng)。31 第 1 章 云計(jì)算基礎(chǔ)基于數(shù)據(jù)切分的分布式計(jì)算技術(shù)面向計(jì)算的分布式系統(tǒng)混合型分布式系統(tǒng)面向數(shù)據(jù)的分布式系統(tǒng)分布式計(jì)算的方法計(jì)算拆分?jǐn)?shù)據(jù)拆分?jǐn)?shù)據(jù)拆分典型的儲(chǔ)存方式

15、集中存儲(chǔ)集中存儲(chǔ)分布式存儲(chǔ)計(jì)算與數(shù)據(jù)的位置一致性關(guān)系數(shù)據(jù)向計(jì)算遷移數(shù)據(jù)向計(jì)算遷移計(jì)算向數(shù)據(jù)遷移并行程序開發(fā)難度難N/A易3種分布式系統(tǒng)的比照32 第 1 章 云計(jì)算基礎(chǔ)基于數(shù)據(jù)切分的分布式計(jì)算技術(shù)面向計(jì)算的分布式系統(tǒng)混合型分布式系統(tǒng) 面向數(shù)據(jù)的分布式系統(tǒng)應(yīng)用場(chǎng)景計(jì)算密集計(jì)算密集數(shù)據(jù)密集負(fù)載均衡方式 CPU參數(shù)均衡CPU參數(shù)均衡，數(shù)據(jù)塊均衡數(shù)據(jù)塊均衡主要應(yīng)用領(lǐng)域 專業(yè)領(lǐng)域?qū)I(yè)領(lǐng)域普通領(lǐng)域典型系統(tǒng)MPI，高性能計(jì)算網(wǎng)格計(jì)算，高性能計(jì)算Hadoop、Dyname、Cassandra、Google 續(xù)表33 第 1 章 云計(jì)算基礎(chǔ)集群系統(tǒng)概述云計(jì)算根底分布式系統(tǒng)中計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制內(nèi)容導(dǎo)航C O N

16、 T E N T S云計(jì)算與物聯(lián)網(wǎng)34 第 1 章 云計(jì)算基礎(chǔ)云計(jì)算與物聯(lián)網(wǎng) 云計(jì)算和物聯(lián)網(wǎng)在出現(xiàn)的時(shí)間上非常接近，以至于有一段時(shí)間云計(jì)算和物聯(lián)網(wǎng)兩個(gè)名詞總是同時(shí)出現(xiàn)在各類媒體上。物聯(lián)網(wǎng)的出現(xiàn)局部得益于網(wǎng)絡(luò)的開展，大量傳感器數(shù)據(jù)的收集需要良好的網(wǎng)絡(luò)環(huán)境，特別是局部圖像數(shù)據(jù)的傳輸更是對(duì)網(wǎng)絡(luò)的性能有較高的要求。在物聯(lián)網(wǎng)技術(shù)中傳感器的大量使用使數(shù)據(jù)的生產(chǎn)實(shí)現(xiàn)自動(dòng)化，數(shù)據(jù)生產(chǎn)的自動(dòng)化也是推動(dòng)當(dāng)前大數(shù)據(jù)技術(shù)開展的動(dòng)力之一。35 第 1 章 云計(jì)算基礎(chǔ)云計(jì)算與物聯(lián)網(wǎng) 云物聯(lián)網(wǎng)的英文名稱為“The Internet of Things，簡(jiǎn)稱：IOT。由該名稱可見，物聯(lián)網(wǎng)就是“物物相連的互聯(lián)網(wǎng)。這有兩層意思：

17、因此，物聯(lián)網(wǎng)的定義是通過射頻識(shí)別(RFID)裝置、紅外感應(yīng)器、全球定位系統(tǒng)、激光掃描器等信息傳感設(shè)備，按約定的協(xié)議，把任何物品與互聯(lián)網(wǎng)相連接，進(jìn)行信息交換和通信，以實(shí)現(xiàn)智能化識(shí)別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)。第一，物聯(lián)網(wǎng)的核心和根底仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)根底之上的延伸和擴(kuò)展的一種網(wǎng)絡(luò)；第二，其用戶端延伸和擴(kuò)展到了任何物品與物品之間，進(jìn)行信息交換和通信。36 第 1 章 云計(jì)算基礎(chǔ)云計(jì)算與物聯(lián)網(wǎng) Xen物聯(lián)網(wǎng)系統(tǒng)需要大量的存儲(chǔ)資源來保存數(shù)據(jù)，同時(shí)也需要計(jì)算資源來處理和分析數(shù)據(jù)，當(dāng)前我們所指的物聯(lián)網(wǎng)傳感器連接呈現(xiàn)出以下的特點(diǎn)：連接傳感器種類多樣連接的傳感器數(shù)量眾多連接的傳感器地域廣闊37 第 1 章 云計(jì)算基礎(chǔ)云計(jì)算與物聯(lián)網(wǎng)物聯(lián)網(wǎng)的產(chǎn)業(yè)鏈物聯(lián)網(wǎng)的產(chǎn)業(yè)鏈可以細(xì)分為標(biāo)識(shí)、感知、處理和信息傳送4個(gè)環(huán)節(jié)，每個(gè)環(huán)節(jié)的關(guān)鍵技術(shù)分別為RFID、傳感器、智能芯片和電信運(yùn)營(yíng)商的無線傳輸網(wǎng)絡(luò)。云計(jì)算的出現(xiàn)使物聯(lián)網(wǎng)在互聯(lián)網(wǎng)根底之上延伸和開展成為可能。