《云計算和大數(shù)據(jù)技術(shù) 概念應用與實戰(zhàn)》第1章云計算基礎

1、1 第 1 章 云計算基礎? ?云計算和大數(shù)據(jù)技術(shù) 概念應用與實戰(zhàn)? ?第1 1章云計算根底2 第 1 章 云計算基礎集群系統(tǒng)概述云計算根底分布式系統(tǒng)中計算和數(shù)據(jù)的協(xié)作機制云計算與物聯(lián)網(wǎng)內(nèi)容導航C O N T E N T S3 第 1 章 云計算基礎4 第 1 章 云計算基礎5 第 1 章 云計算基礎云計算簡介 云計算是一種基于互聯(lián)網(wǎng)的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計算機和其他設備，它就像我們?nèi)粘Ｉ钪杏盟陀秒娨粯?，按需付費，而無需關(guān)心水、電是從何而來的一種資源管理模式。維基百科中對云計算的定義6 第 1 章 云計算基礎云計算簡介 云計算是基于互聯(lián)網(wǎng)的效勞的增

2、加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)、易擴展且經(jīng)常是虛擬化的資源。云計算是傳統(tǒng)計算機和網(wǎng)絡技術(shù)開展融合的產(chǎn)物，它意味著計算能力也可作為一種商品通過互聯(lián)網(wǎng)進行流通。2021年的國務院政府工作報告將云計算作為國家戰(zhàn)略性新興產(chǎn)業(yè)給出了定義7 第 1 章 云計算基礎云計算簡介在云計算時代根本的3種角色負責資源的整合輸出資源的整合運營者負責將資源轉(zhuǎn)變?yōu)闈M足客戶需求的各種應用資源的使用者資源的最終消費者終端客戶8 第 1 章 云計算基礎云計算的特點資源池彈性可擴張1243按需提供資源效勞虛擬化網(wǎng)絡化的資源接入5提高可靠性和平安性9 第 1 章 云計算基礎云計算技術(shù)分類這種類型的云計算系統(tǒng)在技術(shù)

3、實現(xiàn)方面大多表達為集群架構(gòu)，通過將大量節(jié)點的計算資源和存儲資源整合后輸出。這類系統(tǒng)通常能實現(xiàn)跨節(jié)點彈性化的資源池構(gòu)建，核心技術(shù)為分布式計算和存儲技術(shù)。MPI、Hadoop、HPCC、Storm等都可以被分類為資源整合型云計算系統(tǒng)。1、按技術(shù)路線分類資源整合型云計算10 第 1 章 云計算基礎云計算技術(shù)分類優(yōu)點：用戶的系統(tǒng)可以不做任何改變接入采用虛擬化技術(shù)的云系統(tǒng)，是目前應用較為廣泛的技術(shù)，特別是在桌面云計算技術(shù)上應用得較為成功。資源切分型云計算這種類型最為典型的就是虛擬化系統(tǒng)，這類云計算系統(tǒng)通過系統(tǒng)虛擬化實現(xiàn)對單個效勞器資源的彈性化切分，從而有效地利用效勞器資源，其核心技術(shù)為虛擬化技術(shù)。缺點：

4、跨節(jié)點的資源整合代價較大。KVM、VMware都是這類技術(shù)的代表。11 第 1 章 云計算基礎云計算技術(shù)分類公有云：指效勞對象是面向公眾的云計算效勞，公有云對云計算系統(tǒng)的穩(wěn)定性、平安性和并發(fā)效勞能力有更高的要求。2、按效勞對象分類私有云：指主要效勞于某一組織內(nèi)部的云計算效勞，其效勞并不向公眾開放，如企業(yè)、政府內(nèi)部的云效勞。12 第 1 章 云計算基礎云計算技術(shù)分類混合云：是把公有云和私有云結(jié)合在一起的方式。在這個模式中，用戶通常將非企業(yè)關(guān)鍵信息外包，并在公有云上處理，而掌握企業(yè)關(guān)鍵效勞及數(shù)據(jù)的內(nèi)容那么放在私有云上處理。2、按效勞對象分類社區(qū)云：是公有云范疇內(nèi)的一個組成局部。它由眾多利益相仿的組

5、織掌控及使用，其目的是實現(xiàn)云計算的一些優(yōu)勢，例如特定平安要求、共同宗旨等。社區(qū)成員共同使用云數(shù)據(jù)及應用程序。13 第 1 章 云計算基礎云計算技術(shù)分類 1 根底設施即效勞：把單純的計算和存儲資源不經(jīng)封裝地直接通過網(wǎng)絡以效勞的形式提供的用戶使用。3、按資源封裝的層次分類 2 平臺即效勞：計算和存儲資源經(jīng)封裝后，以某種接口和協(xié)議的形式提供給用戶調(diào)用，資源的使用者不再直接面對底層資源。14 第 1 章 云計算基礎云計算技術(shù)分類3軟件即效勞：將計算和存儲資源封裝為用戶可以直接使用的應用并通過網(wǎng)絡提供給用戶，SaaS面向的效勞對象為最終用戶，用戶只是對軟件功能進行使用，無需了解任何云計算系統(tǒng)的內(nèi)部結(jié)構(gòu)，

6、也不需要用戶具有專業(yè)的技術(shù)開發(fā)能力。3、按資源封裝的層次分類15 第 1 章 云計算基礎集群系統(tǒng)概述分布式系統(tǒng)中計算和數(shù)據(jù)的協(xié)作機制內(nèi)容導航C O N T E N T S云計算根底云計算與物聯(lián)網(wǎng)16 第 1 章 云計算基礎集群系統(tǒng)概述 當前云計算技術(shù)領域存在兩個主要技術(shù)路線，一個是基于集群技術(shù)的云計算資源整合技術(shù)，另一個是基于虛擬機技術(shù)的云計算資源切分技術(shù)?；诩杭夹g(shù)的云計算資源整合技術(shù)路線將分散的計算和存儲資源整合輸出，主要依托的技術(shù)為分布式計算技術(shù)。Google、Hadoop、Storm、HPCC等系統(tǒng)都采用了集群技術(shù)，其資源整合是跨物理節(jié)點的。學習集群技術(shù)的根本知識對理解云計算與大數(shù)據(jù)

7、技術(shù)有很好的作用，只有這樣在學習時才能知其所以然。17 第 1 章 云計算基礎集群系統(tǒng)的根本概念 集群系統(tǒng)是一組獨立的計算機節(jié)點的集合體，節(jié)點間通過高性能的互聯(lián)網(wǎng)絡連接，各節(jié)點除了作為一個單一的計算資源供交互式用戶使用外，還可以協(xié)同工作，并表示為一個單一的、集中地計算資源，供并行計算任務使用。集群系統(tǒng)是一種造價低廉、易于構(gòu)建并且具有較好可擴放性的體系結(jié)構(gòu)。18 第 1 章 云計算基礎集群系統(tǒng)的根本概念網(wǎng)絡接口與節(jié)點的I/O總線松耦合相連；各節(jié)點有一個本地磁盤；各節(jié)點有自己的完整的操作系統(tǒng)。集群系統(tǒng)具有以下重要特征：集群系統(tǒng)的各節(jié)點都是一個完整的系統(tǒng)，節(jié)點可以是工作站，也可以是PC或SMP器；互

8、聯(lián)網(wǎng)絡通常使用商品化網(wǎng)絡，如以太網(wǎng)、FDDI、光纖通道和ATM開關(guān)等，局部商用集群系統(tǒng)也采用專用網(wǎng)絡互聯(lián)；19 第 1 章 云計算基礎集群系統(tǒng)系統(tǒng)的分類1高可用性集群系統(tǒng)。2負載均衡集群系統(tǒng)。3高性能集群系統(tǒng)。4虛擬化集群系統(tǒng)。20 第 1 章 云計算基礎集群系統(tǒng)概述云計算根底分布式系統(tǒng)中計算和數(shù)據(jù)的協(xié)作機制內(nèi)容導航C O N T E N T S云計算與物聯(lián)網(wǎng)21 第 1 章 云計算基礎分布式系統(tǒng)中計算和數(shù)據(jù)的協(xié)作機制 計算和存儲也是云計算系統(tǒng)研究的核心問題，分布式系統(tǒng)中計算和數(shù)據(jù)的協(xié)作關(guān)系非常重要，在分布式系統(tǒng)中實施計算都存在計算如何獲得數(shù)據(jù)的問題，在面向計算時代這一問題并不突出，在面向數(shù)據(jù)

9、時代計算和數(shù)據(jù)的協(xié)作機制問題就成為了必須考慮的問題。通常這種機制的實現(xiàn)與系統(tǒng)的架構(gòu)有緊密的關(guān)系，系統(tǒng)的根底架構(gòu)決定了系統(tǒng)計算和數(shù)據(jù)的根本協(xié)作模式。22 第 1 章 云計算基礎基于計算切分的分布式計算 MPI將大量的節(jié)點通過消息傳遞機制連接起來，從而使節(jié)點的計算能力聚集成為強大的高性能計算，主要面向計算密集的任務。 MPI提供API接口，通過MPI_Send()和MPI_Recv()等消息通信函數(shù)實現(xiàn)計算過程中數(shù)據(jù)的交換。 高性能計算是一種較為典型的面向計算的系統(tǒng)，通常處理的是計算密集型任務，因此在基于MPI的分布式系統(tǒng)中并沒有與之匹配的文件系統(tǒng)支持，計算在發(fā)起前通過NFS等網(wǎng)絡文件系統(tǒng)從集中的

10、存儲系統(tǒng)中讀出數(shù)據(jù)并用于計算。23 第 1 章 云計算基礎基于計算切分的分布式計算 通常將MPI這樣以切分計算實現(xiàn)分布式計算的系統(tǒng)稱為基于計算切分的分布式計算系統(tǒng)。這種系統(tǒng)計算和存儲的協(xié)作是通過存儲向計算的遷移來實現(xiàn)的，也就是說系統(tǒng)先定位計算節(jié)點再將數(shù)據(jù)從集中存儲設備通過網(wǎng)絡讀入計算程序所在的節(jié)點，在數(shù)據(jù)量不大時這種方法是可行的，但對于海量數(shù)據(jù)讀取這種方式會很低效。MPI的典型系統(tǒng)架構(gòu)24 第 1 章 云計算基礎基于計算切分的分布式計算MPI的典型系統(tǒng)架構(gòu)25 第 1 章 云計算基礎基于計算和數(shù)據(jù)切分的混合型分布式計算技術(shù)網(wǎng)格計算 硬件和網(wǎng)絡開展到一定階段后，硬件價格的廉價使大多數(shù)人都有了自己

11、的個人電腦，但卻出現(xiàn)了一方面一些需要大量計算的任務資源不夠，另一方面大量個人電腦閑置的問題。得益于網(wǎng)絡的開展網(wǎng)格技術(shù)正好是在這個時期解決這一矛盾的巧妙方法。人們對網(wǎng)格技術(shù)的普遍理解是：將分布在世界各地的大量異構(gòu)計算設備的資源整合起來，構(gòu)建一個具有強大計算能力的超級計算系統(tǒng)。26 第 1 章 云計算基礎基于計算和數(shù)據(jù)切分的混合型分布式計算技術(shù)網(wǎng)格計算 典型網(wǎng)格系統(tǒng)的根本架構(gòu)27 第 1 章 云計算基礎基于數(shù)據(jù)切分的分布式計算技術(shù) 通過數(shù)據(jù)切分實現(xiàn)計算的分布化是面向數(shù)據(jù)技術(shù)的一個重要特征，2003年Google逐步公開了它的系統(tǒng)結(jié)構(gòu)，Google的文件系統(tǒng)GFS實現(xiàn)了在文件系統(tǒng)上就對數(shù)據(jù)進行了切分

12、，這一點對利用MapReduce實現(xiàn)對數(shù)據(jù)的自動分布式計算非常重要，文件系統(tǒng)自身就對文件施行了自動的切分完全改變了分布式計算的性質(zhì)，MPI、網(wǎng)格計算都沒有相匹配的文件系統(tǒng)支持，從本質(zhì)上看數(shù)據(jù)都是集中存儲的，網(wǎng)格計算雖然有數(shù)據(jù)切分的功能，但只是在集中存儲前提下的切分。具有數(shù)據(jù)切分功能的文件系統(tǒng)是面向數(shù)據(jù)的分布式系統(tǒng)的根本要求。28 第 1 章 云計算基礎基于數(shù)據(jù)切分的分布式計算技術(shù) 2004年Jeffrey Dean 和Sanjay Ghemawat發(fā)表文章描述了Google系統(tǒng)的MapReduce框架。與MPI不同，這種框架通常不是拆分計算來實現(xiàn)分布式處理，而是通過拆分數(shù)據(jù)來實現(xiàn)對大數(shù)據(jù)的分布

13、式處理，MapReduce框架中分布式文件系統(tǒng)是整個框架的根底，這一框架下的文件系統(tǒng)一般將數(shù)據(jù)分為128MB的塊進行分布式存放，需要對數(shù)據(jù)進行處理時將計算在各個塊所在的節(jié)點直接發(fā)起，防止了從網(wǎng)絡上讀取數(shù)據(jù)所消耗的大量時間，實現(xiàn)計算主動“尋找數(shù)據(jù)的功能，大大簡化了分布式處理程序設計的難度。29 第 1 章 云計算基礎基于數(shù)據(jù)切分的分布式計算技術(shù)基于數(shù)據(jù)切分的分布式系統(tǒng)結(jié)構(gòu)30 第 1 章 云計算基礎基于數(shù)據(jù)切分的分布式計算技術(shù) MapReduce框架使計算在集群節(jié)點中能準確找到所處理的數(shù)據(jù)所在節(jié)點位置的前提是所處理的數(shù)據(jù)具有相同的數(shù)據(jù)類型和處理模式，從而可以通過數(shù)據(jù)的拆分實現(xiàn)計算向數(shù)據(jù)的遷移，事

14、實上這類面向數(shù)據(jù)系統(tǒng)的負載均衡在其對數(shù)據(jù)進行分塊時就完成了，系統(tǒng)各節(jié)點的處理壓力與該節(jié)點上的數(shù)據(jù)塊的具體情況相對應，因此MapReduce框架下某一節(jié)點處理能力低下可能會造成系統(tǒng)的整體等待形成數(shù)據(jù)處理的瓶頸。 2005年Apache基金會以Google的系統(tǒng)為模板啟動了Hadoop工程Hadoop完整地實現(xiàn)了上面描述的面向數(shù)據(jù)切分的分布式計算系統(tǒng)，對應的文件系統(tǒng)為HDFS，Hadoop成為了面向數(shù)據(jù)系統(tǒng)的一個被廣泛接納的標準系統(tǒng)。31 第 1 章 云計算基礎基于數(shù)據(jù)切分的分布式計算技術(shù)面向計算的分布式系統(tǒng)混合型分布式系統(tǒng)面向數(shù)據(jù)的分布式系統(tǒng)分布式計算的方法計算拆分數(shù)據(jù)拆分數(shù)據(jù)拆分典型的儲存方式

15、集中存儲集中存儲分布式存儲計算與數(shù)據(jù)的位置一致性關(guān)系數(shù)據(jù)向計算遷移數(shù)據(jù)向計算遷移計算向數(shù)據(jù)遷移并行程序開發(fā)難度難N/A易3種分布式系統(tǒng)的比照32 第 1 章 云計算基礎基于數(shù)據(jù)切分的分布式計算技術(shù)面向計算的分布式系統(tǒng)混合型分布式系統(tǒng) 面向數(shù)據(jù)的分布式系統(tǒng)應用場景計算密集計算密集數(shù)據(jù)密集負載均衡方式 CPU參數(shù)均衡CPU參數(shù)均衡，數(shù)據(jù)塊均衡數(shù)據(jù)塊均衡主要應用領域 專業(yè)領域?qū)I(yè)領域普通領域典型系統(tǒng)MPI，高性能計算網(wǎng)格計算，高性能計算Hadoop、Dyname、Cassandra、Google 續(xù)表33 第 1 章 云計算基礎集群系統(tǒng)概述云計算根底分布式系統(tǒng)中計算和數(shù)據(jù)的協(xié)作機制內(nèi)容導航C O N

16、 T E N T S云計算與物聯(lián)網(wǎng)34 第 1 章 云計算基礎云計算與物聯(lián)網(wǎng) 云計算和物聯(lián)網(wǎng)在出現(xiàn)的時間上非常接近，以至于有一段時間云計算和物聯(lián)網(wǎng)兩個名詞總是同時出現(xiàn)在各類媒體上。物聯(lián)網(wǎng)的出現(xiàn)局部得益于網(wǎng)絡的開展，大量傳感器數(shù)據(jù)的收集需要良好的網(wǎng)絡環(huán)境，特別是局部圖像數(shù)據(jù)的傳輸更是對網(wǎng)絡的性能有較高的要求。在物聯(lián)網(wǎng)技術(shù)中傳感器的大量使用使數(shù)據(jù)的生產(chǎn)實現(xiàn)自動化，數(shù)據(jù)生產(chǎn)的自動化也是推動當前大數(shù)據(jù)技術(shù)開展的動力之一。35 第 1 章 云計算基礎云計算與物聯(lián)網(wǎng) 云物聯(lián)網(wǎng)的英文名稱為“The Internet of Things，簡稱：IOT。由該名稱可見，物聯(lián)網(wǎng)就是“物物相連的互聯(lián)網(wǎng)。這有兩層意思：

17、因此，物聯(lián)網(wǎng)的定義是通過射頻識別(RFID)裝置、紅外感應器、全球定位系統(tǒng)、激光掃描器等信息傳感設備，按約定的協(xié)議，把任何物品與互聯(lián)網(wǎng)相連接，進行信息交換和通信，以實現(xiàn)智能化識別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡。第一，物聯(lián)網(wǎng)的核心和根底仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)根底之上的延伸和擴展的一種網(wǎng)絡；第二，其用戶端延伸和擴展到了任何物品與物品之間，進行信息交換和通信。36 第 1 章 云計算基礎云計算與物聯(lián)網(wǎng) Xen物聯(lián)網(wǎng)系統(tǒng)需要大量的存儲資源來保存數(shù)據(jù)，同時也需要計算資源來處理和分析數(shù)據(jù)，當前我們所指的物聯(lián)網(wǎng)傳感器連接呈現(xiàn)出以下的特點：連接傳感器種類多樣連接的傳感器數(shù)量眾多連接的傳感器地域廣闊37 第 1 章 云計算基礎云計算與物聯(lián)網(wǎng)物聯(lián)網(wǎng)的產(chǎn)業(yè)鏈物聯(lián)網(wǎng)的產(chǎn)業(yè)鏈可以細分為標識、感知、處理和信息傳送4個環(huán)節(jié)，每個環(huán)節(jié)的關(guān)鍵技術(shù)分別為RFID、傳感器、智能芯片和電信運營商的無線傳輸網(wǎng)絡。云計算的出現(xiàn)使物聯(lián)網(wǎng)在互聯(lián)網(wǎng)根底之上延伸和開展成為可能。