云計(jì)算基礎(chǔ)培訓(xùn)課件

1、張柯2016年5月云計(jì)算基礎(chǔ)知識(shí)培訓(xùn)提 綱云計(jì)算概述虛擬化簡(jiǎn)介大數(shù)據(jù)探究云計(jì)算應(yīng)運(yùn)而生的新型IT架構(gòu)業(yè)務(wù)部門(mén)IT部門(mén)應(yīng)用層中間件物理層業(yè)務(wù)系統(tǒng)1業(yè)務(wù)系統(tǒng)2計(jì)算資源存儲(chǔ)資源網(wǎng)絡(luò)資源業(yè)務(wù)能力服務(wù)門(mén)戶APIAPIAPIAPITCP/IP、HTTP協(xié)議業(yè)務(wù)部門(mén)IT部門(mén)業(yè)務(wù)系統(tǒng)n#扁平化#網(wǎng)絡(luò)化#服務(wù)化#云計(jì)算業(yè)界幾個(gè)主流定義維基百科：云計(jì)算是一種動(dòng)態(tài)擴(kuò)展的計(jì)算模式，通過(guò)網(wǎng)絡(luò)將虛擬化的資源作為服務(wù)提供；通常包含infrastructure as a service(IaaS), platform as a service(PaaS), software as a service(SaaS)。Google

2、 的理念：將所有的計(jì)算和應(yīng)用放置在“云”中，設(shè)備終端不需要安裝任何東西，通過(guò)互聯(lián)網(wǎng)絡(luò)來(lái)分享程序和服務(wù)。微軟的理念：認(rèn)為云計(jì)算的應(yīng)是“云+端”的計(jì)算，將計(jì)算資源分散分布，部分資源放在云上，部分資源放在用戶終端，部分資源放在合作伙伴處，最終由用戶選擇合理的計(jì)算資源分布。市場(chǎng)研究機(jī)構(gòu)IDC ：認(rèn)為云計(jì)算是一種新型的IT 技術(shù)發(fā)展、部署及發(fā)布模式，能夠通過(guò)互聯(lián)網(wǎng)實(shí)時(shí)的提供產(chǎn)品、服務(wù)和解決方案。美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)實(shí)驗(yàn)室：云計(jì)算是一個(gè)提供便捷的通過(guò)互聯(lián)網(wǎng)訪問(wèn)一個(gè)可定制的IT 資源共享池能力的按使用量付費(fèi)模式（IT 資源包括網(wǎng)絡(luò)，服務(wù)器，存儲(chǔ)，應(yīng)用，服務(wù)），這些資源能夠快速部署，并只需要很少的管理工作或很少

3、的與服務(wù)供應(yīng)商的交互；到目前為止， 云計(jì)算還沒(méi)有一個(gè)統(tǒng)一的定義，業(yè)界對(duì)云計(jì)算定義達(dá)20多種。云計(jì)算領(lǐng)先者如Google、Microsoft 等IT 廠商，依據(jù)各自的利益和各自不同的研究視角都給出了對(duì)云計(jì)算的定義和理解。云計(jì)算三種服務(wù)類型自建私有云公有云優(yōu)勢(shì)：安全可靠；支撐核心應(yīng)用；面臨的主要問(wèn)題：投產(chǎn)上線時(shí)間長(zhǎng)；彈性能力有限；優(yōu)勢(shì)：彈性擴(kuò)展能力大；成本低；邁入公有云的顧慮：安全性有顧及；應(yīng)用需要改造；無(wú)法支持復(fù)雜環(huán)境；混合云(虛擬數(shù)據(jù)中心)特點(diǎn)：提供企業(yè)所需的彈性擴(kuò)展；TCO性價(jià)比更高；應(yīng)用無(wú)需改造；支撐能力強(qiáng)，上線速度快；高安全級(jí)別，可實(shí)現(xiàn)物理隔離；可視可控的運(yùn)維管理；云計(jì)算總體架構(gòu)云計(jì)算架

4、構(gòu)Level 0 視圖云服務(wù)提供面向云服務(wù)消費(fèi)者，提供統(tǒng)一登錄界面和訪問(wèn)根據(jù)云服務(wù)資源狀況和消費(fèi)者需求，包裝云服務(wù)資源對(duì)云服務(wù)的消費(fèi)設(shè)立服務(wù)等級(jí)，按需計(jì)費(fèi)管理云消費(fèi)者狀態(tài)和請(qǐng)求簡(jiǎn)化和標(biāo)準(zhǔn)化云服務(wù)管理運(yùn)行維護(hù)云計(jì)算架構(gòu)系統(tǒng)，保障云架構(gòu)的穩(wěn)定和可靠云服務(wù)資源軟件即服務(wù)SaaS平臺(tái)即服務(wù)PaaS基礎(chǔ)架構(gòu)即服務(wù)IaaS云計(jì)算架構(gòu)Level 1 視圖提 綱云計(jì)算概述虛擬化簡(jiǎn)介大數(shù)據(jù)探究虛擬化概念虛擬化技術(shù)是一個(gè)廣義的術(shù)語(yǔ)，是指計(jì)算元件在虛擬的基礎(chǔ)上而不是真實(shí)的基礎(chǔ)上運(yùn)行，是一個(gè)為了簡(jiǎn)化管理，優(yōu)化資源的解決方案。本質(zhì)：物理硬件與操作系統(tǒng)分開(kāi)，提供更高的資源利用率和靈活性。虛擬機(jī)和虛擬機(jī)監(jiān)控器虛擬化分類傳統(tǒng)

5、IT問(wèn)題傳統(tǒng)架構(gòu)面臨的問(wèn)題服務(wù)器性能沒(méi)有得到充分利用;更換硬件或遷移應(yīng)用，都要先停機(jī)物理硬件故障，應(yīng)用隨之崩潰操作系統(tǒng)崩潰，應(yīng)用隨之停止傳統(tǒng)架構(gòu)示意圖虛擬架構(gòu)添加一個(gè)虛擬層單一物理硬件，可以對(duì)應(yīng)多個(gè)操作系統(tǒng)一個(gè)操作系統(tǒng)崩潰，不會(huì)影響到另一個(gè)虛擬架構(gòu)的優(yōu)點(diǎn)應(yīng)用和物理硬件都能夠方便的添加或移除虛擬化分類由解決x86體系缺陷的不同方法，分為以下三類：全虛擬化（不修改GuestOS內(nèi)核）半虛擬化（修改GuestOS內(nèi)核）硬件虛擬化（硬件支持）虛擬化技術(shù)VMM向虛擬機(jī)模擬出和真實(shí)硬件完全相同的硬件環(huán)境。優(yōu)點(diǎn)：不用修改GuestOS內(nèi)核缺點(diǎn)： hypervisor給處理器帶來(lái)開(kāi)銷。 代表產(chǎn)品： VMwar

6、e；Virtual PCVMM需要操作系統(tǒng)的協(xié)助才能夠完成對(duì)x86敏感特權(quán)指令的虛擬化。優(yōu)點(diǎn)：性能高。能達(dá)到與原始系統(tǒng)相近的性能. 缺點(diǎn)： 必須修改GuestOS代表產(chǎn)品： XenVMM需要硬件的協(xié)助才能完成對(duì)硬件資源的虛擬。優(yōu)點(diǎn)：也不用修改GuestOS內(nèi)核缺點(diǎn)：需要硬件支持。代表技術(shù)： Intel-VT；AMD-V虛擬化分類類別全虛擬化半虛擬化硬件虛擬化修改Guest OS無(wú)需修改需修改無(wú)需修改兼容性好差好性能差高一般（逐步改善）CPU虛擬化二進(jìn)制代碼翻譯超級(jí)調(diào)用增加新指令內(nèi)存虛擬化影子頁(yè)表MMU半虛擬化影子頁(yè)表3種虛擬化技術(shù)對(duì)比主流虛擬化產(chǎn)品KVMXenVMware虛擬化方式全虛擬化半虛

7、擬化，全虛擬化半虛擬化，全虛擬化與操作系統(tǒng)的關(guān)系Linux內(nèi)核模塊操作系統(tǒng)之上的模塊操作系統(tǒng)之上的模塊HostOSLinux（32位，64位）Linux,windows,Solaris,BSD(32位，64位)Linux Windows（32位，64位）GuestOSLinux，windowsLinux，Windows，Solaris，BSDLinux，Windows使用架構(gòu)和硬件平臺(tái)X86，x86_64（Intel-VT/AMD-V）X86，x86_64，安騰，ARMX86，x86_64，安騰，ARM技術(shù)成熟度高速發(fā)展中，技術(shù)先進(jìn)，是未來(lái)的發(fā)展趨勢(shì)技術(shù)成熟，歷史久遠(yuǎn)商業(yè)級(jí)的技術(shù)，技術(shù)成熟，穩(wěn)

8、定性高支持廠商Linux社區(qū)，Redhat，Ubuntu,Novell,IBMCitrix，Oracle，NovellEMC,VMware可管理性命令行模式，桌面模式命令行模式，桌面模式可視化的操作界面，簡(jiǎn)單易用企業(yè)級(jí)特性支持程度需企業(yè)自己開(kāi)發(fā)，商業(yè)級(jí)的有Redhat的虛擬化產(chǎn)品需企業(yè)自己開(kāi)發(fā)，商業(yè)級(jí)的有Citrix的Xen Server功能性能最為強(qiáng)大，但價(jià)格昂貴虛擬化誤區(qū)誤區(qū)1：服務(wù)器虛擬化會(huì)陷入多個(gè)雞蛋放到一個(gè)籃子的尷尬誤區(qū)2：動(dòng)態(tài)在線虛擬機(jī)遷移可以跨越任何硬件平臺(tái)誤區(qū)3：Intel和AMD都開(kāi)始在CPU級(jí)支持虛擬化，已不需要再購(gòu)買(mǎi)虛擬化軟件了誤區(qū)4：虛擬化技術(shù)仍然不成熟，數(shù)據(jù)中心虛擬化

9、還不能提上議事議程提 綱云計(jì)算概述虛擬化簡(jiǎn)介大數(shù)據(jù)探究大數(shù)據(jù)時(shí)代volume（體量大） variety（模式多） velocity（速度快） value（價(jià)值大）海量數(shù)據(jù)的產(chǎn)生、獲取、挖掘、整合，使之展現(xiàn)出巨大的價(jià)值。大數(shù)據(jù)的真實(shí)價(jià)值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，絕大部分都隱藏在表面之下，而發(fā)掘數(shù)據(jù)價(jià)值、征服數(shù)據(jù)海洋的“動(dòng)力”就是云計(jì)算。大數(shù)據(jù)與云計(jì)算是一個(gè)問(wèn)題的兩面：一個(gè)是問(wèn)題，一個(gè)是解決問(wèn)題的方法。大數(shù)據(jù)將逐漸成為現(xiàn)代社會(huì)基礎(chǔ)設(shè)施的一部分，就像公路、鐵路、港口、水電和通信網(wǎng)絡(luò)一樣不可或缺。但就其價(jià)值特性而言，大數(shù)據(jù)卻和這些物理化的基礎(chǔ)設(shè)施不同， 不會(huì)因?yàn)槿藗兊氖褂枚叟f

10、和貶值。數(shù)據(jù)是資源顯微鏡：能夠讓我們從微觀視角看世界，得出一個(gè)更確切的宏觀結(jié)論。很多事情不用猜了， 客戶的習(xí)慣和偏好一目了然，我們知道客戶喜歡什么、討厭什么，更有針對(duì)性。廣角鏡：讓我們的宏觀視角更寬闊，看到這個(gè)世界更多的聯(lián)系，更多的機(jī)會(huì)，更多的流動(dòng)的東西。資源：和油田、煤礦一樣的資源，可以源源不斷挖掘出巨大財(cái)富。和一般資源不一樣的是：可重復(fù)使用，而且越挖掘越多、越挖掘越值錢(qián)的，這是反自然規(guī)律的。大數(shù)據(jù)案例1連續(xù)兩年沒(méi)有出車禍過(guò)去一年沒(méi)有出車禍過(guò)去一年出一次車禍過(guò)去一年出兩次及以上車禍駕駛習(xí)慣駕駛路線路況信息違章記錄維修記錄事故報(bào)告車輛狀況汽車保險(xiǎn)汽車保險(xiǎn)大數(shù)據(jù)案例2試穿次數(shù)銷售量低銷售量高RF

11、ID季節(jié)地域色彩大數(shù)據(jù)技術(shù)路線離線大數(shù)據(jù)分析技術(shù)海量數(shù)據(jù)存儲(chǔ)技術(shù) 在線大數(shù)據(jù)處理技術(shù)海量數(shù)據(jù)存儲(chǔ)技術(shù)HDFS、HBase、MongoDB、S3離線大數(shù)據(jù)分析技術(shù)MapReduce、Hive、Pig在線大數(shù)據(jù)處理技術(shù)Impala（內(nèi)存計(jì)算）、Storm（流處理）、Spark（內(nèi)存計(jì)算）、Redis（內(nèi)存數(shù)據(jù)庫(kù)）現(xiàn)狀-技術(shù)瓶頸APCConsistencyAvailabilityPartition TolerancePick Two！ACRDBMSAPCouchDBCPHBaseMongoDBRedisCAP！現(xiàn)狀-大數(shù)據(jù)處理五項(xiàng)技術(shù)大數(shù)據(jù)處理五項(xiàng)技術(shù)-高性能數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)處理五項(xiàng)技術(shù)-MPP大數(shù)據(jù)

12、處理五項(xiàng)技術(shù)-HADOOP/MR大數(shù)據(jù)處理主要關(guān)注的五項(xiàng)技術(shù)-NoSQLHadoopHadoop海量存儲(chǔ)與計(jì)算平臺(tái)作者：Doug Cutting受Google三篇論文的啟發(fā)GFSBigTableMapReduceHadoop架構(gòu)Hadoop Common: hadoop的基礎(chǔ)，支撐其它模塊的基本公共組件Hadoop Distributed File System (HDFS): 分布式文件系統(tǒng)Hadoop YARN: 集群任務(wù)資源管理及任務(wù)調(diào)度的框架Hadoop MapReduce: 一種基于YARN的并行計(jì)算框架。 Hive ：構(gòu)建在Hadoop 上的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)構(gòu)架HBase：分布式非結(jié)構(gòu)

13、數(shù)據(jù)庫(kù)Pig：腳本語(yǔ)言，提供易于編程的并行計(jì)算框架Mahout:一個(gè)并行化的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘庫(kù)。Zookeeper：一種管理分布式應(yīng)用程序的高性能協(xié)調(diào)服務(wù)系統(tǒng)。Hadoop MRMapShuffleReduceHadoop 總結(jié)高度可擴(kuò)展：線性擴(kuò)展，可動(dòng)態(tài)增加/削減計(jì)算節(jié)點(diǎn)，真正實(shí)現(xiàn)彈性計(jì)算。經(jīng)濟(jì)：以運(yùn)行在任何普通的PC上高容錯(cuò)能力：支持任務(wù)自動(dòng)遷移、重試和預(yù)測(cè)執(zhí)行，不受計(jì)算節(jié)點(diǎn)故障影響?？煽浚悍植际轿募到y(tǒng)的備份恢復(fù)機(jī)制以及MapReduce的任務(wù)監(jiān)控保證了分布式處理的可靠性。高效：分布式文件系統(tǒng)的高效數(shù)據(jù)交互實(shí)現(xiàn)以及MapReduce結(jié)合Local Data處理的模式，為高效處理海量的信息作了基礎(chǔ)準(zhǔn)備。就近調(diào)度算法