華為云計(jì)算技術(shù)與應(yīng)用 課件全套 第1-9章 云計(jì)算概念與核心技術(shù)- 華為云計(jì)算綜合實(shí)踐

第1章

云計(jì)算概念與核心技術(shù)華為云計(jì)算技術(shù)與應(yīng)用1.1云計(jì)算簡(jiǎn)介1.2虛擬化技術(shù)1.3分布式技術(shù)學(xué)習(xí)要點(diǎn)1.1.1 云計(jì)算的發(fā)展與概念云計(jì)算的發(fā)展人類歷史上第一臺(tái)公認(rèn)的通用電子數(shù)字積分計(jì)算機(jī)（ElectronicNumericalIntegratorAndComputer，ENIAC）誕生了。ENIAC由18000多個(gè)電子管組成，體積龐大，需要占滿好幾個(gè)房間，耗電量驚人電子計(jì)算機(jī)更多的是大型機(jī)，如IBM公司的大型機(jī)S/360等，大型機(jī)具有處理能力強(qiáng)、安全性高、穩(wěn)定性好等優(yōu)點(diǎn)，但是由于其價(jià)格昂貴，一般只被政府、銀行等機(jī)構(gòu)使用，其他用戶可能就不會(huì)選擇大型機(jī)。SUN（StanfordUniversityNetwork）公司的聯(lián)合創(chuàng)始人約翰·蓋奇首次提出了“網(wǎng)絡(luò)即計(jì)算”這一概念，這是最早提出的與云計(jì)算相似的概念，即通過(guò)網(wǎng)絡(luò)，用戶或公司能夠獲取到所需的計(jì)算等資源，從而對(duì)信息進(jìn)行處理。拉姆納特·切拉帕教授在一次演講中提出了“云計(jì)算”這一詞，同時(shí)，他指出“計(jì)算資源的邊界不再由技術(shù)決定，而是由經(jīng)濟(jì)需求來(lái)決定”，即資源是根據(jù)用戶需求來(lái)提供的。Salesforce公司提供了可通過(guò)互聯(lián)網(wǎng)按需訪問(wèn)軟件的服務(wù)。Salesforce是全球領(lǐng)先的客戶關(guān)系管理軟件的提供商，它通過(guò)一系列的創(chuàng)新和新技術(shù)的引入，提供了一種全新的SaaS方式管理客戶關(guān)系。1946年20世紀(jì)60年代1983年1997年1999年1.1.1 云計(jì)算的發(fā)展與概念云計(jì)算的發(fā)展谷歌發(fā)表了關(guān)于分布式文件系統(tǒng)、并行計(jì)算、數(shù)據(jù)管理和分布式資源管理的4篇論文，為云計(jì)算和大數(shù)據(jù)的發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)。谷歌前首席執(zhí)行官埃里克·施密特首次提出了云計(jì)算概念。同年，亞馬遜推出了云計(jì)算產(chǎn)品亞馬遜彈性計(jì)算云（ElasticComputeCloud，EC2），指出云計(jì)算通過(guò)互聯(lián)網(wǎng)按需提供IT資源，并且采用按使用量付費(fèi)的定價(jià)方式。云計(jì)算發(fā)展的關(guān)鍵一年，也被認(rèn)為是中國(guó)的云計(jì)算元年。在這一年，VMware開(kāi)始加入云計(jì)算市場(chǎng)，提供相應(yīng)的云計(jì)算產(chǎn)品，同時(shí)，VMware和谷歌展開(kāi)合作，微軟云計(jì)算產(chǎn)品Azure添加了對(duì)遠(yuǎn)程桌面和虛擬化的支持，增強(qiáng)了其IaaS層的服務(wù)提供能力。在中國(guó)，政府開(kāi)始重視云計(jì)算的發(fā)展，頒布了《關(guān)于做好云計(jì)算服務(wù)創(chuàng)新發(fā)展試點(diǎn)示范工作的通知》等文件。同年，阿里云開(kāi)始公測(cè)。亞馬遜、微軟和阿里占據(jù)全球近70%的云市場(chǎng)，云計(jì)算產(chǎn)業(yè)成為全球性的競(jìng)爭(zhēng)產(chǎn)業(yè)。關(guān)于云計(jì)算未來(lái)的發(fā)展，亞馬遜全球副總裁兼首席技術(shù)官威格爾指出，未來(lái)云計(jì)算將改善城市生活，實(shí)現(xiàn)工業(yè)物聯(lián)網(wǎng)、視頻分析和安全分析，還將改變醫(yī)療分析。2000年2006年2010年2020年1.1.1 云計(jì)算的發(fā)展與概念維基百科指出，云計(jì)算是現(xiàn)有技術(shù)和范例的發(fā)展和采用的結(jié)果。云計(jì)算的目標(biāo)是允許用戶從所有這些技術(shù)中獲益，而不需要對(duì)每一項(xiàng)技術(shù)都有深入的了解?！霸啤敝荚诮档统杀?，幫助用戶專注于核心業(yè)務(wù)，而不被IT障礙所阻礙。云安全聯(lián)盟指出，云計(jì)算的本質(zhì)是一種提供服務(wù)的模式。通過(guò)這種模式，用戶可以隨時(shí)隨地按需地通過(guò)網(wǎng)絡(luò)訪問(wèn)共享資源池的資源。資源池的內(nèi)容包括計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源等，這些資源能夠被動(dòng)態(tài)地分配和調(diào)整，在不同用戶之間靈活地劃分。凡是符合這些特征的IT服務(wù)都可以被稱為云計(jì)算服務(wù)。普遍被接受的概念是由美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院（NationalInstituteofStandardsandTechnology，NIST）提出的，云計(jì)算是一種模型，它可以實(shí)現(xiàn)用戶隨時(shí)隨地、便捷、按需地從可配置計(jì)算資源共享池中獲取所需的資源（如網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用和服務(wù)等）。這些資源能夠快速供應(yīng)并釋放，使資源管理的工作量和用戶與服務(wù)提供商的交互次數(shù)減少到最低限度。云計(jì)算的概念1.1.2 云計(jì)算的特征與優(yōu)勢(shì)云計(jì)算的特征（1）按需自助服務(wù)按需自助意味著用戶可自助獲取相關(guān)資源或服務(wù)，資源可以是應(yīng)用程序、網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、數(shù)據(jù)庫(kù)等，服務(wù)可以是人工服務(wù)等。在云時(shí)代，用戶可以直接通過(guò)云控制臺(tái)界面進(jìn)行資源申請(qǐng)，同時(shí)，若用戶在使用過(guò)程中有任何問(wèn)題，可以在云平臺(tái)上申請(qǐng)人工服務(wù)來(lái)幫助解決問(wèn)題。（2）廣泛的網(wǎng)絡(luò)接入允許用戶在終端設(shè)備上通過(guò)網(wǎng)絡(luò)接入云中獲取相應(yīng)的資源。理論上來(lái)說(shuō)，只要網(wǎng)絡(luò)可達(dá)就可以獲取相應(yīng)資源，和用戶所處位置無(wú)關(guān)，和用戶使用的終端設(shè)備也無(wú)關(guān)。（3）資源池化根據(jù)NIST的定義可以看出，云計(jì)算提供的是共享資源池，即資源池化。資源池化意味著用戶獲取的資源或服務(wù)都是來(lái)自某個(gè)資源池的，這個(gè)資源池可以是公共的資源池，也可以是私有的資源池。（4）快速?gòu)椥陨炜s意味著云中提供的某個(gè)服務(wù)可以快速伸縮，適應(yīng)業(yè)務(wù)負(fù)載的動(dòng)態(tài)變化，從而能夠保證資源的提供量和業(yè)務(wù)對(duì)資源的需求量是高度匹配的，避免資源的冗余和浪費(fèi)。（5）可計(jì)量服務(wù)云上大部分的資源是收費(fèi)的，用戶按需使用云中的資源，按實(shí)際使用量付費(fèi)，因此平臺(tái)需要收集使用資源的類型、使用數(shù)量和使用時(shí)長(zhǎng)等信息，根據(jù)這些信息，對(duì)用戶進(jìn)行相應(yīng)的收費(fèi)。1.1.2 云計(jì)算的特征與優(yōu)勢(shì)云計(jì)算的優(yōu)勢(shì)01020304快速便捷理論上，只要網(wǎng)絡(luò)可達(dá)，就可以獲取所需資源，因此，云計(jì)算被廣泛應(yīng)用于教育、辦公、醫(yī)療等眾多領(lǐng)域。安全可靠在安全方面，云計(jì)算從底層到上層，提供了眾多安全策略、措施和工具來(lái)保障安全。在可靠性方面，數(shù)據(jù)存儲(chǔ)采用多副本容錯(cuò)、虛擬機(jī)可熱遷移、數(shù)據(jù)庫(kù)主備設(shè)計(jì)、上層應(yīng)用負(fù)載均衡等方式，很好地保證了用戶業(yè)務(wù)的高可靠性。經(jīng)濟(jì)高效在大廠商提供的云平臺(tái)上去搭建自身的業(yè)務(wù)，能夠快速獲得自身業(yè)務(wù)所需資源，且選擇多樣。同時(shí)，可以根據(jù)業(yè)務(wù)自身需求去考慮資源的付費(fèi)方式，在一定程度上能夠降低用戶或中小企業(yè)的業(yè)務(wù)成本。靈活彈性對(duì)于云上資源，靈活彈性體現(xiàn)在資源的彈性伸縮上，包括資源配置的更改和資源數(shù)量的變更。1.3.1 云計(jì)算的應(yīng)用對(duì)個(gè)人而言，云計(jì)算滲透在個(gè)人的衣食住行、教育、醫(yī)療、辦公等各個(gè)方面。除此之外，當(dāng)人們?cè)谌粘Ｉ钪惺褂靡恍┮曨l軟件觀看娛樂(lè)節(jié)目或者在一些電商平臺(tái)上購(gòu)買所需商品時(shí)，其后臺(tái)使用的也是云計(jì)算技術(shù)。以華為商城VMALL為例，VMALL是華為自營(yíng)電商平臺(tái)，其本身就是基于華為云平臺(tái)搭建的。對(duì)廣大中小企業(yè)而言，采用云計(jì)算技術(shù)能夠降本增效，從而有利于滿足其自身業(yè)務(wù)發(fā)展的需求。在金融行業(yè)中，以某銀行為例，其業(yè)務(wù)快速發(fā)展導(dǎo)致業(yè)務(wù)體量快速增長(zhǎng)，客戶群體從高價(jià)值客戶向長(zhǎng)尾客戶延伸，但其業(yè)務(wù)部署分散隔離，導(dǎo)致后端資源難管控，各業(yè)務(wù)的價(jià)值發(fā)現(xiàn)困難。在交通行業(yè)中，以城軌為例，在《交通強(qiáng)國(guó)建設(shè)綱要》的要求和指導(dǎo)下，中國(guó)城軌從單線建設(shè)向線網(wǎng)建設(shè)發(fā)展，同時(shí)，從提供單一的出行服務(wù)向提供綜合服務(wù)發(fā)展，即中國(guó)城軌從傳統(tǒng)城軌向智慧城軌發(fā)展。(1)(2)1.1.4 云計(jì)算平臺(tái)、云管理平臺(tái)與云計(jì)算服務(wù)云計(jì)算平臺(tái)是一種基于云計(jì)算技術(shù)構(gòu)建的軟件和服務(wù)平臺(tái)，它提供了一種可靠、靈活、可擴(kuò)展的方式來(lái)構(gòu)建、部署和管理應(yīng)用程序和服務(wù)。利用虛擬化技術(shù)，云計(jì)算平臺(tái)能夠基于底層的IT資源池構(gòu)建出龐大的云計(jì)算共享資源池，進(jìn)而向用戶提供不同的云計(jì)算服務(wù)。

云計(jì)算平臺(tái)目前云計(jì)算服務(wù)模式主要包括基礎(chǔ)設(shè)施即服務(wù)（InfrastructureasaService，IaaS）、平臺(tái)即服務(wù)（PlatformasaService，PaaS）和軟件即服務(wù)（SoftwareasaService，SaaS）三類。1.1.4 云計(jì)算平臺(tái)、云管理平臺(tái)與云計(jì)算服務(wù)隨著用戶需求和規(guī)模的不斷增長(zhǎng)，勢(shì)必會(huì)出現(xiàn)這些問(wèn)題：如何管理云上不同種類的云服務(wù)？如何對(duì)不同云服務(wù)商之間的服務(wù)進(jìn)行統(tǒng)一管理？如何讓用戶便捷地申請(qǐng)?jiān)品?wù)？在這樣的背景下，云管理平臺(tái)就應(yīng)運(yùn)而生了。在云管理平臺(tái)的管理下，可以基于不同的模式對(duì)云計(jì)算進(jìn)行部署并實(shí)現(xiàn)統(tǒng)一管理，有云服務(wù)商構(gòu)建的公有云模式，有用戶自行構(gòu)建的私有云模式，也有強(qiáng)調(diào)高擴(kuò)展性、高靈活性、高安全性和高私密性的混合云模式，更有多個(gè)利益共同體一同投資構(gòu)建的社區(qū)云模式。無(wú)論采用哪種模式，通過(guò)云管理平臺(tái)的納管，用戶都可以享受到云計(jì)算快速、便捷、靈活、可靠的優(yōu)勢(shì)，助力自身業(yè)務(wù)的可持續(xù)發(fā)展。

云管理平臺(tái)1.1.4 云計(jì)算平臺(tái)、云管理平臺(tái)與云計(jì)算服務(wù)有了底層的IT資源池、云計(jì)算平臺(tái)和云管理平臺(tái)，就能為廣大的用戶提供安全高效、豐富多樣的云計(jì)算服務(wù)，當(dāng)前主流的云計(jì)算服務(wù)主要有以下幾類。計(jì)算云服務(wù)存儲(chǔ)云服務(wù)網(wǎng)絡(luò)云服務(wù)安全云服務(wù)容器云服務(wù)大數(shù)據(jù)云服務(wù)數(shù)據(jù)庫(kù)云服務(wù)AI云服務(wù)

云計(jì)算服務(wù)云服務(wù)商提供的數(shù)據(jù)庫(kù)產(chǎn)品一般都是具備NewSQL特性的數(shù)據(jù)庫(kù)產(chǎn)品，如亞馬遜的Aurora、阿里云的OceanBase、騰訊云的CynosDB等1.1.5 我國(guó)自主創(chuàng)新成果——鯤鵬云當(dāng)前計(jì)算產(chǎn)業(yè)呈現(xiàn)兩個(gè)大的變化趨勢(shì)。其一是移動(dòng)智能終端取代傳統(tǒng)個(gè)人計(jì)算機(jī)，計(jì)算架構(gòu)正在從x86轉(zhuǎn)向ARM，應(yīng)用正從PC應(yīng)用轉(zhuǎn)向移動(dòng)應(yīng)用，并且移動(dòng)應(yīng)用進(jìn)一步發(fā)展為云化應(yīng)用。其二是新的算力需求日趨強(qiáng)烈，需要構(gòu)建云端數(shù)據(jù)中心和網(wǎng)絡(luò)邊緣端協(xié)同的算力體系，助力世界步入萬(wàn)物互聯(lián)的新時(shí)代，以滿足對(duì)于海量數(shù)據(jù)處理的算力需求。計(jì)算進(jìn)入多樣性時(shí)代，意味著將產(chǎn)生大量對(duì)異構(gòu)計(jì)算的需求，然而，當(dāng)前沒(méi)有任何一種單一的計(jì)算架構(gòu)能夠滿足對(duì)所有場(chǎng)景、所有數(shù)據(jù)類型的處理需求，單一計(jì)算架構(gòu)逐漸向多種計(jì)算架構(gòu)組合演進(jìn)。技術(shù)的更迭是生態(tài)發(fā)展的核心驅(qū)動(dòng)力。進(jìn)入“AIoT（AI+IoT）時(shí)代”，多元架構(gòu)成為業(yè)務(wù)智能的關(guān)鍵，技術(shù)生態(tài)也從單一封閉型向開(kāi)放共存型和多元化社區(qū)型發(fā)展。多元化技術(shù)架構(gòu)主要包括以下方面。多元化底層技術(shù)多元化開(kāi)發(fā)生態(tài)多元化云服務(wù)1.1.5 我國(guó)自主創(chuàng)新成果——鯤鵬云依托ARM架構(gòu)打造的鯤鵬處理器，以及基于鯤鵬處理器構(gòu)建的華為鯤鵬云服務(wù)解決方案是多元架構(gòu)實(shí)踐的有力體現(xiàn)。鯤鵬云服務(wù)解決方案打通了智能時(shí)代從端到云的價(jià)值鏈，在大數(shù)據(jù)、分布式存儲(chǔ)、ARM原生應(yīng)用等諸多場(chǎng)景中發(fā)揮了極大價(jià)值。鯤鵬云服務(wù)解決方案具有以下優(yōu)勢(shì)。預(yù)集成全棧軟硬件且按需付費(fèi)多場(chǎng)景業(yè)務(wù)支持豐富的技術(shù)生態(tài)支持鯤鵬計(jì)算生態(tài)致力于推動(dòng)異構(gòu)計(jì)算的發(fā)展，更好地滿足用戶和企業(yè)對(duì)超大寬帶內(nèi)存、綠色低功耗、安全可信等的需求。鯤鵬開(kāi)發(fā)團(tuán)隊(duì)完善了云服務(wù)的國(guó)產(chǎn)化，構(gòu)建了全棧鯤鵬云服務(wù)，如鯤鵬云主機(jī)、鯤鵬云數(shù)據(jù)庫(kù)、鯤鵬云容器、鯤鵬云微服務(wù)平臺(tái)等。如今的鯤鵬不再局限于鯤鵬系列服務(wù)器芯片，更包含兼容的服務(wù)器軟件，以及建立在新計(jì)算架構(gòu)上的完整軟硬件生態(tài)和云計(jì)算生態(tài)。1.1云計(jì)算簡(jiǎn)介1.2虛擬化技術(shù)1.3分布式技術(shù)學(xué)習(xí)要點(diǎn)1.2.1 虛擬化基礎(chǔ)采用虛擬化，需要在服務(wù)器上安裝相應(yīng)的虛擬化層，然后在其基礎(chǔ)上創(chuàng)建虛擬機(jī)、安裝和配置操作系統(tǒng)和應(yīng)用軟件，從而承載相應(yīng)的業(yè)務(wù)，虛擬化架構(gòu)如圖所示。物理服務(wù)器：通常是指托管虛擬機(jī)或容器的物理設(shè)備，它具有自己的處理器、內(nèi)存、硬盤、網(wǎng)絡(luò)接口和其他硬件組件，可以獨(dú)立地運(yùn)行操作系統(tǒng)和應(yīng)用程序。虛擬化層：也被稱為虛擬機(jī)監(jiān)視器，虛擬化層將底層的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等資源統(tǒng)一納管起來(lái)，為上層虛擬機(jī)提供一個(gè)邏輯上隔離的運(yùn)行環(huán)境虛擬機(jī)：也被稱為客戶機(jī)，新創(chuàng)建出來(lái)的虛擬機(jī)并不能直接使用，需要由用戶或管理員為這臺(tái)虛擬機(jī)安裝相應(yīng)的系統(tǒng)軟件和應(yīng)用軟件之后才能使用。虛擬機(jī)操作系統(tǒng)：可以是Linux/類Linux操作系統(tǒng)或Windows操作系統(tǒng)，可以根據(jù)實(shí)際的業(yè)務(wù)場(chǎng)景需求進(jìn)行選擇。(1)(2)(3)(4)

虛擬化概念1.2.1 虛擬化基礎(chǔ)

虛擬化優(yōu)勢(shì)采用了虛擬化技術(shù)之后，優(yōu)勢(shì)主要體現(xiàn)在以下幾點(diǎn)。靈活的資源配置對(duì)上層業(yè)務(wù)而言，可以靈活地對(duì)運(yùn)行業(yè)務(wù)的虛擬機(jī)進(jìn)行數(shù)量或配置的更改。例如，在業(yè)務(wù)量高峰期，可以通過(guò)提高虛擬機(jī)的配置來(lái)應(yīng)對(duì)高業(yè)務(wù)量與資源配置不匹配等問(wèn)題。提高業(yè)務(wù)可靠性對(duì)上層業(yè)務(wù)而言，其要求業(yè)務(wù)不中斷或者短中斷，而虛擬化技術(shù)可以支持虛擬機(jī)跨主機(jī)的熱遷移，同時(shí)，結(jié)合一些適當(dāng)?shù)囊?guī)則，如虛擬機(jī)與主機(jī)綁定、虛擬機(jī)聚合或互斥等規(guī)則，可以提高業(yè)務(wù)的可靠性。提高資源利用率傳統(tǒng)模式下，為避免業(yè)務(wù)高峰時(shí)期資源的搶占問(wèn)題，一般會(huì)在一臺(tái)服務(wù)器上面安裝一個(gè)應(yīng)用來(lái)對(duì)外提供服務(wù)。對(duì)這臺(tái)服務(wù)器而言，其資源平均利用率通常在20%～30%之間，資源沒(méi)有得到充分的利用。而虛擬化技術(shù)可以對(duì)底層資源進(jìn)行邏輯隔離，創(chuàng)建眾多承載不同業(yè)務(wù)和應(yīng)用的虛擬機(jī)，從而提高資源利用率。0102031.2.1 虛擬化基礎(chǔ)

虛擬化劣勢(shì)凡事有利必有弊，采用虛擬化技術(shù)劣勢(shì)體現(xiàn)在以下幾點(diǎn)。保障安全難度增加可能會(huì)發(fā)生“虛擬機(jī)逃逸”等安全問(wèn)題，如在虛擬機(jī)中使用了弱密碼，黑客可以通過(guò)暴力破解等方式控制虛擬機(jī)，然后對(duì)這臺(tái)主機(jī)的虛擬化層進(jìn)行控制，從而控制整臺(tái)主機(jī)。面向業(yè)務(wù)的靈活度不夠當(dāng)用戶需要根據(jù)業(yè)務(wù)進(jìn)行相應(yīng)虛擬資源的調(diào)整時(shí)，其工作量仍然比較大。同時(shí)，虛擬化在與其他新興技術(shù)（如物聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)等）的融合方面還有待改進(jìn)。運(yùn)維難度增加傳統(tǒng)方式下運(yùn)維人員只需要對(duì)物理資源、系統(tǒng)軟件和應(yīng)用軟件等進(jìn)行運(yùn)維。而多了虛擬化層之后，增加了對(duì)虛擬化層和其上的虛擬機(jī)的運(yùn)維工作。0102031.2.2 虛擬化架構(gòu)如圖所示，裸金屬型虛擬化架構(gòu)中虛擬化層直接安裝在硬件上面，這時(shí)虛擬化層對(duì)硬件的所有資源進(jìn)行相應(yīng)的管控，在虛擬化層的基礎(chǔ)上，可以創(chuàng)建虛擬機(jī)，然后在虛擬機(jī)中安裝系統(tǒng)軟件或者應(yīng)用軟件。它具有性能較高、支持多種操作系統(tǒng)等優(yōu)勢(shì)，同時(shí)，它也存在內(nèi)核研發(fā)比較困難等劣勢(shì)。目前，裸金屬型虛擬化產(chǎn)品有XEN、Hyper-V等。裸金屬型虛擬化架構(gòu)1.2.2 虛擬化架構(gòu)如圖所示，相比于裸金屬型虛擬化架構(gòu)，宿主型虛擬化架構(gòu)中VMM不直接安裝在硬件上。在宿主型虛擬化架構(gòu)中，由主機(jī)操作系統(tǒng)（HostOS）對(duì)整個(gè)硬件資源進(jìn)行管控，而VMM只是作為一個(gè)虛擬化模塊嵌入HostOS，實(shí)現(xiàn)CPU、內(nèi)存和輸入/輸出虛擬化，實(shí)際上對(duì)硬件資源的管控是由HostOS來(lái)完成的。宿主型虛擬化架構(gòu)能夠充分利用HostOS優(yōu)秀的資源管理能力，但也強(qiáng)依賴于HostOS對(duì)設(shè)備的支持。目前，宿主型虛擬化產(chǎn)品有VirtualBox、VMwareWorkstation等。宿主型虛擬化架構(gòu)1.2.2 虛擬化架構(gòu)如圖所示，操作系統(tǒng)虛擬化架構(gòu)允許多個(gè)應(yīng)用共享主機(jī)操作系統(tǒng)內(nèi)核，將應(yīng)用和應(yīng)用的依賴文件等封裝在一起形成容器。對(duì)多個(gè)容器而言，由于共享而不具備單獨(dú)的操作系統(tǒng)內(nèi)核，因此，其空間更小、啟動(dòng)速度更快、效率更高，但是容器在安全性、標(biāo)準(zhǔn)性、復(fù)雜性等方面的問(wèn)題仍有待解決。操作系統(tǒng)虛擬化架構(gòu)1.2.3 虛擬化分類在對(duì)這些虛擬化階段進(jìn)行介紹之前，需要先說(shuō)明一下虛擬化之前計(jì)算機(jī)的CPU指令流，如圖所示，CPU將特權(quán)級(jí)分為4個(gè)級(jí)別：Ring0、Ring1、Ring2、Ring3。Ring0擁有最高的級(jí)別，一般只給操作系統(tǒng)使用，Ring1、Ring2、Ring3級(jí)別依次遞減，Ring3則給普通的應(yīng)用程序使用。宿主型虛擬化架構(gòu)如果沒(méi)有引入虛擬化技術(shù)，那么在傳統(tǒng)模式下，CPU指令的運(yùn)行并不會(huì)產(chǎn)生任何沖突，而采用了虛擬化技術(shù)后，就會(huì)帶來(lái)一個(gè)問(wèn)題：默認(rèn)情況下操作系統(tǒng)運(yùn)行在Ring0級(jí)別，管控所有的硬件資源，而新增的虛擬化層也需要運(yùn)行在Ring0級(jí)別以管控所有的硬件資源，這種情況下，應(yīng)該是誰(shuí)運(yùn)行在Ring0級(jí)別呢？1.2.3 虛擬化分類CPU全虛擬化01OPTION右圖對(duì)給出了上述問(wèn)題的答案，右圖是全虛擬化下的CPU指令流，可以看到底層是硬件，虛擬化層運(yùn)行在Ring0級(jí)別中，虛擬機(jī)操作系統(tǒng)運(yùn)行在Ring1級(jí)別中，應(yīng)用運(yùn)行在Ring3級(jí)別中，這樣就能夠保證虛擬化層能夠獲取對(duì)所有硬件資源的管控權(quán)，當(dāng)虛擬機(jī)運(yùn)行一些用戶指令時(shí)，就能不經(jīng)過(guò)虛擬化層直接運(yùn)行。當(dāng)運(yùn)行一些核心指令時(shí)，若出現(xiàn)異常，虛擬化層就會(huì)捕獲這個(gè)異常，進(jìn)行二進(jìn)制翻譯，從而完成這些核心指令的執(zhí)行，通過(guò)異?！东@—二進(jìn)制翻譯這種方式，會(huì)消耗較多的系統(tǒng)資源，降低性能，但在一定程度上解決了Ring0級(jí)別運(yùn)行沖突問(wèn)題。1.2.3 虛擬化分類CPU半虛擬化02OPTION為了解決全虛擬化中存在的資源消耗大、性能低等問(wèn)題，提出了CPU半虛擬化這一方案。在CPU半虛擬化中，虛擬化層仍然處于Ring0級(jí)別，虛擬機(jī)操作系統(tǒng)仍然處于Ring1級(jí)別，應(yīng)用則處于Ring3級(jí)別。不同于全虛擬化，半虛擬化對(duì)虛擬機(jī)操作系統(tǒng)進(jìn)行了相應(yīng)的修改，這樣對(duì)于核心指令的執(zhí)行，就不用異常捕獲、二進(jìn)制翻譯，而是通過(guò)Hypercall這一調(diào)用方式進(jìn)行核心指令的執(zhí)行，相比于全虛擬化，其性能有所提升。半虛擬化下的CPU指令流如圖所示。1.2.3 虛擬化分類CPU硬件輔助虛擬化03OPTION不論是全虛擬化還是半虛擬化，其虛擬化功能的實(shí)現(xiàn)都需要通過(guò)虛擬化層，為了獲得更高的性能和更好的體驗(yàn)，硬件輔助虛擬化應(yīng)運(yùn)而生。硬件輔助虛擬化的思想是將虛擬化層和虛擬機(jī)操作系統(tǒng)放到不同的模式下，如圖所示，將虛擬機(jī)操作系統(tǒng)放到非ROOT模式下，將虛擬化層放到ROOT模式下，當(dāng)虛擬機(jī)操作系統(tǒng)運(yùn)行非核心指令（用戶指令）時(shí)，可以直接下發(fā)指令到硬件執(zhí)行，不需要經(jīng)過(guò)虛擬化層。當(dāng)虛擬機(jī)操作系統(tǒng)運(yùn)行核心指令時(shí)，系統(tǒng)會(huì)從非ROOT模式切換到ROOT模式，這一過(guò)程也被稱為VM-Entry，經(jīng)由虛擬化層將指令處理完成之后，系統(tǒng)會(huì)從ROOT模式切換到非ROOT模式，這一過(guò)程也被稱為VM-Exit。對(duì)于應(yīng)用的用戶指令，則會(huì)直接執(zhí)行。目前主要有英特爾的VT-x和AMD的AMD-V這兩種CPU硬件輔助虛擬化技術(shù)。1.2.3 虛擬化分類內(nèi)存虛擬化和CPU虛擬化類似，經(jīng)歷了內(nèi)存全虛擬化、內(nèi)存半虛擬化和內(nèi)存硬件輔助虛擬化這3個(gè)主要發(fā)展階段。

內(nèi)存虛擬化GVA：GuestVirtualAddress，虛擬機(jī)虛擬地址。GPA：GuestPhysicalAddress，虛擬機(jī)物理地址。HVA：HostVirtualAddress，主機(jī)虛擬地址。HPA：HostPhysicalAddress，主機(jī)物理地址。(1)(2)(3)(4)1.2.3 虛擬化分類如圖所示，內(nèi)存全虛擬化需要完成GVA到GPA、GPA到HVA、HVA到HPA的地址轉(zhuǎn)換工作。其中，GVA到GPA的地址轉(zhuǎn)換是由虛擬機(jī)的系統(tǒng)頁(yè)表進(jìn)行的，HVA到HPA的地址轉(zhuǎn)換工作是由主機(jī)的系統(tǒng)頁(yè)表完成的，此時(shí)，VMM需要完成GPA到HVA之間的地址轉(zhuǎn)換工作。這樣可以將主機(jī)物理層中非連續(xù)性的地址整合成邏輯上連續(xù)性的內(nèi)存地址提供給虛擬機(jī)使用，并保障每臺(tái)虛擬機(jī)能夠得到一個(gè)邏輯地址從零開(kāi)始的連續(xù)內(nèi)存地址段，同時(shí)，能夠保證每臺(tái)虛擬機(jī)獲得的地址空間在邏輯上是隔離的。內(nèi)存全虛擬化01OPTION1.2.3 虛擬化分類如圖所示，內(nèi)存半虛擬化是通過(guò)影子頁(yè)表技術(shù)實(shí)現(xiàn)的。影子頁(yè)表記錄了GVA到HPA之間的地址映射關(guān)系，在很大程度上降低了性能的損耗，對(duì)每臺(tái)虛擬機(jī)而言，其進(jìn)程中有內(nèi)存維護(hù)的頁(yè)表，當(dāng)在虛擬機(jī)中對(duì)頁(yè)表進(jìn)行相關(guān)修改時(shí)，這種動(dòng)作就會(huì)被VMM截獲，在這之后，VMM要重新計(jì)算出新的GVA到HPA之間的地址映射關(guān)系，更改相應(yīng)的頁(yè)表項(xiàng)。相比于內(nèi)存全虛擬化方式，采用影子頁(yè)表這種方式實(shí)現(xiàn)內(nèi)存半虛擬化，減少了內(nèi)存地址之間的多層轉(zhuǎn)換，在一定程度上提高了效率，但這種方式也有其缺陷，如實(shí)現(xiàn)方式比較復(fù)雜。內(nèi)存半虛擬化02OPTION1.2.3 虛擬化分類內(nèi)存硬件輔助虛擬化可以通過(guò)擴(kuò)展頁(yè)表（ExtendedPageTable，EPT）來(lái)實(shí)現(xiàn)。通過(guò)使用硬件技術(shù)，在原有的頁(yè)表的基礎(chǔ)上增加一個(gè)EPT，用于記錄GPA到HPA的映射關(guān)系。VMM預(yù)先把EPT設(shè)置到CPU中。虛擬機(jī)修改虛擬機(jī)頁(yè)表，無(wú)須VMM干預(yù)。地址轉(zhuǎn)換時(shí)，CPU自動(dòng)查找兩張頁(yè)表完成GVA到HPA的轉(zhuǎn)換，從而減少整個(gè)內(nèi)存虛擬化所需的開(kāi)銷。內(nèi)存硬件輔助虛擬化03OPTION1.2.3 虛擬化分類I/O虛擬化I/O全虛擬化：在I/O全虛擬化中，虛擬化的工作由Hypervisor進(jìn)行相應(yīng)的模擬，包括I/O設(shè)備寄存器和讀寫(xiě)操作的模擬。I/O半虛擬化：在I/O半虛擬化中，需要在虛擬機(jī)的操作系統(tǒng)中添加相應(yīng)的前端驅(qū)動(dòng)，同時(shí)在Hypervisor層上需要添加相應(yīng)的驅(qū)動(dòng)程序。I/O硬件輔助虛擬化：I/O硬件輔助虛擬化也被稱為I/O透?jìng)?。在這種方式中，虛擬化功能是在硬件層面完成的，直接將硬件層面的虛擬I/O資源提供給不同的虛擬機(jī)使用，不用經(jīng)過(guò)Hypervisor這一層。采用I/O硬件輔助虛擬化，其性能比前面兩種方式好。1.2.4 虛擬化主流技術(shù)KVM（Kernel-BasedVirtualMachine）即基于內(nèi)核的虛擬化，是Hypervisor的一種。KVM的架構(gòu)如圖所示，在KVM中，其將虛擬化功能KVM模塊嵌入主機(jī)的Linux操作系統(tǒng)內(nèi)核完成虛擬化，這個(gè)KVM模塊主要負(fù)責(zé)CPU和內(nèi)存的虛擬化功能，而I/O方面的虛擬化則主要由開(kāi)源的模擬器QEMU完成。KVM虛擬化模塊和QEMU共同組成了KVM虛擬化解決方案。KVM1.2.4 虛擬化主流技術(shù)另一個(gè)比較有名的開(kāi)源虛擬化產(chǎn)品就是XEN。XEN是由英國(guó)劍橋大學(xué)開(kāi)發(fā)的，是Hypervisor中的一種。右圖所示為XEN的架構(gòu)，在XEN虛擬化層中創(chuàng)建虛擬機(jī)，在XEN中，虛擬機(jī)也被稱為域（Domain），Domain分為兩類，一類是普通的虛擬機(jī)DomainU，另一類是特殊的虛擬機(jī)Domain0。Domain0能夠直接和底層的硬件進(jìn)行交互，而DomainU不能直接和底層的硬件進(jìn)行交互，DomainU和硬件的交互是通過(guò)Domain0完成的。XEN1.1云計(jì)算簡(jiǎn)介1.2虛擬化技術(shù)1.3分布式技術(shù)學(xué)習(xí)要點(diǎn)1.3.1 分布式概念集中式是指將一個(gè)系統(tǒng)所有的代碼都集中到一個(gè)項(xiàng)目中，同時(shí)將整個(gè)項(xiàng)目部署到一臺(tái)主機(jī)上的架構(gòu)方式。由于歷史原因，集中式技術(shù)多數(shù)用在傳統(tǒng)的金融、電信等領(lǐng)域，計(jì)算資源基本上分布在大型機(jī)/小型機(jī)上，而且在這些機(jī)器上運(yùn)行的軟件大多是“商用閉源”軟件。雖然采用集中式技術(shù)（架構(gòu)）有項(xiàng)目部署簡(jiǎn)單、管理成本低等優(yōu)勢(shì)，但是其也存在以下劣勢(shì)。集中式技術(shù)價(jià)格昂貴：集中式架構(gòu)的商用設(shè)備市場(chǎng)已被IBM、Oracle和EMC這3家巨頭公司壟斷，其軟硬件十分昂貴。自主安全性低：由于市場(chǎng)被商業(yè)巨頭壟斷，造成軟硬件技術(shù)封鎖，對(duì)使用集中式技術(shù)的企業(yè)來(lái)說(shuō)，根據(jù)其業(yè)務(wù)的要求進(jìn)行相應(yīng)修改的難度非常大。擴(kuò)展伸縮性差：對(duì)于急速增長(zhǎng)的業(yè)務(wù)，如電商領(lǐng)域，需要去支撐其流量突發(fā)性強(qiáng)、高并發(fā)業(yè)務(wù)時(shí)，使用之前的設(shè)備配置已經(jīng)滿足不了激增的業(yè)務(wù)對(duì)底層資源的需求，這時(shí)，如果企業(yè)要增加相應(yīng)的資源配置，在采用集中式技術(shù)的情況下，只有去購(gòu)買更高規(guī)格的配置，才能支撐業(yè)務(wù)的發(fā)展。靈活兼容性差：集中式技術(shù)無(wú)法支撐大數(shù)據(jù)、人工智能等新興技術(shù)的發(fā)展。(1)(2)(3)(4)1.3.1 分布式概念分布式是指根據(jù)業(yè)務(wù)需求將系統(tǒng)拆分成多個(gè)子系統(tǒng)，多個(gè)子系統(tǒng)之間進(jìn)行協(xié)作來(lái)完成業(yè)務(wù)流程。一般來(lái)說(shuō)，子系統(tǒng)會(huì)部署在集群中不同的服務(wù)器上面。以一個(gè)餐廳廚房的運(yùn)作為例，集中式就好比一個(gè)人完成從食材的采購(gòu)、食材的清洗加工到將加工好的食品端到客戶面前的所有工作，如果客戶增加，就需要雇傭更多的人，這些人的工作和第一個(gè)人的工作完全相同；而采用分布式技術(shù)，就是對(duì)食材的采購(gòu)、食材的清洗加工和將加工好的食品端到客戶面前等工作進(jìn)行分工，每個(gè)人負(fù)責(zé)不同的部分，當(dāng)客戶增加時(shí)，可以增添相應(yīng)數(shù)量的人完成不同的工作。采用分布式技術(shù)有以下優(yōu)點(diǎn)。分布式概述降低業(yè)務(wù)之間的耦合度靈活的部署方式對(duì)業(yè)務(wù)進(jìn)行靈活地開(kāi)發(fā)1231.3.2 分布式技術(shù)原理分布式協(xié)同主要解決分布式系統(tǒng)中數(shù)據(jù)和狀態(tài)的一致性問(wèn)題。在集中式系統(tǒng)中，系統(tǒng)的數(shù)據(jù)和狀態(tài)是高度一致的，但是在分布式系統(tǒng)中，其數(shù)據(jù)和狀態(tài)的一致性是較難保證的。CAP理論能夠?qū)@一問(wèn)題的解決提供相應(yīng)的理論指導(dǎo)。CAP理論指的是分布式系統(tǒng)的一致性（Consistency）、可用性（Availability）和分區(qū)容錯(cuò)性（PartitionTolerance）。分布式協(xié)同一致性指的是所有的節(jié)點(diǎn)能夠訪問(wèn)同一份最新的數(shù)據(jù)可用性指的是所有的用戶訪問(wèn)能夠得到正確的響應(yīng)分區(qū)容錯(cuò)性指的是分布式系統(tǒng)能夠容忍多個(gè)節(jié)點(diǎn)之間的信息不同步針對(duì)分布式系統(tǒng)一致性問(wèn)題，在CAP理論的基礎(chǔ)上，eBay的架構(gòu)師提出了BASE理論[基本可用（BasicallyAvailable）+軟狀態(tài)（SoftState）+最終一致性（EventuallyConsistent）]，其核心思想是如果無(wú)法保證CAP理論中提出的強(qiáng)一致性，則可以結(jié)合業(yè)務(wù)自身的特性，來(lái)保證業(yè)務(wù)的最終一致性。1.3.2 分布式技術(shù)原理在單體應(yīng)用中，所有的定時(shí)任務(wù)都是在一個(gè)服務(wù)器的一套程序中運(yùn)行的，而在分布式系統(tǒng)中，不同的定時(shí)任務(wù)會(huì)被拆分到不同的子系統(tǒng)中，同時(shí)，這些子系統(tǒng)可能會(huì)被重復(fù)部署在不同的設(shè)備上，在這種情況下，如何避免同一任務(wù)的重復(fù)處理呢？如圖所示，在電商場(chǎng)景下，可以看到在單體應(yīng)用中電商相關(guān)功能模塊全都被部署在同一服務(wù)器中，由于業(yè)務(wù)增長(zhǎng)，訪問(wèn)量增加，導(dǎo)致原有的單體應(yīng)用無(wú)法承載現(xiàn)有訪問(wèn)量，因此需要對(duì)單體應(yīng)用進(jìn)行分布式改造。但是，在原來(lái)單體應(yīng)用中的定時(shí)任務(wù)，可能會(huì)在分布式應(yīng)用中被重復(fù)處理，那么，在處理過(guò)程中，哪些任務(wù)需要優(yōu)先處理也是需要解決的問(wèn)題。分布式調(diào)度1.3.2 分布式技術(shù)原理在分布式架構(gòu)中，主要包括單體調(diào)度和兩層調(diào)度這兩種方式。在單體調(diào)度中，分布式系統(tǒng)集群中只有一個(gè)節(jié)點(diǎn)運(yùn)行調(diào)度進(jìn)程，這個(gè)節(jié)點(diǎn)對(duì)集群中的其他節(jié)點(diǎn)都有訪問(wèn)權(quán)限，該節(jié)點(diǎn)可以搜集其他節(jié)點(diǎn)的資源情況、狀態(tài)信息等，同時(shí)，還可以根據(jù)用戶請(qǐng)求下發(fā)任務(wù)到具體的節(jié)點(diǎn)。單體調(diào)度一般被用于小規(guī)模的集群中，能夠適應(yīng)單一的業(yè)務(wù)場(chǎng)景，目前的產(chǎn)品有Kubernetes。在兩層調(diào)度中，第一層調(diào)度器負(fù)責(zé)資源管理和分配，第二層則負(fù)責(zé)任務(wù)與資源的匹配情況。如圖所示，第一層調(diào)度器會(huì)將其收集的集群資源信息發(fā)送到第二層調(diào)度器中，第二層調(diào)度器根據(jù)任務(wù)資源需求和收到的集群資源信息進(jìn)行適配和調(diào)度，這種兩層調(diào)度適合用于中等規(guī)模的集群，目前的產(chǎn)品有ApacheMesos。分布式調(diào)度1.3.3 分布式技術(shù)框架分布式計(jì)算中包括批處理任務(wù)計(jì)算、離線計(jì)算、流計(jì)算等多種類型，目前也有相應(yīng)的處理框架，如批處理框架MapReduce、流處理框架Storm、批流一體框架Flink和Spark等。如圖所示，批處理框架MapReduce通過(guò)將一堆雜亂無(wú)章的數(shù)據(jù)按照某種特征歸納起來(lái)，進(jìn)行處理得到最終結(jié)果，它適用于Web訪問(wèn)日志分析、數(shù)據(jù)查找等場(chǎng)景。分布式計(jì)算流處理框架Storm是Twitter發(fā)布的開(kāi)源分布式實(shí)時(shí)大數(shù)據(jù)處理框架，它適用于網(wǎng)站統(tǒng)計(jì)、推薦系統(tǒng)、金融系統(tǒng)等場(chǎng)景。Flink是為分布式流處理應(yīng)用程序打造的開(kāi)源流處理框架，不僅能夠進(jìn)行實(shí)時(shí)計(jì)算，也能夠進(jìn)行批量數(shù)據(jù)處理。Spark是一種基于內(nèi)存的大數(shù)據(jù)計(jì)算引擎，集批處理、實(shí)時(shí)流處理、交互式查詢、圖計(jì)算和機(jī)器學(xué)習(xí)于一體，可以應(yīng)用于用戶推薦系統(tǒng)、輿情分析等實(shí)時(shí)業(yè)務(wù)場(chǎng)景。1.3.3 分布式技術(shù)框架分布式數(shù)據(jù)存儲(chǔ)和管理包括分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)和分布式緩存等。分布式數(shù)據(jù)存儲(chǔ)與管理ACB分布式文件系統(tǒng)分布式數(shù)據(jù)庫(kù)分布式緩存主要包括HDFS、Ceph等，其中，HDFS被設(shè)計(jì)成適合部署并運(yùn)行在通用硬件上的分布式文件系統(tǒng)，能夠提供數(shù)據(jù)的高吞吐量，適用于大數(shù)據(jù)集的應(yīng)用，可以被應(yīng)用于網(wǎng)站數(shù)據(jù)存儲(chǔ)、氣象數(shù)據(jù)存儲(chǔ)等場(chǎng)景。分布式數(shù)據(jù)庫(kù)和分布式文件系統(tǒng)類似，在物理上分散部署，在邏輯上集中整合成一個(gè)大型數(shù)據(jù)庫(kù)。目前，分布式數(shù)據(jù)庫(kù)包括OceanBase、GaussDB等。分布式緩存則主要為了提高大流量訪問(wèn)時(shí)的數(shù)據(jù)命中率，提高訪問(wèn)的反應(yīng)速度，目前已有的分布式緩存產(chǎn)品包括Redis、Memcached等。1.3.3 分布式技術(shù)框架在對(duì)應(yīng)用進(jìn)行集中式部署時(shí)，消息的傳遞往往是實(shí)時(shí)的，而在分布式系統(tǒng)中，由于系統(tǒng)的不同組件被部署在不同的載體中，消息的傳遞往往是異步的。目前，比較受歡迎的分布式消息中間件包括ActiveMQ、RabbitMQ、Kafka和RocketMQ。其中，ActiveMQ支持的協(xié)議較多，包括OpenWire、MQTT、AMQP等，Kafka則適合日志等場(chǎng)景。在華為云上，提供了分布式消息服務(wù)（DistributedMessageService，DMS），很好地兼容了業(yè)界主流的Kafka、RabbitMQ和RocketMQ。分布式消息學(xué)習(xí)進(jìn)步！華為云計(jì)算技術(shù)與應(yīng)用第2章

云計(jì)算平臺(tái)與服務(wù)華為云計(jì)算技術(shù)與應(yīng)用2.1主流云計(jì)算平臺(tái)簡(jiǎn)介2.2云管理平臺(tái)2.3云計(jì)算部署模式學(xué)習(xí)要點(diǎn)2.4云計(jì)算服務(wù)2.1.1 國(guó)外主流云計(jì)算平臺(tái)亞馬遜網(wǎng)絡(luò)服務(wù)（AmazonWebService，AWS）是亞馬遜公司旗下云計(jì)算服務(wù)平臺(tái)，為全世界各個(gè)國(guó)家和地區(qū)的客戶提供一整套基礎(chǔ)設(shè)施和云解決方案。AWS擁有廣泛的全球云基礎(chǔ)設(shè)施，已在全球33個(gè)地理區(qū)域內(nèi)運(yùn)營(yíng)著105個(gè)可用區(qū)（AZ），AWS面向用戶提供包括彈性計(jì)算、存儲(chǔ)、數(shù)據(jù)庫(kù)等基礎(chǔ)設(shè)施技術(shù)以及機(jī)器學(xué)習(xí)、人工智能、數(shù)據(jù)湖、物聯(lián)網(wǎng)等一整套云計(jì)算服務(wù)，幫助企業(yè)降低IT投入和維護(hù)成本，業(yè)務(wù)和數(shù)據(jù)輕松上云。MicrosoftAzure是由微軟所開(kāi)發(fā)的一套云計(jì)算操作系統(tǒng)（云平臺(tái)），提供各種優(yōu)質(zhì)的服務(wù)，包括計(jì)算、存儲(chǔ)、數(shù)據(jù)、網(wǎng)絡(luò)和應(yīng)用程序。MicrosoftAzure是微軟的公用云端服務(wù)平臺(tái)，是微軟在線服務(wù)的一部分，自2008年開(kāi)始發(fā)展，于2010年2月正式推出，目前全球有54座數(shù)據(jù)中心以及44個(gè)內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）跳躍點(diǎn)（POP），并且于2015年時(shí)被Gartner列為云計(jì)算的領(lǐng)先者。目前，MicrosoftAzure提供了30余種服務(wù)和數(shù)百項(xiàng)功能。Google云平臺(tái)（GoogleCloudPlatform，GCP）是一系列由Google提供的云計(jì)算服務(wù)，在運(yùn)行Google搜索和YouTube的服務(wù)器上提供基礎(chǔ)設(shè)施服務(wù)、平臺(tái)服務(wù)及無(wú)服務(wù)器計(jì)算環(huán)境。除提供管理工具外，Google云平臺(tái)還提供了一系列模塊化云服務(wù)，包括云計(jì)算、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析及機(jī)器學(xué)習(xí)等。2008年4月，Google發(fā)布了應(yīng)用程序引擎，這是其旗下首款云計(jì)算服務(wù)，2011年11月，應(yīng)用程序引擎正式向大眾開(kāi)放。AWSMicrosoftAzureGCP2.1.2 國(guó)內(nèi)主流云計(jì)算平臺(tái)阿里云的電商、金融、線上到線下等行業(yè)解決方案是亮點(diǎn)。阿里云與國(guó)家天文臺(tái)成立了天文大數(shù)據(jù)聯(lián)合研究中心，同時(shí)獲批兩個(gè)大數(shù)據(jù)國(guó)家工程實(shí)驗(yàn)室。阿里云“云網(wǎng)融合、專享定制、安全可信”是天翼云的三大差異化優(yōu)勢(shì)。中國(guó)電信天翼云從專屬云、專網(wǎng)云、定制云、安全云4個(gè)方面為客戶提供一攬子解決方案。與此同時(shí)，中國(guó)電信與華為公司進(jìn)一步加深磨合。天翼云騰訊云的游戲、金融、音視頻、大數(shù)據(jù)等行業(yè)服務(wù)能力突出，特別是游戲、金融、視頻這三大領(lǐng)域，是騰訊云之所長(zhǎng)，騰訊云在云計(jì)算技術(shù)及物聯(lián)網(wǎng)設(shè)備的前沿安全攻防方面也許能給業(yè)界帶來(lái)更多的驚喜。騰訊云聯(lián)通云系列云計(jì)算產(chǎn)品包括云基礎(chǔ)設(shè)施、企業(yè)之間的企業(yè)業(yè)務(wù)和面向消費(fèi)者的公眾業(yè)務(wù)三大領(lǐng)域。與同類產(chǎn)品相比，聯(lián)通云具備帶寬直連互聯(lián)網(wǎng)協(xié)議骨干網(wǎng)和大出口帶寬的網(wǎng)絡(luò)優(yōu)勢(shì)。聯(lián)通云華為云主要在硬件、存儲(chǔ)及網(wǎng)絡(luò)方面為電信行業(yè)提供服務(wù)，其競(jìng)爭(zhēng)力主要有兩點(diǎn)——面向電信運(yùn)營(yíng)商的云服務(wù)、移動(dòng)應(yīng)用開(kāi)發(fā)者云服務(wù)。華為是全球少數(shù)幾家能夠提供端到端云計(jì)算解決方案的廠商之一。華為云中國(guó)移動(dòng)致力于構(gòu)建開(kāi)放、共贏的產(chǎn)業(yè)生態(tài)，打造移動(dòng)云的生態(tài)系統(tǒng)。中國(guó)移動(dòng)云計(jì)算產(chǎn)品涵蓋IaaS、PaaS、SaaS這3層體系。移動(dòng)云服務(wù)器應(yīng)用軟件2.1主流云計(jì)算平臺(tái)簡(jiǎn)介2.2云管理平臺(tái)2.3云計(jì)算部署模式學(xué)習(xí)要點(diǎn)2.4云計(jì)算服務(wù)2.2.1 云管理平臺(tái)的發(fā)展云管理平臺(tái)的內(nèi)涵在不斷拓展由自動(dòng)化發(fā)送服務(wù)請(qǐng)求、自動(dòng)化編排、自動(dòng)化交付，擴(kuò)展到具有自動(dòng)化運(yùn)維、自動(dòng)化運(yùn)營(yíng)能力；由全面分析資源使用和費(fèi)用支出，擴(kuò)展到提供優(yōu)化建議，及時(shí)發(fā)現(xiàn)與回收閑置資源，調(diào)整低效資源；由提供系統(tǒng)監(jiān)控、告警，擴(kuò)展到自定義監(jiān)控分析報(bào)告，提供告警建議、告警自愈能力。運(yùn)維運(yùn)營(yíng)逐漸向自動(dòng)化甚至智能化方向發(fā)展。由多公有云、私有云、裸金屬服務(wù)器、多種異構(gòu)基礎(chǔ)設(shè)施資源納管，擴(kuò)展到多數(shù)據(jù)中心、多虛擬化技術(shù)、多PaaS平臺(tái)、多分布式邊緣計(jì)算統(tǒng)一管理，形成IaaS/PaaS協(xié)同、云邊協(xié)同的資源納管形態(tài)。由提供事件工單管理，定義角色和權(quán)限，與企業(yè)配置管理數(shù)據(jù)庫(kù)（ConfigurationManagementDatabase，CMDB）、單點(diǎn)登錄系統(tǒng)（SingleSignOn，SSO）集成，設(shè)置配額等，擴(kuò)展到安全性、合規(guī)性審計(jì)；由對(duì)接公有云OpenAPI，擴(kuò)展到自身提供開(kāi)放的RESTfulAPI，具備快速融入企業(yè)IT架構(gòu)的能力。由云資源的接入、開(kāi)通、使用，擴(kuò)展到云資源規(guī)劃、服務(wù)交付、應(yīng)用部署、運(yùn)維保障、資源計(jì)費(fèi)、資源回收的全生命周期管理。云管理平臺(tái)的全生命周期承載著向下對(duì)接和向上服務(wù)的雙重任務(wù)，既需要完成日常的監(jiān)控、流程及運(yùn)營(yíng)自動(dòng)化等工作，同時(shí)還要持續(xù)滿足企業(yè)Day0規(guī)劃、Day1部署、Day2變更的數(shù)據(jù)中心運(yùn)營(yíng)要求。自動(dòng)化納管治理生命周期2.2.1 云管理平臺(tái)的發(fā)展與企業(yè)應(yīng)用的集成更加緊密云管理平臺(tái)本身就是一種集成與被集成的產(chǎn)品，需要與企業(yè)數(shù)據(jù)中心內(nèi)部已有的各類運(yùn)維支撐工具平臺(tái)、應(yīng)用部署平臺(tái)進(jìn)行對(duì)接集成。通過(guò)調(diào)用云服務(wù)商O(píng)penAPI集成云上資源，通過(guò)提供RESTfulAPI與企業(yè)其他應(yīng)用系統(tǒng)快速對(duì)接。云管理平臺(tái)提供統(tǒng)一的應(yīng)用程序接口（ApplicationProgramInterface，API）網(wǎng)關(guān)，抽象各云平臺(tái)的API差異，提供了一系列的鑒權(quán)、API生命周期管理、API服務(wù)消費(fèi)及管理能力，簡(jiǎn)化企業(yè)對(duì)各云平臺(tái)的集成，以及與企業(yè)內(nèi)部IT服務(wù)管理工具和產(chǎn)品的對(duì)接，體現(xiàn)云管理平臺(tái)的開(kāi)放性和兼容性。2.2.1 云管理平臺(tái)的發(fā)展首先是管理平面的統(tǒng)一和融合，實(shí)現(xiàn)私有云和公有云資源的統(tǒng)一API訪問(wèn)，不僅實(shí)現(xiàn)資源的管理，還包括賬單的統(tǒng)一、資源管理的統(tǒng)一，讓用戶的跨云調(diào)用就像使用云平臺(tái)一樣便利。其次是數(shù)據(jù)平面的打通，通過(guò)和跨云網(wǎng)絡(luò)方案的整合，如與軟件定義廣域網(wǎng)絡(luò)解決方案的整合，實(shí)現(xiàn)控制平面和數(shù)據(jù)平臺(tái)的協(xié)同，達(dá)到整個(gè)平臺(tái)的跨云互通。對(duì)云網(wǎng)能力的要求逐漸提高另外，云管理平臺(tái)還將提供跨云數(shù)據(jù)遷移的工具，方便用戶實(shí)現(xiàn)跨云的應(yīng)用遷移。總之，隨著企業(yè)紛紛將應(yīng)用遷移至云端，軟件定義廣域網(wǎng)絡(luò)等網(wǎng)絡(luò)架構(gòu)能否支持基于云的應(yīng)用已變得越來(lái)越重要，因此對(duì)云管理平臺(tái)云網(wǎng)能力的要求也在逐漸提高，只有這樣，才能更好地助力企業(yè)實(shí)現(xiàn)多云戰(zhàn)略。2.2.1 云管理平臺(tái)的發(fā)展從自動(dòng)化運(yùn)維向智能運(yùn)維轉(zhuǎn)變一方面，可以優(yōu)化IT資源分配的調(diào)度策略，找出閑置的IT資源，提升IT資源的利用率。另一方面，可以提前預(yù)測(cè)資源需求和發(fā)現(xiàn)系統(tǒng)故障隱患，確保系統(tǒng)的平穩(wěn)運(yùn)行和擴(kuò)展。越來(lái)越多的廠商開(kāi)始嘗試智能運(yùn)維，主要包括對(duì)場(chǎng)景、事件、告警、故障等進(jìn)行建模、關(guān)聯(lián)、根源分析，構(gòu)建大數(shù)據(jù)分析平臺(tái)對(duì)數(shù)據(jù)進(jìn)行深度挖掘，并通過(guò)機(jī)器學(xué)習(xí)增強(qiáng)智能運(yùn)維引擎的認(rèn)知能力。最終，實(shí)現(xiàn)針對(duì)各種運(yùn)維問(wèn)題的自動(dòng)化“發(fā)現(xiàn)、定位、分析、處置、通知”流程閉環(huán)，使得IT基礎(chǔ)設(shè)施更加智能化，幫助企業(yè)IT人員克服未來(lái)的IT基礎(chǔ)設(shè)施在規(guī)模、效率和復(fù)雜度方面的挑戰(zhàn)。2.2.2 云管理平臺(tái)體系架構(gòu)云管理平臺(tái)的主要任務(wù)是將多云和異構(gòu)資源轉(zhuǎn)化為云服務(wù)。面向管理員提供管控、運(yùn)營(yíng)和運(yùn)維的能力；面向用戶提供自助服務(wù)能力。因此，其體系架構(gòu)自底向上大體可以歸納為如下層級(jí)：云平臺(tái)層、云資源適配層、云資源管理層、云服務(wù)管理層、云運(yùn)營(yíng)層和統(tǒng)一門戶。云管理平臺(tái)采用微服務(wù)架構(gòu)對(duì)上述層級(jí)進(jìn)行統(tǒng)一注冊(cè)和治理，每個(gè)層級(jí)具有一定獨(dú)立性，便于升級(jí)、維護(hù)和替換。云管理平臺(tái)體系架構(gòu)如圖所示。2.2.2 云管理平臺(tái)體系架構(gòu)云管理平臺(tái)管理的主要對(duì)象，云管理平臺(tái)支持對(duì)以O(shè)penStack、VMware為代表的私有云進(jìn)行管理；支持對(duì)以AWS、阿里云、騰訊云為代表的公有云進(jìn)行管理；支持對(duì)以Kubernetes、Rancher為代表的容器云進(jìn)行管理；另外也支持對(duì)各種虛擬化平臺(tái)、x86物理機(jī)和數(shù)據(jù)庫(kù)云等進(jìn)行管理。云平臺(tái)層云資源適配層云資源管理層云管理平臺(tái)一般通過(guò)構(gòu)建對(duì)接適配層并設(shè)計(jì)各個(gè)可插拔的適配組件（或稱為插件）對(duì)云平臺(tái)層的各類資源池或IT基礎(chǔ)設(shè)施等進(jìn)行對(duì)接管控。這些適配組件將各種異構(gòu)資源的模型轉(zhuǎn)義為云管理平臺(tái)定義的統(tǒng)一模型，屏蔽下層異構(gòu)資源的差異化API并封裝成統(tǒng)一的接口供上層調(diào)用。云管理平臺(tái)的基礎(chǔ)功能是針對(duì)異構(gòu)資源的管理。該層負(fù)責(zé)管理各種注冊(cè)到平臺(tái)的資源池，并對(duì)資源池中每一種資源（如虛擬機(jī)、容器、存儲(chǔ)卷、子網(wǎng)等）的生命周期（如創(chuàng)建、修改、刪除、開(kāi)啟、關(guān)閉等）進(jìn)行管理。云管理平臺(tái)各層模塊的描述如下。2.2.2 云管理平臺(tái)體系架構(gòu)云管理平臺(tái)將私有云、公有云的各種異構(gòu)資源進(jìn)行池化并抽象為統(tǒng)一的資源模型，再通過(guò)統(tǒng)一的編排引擎，將資源轉(zhuǎn)換為服務(wù)供用戶使用，如IaaS、PaaS、SaaS等。云服務(wù)管理層主要對(duì)各類云服務(wù)進(jìn)行統(tǒng)一納管，包括基礎(chǔ)服務(wù)管理和自有服務(wù)管理，并支持各類云服務(wù)的編排。云服務(wù)管理層云運(yùn)營(yíng)層統(tǒng)一門戶云運(yùn)營(yíng)模塊面向運(yùn)營(yíng)管理員提供服務(wù)支撐，主要包括計(jì)量計(jì)費(fèi)、成本分析、報(bào)表分析、資源分析、容量分析和歸屬管理等功能。能夠跟蹤資源使用情況，為用戶提供費(fèi)用透明度和成本控制；能夠配置和管理自動(dòng)化運(yùn)維任務(wù)，如備份、容量擴(kuò)展、升級(jí)等。針對(duì)不同的用戶群體，云管理平臺(tái)提供3種不同的門戶：為最終用戶提供自服務(wù)門戶，用戶可通過(guò)該門戶自助生成所需的各種資源；為運(yùn)營(yíng)管理員提供運(yùn)營(yíng)門戶，實(shí)現(xiàn)各種平臺(tái)運(yùn)營(yíng)功能；為運(yùn)維管理員提供運(yùn)維門戶，實(shí)現(xiàn)各種平臺(tái)運(yùn)維功能。2.2.3 云管理平臺(tái)核心能力針對(duì)云管理平臺(tái)的定位，云管理平臺(tái)需要提供的核心能力包括如下幾個(gè)方面。云管理平臺(tái)需要具備各類云平臺(tái)及廠商的對(duì)接納管能力，以支撐對(duì)接后需要的服務(wù)管理運(yùn)維場(chǎng)景，同時(shí)能夠隨基礎(chǔ)架構(gòu)演進(jìn)，開(kāi)放擴(kuò)展支持新的基礎(chǔ)設(shè)施，滿足“開(kāi)放封閉”原則，支持新的云平臺(tái)只需要擴(kuò)展適配層，而不需要修改上層功能層。多云、多基礎(chǔ)設(shè)施的編排能力是云管理平臺(tái)的核心能力之一，這個(gè)能力決定了云管理平臺(tái)面向云用戶以及云管理員所提供的能力范圍和深度。編排能力包括支持的云平臺(tái)及云服務(wù)范圍和操作類型，以及支持的任務(wù)類型，包括腳本、人工任務(wù)、應(yīng)用部署和定義編排的能力等服務(wù)目錄是在傳統(tǒng)IT服務(wù)管理中普遍存在的產(chǎn)品形態(tài)，但是云管理平臺(tái)對(duì)服務(wù)目錄的定義有了新的內(nèi)涵。一個(gè)云管理平臺(tái)中的服務(wù)目錄必須具有“跨多資源池”“集群級(jí)別自動(dòng)創(chuàng)建”“內(nèi)置的應(yīng)用視角計(jì)量計(jì)費(fèi)”等能力例如，很多公司的網(wǎng)段劃分、防火墻端口設(shè)置都由專門的職能團(tuán)隊(duì)管理，普通業(yè)務(wù)團(tuán)隊(duì)需要遵循相應(yīng)的規(guī)則。因此，云管理平臺(tái)需要在資源訪問(wèn)管理上適配企業(yè)內(nèi)部的組織結(jié)構(gòu)和管理方式。云管理平臺(tái)落地需要與企業(yè)數(shù)據(jù)中心內(nèi)部已有的各類運(yùn)維支撐工具平臺(tái)、應(yīng)用部署平臺(tái)進(jìn)行對(duì)接集成，如IT服務(wù)管理、CMDB、堡壘機(jī)、監(jiān)控、備份、持續(xù)集成平臺(tái)、持續(xù)部署平臺(tái)、漏洞掃描系統(tǒng)等，以實(shí)現(xiàn)系統(tǒng)集成，融入數(shù)據(jù)中心的工具體系，整合實(shí)現(xiàn)統(tǒng)一登錄、流程接入、管理數(shù)據(jù)的自動(dòng)同步及共享、減少人工集成配置工作多云、多基礎(chǔ)設(shè)施的適配整合能力及開(kāi)放擴(kuò)展支持能力多云、多基礎(chǔ)設(shè)施的編排能力以服務(wù)目錄為主要載體的服務(wù)管理能力多租戶、多層次的資源訪問(wèn)管理能力集成與被集成的能力2.1主流云計(jì)算平臺(tái)簡(jiǎn)介2.2云管理平臺(tái)2.3云計(jì)算部署模式學(xué)習(xí)要點(diǎn)2.4云計(jì)算服務(wù)2.3.1 公有云云計(jì)算的部署模式有4種，分別是公有云、私有云、社區(qū)云和混合云。如圖所示是私有云、公有云和混合云部署示意。公有云的服務(wù)提供商擁有云計(jì)算基礎(chǔ)設(shè)施，并且為公眾或者企業(yè)用戶提供云計(jì)算服務(wù)。由于公有云的服務(wù)對(duì)象沒(méi)有特定限制，它為外部用戶提供服務(wù)，因此公有云也被稱為外部云。同時(shí)，服務(wù)提供商自己也可以作為公有云的用戶。公有云的主要優(yōu)點(diǎn)：是其所有的應(yīng)用程序及相關(guān)數(shù)據(jù)都存放在公有云平臺(tái)上，無(wú)須前期的大量投資和漫長(zhǎng)的建設(shè)過(guò)程。公有云目前主要的問(wèn)題：是應(yīng)用和數(shù)據(jù)不存儲(chǔ)在用戶自己的數(shù)據(jù)中心，因此其安全性和隱私性等問(wèn)題會(huì)引起用戶的擔(dān)憂。尤其是對(duì)于大型企業(yè)和政府部門，它們對(duì)這方面的要求更高。2.3.1 公有云全球云計(jì)算市場(chǎng)規(guī)?？傮w呈穩(wěn)定增長(zhǎng)態(tài)勢(shì)，IaaS市場(chǎng)保持快速增長(zhǎng)，計(jì)算類服務(wù)為IaaS主要的類型，PaaS市場(chǎng)增長(zhǎng)穩(wěn)定，數(shù)據(jù)庫(kù)服務(wù)需求增長(zhǎng)較快，其中，應(yīng)用基礎(chǔ)架構(gòu)和中間件服務(wù)將占據(jù)近一半的市場(chǎng)份額。雖然數(shù)據(jù)庫(kù)服務(wù)的市場(chǎng)占比相對(duì)較低，但隨著大數(shù)據(jù)應(yīng)用的發(fā)展，分布式數(shù)據(jù)庫(kù)需求明顯增加，且服務(wù)呈現(xiàn)多樣化的趨勢(shì)。SaaS市場(chǎng)增長(zhǎng)緩慢，客戶關(guān)系管理、企業(yè)資源計(jì)劃、辦公套件仍是SaaS主要的服務(wù)類型。云計(jì)算巨頭廠商在不斷地?cái)U(kuò)大自己的領(lǐng)先優(yōu)勢(shì)。2022年下半年主要公有云提供商及其市場(chǎng)份額占比如右上圖所示，2022年主要公有云提供商市場(chǎng)份額情況如右下圖所示。2.3.2 私有云私有云是由某個(gè)機(jī)構(gòu)在其內(nèi)部建設(shè)、運(yùn)營(yíng)的云平臺(tái)，專供該機(jī)構(gòu)自己使用。由于私有云的特點(diǎn)是其服務(wù)不對(duì)外提供，僅供機(jī)構(gòu)內(nèi)部人員或分支機(jī)構(gòu)使用，因此私有云也被稱為內(nèi)部云。優(yōu)點(diǎn)缺點(diǎn)私有云的缺點(diǎn)需要大量的前期投資，仍然采用傳統(tǒng)的商業(yè)模型。還有一個(gè)問(wèn)題是它的規(guī)模相對(duì)公有云來(lái)說(shuō)一般要小得多，因此經(jīng)濟(jì)學(xué)上的規(guī)模效應(yīng)無(wú)法充分發(fā)揮出來(lái)。私有云實(shí)際上是企業(yè)應(yīng)用云計(jì)算相關(guān)技術(shù)來(lái)提高自身信息服務(wù)效率的一種方式。電信云也屬于私有云。對(duì)于那些已經(jīng)有大量數(shù)據(jù)中心，或者由于各種原因暫時(shí)不會(huì)采用第三方云計(jì)算服務(wù)的機(jī)構(gòu)，私有云是一個(gè)比較好的選擇。此外，私有云也適用于有眾多分支機(jī)構(gòu)的大型企業(yè)或政府部門。隨著這些大型數(shù)據(jù)中心的集中化，私有云將會(huì)成為主流的IT系統(tǒng)部署模式。與公有云不同，私有云部署在企業(yè)內(nèi)部，因此它的優(yōu)勢(shì)是數(shù)據(jù)安全性、系統(tǒng)可用性等都可由機(jī)構(gòu)自己控制。需要說(shuō)明的是，雖然私有云不對(duì)外提供服務(wù)，但可以將私有云平臺(tái)的建設(shè)和運(yùn)維委托給其他機(jī)構(gòu)完成。2.3.3 社區(qū)云社區(qū)云的云計(jì)算基礎(chǔ)設(shè)施由多個(gè)有著相同需求或利益的組織所共享，并為這些組織提供特定應(yīng)用功能和工具。社區(qū)云可以按行業(yè)進(jìn)行分類，如醫(yī)療云、教育云、金融云、生產(chǎn)制造云、物流云、建筑云等。這類云通過(guò)在云平臺(tái)上部署特定行業(yè)的應(yīng)用，可以更好地為某一行業(yè)內(nèi)的多個(gè)機(jī)構(gòu)提供服務(wù)，因此社區(qū)云也被稱為行業(yè)云。社區(qū)云也可以按照區(qū)域位置進(jìn)行劃分，例如，某個(gè)區(qū)域工業(yè)云是給該工業(yè)集聚區(qū)內(nèi)所有中小型企業(yè)提供云服務(wù)（如工業(yè)SaaS、工業(yè)IoT等）的工業(yè)云平臺(tái)。2.3.4 混合云混合云的云計(jì)算基礎(chǔ)設(shè)施由上述云計(jì)算部署模式中的兩種或兩種以上組合而成，對(duì)外仍然表現(xiàn)為一個(gè)整體?；旌显婆c其說(shuō)是一種云計(jì)算的部署方式，不如說(shuō)是一種用戶使用云計(jì)算服務(wù)的方式。用戶在使用混合云的云計(jì)算服務(wù)時(shí)，往往既使用了公有云的服務(wù)，又使用了私有云的服務(wù)，這些云通過(guò)統(tǒng)一的管理和接口為用戶提供一致的服務(wù)。例如，一個(gè)組織使用了亞馬遜的公有云彈性計(jì)算服務(wù)，但是它還可以把一些核心的數(shù)據(jù)同時(shí)存儲(chǔ)在基于自己數(shù)據(jù)中心的私有云平臺(tái)上。據(jù)中國(guó)信息通信研究院調(diào)查，未來(lái)幾年國(guó)內(nèi)混合云的應(yīng)用比例將大幅提升。國(guó)際數(shù)據(jù)公司（InternationalDataCorporation，IDC）預(yù)測(cè)，未來(lái)全球混合云將占據(jù)整個(gè)云計(jì)算市場(chǎng)份額的67%?？梢?jiàn)，混合云將被越來(lái)越多的企業(yè)所采用。2.1主流云計(jì)算平臺(tái)簡(jiǎn)介2.2云管理平臺(tái)2.3云計(jì)算部署模式學(xué)習(xí)要點(diǎn)2.4云計(jì)算服務(wù)1.1.2 云計(jì)算的特征與優(yōu)勢(shì)01020304BMS：即裸金屬服務(wù)器，為租戶提供專屬的物理服務(wù)器，擁有卓越的計(jì)算性能，能夠同時(shí)滿足核心應(yīng)用場(chǎng)景對(duì)高性能及穩(wěn)定性的需求，并且可以和虛擬私有云等其他云服務(wù)靈活地結(jié)合使用，綜合了傳統(tǒng)托管主機(jī)的穩(wěn)定性與云上資源高度彈性的優(yōu)勢(shì)。AS：即彈性伸縮，是指該服務(wù)能夠根據(jù)用戶的業(yè)務(wù)需求，通過(guò)策略自動(dòng)調(diào)整其業(yè)務(wù)資源。用戶可以根據(jù)業(yè)務(wù)需求自行定義伸縮配置和伸縮策略，減少人為反復(fù)調(diào)整資源以應(yīng)對(duì)業(yè)務(wù)變化和高峰壓力的工作量，幫助用戶節(jié)約資源和人力成本。IMS：即鏡像服務(wù)，是一個(gè)包含軟件及必要配置的彈性云服務(wù)器模板，至少包含操作系統(tǒng)，還可以包含應(yīng)用軟件（如數(shù)據(jù)庫(kù)軟件）和私有軟件。鏡像分為公共鏡像、私有鏡像和共享鏡像。ECS：即彈性云服務(wù)器，本質(zhì)上就是云平臺(tái)提供的虛擬機(jī)，是由CPU、內(nèi)存、鏡像和云硬盤組成的一種可隨時(shí)獲取、彈性可擴(kuò)展的計(jì)算服務(wù)器。計(jì)算云服務(wù)主要是指提供計(jì)算資源（如虛擬機(jī)、物理服務(wù)器、容器等）以及相關(guān)配套服務(wù)（如鏡像管理、彈性伸縮等）的云服務(wù)總稱。下面介紹常用的云服務(wù)。2.4.2 存儲(chǔ)云服務(wù)SFS(即彈性文件服務(wù))為用戶的ECS提供一個(gè)按需擴(kuò)展、彈性伸縮的高性能共享文件系統(tǒng)，符合標(biāo)準(zhǔn)文件協(xié)議（網(wǎng)絡(luò)文件系統(tǒng)協(xié)議和通用Internet文件系統(tǒng)協(xié)議），能夠彈性伸縮至PB規(guī)模，具備高可用性和持久性，為海量數(shù)據(jù)、高帶寬型應(yīng)用提供有力支持。EVS（即云硬盤）是一種虛擬塊存儲(chǔ)服務(wù)，主要為ECS和BMS提供塊存儲(chǔ)空間。用戶可以在線創(chuàng)建云硬盤并掛載給實(shí)例，云硬盤的使用方式與傳統(tǒng)服務(wù)器硬盤完全一致。同時(shí)，云硬盤具有更高的數(shù)據(jù)可靠性、更強(qiáng)的I/O吞吐能力和更加簡(jiǎn)單易用等特點(diǎn)，適用于文件系統(tǒng)、數(shù)據(jù)庫(kù)或者其他需要塊存儲(chǔ)設(shè)備的系統(tǒng)軟件或應(yīng)用。OBS（即對(duì)象存儲(chǔ)服務(wù)）是基于對(duì)象的海量存儲(chǔ)服務(wù)，為客戶提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲(chǔ)能力，適合存儲(chǔ)任意大小和類型的數(shù)據(jù)，適合普通用戶、企業(yè)和開(kāi)發(fā)者使用。OBS是一項(xiàng)面向Internet訪問(wèn)的服務(wù)，提供基于超文本傳送協(xié)議/超文本傳輸安全協(xié)議的Web服務(wù)接口，用戶可以隨時(shí)隨地連接到Internet的計(jì)算機(jī)上，通過(guò)OBS管理控制臺(tái)或各種OBS工具訪問(wèn)和管理存儲(chǔ)在OBS中的數(shù)據(jù)。0203012.4.3 網(wǎng)絡(luò)云服務(wù)01020304EIP即彈性IP，是基于云外網(wǎng)絡(luò)（簡(jiǎn)稱外網(wǎng)，云外網(wǎng)絡(luò)可以是外網(wǎng)Internet，也可以是企業(yè)內(nèi)部局域網(wǎng)）上的靜態(tài)IP地址，是可以通過(guò)外網(wǎng)直接訪問(wèn)的IP地址，通過(guò)網(wǎng)絡(luò)地址轉(zhuǎn)換方式映射到被綁定的實(shí)例上。VPN用于在遠(yuǎn)端用戶和VPC之間建立一條符合行業(yè)標(biāo)準(zhǔn)的、安全加密的通信隧道，可將已有數(shù)據(jù)中心無(wú)縫擴(kuò)展到VPC上，提供可靠、安全的加密通道。VPC即虛擬私有云，是一套為云服務(wù)器（包括彈性云服務(wù)器和裸金屬服務(wù)器）構(gòu)建的邏輯隔離的、由用戶自主配置和管理的虛擬網(wǎng)絡(luò)環(huán)境，旨在提升用戶資源的安全性，簡(jiǎn)化用戶的網(wǎng)絡(luò)部署。ELB即彈性負(fù)載均衡，是將訪問(wèn)流量根據(jù)轉(zhuǎn)發(fā)策略分發(fā)到多臺(tái)后端云服務(wù)器的流量分發(fā)控制服務(wù)。彈性負(fù)載均衡可以通過(guò)流量分發(fā)擴(kuò)展應(yīng)用系統(tǒng)對(duì)外的服務(wù)能力，實(shí)現(xiàn)更高水平的應(yīng)用程序容錯(cuò)性能。2.4.3 網(wǎng)絡(luò)云服務(wù)主機(jī)安全服務(wù)邊界防火墻服務(wù)Web應(yīng)用防火墻云防火墻服務(wù)針對(duì)云數(shù)據(jù)中心與外部網(wǎng)絡(luò)之間的南北向流量，為用戶提供邊界安全防護(hù)功能，支持以彈性IP為防護(hù)對(duì)象的入侵防御系統(tǒng)和網(wǎng)絡(luò)防病毒功能。為租戶VM提供微隔離能力，并通過(guò)流量可視化和基于業(yè)務(wù)屬性標(biāo)簽的安全策略配置，降低安全運(yùn)維的復(fù)雜度。是提升主機(jī)整體安全性的服務(wù)，通過(guò)主機(jī)管理、風(fēng)險(xiǎn)預(yù)防、入侵檢測(cè)、高級(jí)防御、安全運(yùn)營(yíng)、網(wǎng)頁(yè)防篡改等功能，全面識(shí)別并管理主機(jī)中的信息資產(chǎn)，實(shí)時(shí)監(jiān)測(cè)主機(jī)中的風(fēng)險(xiǎn)并阻止非法入侵行為通過(guò)對(duì)HTTP/HTTPS請(qǐng)求進(jìn)行檢測(cè)，識(shí)別并阻斷結(jié)構(gòu)化查詢語(yǔ)言注入、跨站腳本攻擊、網(wǎng)頁(yè)木馬上傳、命令/代碼注入、文件包含、敏感文件訪問(wèn)、第三方應(yīng)用漏洞攻擊、挑戰(zhàn)黑洞攻擊、惡意爬蟲(chóng)掃描、跨站請(qǐng)求偽造等攻擊，保障Web服務(wù)安全穩(wěn)定。除了以上所述的幾類云計(jì)算服務(wù)，云平臺(tái)還可提供數(shù)據(jù)庫(kù)、大數(shù)據(jù)、AI、容器、容災(zāi)備份等不同類型的云計(jì)算服務(wù)，以適應(yīng)當(dāng)下IT環(huán)境中的各類應(yīng)用場(chǎng)景，從而達(dá)到降低成本、提升效率的目的。學(xué)習(xí)進(jìn)步！華為云計(jì)算技術(shù)與應(yīng)用第3章

云計(jì)算新技術(shù)及其發(fā)展趨勢(shì)華為云計(jì)算技術(shù)與應(yīng)用3.1大數(shù)據(jù)技術(shù)3.2人工智能技術(shù)3.3云計(jì)算安全技術(shù)學(xué)習(xí)要點(diǎn)3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀第四次科技革命方興未艾，一場(chǎng)圍繞“云、大、物、智”等新興信息技術(shù)的革命正在如火如荼地展開(kāi)，全球主要經(jīng)濟(jì)體都已將數(shù)據(jù)開(kāi)放作為發(fā)展戰(zhàn)略，頒布了相關(guān)的數(shù)據(jù)開(kāi)發(fā)戰(zhàn)略，以促進(jìn)未來(lái)經(jīng)濟(jì)發(fā)展。大數(shù)據(jù)技術(shù)起源于谷歌公司在2004年前后發(fā)表的3篇論文，俗稱“大數(shù)據(jù)時(shí)代”的“三駕馬車”，分別介紹了谷歌文件系統(tǒng)（GoogleFileSystem，GFS）、大數(shù)據(jù)分布式計(jì)算框架MapReduce和NoSQL數(shù)據(jù)庫(kù)系統(tǒng)BigTable，現(xiàn)在的大數(shù)據(jù)技術(shù)和框架也多基于這3項(xiàng)技術(shù)展開(kāi)。大數(shù)據(jù)技術(shù)的思路不是聚焦在如何提升單臺(tái)計(jì)算機(jī)的性能，而是先部署一個(gè)大規(guī)模的服務(wù)器集群，再通過(guò)分布式的方式將海量數(shù)據(jù)存儲(chǔ)在這個(gè)集群上，然后利用集群上的所有服務(wù)器進(jìn)行數(shù)據(jù)計(jì)算。大數(shù)據(jù)技術(shù)特別適合存儲(chǔ)和計(jì)算TB、PB規(guī)模及以上的大數(shù)據(jù)文件。除了順應(yīng)國(guó)家戰(zhàn)略需求，在數(shù)據(jù)化、信息化的時(shí)代，經(jīng)營(yíng)者本身也需要進(jìn)行一系列思維變革，以響應(yīng)時(shí)代的特點(diǎn)。

數(shù)據(jù)發(fā)展歷程3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀目前業(yè)界對(duì)大數(shù)據(jù)尚無(wú)公認(rèn)的定義，但大多都試圖從大數(shù)據(jù)的特征出發(fā)給出其定義。總的來(lái)看，目前業(yè)界對(duì)大數(shù)據(jù)的定義有“4V”的特點(diǎn)：體量大（Volume）、類型多（Variety）、速度快（Velocity）、價(jià)值密度低（Value）大數(shù)據(jù)的定義和特點(diǎn)維基百科對(duì)大數(shù)據(jù)的定義研究機(jī)構(gòu)Gartner對(duì)大數(shù)據(jù)做出的定義“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)分析相比傳統(tǒng)的BI、OLAP或數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用，具有數(shù)據(jù)量大、查詢分析復(fù)雜等特點(diǎn)。大數(shù)據(jù)是指利用傳統(tǒng)數(shù)據(jù)處理應(yīng)用軟件不足以處理的規(guī)模大或結(jié)構(gòu)復(fù)雜的數(shù)據(jù)集。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀相比傳統(tǒng)的數(shù)據(jù)分析，大數(shù)據(jù)分析在多個(gè)方面發(fā)生了較大的改變。大數(shù)據(jù)分析與傳統(tǒng)數(shù)據(jù)分析對(duì)比從數(shù)據(jù)規(guī)模來(lái)看，傳統(tǒng)數(shù)據(jù)分析大多使用數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)處理規(guī)模以MB為單位，而大數(shù)據(jù)的處理規(guī)模則以TB、PB為單位。如果將“魚(yú)”比作數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)分析如同“在池塘中捕魚(yú)”，大數(shù)據(jù)分析則如同“在大海中捕魚(yú)”。數(shù)據(jù)類型從原來(lái)的單一的結(jié)構(gòu)化數(shù)據(jù)向非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)等轉(zhuǎn)變。傳統(tǒng)數(shù)據(jù)分析處理工具比較單一，適用性較強(qiáng)，同時(shí)也都是先有模式后有數(shù)據(jù)的處理關(guān)系。而大數(shù)據(jù)分析沒(méi)有一套通用的工具，工具隨著處理數(shù)據(jù)的變化有可能需要更換，同時(shí)數(shù)據(jù)處理的模型也會(huì)隨著數(shù)據(jù)的增多而不斷演變。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀Hadoop生態(tài)系統(tǒng)中的組件基本上都是為了處理超過(guò)單機(jī)尺度的數(shù)據(jù)而誕生的，Hadoop大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu)是目前應(yīng)用極為廣泛的分布式大數(shù)據(jù)處理框架，具備高可靠、高效、可伸縮等特點(diǎn)。Hadoop大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu)組件如下。Hadoop大數(shù)據(jù)生態(tài)系統(tǒng)數(shù)據(jù)存儲(chǔ)01OPTION分布式文件系統(tǒng)HDFS：大數(shù)據(jù)首先需要解決的問(wèn)題是數(shù)據(jù)存儲(chǔ)。Hadoop分布式文件系統(tǒng)是整個(gè)Hadoop體系的基礎(chǔ)，負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)與管理。HDFS的設(shè)計(jì)本質(zhì)上是為了讓大量的數(shù)據(jù)能橫跨成百上千臺(tái)廉價(jià)機(jī)器進(jìn)行存儲(chǔ)，具有高容錯(cuò)性的特點(diǎn)。HDFS適合批量處理數(shù)據(jù)，而不是交互式處理數(shù)據(jù)。HDFS采用了主從結(jié)構(gòu)模型，一個(gè)HDFS集群是由一個(gè)NameNode和若干個(gè)DataNode組成。分布式列存儲(chǔ)數(shù)據(jù)庫(kù)HBase：HDFS是Hadoop默認(rèn)的持久化存儲(chǔ)層，而HBase是一種面向列的分布式數(shù)據(jù)庫(kù)，適用于結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，不過(guò)HBase底層仍然依賴HDFS作為其物理存儲(chǔ)。與適合用來(lái)對(duì)一段時(shí)間內(nèi)的數(shù)據(jù)進(jìn)行分析查詢的數(shù)據(jù)倉(cāng)庫(kù)Hive相比，HBase更適合用來(lái)對(duì)大數(shù)據(jù)進(jìn)行實(shí)時(shí)查詢。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀數(shù)據(jù)計(jì)算02OPTION圖計(jì)算圖計(jì)算針對(duì)的是大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理場(chǎng)景，主要技術(shù)包括GraphX、Gelly、Giraph、PowerGraph等。批處理批處理計(jì)算針對(duì)的是海量數(shù)據(jù)的批量處理場(chǎng)景，主要計(jì)算引擎包括MapReduce等。批處理計(jì)算通常對(duì)以“天”為單位產(chǎn)生的數(shù)據(jù)進(jìn)行一次計(jì)算，然后得到分析計(jì)算的結(jié)果。查詢分析計(jì)算針對(duì)的是大規(guī)模數(shù)據(jù)的存儲(chǔ)管理和查詢分析場(chǎng)景，主要技術(shù)包括Hive、Impala、Dremel，此外還有針對(duì)NoSQL類型的HBase、Teradata、Cassandra等數(shù)據(jù)庫(kù)技術(shù)。流計(jì)算流計(jì)算針對(duì)的是需要實(shí)時(shí)計(jì)算處理流式數(shù)據(jù)的場(chǎng)景，主要技術(shù)包括Spark、Storm、Flink等。因?yàn)榱饔?jì)算要處理的是實(shí)時(shí)產(chǎn)生的數(shù)據(jù)，而不是歷史數(shù)據(jù)，所以這類計(jì)算也被稱為大數(shù)據(jù)實(shí)時(shí)計(jì)算。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀數(shù)據(jù)計(jì)算02OPTION分布式離線并行計(jì)算引擎MapReduce：MapReduce是支持海量數(shù)據(jù)離線并行處理的計(jì)算引擎，是一個(gè)基于集群的高性能并行計(jì)算平臺(tái)，該集群通常使用普通的商用服務(wù)器來(lái)搭建。內(nèi)存計(jì)算引擎Spark：Spark是適用于海量數(shù)據(jù)實(shí)時(shí)處理的計(jì)算引擎，它是基于Scala實(shí)現(xiàn)的。Spark與MapReduce不同的是，其中間計(jì)算結(jié)果不需要被寫(xiě)到本地磁盤中，而是全部在緩存中進(jìn)行的。分布式流式數(shù)據(jù)計(jì)算引擎Flink：Flink是一款基于Java和Scala的分布式流式數(shù)據(jù)處理引擎，是一個(gè)基于內(nèi)存的分布式并行處理框架。基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)Hive/Impala：Hive使用的是一種類SQL的語(yǔ)言HiveSQL，它可以將腳本和SQL轉(zhuǎn)換成MapReduce程序，然后使用計(jì)算引擎進(jìn)行離線分析計(jì)算，這樣分析非常方便，這個(gè)特性也使得Hive逐漸成為大數(shù)據(jù)倉(cāng)庫(kù)的核心組件。下面分別對(duì)MapReduce、Spark、Flink、Hive和Impala進(jìn)行介紹。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀分布式資源管理和任務(wù)調(diào)度03OPTION在Hadoop1.0之后的版本中，隨著其他計(jì)算引擎的加入，僅依靠MapReduce進(jìn)行資源調(diào)度、作業(yè)調(diào)度勢(shì)必帶來(lái)一定的沖突問(wèn)題。因此，Hadoop2.0引入了YARN和Oozie。YARN主要負(fù)責(zé)集群的資源調(diào)配管理，Oozie主要負(fù)責(zé)完成計(jì)算作業(yè)的流調(diào)度工作。數(shù)據(jù)采集04OPTION開(kāi)源數(shù)據(jù)傳輸工具Sqoop：Sqoop是一個(gè)開(kāi)源的數(shù)據(jù)傳輸工具，主要用于在Hadoop大數(shù)據(jù)系統(tǒng)與傳統(tǒng)的數(shù)據(jù)庫(kù)間進(jìn)行數(shù)據(jù)的傳輸，它可以在關(guān)系數(shù)據(jù)庫(kù)與HDFS之間進(jìn)行數(shù)據(jù)的傳輸，也可以在關(guān)系數(shù)據(jù)庫(kù)之間或者大數(shù)據(jù)系統(tǒng)組件之間進(jìn)行數(shù)據(jù)的傳輸。日志采集工具Flume：Flume是一個(gè)具有高可用、高可靠、分布式等特點(diǎn)的海量日志采集、聚合和傳輸?shù)墓ぞ撸С侄ㄖ聘黝悢?shù)據(jù)發(fā)送方（如HDFS、本地日志文件、Kafka等），主要用于收集日志數(shù)據(jù)。同時(shí)，F(xiàn)lume提供對(duì)日志數(shù)據(jù)簡(jiǎn)單處理的能力，如過(guò)濾、格式轉(zhuǎn)換等。(1)(2)總之，可以將大數(shù)據(jù)生態(tài)圈比喻為一個(gè)廚房工具生態(tài)圈。為了烹飪不同的菜品，需要各種各樣的工具。隨著顧客需求的變化，因此工具也需要不斷升級(jí)。因?yàn)闆](méi)有一個(gè)萬(wàn)能的工具可以處理所有情況，所以生態(tài)圈會(huì)變得越來(lái)越龐大。左圖所示為Hadoop大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu)。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀除此之外，還有一些更特別的系統(tǒng)組件，包括分布式機(jī)器學(xué)習(xí)庫(kù)Mahout、DAG計(jì)算引擎Tez等。其他05OPTION3.1.2 云上大數(shù)據(jù)發(fā)展趨勢(shì)華為云大數(shù)據(jù)服務(wù)以大數(shù)據(jù)MapReduce服務(wù)為基礎(chǔ)，對(duì)接數(shù)據(jù)治理中心DataAntsStudio一站式開(kāi)發(fā)運(yùn)營(yíng)平臺(tái)，可提供統(tǒng)一數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)、數(shù)據(jù)可視化等功能，無(wú)縫連接華為云、DWS、數(shù)據(jù)湖探索等數(shù)據(jù)底座的開(kāi)發(fā)。MRS是一種在華為云上部署和管理Hadoop系統(tǒng)的服務(wù)，可一鍵部署Hadoop集群。MRS為用戶提供完全可控的一站式企業(yè)級(jí)大數(shù)據(jù)集群云服務(wù)，完全兼容開(kāi)源接口。華為云MRS架構(gòu)如上圖所示，涵蓋了基礎(chǔ)設(shè)施和大數(shù)據(jù)處理流程的各個(gè)階段3.1.2 云上大數(shù)據(jù)發(fā)展趨勢(shì)彈性云服務(wù)器（ElasticCloudServer，ECS）提供彈性可擴(kuò)展虛擬機(jī)，結(jié)合VPC、安全組、EVS數(shù)據(jù)多副本等能力打造一個(gè)高效、可靠、安全的計(jì)算環(huán)境。MRS基于華為云彈性云服務(wù)器ECS構(gòu)建大數(shù)據(jù)集群，充分利用了其虛擬化層的高可靠、高安全的能力。虛擬私有云（VirtualPrivateCloud，VPC）為每個(gè)租戶提供的虛擬內(nèi)部網(wǎng)絡(luò)，默認(rèn)與其他網(wǎng)絡(luò)隔離。云硬盤服務(wù)（ElasticVolumeService，EVS）提供高可靠、高性能的塊存儲(chǔ)。020301基礎(chǔ)設(shè)施3.1.2 云上大數(shù)據(jù)發(fā)展趨勢(shì)數(shù)據(jù)采集數(shù)據(jù)采集層提供了數(shù)據(jù)接入到MRS集群的能力，包括日志采集（Flume）、關(guān)系型數(shù)據(jù)導(dǎo)入（Loader）、高可靠消息隊(duì)列（Kafka），支持各種數(shù)據(jù)源導(dǎo)入數(shù)據(jù)到大數(shù)據(jù)集群中。使用云數(shù)據(jù)遷移（CDM）也可以將外部數(shù)據(jù)導(dǎo)入MRS集群中。數(shù)據(jù)存儲(chǔ)MRS支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在集群中的存儲(chǔ)（CarbonData/Hudi/ORC/Parquet），并且支持多種高效的格式來(lái)滿足不同計(jì)算引擎的要求。HDFS：大數(shù)據(jù)上通用的分布式文件系統(tǒng)。OBS：對(duì)象存儲(chǔ)服務(wù)，具有高可用、低成本的特點(diǎn)。3.1.2 云上大數(shù)據(jù)發(fā)展趨勢(shì)融合處理ACBMRS提供多種主流計(jì)算引擎MRS支持基于預(yù)設(shè)數(shù)據(jù)模型進(jìn)行數(shù)據(jù)分析MRS支持YARN用于處理大規(guī)模數(shù)據(jù)的分布式離線并行計(jì)算引擎MapReduce，使用有向無(wú)環(huán)圖（DAG）模型進(jìn)行數(shù)據(jù)處理的計(jì)算引擎Tez，內(nèi)存計(jì)算引擎Spark，流式數(shù)據(jù)處理引擎SparkStreaming，流式數(shù)據(jù)計(jì)算引擎Flink等。用戶可以使用易用的SQL語(yǔ)言進(jìn)行數(shù)據(jù)分析，并根據(jù)不同的需求選擇不同的組件，如數(shù)據(jù)倉(cāng)庫(kù)Hive、數(shù)據(jù)存儲(chǔ)HBase、專注于實(shí)時(shí)分析和列式存儲(chǔ)的列式數(shù)據(jù)庫(kù)管理系統(tǒng)的ClickHouse，以及支持交互式查詢的查詢引擎HetuEngine。YARN是Hadoop生態(tài)系統(tǒng)的關(guān)鍵組件，是集群資源管理器和作業(yè)調(diào)度器，用于管理Hadoop中的資源和作業(yè)執(zhí)行。3.1.2 云上大數(shù)據(jù)發(fā)展趨勢(shì)數(shù)據(jù)呈現(xiàn)調(diào)度用于數(shù)據(jù)分析結(jié)果的呈現(xiàn)，并與數(shù)據(jù)治理中心DataArtsStudio集成，提供一站式的大數(shù)據(jù)協(xié)同開(kāi)發(fā)平臺(tái)，借助開(kāi)源用戶界面Hue、邏輯編程語(yǔ)言DLV和數(shù)據(jù)可視化工具BI/Superset，幫助用戶輕松完成數(shù)據(jù)建模、數(shù)據(jù)集成、腳本開(kāi)發(fā)、作業(yè)調(diào)度、運(yùn)維監(jiān)控等多項(xiàng)任務(wù)，極大降低用戶使用大數(shù)據(jù)的門檻，幫助用戶快速構(gòu)建大數(shù)據(jù)處理中心。集群管理MRS集群管理提供了統(tǒng)一的運(yùn)維管理平臺(tái)，可一鍵式部署集群，并提供多版本選擇，支持運(yùn)行過(guò)程中集群在無(wú)業(yè)務(wù)中斷條件下，進(jìn)行擴(kuò)縮容、彈性伸縮。華為云大數(shù)據(jù)服務(wù)具有多種優(yōu)勢(shì)，主要體現(xiàn)在：完全兼容開(kāi)源生態(tài)+三方組件插件化管理，企業(yè)一站式平臺(tái)；支持存算分離，存儲(chǔ)和計(jì)算資源可以靈活配置；支持華為自研鯤鵬服務(wù)器。3.1大數(shù)據(jù)技術(shù)3.2人工智能技術(shù)3.3云計(jì)算安全技術(shù)學(xué)習(xí)要點(diǎn)3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能發(fā)展簡(jiǎn)史近幾年，人工智能逐漸融入人類社會(huì)的方方面面，推動(dòng)了全球宏觀趨勢(shì)的發(fā)展變化，助力經(jīng)濟(jì)增長(zhǎng)與產(chǎn)業(yè)升級(jí)，加速科技創(chuàng)新，提升生活質(zhì)量，推動(dòng)就業(yè)結(jié)構(gòu)變化，加速社會(huì)治理的現(xiàn)代化進(jìn)程。人工智能發(fā)展歷程3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能定義和特點(diǎn)艾倫·圖靈在1915年提出了一個(gè)非常重要的問(wèn)題——機(jī)器能思考嗎？通常，我們認(rèn)為這是人工智能想法的開(kāi)始。1956年，約翰·麥卡錫首次提出，人工智能是研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)，并將人工智能定義為計(jì)算機(jī)科學(xué)的一個(gè)分支。此后，馬文·明斯基提出了人工智能應(yīng)該擁有與人類相媲美的智力的觀點(diǎn)。這種觀點(diǎn)讓我們想知道——智力本身到底是什么？霍華德·加德納提出，人類的智力可分為7個(gè)方面，包括語(yǔ)言、數(shù)學(xué)、空間、動(dòng)覺(jué)、節(jié)奏、社會(huì)和內(nèi)省。概括來(lái)說(shuō)，人工智能早期的目的就是讓機(jī)器能夠像人一樣思考，讓機(jī)器擁有智能。時(shí)至今日，人工智能的內(nèi)涵大大擴(kuò)展，已經(jīng)成為一門交叉學(xué)科，右圖所示為人工智能涉及的學(xué)科示意。3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能有4個(gè)要素，分別為數(shù)據(jù)、算法、算力和人工智能應(yīng)用場(chǎng)景。如右下圖所示為人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)三者的關(guān)系，可見(jiàn)，人工智能包含機(jī)器學(xué)習(xí)，深度學(xué)習(xí)又是機(jī)器學(xué)習(xí)的一部分。數(shù)據(jù)：是我們加工的原材料。算法：是我們實(shí)現(xiàn)人工智能目標(biāo)的開(kāi)發(fā)方式，我們需要分析不同的場(chǎng)景，部署不同的策略。算力：是一種承諾，可以確保我們的算法能夠快速且健壯地工作。人工智能應(yīng)用場(chǎng)景：則是人工智能系統(tǒng)理解并作出決策的環(huán)境。人工智能的核心是完成特定目標(biāo)，而不管實(shí)現(xiàn)路徑如何。雖然有很多不同的方法來(lái)實(shí)現(xiàn)人工智能目標(biāo)，但機(jī)器學(xué)習(xí)是目前最有希望的方法之一。(1)(2)(3)(4)人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能技術(shù)是多層面的，從下到上，人工智能技術(shù)從工藝到芯片，到器件，到算法，最后到應(yīng)用。在每一個(gè)層面上，都有各種與之相關(guān)的技術(shù)。例如，在算法層面，有機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)技術(shù)。在應(yīng)用層面，有視頻和圖像、聲音和語(yǔ)音、文本及控制。人工智能相關(guān)技術(shù)如下圖所示。人工智能技術(shù)3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能技術(shù)的一項(xiàng)重要性能指標(biāo)是在沒(méi)有任何先驗(yàn)知識(shí)的前提下，通過(guò)完全的自我學(xué)習(xí)，在極具挑戰(zhàn)的領(lǐng)域里達(dá)到超人的境界。在人工智能研究領(lǐng)域中，通常將人工智能分為兩種類型：人工智能分類強(qiáng)人工智能又稱為通用人工智能，指理論上可以與人類智慧相媲美的人工智能系統(tǒng)，能夠在多種任務(wù)上表現(xiàn)出與人類相似或超越人類的水平。弱人工智能也稱為應(yīng)用人工智能，它是相對(duì)于強(qiáng)人工智能而言的、針對(duì)特定任務(wù)或領(lǐng)域的人工智能系統(tǒng)。雖然弱人工智能在特定領(lǐng)域表現(xiàn)出色，但它缺乏廣泛的認(rèn)知和通用性。3.2.2 云上AI技術(shù)發(fā)展趨勢(shì)各種AI開(kāi)發(fā)框架都在朝易用且全能的方向演進(jìn)，不斷降低AI開(kāi)發(fā)門檻。例如，TensorFlow自其2.0正式版開(kāi)始，集成Keras作為其高階API，極大提升易用性；PyTorch也由于其易用性得到了學(xué)術(shù)界的廣泛認(rèn)可；華為推出的MindSporeAI推理框架，具有高效、安全、易用、開(kāi)放等特點(diǎn)，可為AI應(yīng)用開(kāi)發(fā)者提供全棧服務(wù)。更易用的開(kāi)發(fā)框架性能更優(yōu)、體積更小的算法模型①計(jì)算機(jī)視覺(jué)領(lǐng)域：生成對(duì)抗網(wǎng)絡(luò)（GenerativeAdversarialNetwork，GAN）已能夠生成人眼不可分辨的高質(zhì)量圖像，GAN相關(guān)的算法開(kāi)始在其他視覺(jué)相關(guān)的任務(wù)上應(yīng)用，如語(yǔ)義分割、人臉識(shí)別、視頻合成、無(wú)監(jiān)督聚類等。②自然語(yǔ)言處理領(lǐng)域：基于Transformer架構(gòu)的預(yù)訓(xùn)練模型取得重大突破，相關(guān)模型如BERT、GPT、XLNet開(kāi)始被廣泛應(yīng)用于工業(yè)場(chǎng)景中。③強(qiáng)化學(xué)習(xí)領(lǐng)域：DeepMind團(tuán)隊(duì)的AlphaStar在《星際爭(zhēng)霸Ⅱ》游戲中打敗人類頂尖選手。3.2.2 云上AI技術(shù)發(fā)展趨勢(shì)應(yīng)用于云端、邊緣設(shè)備、移動(dòng)終端的人工智能芯片規(guī)模不斷增長(zhǎng)，將進(jìn)一步解決人工智能的算力問(wèn)題。隨著大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)和自動(dòng)駕駛等領(lǐng)域的快速發(fā)展，對(duì)人工智能芯片的市場(chǎng)需求不斷擴(kuò)大。如右圖所示，預(yù)測(cè)從2023年到2027年，中國(guó)人工智能芯片市場(chǎng)規(guī)模將持續(xù)上漲。預(yù)計(jì)在2024年年底，中國(guó)人工智能芯片市場(chǎng)規(guī)模將突破1000億元，到2027年，市場(chǎng)規(guī)模將接近3000億元。云-邊-端全面發(fā)展的算力3.2.2 云上AI技術(shù)發(fā)展趨勢(shì)人工智能基礎(chǔ)數(shù)據(jù)服務(wù)產(chǎn)業(yè)日漸成熟，相關(guān)數(shù)據(jù)標(biāo)注平臺(tái)和工具也在不斷推出，包括數(shù)據(jù)生態(tài)產(chǎn)業(yè)鏈上游的數(shù)據(jù)產(chǎn)生和產(chǎn)能資源提供公司，以及AI基礎(chǔ)數(shù)據(jù)服務(wù)商——具備標(biāo)注基地或全職標(biāo)注的團(tuán)隊(duì)，如百度智能云、慧聽(tīng)數(shù)據(jù)等；中游的數(shù)據(jù)產(chǎn)品開(kāi)發(fā)工具與服務(wù)管理公司，包括AI中臺(tái)和AI基礎(chǔ)數(shù)據(jù)服務(wù)商，如華為云、百度智能云、騰訊云和阿里云等公司；下游的AI算法研發(fā)機(jī)構(gòu)，包括科技公司、行業(yè)企業(yè)、AI公司和科研單位等，如華為、上汽集團(tuán)、科大訊飛和中國(guó)科學(xué)院等。更完善的基礎(chǔ)數(shù)據(jù)服務(wù)產(chǎn)業(yè)，更安全的數(shù)據(jù)共享性能更優(yōu)、體積更小的算法模型隨著人工智能在各個(gè)垂直領(lǐng)域的不斷探索，人工智能的應(yīng)用場(chǎng)景將不斷被突破。例如，人工智能聊天機(jī)器人結(jié)合心理學(xué)知識(shí)，幫助治療孤獨(dú)癥等心理健康問(wèn)題；人工智能技術(shù)通過(guò)圖像識(shí)別等深度學(xué)習(xí)算法完成車輛的車險(xiǎn)定損，幫助保險(xiǎn)公司優(yōu)化車險(xiǎn)理賠等等。3.1大數(shù)據(jù)技術(shù)3.2人工智能技術(shù)3.3云計(jì)算安全技術(shù)學(xué)習(xí)要點(diǎn)3.3.1 云計(jì)算安全技術(shù)發(fā)