華為云計算技術(shù)與應(yīng)用 課件全套 第1-9章 云計算概念與核心技術(shù)- 華為云計算綜合實踐

第1章

云計算概念與核心技術(shù)華為云計算技術(shù)與應(yīng)用1.1云計算簡介1.2虛擬化技術(shù)1.3分布式技術(shù)學(xué)習(xí)要點1.1.1 云計算的發(fā)展與概念云計算的發(fā)展人類歷史上第一臺公認的通用電子數(shù)字積分計算機（ElectronicNumericalIntegratorAndComputer，ENIAC）誕生了。ENIAC由18000多個電子管組成，體積龐大，需要占滿好幾個房間，耗電量驚人電子計算機更多的是大型機，如IBM公司的大型機S/360等，大型機具有處理能力強、安全性高、穩(wěn)定性好等優(yōu)點，但是由于其價格昂貴，一般只被政府、銀行等機構(gòu)使用，其他用戶可能就不會選擇大型機。SUN（StanfordUniversityNetwork）公司的聯(lián)合創(chuàng)始人約翰·蓋奇首次提出了“網(wǎng)絡(luò)即計算”這一概念，這是最早提出的與云計算相似的概念，即通過網(wǎng)絡(luò)，用戶或公司能夠獲取到所需的計算等資源，從而對信息進行處理。拉姆納特·切拉帕教授在一次演講中提出了“云計算”這一詞，同時，他指出“計算資源的邊界不再由技術(shù)決定，而是由經(jīng)濟需求來決定”，即資源是根據(jù)用戶需求來提供的。Salesforce公司提供了可通過互聯(lián)網(wǎng)按需訪問軟件的服務(wù)。Salesforce是全球領(lǐng)先的客戶關(guān)系管理軟件的提供商，它通過一系列的創(chuàng)新和新技術(shù)的引入，提供了一種全新的SaaS方式管理客戶關(guān)系。1946年20世紀60年代1983年1997年1999年1.1.1 云計算的發(fā)展與概念云計算的發(fā)展谷歌發(fā)表了關(guān)于分布式文件系統(tǒng)、并行計算、數(shù)據(jù)管理和分布式資源管理的4篇論文，為云計算和大數(shù)據(jù)的發(fā)展奠定了堅實的基礎(chǔ)。谷歌前首席執(zhí)行官埃里克·施密特首次提出了云計算概念。同年，亞馬遜推出了云計算產(chǎn)品亞馬遜彈性計算云（ElasticComputeCloud，EC2），指出云計算通過互聯(lián)網(wǎng)按需提供IT資源，并且采用按使用量付費的定價方式。云計算發(fā)展的關(guān)鍵一年，也被認為是中國的云計算元年。在這一年，VMware開始加入云計算市場，提供相應(yīng)的云計算產(chǎn)品，同時，VMware和谷歌展開合作，微軟云計算產(chǎn)品Azure添加了對遠程桌面和虛擬化的支持，增強了其IaaS層的服務(wù)提供能力。在中國，政府開始重視云計算的發(fā)展，頒布了《關(guān)于做好云計算服務(wù)創(chuàng)新發(fā)展試點示范工作的通知》等文件。同年，阿里云開始公測。亞馬遜、微軟和阿里占據(jù)全球近70%的云市場，云計算產(chǎn)業(yè)成為全球性的競爭產(chǎn)業(yè)。關(guān)于云計算未來的發(fā)展，亞馬遜全球副總裁兼首席技術(shù)官威格爾指出，未來云計算將改善城市生活，實現(xiàn)工業(yè)物聯(lián)網(wǎng)、視頻分析和安全分析，還將改變醫(yī)療分析。2000年2006年2010年2020年1.1.1 云計算的發(fā)展與概念維基百科指出，云計算是現(xiàn)有技術(shù)和范例的發(fā)展和采用的結(jié)果。云計算的目標是允許用戶從所有這些技術(shù)中獲益，而不需要對每一項技術(shù)都有深入的了解?！霸啤敝荚诮档统杀?，幫助用戶專注于核心業(yè)務(wù)，而不被IT障礙所阻礙。云安全聯(lián)盟指出，云計算的本質(zhì)是一種提供服務(wù)的模式。通過這種模式，用戶可以隨時隨地按需地通過網(wǎng)絡(luò)訪問共享資源池的資源。資源池的內(nèi)容包括計算資源、存儲資源、網(wǎng)絡(luò)資源等，這些資源能夠被動態(tài)地分配和調(diào)整，在不同用戶之間靈活地劃分。凡是符合這些特征的IT服務(wù)都可以被稱為云計算服務(wù)。普遍被接受的概念是由美國國家標準與技術(shù)研究院（NationalInstituteofStandardsandTechnology，NIST）提出的，云計算是一種模型，它可以實現(xiàn)用戶隨時隨地、便捷、按需地從可配置計算資源共享池中獲取所需的資源（如網(wǎng)絡(luò)、服務(wù)器、存儲、應(yīng)用和服務(wù)等）。這些資源能夠快速供應(yīng)并釋放，使資源管理的工作量和用戶與服務(wù)提供商的交互次數(shù)減少到最低限度。云計算的概念1.1.2 云計算的特征與優(yōu)勢云計算的特征（1）按需自助服務(wù)按需自助意味著用戶可自助獲取相關(guān)資源或服務(wù)，資源可以是應(yīng)用程序、網(wǎng)絡(luò)、計算、存儲、數(shù)據(jù)庫等，服務(wù)可以是人工服務(wù)等。在云時代，用戶可以直接通過云控制臺界面進行資源申請，同時，若用戶在使用過程中有任何問題，可以在云平臺上申請人工服務(wù)來幫助解決問題。（2）廣泛的網(wǎng)絡(luò)接入允許用戶在終端設(shè)備上通過網(wǎng)絡(luò)接入云中獲取相應(yīng)的資源。理論上來說，只要網(wǎng)絡(luò)可達就可以獲取相應(yīng)資源，和用戶所處位置無關(guān)，和用戶使用的終端設(shè)備也無關(guān)。（3）資源池化根據(jù)NIST的定義可以看出，云計算提供的是共享資源池，即資源池化。資源池化意味著用戶獲取的資源或服務(wù)都是來自某個資源池的，這個資源池可以是公共的資源池，也可以是私有的資源池。（4）快速彈性伸縮意味著云中提供的某個服務(wù)可以快速伸縮，適應(yīng)業(yè)務(wù)負載的動態(tài)變化，從而能夠保證資源的提供量和業(yè)務(wù)對資源的需求量是高度匹配的，避免資源的冗余和浪費。（5）可計量服務(wù)云上大部分的資源是收費的，用戶按需使用云中的資源，按實際使用量付費，因此平臺需要收集使用資源的類型、使用數(shù)量和使用時長等信息，根據(jù)這些信息，對用戶進行相應(yīng)的收費。1.1.2 云計算的特征與優(yōu)勢云計算的優(yōu)勢01020304快速便捷理論上，只要網(wǎng)絡(luò)可達，就可以獲取所需資源，因此，云計算被廣泛應(yīng)用于教育、辦公、醫(yī)療等眾多領(lǐng)域。安全可靠在安全方面，云計算從底層到上層，提供了眾多安全策略、措施和工具來保障安全。在可靠性方面，數(shù)據(jù)存儲采用多副本容錯、虛擬機可熱遷移、數(shù)據(jù)庫主備設(shè)計、上層應(yīng)用負載均衡等方式，很好地保證了用戶業(yè)務(wù)的高可靠性。經(jīng)濟高效在大廠商提供的云平臺上去搭建自身的業(yè)務(wù)，能夠快速獲得自身業(yè)務(wù)所需資源，且選擇多樣。同時，可以根據(jù)業(yè)務(wù)自身需求去考慮資源的付費方式，在一定程度上能夠降低用戶或中小企業(yè)的業(yè)務(wù)成本。靈活彈性對于云上資源，靈活彈性體現(xiàn)在資源的彈性伸縮上，包括資源配置的更改和資源數(shù)量的變更。1.3.1 云計算的應(yīng)用對個人而言，云計算滲透在個人的衣食住行、教育、醫(yī)療、辦公等各個方面。除此之外，當人們在日常生活中使用一些視頻軟件觀看娛樂節(jié)目或者在一些電商平臺上購買所需商品時，其后臺使用的也是云計算技術(shù)。以華為商城VMALL為例，VMALL是華為自營電商平臺，其本身就是基于華為云平臺搭建的。對廣大中小企業(yè)而言，采用云計算技術(shù)能夠降本增效，從而有利于滿足其自身業(yè)務(wù)發(fā)展的需求。在金融行業(yè)中，以某銀行為例，其業(yè)務(wù)快速發(fā)展導(dǎo)致業(yè)務(wù)體量快速增長，客戶群體從高價值客戶向長尾客戶延伸，但其業(yè)務(wù)部署分散隔離，導(dǎo)致后端資源難管控，各業(yè)務(wù)的價值發(fā)現(xiàn)困難。在交通行業(yè)中，以城軌為例，在《交通強國建設(shè)綱要》的要求和指導(dǎo)下，中國城軌從單線建設(shè)向線網(wǎng)建設(shè)發(fā)展，同時，從提供單一的出行服務(wù)向提供綜合服務(wù)發(fā)展，即中國城軌從傳統(tǒng)城軌向智慧城軌發(fā)展。(1)(2)1.1.4 云計算平臺、云管理平臺與云計算服務(wù)云計算平臺是一種基于云計算技術(shù)構(gòu)建的軟件和服務(wù)平臺，它提供了一種可靠、靈活、可擴展的方式來構(gòu)建、部署和管理應(yīng)用程序和服務(wù)。利用虛擬化技術(shù)，云計算平臺能夠基于底層的IT資源池構(gòu)建出龐大的云計算共享資源池，進而向用戶提供不同的云計算服務(wù)。

云計算平臺目前云計算服務(wù)模式主要包括基礎(chǔ)設(shè)施即服務(wù)（InfrastructureasaService，IaaS）、平臺即服務(wù)（PlatformasaService，PaaS）和軟件即服務(wù)（SoftwareasaService，SaaS）三類。1.1.4 云計算平臺、云管理平臺與云計算服務(wù)隨著用戶需求和規(guī)模的不斷增長，勢必會出現(xiàn)這些問題：如何管理云上不同種類的云服務(wù)？如何對不同云服務(wù)商之間的服務(wù)進行統(tǒng)一管理？如何讓用戶便捷地申請云服務(wù)？在這樣的背景下，云管理平臺就應(yīng)運而生了。在云管理平臺的管理下，可以基于不同的模式對云計算進行部署并實現(xiàn)統(tǒng)一管理，有云服務(wù)商構(gòu)建的公有云模式，有用戶自行構(gòu)建的私有云模式，也有強調(diào)高擴展性、高靈活性、高安全性和高私密性的混合云模式，更有多個利益共同體一同投資構(gòu)建的社區(qū)云模式。無論采用哪種模式，通過云管理平臺的納管，用戶都可以享受到云計算快速、便捷、靈活、可靠的優(yōu)勢，助力自身業(yè)務(wù)的可持續(xù)發(fā)展。

云管理平臺1.1.4 云計算平臺、云管理平臺與云計算服務(wù)有了底層的IT資源池、云計算平臺和云管理平臺，就能為廣大的用戶提供安全高效、豐富多樣的云計算服務(wù)，當前主流的云計算服務(wù)主要有以下幾類。計算云服務(wù)存儲云服務(wù)網(wǎng)絡(luò)云服務(wù)安全云服務(wù)容器云服務(wù)大數(shù)據(jù)云服務(wù)數(shù)據(jù)庫云服務(wù)AI云服務(wù)

云計算服務(wù)云服務(wù)商提供的數(shù)據(jù)庫產(chǎn)品一般都是具備NewSQL特性的數(shù)據(jù)庫產(chǎn)品，如亞馬遜的Aurora、阿里云的OceanBase、騰訊云的CynosDB等1.1.5 我國自主創(chuàng)新成果——鯤鵬云當前計算產(chǎn)業(yè)呈現(xiàn)兩個大的變化趨勢。其一是移動智能終端取代傳統(tǒng)個人計算機，計算架構(gòu)正在從x86轉(zhuǎn)向ARM，應(yīng)用正從PC應(yīng)用轉(zhuǎn)向移動應(yīng)用，并且移動應(yīng)用進一步發(fā)展為云化應(yīng)用。其二是新的算力需求日趨強烈，需要構(gòu)建云端數(shù)據(jù)中心和網(wǎng)絡(luò)邊緣端協(xié)同的算力體系，助力世界步入萬物互聯(lián)的新時代，以滿足對于海量數(shù)據(jù)處理的算力需求。計算進入多樣性時代，意味著將產(chǎn)生大量對異構(gòu)計算的需求，然而，當前沒有任何一種單一的計算架構(gòu)能夠滿足對所有場景、所有數(shù)據(jù)類型的處理需求，單一計算架構(gòu)逐漸向多種計算架構(gòu)組合演進。技術(shù)的更迭是生態(tài)發(fā)展的核心驅(qū)動力。進入“AIoT（AI+IoT）時代”，多元架構(gòu)成為業(yè)務(wù)智能的關(guān)鍵，技術(shù)生態(tài)也從單一封閉型向開放共存型和多元化社區(qū)型發(fā)展。多元化技術(shù)架構(gòu)主要包括以下方面。多元化底層技術(shù)多元化開發(fā)生態(tài)多元化云服務(wù)1.1.5 我國自主創(chuàng)新成果——鯤鵬云依托ARM架構(gòu)打造的鯤鵬處理器，以及基于鯤鵬處理器構(gòu)建的華為鯤鵬云服務(wù)解決方案是多元架構(gòu)實踐的有力體現(xiàn)。鯤鵬云服務(wù)解決方案打通了智能時代從端到云的價值鏈，在大數(shù)據(jù)、分布式存儲、ARM原生應(yīng)用等諸多場景中發(fā)揮了極大價值。鯤鵬云服務(wù)解決方案具有以下優(yōu)勢。預(yù)集成全棧軟硬件且按需付費多場景業(yè)務(wù)支持豐富的技術(shù)生態(tài)支持鯤鵬計算生態(tài)致力于推動異構(gòu)計算的發(fā)展，更好地滿足用戶和企業(yè)對超大寬帶內(nèi)存、綠色低功耗、安全可信等的需求。鯤鵬開發(fā)團隊完善了云服務(wù)的國產(chǎn)化，構(gòu)建了全棧鯤鵬云服務(wù)，如鯤鵬云主機、鯤鵬云數(shù)據(jù)庫、鯤鵬云容器、鯤鵬云微服務(wù)平臺等。如今的鯤鵬不再局限于鯤鵬系列服務(wù)器芯片，更包含兼容的服務(wù)器軟件，以及建立在新計算架構(gòu)上的完整軟硬件生態(tài)和云計算生態(tài)。1.1云計算簡介1.2虛擬化技術(shù)1.3分布式技術(shù)學(xué)習(xí)要點1.2.1 虛擬化基礎(chǔ)采用虛擬化，需要在服務(wù)器上安裝相應(yīng)的虛擬化層，然后在其基礎(chǔ)上創(chuàng)建虛擬機、安裝和配置操作系統(tǒng)和應(yīng)用軟件，從而承載相應(yīng)的業(yè)務(wù)，虛擬化架構(gòu)如圖所示。物理服務(wù)器：通常是指托管虛擬機或容器的物理設(shè)備，它具有自己的處理器、內(nèi)存、硬盤、網(wǎng)絡(luò)接口和其他硬件組件，可以獨立地運行操作系統(tǒng)和應(yīng)用程序。虛擬化層：也被稱為虛擬機監(jiān)視器，虛擬化層將底層的計算、存儲和網(wǎng)絡(luò)等資源統(tǒng)一納管起來，為上層虛擬機提供一個邏輯上隔離的運行環(huán)境虛擬機：也被稱為客戶機，新創(chuàng)建出來的虛擬機并不能直接使用，需要由用戶或管理員為這臺虛擬機安裝相應(yīng)的系統(tǒng)軟件和應(yīng)用軟件之后才能使用。虛擬機操作系統(tǒng)：可以是Linux/類Linux操作系統(tǒng)或Windows操作系統(tǒng)，可以根據(jù)實際的業(yè)務(wù)場景需求進行選擇。(1)(2)(3)(4)

虛擬化概念1.2.1 虛擬化基礎(chǔ)

虛擬化優(yōu)勢采用了虛擬化技術(shù)之后，優(yōu)勢主要體現(xiàn)在以下幾點。靈活的資源配置對上層業(yè)務(wù)而言，可以靈活地對運行業(yè)務(wù)的虛擬機進行數(shù)量或配置的更改。例如，在業(yè)務(wù)量高峰期，可以通過提高虛擬機的配置來應(yīng)對高業(yè)務(wù)量與資源配置不匹配等問題。提高業(yè)務(wù)可靠性對上層業(yè)務(wù)而言，其要求業(yè)務(wù)不中斷或者短中斷，而虛擬化技術(shù)可以支持虛擬機跨主機的熱遷移，同時，結(jié)合一些適當?shù)囊?guī)則，如虛擬機與主機綁定、虛擬機聚合或互斥等規(guī)則，可以提高業(yè)務(wù)的可靠性。提高資源利用率傳統(tǒng)模式下，為避免業(yè)務(wù)高峰時期資源的搶占問題，一般會在一臺服務(wù)器上面安裝一個應(yīng)用來對外提供服務(wù)。對這臺服務(wù)器而言，其資源平均利用率通常在20%～30%之間，資源沒有得到充分的利用。而虛擬化技術(shù)可以對底層資源進行邏輯隔離，創(chuàng)建眾多承載不同業(yè)務(wù)和應(yīng)用的虛擬機，從而提高資源利用率。0102031.2.1 虛擬化基礎(chǔ)

虛擬化劣勢凡事有利必有弊，采用虛擬化技術(shù)劣勢體現(xiàn)在以下幾點。保障安全難度增加可能會發(fā)生“虛擬機逃逸”等安全問題，如在虛擬機中使用了弱密碼，黑客可以通過暴力破解等方式控制虛擬機，然后對這臺主機的虛擬化層進行控制，從而控制整臺主機。面向業(yè)務(wù)的靈活度不夠當用戶需要根據(jù)業(yè)務(wù)進行相應(yīng)虛擬資源的調(diào)整時，其工作量仍然比較大。同時，虛擬化在與其他新興技術(shù)（如物聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)等）的融合方面還有待改進。運維難度增加傳統(tǒng)方式下運維人員只需要對物理資源、系統(tǒng)軟件和應(yīng)用軟件等進行運維。而多了虛擬化層之后，增加了對虛擬化層和其上的虛擬機的運維工作。0102031.2.2 虛擬化架構(gòu)如圖所示，裸金屬型虛擬化架構(gòu)中虛擬化層直接安裝在硬件上面，這時虛擬化層對硬件的所有資源進行相應(yīng)的管控，在虛擬化層的基礎(chǔ)上，可以創(chuàng)建虛擬機，然后在虛擬機中安裝系統(tǒng)軟件或者應(yīng)用軟件。它具有性能較高、支持多種操作系統(tǒng)等優(yōu)勢，同時，它也存在內(nèi)核研發(fā)比較困難等劣勢。目前，裸金屬型虛擬化產(chǎn)品有XEN、Hyper-V等。裸金屬型虛擬化架構(gòu)1.2.2 虛擬化架構(gòu)如圖所示，相比于裸金屬型虛擬化架構(gòu)，宿主型虛擬化架構(gòu)中VMM不直接安裝在硬件上。在宿主型虛擬化架構(gòu)中，由主機操作系統(tǒng)（HostOS）對整個硬件資源進行管控，而VMM只是作為一個虛擬化模塊嵌入HostOS，實現(xiàn)CPU、內(nèi)存和輸入/輸出虛擬化，實際上對硬件資源的管控是由HostOS來完成的。宿主型虛擬化架構(gòu)能夠充分利用HostOS優(yōu)秀的資源管理能力，但也強依賴于HostOS對設(shè)備的支持。目前，宿主型虛擬化產(chǎn)品有VirtualBox、VMwareWorkstation等。宿主型虛擬化架構(gòu)1.2.2 虛擬化架構(gòu)如圖所示，操作系統(tǒng)虛擬化架構(gòu)允許多個應(yīng)用共享主機操作系統(tǒng)內(nèi)核，將應(yīng)用和應(yīng)用的依賴文件等封裝在一起形成容器。對多個容器而言，由于共享而不具備單獨的操作系統(tǒng)內(nèi)核，因此，其空間更小、啟動速度更快、效率更高，但是容器在安全性、標準性、復(fù)雜性等方面的問題仍有待解決。操作系統(tǒng)虛擬化架構(gòu)1.2.3 虛擬化分類在對這些虛擬化階段進行介紹之前，需要先說明一下虛擬化之前計算機的CPU指令流，如圖所示，CPU將特權(quán)級分為4個級別：Ring0、Ring1、Ring2、Ring3。Ring0擁有最高的級別，一般只給操作系統(tǒng)使用，Ring1、Ring2、Ring3級別依次遞減，Ring3則給普通的應(yīng)用程序使用。宿主型虛擬化架構(gòu)如果沒有引入虛擬化技術(shù)，那么在傳統(tǒng)模式下，CPU指令的運行并不會產(chǎn)生任何沖突，而采用了虛擬化技術(shù)后，就會帶來一個問題：默認情況下操作系統(tǒng)運行在Ring0級別，管控所有的硬件資源，而新增的虛擬化層也需要運行在Ring0級別以管控所有的硬件資源，這種情況下，應(yīng)該是誰運行在Ring0級別呢？1.2.3 虛擬化分類CPU全虛擬化01OPTION右圖對給出了上述問題的答案，右圖是全虛擬化下的CPU指令流，可以看到底層是硬件，虛擬化層運行在Ring0級別中，虛擬機操作系統(tǒng)運行在Ring1級別中，應(yīng)用運行在Ring3級別中，這樣就能夠保證虛擬化層能夠獲取對所有硬件資源的管控權(quán)，當虛擬機運行一些用戶指令時，就能不經(jīng)過虛擬化層直接運行。當運行一些核心指令時，若出現(xiàn)異常，虛擬化層就會捕獲這個異常，進行二進制翻譯，從而完成這些核心指令的執(zhí)行，通過異?！东@—二進制翻譯這種方式，會消耗較多的系統(tǒng)資源，降低性能，但在一定程度上解決了Ring0級別運行沖突問題。1.2.3 虛擬化分類CPU半虛擬化02OPTION為了解決全虛擬化中存在的資源消耗大、性能低等問題，提出了CPU半虛擬化這一方案。在CPU半虛擬化中，虛擬化層仍然處于Ring0級別，虛擬機操作系統(tǒng)仍然處于Ring1級別，應(yīng)用則處于Ring3級別。不同于全虛擬化，半虛擬化對虛擬機操作系統(tǒng)進行了相應(yīng)的修改，這樣對于核心指令的執(zhí)行，就不用異常捕獲、二進制翻譯，而是通過Hypercall這一調(diào)用方式進行核心指令的執(zhí)行，相比于全虛擬化，其性能有所提升。半虛擬化下的CPU指令流如圖所示。1.2.3 虛擬化分類CPU硬件輔助虛擬化03OPTION不論是全虛擬化還是半虛擬化，其虛擬化功能的實現(xiàn)都需要通過虛擬化層，為了獲得更高的性能和更好的體驗，硬件輔助虛擬化應(yīng)運而生。硬件輔助虛擬化的思想是將虛擬化層和虛擬機操作系統(tǒng)放到不同的模式下，如圖所示，將虛擬機操作系統(tǒng)放到非ROOT模式下，將虛擬化層放到ROOT模式下，當虛擬機操作系統(tǒng)運行非核心指令（用戶指令）時，可以直接下發(fā)指令到硬件執(zhí)行，不需要經(jīng)過虛擬化層。當虛擬機操作系統(tǒng)運行核心指令時，系統(tǒng)會從非ROOT模式切換到ROOT模式，這一過程也被稱為VM-Entry，經(jīng)由虛擬化層將指令處理完成之后，系統(tǒng)會從ROOT模式切換到非ROOT模式，這一過程也被稱為VM-Exit。對于應(yīng)用的用戶指令，則會直接執(zhí)行。目前主要有英特爾的VT-x和AMD的AMD-V這兩種CPU硬件輔助虛擬化技術(shù)。1.2.3 虛擬化分類內(nèi)存虛擬化和CPU虛擬化類似，經(jīng)歷了內(nèi)存全虛擬化、內(nèi)存半虛擬化和內(nèi)存硬件輔助虛擬化這3個主要發(fā)展階段。

內(nèi)存虛擬化GVA：GuestVirtualAddress，虛擬機虛擬地址。GPA：GuestPhysicalAddress，虛擬機物理地址。HVA：HostVirtualAddress，主機虛擬地址。HPA：HostPhysicalAddress，主機物理地址。(1)(2)(3)(4)1.2.3 虛擬化分類如圖所示，內(nèi)存全虛擬化需要完成GVA到GPA、GPA到HVA、HVA到HPA的地址轉(zhuǎn)換工作。其中，GVA到GPA的地址轉(zhuǎn)換是由虛擬機的系統(tǒng)頁表進行的，HVA到HPA的地址轉(zhuǎn)換工作是由主機的系統(tǒng)頁表完成的，此時，VMM需要完成GPA到HVA之間的地址轉(zhuǎn)換工作。這樣可以將主機物理層中非連續(xù)性的地址整合成邏輯上連續(xù)性的內(nèi)存地址提供給虛擬機使用，并保障每臺虛擬機能夠得到一個邏輯地址從零開始的連續(xù)內(nèi)存地址段，同時，能夠保證每臺虛擬機獲得的地址空間在邏輯上是隔離的。內(nèi)存全虛擬化01OPTION1.2.3 虛擬化分類如圖所示，內(nèi)存半虛擬化是通過影子頁表技術(shù)實現(xiàn)的。影子頁表記錄了GVA到HPA之間的地址映射關(guān)系，在很大程度上降低了性能的損耗，對每臺虛擬機而言，其進程中有內(nèi)存維護的頁表，當在虛擬機中對頁表進行相關(guān)修改時，這種動作就會被VMM截獲，在這之后，VMM要重新計算出新的GVA到HPA之間的地址映射關(guān)系，更改相應(yīng)的頁表項。相比于內(nèi)存全虛擬化方式，采用影子頁表這種方式實現(xiàn)內(nèi)存半虛擬化，減少了內(nèi)存地址之間的多層轉(zhuǎn)換，在一定程度上提高了效率，但這種方式也有其缺陷，如實現(xiàn)方式比較復(fù)雜。內(nèi)存半虛擬化02OPTION1.2.3 虛擬化分類內(nèi)存硬件輔助虛擬化可以通過擴展頁表（ExtendedPageTable，EPT）來實現(xiàn)。通過使用硬件技術(shù)，在原有的頁表的基礎(chǔ)上增加一個EPT，用于記錄GPA到HPA的映射關(guān)系。VMM預(yù)先把EPT設(shè)置到CPU中。虛擬機修改虛擬機頁表，無須VMM干預(yù)。地址轉(zhuǎn)換時，CPU自動查找兩張頁表完成GVA到HPA的轉(zhuǎn)換，從而減少整個內(nèi)存虛擬化所需的開銷。內(nèi)存硬件輔助虛擬化03OPTION1.2.3 虛擬化分類I/O虛擬化I/O全虛擬化：在I/O全虛擬化中，虛擬化的工作由Hypervisor進行相應(yīng)的模擬，包括I/O設(shè)備寄存器和讀寫操作的模擬。I/O半虛擬化：在I/O半虛擬化中，需要在虛擬機的操作系統(tǒng)中添加相應(yīng)的前端驅(qū)動，同時在Hypervisor層上需要添加相應(yīng)的驅(qū)動程序。I/O硬件輔助虛擬化：I/O硬件輔助虛擬化也被稱為I/O透傳。在這種方式中，虛擬化功能是在硬件層面完成的，直接將硬件層面的虛擬I/O資源提供給不同的虛擬機使用，不用經(jīng)過Hypervisor這一層。采用I/O硬件輔助虛擬化，其性能比前面兩種方式好。1.2.4 虛擬化主流技術(shù)KVM（Kernel-BasedVirtualMachine）即基于內(nèi)核的虛擬化，是Hypervisor的一種。KVM的架構(gòu)如圖所示，在KVM中，其將虛擬化功能KVM模塊嵌入主機的Linux操作系統(tǒng)內(nèi)核完成虛擬化，這個KVM模塊主要負責CPU和內(nèi)存的虛擬化功能，而I/O方面的虛擬化則主要由開源的模擬器QEMU完成。KVM虛擬化模塊和QEMU共同組成了KVM虛擬化解決方案。KVM1.2.4 虛擬化主流技術(shù)另一個比較有名的開源虛擬化產(chǎn)品就是XEN。XEN是由英國劍橋大學(xué)開發(fā)的，是Hypervisor中的一種。右圖所示為XEN的架構(gòu)，在XEN虛擬化層中創(chuàng)建虛擬機，在XEN中，虛擬機也被稱為域（Domain），Domain分為兩類，一類是普通的虛擬機DomainU，另一類是特殊的虛擬機Domain0。Domain0能夠直接和底層的硬件進行交互，而DomainU不能直接和底層的硬件進行交互，DomainU和硬件的交互是通過Domain0完成的。XEN1.1云計算簡介1.2虛擬化技術(shù)1.3分布式技術(shù)學(xué)習(xí)要點1.3.1 分布式概念集中式是指將一個系統(tǒng)所有的代碼都集中到一個項目中，同時將整個項目部署到一臺主機上的架構(gòu)方式。由于歷史原因，集中式技術(shù)多數(shù)用在傳統(tǒng)的金融、電信等領(lǐng)域，計算資源基本上分布在大型機/小型機上，而且在這些機器上運行的軟件大多是“商用閉源”軟件。雖然采用集中式技術(shù)（架構(gòu)）有項目部署簡單、管理成本低等優(yōu)勢，但是其也存在以下劣勢。集中式技術(shù)價格昂貴：集中式架構(gòu)的商用設(shè)備市場已被IBM、Oracle和EMC這3家巨頭公司壟斷，其軟硬件十分昂貴。自主安全性低：由于市場被商業(yè)巨頭壟斷，造成軟硬件技術(shù)封鎖，對使用集中式技術(shù)的企業(yè)來說，根據(jù)其業(yè)務(wù)的要求進行相應(yīng)修改的難度非常大。擴展伸縮性差：對于急速增長的業(yè)務(wù)，如電商領(lǐng)域，需要去支撐其流量突發(fā)性強、高并發(fā)業(yè)務(wù)時，使用之前的設(shè)備配置已經(jīng)滿足不了激增的業(yè)務(wù)對底層資源的需求，這時，如果企業(yè)要增加相應(yīng)的資源配置，在采用集中式技術(shù)的情況下，只有去購買更高規(guī)格的配置，才能支撐業(yè)務(wù)的發(fā)展。靈活兼容性差：集中式技術(shù)無法支撐大數(shù)據(jù)、人工智能等新興技術(shù)的發(fā)展。(1)(2)(3)(4)1.3.1 分布式概念分布式是指根據(jù)業(yè)務(wù)需求將系統(tǒng)拆分成多個子系統(tǒng)，多個子系統(tǒng)之間進行協(xié)作來完成業(yè)務(wù)流程。一般來說，子系統(tǒng)會部署在集群中不同的服務(wù)器上面。以一個餐廳廚房的運作為例，集中式就好比一個人完成從食材的采購、食材的清洗加工到將加工好的食品端到客戶面前的所有工作，如果客戶增加，就需要雇傭更多的人，這些人的工作和第一個人的工作完全相同；而采用分布式技術(shù)，就是對食材的采購、食材的清洗加工和將加工好的食品端到客戶面前等工作進行分工，每個人負責不同的部分，當客戶增加時，可以增添相應(yīng)數(shù)量的人完成不同的工作。采用分布式技術(shù)有以下優(yōu)點。分布式概述降低業(yè)務(wù)之間的耦合度靈活的部署方式對業(yè)務(wù)進行靈活地開發(fā)1231.3.2 分布式技術(shù)原理分布式協(xié)同主要解決分布式系統(tǒng)中數(shù)據(jù)和狀態(tài)的一致性問題。在集中式系統(tǒng)中，系統(tǒng)的數(shù)據(jù)和狀態(tài)是高度一致的，但是在分布式系統(tǒng)中，其數(shù)據(jù)和狀態(tài)的一致性是較難保證的。CAP理論能夠?qū)@一問題的解決提供相應(yīng)的理論指導(dǎo)。CAP理論指的是分布式系統(tǒng)的一致性（Consistency）、可用性（Availability）和分區(qū)容錯性（PartitionTolerance）。分布式協(xié)同一致性指的是所有的節(jié)點能夠訪問同一份最新的數(shù)據(jù)可用性指的是所有的用戶訪問能夠得到正確的響應(yīng)分區(qū)容錯性指的是分布式系統(tǒng)能夠容忍多個節(jié)點之間的信息不同步針對分布式系統(tǒng)一致性問題，在CAP理論的基礎(chǔ)上，eBay的架構(gòu)師提出了BASE理論[基本可用（BasicallyAvailable）+軟狀態(tài)（SoftState）+最終一致性（EventuallyConsistent）]，其核心思想是如果無法保證CAP理論中提出的強一致性，則可以結(jié)合業(yè)務(wù)自身的特性，來保證業(yè)務(wù)的最終一致性。1.3.2 分布式技術(shù)原理在單體應(yīng)用中，所有的定時任務(wù)都是在一個服務(wù)器的一套程序中運行的，而在分布式系統(tǒng)中，不同的定時任務(wù)會被拆分到不同的子系統(tǒng)中，同時，這些子系統(tǒng)可能會被重復(fù)部署在不同的設(shè)備上，在這種情況下，如何避免同一任務(wù)的重復(fù)處理呢？如圖所示，在電商場景下，可以看到在單體應(yīng)用中電商相關(guān)功能模塊全都被部署在同一服務(wù)器中，由于業(yè)務(wù)增長，訪問量增加，導(dǎo)致原有的單體應(yīng)用無法承載現(xiàn)有訪問量，因此需要對單體應(yīng)用進行分布式改造。但是，在原來單體應(yīng)用中的定時任務(wù)，可能會在分布式應(yīng)用中被重復(fù)處理，那么，在處理過程中，哪些任務(wù)需要優(yōu)先處理也是需要解決的問題。分布式調(diào)度1.3.2 分布式技術(shù)原理在分布式架構(gòu)中，主要包括單體調(diào)度和兩層調(diào)度這兩種方式。在單體調(diào)度中，分布式系統(tǒng)集群中只有一個節(jié)點運行調(diào)度進程，這個節(jié)點對集群中的其他節(jié)點都有訪問權(quán)限，該節(jié)點可以搜集其他節(jié)點的資源情況、狀態(tài)信息等，同時，還可以根據(jù)用戶請求下發(fā)任務(wù)到具體的節(jié)點。單體調(diào)度一般被用于小規(guī)模的集群中，能夠適應(yīng)單一的業(yè)務(wù)場景，目前的產(chǎn)品有Kubernetes。在兩層調(diào)度中，第一層調(diào)度器負責資源管理和分配，第二層則負責任務(wù)與資源的匹配情況。如圖所示，第一層調(diào)度器會將其收集的集群資源信息發(fā)送到第二層調(diào)度器中，第二層調(diào)度器根據(jù)任務(wù)資源需求和收到的集群資源信息進行適配和調(diào)度，這種兩層調(diào)度適合用于中等規(guī)模的集群，目前的產(chǎn)品有ApacheMesos。分布式調(diào)度1.3.3 分布式技術(shù)框架分布式計算中包括批處理任務(wù)計算、離線計算、流計算等多種類型，目前也有相應(yīng)的處理框架，如批處理框架MapReduce、流處理框架Storm、批流一體框架Flink和Spark等。如圖所示，批處理框架MapReduce通過將一堆雜亂無章的數(shù)據(jù)按照某種特征歸納起來，進行處理得到最終結(jié)果，它適用于Web訪問日志分析、數(shù)據(jù)查找等場景。分布式計算流處理框架Storm是Twitter發(fā)布的開源分布式實時大數(shù)據(jù)處理框架，它適用于網(wǎng)站統(tǒng)計、推薦系統(tǒng)、金融系統(tǒng)等場景。Flink是為分布式流處理應(yīng)用程序打造的開源流處理框架，不僅能夠進行實時計算，也能夠進行批量數(shù)據(jù)處理。Spark是一種基于內(nèi)存的大數(shù)據(jù)計算引擎，集批處理、實時流處理、交互式查詢、圖計算和機器學(xué)習(xí)于一體，可以應(yīng)用于用戶推薦系統(tǒng)、輿情分析等實時業(yè)務(wù)場景。1.3.3 分布式技術(shù)框架分布式數(shù)據(jù)存儲和管理包括分布式文件系統(tǒng)、分布式數(shù)據(jù)庫和分布式緩存等。分布式數(shù)據(jù)存儲與管理ACB分布式文件系統(tǒng)分布式數(shù)據(jù)庫分布式緩存主要包括HDFS、Ceph等，其中，HDFS被設(shè)計成適合部署并運行在通用硬件上的分布式文件系統(tǒng)，能夠提供數(shù)據(jù)的高吞吐量，適用于大數(shù)據(jù)集的應(yīng)用，可以被應(yīng)用于網(wǎng)站數(shù)據(jù)存儲、氣象數(shù)據(jù)存儲等場景。分布式數(shù)據(jù)庫和分布式文件系統(tǒng)類似，在物理上分散部署，在邏輯上集中整合成一個大型數(shù)據(jù)庫。目前，分布式數(shù)據(jù)庫包括OceanBase、GaussDB等。分布式緩存則主要為了提高大流量訪問時的數(shù)據(jù)命中率，提高訪問的反應(yīng)速度，目前已有的分布式緩存產(chǎn)品包括Redis、Memcached等。1.3.3 分布式技術(shù)框架在對應(yīng)用進行集中式部署時，消息的傳遞往往是實時的，而在分布式系統(tǒng)中，由于系統(tǒng)的不同組件被部署在不同的載體中，消息的傳遞往往是異步的。目前，比較受歡迎的分布式消息中間件包括ActiveMQ、RabbitMQ、Kafka和RocketMQ。其中，ActiveMQ支持的協(xié)議較多，包括OpenWire、MQTT、AMQP等，Kafka則適合日志等場景。在華為云上，提供了分布式消息服務(wù)（DistributedMessageService，DMS），很好地兼容了業(yè)界主流的Kafka、RabbitMQ和RocketMQ。分布式消息學(xué)習(xí)進步！華為云計算技術(shù)與應(yīng)用第2章

云計算平臺與服務(wù)華為云計算技術(shù)與應(yīng)用2.1主流云計算平臺簡介2.2云管理平臺2.3云計算部署模式學(xué)習(xí)要點2.4云計算服務(wù)2.1.1 國外主流云計算平臺亞馬遜網(wǎng)絡(luò)服務(wù)（AmazonWebService，AWS）是亞馬遜公司旗下云計算服務(wù)平臺，為全世界各個國家和地區(qū)的客戶提供一整套基礎(chǔ)設(shè)施和云解決方案。AWS擁有廣泛的全球云基礎(chǔ)設(shè)施，已在全球33個地理區(qū)域內(nèi)運營著105個可用區(qū)（AZ），AWS面向用戶提供包括彈性計算、存儲、數(shù)據(jù)庫等基礎(chǔ)設(shè)施技術(shù)以及機器學(xué)習(xí)、人工智能、數(shù)據(jù)湖、物聯(lián)網(wǎng)等一整套云計算服務(wù)，幫助企業(yè)降低IT投入和維護成本，業(yè)務(wù)和數(shù)據(jù)輕松上云。MicrosoftAzure是由微軟所開發(fā)的一套云計算操作系統(tǒng)（云平臺），提供各種優(yōu)質(zhì)的服務(wù)，包括計算、存儲、數(shù)據(jù)、網(wǎng)絡(luò)和應(yīng)用程序。MicrosoftAzure是微軟的公用云端服務(wù)平臺，是微軟在線服務(wù)的一部分，自2008年開始發(fā)展，于2010年2月正式推出，目前全球有54座數(shù)據(jù)中心以及44個內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）跳躍點（POP），并且于2015年時被Gartner列為云計算的領(lǐng)先者。目前，MicrosoftAzure提供了30余種服務(wù)和數(shù)百項功能。Google云平臺（GoogleCloudPlatform，GCP）是一系列由Google提供的云計算服務(wù)，在運行Google搜索和YouTube的服務(wù)器上提供基礎(chǔ)設(shè)施服務(wù)、平臺服務(wù)及無服務(wù)器計算環(huán)境。除提供管理工具外，Google云平臺還提供了一系列模塊化云服務(wù)，包括云計算、數(shù)據(jù)存儲、數(shù)據(jù)分析及機器學(xué)習(xí)等。2008年4月，Google發(fā)布了應(yīng)用程序引擎，這是其旗下首款云計算服務(wù)，2011年11月，應(yīng)用程序引擎正式向大眾開放。AWSMicrosoftAzureGCP2.1.2 國內(nèi)主流云計算平臺阿里云的電商、金融、線上到線下等行業(yè)解決方案是亮點。阿里云與國家天文臺成立了天文大數(shù)據(jù)聯(lián)合研究中心，同時獲批兩個大數(shù)據(jù)國家工程實驗室。阿里云“云網(wǎng)融合、專享定制、安全可信”是天翼云的三大差異化優(yōu)勢。中國電信天翼云從專屬云、專網(wǎng)云、定制云、安全云4個方面為客戶提供一攬子解決方案。與此同時，中國電信與華為公司進一步加深磨合。天翼云騰訊云的游戲、金融、音視頻、大數(shù)據(jù)等行業(yè)服務(wù)能力突出，特別是游戲、金融、視頻這三大領(lǐng)域，是騰訊云之所長，騰訊云在云計算技術(shù)及物聯(lián)網(wǎng)設(shè)備的前沿安全攻防方面也許能給業(yè)界帶來更多的驚喜。騰訊云聯(lián)通云系列云計算產(chǎn)品包括云基礎(chǔ)設(shè)施、企業(yè)之間的企業(yè)業(yè)務(wù)和面向消費者的公眾業(yè)務(wù)三大領(lǐng)域。與同類產(chǎn)品相比，聯(lián)通云具備帶寬直連互聯(lián)網(wǎng)協(xié)議骨干網(wǎng)和大出口帶寬的網(wǎng)絡(luò)優(yōu)勢。聯(lián)通云華為云主要在硬件、存儲及網(wǎng)絡(luò)方面為電信行業(yè)提供服務(wù)，其競爭力主要有兩點——面向電信運營商的云服務(wù)、移動應(yīng)用開發(fā)者云服務(wù)。華為是全球少數(shù)幾家能夠提供端到端云計算解決方案的廠商之一。華為云中國移動致力于構(gòu)建開放、共贏的產(chǎn)業(yè)生態(tài)，打造移動云的生態(tài)系統(tǒng)。中國移動云計算產(chǎn)品涵蓋IaaS、PaaS、SaaS這3層體系。移動云服務(wù)器應(yīng)用軟件2.1主流云計算平臺簡介2.2云管理平臺2.3云計算部署模式學(xué)習(xí)要點2.4云計算服務(wù)2.2.1 云管理平臺的發(fā)展云管理平臺的內(nèi)涵在不斷拓展由自動化發(fā)送服務(wù)請求、自動化編排、自動化交付，擴展到具有自動化運維、自動化運營能力；由全面分析資源使用和費用支出，擴展到提供優(yōu)化建議，及時發(fā)現(xiàn)與回收閑置資源，調(diào)整低效資源；由提供系統(tǒng)監(jiān)控、告警，擴展到自定義監(jiān)控分析報告，提供告警建議、告警自愈能力。運維運營逐漸向自動化甚至智能化方向發(fā)展。由多公有云、私有云、裸金屬服務(wù)器、多種異構(gòu)基礎(chǔ)設(shè)施資源納管，擴展到多數(shù)據(jù)中心、多虛擬化技術(shù)、多PaaS平臺、多分布式邊緣計算統(tǒng)一管理，形成IaaS/PaaS協(xié)同、云邊協(xié)同的資源納管形態(tài)。由提供事件工單管理，定義角色和權(quán)限，與企業(yè)配置管理數(shù)據(jù)庫（ConfigurationManagementDatabase，CMDB）、單點登錄系統(tǒng)（SingleSignOn，SSO）集成，設(shè)置配額等，擴展到安全性、合規(guī)性審計；由對接公有云OpenAPI，擴展到自身提供開放的RESTfulAPI，具備快速融入企業(yè)IT架構(gòu)的能力。由云資源的接入、開通、使用，擴展到云資源規(guī)劃、服務(wù)交付、應(yīng)用部署、運維保障、資源計費、資源回收的全生命周期管理。云管理平臺的全生命周期承載著向下對接和向上服務(wù)的雙重任務(wù)，既需要完成日常的監(jiān)控、流程及運營自動化等工作，同時還要持續(xù)滿足企業(yè)Day0規(guī)劃、Day1部署、Day2變更的數(shù)據(jù)中心運營要求。自動化納管治理生命周期2.2.1 云管理平臺的發(fā)展與企業(yè)應(yīng)用的集成更加緊密云管理平臺本身就是一種集成與被集成的產(chǎn)品，需要與企業(yè)數(shù)據(jù)中心內(nèi)部已有的各類運維支撐工具平臺、應(yīng)用部署平臺進行對接集成。通過調(diào)用云服務(wù)商OpenAPI集成云上資源，通過提供RESTfulAPI與企業(yè)其他應(yīng)用系統(tǒng)快速對接。云管理平臺提供統(tǒng)一的應(yīng)用程序接口（ApplicationProgramInterface，API）網(wǎng)關(guān)，抽象各云平臺的API差異，提供了一系列的鑒權(quán)、API生命周期管理、API服務(wù)消費及管理能力，簡化企業(yè)對各云平臺的集成，以及與企業(yè)內(nèi)部IT服務(wù)管理工具和產(chǎn)品的對接，體現(xiàn)云管理平臺的開放性和兼容性。2.2.1 云管理平臺的發(fā)展首先是管理平面的統(tǒng)一和融合，實現(xiàn)私有云和公有云資源的統(tǒng)一API訪問，不僅實現(xiàn)資源的管理，還包括賬單的統(tǒng)一、資源管理的統(tǒng)一，讓用戶的跨云調(diào)用就像使用云平臺一樣便利。其次是數(shù)據(jù)平面的打通，通過和跨云網(wǎng)絡(luò)方案的整合，如與軟件定義廣域網(wǎng)絡(luò)解決方案的整合，實現(xiàn)控制平面和數(shù)據(jù)平臺的協(xié)同，達到整個平臺的跨云互通。對云網(wǎng)能力的要求逐漸提高另外，云管理平臺還將提供跨云數(shù)據(jù)遷移的工具，方便用戶實現(xiàn)跨云的應(yīng)用遷移?？傊?，隨著企業(yè)紛紛將應(yīng)用遷移至云端，軟件定義廣域網(wǎng)絡(luò)等網(wǎng)絡(luò)架構(gòu)能否支持基于云的應(yīng)用已變得越來越重要，因此對云管理平臺云網(wǎng)能力的要求也在逐漸提高，只有這樣，才能更好地助力企業(yè)實現(xiàn)多云戰(zhàn)略。2.2.1 云管理平臺的發(fā)展從自動化運維向智能運維轉(zhuǎn)變一方面，可以優(yōu)化IT資源分配的調(diào)度策略，找出閑置的IT資源，提升IT資源的利用率。另一方面，可以提前預(yù)測資源需求和發(fā)現(xiàn)系統(tǒng)故障隱患，確保系統(tǒng)的平穩(wěn)運行和擴展。越來越多的廠商開始嘗試智能運維，主要包括對場景、事件、告警、故障等進行建模、關(guān)聯(lián)、根源分析，構(gòu)建大數(shù)據(jù)分析平臺對數(shù)據(jù)進行深度挖掘，并通過機器學(xué)習(xí)增強智能運維引擎的認知能力。最終，實現(xiàn)針對各種運維問題的自動化“發(fā)現(xiàn)、定位、分析、處置、通知”流程閉環(huán)，使得IT基礎(chǔ)設(shè)施更加智能化，幫助企業(yè)IT人員克服未來的IT基礎(chǔ)設(shè)施在規(guī)模、效率和復(fù)雜度方面的挑戰(zhàn)。2.2.2 云管理平臺體系架構(gòu)云管理平臺的主要任務(wù)是將多云和異構(gòu)資源轉(zhuǎn)化為云服務(wù)。面向管理員提供管控、運營和運維的能力；面向用戶提供自助服務(wù)能力。因此，其體系架構(gòu)自底向上大體可以歸納為如下層級：云平臺層、云資源適配層、云資源管理層、云服務(wù)管理層、云運營層和統(tǒng)一門戶。云管理平臺采用微服務(wù)架構(gòu)對上述層級進行統(tǒng)一注冊和治理，每個層級具有一定獨立性，便于升級、維護和替換。云管理平臺體系架構(gòu)如圖所示。2.2.2 云管理平臺體系架構(gòu)云管理平臺管理的主要對象，云管理平臺支持對以O(shè)penStack、VMware為代表的私有云進行管理；支持對以AWS、阿里云、騰訊云為代表的公有云進行管理；支持對以Kubernetes、Rancher為代表的容器云進行管理；另外也支持對各種虛擬化平臺、x86物理機和數(shù)據(jù)庫云等進行管理。云平臺層云資源適配層云資源管理層云管理平臺一般通過構(gòu)建對接適配層并設(shè)計各個可插拔的適配組件（或稱為插件）對云平臺層的各類資源池或IT基礎(chǔ)設(shè)施等進行對接管控。這些適配組件將各種異構(gòu)資源的模型轉(zhuǎn)義為云管理平臺定義的統(tǒng)一模型，屏蔽下層異構(gòu)資源的差異化API并封裝成統(tǒng)一的接口供上層調(diào)用。云管理平臺的基礎(chǔ)功能是針對異構(gòu)資源的管理。該層負責管理各種注冊到平臺的資源池，并對資源池中每一種資源（如虛擬機、容器、存儲卷、子網(wǎng)等）的生命周期（如創(chuàng)建、修改、刪除、開啟、關(guān)閉等）進行管理。云管理平臺各層模塊的描述如下。2.2.2 云管理平臺體系架構(gòu)云管理平臺將私有云、公有云的各種異構(gòu)資源進行池化并抽象為統(tǒng)一的資源模型，再通過統(tǒng)一的編排引擎，將資源轉(zhuǎn)換為服務(wù)供用戶使用，如IaaS、PaaS、SaaS等。云服務(wù)管理層主要對各類云服務(wù)進行統(tǒng)一納管，包括基礎(chǔ)服務(wù)管理和自有服務(wù)管理，并支持各類云服務(wù)的編排。云服務(wù)管理層云運營層統(tǒng)一門戶云運營模塊面向運營管理員提供服務(wù)支撐，主要包括計量計費、成本分析、報表分析、資源分析、容量分析和歸屬管理等功能。能夠跟蹤資源使用情況，為用戶提供費用透明度和成本控制；能夠配置和管理自動化運維任務(wù)，如備份、容量擴展、升級等。針對不同的用戶群體，云管理平臺提供3種不同的門戶：為最終用戶提供自服務(wù)門戶，用戶可通過該門戶自助生成所需的各種資源；為運營管理員提供運營門戶，實現(xiàn)各種平臺運營功能；為運維管理員提供運維門戶，實現(xiàn)各種平臺運維功能。2.2.3 云管理平臺核心能力針對云管理平臺的定位，云管理平臺需要提供的核心能力包括如下幾個方面。云管理平臺需要具備各類云平臺及廠商的對接納管能力，以支撐對接后需要的服務(wù)管理運維場景，同時能夠隨基礎(chǔ)架構(gòu)演進，開放擴展支持新的基礎(chǔ)設(shè)施，滿足“開放封閉”原則，支持新的云平臺只需要擴展適配層，而不需要修改上層功能層。多云、多基礎(chǔ)設(shè)施的編排能力是云管理平臺的核心能力之一，這個能力決定了云管理平臺面向云用戶以及云管理員所提供的能力范圍和深度。編排能力包括支持的云平臺及云服務(wù)范圍和操作類型，以及支持的任務(wù)類型，包括腳本、人工任務(wù)、應(yīng)用部署和定義編排的能力等服務(wù)目錄是在傳統(tǒng)IT服務(wù)管理中普遍存在的產(chǎn)品形態(tài)，但是云管理平臺對服務(wù)目錄的定義有了新的內(nèi)涵。一個云管理平臺中的服務(wù)目錄必須具有“跨多資源池”“集群級別自動創(chuàng)建”“內(nèi)置的應(yīng)用視角計量計費”等能力例如，很多公司的網(wǎng)段劃分、防火墻端口設(shè)置都由專門的職能團隊管理，普通業(yè)務(wù)團隊需要遵循相應(yīng)的規(guī)則。因此，云管理平臺需要在資源訪問管理上適配企業(yè)內(nèi)部的組織結(jié)構(gòu)和管理方式。云管理平臺落地需要與企業(yè)數(shù)據(jù)中心內(nèi)部已有的各類運維支撐工具平臺、應(yīng)用部署平臺進行對接集成，如IT服務(wù)管理、CMDB、堡壘機、監(jiān)控、備份、持續(xù)集成平臺、持續(xù)部署平臺、漏洞掃描系統(tǒng)等，以實現(xiàn)系統(tǒng)集成，融入數(shù)據(jù)中心的工具體系，整合實現(xiàn)統(tǒng)一登錄、流程接入、管理數(shù)據(jù)的自動同步及共享、減少人工集成配置工作多云、多基礎(chǔ)設(shè)施的適配整合能力及開放擴展支持能力多云、多基礎(chǔ)設(shè)施的編排能力以服務(wù)目錄為主要載體的服務(wù)管理能力多租戶、多層次的資源訪問管理能力集成與被集成的能力2.1主流云計算平臺簡介2.2云管理平臺2.3云計算部署模式學(xué)習(xí)要點2.4云計算服務(wù)2.3.1 公有云云計算的部署模式有4種，分別是公有云、私有云、社區(qū)云和混合云。如圖所示是私有云、公有云和混合云部署示意。公有云的服務(wù)提供商擁有云計算基礎(chǔ)設(shè)施，并且為公眾或者企業(yè)用戶提供云計算服務(wù)。由于公有云的服務(wù)對象沒有特定限制，它為外部用戶提供服務(wù)，因此公有云也被稱為外部云。同時，服務(wù)提供商自己也可以作為公有云的用戶。公有云的主要優(yōu)點：是其所有的應(yīng)用程序及相關(guān)數(shù)據(jù)都存放在公有云平臺上，無須前期的大量投資和漫長的建設(shè)過程。公有云目前主要的問題：是應(yīng)用和數(shù)據(jù)不存儲在用戶自己的數(shù)據(jù)中心，因此其安全性和隱私性等問題會引起用戶的擔憂。尤其是對于大型企業(yè)和政府部門，它們對這方面的要求更高。2.3.1 公有云全球云計算市場規(guī)?？傮w呈穩(wěn)定增長態(tài)勢，IaaS市場保持快速增長，計算類服務(wù)為IaaS主要的類型，PaaS市場增長穩(wěn)定，數(shù)據(jù)庫服務(wù)需求增長較快，其中，應(yīng)用基礎(chǔ)架構(gòu)和中間件服務(wù)將占據(jù)近一半的市場份額。雖然數(shù)據(jù)庫服務(wù)的市場占比相對較低，但隨著大數(shù)據(jù)應(yīng)用的發(fā)展，分布式數(shù)據(jù)庫需求明顯增加，且服務(wù)呈現(xiàn)多樣化的趨勢。SaaS市場增長緩慢，客戶關(guān)系管理、企業(yè)資源計劃、辦公套件仍是SaaS主要的服務(wù)類型。云計算巨頭廠商在不斷地擴大自己的領(lǐng)先優(yōu)勢。2022年下半年主要公有云提供商及其市場份額占比如右上圖所示，2022年主要公有云提供商市場份額情況如右下圖所示。2.3.2 私有云私有云是由某個機構(gòu)在其內(nèi)部建設(shè)、運營的云平臺，專供該機構(gòu)自己使用。由于私有云的特點是其服務(wù)不對外提供，僅供機構(gòu)內(nèi)部人員或分支機構(gòu)使用，因此私有云也被稱為內(nèi)部云。優(yōu)點缺點私有云的缺點需要大量的前期投資，仍然采用傳統(tǒng)的商業(yè)模型。還有一個問題是它的規(guī)模相對公有云來說一般要小得多，因此經(jīng)濟學(xué)上的規(guī)模效應(yīng)無法充分發(fā)揮出來。私有云實際上是企業(yè)應(yīng)用云計算相關(guān)技術(shù)來提高自身信息服務(wù)效率的一種方式。電信云也屬于私有云。對于那些已經(jīng)有大量數(shù)據(jù)中心，或者由于各種原因暫時不會采用第三方云計算服務(wù)的機構(gòu)，私有云是一個比較好的選擇。此外，私有云也適用于有眾多分支機構(gòu)的大型企業(yè)或政府部門。隨著這些大型數(shù)據(jù)中心的集中化，私有云將會成為主流的IT系統(tǒng)部署模式。與公有云不同，私有云部署在企業(yè)內(nèi)部，因此它的優(yōu)勢是數(shù)據(jù)安全性、系統(tǒng)可用性等都可由機構(gòu)自己控制。需要說明的是，雖然私有云不對外提供服務(wù)，但可以將私有云平臺的建設(shè)和運維委托給其他機構(gòu)完成。2.3.3 社區(qū)云社區(qū)云的云計算基礎(chǔ)設(shè)施由多個有著相同需求或利益的組織所共享，并為這些組織提供特定應(yīng)用功能和工具。社區(qū)云可以按行業(yè)進行分類，如醫(yī)療云、教育云、金融云、生產(chǎn)制造云、物流云、建筑云等。這類云通過在云平臺上部署特定行業(yè)的應(yīng)用，可以更好地為某一行業(yè)內(nèi)的多個機構(gòu)提供服務(wù)，因此社區(qū)云也被稱為行業(yè)云。社區(qū)云也可以按照區(qū)域位置進行劃分，例如，某個區(qū)域工業(yè)云是給該工業(yè)集聚區(qū)內(nèi)所有中小型企業(yè)提供云服務(wù)（如工業(yè)SaaS、工業(yè)IoT等）的工業(yè)云平臺。2.3.4 混合云混合云的云計算基礎(chǔ)設(shè)施由上述云計算部署模式中的兩種或兩種以上組合而成，對外仍然表現(xiàn)為一個整體?；旌显婆c其說是一種云計算的部署方式，不如說是一種用戶使用云計算服務(wù)的方式。用戶在使用混合云的云計算服務(wù)時，往往既使用了公有云的服務(wù)，又使用了私有云的服務(wù)，這些云通過統(tǒng)一的管理和接口為用戶提供一致的服務(wù)。例如，一個組織使用了亞馬遜的公有云彈性計算服務(wù)，但是它還可以把一些核心的數(shù)據(jù)同時存儲在基于自己數(shù)據(jù)中心的私有云平臺上。據(jù)中國信息通信研究院調(diào)查，未來幾年國內(nèi)混合云的應(yīng)用比例將大幅提升。國際數(shù)據(jù)公司（InternationalDataCorporation，IDC）預(yù)測，未來全球混合云將占據(jù)整個云計算市場份額的67%。可見，混合云將被越來越多的企業(yè)所采用。2.1主流云計算平臺簡介2.2云管理平臺2.3云計算部署模式學(xué)習(xí)要點2.4云計算服務(wù)1.1.2 云計算的特征與優(yōu)勢01020304BMS：即裸金屬服務(wù)器，為租戶提供專屬的物理服務(wù)器，擁有卓越的計算性能，能夠同時滿足核心應(yīng)用場景對高性能及穩(wěn)定性的需求，并且可以和虛擬私有云等其他云服務(wù)靈活地結(jié)合使用，綜合了傳統(tǒng)托管主機的穩(wěn)定性與云上資源高度彈性的優(yōu)勢。AS：即彈性伸縮，是指該服務(wù)能夠根據(jù)用戶的業(yè)務(wù)需求，通過策略自動調(diào)整其業(yè)務(wù)資源。用戶可以根據(jù)業(yè)務(wù)需求自行定義伸縮配置和伸縮策略，減少人為反復(fù)調(diào)整資源以應(yīng)對業(yè)務(wù)變化和高峰壓力的工作量，幫助用戶節(jié)約資源和人力成本。IMS：即鏡像服務(wù)，是一個包含軟件及必要配置的彈性云服務(wù)器模板，至少包含操作系統(tǒng)，還可以包含應(yīng)用軟件（如數(shù)據(jù)庫軟件）和私有軟件。鏡像分為公共鏡像、私有鏡像和共享鏡像。ECS：即彈性云服務(wù)器，本質(zhì)上就是云平臺提供的虛擬機，是由CPU、內(nèi)存、鏡像和云硬盤組成的一種可隨時獲取、彈性可擴展的計算服務(wù)器。計算云服務(wù)主要是指提供計算資源（如虛擬機、物理服務(wù)器、容器等）以及相關(guān)配套服務(wù)（如鏡像管理、彈性伸縮等）的云服務(wù)總稱。下面介紹常用的云服務(wù)。2.4.2 存儲云服務(wù)SFS(即彈性文件服務(wù))為用戶的ECS提供一個按需擴展、彈性伸縮的高性能共享文件系統(tǒng)，符合標準文件協(xié)議（網(wǎng)絡(luò)文件系統(tǒng)協(xié)議和通用Internet文件系統(tǒng)協(xié)議），能夠彈性伸縮至PB規(guī)模，具備高可用性和持久性，為海量數(shù)據(jù)、高帶寬型應(yīng)用提供有力支持。EVS（即云硬盤）是一種虛擬塊存儲服務(wù)，主要為ECS和BMS提供塊存儲空間。用戶可以在線創(chuàng)建云硬盤并掛載給實例，云硬盤的使用方式與傳統(tǒng)服務(wù)器硬盤完全一致。同時，云硬盤具有更高的數(shù)據(jù)可靠性、更強的I/O吞吐能力和更加簡單易用等特點，適用于文件系統(tǒng)、數(shù)據(jù)庫或者其他需要塊存儲設(shè)備的系統(tǒng)軟件或應(yīng)用。OBS（即對象存儲服務(wù)）是基于對象的海量存儲服務(wù)，為客戶提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲能力，適合存儲任意大小和類型的數(shù)據(jù)，適合普通用戶、企業(yè)和開發(fā)者使用。OBS是一項面向Internet訪問的服務(wù)，提供基于超文本傳送協(xié)議/超文本傳輸安全協(xié)議的Web服務(wù)接口，用戶可以隨時隨地連接到Internet的計算機上，通過OBS管理控制臺或各種OBS工具訪問和管理存儲在OBS中的數(shù)據(jù)。0203012.4.3 網(wǎng)絡(luò)云服務(wù)01020304EIP即彈性IP，是基于云外網(wǎng)絡(luò)（簡稱外網(wǎng)，云外網(wǎng)絡(luò)可以是外網(wǎng)Internet，也可以是企業(yè)內(nèi)部局域網(wǎng)）上的靜態(tài)IP地址，是可以通過外網(wǎng)直接訪問的IP地址，通過網(wǎng)絡(luò)地址轉(zhuǎn)換方式映射到被綁定的實例上。VPN用于在遠端用戶和VPC之間建立一條符合行業(yè)標準的、安全加密的通信隧道，可將已有數(shù)據(jù)中心無縫擴展到VPC上，提供可靠、安全的加密通道。VPC即虛擬私有云，是一套為云服務(wù)器（包括彈性云服務(wù)器和裸金屬服務(wù)器）構(gòu)建的邏輯隔離的、由用戶自主配置和管理的虛擬網(wǎng)絡(luò)環(huán)境，旨在提升用戶資源的安全性，簡化用戶的網(wǎng)絡(luò)部署。ELB即彈性負載均衡，是將訪問流量根據(jù)轉(zhuǎn)發(fā)策略分發(fā)到多臺后端云服務(wù)器的流量分發(fā)控制服務(wù)。彈性負載均衡可以通過流量分發(fā)擴展應(yīng)用系統(tǒng)對外的服務(wù)能力，實現(xiàn)更高水平的應(yīng)用程序容錯性能。2.4.3 網(wǎng)絡(luò)云服務(wù)主機安全服務(wù)邊界防火墻服務(wù)Web應(yīng)用防火墻云防火墻服務(wù)針對云數(shù)據(jù)中心與外部網(wǎng)絡(luò)之間的南北向流量，為用戶提供邊界安全防護功能，支持以彈性IP為防護對象的入侵防御系統(tǒng)和網(wǎng)絡(luò)防病毒功能。為租戶VM提供微隔離能力，并通過流量可視化和基于業(yè)務(wù)屬性標簽的安全策略配置，降低安全運維的復(fù)雜度。是提升主機整體安全性的服務(wù)，通過主機管理、風險預(yù)防、入侵檢測、高級防御、安全運營、網(wǎng)頁防篡改等功能，全面識別并管理主機中的信息資產(chǎn)，實時監(jiān)測主機中的風險并阻止非法入侵行為通過對HTTP/HTTPS請求進行檢測，識別并阻斷結(jié)構(gòu)化查詢語言注入、跨站腳本攻擊、網(wǎng)頁木馬上傳、命令/代碼注入、文件包含、敏感文件訪問、第三方應(yīng)用漏洞攻擊、挑戰(zhàn)黑洞攻擊、惡意爬蟲掃描、跨站請求偽造等攻擊，保障Web服務(wù)安全穩(wěn)定。除了以上所述的幾類云計算服務(wù)，云平臺還可提供數(shù)據(jù)庫、大數(shù)據(jù)、AI、容器、容災(zāi)備份等不同類型的云計算服務(wù)，以適應(yīng)當下IT環(huán)境中的各類應(yīng)用場景，從而達到降低成本、提升效率的目的。學(xué)習(xí)進步！華為云計算技術(shù)與應(yīng)用第3章

云計算新技術(shù)及其發(fā)展趨勢華為云計算技術(shù)與應(yīng)用3.1大數(shù)據(jù)技術(shù)3.2人工智能技術(shù)3.3云計算安全技術(shù)學(xué)習(xí)要點3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀第四次科技革命方興未艾，一場圍繞“云、大、物、智”等新興信息技術(shù)的革命正在如火如荼地展開，全球主要經(jīng)濟體都已將數(shù)據(jù)開放作為發(fā)展戰(zhàn)略，頒布了相關(guān)的數(shù)據(jù)開發(fā)戰(zhàn)略，以促進未來經(jīng)濟發(fā)展。大數(shù)據(jù)技術(shù)起源于谷歌公司在2004年前后發(fā)表的3篇論文，俗稱“大數(shù)據(jù)時代”的“三駕馬車”，分別介紹了谷歌文件系統(tǒng)（GoogleFileSystem，GFS）、大數(shù)據(jù)分布式計算框架MapReduce和NoSQL數(shù)據(jù)庫系統(tǒng)BigTable，現(xiàn)在的大數(shù)據(jù)技術(shù)和框架也多基于這3項技術(shù)展開。大數(shù)據(jù)技術(shù)的思路不是聚焦在如何提升單臺計算機的性能，而是先部署一個大規(guī)模的服務(wù)器集群，再通過分布式的方式將海量數(shù)據(jù)存儲在這個集群上，然后利用集群上的所有服務(wù)器進行數(shù)據(jù)計算。大數(shù)據(jù)技術(shù)特別適合存儲和計算TB、PB規(guī)模及以上的大數(shù)據(jù)文件。除了順應(yīng)國家戰(zhàn)略需求，在數(shù)據(jù)化、信息化的時代，經(jīng)營者本身也需要進行一系列思維變革，以響應(yīng)時代的特點。

數(shù)據(jù)發(fā)展歷程3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀目前業(yè)界對大數(shù)據(jù)尚無公認的定義，但大多都試圖從大數(shù)據(jù)的特征出發(fā)給出其定義?？偟膩砜?，目前業(yè)界對大數(shù)據(jù)的定義有“4V”的特點：體量大（Volume）、類型多（Variety）、速度快（Velocity）、價值密度低（Value）大數(shù)據(jù)的定義和特點維基百科對大數(shù)據(jù)的定義研究機構(gòu)Gartner對大數(shù)據(jù)做出的定義“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)分析相比傳統(tǒng)的BI、OLAP或數(shù)據(jù)倉庫應(yīng)用，具有數(shù)據(jù)量大、查詢分析復(fù)雜等特點。大數(shù)據(jù)是指利用傳統(tǒng)數(shù)據(jù)處理應(yīng)用軟件不足以處理的規(guī)模大或結(jié)構(gòu)復(fù)雜的數(shù)據(jù)集。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀相比傳統(tǒng)的數(shù)據(jù)分析，大數(shù)據(jù)分析在多個方面發(fā)生了較大的改變。大數(shù)據(jù)分析與傳統(tǒng)數(shù)據(jù)分析對比從數(shù)據(jù)規(guī)模來看，傳統(tǒng)數(shù)據(jù)分析大多使用數(shù)據(jù)庫存儲數(shù)據(jù)，數(shù)據(jù)處理規(guī)模以MB為單位，而大數(shù)據(jù)的處理規(guī)模則以TB、PB為單位。如果將“魚”比作數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)分析如同“在池塘中捕魚”，大數(shù)據(jù)分析則如同“在大海中捕魚”。數(shù)據(jù)類型從原來的單一的結(jié)構(gòu)化數(shù)據(jù)向非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)等轉(zhuǎn)變。傳統(tǒng)數(shù)據(jù)分析處理工具比較單一，適用性較強，同時也都是先有模式后有數(shù)據(jù)的處理關(guān)系。而大數(shù)據(jù)分析沒有一套通用的工具，工具隨著處理數(shù)據(jù)的變化有可能需要更換，同時數(shù)據(jù)處理的模型也會隨著數(shù)據(jù)的增多而不斷演變。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀Hadoop生態(tài)系統(tǒng)中的組件基本上都是為了處理超過單機尺度的數(shù)據(jù)而誕生的，Hadoop大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu)是目前應(yīng)用極為廣泛的分布式大數(shù)據(jù)處理框架，具備高可靠、高效、可伸縮等特點。Hadoop大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu)組件如下。Hadoop大數(shù)據(jù)生態(tài)系統(tǒng)數(shù)據(jù)存儲01OPTION分布式文件系統(tǒng)HDFS：大數(shù)據(jù)首先需要解決的問題是數(shù)據(jù)存儲。Hadoop分布式文件系統(tǒng)是整個Hadoop體系的基礎(chǔ)，負責數(shù)據(jù)的存儲與管理。HDFS的設(shè)計本質(zhì)上是為了讓大量的數(shù)據(jù)能橫跨成百上千臺廉價機器進行存儲，具有高容錯性的特點。HDFS適合批量處理數(shù)據(jù)，而不是交互式處理數(shù)據(jù)。HDFS采用了主從結(jié)構(gòu)模型，一個HDFS集群是由一個NameNode和若干個DataNode組成。分布式列存儲數(shù)據(jù)庫HBase：HDFS是Hadoop默認的持久化存儲層，而HBase是一種面向列的分布式數(shù)據(jù)庫，適用于結(jié)構(gòu)化數(shù)據(jù)的存儲，不過HBase底層仍然依賴HDFS作為其物理存儲。與適合用來對一段時間內(nèi)的數(shù)據(jù)進行分析查詢的數(shù)據(jù)倉庫Hive相比，HBase更適合用來對大數(shù)據(jù)進行實時查詢。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀數(shù)據(jù)計算02OPTION圖計算圖計算針對的是大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理場景，主要技術(shù)包括GraphX、Gelly、Giraph、PowerGraph等。批處理批處理計算針對的是海量數(shù)據(jù)的批量處理場景，主要計算引擎包括MapReduce等。批處理計算通常對以“天”為單位產(chǎn)生的數(shù)據(jù)進行一次計算，然后得到分析計算的結(jié)果。查詢分析計算針對的是大規(guī)模數(shù)據(jù)的存儲管理和查詢分析場景，主要技術(shù)包括Hive、Impala、Dremel，此外還有針對NoSQL類型的HBase、Teradata、Cassandra等數(shù)據(jù)庫技術(shù)。流計算流計算針對的是需要實時計算處理流式數(shù)據(jù)的場景，主要技術(shù)包括Spark、Storm、Flink等。因為流計算要處理的是實時產(chǎn)生的數(shù)據(jù)，而不是歷史數(shù)據(jù)，所以這類計算也被稱為大數(shù)據(jù)實時計算。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀數(shù)據(jù)計算02OPTION分布式離線并行計算引擎MapReduce：MapReduce是支持海量數(shù)據(jù)離線并行處理的計算引擎，是一個基于集群的高性能并行計算平臺，該集群通常使用普通的商用服務(wù)器來搭建。內(nèi)存計算引擎Spark：Spark是適用于海量數(shù)據(jù)實時處理的計算引擎，它是基于Scala實現(xiàn)的。Spark與MapReduce不同的是，其中間計算結(jié)果不需要被寫到本地磁盤中，而是全部在緩存中進行的。分布式流式數(shù)據(jù)計算引擎Flink：Flink是一款基于Java和Scala的分布式流式數(shù)據(jù)處理引擎，是一個基于內(nèi)存的分布式并行處理框架?；贖adoop的數(shù)據(jù)倉庫Hive/Impala：Hive使用的是一種類SQL的語言HiveSQL，它可以將腳本和SQL轉(zhuǎn)換成MapReduce程序，然后使用計算引擎進行離線分析計算，這樣分析非常方便，這個特性也使得Hive逐漸成為大數(shù)據(jù)倉庫的核心組件。下面分別對MapReduce、Spark、Flink、Hive和Impala進行介紹。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀分布式資源管理和任務(wù)調(diào)度03OPTION在Hadoop1.0之后的版本中，隨著其他計算引擎的加入，僅依靠MapReduce進行資源調(diào)度、作業(yè)調(diào)度勢必帶來一定的沖突問題。因此，Hadoop2.0引入了YARN和Oozie。YARN主要負責集群的資源調(diào)配管理，Oozie主要負責完成計算作業(yè)的流調(diào)度工作。數(shù)據(jù)采集04OPTION開源數(shù)據(jù)傳輸工具Sqoop：Sqoop是一個開源的數(shù)據(jù)傳輸工具，主要用于在Hadoop大數(shù)據(jù)系統(tǒng)與傳統(tǒng)的數(shù)據(jù)庫間進行數(shù)據(jù)的傳輸，它可以在關(guān)系數(shù)據(jù)庫與HDFS之間進行數(shù)據(jù)的傳輸，也可以在關(guān)系數(shù)據(jù)庫之間或者大數(shù)據(jù)系統(tǒng)組件之間進行數(shù)據(jù)的傳輸。日志采集工具Flume：Flume是一個具有高可用、高可靠、分布式等特點的海量日志采集、聚合和傳輸?shù)墓ぞ?，它支持定制各類?shù)據(jù)發(fā)送方（如HDFS、本地日志文件、Kafka等），主要用于收集日志數(shù)據(jù)。同時，F(xiàn)lume提供對日志數(shù)據(jù)簡單處理的能力，如過濾、格式轉(zhuǎn)換等。(1)(2)總之，可以將大數(shù)據(jù)生態(tài)圈比喻為一個廚房工具生態(tài)圈。為了烹飪不同的菜品，需要各種各樣的工具。隨著顧客需求的變化，因此工具也需要不斷升級。因為沒有一個萬能的工具可以處理所有情況，所以生態(tài)圈會變得越來越龐大。左圖所示為Hadoop大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu)。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀除此之外，還有一些更特別的系統(tǒng)組件，包括分布式機器學(xué)習(xí)庫Mahout、DAG計算引擎Tez等。其他05OPTION3.1.2 云上大數(shù)據(jù)發(fā)展趨勢華為云大數(shù)據(jù)服務(wù)以大數(shù)據(jù)MapReduce服務(wù)為基礎(chǔ)，對接數(shù)據(jù)治理中心DataAntsStudio一站式開發(fā)運營平臺，可提供統(tǒng)一數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)、數(shù)據(jù)可視化等功能，無縫連接華為云、DWS、數(shù)據(jù)湖探索等數(shù)據(jù)底座的開發(fā)。MRS是一種在華為云上部署和管理Hadoop系統(tǒng)的服務(wù)，可一鍵部署Hadoop集群。MRS為用戶提供完全可控的一站式企業(yè)級大數(shù)據(jù)集群云服務(wù)，完全兼容開源接口。華為云MRS架構(gòu)如上圖所示，涵蓋了基礎(chǔ)設(shè)施和大數(shù)據(jù)處理流程的各個階段3.1.2 云上大數(shù)據(jù)發(fā)展趨勢彈性云服務(wù)器（ElasticCloudServer，ECS）提供彈性可擴展虛擬機，結(jié)合VPC、安全組、EVS數(shù)據(jù)多副本等能力打造一個高效、可靠、安全的計算環(huán)境。MRS基于華為云彈性云服務(wù)器ECS構(gòu)建大數(shù)據(jù)集群，充分利用了其虛擬化層的高可靠、高安全的能力。虛擬私有云（VirtualPrivateCloud，VPC）為每個租戶提供的虛擬內(nèi)部網(wǎng)絡(luò)，默認與其他網(wǎng)絡(luò)隔離。云硬盤服務(wù)（ElasticVolumeService，EVS）提供高可靠、高性能的塊存儲。020301基礎(chǔ)設(shè)施3.1.2 云上大數(shù)據(jù)發(fā)展趨勢數(shù)據(jù)采集數(shù)據(jù)采集層提供了數(shù)據(jù)接入到MRS集群的能力，包括日志采集（Flume）、關(guān)系型數(shù)據(jù)導(dǎo)入（Loader）、高可靠消息隊列（Kafka），支持各種數(shù)據(jù)源導(dǎo)入數(shù)據(jù)到大數(shù)據(jù)集群中。使用云數(shù)據(jù)遷移（CDM）也可以將外部數(shù)據(jù)導(dǎo)入MRS集群中。數(shù)據(jù)存儲MRS支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在集群中的存儲（CarbonData/Hudi/ORC/Parquet），并且支持多種高效的格式來滿足不同計算引擎的要求。HDFS：大數(shù)據(jù)上通用的分布式文件系統(tǒng)。OBS：對象存儲服務(wù)，具有高可用、低成本的特點。3.1.2 云上大數(shù)據(jù)發(fā)展趨勢融合處理ACBMRS提供多種主流計算引擎MRS支持基于預(yù)設(shè)數(shù)據(jù)模型進行數(shù)據(jù)分析MRS支持YARN用于處理大規(guī)模數(shù)據(jù)的分布式離線并行計算引擎MapReduce，使用有向無環(huán)圖（DAG）模型進行數(shù)據(jù)處理的計算引擎Tez，內(nèi)存計算引擎Spark，流式數(shù)據(jù)處理引擎SparkStreaming，流式數(shù)據(jù)計算引擎Flink等。用戶可以使用易用的SQL語言進行數(shù)據(jù)分析，并根據(jù)不同的需求選擇不同的組件，如數(shù)據(jù)倉庫Hive、數(shù)據(jù)存儲HBase、專注于實時分析和列式存儲的列式數(shù)據(jù)庫管理系統(tǒng)的ClickHouse，以及支持交互式查詢的查詢引擎HetuEngine。YARN是Hadoop生態(tài)系統(tǒng)的關(guān)鍵組件，是集群資源管理器和作業(yè)調(diào)度器，用于管理Hadoop中的資源和作業(yè)執(zhí)行。3.1.2 云上大數(shù)據(jù)發(fā)展趨勢數(shù)據(jù)呈現(xiàn)調(diào)度用于數(shù)據(jù)分析結(jié)果的呈現(xiàn)，并與數(shù)據(jù)治理中心DataArtsStudio集成，提供一站式的大數(shù)據(jù)協(xié)同開發(fā)平臺，借助開源用戶界面Hue、邏輯編程語言DLV和數(shù)據(jù)可視化工具BI/Superset，幫助用戶輕松完成數(shù)據(jù)建模、數(shù)據(jù)集成、腳本開發(fā)、作業(yè)調(diào)度、運維監(jiān)控等多項任務(wù)，極大降低用戶使用大數(shù)據(jù)的門檻，幫助用戶快速構(gòu)建大數(shù)據(jù)處理中心。集群管理MRS集群管理提供了統(tǒng)一的運維管理平臺，可一鍵式部署集群，并提供多版本選擇，支持運行過程中集群在無業(yè)務(wù)中斷條件下，進行擴縮容、彈性伸縮。華為云大數(shù)據(jù)服務(wù)具有多種優(yōu)勢，主要體現(xiàn)在：完全兼容開源生態(tài)+三方組件插件化管理，企業(yè)一站式平臺；支持存算分離，存儲和計算資源可以靈活配置；支持華為自研鯤鵬服務(wù)器。3.1大數(shù)據(jù)技術(shù)3.2人工智能技術(shù)3.3云計算安全技術(shù)學(xué)習(xí)要點3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能發(fā)展簡史近幾年，人工智能逐漸融入人類社會的方方面面，推動了全球宏觀趨勢的發(fā)展變化，助力經(jīng)濟增長與產(chǎn)業(yè)升級，加速科技創(chuàng)新，提升生活質(zhì)量，推動就業(yè)結(jié)構(gòu)變化，加速社會治理的現(xiàn)代化進程。人工智能發(fā)展歷程3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能定義和特點艾倫·圖靈在1915年提出了一個非常重要的問題——機器能思考嗎？通常，我們認為這是人工智能想法的開始。1956年，約翰·麥卡錫首次提出，人工智能是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)，并將人工智能定義為計算機科學(xué)的一個分支。此后，馬文·明斯基提出了人工智能應(yīng)該擁有與人類相媲美的智力的觀點。這種觀點讓我們想知道——智力本身到底是什么？霍華德·加德納提出，人類的智力可分為7個方面，包括語言、數(shù)學(xué)、空間、動覺、節(jié)奏、社會和內(nèi)省。概括來說，人工智能早期的目的就是讓機器能夠像人一樣思考，讓機器擁有智能。時至今日，人工智能的內(nèi)涵大大擴展，已經(jīng)成為一門交叉學(xué)科，右圖所示為人工智能涉及的學(xué)科示意。3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能有4個要素，分別為數(shù)據(jù)、算法、算力和人工智能應(yīng)用場景。如右下圖所示為人工智能、機器學(xué)習(xí)、深度學(xué)習(xí)三者的關(guān)系，可見，人工智能包含機器學(xué)習(xí)，深度學(xué)習(xí)又是機器學(xué)習(xí)的一部分。數(shù)據(jù)：是我們加工的原材料。算法：是我們實現(xiàn)人工智能目標的開發(fā)方式，我們需要分析不同的場景，部署不同的策略。算力：是一種承諾，可以確保我們的算法能夠快速且健壯地工作。人工智能應(yīng)用場景：則是人工智能系統(tǒng)理解并作出決策的環(huán)境。人工智能的核心是完成特定目標，而不管實現(xiàn)路徑如何。雖然有很多不同的方法來實現(xiàn)人工智能目標，但機器學(xué)習(xí)是目前最有希望的方法之一。(1)(2)(3)(4)人工智能、機器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能技術(shù)是多層面的，從下到上，人工智能技術(shù)從工藝到芯片，到器件，到算法，最后到應(yīng)用。在每一個層面上，都有各種與之相關(guān)的技術(shù)。例如，在算法層面，有機器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)技術(shù)。在應(yīng)用層面，有視頻和圖像、聲音和語音、文本及控制。人工智能相關(guān)技術(shù)如下圖所示。人工智能技術(shù)3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能技術(shù)的一項重要性能指標是在沒有任何先驗知識的前提下，通過完全的自我學(xué)習(xí)，在極具挑戰(zhàn)的領(lǐng)域里達到超人的境界。在人工智能研究領(lǐng)域中，通常將人工智能分為兩種類型：人工智能分類強人工智能又稱為通用人工智能，指理論上可以與人類智慧相媲美的人工智能系統(tǒng)，能夠在多種任務(wù)上表現(xiàn)出與人類相似或超越人類的水平。弱人工智能也稱為應(yīng)用人工智能，它是相對于強人工智能而言的、針對特定任務(wù)或領(lǐng)域的人工智能系統(tǒng)。雖然弱人工智能在特定領(lǐng)域表現(xiàn)出色，但它缺乏廣泛的認知和通用性。3.2.2 云上AI技術(shù)發(fā)展趨勢各種AI開發(fā)框架都在朝易用且全能的方向演進，不斷降低AI開發(fā)門檻。例如，TensorFlow自其2.0正式版開始，集成Keras作為其高階API，極大提升易用性；PyTorch也由于其易用性得到了學(xué)術(shù)界的廣泛認可；華為推出的MindSporeAI推理框架，具有高效、安全、易用、開放等特點，可為AI應(yīng)用開發(fā)者提供全棧服務(wù)。更易用的開發(fā)框架性能更優(yōu)、體積更小的算法模型①計算機視覺領(lǐng)域：生成對抗網(wǎng)絡(luò)（GenerativeAdversarialNetwork，GAN）已能夠生成人眼不可分辨的高質(zhì)量圖像，GAN相關(guān)的算法開始在其他視覺相關(guān)的任務(wù)上應(yīng)用，如語義分割、人臉識別、視頻合成、無監(jiān)督聚類等。②自然語言處理領(lǐng)域：基于Transformer架構(gòu)的預(yù)訓(xùn)練模型取得重大突破，相關(guān)模型如BERT、GPT、XLNet開始被廣泛應(yīng)用于工業(yè)場景中。③強化學(xué)習(xí)領(lǐng)域：DeepMind團隊的AlphaStar在《星際爭霸Ⅱ》游戲中打敗人類頂尖選手。3.2.2 云上AI技術(shù)發(fā)展趨勢應(yīng)用于云端、邊緣設(shè)備、移動終端的人工智能芯片規(guī)模不斷增長，將進一步解決人工智能的算力問題。隨著大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)和自動駕駛等領(lǐng)域的快速發(fā)展，對人工智能芯片的市場需求不斷擴大。如右圖所示，預(yù)測從2023年到2027年，中國人工智能芯片市場規(guī)模將持續(xù)上漲。預(yù)計在2024年年底，中國人工智能芯片市場規(guī)模將突破1000億元，到2027年，市場規(guī)模將接近3000億元。云-邊-端全面發(fā)展的算力3.2.2 云上AI技術(shù)發(fā)展趨勢人工智能基礎(chǔ)數(shù)據(jù)服務(wù)產(chǎn)業(yè)日漸成熟，相關(guān)數(shù)據(jù)標注平臺和工具也在不斷推出，包括數(shù)據(jù)生態(tài)產(chǎn)業(yè)鏈上游的數(shù)據(jù)產(chǎn)生和產(chǎn)能資源提供公司，以及AI基礎(chǔ)數(shù)據(jù)服務(wù)商——具備標注基地或全職標注的團隊，如百度智能云、慧聽數(shù)據(jù)等；中游的數(shù)據(jù)產(chǎn)品開發(fā)工具與服務(wù)管理公司，包括AI中臺和AI基礎(chǔ)數(shù)據(jù)服務(wù)商，如華為云、百度智能云、騰訊云和阿里云等公司；下游的AI算法研發(fā)機構(gòu)，包括科技公司、行業(yè)企業(yè)、AI公司和科研單位等，如華為、上汽集團、科大訊飛和中國科學(xué)院等。更完善的基礎(chǔ)數(shù)據(jù)服務(wù)產(chǎn)業(yè)，更安全的數(shù)據(jù)共享性能更優(yōu)、體積更小的算法模型隨著人工智能在各個垂直領(lǐng)域的不斷探索，人工智能的應(yīng)用場景將不斷被突破。例如，人工智能聊天機器人結(jié)合心理學(xué)知識，幫助治療孤獨癥等心理健康問題；人工智能技術(shù)通過圖像識別等深度學(xué)習(xí)算法完成車輛的車險定損，幫助保險公司優(yōu)化車險理賠等等。3.1大數(shù)據(jù)技術(shù)3.2人工智能技術(shù)3.3云計算安全技術(shù)學(xué)習(xí)要點3.3.1 云計算安全技術(shù)發(fā)