云計算基礎知識培訓 -第三章云計算主流技術

云計算的主流技術版權所有?2018華為技術有限公司前言l本章主要講述了云集的主流技術，介紹了虛擬化優(yōu)勢以及虛擬化的優(yōu)勢。講述了Hypervisor的作用。講述了容器的概念，容器和虛擬化的區(qū)別。版版權所有?2018華為技術有限公司第1頁目標p描述虛擬化和容器的概念；p描述Hypervisor的作用；p區(qū)分虛擬化和容器；版版權所有?2018華為技術有限公司第2頁1.虛擬化簡介p架構pHypervisor的作用p主流的Hypervisor2.容器簡介p容器簡介p容器和虛擬化的區(qū)別版版權所有?2018華為技術有限公司第3頁APPWindowsAPPLinuxAPPAPPWinLinuxAPPAPPWinLinuxAPPAPPWinLinuxAPPAPPWinLinuxAPPAPPWinAPPWindowsAPPLinuxAPPAPPWinLinuxAPPAPPWinLinuxAPPAPPWinLinuxAPPAPPWinLinuxAPPAPPWinLinux虛擬化虛擬化層虛擬化層Page4l虛擬化(Virtualization)的含義很廣泛。將任何一種形式的資源抽象成另一種形式的技術都是虛擬化。虛擬化是資源的邏輯表示，其不受物理限制的約束。虛擬化前虛擬化前APPAPPLinuxServer3Server1ServerServer3lIT資源獨立。l操作系統(tǒng)必須與硬件緊耦合。虛擬化后虛擬化后APPAPPAPPWinLinux資源池化虛虛擬化層l資源抽像成共享資源池。源池中分配資源。版版權所有?2018華為技術有限公司第4頁GuestOSGuestOS：運行在虛擬機之上的OSGuestMachine：虛擬出來的虛擬機Hypervisor：虛擬化軟件層/虛擬機監(jiān)控機 (VirtualMachineMonitor，VMM)HostOS：運行在物理機之上的OSHostMachine：物理機物理機操作系統(tǒng)HostOS硬件Machine虛擬機虛擬機操作系統(tǒng)GuestOS虛擬機GuestMachine虛擬機監(jiān)控器Hypervisor硬件HostMachine操作系統(tǒng)GuestOS虛擬機GuestMachine第5頁版權所有?2018第5頁分區(qū)物理服務器上同時運行多個虛擬機。封裝整個虛擬機執(zhí)行環(huán)境封裝在獨立文件中，隔離服務器上的多個虛擬機之間相互相對于硬件獨立版版權所有?2018華為技術有限公司第6頁虛擬化是實現云計算的技術支撐手段之一，但并非云計算的核心關注點。虛擬化技術是云計算在IaaS層具有商用價值的基礎。版版權所有?2018華為技術有限公司第7頁操作系統(tǒng)虛擬機應用程序操作系統(tǒng)虛擬機應用程序操作系統(tǒng)虛擬化層操作系統(tǒng)虛擬機應用程序操作系統(tǒng)虛擬機應用程序操作系統(tǒng)虛擬化層-Hypervisor傳統(tǒng)物理服務器擬化服務器應應用程序物理服務物理服務器操作系統(tǒng)與物理服務器綁定難以遷移可靠性難以控制物物理服務器操作系統(tǒng)與物理服務器分離易于遷移、擴展，資源整合難難以擴展資源利用率低空間占用高難以管理版權所有?2018華為技術有限公司標準化的虛擬硬件由一系列文件組成，易于保護第8頁性能虛擬化前虛擬化后資源利用率每臺主機一個操作系統(tǒng)，系統(tǒng)的資源利用率低。主機與操作系統(tǒng)不一一對應，按需分配使用，系統(tǒng)的資源利用率高。獨立性軟硬件緊密結合，硬件成本高昂且不夠靈活。操作系統(tǒng)和硬件不相互依賴，虛擬機獨立于硬件，能在任何硬件上運行。程序運行效率同一臺主機上同時運行多個程序容易產生沖突，運行效率較低。管理操作系統(tǒng)和應用程序被封裝成單機器上運行同一個程序，效率高。安全性安全性較差。強大的安全和故障隔離。版版權所有?2018華為技術有限公司第9頁1.虛擬化簡介p優(yōu)勢pHypervisor的作用p主流的Hypervisor2.容器簡介p容器簡介p容器和虛擬化的區(qū)別版版權所有?2018華為技術有限公司第10頁操作系統(tǒng)虛擬化裸金屬虛擬化混合虛擬化操作系統(tǒng)虛擬化裸金屬虛擬化混合虛擬化應用虛擬化層應用服務控制臺應用操作系統(tǒng)操作系統(tǒng)應用虛擬容器 宿主操作系統(tǒng)系統(tǒng)模板庫虛擬容器系統(tǒng)模板庫應用操作系統(tǒng)統(tǒng)應用操作系統(tǒng)應用操作系統(tǒng)應用系統(tǒng)中的位置不同寄居虛擬化寄居虛擬化操操作系統(tǒng)虛擬化層宿主操作系統(tǒng)應用應用虛擬化統(tǒng)虛擬化擬化優(yōu)點l簡單、易于實現。l虛擬機不依賴于操作系統(tǒng)。l支持多種操作系統(tǒng)，多種應用。l簡單、易于實現。l管理開銷非常低。l相對于寄居虛擬化架高。l可支持多種操作系統(tǒng)。缺點l安裝和運行應用程序依賴于主機操作系統(tǒng)對設備的支持。l管理開銷較大，性能損耗大。l虛擬層內核開發(fā)難度大。l隔離性差，多容器共享同一操作系統(tǒng)。l需底層硬件支持虛擬化擴展功能。廠家lVMwareWorkstationlWMwareESXServerlCitrixXenServerl華為FusionSpherelVirtuozzolRedhatKVM版版權所有?2018華為技術有限公司第11頁根據Hypervisor的實現方式和所處的位置版版權所有?2018華為技術有限公司第12頁1.虛擬化簡介p優(yōu)勢p架構p主流的Hypervisor2.容器簡介p容器簡介p容器和虛擬化的區(qū)別版版權所有?2018華為技術有限公司第13頁l虛擬機(VirtualMachine)是由虛擬化層提供的高效、獨立的虛設備)。l通過虛擬化層的模擬，虛擬機在上層軟件看來，其就是一個真實的機器。這個虛擬化層一般稱為虛擬機監(jiān)控器(VirtualMachineMonitor,VMM)，也稱Hypervisor。版版權所有?2018華為技術有限公司第14頁l虛擬資源VMM利用底層硬件資源來構建一個包含虛擬CPU、內存和外設等的虛擬環(huán)境。在這個環(huán)境中，GuestOS認為自己運行在一臺真是的計算機上，并唯一擁有這臺“虛擬”機器上的所有資源。l虛擬環(huán)境的調度VMM可以同時構建多個虛擬機環(huán)境，從而允許多個GuestOS并發(fā)執(zhí)行，VMM利用一套策略來有效的調度資源。l虛擬化環(huán)境的管理接口VMM提供一組完備的管理接口，來支持虛擬環(huán)境的創(chuàng)建、刪除、暫停和遷移等功能。上層的管理程序通過調用VMM提供的管理接口，為用戶提供管理界面。版版權所有?2018華為技術有限公司第15頁1.虛擬化簡介p優(yōu)勢p架構pHypervisor的作用2.容器簡介p容器簡介p容器和虛擬化的區(qū)別版版權所有?2018華為技術有限公司第16頁llXenp輕量級hypervisorn直接運行在硬件上p特權虛擬機Domain0nIO虛擬化n虛擬機管理p支持全虛擬化+半虛擬化n非硬件虛擬化平臺:PVGuest第17頁lKVMp內核模塊,使得內核成為hypervisorn呈現給用戶空間字符設備/dev/kvmn用戶空間通過ioctl()訪問pGuest是一個普通的進程nvcpu是一個線程p充分利用linux內核支持p僅支持全虛擬化(IntelVT/AMD-V)版權所有?2018華為技術有限公司HHWtoolstack②前端驅動后端驅動Linux(pvops)toolstackLinux(baremetal)后端驅動toolstack②前端驅動后端驅動Linux(pvops)toolstackLinux(baremetal)后端驅動Xen、KVM架構各有所長Xen平臺特權Guest內存共享(Grant特權Guest①GuesGuestXENXENHypervisorHWnvisorVMostGuesGuest前端驅動VMHypervisorHHWVM之間以及與HostKernel之間對共享區(qū)域的訪問和映射無需Hypervisor進行授權，故整個訪問路徑較短使用Linuxbaremetal內核，無pvops性能損耗。版版權所有?2018華為技術有限公司第18頁 (vCPU)、內存、驅動(Console、于一種受限制的CPU模式下運行。內存的虛級化，以及客戶機的I/O攔給QEMU處理。QEMUKVM的IOIOCTL/dev/kvm設備和KVM交互。第19頁版權所有?2018第19頁XenHypervisor：直接運行于硬件之上，是Xen客戶操作系統(tǒng)與硬件資源之間的訪問接口。通過將客戶操作系統(tǒng)與硬件進行分類，Xen管理系統(tǒng)可以允許客戶操作系統(tǒng)安全，獨立的運行在相同硬件環(huán)境之上。Domain0：運行在Xen管理程序之上，具有直接訪問硬件和管理其他客戶操作系統(tǒng)的特權的客戶操作系統(tǒng)。DomainU：運行在Xen管理程序之上的普通客戶操作系統(tǒng)或業(yè)務操作系統(tǒng)，不能直接訪問硬件資源(如：內存，硬盤等)，但可以獨立并行的存在多個。版權所有?2018華為技術有限公司版權所有?2018華為技術有限公司版權所有?2018華為技術有限公司第21頁版版權所有?2018華為技術有限公司第22頁1.虛擬化簡介p優(yōu)勢p架構pHypervisor的作用p主流的Hypervisor2.容器簡介p容器和虛擬化的區(qū)別版版權所有?2018華為技術有限公司第23頁App容器S基礎App容器S基礎庫appapp“LXCtools”andotherstools力l容器是基于一些Linux內核的特性構建而成,Docker并沒有重新發(fā)明這些特性。pcgroups:主要做資源控制pnamespaces:主要做訪問隔離lLXC(LinuxContainers)toolspLinuxContainer容器是一種內核虛擬化技術，可以提供輕量級的虛擬化，以便隔離進程和資源。l已有的容器技術pDockerpRocket1.Docker并沒有發(fā)明容器，更像是容器的前端和外圍工具。2.Docker核心在于實現應用與運行環(huán)境整體打包以及打包格式統(tǒng)一。3.Docker并不是容器技術的唯一選擇。LinuxKernelHost/HardwareAppApp容器S基礎庫H工具等 el W 容器引擎 H工具等 el W ü傳統(tǒng)linux將內核、用戶態(tài)的庫、工具等打包成一體，應用與OS耦合，硬件需OS認證；ü輕量級容器OS，Apps與OS解耦，無需認證；版版權所有?2018華為技術有限公司第24頁cgroupdockerimagedockercgroupdockerimagedockercontainer++=ainerp缺少自動化、使用復雜。p用法與平臺耦合性高、應用范圍窄、p只解決了Run，沒有解決Build和Ship。p個容器的實現方式千差萬別，缺省標準。p提供了Portable的標準并且提供了實現。p基于該標準的容器Build和Ship機制。namnamespace版版權所有?2018華為技術有限公司第25頁lDocker引擎pp用以及依賴包到一個可移Apache源。版版權所有?2018華為技術有限公司第26頁虛擬機容器Docker容器技術主要特點：快：運行時的性能可以獲取極大提升；靈活：將應用和系統(tǒng)“容器化”，不添加額外的操作系統(tǒng)，支持跨OS部署；輕便：你會擁有足夠的“操作系統(tǒng)”，僅需添加或減小鏡像即可，每臺服務器可部署100~1000個實例；界(微軟、亞馬遜、IBM、Cisco)主流IT廠商逐步使用Docker容器技術、開源社區(qū)活躍度非常高，逐步成為未來軟件發(fā)展趨勢；虛擬機VSDocker容器Docker容器技術架構DockerDocker容器技術使用場景：l簡化配置；l代碼流水線(CodePipeline)管理；l提高開發(fā)效率；l隔離應用；l快速部署；l支持多組環(huán)境；l整合服務器，降低資源成本；版版權所有?2018華為技術有限公司第27頁rDocker提供軟件應用的集裝箱，創(chuàng)建即部署l集裝箱式應用管理環(huán)境。l、Docker徹底改變程序的交付方式l可攜帶性(跨平臺、免“部署”)l一致性(開發(fā)&測試&生產)l快速分發(fā)、復制l輕量、隔離、無環(huán)境依賴Docker的核心價值：構建標準化(dockerfile)、交付形態(tài)標準化(容器&Image)、運行環(huán)境標準化 (Engine)。版版權所有?2018華為技術有限公司第28頁lDocker解決的問題p應用環(huán)境管理復雜p提供分發(fā)和標準化管理版版權所有?2018華為技術有限公司第29頁lDocker三組件lDocker三要素以及元數據。版版權所有?2018華為技術有限公司第30頁lDocker總體架構pDockerdaemonpDockerregistrypLibcontainerpDockercontainerpGraphdriver版權所有?2018華為技術有限公司第31頁lDocker總體架構pDockerC/S架構。器等。版版權所有?2018華為技術有限公司第32頁本地環(huán)境本地環(huán)境作 (標準化)文本文件便捷獲便捷獲取 (易用性)版版權所有?2018華為技術有限公司第33頁1.虛擬化簡介p優(yōu)勢p架構pHypervisor的作用p主流的Hypervisor2.容器簡介p容器簡介版版權所有?2018華為技術有限公司第34頁應用2應用依賴庫1GuestOSMEMsISKsCs容器實例容器實例容器實例應用2應用依賴庫1GuestOSMEMsISKsCs容器實例容器實例容器實例應用2應用依賴庫1應用1應3應用依賴庫2容器引擎(如Docker)rtualizationsControlgroups容器HostOS虛擬機實例虛擬機實例應用安裝包虛擬機OS鏡象應用應用1應用依賴庫應用依賴庫1GuestOSHypervisorHypervisor(如KVM)HostHostOSHHardwareHardware-assistedvirtualization:VTXVTDVT-C應用容器鏡象SocketSocket、Filesanddirectories、Memroryaccess、Process、ChardevicesHaHardware隔離性強，有獨立的GUESTOS由共享內核和OS，隔離性弱虛擬化性能差(>15%)計算/存儲無損耗，無GuestOS內存開銷(~200M)虛擬機鏡像龐大(十幾G~幾十G)，且實例化時不能共享Docker容器鏡象200~300M，且公共基礎鏡象實例化時可以共享虛擬機鏡象缺乏統(tǒng)一標準Docker提供了容器應用鏡象事實標準，OCI推動進一步標準化虛擬機創(chuàng)建慢(>2分鐘)秒級創(chuàng)建(<10s)虛擬機啟動慢(>30s)秒級(<1s，不含應用本身啟動)資源虛擬化粒度低，單機10~100虛擬機單機支持1000+容器版版權所有?2018華為技術有限公司第35頁l輕量級虛擬化p一次構建、到處運行。版權所有?2018華為技術有限公司第36頁重量級輕量級重量級輕量級lDocker容器是在操作系統(tǒng)層面上實現虛擬化，直接復用本地主機的操作系統(tǒng)，而傳統(tǒng)方式則是在硬件層面實現。版版權所有?2018華為技術有限公司第37頁有云(Iaas)市場份額有云(Iaas)市場份額21%AWS(Xen21%SSCitrix(Xen-Server)8%ware47%Microsoftware47%MicrosoftAzure(Hyper-V)SoftLayer(Xen)GoogleGCE(KVMsalesforceRackspace(Xen)OthersOthers43%MicroSoftHyperV24%(BaseXen)Citrix(Xen-Server)(BaseXen)OthersMicrosoftAzureHyperV數據來源數據來源：DataCenter&Readers'Choicesurvey/photostory/2240204480/Top-data-center-equipment-trends/4/VMware-market-share-overshadows-competing-virtualization-vendorsSoSoftLayer(Xen)7%RackspaceGCERackspaceGCE3%4%5%數據來源：SynergyResearch/news/2015/feb/03/aws-hits-five-year-high-cloud-infrastructure-market-share/從從企業(yè)私有云市場來看，Xen家族(Xen-Server、Hyper-V、OracleXen)使用量僅次于VMware，約占40%。KVM商用案例較少。在公有云服務市場公有來看，主流運營商均使用Xen家族平臺，包括AWS、Azure、SoftLayer、阿里。版版權所有?2018華為技術有限公司第38頁reOS嵌入式領域：Windriver服務器領域：RedhatAppAppGuestOSreOS嵌入式領域：Windriver服務器領域：RedhatAppAppGuestOS等)。l跨平臺應用平滑遷移(應用打包、分發(fā)、部署)。故障自動隔離等。GuestOSHypervisor(HostOS)開源：Xen/KVM閉源：Vmware/Hyper-V輕量級虛擬化傳統(tǒng)OS傳統(tǒng)OSAppApp本。版版權所有?2018華為技術有限公司第39頁容器技術虛擬化技術占用磁盤空間大小啟動速度運行形態(tài)直接運行在宿主機內核，不同容器共享同1個Linux內核運行在Hypervisor上并發(fā)性一臺宿主機可以運行成千上百個容器單臺機器最多幾十臺虛擬機性能接近于宿主機本地進程遜于宿主機資源利用率高低版版權所有?2018華為技術有限公司第40頁or換業(yè)務滿足度要解決的問題安全不足隔離性不如VM，還有很多子系統(tǒng)(audit、syslog、fuse、sysfs、time等)沒有namespace支持。很多權限問題是通過privileged參數來解決，但是該參數會使得容器權限過大，存在安全風險。cgroup資源隔離還有不完善的地方，資源隔離不好的話，系統(tǒng)有受到DoS攻擊的安全風險。 (1)CPU:對CPU配額不夠精確;(2)內存：不能限制kernelmemory(比如文件系統(tǒng)的inode、dentry等內核數據結構)；(3)網絡：只能做發(fā)包QoS，不能做收包QoS；(4)IO：只能限制direct-IO，不能限制buffered-IO；(4)存儲：不支持存儲空間配額；(5)其他：不能為容器單獨設置進程上限、打開文件上限，等等。功能不足Dockernativedriver當前還不支持多網卡配置和多網絡平面。容器目前不支持熱遷移。為保證解耦，只能針對Linux應用并且應用不能有kernel改動，包括參數，不要用自研內核模塊。為保證解耦，不要訪問PROC文件/SYS文件，只應該訪問自己鏡象中的文件。性能不足通過Link拼接起來的Docker實例之間通訊效率不如進程間通訊。通過LinuxBridge和Iptables實現NAT轉換和網絡隔離，性能堪憂(可能存才50％的損耗)。擴展性不足網絡連接無法支持單Host的container上百到上千的數量級，數據中心的容器會達到上億，大規(guī)模容器之間的連接問題。成熟度不足缺省支持的aufs沒有進內核，且只有ubuntu提供，SLES和Redhat沒有提供。Docker生態(tài)圈的發(fā)展還處于起步階段，支持企業(yè)級應用的工具和項目的還比較缺乏，而且目前對容器的資源管理和運維自動化處理尚無統(tǒng)一的或者標準的框架。版版權所有?2018華為技術有限公司第41頁是容器技術之一,核心在于實現應用與運行環(huán)境整體打包以及打包格式統(tǒng)一。Docker加速企業(yè)環(huán)境供應速度，實現資源快速彈性伸縮。Docker簡化軟件打包,加快應用部署及升級,優(yōu)化DevOps。小時級是容器技術之一,核心在于實現應用與運行環(huán)境整體打包以及打包格式統(tǒng)一。Docker加速企業(yè)環(huán)境供應速度，實現資源快速彈性伸縮。Docker簡化軟件打包,