云計算與虛擬化

云計算與虛擬化網(wǎng)易杭州研究院云計算技術組王盼hzwangpan@--OpenStackvsVMware什么是云計算云計算發(fā)展現(xiàn)狀云計算面對的問題什么是虛擬化主流虛擬化技術虛擬化中間件虛擬化技術面對的問題提綱OpenStack是什么？OpenStack能做什么？OpenStack好用么？OpenStack怎么才能用好？OpenStackvsVMware的抉擇Q&A提綱（contd.）基本概念IaaS（基礎架構即服務）、PaaS（平臺即服務）、SaaS（軟件即服務）公有云、私有云、混合云用途智能數(shù)據(jù)中心（彈性、智能調(diào)度、節(jié)能）快速交付按需、易擴展的IT服務常見誤區(qū)大數(shù)據(jù)：云計算使大數(shù)據(jù)變成可能分布式計算、網(wǎng)格計算、高性能計算：云計算是其商業(yè)實現(xiàn)因特網(wǎng)不等于云計算什么是云計算什么是云計算什么是云計算演進歷史IaaS的發(fā)展歷程主要是虛擬化的發(fā)展歷程（aws）PaaS的發(fā)展歷程基本上就是分布式并行計算技術的發(fā)展歷程（Google

AppEngine）SaaS是近幾年才興起的技術（GoogleDocs）什么是云計算萌芽階段發(fā)展階段成熟階段未來1960s：分時復用技術提出1990s：x86軟件虛擬化技術出現(xiàn)（VMware，Xen）2000s~至今：x86硬件輔助虛擬化技術出現(xiàn)（VT-x，AMD-v）其他硬件設備的智能虛擬化技術，降低虛擬化損耗誰在做云計算/foundation/companies/云計算發(fā)展現(xiàn)狀誰在做云計算云計算發(fā)展現(xiàn)狀國外廠商Top10（1~5）/news/detail?id=2013828029766云計算發(fā)展現(xiàn)狀廠商產(chǎn)品評價AmazonAws系列公有云產(chǎn)品深入到所有東西（IaaS、PaaS云計算服務商No.1）VMwarevCloud、vSphere、vCenter、Workstation等深入到所有東西（虛擬化領域No.1）MicrosoftMicrosoft

Azure、Office365擁有自己的地盤SalesforceCRM、TheSalesCloud、Fplatform等證明了企業(yè)確實需要云計算（SaaS云計算服務商No.1）GoogleGoogleEngine、GoogleAppEngine、GoogleDocs因云計算而誕生（將云計算運用到極致的公司）國外廠商Top10（6~10）云計算發(fā)展現(xiàn)狀廠商產(chǎn)品評價RackspaceOpenstack等（當下最熱門的開源云平臺領導者）IBM藍云等云計算解決方案所有的都是為了OpenStack（強大的云計算解決方案提供商）CitrixCloudStack、XenServer、XenVMware、Openstack的競爭對手（曾經(jīng)的虛擬化領域No.2，桌面云領導者）JoyentJoyentComputeService、JoyentMentaStorageService、JoyentPrivateCloud為大數(shù)據(jù)中心提供了一個強大而低價的選擇（其CEO認為他們的服務比Amazon更穩(wěn)定）Softlayer私有云服務托管商IBM和EMC曾追逐的對象（被IBM以20億$收購）國內(nèi)廠商其他：網(wǎng)易、奇虎360、愛奇藝、搜狐、京東、青云、品高、七牛、九州云、Ucloud、金山、深信服、中國移動、中國聯(lián)通、中國電信、……誰將成為中國的AWS？云計算發(fā)展現(xiàn)狀主流云平臺介紹（AWS）云計算發(fā)展現(xiàn)狀主流云平臺介紹（AWS）CLC：CloudController，所有用戶和管理員進入Eucalyptus云的主要入口CC：ClusterController，它將管理VM的請求路由到具有可用資源的NodeControllerNC：NodeController，控制主機操作系統(tǒng)及相應的hypervisorSC：StorageController，實現(xiàn)Amazon的S3接口。SC與Walrus聯(lián)合工作，用于存儲和訪問虛擬機映像、內(nèi)核映像、RAM磁盤映像和用戶數(shù)據(jù)云計算發(fā)展現(xiàn)狀網(wǎng)易云計算平臺基于Openstack構建，并根據(jù)公司需求進行定制開發(fā)（NBS、NCS、RDS、NQS以及監(jiān)控報警、平臺管理、產(chǎn)品管理等）整合網(wǎng)易已有技術（NOS、NDIR等）支持KVM、LXC虛擬化技術提供IaaS、PaaS服務IaaS服務支持對云主機CPU、網(wǎng)絡帶寬、磁盤IO的QoS云計算發(fā)展現(xiàn)狀網(wǎng)易云計算平臺云計算發(fā)展現(xiàn)狀網(wǎng)易云計算平臺nova：CLC+CCglance：cinder：neutronkeystone云計算發(fā)展現(xiàn)狀SC主流云平臺介紹（阿里云）云計算發(fā)展現(xiàn)狀主流云平臺介紹（青云）云計算發(fā)展現(xiàn)狀主流云平臺功能對比云計算發(fā)展現(xiàn)狀廠商生命周期管理云主機QoS支持鏡像類型支持規(guī)格種類云存儲云數(shù)據(jù)庫云監(jiān)控報警負載均衡云防火墻云網(wǎng)絡操作記錄工單系統(tǒng)PaaSSaaS云中間件特色服務AWSYY+L+|W+|UMB|OR|DM|AYYYY？Y？YYY++HA/遷移等網(wǎng)易YY+L-MB|OR|DM|AY-YY-NNNNY+豐富中間件阿里*YN？L|WMB|OR|DM|AYYN?N?N?YNYCDN、ODPS、備案等騰訊*YN？LMOR|NoSQLMYYN?N?YNNNCDN、NoSQL等華為*YY+L|WLB|ONM|ANYN?N?N?NY--N桌面云、HA等青云*YN？L|W-|UMBNM-NYY+YYNNN智能SDN、性能品高*YN？L-|W-LB|ORM|AYYN?N?N?YY-Y-MapReduce數(shù)據(jù)安全問題（技術、社會、信任等）--知識普及，法律法規(guī)網(wǎng)絡問題（帶寬、安全性、互聯(lián)互通等）--寬帶中國等國家戰(zhàn)略技術復雜度較高（開發(fā)、運維等）--開源軟件，人才、技術積累產(chǎn)業(yè)生態(tài)環(huán)境不完善--市場逐漸完善成熟，政策支持前期投入大--大公司不差錢，邊賣邊發(fā)展標準化問題（服務標準、API等）--前路漫漫云計算面對的問題基本概念全虛擬化軟件模擬方式（SoftwareEmulation）硬件輔助方式（HVM：Hardware-Assisted-Virtualization）半虛擬化：修改guestOS系統(tǒng)適應虛擬化運行環(huán)境（PV：ParaVirtualization）PV

onHVM：硬件輔助虛擬化+半虛擬化驅動（XenPVdriver、KVMvirtio）VMM：VirtualMachineManager，也叫Hypervisor什么是虛擬化虛擬化技術SEHVMPVPVonHVM代表性軟件早期的VMwareworkstation、早期的Xen、QEMU未安裝PVdriver的Xen虛擬機、未安裝virtio的KVM虛擬機Xen的特權域以及早期的XenPV虛擬機安裝PVdriver的Xen虛擬機、安裝virtio的KVM虛擬機虛擬化技術解釋特權指令（Privilegedinstructions）在內(nèi)核態(tài)（ring0）才可以執(zhí)行的各種指令有關對I/O設備使用的指令，如啟動I/O設備指令、測試I/O設備工作狀態(tài)和控制I/O設備動作的指令等有關訪問程序狀態(tài)的指令，如對程序狀態(tài)字（PSW）的指令等存取特殊寄存器指令，如存取中斷寄存器、時鐘寄存器等指令其他指令全虛擬化實現(xiàn)軟件模擬方式（二進制指令翻譯BT、影子頁表shadowpage）硬件輔助方式（IntelVT/AMD-v、EPT/NPT）VMExit：從guestOS進入Hypervisor執(zhí)行特權指令或處理缺頁異常（pagefault），退出前要保留VM各種寄存器狀態(tài)VMEntry：退出Hypervisor，回到guestOS恢復現(xiàn)場并繼續(xù)運行后續(xù)指令VMExit/VMEntry是影響全虛擬化性能的關鍵動作（越少越好）半虛擬化實現(xiàn)：針對虛擬化環(huán)境修改guestOS內(nèi)核，捕獲特權指令改為Hypercall，以實現(xiàn)類似硬件輔助的VMExit效果PV

onHVM實現(xiàn)：針對虛擬化環(huán)境修改guestOS的I/O驅動（磁盤、網(wǎng)卡等），保留其他方面的硬件輔助（CPU、內(nèi)存等）（XenPVdriver、KVMvirtiodriver）什么是虛擬化虛擬化技術比較什么是虛擬化HVMPVonHVMPVBootSequenceEmulatedEmulatedParavirtualizedMemoryHardware（EPT/NPT）Hardware（EPT/NPT）ParavirtualizedInterrupts,Timers&SpinlocksEmulatedParavirtualized

(EmulatedonWindows)ParavirtualizedDisk&NetworkEmulatedParavirtualizedParavirtualizedPrivilegedOperationsHardware（IntelVT/AMD-v）Hardware（IntelVT/AMD-v）Paravirtualized與云計算平臺的關系提供彈性計算能力（快速創(chuàng)建銷毀等）提供資源隔離能力（GuestOS隔離等）提供動態(tài)調(diào)度能力（熱遷移等）提供容災能力（HA、熱備等）滿足多樣化需求（OS類型、規(guī)格、網(wǎng)絡拓撲等）……虛擬化是云計算的基石什么是虛擬化KVM(Kernel-basedVirtualMachine)基于Linux的x86平臺(需要IntelVT或AMD-V支持)的全虛擬化Hypervisor（配合virtio可實現(xiàn)PVonHVM）包含一個可加載的內(nèi)核模塊kvm.ko，用來提供基礎的虛擬化支持，以及一個與CPU類型相關的內(nèi)核模塊kvm-intel.ko或kvm-amd.ko，用來使用CPU提供的硬件虛擬化技術需要特定的QEMU的支持（QEMU-1.3上游分支已經(jīng)支持KVM）可以運行多臺未修改的Linux或Windows虛擬機，每臺虛擬機都有自己私有硬件（虛擬的）：網(wǎng)卡、磁盤、顯卡等Linux內(nèi)核自2.6.20起開始支持KVMKVMisopensourcesoftware主流虛擬化技術（x86）KVM(architecture)主流虛擬化技術（x86）KVM(features)主流虛擬化技術（x86）QMP-QemuMonitorProtocolKSM-KernelSamepageMergingKvmParavirtualClock-AParavirtualtimesourceforKVMCPUHotplugsupport-AddingcpusontheflyPCIHotplugsupport-Addingpcidevicesontheflyvmchannel-Communicationchannelbetweenthehostandguestsmigration-MigratingVirtualMachinesvhost-SCSIdiskemulation-VirtioDevices-CPUclustering-hpet-deviceassignment-pxeboot-iscsiboot-x2apic-floppy-cdrom-USB-USBhostdevicepassthrough-sound-UserspaceIrqchipemulation-UserspacePitemulation-Balloonmemorydriver-Largepagessupport-StableGuestABI-VMDq-SR-IOV-KVM(virtiodriver)主流虛擬化技術（x86）Xen基于裸機的虛擬化Hypervisor，提供PV、HVM、PVonHVM（配合pvdriver或virtiodriver）、PVH可以運行多臺未修改的Linux或Windows虛擬機，每臺虛擬機都有自己私有硬件（虛擬的）：網(wǎng)卡、磁盤、顯卡等需要特定的QEMU的支持（上游已支持）需要運行一個特權domain（domain0）來管理其他domainXenisopensourcesoftware主流虛擬化技術（x86）Xen(architecture)主流虛擬化技術（x86）Xen(features)主流虛擬化技術（x86）MemoryBallooning-MemorySharing-allowsharingofidenticalpagesbetweenHVMguestsMemoryPaging-allowpagesbelongingtoHVMgueststobepagedtodiskTMEM-TranscendentMemoryCpupool-advancedpartitioningCredit2Scheduler-designedforlatency-sensitiveworkloadsandverylargesystemsNUMAscheduleraffinity1GB/2MBsuperpagesupportDelivereventstoPVHVMguestsusingXeneventchannelsNestedVirtualisation-RunningahypervisorinsideanHVMguestHVMPXEStackPhysicalCPUHotplugPhysicalMemoryHotplugSupportforPVkernelsinbzImageformatPCIPassthrough-X86AdvancedVectoreXtension(AVX)-LiveMigration,Save&RestoreRemus

FaultTolerancevMCE-ForwardMachineCheckExceptionstoAppropriateguestsBlktap2OnlineresizeofvirtualdisksDriverDomains-DeviceModelStubDomains-VMDq-SR-IOV-Xen(featurescontd.)主流虛擬化技術（x86）MemaccessAPI-enablingintegrationof3rdpartysecuritysolutionsintoXenvirtualizedenvironmentsXSM&FLASK-mandatoryaccesscontrolpolicyprovidingfine-grainedcontrolsoverXendomains,similartoSELinuxXSM&FLASK

supportforIS_PRIVvTPMSupportgdbsx-debuggertodebugELFguestsvPMU-VirtualPerformanceManagementUnitforHVMguestsSerialconsole-xentrace-performanceanalysisHyper-V基于Windows的x86平臺(需要IntelVT或AMD-V支持)的全虛擬化Hypervisor可以運行多臺未修改的Linux或Windows虛擬機，每臺虛擬機都有自己私有硬件（虛擬的）：網(wǎng)卡、磁盤、顯卡等WindowsServer2008推薦ServerCore模式下安裝Hypver-V另外提供了新的獨立的Hyper-Vserver提供EnlightenedI/O驅動供guestOS加速IO訪問（僅部分OS支持）主流虛擬化技術（x86）Hyper-V(architecture)主流虛擬化技術（x86）Hyper-V(features)動態(tài)內(nèi)存-內(nèi)存復用實時遷移-熱遷移（支持部分異構處理器間的熱遷移）群集共享卷-SANVHD文件格式支持BitLocker支持實時備份-在線快照靈活的硬件支持靈活的存儲不支持USBpassthrough（通過RDP訪問USB設備）不支持聲卡虛擬化（通過RDP傳遞音頻）不支持光驅passthrough（虛擬機不能使用宿主機光驅的刻錄功能，但可以讀光驅內(nèi)容）不支持Home版的各種操作系統(tǒng)在Hyper-V上運行XP虛擬機性能較差（frequentlyaccessesCPU's

APIC

task-priorityregister

(TPR)when

interruptrequestlevel

changes）閉源系統(tǒng)主流虛擬化技術（x86）VMwarevSphere(ESXi)vSphere是VMware推出的基于云計算的新一代數(shù)據(jù)中心虛擬化套件，提供了虛擬化基礎架構、高可用性、集中管理、監(jiān)控等一整套解決方案。VMware于2001年正式推出了企業(yè)級虛擬化產(chǎn)品ESX（Esx和Esxi都是vSphere的組件），到了現(xiàn)在，歷經(jīng)了六代演進。而整個架構功能經(jīng)過不斷擴展，也越來越充足了。提供版本：Standard、StandardwithOperationsManagement、Enterprise和EnterprisePlus閉源系統(tǒng)主流虛擬化技術（x86）VMwarevSphere(features)DistributedResourcesScheduler(DRS)vMotion-熱遷移BigDataExtensions-更好的Hadoop支持網(wǎng)絡I/O控制-網(wǎng)絡QoSvSphereDistributedSwitch(VDS)-支持SR-IOV、NetworkvMotion、第三方虛擬交換機（CiscoNexus1000v和IBM5000v）HighAvailability-包括虛擬機級別的HA和應用級別的HAFaultTolerance-雙機熱備DataProtectionReplicationAutoDeploy主機配置文件UpdateManagervCenterServervCenterOrchestratorvShieldEndpoint-內(nèi)置Hypervisor級別的殺軟StorageDRSStoragevMotion存儲I/O控制-存儲QoSVMFS-虛擬機專用集群文件系統(tǒng)FlashReadCache提供可以與windows系統(tǒng)媲美的完善的操作界面主流虛擬化技術（x86）LXC(LinuXContainers)提供操作系統(tǒng)級別的虛擬運行環(huán)境，而不是虛擬機只能提供與宿主機操作系統(tǒng)相同的虛擬運行環(huán)境，不能支持多種操作系統(tǒng)的虛擬機（使用宿主機內(nèi)核）每個虛擬運行環(huán)境擁有自己獨立的進程、網(wǎng)絡、命名空間等與虛擬化相比，LXC既不需要指令級模擬或即時編譯，也不需要硬件輔助的虛擬化支持，它與宿主機一起使用各種物理硬件資源極小的虛擬化開銷強依賴Cgroup，Cgroup為其提供獨立的虛擬運行環(huán)境類似技術：Linux-Vserver、OpenVZ和FreeVPS等開源，集成在內(nèi)核中主流虛擬化技術（x86）LXC(architecture)主流虛擬化技術（x86）QEMU(QuickEMUlator)是一種支持多種CPU的機器模擬器，因此可以在x86計算機上運行PowerPC軟件，在SPARC計算機上運行x86-64軟件，或者其他任意組合（Usermode模擬模式，Wine）QEMU還允許完整運行不同的操作系統(tǒng)，因此可以在不關閉Linux的情況下測試程序在FreeBSD、Solaris甚至Microsoft?Windows?下的編譯能力（跨平臺開發(fā)及其有用，例如在PC上開發(fā)android應用）（Systemmode模擬模式）為KVM、Xen提供基礎的硬件虛擬環(huán)境（BIOS、顯卡、聲卡以及HVM情況下的各種IO設備等）如不配合kvm加速則運行速度很慢開源軟件虛擬化中間件Libvirt支持Xen、QEMU、LXC、Hyper-V、VMwareESX等hypervisor的虛擬化管理接口庫開源虛擬化hypervisor管理接口庫的事實標準使用C編寫，提供多種程序語言的SDK（python、java、ruby等）使用xml格式的虛擬機配置文件開源軟件

開源云平臺管理虛擬機的必由之路虛擬化中間件Libvirt(architecture)虛擬化中間件Libvirt(architecturecontd.)虛擬化中間件XenXenDXenAPILibXL虛擬化中間件繼續(xù)降低虛擬化損耗--前路漫漫支持各種硬件虛擬化（顯卡、網(wǎng)卡、PCI設備等）--進展順利虛擬化后的安全問題--進展順利，依賴硬件廠商的支持Hypervisor及虛擬機管理API的標準化--前路漫漫虛擬化平臺間的兼容性（如跨hypervisor的虛擬機遷移等）--前路漫漫虛擬化技術面對的問題OpenStack:The5-minuteOverviewOpenStack:

OpenStackisaglobalcollaborationofdevelopersandcloudcomputingtechnologistsproducingtheubiquitousopensourcecloudcomputingplatformforpublicandprivateclouds.Theprojectaimstodeliversolutionsforalltypesofcloudsbybeingsimpletoimplement,massivelyscalable,andfeaturerich.Thetechnologyconsistsofaseriesof

interrelatedprojects

deliveringvariouscomponentsforacloudinfrastructuresolution.Who'sbehindOpenStack?:

FoundedbyRackspaceHostingandNASA,OpenStackhasgrowntobea

globalsoftwarecommunity

ofdeveloperscollaboratingonastandardandmassivelyscalableopensourcecloudoperatingsystem.Ourmissionistoenableanyorganizationtocreateandoffercloudcomputingservicesrunningonstandardhardware.WhousesOpenStack?:

Corporations,serviceproviders,VARS,SMBs,researchers,andglobaldatacenterslookingtodeploylarge-scaleclouddeploymentsforprivateorpubliccloudsleveragingthesupportandresultingtechnologyofaglobalopensourcecommunity.Whyopenmatters:

AllofthecodeforOpenStackisfreelyavailableundertheApache2.0license.Anyonecanrunit,buildonit,orsubmitchangesbacktotheproject.Westronglybelievethatanopendevelopmentmodelistheonlywaytofosterbadly-neededcloudstandards,removethefearofproprietarylock-inforcloudcustomers,andcreatealargeecosystemthatspanscloudproviders.Formoreinformation,visitthe

OpenStackCommunityQ&A.OpenStack是什么OpenStackSummit2013香港大會公布的調(diào)查結果超過半數(shù)的部署采用了G版或H版（Havana）；采用OpenStack的動機主要為降低成本、提升運行效率和開放；

美國、印度、中國、法國都是很熱的區(qū)域；用戶主要來自信息科技、電信、政府、健康等領域；主要業(yè)務應用包括Web服務、測試環(huán)境、數(shù)據(jù)庫、科研、持續(xù)集成自動化測試、存儲和備份、虛擬桌面、數(shù)據(jù)挖掘/Hadoop、管理監(jiān)控系統(tǒng)、HPC；部署類型主要為私有云服務；KVM依然是主要的Hypervisor，比例超過六成。LXC以4%的比例排名第5；部署工具方面，Puppet、Devstack、Chef、Packstack、Crowbar排名前五。OpenStack是什么OpenStack是什么虛擬機管理支持KVM（通過libvirt）、XEN（通過XenAPI）、LXC（通過libvirt、Docker）、Hyper-V、VMware、裸機創(chuàng)建（單臺、批量）、啟動、鎖定、停止、重啟、刪除（直接、延遲）、修改規(guī)格、離線遷移、在線遷移、修改名稱等操作無網(wǎng)絡情況下，支持通過Spice、VNC方式登陸虛擬機，支持查看linux虛擬機控制臺日志有網(wǎng)絡情況下，支持linuxssh及windowsrdp登陸鏡像快照管理從鏡像創(chuàng)建虛擬機從虛擬機制作快照從快照恢復虛擬機云主機網(wǎng)絡管理支持FlatDHCP模式及SDN模式安全組管理浮動IP管理密鑰管理創(chuàng)建刪除密鑰對導入密鑰OpenStack能做什么卷管理創(chuàng)建、刪除、掛載、卸載等操作從卷啟動虛擬機從卷制作鏡像配額管理默認用戶配額修改用戶配額可單獨對CPU、內(nèi)存、IP數(shù)量、安全組數(shù)量、實例存儲容量虛擬機資源隔離支持VCPU的綁定和調(diào)度時間限制實例存儲盤IO限制網(wǎng)絡流量限制用戶界面提供web頁面供用戶和管理員使用OpenStack能做什么開發(fā)人員認為謀生的門路，無所謂好不好用誰說不好用我可以改運維人員認為不好用，運維起來很麻煩，那么多的組件和配置項怎么搞開發(fā)給我的東西簡直就是半成品，需要我?guī)退麄冏龊芏嗍?/p>