阿里云虛擬化技術(shù)自研之路

1、張獻濤、沈益斌阿里云虛擬化技術(shù)自研之路議程 阿里云彈性計算服務(wù)ECS介紹 ECS虛擬化架構(gòu)及關(guān)鍵技術(shù) ECS虛擬化架構(gòu) 虛擬機熱遷移技術(shù) Hypervisor 熱補丁技術(shù) ECS實戰(zhàn)案例分享 阿里云ECS下一代虛擬化架構(gòu)設(shè)計 未來展望2議程 阿里云彈性計算服務(wù)ECS介紹 ECS虛擬化架構(gòu)及關(guān)鍵技術(shù) ECS虛擬化架構(gòu) 虛擬機熱遷移技術(shù) Hypervisor 熱補丁技術(shù) ECS實戰(zhàn)案例分享 阿里云ECS下一代虛擬化架構(gòu)設(shè)計 未來展望3ECS產(chǎn)品定位應(yīng)用程序的基礎(chǔ)運行環(huán)境ECS(云服務(wù)器)是阿里云產(chǎn)品體系中，最基礎(chǔ)的計算服務(wù)，通常用作應(yīng)用程序的運行環(huán)境，其最重要的特點是彈性。 每個ECS實例上都運行

2、著用戶選擇的操作系統(tǒng)，一般是某個Linux或Windows的發(fā)行版。用戶的應(yīng)用程序運行在實例的操作系統(tǒng)之上。彈性的伸縮能力ECS的最重要的特點是彈性，支持垂直和水平擴展兩種能力。垂直擴展，可以根據(jù)業(yè)務(wù)需要即時的升級或降級ECS實例的CPU、內(nèi)存和帶寬； 水平擴展，可以根據(jù)業(yè)務(wù)需要即時創(chuàng)建數(shù)百個ECS實例.4ECS在阿里云中的位置Linux 集群資源管理（伏羲）安全管理（鐘馗）遠程過程調(diào)用（夸父）分布協(xié)同服務(wù)（女媧）（大禹）集群布署（神農(nóng)）集群監(jiān)控分布式文件系統(tǒng)（盤古）任務(wù)調(diào)度（伏羲）云服務(wù)引擎 ACE彈性計算服務(wù)ECS關(guān)系型數(shù)據(jù)庫服務(wù)RDS開放數(shù)據(jù)處理服務(wù)ODPS議程 阿里云彈性計算服務(wù)ECS

3、介紹 ECS虛擬化架構(gòu)及關(guān)鍵技術(shù) ECS虛擬化架構(gòu) 虛擬機熱遷移技術(shù) Hypervisor 熱補丁技術(shù) ECS實戰(zhàn)案例分享 阿里云ECS下一代虛擬化架構(gòu)設(shè)計 未來展望6議程 阿里云彈性計算服務(wù)ECS介紹 ECS虛擬化架構(gòu)及關(guān)鍵技術(shù) ECS虛擬化架構(gòu) 虛擬機熱遷移技術(shù) Hypervisor 熱補丁技術(shù) ECS實戰(zhàn)案例分享 阿里云ECS下一代虛擬化架構(gòu)設(shè)計 未來展望7ECS軟件架構(gòu)8后羿控制系統(tǒng)計算虛擬化存儲虛擬化網(wǎng)絡(luò)虛擬化盤古分布式存儲ECS軟件架構(gòu)Hypervisor 虛擬層(Including Xen , Xen Tools, Xend等)基于成熟的開源軟件Xen基于KVM的其它Hyperv

4、isor方案為優(yōu)化性能和穩(wěn)定性，Xen核心代碼改動數(shù)百項Dom0 內(nèi)核基于ali kernel+ pv_ops 內(nèi)核分支，獨立研發(fā)涉及數(shù)百個內(nèi)核改動高性能前后端通訊技術(shù)（PV Driver)基于開源的PV Driver進行研發(fā)優(yōu)化優(yōu)化后的高性能Driver提供更穩(wěn)定高性能服務(wù)，優(yōu)化項達幾十個ECS虛擬化關(guān)鍵技術(shù)硬件虛擬化技術(shù)CPU采用硬件虛擬化技術(shù)VT-x， 內(nèi)存采用EPT方式熱遷移技術(shù)底層基于Xen熱遷移研發(fā)，改動超過20+項獨立研發(fā)熱遷移控制系統(tǒng)優(yōu)化后的熱遷移達到業(yè)界領(lǐng)先水平Hotfix技術(shù)獨立研發(fā)Dom0 kernel Hotfix技術(shù)獨立研發(fā)Hypervisor Hotfix技術(shù)，獨具

5、創(chuàng)新型獨立研發(fā)用戶態(tài)進程Hotfix技術(shù)正在研發(fā)VM內(nèi)核的Hotfix技術(shù)議程 阿里云彈性計算服務(wù)ECS介紹 ECS虛擬化架構(gòu)及關(guān)鍵技術(shù) ECS虛擬化架構(gòu) 虛擬機熱遷移技術(shù) Hypervisor 熱補丁技術(shù) ECS實戰(zhàn)案例分享 阿里云ECS下一代虛擬化架構(gòu)設(shè)計 未來展望11議程 阿里云彈性計算服務(wù)ECS介紹 ECS虛擬化架構(gòu)及關(guān)鍵技術(shù) ECS虛擬化架構(gòu) 虛擬機熱遷移技術(shù) Hypervisor 熱補丁技術(shù) ECS實戰(zhàn)案例分享 阿里云ECS下一代虛擬化架構(gòu)設(shè)計 未來展望12虛擬機熱遷移技術(shù)13CPU Usage30%CPU Usage90%CPU UsageCPU Usage動態(tài)的熱點均衡場景災(zāi)難

6、恢復(fù)虛擬機熱遷移技術(shù) 熱遷移定義 在不同物理機之間在線遷移虛擬機實例 做到VM內(nèi)的業(yè)務(wù)基本無感知 熱遷移技術(shù)應(yīng)用場景 線上系統(tǒng)Hotfix 機器硬件故障修復(fù) 過保機器替換 集群內(nèi)的負載均衡 綠色計算 主動運維14熱遷移面臨的挑戰(zhàn)熱遷移面臨的挑戰(zhàn)線上運維標準極高 要求VM Downtime控制在毫秒級 網(wǎng)絡(luò)鏈接無中斷 存儲無感知線上系統(tǒng)的復(fù)雜性 鏡像多樣，機器型號復(fù)雜 無法在線升級hypervisor, dom0 歷史遺留問題較多虛擬化層熱遷移不成熟 虛擬化層Bug較多 Tool stack層熱遷移算法和流程問題較多 Qemu問題也較多Guest內(nèi)核及PV driver支持不足 Debian,

7、ubuntu等內(nèi)核問題較多15議程 阿里云彈性計算服務(wù)ECS介紹 ECS虛擬化架構(gòu)及關(guān)鍵技術(shù) ECS虛擬化架構(gòu) 虛擬機熱遷移技術(shù) Hotfix 技術(shù) ECS實戰(zhàn)案例分享 阿里云ECS下一代虛擬化架構(gòu)設(shè)計 未來展望16ECS Hotfix 技術(shù) 系統(tǒng)Hotfix對業(yè)務(wù)運維的意義 軟件系統(tǒng)存在Bug在所難免 宕機修復(fù)引起業(yè)務(wù)中斷 在云環(huán)境中，物理機重啟影響面更廣 用戶無感知修復(fù)，一切盡在不言中 無需宕機，增強系統(tǒng)的可用性 ECS Hotfix技術(shù)分類 Xen Dom0 內(nèi)核 Hotfix技術(shù) Xen Hypervisor Hotfix技術(shù) 用戶態(tài)進程Hotfix技術(shù) 客戶機內(nèi)核的Hotfix技術(shù)1

8、7Hotfix技術(shù)是規(guī)?；瘶I(yè)務(wù)運維立命之本Xen Dom0 內(nèi)核Hotfix技術(shù)業(yè)界較成熟的Hotfix方案 Ksplice by Oracle Kgraft by Novell Kpatch by Redhat采用自主研發(fā)的AliHotfix技術(shù) 修復(fù)Dom0內(nèi)核Bug 修復(fù)PV 驅(qū)動Bug 修復(fù)系統(tǒng)安全漏洞18Xen Dom0 內(nèi)核Hotfix技術(shù)AliHotfix技術(shù)原理 基于函數(shù)動態(tài)替換技術(shù) 新函數(shù)會以模塊內(nèi)函數(shù)的形式鏈接入內(nèi)核 舊函數(shù)的第一個指令改成強制跳轉(zhuǎn)指令指向新函數(shù) 在替換過程中需要暫停所有CPU，切到一個內(nèi)核線程并關(guān)閉本地中斷。 刷新指令緩存，重新讓CPU恢復(fù)執(zhí)行Hotfix

9、過程中需要注意的點 修復(fù)NMI處理函數(shù)是不安全的 修復(fù)的函數(shù)正在內(nèi)核棧上，修復(fù)過程是不安全的 新函數(shù)絕對不能調(diào)用舊函數(shù)，否則無窮遞歸 Inline函數(shù)不能被直接修復(fù)，需要修復(fù)調(diào)用者19Xen Hypervisor HotfixHypervisor Hotfix需求 Xen 安全漏洞: /xsa/ Xen功能性BugHypervisor hotfix挑戰(zhàn)極大 Xen Hypervisor 邏輯復(fù)雜 Xen 是type-1 Hypervisor, 不允許Dom0訪問Hypervisor內(nèi)存 線上系統(tǒng)無法新增Hotfix接口Hypervisor hotfix

10、 是創(chuàng)新性工作 僅理論上可行的一種方法，無成功先例 如何解決從Dom0 訪問 Hypervisor內(nèi)存 如何精確定位Hypervisor function 物理地址 如何精確替換有問題的代碼段和數(shù)據(jù)段20Xen Hypervisor 安全架構(gòu)Dom0內(nèi)存Xen內(nèi)存DomU內(nèi)存CPU設(shè)備Dom0iommu=offDom0無法通過CPU訪問Xen hypervisor內(nèi)存Dom0可通過設(shè)備DMA方式訪問 Xen hypervisor 內(nèi)存Xen HypervisorDom0HVM DomainKernelKernelGuest ModeHost Mode系統(tǒng)內(nèi)存如何解決Hypervisor 內(nèi)存訪

11、問如何通過設(shè)備DMA訪問Hypervisor內(nèi)存 如何構(gòu)造DMA請求 不能隨意構(gòu)造不存在的DMA請求 需要截獲一個正常DMA請求，修改DMA的目的地址，以及要寫入的數(shù)據(jù) 選取哪個硬件設(shè)備， 網(wǎng)卡 ？硬盤？其它？ 截獲DMA請求的方法 DMA請求的內(nèi)存管理來自于兩個函數(shù) swiotlb_map_sg_attrs/swiotlb_unmap_sg_attrs 利用Alihotfix 替換內(nèi)核的這兩個函數(shù) 在新的map_sg/unmap_sg中加入過濾邏輯 篩選出特定的DMA請求，修改DMA目的地址22利用硬盤DMA請求Hotfix Hypervisor 內(nèi)存議程 阿里云彈性計算服務(wù)ECS介紹 EC

12、S虛擬化架構(gòu)及關(guān)鍵技術(shù) ECS虛擬化架構(gòu) 虛擬機熱遷移技術(shù) Hypervisor 熱補丁技術(shù) ECS實戰(zhàn)案例分享 阿里云ECS下一代虛擬化架構(gòu)設(shè)計 未來展望23實戰(zhàn)案例一24酷炫的熱遷移熱遷移面臨的熱遷移面臨的挑戰(zhàn)（續(xù)）挑戰(zhàn)（續(xù)）存儲層面 Pangu分布式存儲系統(tǒng) 鎖爭搶 cache刷新網(wǎng)絡(luò)層面 線上網(wǎng)絡(luò)環(huán)境比較復(fù)雜 各種型號交換機 Mac, ARP, SLB，VPC等25熱熱遷移增強遷移增強修復(fù)虛擬化層面的一系列問題Centos中斷風(fēng)暴問題Windows雙鼠標光點問題ubuntu1204 2059年時間漂移問題ubuntu1204 3500次遷移失敗一次問題VNC端口綁死問題RDTSC模擬引

13、起的性能問題解除Downtime和VM 內(nèi)存大小的綁定修復(fù)網(wǎng)絡(luò)層面的多個問題解決了i350網(wǎng)卡問題解決了mac漂移導(dǎo)致的交換機封端口問題解決了某型交換機在遷移場景下的bug解決了vm遷移后fake arp網(wǎng)絡(luò)不通問題解除網(wǎng)絡(luò)Breaktime和VM內(nèi)存大小的綁定存儲層面解決了鎖爭搶問題: chunksweep, snapshot解決熱遷移vm downtime過長的問題2627實戰(zhàn)案例二XSA-108事件亞馬遜EC2重啟公告http:/ Ive received a few questions about a maintenance update were performing late th

14、is week through early next week, so I thought it would be useful to provide an update.Yesterday we started notifying some of our customers of a timely security and operational update we need to perform on a small percentage (less than 10%) of our EC2 fleet globally.AWS customers know that security a

15、nd operational excellence are our top two priorities. These updates must be completed by October 1st before the issue is made public as part of an upcoming Xen Security Announcement (XSA). Following security best practices, the details of this update are embargoed until then. The issue in that notic

16、e affects many Xen environments, and is not specific to AWS.As we explained in emails to the small percentage of our customers who are affected and on our forums, the instances that need the update require a system restart of the underlying hardware and will be unavailable for a few minutes while th

17、e patches are being applied and the host is being rebooted.While most software updates are applied without a reboot, certain limited types of updates require a restart. Instances requiring a reboot will be staggered so that no two regions or availability zones are impacted at the same time and they

18、will restart with all saved data and all automated configuration intact. Most customers should experience no significant issues with the reboots. We understand that for a small subset of customers the reboot will be more inconvenient; we wouldnt inconvenience our customers if it wasnt important and

19、time-critical to apply this update.Customers who arent sure if they are impacted should go to the “Events“ page on the EC2 console, which will list any pending instance reboots for their AWS account.As always, we are here to help walk customers through this or to answer questions after the maintenan

20、ce update completes. Just open a support case.P.S. Note that this update is not in any way associated with what is being called the “Bash Bug” in the news today. For information on that issue, see this security bulletin on the AWS security center.28XSA-108近年來最為嚴重的安全漏洞， 造成的損失不可估量由于漏洞存在于VMM中，比心臟滴血以及ba

21、shshock更為嚴重嚴重影響基于Xen的公有云安全導(dǎo)致客戶機可以訪問大量的Hypervisor內(nèi)存頁 擁有讀寫權(quán)限 泄露大量的內(nèi)存頁面，包含關(guān)鍵信息 最嚴重會導(dǎo)致Xen Crash一個字母引起的血案 0 x3ff -0 xff Local APIC MSR連續(xù)編址到 業(yè)內(nèi)寄存器稀疏編址映射存在于Xen4.1及以后的所有版本攻擊成本極低 只需要用rdmsr/wrmsr指令在客戶機內(nèi)核讀寫即可29問題根源KVM 引入了客戶機x2apic 支持 增強APIC訪問的效率 Patch來自KVM maintainer MSR寄存器組的邊界計算錯誤 KVM代碼進行了出錯處理，因此幸免Xen 移植了KVM Patch到Xen4.1 Xen無相關(guān)的錯誤處理，造成安全漏洞 每個vCPU就造成4個頁面泄露 黑客可以通過重復(fù)啟動VM，獲得幾乎所有的hypervisor內(nèi)存30TPR.0 xfee00000 xapic:0 xfee00080 x2apic:MSR(0 x808)PA=0 xfee00000+ (MSR_index -0 x800) *