云計算中服務資源調(diào)度與管理

1、云 計 算效力資源調(diào)度與管理北京科技大學 曾明2022年8月25日.目 錄 IDC開展面臨的挑戰(zhàn) 云計算處理方案 調(diào)度與管理 總結效力資源整合效力資源調(diào)度資源分配戰(zhàn)略效力資源管理.IT本錢高，機房設備利用率低數(shù)據(jù)中心體系很復雜， 系統(tǒng)的維護和管理難度大資源占用多，缺乏一致化，配置峰值資源需求等于浪費資源系統(tǒng)穩(wěn)定性、可靠性低。人工效力為主，高本錢、低稱心度IT傳統(tǒng)方式不能順應業(yè)務部署速度的需求 至少2個月Supply and Demand Not Aligned地理上分布的用戶根據(jù)運用靜態(tài)分配IT資源WebeCommerceIntranetERPCRMBIDev/QAIDC開展面臨的挑戰(zhàn).目 錄

2、 IDC開展面臨的挑戰(zhàn) 云計算處理方案 調(diào)度與管理 總結效力資源整合效力資源調(diào)度資源分配戰(zhàn)略效力資源管理.云計算體系架構效力調(diào)度和管理引擎云計算平臺VM中間構建 IAAS 調(diào)度分配引擎資源池IAAS效力管理SAASPAAS效力系統(tǒng)IAAS 效力平臺效力運用系統(tǒng)云計算門戶IDC 效力.管理效力器管理效力器用戶在線效力存儲離線計算云計算節(jié)點在線效力器VMware, KVM, XEN支撐平臺體系架構.資源整合資源分配調(diào)度引擎用戶自效力對運用系統(tǒng)的支持Hadoop, Websphere, 客戶化的運用云平臺計算資源虛擬化系統(tǒng) / 物理機操作系統(tǒng)運營管理任務流 & 審批流程報表 & 計費云管理方案端到端

3、的云管理軟件： 根據(jù)負載平衡和資源平衡的戰(zhàn)略，從共享的物理和虛擬資源中為上層的運用系統(tǒng)創(chuàng)建和提供運轉環(huán)境TicketingSystemCRMEntitlementSystemAuthentication & Security 整合了云資源 經(jīng)過豐富的戰(zhàn)略匹配和供應資源 提供了最終用戶直接懇求資源的自助效力平臺 時辰跟蹤資源的運用情況，以生成報告、帳單和審核計算資源計算資源.Oracle DBSMP Oracle DB3. 分布式計算方案2. 同步方案1. 話單分布4. 話單合并例如：BOSS云的架構.目 錄 IDC開展面臨的挑戰(zhàn) 云計算處理方案 調(diào)度與管理 總結效力資源整合效力資源調(diào)度資源分配

4、戰(zhàn)略效力資源管理.Manual資源分配引擎資源約定和按需分配的調(diào)度戰(zhàn)略基于資源運用情況的分配戰(zhàn)略資源運用規(guī)劃效力的交付提供效力效力合同管理自助的效力門戶和開發(fā)接口(API)統(tǒng)計分析報表計費系統(tǒng)資源管理工具資源整合虛擬化系統(tǒng)管理插件物理機部署工具的插件系統(tǒng)管理插件不同類型的運用程序集成HPCJ2EEothersTest/Dev根據(jù)系統(tǒng)當前負載、系統(tǒng)資源的運用情況，有序地運轉運用程序。整合物理機和虛擬機計算環(huán)境，創(chuàng)建一個共享的計算架構 。效力資源整合.DEMANDSUPPLYHPC ClustersLSF, Symphony, 3rd PartyTest & DevJ2EE / Analytics

5、SiloSiloSiloResource-awareWorkload-awareSupply and Demand Aligned在不同的運用部門共享物理資源效力資源整合.虛擬資源池平安和集成數(shù)據(jù)維護資源管理可用性系統(tǒng)架構效力效力資源整合.效力資源整合.目 錄 IDC開展面臨的挑戰(zhàn) 云計算處理方案 調(diào)度與管理 總結效力資源整合效力資源調(diào)度資源分配戰(zhàn)略效力資源管理.調(diào)度引擎3) Network Access Cost Matrix (Available Bandwidth / Dynamic Utilization) DC1DC2DC3DC1DC2DC3Rack1Rack2Rack3R2R2R3

6、Output: Initial Placement- Run-Time Management- Defragmentations& MigrationOffering 1300Offering 2200Offering 3400JanDecContract #123Contract #444Contract #677Contract #677Contract #888Contract # 888#999Contract # 78934Contract # 768689Contract #55Contract # 8892) ResourceHierarchyDCRackGroupRackGro

7、upRackGroupRackRackRackRackRackRackDC/1) Application TopologyDBAppServerAppServerAppServerWebServerWebServerTier 1Tier 2Tier 34) Previous reservations committed & Account Quotas5) C-language plug-in placement policy:vem_policy_init()vem_policy_fin()vem_policy_distribute()vem_policy_place()vem_policy

8、_housekeep()vem_policy_status()vem_policy_info()效力資源調(diào)度.資源分配之前資源分配之后效力資源調(diào)度.目 錄 IDC開展面臨的挑戰(zhàn) 云計算處理方案 云計算中心技術 總結效力資源整合效力資源調(diào)度資源分配戰(zhàn)略效力資源管理.Packing（填滿）應用程序在盡量少的物理服務器上運行每個被使用的服務器利用率最大化，減少資源碎片，減少能源消耗。Striping（分散）應用程序分散在盡可能多的物理服務器上運行減少機器故障帶來的影響，提高應用程序的運行效率Load-Aware（基于負載）新的應用程序總是運行在負載最輕的物理服務器上獲得更高的應用程序運行效率HA-A

9、ware（基于高可靠性配置）將支持高可靠性（HA）的服務器資源分配給關鍵業(yè)務提供更高的資源可用性Energy-Aware（節(jié)能）根據(jù)節(jié)能指數(shù)和數(shù)據(jù)中心熱點運行應用程序減少能源消耗Affinity-Aware（基于關聯(lián)程度）將任務分配到與關鍵資源關聯(lián)度最高的服務器上，例如將任務分配到與存儲系統(tǒng)直連的服務器上保證應用程序運行效率Server Model-Aware（基于服務器類型）根據(jù)服務器類型分配資源盡可能利用性能好的、昂貴的資源，是投資回報最大化Topology-Aware（基于網(wǎng)絡拓撲）盡量使用連接到同一個交換機、背板、刀片中心的服務器運行用戶任務提高應用程序運行效率資源分配戰(zhàn)略.AppA

10、VMAppA VMAppA VMAppB VMAppB VMAppB VMAppC VMAppC VMAppB VMAppA VMAppD VMAppD VMAppD VMAppE VMApp A VMAppA VMAppC VM1234444BottomLeftBottomLeft每個被運用的效力器利用率最大化，減少資源碎片節(jié)能根據(jù)需求動態(tài)啟動和封鎖效力器Bottom-Left Decreasing Bin-Packing Heuristic戰(zhàn)略1：Packing填滿戰(zhàn)略.戰(zhàn)略2：Striping 分散戰(zhàn)略AppB VMAppB VMAppC VMAppC VMAppA VMAppA VMA

11、ppE VMAppC VMAppA VM將運用程序或虛擬機啟動在運用最少的物理效力器上。每臺物理效力器運轉的運用程序或虛擬機最小化降低物理效力器缺點的影響提高運用程序、虛擬機運轉效率.戰(zhàn)略3： Topology Aware (基于網(wǎng)絡拓撲戰(zhàn)略機架二機架一刀片中心一刀片中心二刀片中心三刀片中心四可用的節(jié)點被占用的節(jié)點盡量保證為運用程序分配的效力器資源之間的網(wǎng)絡途徑最小僅在萬不得已的情況下才跨刀片中心、機架、交換機分配效力器資源提高運用程序運轉效率.戰(zhàn)略4： Affinity-based (基于關聯(lián)程度)戰(zhàn)略 將義務分配到與關鍵資源關聯(lián)度最高的效力器上，例如將義務分配到與存儲系統(tǒng)直連的效力器上保證

12、運用程序運轉效率運用A運用B.戰(zhàn)略5：HA-enabled 支持HA戰(zhàn)略將關鍵運用分配到支持HA的效力器上。根據(jù)業(yè)務類型和費用，提供不同級別的可用性。HA 效力器非關鍵運用 - $0.15/hour關鍵運用 A$2/hour關鍵運用 B$1/hour.戰(zhàn)略6：節(jié)能優(yōu)化戰(zhàn)略實現(xiàn)“綠色戰(zhàn)略:讓系統(tǒng)分配能源效率最高的機器讓系統(tǒng)分配溫度最低的機器，以防止系統(tǒng)出現(xiàn)“熱點 指定義務在晚上時段運轉，此時的電費最廉價計算機設備傳感器義務分發(fā)EngineUPS需求, 合同,資源供應 空調(diào).目 錄 IDC開展面臨的挑戰(zhàn) 云計算處理方案 調(diào)度與管理 總結效力資源整合效力資源調(diào)度資源分配戰(zhàn)略效力資源管理.云計算平臺云

13、系統(tǒng)管理員部門經(jīng)理開發(fā)經(jīng)理運用程序一切者最終用戶運用經(jīng)理云的客戶擔任合同簽署資源運用的規(guī)劃選擇效力提供應最終用戶定義優(yōu)先級與資源的分配戰(zhàn)略本錢管理發(fā)布可用的效力將資源轉變?yōu)樾Я芾砗途S護資源的清單懇求并運用特定運用的虛擬機或物理機按照運用經(jīng)理規(guī)定的優(yōu)先級和資源分配戰(zhàn)略運用計算機資源開發(fā)人員運用程序用戶效力資源管理.AppApp資源池業(yè)務需求多種虛擬機管理器和操作系統(tǒng)同步運轉效力能在各計算機之間“浮動，即使整個網(wǎng)絡都癱瘓，義務數(shù)據(jù)也不會喪失。一切事件記錄在指定文件系統(tǒng)中，零停機時間、零數(shù)據(jù)損失。當?shù)谝慌_機器恢復正常時，機群效力就可恢復并繼續(xù)運轉。整個過程對用戶來說是透明的，覺得不到遠程集群的存在

14、。X效力異常處置管理AppAppAppAppAppAppApp.集群1集群1集群2集群3集群4無縫擴展負載平衡資源擴展管理AppAppAppAppAppAppAppAppAppAppApp.目 錄 IDC開展面臨的挑戰(zhàn) 云計算處理方案 調(diào)度與管理 總結效力資源整合效力資源調(diào)度資源分配戰(zhàn)略效力資源管理.帶來的價值管理員手工創(chuàng)建虛擬機、手工部署運用，周期長？管理員手工管理一切資源，復雜？缺乏部署與調(diào)度戰(zhàn)略，自動化程度低？商用虛擬化軟件，價錢昂貴？固化的管理平臺，無法擴展？希望提供用戶自助效力？希望提供智能的資源約定、自動的運用部署功能？系統(tǒng)自動部署虛擬機，自動部署運用，周期短管理平臺一致監(jiān)控、管理

15、資源，異常事件告警、遷移戰(zhàn)略，簡約智能豐富的部署與調(diào)度戰(zhàn)略，根據(jù)運用情況分配資源，減少人工干涉根據(jù)運用系統(tǒng)特點合理選擇虛擬化軟件，提高性價比管理平臺可擴展，開源與商用的虛擬化軟件可共存，并可管理其他資源提供便利的用戶自助效力，資源懇求、資源審批、對虛擬機的控制等資源約定為關鍵業(yè)務提供保證，自動的運用部署減少人工操作、縮短周期更多.App ServerApp 1App ServerApp 2App ServerApp NApp ServerSource poolVirtual ServersSelf-Service PortalApp 1App 2App N系統(tǒng)部署的時間從幾天縮短到幾分鐘，沒有雙機備份，低本錢節(jié)省投資.User AUser BHigh Performance ComputingSource PoolUser BWorkloadManagerWorkloadManagerUser A在固有的資源上， 開發(fā)了更多的效力工程降低本