【PDF】飛天操作系統(tǒng)中國科技的創(chuàng)新力量-阿里巴巴技術(shù)文檔

飛天互聯(lián)網(wǎng)規(guī)模的操作系統(tǒng)Apsara:anInternet-scaleOperatingSystem唐洪阿里云首席架構(gòu)師云市場應(yīng)用商店云市場輸入／輸出接入層：數(shù)據(jù)傳輸、內(nèi)容發(fā)布、網(wǎng)絡(luò)接入云服務(wù)層：云服務(wù)的WebAPI系統(tǒng)調(diào)用輸入／輸出接入層：數(shù)據(jù)傳輸、內(nèi)容發(fā)布、網(wǎng)絡(luò)接入云服務(wù)層：云服務(wù)的WebAPI系統(tǒng)調(diào)用賬號管理權(quán)限控制云服務(wù)層：賬號、認(rèn)證授權(quán)、計量、結(jié)算操作系統(tǒng)OS內(nèi)核OS內(nèi)核PC硬件PC硬件數(shù)據(jù)庫存儲結(jié)算賬號認(rèn)證授權(quán)盤古：分布式存儲管理分布式協(xié)同日志采集安全管理云市場數(shù)據(jù)傳輸網(wǎng)絡(luò)接入接入層：數(shù)據(jù)傳輸、內(nèi)容發(fā)布、網(wǎng)絡(luò)接入安全服務(wù)：秘鑰管理、云盾數(shù)據(jù)庫存儲結(jié)算賬號認(rèn)證授權(quán)盤古：分布式存儲管理分布式協(xié)同日志采集安全管理云市場數(shù)據(jù)傳輸網(wǎng)絡(luò)接入接入層：數(shù)據(jù)傳輸、內(nèi)容發(fā)布、網(wǎng)絡(luò)接入安全服務(wù)：秘鑰管理、云盾云市場：云市場：VM鏡像、容器鏡像、編排模版、API服務(wù)內(nèi)容分發(fā)內(nèi)容分發(fā)數(shù)據(jù)智能：商業(yè)智能、數(shù)據(jù)開發(fā)、人工智能數(shù)據(jù)智能：商業(yè)智能、數(shù)據(jù)開發(fā)、人工智能云服務(wù)層：云服務(wù)的WebAPI云服務(wù)層：賬號、認(rèn)證授權(quán)、計量、結(jié)算內(nèi)核層：數(shù)據(jù)中心級別的集群計算系統(tǒng)物理層：互聯(lián)網(wǎng)規(guī)模的基礎(chǔ)設(shè)施自自天動基化運(yùn)維連接編排服務(wù)：彈性伸縮、資源編排、通知隊(duì)列、分布式事務(wù)管理連接編排服務(wù)：彈性伸縮、資源編排、通知隊(duì)列、分布式事務(wù)管理計算計算計量計量伏羲：分布式資源調(diào)度伏羲：分布式資源調(diào)度監(jiān)控報警、跟蹤診斷監(jiān)控報警、跟蹤診斷遍布全球的幾十個數(shù)據(jù)中心、數(shù)百個遍布全球的幾十個數(shù)據(jù)中心、數(shù)百個POP節(jié)點(diǎn)taDatataData低擾的高精度監(jiān)控跟蹤High-resolutionMonitoringandTracingwithMinimumOverhead默認(rèn)開啟、7x24、秒級采樣全精度用戶請求跟蹤指令級別的性能優(yōu)化Instruction-levelOptimization支持每秒上百萬事件的采集應(yīng)用升級應(yīng)用升級OS克隆硬件上架OS克隆應(yīng)用部署OSOS升級應(yīng)用啟動應(yīng)用遷移硬件下架應(yīng)用遷移到狀態(tài)機(jī)系統(tǒng)運(yùn)行狀態(tài)線上調(diào)試AgentAgentAgentAgentAgentAgentAgentAgent天基Master預(yù)期狀態(tài)當(dāng)前狀態(tài)執(zhí)行計劃天基Master預(yù)期狀態(tài)當(dāng)前狀態(tài)執(zhí)行計劃Agent面向恢復(fù)的計算模型CSCSCSCSCSCSCSCS盤古：分布式存儲管理統(tǒng)一的存儲管理Paxos基于Paxos的高可用架構(gòu)Paxos單集群一萬臺服務(wù)器，十億級文件數(shù)，EB級別存儲空間數(shù)據(jù)可靠是最高優(yōu)先級默認(rèn)三副本數(shù)據(jù)冗余，分布在不同機(jī)架，數(shù)據(jù)可靠性達(dá)到10個9支持跨數(shù)據(jù)中心的副本分布數(shù)據(jù)可靠是最高優(yōu)先級數(shù)據(jù)可靠是最高優(yōu)先級端到端的數(shù)據(jù)校驗(yàn)：防止數(shù)據(jù)讀寫鏈路上的任何環(huán)節(jié)的問題導(dǎo)致數(shù)據(jù)發(fā)生錯誤數(shù)據(jù)可靠是最高優(yōu)先級并發(fā)冗余恢復(fù)：確保故障后數(shù)據(jù)即刻恢復(fù)冗余硬件替換＋原地恢復(fù)恢復(fù)速度受限于硬盤寫入帶寬最快27小時恢復(fù)冗余前臺應(yīng)用無法讀寫盤古：并發(fā)冗余恢復(fù)恢復(fù)速度與集群規(guī)模成反比關(guān)系前端應(yīng)用完全無感知資源調(diào)度資源調(diào)度資源調(diào)度的挑戰(zhàn)ChallengesofResource萬臺集群規(guī)模多維度資源請求額度控制負(fù)載均衡復(fù)雜的調(diào)度約束APPMasterAPPWorkerAPPAPPWorkerAPPMasterAPPWorkerAPPAPPWorkerAPPWorkerWorkerAPPMasterAPPWorkerWorkerAPPWorker兩級調(diào)度：批發(fā)＋零售增量調(diào)度：一次請求、多次分配單集群規(guī)模一萬臺，10萬個進(jìn)程，毫秒級響應(yīng)2015年排序競賽四項(xiàng)冠軍，100TB排序377秒完成總和兼顧效率與公平總和150%資源復(fù)用率額度超售實(shí)際使用額度拉伸150%資源復(fù)用率額度超售實(shí)際使用額度拉伸額度收縮額度收縮規(guī)模性能效率高可靠