多租戶下的算力分配和調度實踐-貝殼找房+王天慶

計算存儲/容器引擎技術負責人主要負責的技術方向:QAQA統(tǒng)一存儲底座統(tǒng)一存儲底座統(tǒng)一資源池調度資源出借流量調度組織壁壘混合多云跨地域成本意識資源出借流量調度組織壁壘混合多云跨地域成本意識原始文件原始文件訓練數(shù)據集模型文件跨云訪問數(shù)據慢-加數(shù)據緩存跨云訪問數(shù)據慢-加數(shù)據緩存跨云復制數(shù)據慢-跨區(qū)增加數(shù)據副本整個數(shù)據流轉涉及到跨地域整個數(shù)據流轉涉及到跨地域、跨云怎么辦？?混合云架構多級緩存加速混合云架構多級緩存加速基礎設施的變化滿足數(shù)據多種接入協(xié)議，支持模型支持云原生、支持數(shù)據的動態(tài)編排底層文件系統(tǒng)要保證高性能、高容依賴便宜、高容量的對象存儲作為低硬件成本低硬件成本鏡像的能力。騰訊云-上海區(qū)騰訊云-上海區(qū)AI算力機房-北京AI算力機房-天津桶權限管理復制管理桶權限管理復制管理服務器服務器服務器服務器服務器該組件主要用于實現(xiàn)S3接口協(xié)議，該組件是完全無狀態(tài)服務，元數(shù)據主要從KOS控制面中獲取。JuicsFS卷KosCacheJuicsFS卷KosCache服務器服務器JuicsFS卷KosCache服務器JuicsFS卷KosCache服務器服務器JuicsFS卷KosCacheJuicsFS卷JuicsFS卷KosCacheKosCacheJuicsFS卷KosCacheJuicsFS卷KosCache服務器服務器JuicsFS卷KosCache服務器JuicsFS卷KosCache服務器服務器JuicsFS卷KosCacheJuicsFS卷JuicsFS卷KosCacheKosCacheJuicsFS卷KosCacheKos-syncerKOS-Cache數(shù)據緩存層該組件主要功能是從底層真實的對象存儲中緩存數(shù)據到本地磁盤中，并且可以分布式部署形成緩存集群來提高對象存儲的吞吐能力。KOS-MetaKOS-MetaCubeFS騰訊云KOS-MetaKOS-MetaCubeFS騰訊云COS騰訊云COS騰訊云COS該組件主要對對象存儲服務提供元數(shù)據能力，以OceanBase為底層元數(shù)據引擎，提供就近獲取到對象存儲元數(shù)據信息的能力。統(tǒng)一存儲底座-對象存儲統(tǒng)一存儲底座-對象存儲（分布式哈希）復制因子=2分散在各個Zone桶+文件名生成唯一key KOS-Cache節(jié)點的token范圍Ingrester篩選文件寫入文件元數(shù)據對于文件的讀取，會優(yōu)先判斷文件是否在啟用了數(shù)據緩存，如果存在緩存的話就會優(yōu)先從緩存節(jié)（分布式哈希）復制因子=2分散在各個Zone桶+文件名生成唯一key KOS-Cache節(jié)點的token范圍Ingrester篩選文件寫入文件元數(shù)據篩選文件數(shù)據KOS-Cache[北京一區(qū)]10.201.0.1KOS-Cache[北京一區(qū)]10.201.0.2Kos-proxy所有歸屬于同一組的緩存節(jié)點都會以哈希環(huán)的形式分布好篩選文件數(shù)據KOS-Cache[北京一區(qū)]10.201.0.1KOS-Cache[北京一區(qū)]10.201.0.2Kos-proxyKOS-Cache[上海一區(qū)KOS-Cache[上海一區(qū)]10.203.0.3KOS-Meta通過實現(xiàn)S3協(xié)議，在對象存儲文件生命周期過程中，生成文件對應的元信息并寫入到OceanBase中，同時OceanBase做好多AZ和多地域的同步支持，此時就可以通過OceanBase實現(xiàn)支持海量數(shù)據的對象存儲服務。一處寫入一處寫入、處處讀取無論GPU資源如何交付，借鑒的開源方案服務無論部署在任一聯(lián)邦管理的集群服務無論部署在任一聯(lián)邦管理的集群，總能被發(fā)現(xiàn)。借鑒了MCSAPI的定義。集群導入并被“發(fā)現(xiàn)”KCSAgentKCSAgent1資源申請對1資源申請對于公司專項項目，預算充足，算力申請可以按照場景可以按照卡型卡數(shù)申請，對SLA不高的場景可以直接使用共享隊列，提供低優(yōu)先級調度的算力資源。22資源出借對于一些租戶是算力大戶，當算力溢出存在空閑場景的時候，可以根據利用率、指定時段等策略來進33資源調度對于算力的調度策略，我們推薦采用常駐+彈性副本的方式，常駐盡量高優(yōu)先級調度到獨享資源上，保證流量最小副本承載量，對于突發(fā)流量以及潮汐場景采用共享隊列來作為補充。地區(qū)親和性等等。更多算力場景建立資源閑時復用能力更多算力場景尋找更多的算力場景：離線推理，結合Spark提升處理數(shù)據的效率。使用率。資源復用資源復用接入公有云的彈性資源，按需使用，及時釋放空閑資源。節(jié)點每天22點到第二天8點把8C32G4張GPU卡借給隊列queue節(jié)點每天22點到第二天8點把8C32G4張GPU卡借給隊列queue-1,工作過程原理如下:資源調度-資源出借資源調度-資源出借節(jié)點資源出借節(jié)點資源出借預留資源:排除掉節(jié)點已屬于指定的隊列。時歸屬于指定的隊列。資源調度-資源復用資源調度-資源復用大化利用。借的資源)，但是共享隊列的SLA共享隊列。BB多集群聯(lián)邦感知管理的集群內所有的資源狀態(tài)以及支持基于租戶多集群聯(lián)邦感知管理的集群內所有的資源狀態(tài)以及支持基于租戶、隊列維度的精細化調度能力。DA跨集群存儲底座基于JuiceFS，支持數(shù)據編排、預熱提高數(shù)據流轉效率，提高算力的利用效率成本驅動要形成良好的技術運營的體系，成本驅動資源利成本驅動要形成良好的技術運營的體系，成本驅動資源利用率的提升，閑置資源產生效益打破組織邊界。C超級節(jié)點將集群聯(lián)邦中閑置的算力資源整合成虛擬節(jié)點，以簡單易用的形式對用戶提供算力資源流量調度-網關架構流量調度-網關架構多云架構多云架構AAI親和的負載均衡算法流量調度-現(xiàn)狀分析流量調度-現(xiàn)狀分析大模型場景下，KVCache的緩存數(shù)據存在局部性，基于公平調度的負載策略無法最大命中KVCache。流量有明顯的業(yè)務特征，基于公平調度的負載均衡策略存在算力饑餓的問題，算力被大流量業(yè)務搶占導致其他請求得流量調度-異構調度流量調度-異構調度算力瓶頸,限流1.GPU資源異構存在差異的情況下，傳統(tǒng)的公平調度算法會導致實例負載不均衡。3.盡量保證各個實例之間的Prefill均衡。4.如果具備推理框架改造的能力，可以考慮基于推理框架的反饋來優(yōu)化請求投遞的策略。流量調度-緩存親和性流量調度-緩存親和性1.