面向智算服務構建下一代可觀測Pipeline

01云原生智算服務關鍵技術 02智算服務可觀測需求與挑戰(zhàn)智算服務可觀測Pipeline智算服務可觀測Pipeline技術實踐 03下一代可觀測Pipeline 05未來展望?AI在計算機視覺、語音、?AI在計算機視覺、語音、NLP等領域取得突破，已深入影響各行各業(yè)，并催生出了自動駕駛等領域。?AI服務上云形成趨勢，深度學習/AIGC應用廣泛采用容器等云原生技術。深度學習的特點深度學習的特點?持續(xù)迭代優(yōu)化–梯度下降,超參數(shù)調(diào)優(yōu),Prompt工程?任務長時運行–小時/天/周/月?消耗海量數(shù)據(jù)和大量算力AI工程中的計算需求常常具有高度的動態(tài)性，如模型訓練和推理AI工程通常涉及多個團隊，不同任務需要獨立的資源隔離，避免環(huán)境一致性海量小文件數(shù)據(jù)集讀取?資源管理分散?資源管理分散、資源利開發(fā)模型訓練模型發(fā)布模型AI工程平臺GPU池存儲池到2025年，接近50%的企業(yè)內(nèi)部的數(shù)據(jù)密集型或性能密集型計算工作負載都將遷移到云云原生AI云原生AIAI異構工作負載TensorflowPytorchTensorflowPytorchDeepspeedHuggingfaceLangchain統(tǒng)一工作流，統(tǒng)一工作流，統(tǒng)一調(diào)度統(tǒng)一管理統(tǒng)一管理模型訓練可觀測人工智能平臺PAI（PaaS）模型推理可觀測模型訓練可觀測人工智能平臺PAI（PaaS）模型推理可觀測容器服務ACK（CaaS）智算服務PAI-靈駿（IaaS）生態(tài)擴展、集成工具鏈、APIAI作業(yè)生命周期管理高性能計算、存儲、網(wǎng)絡容器平臺云計算、存儲、網(wǎng)絡等資源異構,數(shù)據(jù)豐富度與時效性要求高。可觀測數(shù)據(jù)異構:不同的模型的觀測計算、存儲、網(wǎng)絡等資源異構,數(shù)據(jù)豐富度與時效性要求高。可觀測數(shù)據(jù)異構:不同的模型的觀測?可觀測數(shù)據(jù)采集的隔離性?全面的數(shù)據(jù)采集能力、靈活的數(shù)據(jù)處理彈性:工作負載增刪頻繁、生命周期不確定、流量突發(fā)大據(jù)大,擴容速度10kpod/min源變動等,需要彈性保證訓練連續(xù)性化實現(xiàn)擴縮容集群規(guī)模大?分布式訓練多個節(jié)點協(xié)同工作,可觀測數(shù)據(jù)一致性?跨地域/多集群的穩(wěn)定性與可管控性?強大的彈性能力?性能好、資源開銷低、穩(wěn)定可靠?支持多租?管控能力強，易用LoongCollectorLoongCollector是一款集卓越性能 iLogtail 服務發(fā)現(xiàn)LoongcollectorTelemetry一個輕量、高效、穩(wěn)定、可靠的架構，能夠?qū)崿F(xiàn)高吞吐量，Agent采集速率參數(shù)：logs-per-15Vector4488645iLogtailiLogtail在采集速率上優(yōu)勢明顯?！薄缎阅芘c可靠的超強碰撞！第三方測評基于時間片調(diào)度ZeroCopy：減少內(nèi)存拷貝Schema固定(where/extend)Schema-free處理Schema固定(where/extend)Schema-free處理(project-away/keep)Schema-free處理(parsejson/csv/regex)TaskTaskTaskTaskTask開放的管控協(xié)議百萬級機器管控、靈活分組及采集配置分發(fā)支持采集配置、進程配置、自定義命令開放的管控協(xié)議百萬級機器管控、靈活分組及采集配置分發(fā)支持采集配置、進程配置、自定義命令商業(yè)版管控（百萬級機器管控，企業(yè)級穩(wěn)定性）開源版管控服務（完全開源，可自由擴展）托管版管控服務（免運維，敬請期待）任何遵守開源管控協(xié)議v2的自有實現(xiàn)管控IP型機器組IP型機器組標識型機器組（相同user_defined_id）增強型機器組（基于ECS屬性，即將支持）言法SPL處理/編排VRL力現(xiàn)無無無力強中中后續(xù)通過eBPF能力持續(xù)中強中低中列t機制.列型GPUGPUGPUGPUGPUGPURoCERDMA網(wǎng)絡并行文件存儲并行文件存儲CPFS云產(chǎn)品用戶Target1Target2Target3…云產(chǎn)品用戶Target1Target2Target3…Worker管理、服務發(fā)現(xiàn)、負載均衡、水平擴容、平滑升級采集目標TargetN?MetricsServer云產(chǎn)品工程師容器GPU容器GPU監(jiān)控能力GPU壞卡狀態(tài)檢測多集多卡AIGPU壞卡狀態(tài)檢測多集多卡AI訓練，存儲時延增加導致GPU等待高性能計算，重負載情況下時延增加，毛刺增多高性能計算，重負載情況下時延增加，毛刺增多K8s每個Node部署一個日志Agent。負責采集當前Node所有容器標準輸出、文件日志或宿主機文件。一個POD中運行一個Sidecar僅采集該POD內(nèi)業(yè)務容器產(chǎn)生的文件日志。Logging-E.g.Ingress Logging-AuditLogging–ApplicationLogsLaongLaongcollector樣例通過字節(jié)流解析應用層協(xié)議，屏蔽了編程語言和編程框架的影響，大幅減少開發(fā)的復雜度。集群網(wǎng)絡拓撲-連通性診斷Thread1Thread1……Thread1Thread1Thread1 ……Thread8…?LoongCollector單機極限性能?極簡模式440M/s?多行切分模式400M/s?客戶端?服務器資源?LoongCollector?LoongCollector整體狀態(tài)