AIAgents在On-call助手場景中的探索與實踐

AI

Agents在On-call助手場景中的探索與實踐背景介紹相關(guān)工作調(diào)研方案介紹未來展望01背景介紹eBay

Sherlock.io

監(jiān)控平臺信號指標(biāo)日志追蹤事件能力多維分析告警規(guī)則異常檢測追蹤分析方案BCDGrootExemplarRemediationOn-call日常工作endpoints/API/...是什么？我的PromQL/LogQL/...寫的不對，可以幫我修改嗎？我的指標(biāo)/日志/事件/追蹤/...數(shù)據(jù)怎么不見了？我設(shè)置的告警怎么不觸發(fā)/反復(fù)觸發(fā)/觸發(fā)晚了/...？我的quota不夠，可以幫我增加嗎？…02相關(guān)工作調(diào)研檢索增強生成

RAGGaoetal.,2024,Retrieval-AugmentedGenerationforLargeLanguageModels:A

Survey.智能體

AI

AgentsWeng.2023.LLMPoweredAutonomousAgents.

https://lilianweng.github.io/posts/2023-06-23-agent/ReActYaoetal.,2023,ReAct:SynergizingReasoningandActinginLanguage

Models.反思

ReflectionShinnetal.,2023,Reflexion:LanguageAgentswithVerbalReinforcementLearning.Zhaoetal.,2023,ExpeL:LLMAgentsAreExperiential

Learners.ReflexionExpeL思維樹

ToTYaoetal.,2023,TreeofThoughts:DeliberateProblemSolvingwithLargeLanguage

Models.樹搜索

LLM

Agents

+

MCTSZhouetal.,2024,LanguageAgentTreeSearchUnifiesReasoningActingandPlanninginLanguageModels.Puttaetal.,2024,AgentQ:AdvancedReasoningandLearningforAutonomousAI

Agents.LATSAgent

Q…性價比？Kapooretal.,2024,AIAgentsThat

Matter.03方案介紹Le

PenseurGeneratedby

AI意圖識別

Intent

RecognitionSherlock：eBay的監(jiān)控平臺…Raptor:

eBay基于Java

Spring/Springboot的技術(shù)棧…platformmetrics:一種特殊類型的指標(biāo)…Hi，@sherlock-oncall，我的Raptor應(yīng)用怎么platform

metrics沒有了？私有詞匯識別+RAG路由

Routingendpoints/API/...是什么？我的PromQL/LogQL/...寫的不對，可以幫我修改嗎？我的指標(biāo)/日志/事件/追蹤/...數(shù)據(jù)怎么不見了？我設(shè)置的告警怎么不觸發(fā)/反復(fù)觸發(fā)/觸發(fā)晚了/...？我的quota不夠，可以幫我增加嗎？可以zoom幫我看下這個問題嗎？…Q&AAgentTriageAgentHierachical+Dynamicfew-shotexamples+

EnsembleQ&A/Escalate重路由

Re-routing用戶無法清晰描述問題用戶追問(QA

->

Triage)第一輪路由錯了4. …智能規(guī)劃

Intelligent

Planning我的指標(biāo)數(shù)據(jù)怎么不見了？歷史問題檢查用戶提供的PromQL檢查Onboard狀態(tài)檢查…4. …5. EscalatetoHuman

on-callCause：沒有onboardAction：檢測Onboard狀態(tài)Cause：rate-limitedAction：檢查使用量Cause：PromQL寫錯Action：檢測PromQL…受控執(zhí)行

Controlled

ExecutionReActSingle-PathBestFirst

Search平衡效果與花銷04未來展望評估方案難點：多輪對話式時間敏感多Agents系