許小川-騰訊云安燈AI大模型應(yīng)用實(shí)踐與探索

Al大模型應(yīng)用實(shí)踐與探索許小川@騰訊云安燈服務(wù)繼別管理客戶用戶問題管理流程管理服務(wù)管理圖2傳統(tǒng)IT管理與ITSM之間的比較事故管理IT服務(wù)縱向從騰訊云向伙伴、客戶延伸已構(gòu)建騰訊云縱向從騰訊云向伙伴、客戶延伸已構(gòu)建騰訊云x伙伴x客戶的“協(xié)作網(wǎng)絡(luò)”安燈(客戶版)安免(伙伴版)安免(伙伴版)遠(yuǎn)程支持團(tuán)隊(duì)1-3線安燈(自用版)遠(yuǎn)程支持團(tuán)隊(duì)1-3線遠(yuǎn)程支持-服管團(tuán)隊(duì)現(xiàn)場/本地服務(wù)-服管團(tuán)隊(duì)服務(wù)360遠(yuǎn)程支持-服管團(tuán)隊(duì)業(yè)務(wù)場景舉例核心模塊業(yè)務(wù)場景舉例客戶支項(xiàng)目實(shí)持管理施管理●號數(shù)據(jù)可視管理●..●..研發(fā)過程管理●為什么需要騰訊云安燈數(shù)字化轉(zhuǎn)型數(shù)字化升級業(yè)務(wù)數(shù)字化管理流程數(shù)字化信息數(shù)字化數(shù)據(jù)Office...+安燈+安燈·有知識管理(借助AI提效).●.從業(yè)務(wù)數(shù)字化管理top-down,構(gòu)建完善的AI應(yīng)用增強(qiáng)回路——“安燈數(shù)字化轉(zhuǎn)型飛輪”業(yè)務(wù)決定加持決定騰訊混元Al流程注入數(shù)據(jù)產(chǎn)生AI的應(yīng)用和探索以云的客戶ITsupport業(yè)務(wù)流程為例客戶客戶一線智能優(yōu)先級安燈Copilot智能優(yōu)先級安燈Copilot可視化分析各種Agent傳統(tǒng)的客戶和接單人在建單體驗(yàn)問題“含1量%”高“含1量%”高·滿是“111111”的工單建單人·滿是“111111”的工單建單人接單人收到“一句話工單”,讓人抓狂!能不能詳細(xì)點(diǎn)!接單人...2+>>直接創(chuàng)建待辦事項(xiàng)，即事件單...2+自動帶入*以企業(yè)微信群消息建單為例智能摘要，自動填單智能摘要，自動填單服務(wù)千頭萬緒立即去做立即去做(Doitnow!)plannedway!)ⅢIIVI盡量別做不緊急傳統(tǒng)的優(yōu)先級矩陣impacthighmedium345323323MediumresolutionurgencyHighLownorealurgency客戶滿意度提升瓶頸·距離卓越還有差距·追加投入效果不明顯智能調(diào)度介入處理智能調(diào)度介入處理內(nèi)部投訴已訴訟機(jī)器學(xué)習(xí)判斷風(fēng)險(xiǎn)等級師幫忙看看賠償2024/04/0315.4755賠償2024/04/0315.4755跨集群可以回檔啊，但是幾十個(gè)用戶連接不了數(shù)據(jù)庫Aa(業(yè)務(wù)上物mwqin看過>情緒切量mwqin看過>情緒切量n2024/04/0315:40.572u(Whoro+bn,o)直接連接dbu(Whoro+bn,o)22ben202404/035.49.07重啟Proxy22復(fù)現(xiàn)OEmbeddingveOEmbeddingveDensefeatureDeeplayerOutput數(shù)據(jù)丟失疑似業(yè)務(wù)影響proxy數(shù)據(jù)丟失疑似業(yè)務(wù)影響業(yè)務(wù)影響普通催單催單緊急催單滿意度提升15%投訴率降低24%業(yè)務(wù)影響普通催單催單緊急催單人工人工~45%簡簡單的檢索和生產(chǎn)基于關(guān)鍵詞相似匹配文檔上下文檢索和生成基于上下文理解相關(guān)性過動態(tài)檢索和生成LLM在生成過程中根據(jù)需要動態(tài)檢索信息從多個(gè)來源檢索信息復(fù)雜的檢索和融合技術(shù)知識感知生成結(jié)合知識圖譜等方式使LLM能推理檢索的知識客戶輸入檢索生成例如**有效期**:1年內(nèi)有效.結(jié)合問題與提示器一線輸出索引用戶客戶張e三張三李e四李四王e五王五Forwardflow“1個(gè)好機(jī)制勝過10000遍日常管理”“1個(gè)好機(jī)制勝過10000遍日常管理”——吳昊安燈Copilot·要么向前賦能，否則向后傳遞·工作中潛移默化知識沉淀+12%2020H12021H12022H12023H12023H22024H12024H2EAI應(yīng)用：企業(yè)的“行業(yè)大腦”知識是“寶”,但未必為企業(yè)所“藏”知識是“寶”,但未必為企業(yè)所“藏”內(nèi)部知識安燈工作流工作流·流程即消費(fèi)無需專職·流程即反饋效果量化·流程即生成增強(qiáng)回路。業(yè)務(wù)場景。業(yè)務(wù)場景流動行業(yè)大腦檢索和生成問渠那得清如許?為有源頭活水來。Agent”傳統(tǒng)客戶畫像的弊病傳統(tǒng)客戶畫像的弊病·一抓就亂填·一放就不填另一些非結(jié)構(gòu)化INFORMATIONINFORMATION非結(jié)構(gòu)化基于行業(yè)大腦的智能畫像基于行業(yè)大腦的智能畫像智能畫像非結(jié)構(gòu)化引用來源：互聯(lián)網(wǎng)7“問我想問”從近期客戶對話流水中能否發(fā)現(xiàn)商機(jī)?品功能能感盡快宣善，溫足客戶的國求，那么這可能是一個(gè)商機(jī).①供這樣的服務(wù)，那么這可能是一個(gè)商機(jī)。②3.海外直擂機(jī)會：客戶表示海外直搐需要計(jì)算資原，這可能是一個(gè)案，那么這可能是一個(gè)商機(jī)。③掘商機(jī)。2024-05-21n.06.06客戶近期是如何評價(jià)友商的?客戶近期是如何評價(jià)友商的?2024-05-21110510客戶認(rèn)為友商在限速場景下能夠調(diào)整CDN本地覆蓋比例，優(yōu)先保證的流量。同時(shí)，在機(jī)房抖動時(shí)，友商能夠主動通知步原因。總體來說，客戶對友商的評價(jià)是積極的。①客戶近一個(gè)月是否明確提到了不滿和吐槽?客戶：這么長時(shí)間的影響，你們一直沒監(jiān)控嗎?客戶：板卡異常要這么久?網(wǎng)絡(luò)沒冗余的嗎?④客戶：你們這個(gè)本省都是100%的失敗，正常嗎?⑤2024-05-211:13:45近一個(gè)月客戶是否提到了贊賞和表揚(yáng)?2024-06-21113.50總結(jié)近一個(gè)月客戶遇到的kafka相關(guān)問題有哪些?2024-05-2113:3312消息并沒有那么多，①2.客戶提到某個(gè)消費(fèi)組沒有消費(fèi)，其他消費(fèi)組正常。②6.客戶遇到Kafka數(shù)據(jù)投遞問題，無法查到投遞到Kafka的數(shù)據(jù)大202405-211330:221.聯(lián)通二區(qū)機(jī)房①2.的電信、聯(lián)通機(jī)房②③3.移動-02機(jī)房④4移動機(jī)房⑤Agent”熱點(diǎn)發(fā)現(xiàn)熱點(diǎn)發(fā)現(xiàn)創(chuàng)題上定八區(qū)$S2XAA途據(jù)6圖源器留隱殿憑明類】銀8機(jī)金π而不是。局。創(chuàng)題上定八區(qū)$S2XAA途據(jù)6圖源器留隱殿憑明類】銀8機(jī)金π而不是。局。GWM驅(qū)團(tuán)7同四，但題究題7圓路高食G的像gwD7一下鄰器恩要險(xiǎn)。Al應(yīng)用：基于行業(yè)大腦的“騰訊云顧問Agent”騰訊云顧問——一站式云上可視化治理平臺基于“騰訊云顧問”,在線治理云架構(gòu)基于“騰訊云顧問”,在線治理云架構(gòu)架構(gòu)圖就是軟件工程師的語言，常被應(yīng)用到軟件研發(fā)全生命周期一張廣為流傳的架構(gòu)圖①安全的可靠的騰訊云的“我的”“我的”卓越架構(gòu)行業(yè)的行業(yè)的運(yùn)營卓越的可持續(xù)的AI應(yīng)用：基于行業(yè)大腦的“群聊Agent”探索話的形式交互，輸出方案SpeakUserProxyAgentMonthNo,pleaseplot%change!Gotit!Hereistherevisedcode..AssistantAgent%Installing…MonthandTESLAstockpricechangeYTD.Executethefollowingcode..ErrorpackageyfinanceisnotinstalledSorry!PleasefirstinstallyfinancethenexecuteUsesshellwithhuman-in-the-loopwritepythoncodeand thecode引用來源：互聯(lián)網(wǎng)；Microsoftautogen·啟發(fā)：建設(shè)一套腳手架，不同專業(yè)團(tuán)隊(duì)“調(diào)教”專家Agent,遇到問題直接拉群，群里多Agent聊著天就把問題解決網(wǎng)站訪問卡頓處理群群公告白u(yù)ser-proxyagent為什么網(wǎng)站訪問很卡?白網(wǎng)絡(luò)專家白u(yù)ser-proxyagent1.檢查并測試本地客戶端訪問域名的速度2.檢查是否因?yàn)榫W(wǎng)絡(luò)鏈路存在丟包或延時(shí)高的情況白網(wǎng)絡(luò)專家網(wǎng)速正常，不存在丟包現(xiàn)象。請CVM專家排查。白CVM專家服務(wù)器CPU過高，原因是XXXXXXX)XX,可以XX處理白u(yù)ser-proxyagent原因分析：XXXXXXXXXXXX解決方案：XXXXXXXXXXXX排障經(jīng)驗(yàn)、知識文檔、工具輸入問題獲取答案白網(wǎng)絡(luò)專家,專家B現(xiàn)實(shí)調(diào)教審核Ala小結(jié)智能建單智能助手行業(yè)大腦看板Agent智能優(yōu)先級安燈Copilot畫像AgentRepresent~75%oftotalannualimpactofgenerativeAlImpactasapercentageoffunctionalspend,%McKinsey&Company業(yè)務(wù)加持決定&PromptAl流程AugmentationTuning注入固化數(shù)據(jù)ITTree-of-產(chǎn)生場景微調(diào)評估&PromptAugmentationA