鄭巖-華為云客服AI助手的大模型實踐與思考

鄭巖@華為云此圖片為AI生成Aboutme–鄭巖，from華為云BP&IT團隊2通過本次分享，你可以了解到：?華為云客服AI“養(yǎng)成之路”?華為云客服AI落地過程中，遇到的“三道坎”及解題方法?在企業(yè)中應(yīng)用AI大模型的“避坑指南”1.探路篇：華為云客服AI助手工作復(fù)盤2.避坑篇：在企業(yè)內(nèi)部應(yīng)用AI大模型的思考痛點1客戶官網(wǎng)智能客服華為云客服業(yè)務(wù)背景：最重要的客戶觸點之一，如何持續(xù)提升用戶體驗和問題閉環(huán)效率？痛點1客戶官網(wǎng)智能客服客服坐席痛點2痛點25客服業(yè)務(wù)的技術(shù)演進歷程：期待能夠面向客戶和坐席，提供更“有用”的客服AI助手作業(yè)數(shù)字化6客服AI助手的“養(yǎng)成之路”：跨過“三道坎”，依然還在路上…NOW：最新模型NOW：最新模型，客服AI助手方案沉淀，孵化AICore，復(fù)制到SRE、營銷、SMB輔銷?覆蓋客服全員，組建客服AI運營團隊?落地DataGrounding、多模態(tài)解析，探索語音場景階段⑤：盤古38B階段⑤：盤古38B+提示詞工程+RAG+人工標(biāo)注+SFT微調(diào)+作業(yè)即標(biāo)注Plus+AI萃取經(jīng)驗知識+持續(xù)運營問題：日調(diào)用超100w次，資源和性能瓶頸凸顯，如何高效使用資源？如何解決復(fù)雜問題？?客服AI助手融入作業(yè)流程，AI萃取歷史工單經(jīng)驗第③道坎：階段④：盤古11B+提示詞工程+RAG+人工標(biāo)注+SFT微調(diào)+作業(yè)即標(biāo)注+AI萃取經(jīng)驗知識問題：部分產(chǎn)品存量知識不夠，冷啟動效果差、周期長?客服AI插件版上線，試點團隊推廣第②道坎：?認證AI訓(xùn)練師第②道坎：階段③：盤古11B+提示詞工程+階段③：盤古11B+提示詞工程+RAG（向量索引）+人工標(biāo)注+SFT微調(diào)問題：人工標(biāo)注效率低、標(biāo)注質(zhì)量差，誰來標(biāo)、誰來檢？?聯(lián)合EI服務(wù)，早期試用CSS向量索引及盤古大模型SFT能力階段②：盤古11B+提示詞工程+RAG問題：模型能力不足、上下文過短、關(guān)鍵詞檢索不準(zhǔn)?聯(lián)合EI服務(wù)，早期試用盤古大模型階段①：POC階段①：POC，盤古11B內(nèi)測，直接作答問題：通用大模型不理解垂域知識、信息安全如何保障？72023.112023.032023.052023.072023.092024.Q172023.11①讓AI大模型能“做事”，當(dāng)前僅靠簡單的R+A+G還遠遠不夠，還需要3個關(guān)鍵配套本質(zhì)上是一種工程化“代償”方案Source:codeconductor.ai8難，還需要幾個關(guān)鍵配套?配套1：工程化實現(xiàn)?配套2：企業(yè)知識管理?配套3：全鏈路監(jiān)控/評估附：RAG工程化實現(xiàn)方案，初看是搜索，越做越是Agent/wiki/wiki…+盤古+盤古+盤古+盤古Y：輸出標(biāo)準(zhǔn)答案+盤古+盤古Y：輸出標(biāo)準(zhǔn)答案+盤古9②只有讓AI飛輪“低功耗”轉(zhuǎn)起來，才能讓“AI養(yǎng)成”這個游戲持續(xù)的玩下去?企業(yè)場景用戶量有限（k級反饋率極低（<5%拿不到足夠的反饋，就無法支撐AI持續(xù)迭代，怎么破？我們的解題思路：“作業(yè)即標(biāo)注”，重新設(shè)計作業(yè)過程，將AI反饋流程與作業(yè)流程融合，以驅(qū)動AI飛輪作業(yè)循環(huán)作業(yè)循環(huán)AI答的差×AI答的好√經(jīng)驗經(jīng)驗③持續(xù)提升領(lǐng)域AI大模型能力的“秘方”是什么？?如何讓AI大模型的能力提升符合預(yù)期：理解垂域知識，執(zhí)行垂域任務(wù)，有更多數(shù)據(jù)和算力來持續(xù)投入訓(xùn)練我們的解題思路：1、一套企業(yè)級的L1大模型?集中資源和精力，打磨一個“懂行”的企業(yè)級L1基模型（也可能是開源的行業(yè)大模型）↓↓↓練練2、深刻理解數(shù)據(jù)，才能持續(xù)提升數(shù)據(jù)質(zhì)量?對訓(xùn)練數(shù)據(jù)集建模，本質(zhì)上是在對業(yè)務(wù)任務(wù)建模（嘗試弄清楚AI到底缺啥數(shù)據(jù)？缺多少？--“實習(xí)生測試”）?持續(xù)改進訓(xùn)練數(shù)據(jù)和提示詞（多看數(shù)據(jù)+評測體系）?不斷research（當(dāng)然，得先做search）客服AI應(yīng)用試點情況：過去一年時間，在AI輔助下，工單平均處理時長下降35.11%最終，你會發(fā)現(xiàn)：AI大模型落地不僅僅是IT挑戰(zhàn)，還是一場業(yè)務(wù)變革…第一階：場景第二階：流程層一重新定義第一階：場景第二階：流程層一重新定義智能業(yè)務(wù)要到第四階：數(shù)據(jù)層二交付第四階：數(shù)據(jù)層二交付第五階：IT層三持續(xù)運營智能應(yīng)用1.探路篇：23年AI輔助華為云業(yè)務(wù)工作復(fù)盤2.避坑篇：在企業(yè)內(nèi)部應(yīng)用AI大模型的思考思考：在企業(yè)中應(yīng)用AI大模型的幾個“坑”1.AI大模型的“代償”一時爽，一直“代償”能一直爽嗎？2.我的IT團隊能“適應(yīng)”AI大模型應(yīng)用時代嗎？應(yīng)該從哪兒開始搞起？沿著AI大模型的第一性原理，一切才剛剛開始，別在AI大模型前進的車輪下“繡花”O(jiān)penAIGPTGoogleGeminiAnthropicClaude思考：AI技術(shù)“大變局”下，哪些是不變的？--更快、更準(zhǔn)、更長、更便宜、更多模態(tài)因地制宜，選擇合適的“游戲模式”，組建GenAI應(yīng)用團隊，與AI大模型共同成長 1思考：與傳統(tǒng)IT團隊人員配置差異很大；從應(yīng)用角度，用好ICL，輔以SFT，按需做增量預(yù)訓(xùn)練，是不錯的選擇以終為始，用“AI+”思想設(shè)計，以“+AI”來逐步改變，當(dāng)下正是“春耕時節(jié)”Source:SpaceX-Missions:Ma思考：當(dāng)下是與業(yè)務(wù)建立統(tǒng)一認知、組建團隊、練兵的好時機；應(yīng)當(dāng)甄選“好”場景，小處著手，低垂的果子先摘?我們的“探路”報告①為了讓AI大模型能“做事”，RAG有用，但遠遠不夠，需要三個配套（工程化實現(xiàn)、企業(yè)知識管理、全鏈路評測）②為了讓AI飛輪“低功耗”轉(zhuǎn)起來，重新設(shè)計業(yè)務(wù)流程和IT交互，讓AI大模型融入作業(yè)（“作業(yè)即標(biāo)注”）③為了持續(xù)提升領(lǐng)域AI大模型能力，需要建立企業(yè)級L1，并對訓(xùn)練數(shù)據(jù)建模，以改進數(shù)據(jù)質(zhì)量④加餐：企業(yè)AI變革的“三層五階八步”方法