大模型在日志運(yùn)維場景的應(yīng)用實(shí)踐-2023 饒琛琳正式版

分享主題大模型在日志運(yùn)維場景的應(yīng)用實(shí)踐饒琛琳日志易產(chǎn)品副總裁目錄Contents01. 02. 03.大模型在日志場景的應(yīng)用方向?qū)嵺`運(yùn)用大模型的路徑大模型在金融企業(yè)應(yīng)用案例更快捷的分析海量日志更智能的解讀和預(yù)測故障理想vs現(xiàn)實(shí)：估算資源

構(gòu)建高質(zhì)量的訓(xùn)練數(shù)據(jù)背景：某金融企業(yè)大量業(yè)務(wù)日志模型的評(píng)估和迭代優(yōu)化難點(diǎn)：關(guān)鍵字復(fù)雜多變產(chǎn)品設(shè)計(jì)“揚(yáng)長避短”方案：實(shí)現(xiàn)知識(shí)庫增強(qiáng)的自然語言查詢效果：故障排查時(shí)間縮短40%大模型在日志場景的應(yīng)0用方向1更快捷的分析海量日志更智能的解讀和預(yù)測故障理想vs現(xiàn)實(shí)：估算資源谷歌Sec-PaLM的日志概要效果日志問答方案(1)：超大窗口問題1：窗口不會(huì)無限大，日志卻無限多。問題2：對(duì)于長文本中部的內(nèi)容，LLM不太敏感。日志問答方案(2)：AgentChain問題1：運(yùn)維知識(shí)理解的要求較高問題2：agent/functioncall能力要求較高日志問答方案(3)：模式提問+分段選擇資源消耗估算場景看起來很美好，但實(shí)際部署時(shí)存在一定成本壓力。我們進(jìn)行了一些簡單的資源估算:1000條SSH日志大概包含5-6萬個(gè)tokens。對(duì)于這個(gè)長度，LLM推理速度較慢，需要10多秒。使用最新的Yi-6b-200k模型測試，24GB顯存僅能處理約3ktokens，相當(dāng)于50行日志。按ChatGLM規(guī)模預(yù)估,80G顯存的單卡最多只能處理200行SSH日志。并行計(jì)算時(shí)，8塊80G卡也只能同時(shí)處理約1600行。結(jié)論:直接進(jìn)行日志問答，在理論上可行，但算力需求巨大。該方案實(shí)際成本過高，目前的硬件條件難以支撐實(shí)際應(yīng)用。生成和調(diào)用現(xiàn)有分析工具相對(duì)更現(xiàn)實(shí)。實(shí)踐運(yùn)用大模型的路徑02構(gòu)建高質(zhì)量的訓(xùn)練數(shù)據(jù)模型的評(píng)估和迭代優(yōu)化產(chǎn)品設(shè)計(jì)“揚(yáng)長避短”Text2SPL場景介紹/背景TexttoSQL任務(wù)是NLP領(lǐng)域的經(jīng)典課題之一。常見的數(shù)據(jù)集有：WikiSQL，維基百科數(shù)據(jù)集主要是單表查詢，語句比較簡單。Spider，數(shù)據(jù)集包含join等多表和嵌套，語句比較復(fù)雜。在seq2seq之前，模板技術(shù)一般評(píng)分20+；bert/T5之前，一般評(píng)分60+；ChatGPT將評(píng)分提升到85+。CoSQL，在Spider的基礎(chǔ)上添加了模糊語義多輪對(duì)話。目前評(píng)分在50+。BIRD：新一代數(shù)據(jù)集，不光考慮表結(jié)構(gòu)，還要考慮臟數(shù)據(jù)、執(zhí)行效率。目前ChatGPT評(píng)分為40。

SPL對(duì)比SQL的差異：沒有預(yù)知的tableschema。要自行判斷prompt里哪些名詞疑似字段名。無法直接套用ChatGPT，SPL目前只是概念通用，語法層無標(biāo)準(zhǔn)：日志易SPL語法和splunk/kusto/esql/ppl/humio有差別。日志易內(nèi)置字段也和CIM/ECS有差別。通用大模型的表現(xiàn)(1)：GPT對(duì)比T5的飛躍自然語言提問splunk-google-t5ChatGPTsearchforthetermserror,failfailure,failed,orsevereindex=_internalfail*not[searchindex=_internalsearch(errorORfailORfailureORfailedORsevere)intheeventsthatalsomentionbuttercupgameserror,fail*errorANDbuttercupgamessearchthesourcetypefieldforanyvaluesthatbeginindex=access_*status=200action=purchase|chartsearchsourcetype="access_*"status=200withaccess_,status200,andaction"purchase".usethecount(price)action="purchase"chartcommandtocountthenumberofpurchases.the就這一條是可以直接運(yùn)行的，還和期望輸出有差距|chartcount(action)bycategoryIdsearchspecifiesthepurchasesmadeforeachproduct|evalpurchases=sparkline(count)byusingcategoryId.Thedifferenceisthatthecountof就這一條是不能直接用的。兩次追加提示后改對(duì)：purchasesisnowanargumentofthesparkline()searchsourcetype="access_*"status=200function.action="purchase"|chartsparkline(count(action))bycategoryIdsearchthesourcetypefieldforanyvaluesthatbeginsourcetype=access_*status=200actionpurchase|topsearchsourcetype="access_*"status=200withaccess_,geteventswithstatus200,andactioncategoryIdaction="purchase""purchase".thencomputethemostcommon|topcategoryIdcategoryIdvalues.searchthesourcetypefieldforanyvaluesthatbeginsourcetype=access_*status=200actionpurchase|topsearchsourcetype="access_*"status=200withaccess_,geteventswithstatus200,andactionclientipaction="purchase""purchase".thencomputetheonemostcommon|top1clientipclientip.searchthesourcetypefieldforanyvaluesthatbeginsourcetype=access_.|statsvalues(price)aspricebysearchsourcetype="access_*"withaccess_,thegetpriceas"Price"byproductName,productName||evalPrice=pricethenrenameproductNamecolumnas"ProductName"|statsvalues(Price)byproductName|renameproductNameas"ProductName"兩次追加提示后改的更高效，并且能記住：searchsourcetype="access_*"|statsvalues(price)asPricebyproductName|renameproductNameas"ProductName"通用大模型的表現(xiàn)(2)：提示工程不是萬能的問題1：基礎(chǔ)模型較差時(shí)，復(fù)雜邏輯完全無法處理問題2：模型的預(yù)訓(xùn)練知識(shí)在細(xì)節(jié)處有嚴(yán)重干擾訓(xùn)練數(shù)據(jù)籌備(1)：內(nèi)外網(wǎng)數(shù)據(jù)搜集原始數(shù)據(jù)來源指令說明文檔手動(dòng)編寫，含多輪對(duì)話內(nèi)部應(yīng)用配置：圖表標(biāo)題及SPL語句github上公開的常用日志關(guān)鍵字github上公開的es/splunk/kusto安全分析規(guī)則訓(xùn)練數(shù)據(jù)籌備(2)：問答類數(shù)據(jù)增強(qiáng)ChatGPT成alpaca式的self_instruct方案：通過GPT-3.5接口，自動(dòng)生成部分微調(diào)數(shù)據(jù)。添加prompt聲明圈定問答范圍：ActasaSplunkExperttowriteSPL。然后人工復(fù)核，調(diào)整數(shù)據(jù)。訓(xùn)練數(shù)據(jù)籌備(3)：豐富提問方式StarChat扮演starcoder是開源LLM中編碼能力最強(qiáng)的。實(shí)驗(yàn)發(fā)現(xiàn)他甚至能給出具體的splunk文檔url。通過A/B角色扮演，讓starcoder說出對(duì)應(yīng)SPL語句的提問。效果一般，清洗后去掉了三分之二的數(shù)據(jù)。訓(xùn)練數(shù)據(jù)籌備(4)：加入其他產(chǎn)品知識(shí)檔問答利用pandoc工具將word文檔轉(zhuǎn)為markdown純文本。來自北交大transGPT交通大模型的LLMforDialogDataGenerate方法，基于文本生成問答。模型的評(píng)估與迭代嘗試不同基礎(chǔ)模型的效果：baichuan2的loss長期不收斂嘗試不同數(shù)據(jù)配比的效果：1:2>1:5>1:1嘗試構(gòu)建除文本匹配以外的驗(yàn)證方案：引入SPLparserAPI語法校驗(yàn)對(duì)比索引實(shí)際響應(yīng)內(nèi)容有趣的是：和Splunk得到了相似的結(jié)論。揚(yáng)長避短的產(chǎn)品設(shè)計(jì)瀏覽器插件形式：兼容全部主產(chǎn)品版本、獨(dú)立迭代錨定搜索頁：獲取數(shù)據(jù)集、字段列表等即時(shí)知識(shí)敏感數(shù)據(jù)攔截：注重?cái)?shù)據(jù)安全，避免個(gè)人隱私外發(fā)大模型在金融企業(yè)應(yīng)用0案例3背景：金融企業(yè)大量業(yè)務(wù)日志難點(diǎn)：關(guān)鍵字復(fù)雜多變方案：實(shí)現(xiàn)知識(shí)庫增強(qiáng)的自然語言查詢效果：故障排查時(shí)間縮短40%案例背景①.金融企業(yè)通常有200-600個(gè)業(yè)務(wù)系統(tǒng)，口頭叫法大同小異，但開發(fā)商輸出到日志里，實(shí)際用的是什么標(biāo)識(shí)符？

③.找到返回碼了，②.業(yè)務(wù)系統(tǒng)上千個(gè)返回碼，人只記得住最常見的 不過你問的是什么錯(cuò)誤提示呢？10來個(gè)。其他的中文含義對(duì)應(yīng)啥返回碼？ChatSPL效果