中國移動(dòng)研究院岳烈驤在6GANA第六屆全體會(huì)議上的演講：網(wǎng)絡(luò)運(yùn)維大模型白皮書

網(wǎng)絡(luò)運(yùn)維大模型白皮書本白皮書旨在深入探討網(wǎng)絡(luò)運(yùn)維大模型領(lǐng)域的最新技 1網(wǎng)絡(luò)運(yùn)維發(fā)展現(xiàn)狀 2網(wǎng)絡(luò)運(yùn)維演進(jìn)面臨的挑戰(zhàn)和機(jī)遇 1網(wǎng)絡(luò)運(yùn)維發(fā)展現(xiàn)狀 2網(wǎng)絡(luò)運(yùn)維演進(jìn)面臨的挑戰(zhàn)和機(jī)遇利用現(xiàn)有大語言模型運(yùn)維評(píng)測得分GPT-3.5-turbo74.1953XVERSE-13B62.8086Chinese-Alpaca-2-58.7687Llama2-13B-Chat58.1900Baichuan-13B-Chat56.8342InternLM-7B-Chat55.2634Chinese-LLaMa-2-54.4312ChatGLM2-6B48.3025Qwen-7B43.052概念，相關(guān)要求1，面向網(wǎng)絡(luò)運(yùn)維場景，利用人工智能大模型作為基座底座，通過flash-attention、ZeRO、混合精度等技術(shù)實(shí)現(xiàn)高效訓(xùn)練網(wǎng)絡(luò)知識(shí)，疊加多模態(tài)的運(yùn)維知識(shí)圖譜和混合專家模型，構(gòu)建運(yùn)維通用的大模型增強(qiáng)：私域知識(shí)：提示工程外掛知識(shí)圖譜增強(qiáng)：私域知識(shí)：提示工程外掛知識(shí)圖譜私域數(shù)據(jù)(實(shí)時(shí)、歷史)私域運(yùn)維工具運(yùn)維大語言模型引經(jīng)據(jù)典運(yùn)維知識(shí)圖譜·混合專家模型·多模態(tài)運(yùn)維數(shù)據(jù)基礎(chǔ)模型群基礎(chǔ)模型編程框架為垂直域數(shù)據(jù)相對(duì)不公開，算力和語料有一定限制，因此可以集中力量做好通用域基礎(chǔ)上，再疊加垂直域方面做一些增強(qiáng)化的工作。模型要求：除自然語言之外，網(wǎng)絡(luò)運(yùn)維中的各種監(jiān)控?cái)?shù)據(jù)是多模態(tài)的，涉及到典型的、多模態(tài)的數(shù)據(jù)源，需要多模態(tài)運(yùn)維數(shù)據(jù)的基礎(chǔ)模型群。接口要求：運(yùn)維大模型中還包含已有的自動(dòng)化的運(yùn)維工具，接口盡量標(biāo)準(zhǔn)化，能夠清楚地描述出API，如用自然語言描述出來的需求能夠直接轉(zhuǎn)換成對(duì)接口的調(diào)用，變成SQL，配置命令，API的調(diào)用，通過基礎(chǔ)模型的編程框架（LangChain,ApiChain等）編排在一起。需求，場景，價(jià)值 1愿景，需求大模型技術(shù)不僅在自然語言處理、計(jì)算機(jī)視覺以及多模態(tài)領(lǐng)域有廣泛的應(yīng)用前景，通信網(wǎng)絡(luò)中大模型技術(shù)能力和潛力，促進(jìn)通信網(wǎng)絡(luò)自智能力持續(xù)提升?；诖竽Ｐ图夹g(shù)有望實(shí)現(xiàn)網(wǎng)絡(luò)運(yùn)維領(lǐng)域的通用智能，面向客戶、運(yùn)維人員、網(wǎng)絡(luò)設(shè)備等全要素、全場景，提供全新的用戶交互、信息組織和系統(tǒng)集成模式，促使運(yùn)維模式從“網(wǎng)絡(luò)+AI”向“AI+網(wǎng)絡(luò)”轉(zhuǎn)變。 核心網(wǎng)：智能業(yè)務(wù)質(zhì)量定義與分配、切片狀態(tài)分析、 3價(jià)值降低數(shù)據(jù)標(biāo)注要求通用性，跨場景能力邏輯，理解能力4發(fā)展與實(shí)踐：大模型時(shí)代的網(wǎng)絡(luò)運(yùn)維意圖驅(qū)動(dòng)的對(duì)話式交互：基于全網(wǎng)全量知識(shí)、數(shù)據(jù)、事件的分析和決策：自適應(yīng)的全量設(shè)備對(duì)接操作：極簡運(yùn)維現(xiàn)場作業(yè)：等級(jí)等級(jí)特點(diǎn)提供交互式的運(yùn)維知識(shí)和數(shù)據(jù)的智能問答，理解自然語言問題，實(shí)現(xiàn)SQL生成式數(shù)據(jù)拉取，改變現(xiàn)有知識(shí)和信息的分發(fā)獲取模式。能夠基于數(shù)據(jù)語義，認(rèn)知網(wǎng)絡(luò)運(yùn)行狀態(tài)，進(jìn)行診斷和預(yù)測，提供臨場的多模態(tài)交互服務(wù)。運(yùn)維專家：實(shí)時(shí)洞察單專業(yè)網(wǎng)絡(luò)運(yùn)行全景信息，自動(dòng)生成網(wǎng)絡(luò)配置方案和指令，自主對(duì)接設(shè)備完成操作，減少人工干預(yù)。智能處理全網(wǎng)運(yùn)維事件，實(shí)現(xiàn)跨專業(yè)的業(yè)務(wù)端到端保障優(yōu)化，實(shí)現(xiàn)知識(shí)創(chuàng)新，引領(lǐng)網(wǎng)絡(luò)運(yùn)維自主演進(jìn)。5發(fā)展與實(shí)踐：大模型時(shí)代的網(wǎng)絡(luò)運(yùn)維1，大模型+運(yùn)維應(yīng)用知識(shí)由于涉及到“規(guī)、建、維、優(yōu)、營”各個(gè)方面，很難訓(xùn)練一個(gè)對(duì)所有任務(wù)都萬能的統(tǒng)一大模型，因此一個(gè)相對(duì)通用的大模型，然后通過外掛知識(shí)庫的方式，可能是一個(gè)經(jīng)濟(jì)有效的落地應(yīng)用解決方案。2，基于Agent以LLM為能力底座的AIAgent架構(gòu)，以網(wǎng)絡(luò)運(yùn)維大模型為基礎(chǔ)，結(jié)合AI-Agent的概念，給出承載網(wǎng)絡(luò)運(yùn)維大模型的應(yīng)用架構(gòu)，通過對(duì)多場景運(yùn)維大模型的協(xié)同使用，實(shí)現(xiàn)網(wǎng)絡(luò)智能化運(yùn)維6發(fā)展與實(shí)踐：網(wǎng)絡(luò)運(yùn)維大模型評(píng)測，評(píng)估網(wǎng)絡(luò)領(lǐng)域?qū)Υ_定性，可靠性，正確性高度要求，通過對(duì)性能的評(píng)測，進(jìn)化和改進(jìn)提供依據(jù)，提高其應(yīng)用效果和商業(yè)價(jià)值。還可以作為基準(zhǔn)，了解不同廠商提供的的性能和適用性，促進(jìn)不同領(lǐng)域研究者的技術(shù)交流和合作，共同推動(dòng)網(wǎng)絡(luò)人工智能技術(shù)的發(fā)展。網(wǎng)絡(luò)運(yùn)維大模型關(guān)注網(wǎng)絡(luò)運(yùn)維領(lǐng)域的服務(wù)能力，需要建立網(wǎng)絡(luò)領(lǐng)域大模型能力評(píng)測數(shù)據(jù)集、評(píng)測任務(wù)場景、評(píng)測效果指標(biāo)、評(píng)測方法，整體評(píng)估大模型在網(wǎng)絡(luò)運(yùn)維領(lǐng)域的各項(xiàng)服務(wù)能力。2，分階段評(píng)估運(yùn)維大模型應(yīng)用在網(wǎng)絡(luò)中，缺乏有效的評(píng)估可能導(dǎo)致模型在實(shí)際應(yīng)用中出現(xiàn)問題，增加應(yīng)用的風(fēng)險(xiǎn)。從試點(diǎn)應(yīng)用到擴(kuò)大應(yīng)用，最后全面應(yīng)用階段，可能給網(wǎng)絡(luò)系統(tǒng)帶來風(fēng)險(xiǎn)遞增，需要在三階段建立相應(yīng)遞增的嚴(yán)格的評(píng)估機(jī)制，保證準(zhǔn)確性、計(jì)算效率、安全性等。1234567相關(guān)的關(guān)鍵技術(shù)，難題1234567外掛知識(shí)庫：為解決知識(shí)更新快，模型增量訓(xùn)練成本高，以及隱私知識(shí)等問題，可以通過外掛知識(shí)庫如常用的向量數(shù)據(jù)庫借助文本向量化技術(shù)（如sentence-BERT）提升知識(shí)問答準(zhǔn)確性，并實(shí)現(xiàn)隱私保護(hù)。思維鏈ChainofThought:網(wǎng)絡(luò)運(yùn)維中的不少任務(wù)都需要模型具備邏輯推理的8 89相關(guān)應(yīng)用探索9網(wǎng)絡(luò)故障識(shí)別與預(yù)測網(wǎng)絡(luò)故障識(shí)別與預(yù)測基于運(yùn)維大模型對(duì)大量歷史數(shù)據(jù)的學(xué)習(xí)來預(yù)測未來趨勢，為主動(dòng)性預(yù)測運(yùn)維提供支撐。大模型賦能意圖驅(qū)動(dòng)運(yùn)維大模型賦能意圖驅(qū)動(dòng)運(yùn)維大模型在意圖理解、推理和判斷決策等方面具備明顯的優(yōu)勢，將大模型與意圖驅(qū)動(dòng)網(wǎng)絡(luò)相結(jié)合，能夠有效提升意圖轉(zhuǎn)譯準(zhǔn)確度，簡化意圖管理與網(wǎng)絡(luò)運(yùn)維流程。無線閉環(huán)優(yōu)化無線閉環(huán)優(yōu)化基于網(wǎng)絡(luò)語言大模型和網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)大模型，完成無線性能優(yōu)化的端到端閉環(huán)處理，涵蓋無線性能劣化發(fā)現(xiàn)、分析、定位和處理，服務(wù)網(wǎng)絡(luò)自配置、自修復(fù)和自優(yōu)化基站站址規(guī)劃基站站址規(guī)劃大模型在意圖理解、推理和判斷決策等方面具備明顯的優(yōu)勢，將大模型與意圖驅(qū)動(dòng)網(wǎng)絡(luò)相結(jié)合，能夠有效提升意圖轉(zhuǎn)譯準(zhǔn)確度，簡化意圖管理與網(wǎng)絡(luò)運(yùn)維流程。告警檢測與根因診斷告警檢測與根因診斷大模型學(xué)習(xí)歷史工單信息給出故障定位、故障止損建議和相似故障提示，提供與歷史故障的相似性比較以及當(dāng)時(shí)的止損方法運(yùn)維專家知識(shí)的問答大模型提高知識(shí)利用效率，知識(shí)運(yùn)用貼近場景化，知識(shí)更新反饋流程化。經(jīng)驗(yàn)啟示ü高質(zhì)量數(shù)據(jù)集以及數(shù)據(jù)規(guī)模是基礎(chǔ)。堆砌大量的數(shù)據(jù)進(jìn)行訓(xùn)練，找出其中的共性。模型的參數(shù)量太小會(huì)制約性能，并不是越大越好，增加數(shù)據(jù)量并保持一個(gè)平衡效果和使用成本的。ü微調(diào)數(shù)據(jù)多樣性可防止模型學(xué)偏。ü通過知識(shí)檢索增強(qiáng)可一定程度避免幻覺。訓(xùn)練數(shù)據(jù)有偏見或訓(xùn)練數(shù)據(jù)不足、訓(xùn)練數(shù)據(jù)過度擬合、上下文理解有限、領(lǐng)域知識(shí)缺乏、對(duì)抗攻擊和模型架構(gòu)等都會(huì)幻覺可以用KG增強(qiáng)大模型，增加可靠性。用Retrieval-AugmentedGeneratio：引經(jīng)據(jù)典，增強(qiáng)可解釋性，生成的內(nèi)容打上reference，展示出來源，白盒的生成模型。計(jì)劃安排，展望后續(xù)，2023.122024.1~22024.3?討論，迭代總結(jié)并呼吁開展更有實(shí)質(zhì)性的工作，包括工，可以把共性，