網(wǎng)絡大模型十大問題白皮書2024

3 2 4 4 5 6 7 9 10 12 13 14 16 16 18 204ITU-RWP5D第44次會議正式通過了《IMT面向2030及未來發(fā)展的框架和總體目標建議書》,作為6G研究的一個重要的里程碑，代表了全球的6G愿景共識，其中AI與通信融合被作隨著大模型的顛覆性發(fā)展，AI在自然戶提供問題，生成文本等，并在結(jié)合多模態(tài)技術(shù)后不斷向更多領(lǐng)域拓展?？梢灶A計，大模型將會成為AI通信融合的關(guān)鍵組成部分。在提高網(wǎng)絡中AI的通用性和多任務處理能力等方面發(fā)揮重要然而我們需要意識到，大模型與AI在應用上是有著很大不同的。在以往AI模型的使用上，是通過收集大量的數(shù)據(jù)然后從頭訓練模型，因此需要關(guān)注是如何針對具體任務設計模型結(jié)構(gòu)、網(wǎng)類具體任務。另外，大模型意圖理解和涌現(xiàn)能力，也給大模型的應用帶來了更多的可能性，例如可以實現(xiàn)基于意圖的編排，調(diào)用各種工具實現(xiàn)具體任務等。同時，大模型的巨大參數(shù)量和算力需求，也為其在網(wǎng)絡中的應用帶來了新的挑戰(zhàn)。為此，我們需要重新梳理大模型和網(wǎng)絡結(jié)合這個領(lǐng)2.網(wǎng)絡大模型的定義大模型將在運維、執(zhí)行、驗證等方面為移動網(wǎng)絡服務。通過整合通信知識，大模型可以幫助檢測故障和生成解決方案。隨著網(wǎng)絡服務的多樣性和復雜性，大模型可以用來編排和調(diào)度任務流程，還可以進行性能優(yōu)化、環(huán)境預測、資源分配等。通過出色的生成能力，大型模型有望在驗證階段發(fā)揮重要作用，如室外復雜環(huán)境的通道生成、高鐵場景模擬等。因此，我們將無線通信網(wǎng)絡中使用的大模型定義為網(wǎng)絡大模型（NetGPT）。及性能需求上都有著明顯的區(qū)別。例如，應用在運維領(lǐng)域的模型可能與NLP領(lǐng)域LLM類似，可以直接對LLM進行微調(diào)得到；而應用于空口的模型與自然語言完全是另一套體系。因此，NetGPT并不是一個單一模型通配所有網(wǎng)絡場景，而是一系列模型的組合。需要注意的是，這種5NetGPT在通用性、基礎性和規(guī)模上，都是傳統(tǒng)各網(wǎng)元各自訓練出的特定場景模型所不能相比的。通用性上，NetGPT-L0要能在全網(wǎng)各領(lǐng)域通用，包含是電信領(lǐng)域的基礎知識，NetGPT-L1的通用性就差一些，局限在對應的領(lǐng)域內(nèi)；基礎性指的是能夠通過few-shot甚至zero-shotL2的基礎模型，通過各種策略來快速適配到新的場景中去，不再需要從頭開始訓練L2。而在模圖1NetGPT三層L0/1/23.十大基礎問題很多基礎問題需要去研究和解決。這些問題可以分為兩類，一類是大模型本身的設計類問題，另一類是網(wǎng)絡設計如何支撐大模型應用類問題，如圖6圖2網(wǎng)絡大模型NetGPT十大問題網(wǎng)絡技術(shù)研究，以需求和場景始。研究NetGPT的需求和典型場景是網(wǎng)絡大模型制定發(fā)展策略、規(guī)劃和優(yōu)化的基礎，并對網(wǎng)絡長期規(guī)劃、技術(shù)升級和演進決策具有重要意義。只有具備高增益的典型場景、高價值的典型業(yè)務，才能為NetGPT后續(xù)的落地和部署提供是停留在紙面的空中樓閣。因此，NetGPT的需求是否真實存在，需求程度如何，需要通過研究場景研究中，需要結(jié)合對未來技術(shù)趨勢的分析，需求和場景研究可以一定程度適度超前當前科技而就6G網(wǎng)絡發(fā)展而言，從“需求搜集”到“系統(tǒng)設計“，再到”規(guī)范標準“，“研發(fā)測試”，單設備/終端相對于云較為受限的計算能力，決定了NetGPT并不能像傳統(tǒng)AI那樣對網(wǎng)絡中的功能和算法進行簡單替換，而需要重新設計，包括適配無線網(wǎng)絡的NetGPT算法，以及原生支持7（1）NetGPT在網(wǎng)絡中提質(zhì)、增效、降本和拓收的需求和場景。體現(xiàn)在提高網(wǎng)絡AI普適性、網(wǎng)絡性能提升、網(wǎng)絡智能化管控優(yōu)化等方面。面向沉浸式通信、超大規(guī)模連接、超高可靠低時延、泛在連接、智能內(nèi)生、通感融合等未來網(wǎng)絡應用場景，相對目前的網(wǎng)絡管理與服務方式，網(wǎng)絡獲得較大的增益。例如，在多樣性的場景中，為不同場景的需求提供定制化的解決方案，根據(jù)不同場景精準編排網(wǎng)絡服務，從而實現(xiàn)網(wǎng)絡的泛在智能，提高網(wǎng)絡的適應性和用戶滿意度。在網(wǎng)絡傳統(tǒng)的管控優(yōu)化方面，大模型能否提供更普適性的AI，在（2）6G網(wǎng)絡架構(gòu)支撐NetGPT發(fā)展的需求和場景。6G網(wǎng)絡新的創(chuàng)新技術(shù)，天然具備支撐NetGPT獨具優(yōu)勢發(fā)展的土壤，如移動算力網(wǎng)絡、分布式網(wǎng)絡架構(gòu)等。但是6G網(wǎng)絡架構(gòu)、功能、接口設計，與NetGPT的發(fā)展速度時間窗口不一定完全匹配。6G網(wǎng)絡設計在原生支持NetGPT方面，通過云計算、邊緣計算移動算力網(wǎng)絡的計算資源，為NetG布式部署、分布式推理等場景是否具有需求與可行性。另外，在NetG6G網(wǎng)絡泛在終端、異構(gòu)資源特點；以及NetGPT的出現(xiàn)，是否會對目前6G架構(gòu)，功能與協(xié)議括實時性和準確性）的要求就越高。目前的大模型技術(shù)并不能滿足移動通信網(wǎng)絡對高確定性QoS保障的要求，未來NetGPT的發(fā)展是否會只能用于特定層級或特定功能。例如，NetGPT是否只適用于空中接口的高層，而不適用于物理層？這些邊界問題還涉及NetGPT在每個具體應用中可能發(fā)揮的作用。例如，NetGPT能在多大程度上支持未來的OAM系統(tǒng)--完全或部分自治網(wǎng)絡。在未來無線網(wǎng)絡全面智能化時代，通信、計算、數(shù)據(jù)、AI（1）NetGPT與LLM的差異。作為最具代表性的基礎模型，大型語言模型LLM也被很多研究者作為網(wǎng)絡模型的底座，通過微調(diào)或者提示等方式來解決網(wǎng)絡任務。然而，通信領(lǐng)域與自然語言處理領(lǐng)域的根本差異導致了NetGPT與大型語言模型在理論上的顯著差異。這些差異主要體81.數(shù)據(jù)特性：NetGPT處理的數(shù)據(jù)集涉及通信信號，例如通道信息，這些以高維張量形式2.后端任務：無線網(wǎng)絡處理的任務種3.模型大?。篘etGPT定義了多層次的結(jié)構(gòu)，在不同層次上部署多種規(guī)模的模型。特別是在網(wǎng)絡邊緣部署的NetGPT模型，如基站中的NetGPT-L2，其參數(shù)規(guī)?？赡軆H為1至是否還有其他更好更高效的架構(gòu)，或者說更適合移動網(wǎng)絡的架構(gòu)？例如transformer在一定程度上犧牲了捕捉局部特征的能力，特別是失去的位置信息對于時序數(shù)據(jù)非常重要，PositionEmbedding也只是一個權(quán)宜之計，在作用域?qū)τ跁r序要求更高的移動通信系統(tǒng)時是否能產(chǎn)生好的效果？transformer的Embedding對于結(jié)構(gòu)化數(shù)據(jù)的處理效果并不太好，尚未有效解決如何將非連續(xù)數(shù)據(jù)映射到向量空間的問題，這對于目前以結(jié)構(gòu)化數(shù)據(jù)為主的電信運營商來講也是一個亟需解決的基礎問題。因此，對于NetGPT是否能與大型語言模型使用同樣的模型架構(gòu)，或者（2）NetGPT的泛化能力如何滿足網(wǎng)絡任務的多樣性。大模型的一大優(yōu)勢就是可以利用非常少的下游數(shù)據(jù)來進行特定任務的適配，或者是few-shot甚至zero-shot的學習，都能達到不錯的效果。這就為各類下游任務節(jié)省了大量的數(shù)據(jù)收集、清洗和標注的時間，大大節(jié)約了開發(fā)成本。另外一個就是基于大模型來適配新任務，可能并不需要調(diào)整大量的參數(shù)，只需要調(diào)整非常少的參數(shù)量就可以，有很多parameterefficient的微調(diào)方法都能得到不遜色于全量參數(shù)調(diào)整的性能。但是，網(wǎng)絡任務的多樣性可能遠遠超過自然語言領(lǐng)域。我們需要深入研究大模型泛化性的理論基礎，為什么可以使用少量數(shù)據(jù)和參數(shù)就可以學習到新的任務知識，然后才能去有針對性的優(yōu)化NetGPT在網(wǎng)絡任務上的泛化性能。雖然這方面已經(jīng)有一些非常重要的研究理論，包括過參數(shù)化等理論，但是其深層次的理論框架依然沒有建立，包括我們應該建立起怎樣的數(shù)學或者分析模（3）大模型參數(shù)規(guī)模問題也是構(gòu)建NetGPT的一個基礎問題。隨著模型參數(shù)規(guī)模的增加，模型的性能和泛化能力也會隨之提高，并且只需要更少的參數(shù)調(diào)整就能適配到新的下游任務。然而，大規(guī)模的模型參數(shù)也會帶來計算和存儲上的挑戰(zhàn)，以及在訓練和使用時帶來更大的能耗。如何針對網(wǎng)絡的復雜性設計與之匹配的模型參數(shù)規(guī)模，是非常值得研究的一個挑戰(zhàn)性問9當我們想要去獲得一個大型系統(tǒng)如移動網(wǎng)絡領(lǐng)域?qū)Ｓ玫男袠I(yè)大模型時，我們必然要去弄清楚這些大模型上的理論問題。對于每個問題，都需要深入研究其具體的內(nèi)涵和挑戰(zhàn)，以推動以應對快速變化的網(wǎng)絡環(huán)境。例如基站上的資源調(diào)度 （4）NetGPT的靈活性擴展性要求。當前移動網(wǎng)絡用戶業(yè)務呈現(xiàn)出多樣化的特點。未來，傳感器網(wǎng)絡、智能物聯(lián)網(wǎng)等應用促進網(wǎng)絡規(guī)模不斷擴大，新型業(yè)務也不斷涌現(xiàn)。大模型需要能夠適應多種移動網(wǎng)絡環(huán)境和業(yè)務需求，并進行靈活配置和調(diào)整。大模型應該具備在計算、存儲、通信等方面進行擴展的能力，以根據(jù)移動網(wǎng)絡的需求進行擴展，處理更多的用戶、更復雜的業(yè)務場景以及更高的數(shù)據(jù)流量等。同時，由于移動網(wǎng)絡設備和協(xié)議多種多樣，不同的設備和協(xié)議具有不同的特性和要求。大模型需要能夠針對不同的網(wǎng)絡協(xié)議、設備類型和網(wǎng)絡制式進行自適應調(diào)整，以便為不同的設備和應用場景提供一致的服務。目前，增強模型靈活性的技術(shù)包括模型壓縮、模題，未來多模態(tài)只會讓大模型越來越大，但性能與能耗提升不成比例的效率問題限制了規(guī)模的繼續(xù)擴張。相較大模型，小模型專注在特定場景，相對而言參數(shù)較少、結(jié)構(gòu)簡單、精度低、計算量較少，適用于處理規(guī)模較小、簡單的數(shù)據(jù)集，可以快速迭代，便于快此讓網(wǎng)絡大小模型的協(xié)同進化，各司其職可能是更適合的方式，大模型向邊、端的小模型輸出模型能力，小模型在真實場景收集的增量數(shù)據(jù)，負責實際的推理與執(zhí)行，小模型讓大模型有再進化的元素；不需要重復訓練相似的大模型，同時小模型再向大模型反饋算法與執(zhí)行成效，讓大模型圖3NetGPT大小模型協(xié)同示例網(wǎng)絡大模型NetGPT間的協(xié)同關(guān)系主要是體量較大適合在云端部署的L0全網(wǎng)通用大模型、L1網(wǎng)絡專業(yè)大模型，與體量較小適合在邊緣部署的L2網(wǎng)絡小模型之間，在模型訓練和推理方面在模型訓練上，L0全網(wǎng)通用大模型為L1網(wǎng)絡專業(yè)大模型提供預訓練模型，可利用專業(yè)領(lǐng)域在模型推理上，針對跨域任務，L0全網(wǎng)通用大模型可調(diào)度多個L1網(wǎng)絡專業(yè)大模型，并提供型為L1網(wǎng)絡專業(yè)大模型提供反饋數(shù)據(jù)來進行模型優(yōu)化，即在模型訓練上進行數(shù)據(jù)協(xié)同和參數(shù)協(xié)在模型推理上，針對單域任務，L1網(wǎng)絡專業(yè)大模型可調(diào)度多個L2網(wǎng)絡小模型，并提供單域在上述場景中，某些關(guān)鍵算法有待進一步研究，例如根據(jù)L0全網(wǎng)通用大模型的相關(guān)性進行參數(shù)修剪參數(shù)，并進行有效的微調(diào)以適應新的任務；如何實現(xiàn)大模型的知識與能力向小模型降維遷移的有效性、小模型的小樣本學習向大模型的升維融合、以及不同維度數(shù)據(jù)的清洗與治理等；了算法挑戰(zhàn)外，支持NetGPT的跨供應商協(xié)作，包括功能和程隨著大模型越來越大，從幾百億到幾千億到現(xiàn)在GPT4的萬億參數(shù)，其對計算和存儲成本的消耗也越來越大。當我們要將這樣的龐然大物部署到網(wǎng)絡內(nèi)時，需要考慮可能出現(xiàn)的分布式部署方式，例如部署在網(wǎng)絡邊緣提供即時服務，或者部署在基站和終端來增強空口特性等。那么如何將NetGPT成功地部署到分布式環(huán)境中，以實現(xiàn)模型性能的最大化和資（1）NetGPT的分布式拆分。在分布式網(wǎng)絡中，每個節(jié)點的計算資源和存儲能力都有所不同，需要根據(jù)節(jié)點的實際情況合理拆分模型，以獲取節(jié)點間的負載均衡，同時最大化資源利用效率。網(wǎng)絡的一大特點是動態(tài)性，終端的移動或者基站網(wǎng)元的忙閑時變化都可能導致模型的性能受（2）NetGPT的分布式訓練。大模型并不是一錘子買賣，其需要在不斷執(zhí)行中自我優(yōu)化演進，完善自身的能力建設，為此我們需要針對大模型研究有效的分布式學習算法?？紤]到大模型本身的特點，已有的模型并行（如拆分學習）或者數(shù)據(jù)并行（如聯(lián)邦學習）方式可能存在一定的局限性，達不到理想的的學習效果。我們需要去深入探索更多的可能，例如混合并行等方向。另外特別需要注意的是模型訓練的一致性問題，如何確保所有節(jié)點訓練的同步性和一致性，從而保（3）高效的節(jié)點間通信機制。不論是進行大模型的推理還是訓練，分布式節(jié)點間的通信瓶頸都會成為制約模型性能的關(guān)鍵因素。與數(shù)據(jù)中心中可以部署高速的機器間高速通道不同，網(wǎng)絡節(jié)點間的傳輸帶寬更加受限。一方面我們當然還是可以從算法上入手，進行模型壓縮，如剪枝和量化等；但是另一方面我們應該在網(wǎng)絡內(nèi)設計一套更加高效的節(jié)點間通信機制，能夠讓網(wǎng)絡節(jié)點針對以上問題，需要深入研究相關(guān)的理論和技術(shù)，探索創(chuàng)新性的解決方案，結(jié)合網(wǎng)絡自身的拓撲結(jié)構(gòu)，建立高效的分布式部署方案。例如，可以采用分布式一致性算法來保證模型訓練的一致性；通過動態(tài)負載均衡策略來優(yōu)化資源的利用效率；利用高效的通信和同步技術(shù)來提高模型的證等，會對網(wǎng)絡的傳輸帶寬帶、性能指標等帶來壓力。而目前終端側(cè)的智能化則由于算力，算法法模型的深度融合，充分利用網(wǎng)絡中分布式的算力和數(shù)據(jù)，引入多節(jié)點間以及終端與網(wǎng)絡間協(xié)同機制，實現(xiàn)分布與集中處理的融合，提升了數(shù)據(jù)處理、決策推理和資源利用的效率。同時基于“大規(guī)模預訓練﹢微調(diào)”的范式，使NetGPT做到相對標準化，成為網(wǎng)絡AI基礎設施與底座的（1）網(wǎng)絡服務的優(yōu)化：在網(wǎng)絡的運營層基于NetGPT解釋語義信息的能力，未來的無線網(wǎng)絡可以為每個單獨的應用程序生成一個專有網(wǎng)絡，從業(yè)務等角度提供相應的服務邏輯、網(wǎng)絡邏輯和網(wǎng)絡資源。例如利用大模型在自然語言上的強大能力可用于提升智能客服、智能化經(jīng)營、智能營銷等運營服務功能，大模型在自然語言上的成功，啟示了在語音、視覺等多模態(tài)數(shù)據(jù)上的擴展空間，賦能行業(yè)數(shù)字化，改進信息通信服務能力。利用現(xiàn)有大模型的研發(fā)內(nèi)容對大模型封裝，將各類任務上的推理能力封裝成統(tǒng)一的應用程序接口，對外API模式提供服務。大模型賦能網(wǎng)絡運營可以獲得這些接口，可以利用現(xiàn)有各種大模型即服務的模式，作為網(wǎng)絡外部一種服務，像調(diào)用（2）網(wǎng)絡的能力更新：由于網(wǎng)絡中不同的技術(shù)域場景在功能特性、數(shù)據(jù)結(jié)構(gòu)、以及性能需求上都有著明顯的區(qū)別，未來的網(wǎng)絡需要持基礎大模型，NetGPT,第三方大模型的原生部署支能力。此外由于參數(shù)數(shù)量巨大，大模型的知識更新帶來巨大的計算開銷量訓練能力，在線學習演進的能力，實現(xiàn)在網(wǎng)絡領(lǐng)域內(nèi)對模型數(shù)據(jù)進行有效的變更，模型的“即時”更新。例如目前隨著大模型及其相關(guān)技術(shù)的出現(xiàn)和普及，可以在智能運維領(lǐng)域智能運維相關(guān)問題的快速問答以及運維人員確認后的快速執(zhí)行等場景。大模型與智能運維AIOps可以協(xié)同助力運維人員快速識別系統(tǒng)故障類型、高效提供故障處置策略并生成自動化腳本實現(xiàn)故障自愈。由于網(wǎng)絡運維需要在已有大模型自然語言理解能力上增強豐富的運維能力，故障的解決方案或修復策網(wǎng)絡接口/協(xié)議變化：隨著NetGPT的不斷集成融入未來通信網(wǎng)絡，基于模型之間的協(xié)作接口（例如基于Token，Prompt）可能取代基于當前網(wǎng)絡中的標準化經(jīng)典字符串接口協(xié)議。通信帶不動，小模型性能達不到。在移動通信網(wǎng)絡內(nèi)部引入基于模型之間的協(xié)作接口，通過端云大模網(wǎng)元智能化演變：隨著通信網(wǎng)絡逐漸演進成熟，通過引入NetGPT將網(wǎng)絡的事后觸發(fā)優(yōu)化流增強網(wǎng)絡自身的功能和特性得到,網(wǎng)絡在運行時，需要性能的穩(wěn)定性可靠性保證，而大慢，當推理請求的次數(shù)和請求數(shù)據(jù)量過大時，API的響應時間和返回數(shù)據(jù)質(zhì)量將難以保證，實際的反應時較長，短時間內(nèi)要獲得大規(guī)模的應用和及時響應體驗比較困難。需要把大模型功能嵌入能比擬的。當前基于大模型的應用還處于發(fā)展階段，隱私保護政策由服務商自行制定，用戶不得不忍受寬松的隱私條件。未來大模型將成為網(wǎng)絡設備和應用的基礎功能，為千行百業(yè)帶來普惠智能，用戶（尤其是掌握敏感信息的用戶）則會更加關(guān)注無處不在的隱私威脅，彼時數(shù)據(jù)安全問題將成為限制大模型發(fā)展的枷鎖。正因為如此，其所面臨的數(shù)據(jù)和模型安全問題也更加嚴峻，特別（1）NetGPT本身的可靠性面臨安全問題。大模型很容易出現(xiàn)被攻擊的情況，可能稍微改一改輸入就使得大模型不能正常工作。例如使用簡單的越獄攻擊（JailbreakingAttack）即可讓大模型解鎖倫理限制，進而產(chǎn)生大量誤導性內(nèi)容，給用戶和服務商造成危害。另外，大模型特別容易被攻擊者植入一些后門（backdoor從而讓NetGPT專門在某些特定場景下將潛在的網(wǎng)旦出現(xiàn)問題影響的是人們的基礎生活，甚至造成嚴重的社會問題。除此之外，此前的研究表明模型越變越大之后，會變得越來越有偏見，越來越不值得被信任，這些問題都需要我們對大模型進（2）NetGPT的可解釋性對網(wǎng)絡安全同樣至關(guān)重要。可解釋性代表著模型在面對同一問題時能夠提供一貫且穩(wěn)定的答案。這一特性對我們更深入地理解模型行為、快速識別異?；驖撛谕{、并采取必要的預防措施至關(guān)重要。然而，缺乏可解釋性可能會導致難以辨別異常行為、誤判漏報、難以進行審計和驗證。例如，異常流量模式或攻擊嘗試等情況。若模型不具備可解釋性，可能會錯失對某些潛在攻擊的發(fā)現(xiàn)，或?qū)⒑戏ɑ顒诱`報為異常。另外，基礎模型的可解釋性對下使得后續(xù)微調(diào)模型難以理解基礎模型的輸出或推理過程。對模型決策基礎的理解，是進行網(wǎng)絡安全審計和驗證的關(guān)鍵一環(huán)。如果模型缺乏可解釋性，可能會導致難以驗證其符合安全標準或法規(guī)解釋性至關(guān)重要。這不僅有助于提高模型的可信度，還能幫助分析人員深入了解模型行為，并及（3）NetGPT的隱私問題包含訓練數(shù)據(jù)泄露和用戶輸入數(shù)據(jù)泄露兩個方面。一方面，NetGPT會使用大量的網(wǎng)絡數(shù)據(jù)和網(wǎng)絡基礎服務設施數(shù)據(jù)等，這些數(shù)據(jù)中可能包含潛在的隱私或者網(wǎng)絡漏洞，攻擊者通過鏈式提問（Chain-of-Thoughtprompting）即可能獲取訓練數(shù)據(jù)中的敏感信息，這可能給網(wǎng)絡以及數(shù)據(jù)提供方帶來難以估量的威脅。另一方面，用戶在使用NetGPT的過程中，會暴露自身的隱私和敏感數(shù)據(jù)。因為用戶必須上傳自己的數(shù)據(jù)或者提示詞(Prompt)給信息、對話相關(guān)的所有內(nèi)容、互動中網(wǎng)頁內(nèi)的各種隱私信息（Cookies、日志、設備信息等），這些信息可能會被共享給供應商、服務提供商以及附屬公司。目前全球范圍內(nèi)發(fā)生了多起因使用此后Apple禁止內(nèi)部員工使用ChatGPT。美國政府與OpanAI簽訂條款禁止其在服務期間收集政府數(shù)據(jù)，此外多國監(jiān)管機構(gòu)亦先后宣布將關(guān)注大模型帶來的數(shù)據(jù)安全風險。即便服務商不會收集用戶數(shù)據(jù)，惡意攻擊者也會通過諸如數(shù)據(jù)偷取攻擊（Prompt-stealingattack）等手段非法竊取用戶數(shù)據(jù)。當前大模型還缺少執(zhí)行標準以及安全約束，當我們談到Net大模型的訓練需要使用到大量的數(shù)據(jù)，并且是高質(zhì)量的數(shù)據(jù)。ChatGPT和Llama的訓練語料都達到了T級別。相比于自然語言，網(wǎng)絡大模型需要的網(wǎng)絡數(shù)據(jù)難獲取的多，除了因特性網(wǎng)上的基礎語料外，很多數(shù)據(jù)需要從網(wǎng)絡系統(tǒng)中獲取，其面臨的挑戰(zhàn)也就大得多。為此，我們需要從的是RAN側(cè)的調(diào)度數(shù)據(jù)或者資源管理數(shù)據(jù)，有的是更高層的統(tǒng)計數(shù)據(jù)。這些數(shù)據(jù)的特征維度差異非常大，甚至有的是結(jié)構(gòu)化數(shù)據(jù)，有的是非結(jié)構(gòu)化數(shù)據(jù)。有的數(shù)據(jù)自于不同的源，但是表征相似的內(nèi)容，比如對于某個用戶的業(yè)務量，可以來自于端側(cè)的業(yè)務統(tǒng)計，網(wǎng)絡在調(diào)度時授權(quán)的空口流量，或者是管理面上利用話統(tǒng)得到的統(tǒng)計流量等，因此網(wǎng)絡需要保證所有數(shù)據(jù)的一致性和正確（2）大規(guī)模數(shù)據(jù)的分布式部署和實時供給。網(wǎng)絡中的核心網(wǎng)設備、基站以及終端設備上都會存儲各自的數(shù)據(jù)，網(wǎng)絡需要為這些碎片化的數(shù)據(jù)建立一套統(tǒng)一的管理體系，在練和推理是能夠快速便捷的獲取到相應的數(shù)據(jù)。特別是在一些對實時性能要求高的場景下，如供給作為關(guān)鍵一環(huán)將直接影響到最后的性能表現(xiàn)。另外，NetGPT是會出現(xiàn)大量并發(fā)運行的，這（3）網(wǎng)絡知識圖譜的構(gòu)建。為了提供更加可靠的服務，一種有效的方案是讓NetGPT與知并且對于大模型的回答進行關(guān)聯(lián)分析，減少大模型的幻覺現(xiàn)象。當然，目前知識圖譜也還面臨著可以作為基準，了解不同廠商提供的NetGPT的性能和適用性，促進網(wǎng)應用。此外，NetGPT評測還可以促進不同領(lǐng)域研究者的技術(shù)交流和合作，共同推動網(wǎng)絡人工智能技術(shù)的發(fā)展。為了保證評測技術(shù)方案的整體實用性、均衡性和系統(tǒng)性，可以包含指標，方法，（1）網(wǎng)絡場景領(lǐng)域特征評判?，F(xiàn)有評判方法如準確率Accuracy（反映模型正確預測樣本的比例F1Score（綜合考察精確率（Precision）和召回率（Recall兼顧模型在正類樣本上的預測準確性和覆蓋率，EM（ExactMatch，模型生成的答案與參考答案是否完全相同），BLEU值（BilingualEvaluationUnderstudy，用于衡量語言模型生成文本與參考文本之間的相似度的預測準確性和覆蓋率）等是評估大模型性能的重要指標。NetGPT除了以上問題，需要針對網(wǎng)絡領(lǐng)域特征制定一套更為全面的評測體系，更具有針對性較強的評估指標，如功能正確性、任務成功率、問題的推理鏈長度和多輪推理等。這些特定指標結(jié)合起來有助于對模型在特定網(wǎng)絡以全面評價NetGPT的能力。而對于網(wǎng)絡專業(yè)領(lǐng)域任務，需要關(guān)注模型對領(lǐng)域特定術(shù)語、概念和實時、可靠、經(jīng)濟性等兼顧能力、效率和質(zhì)量的綜合（2）NetGPT場景泛化性評判：雖然某些語言大模型在很多任務上已經(jīng)達到或超過了人類運行錯誤數(shù)據(jù)比較困難，很難獲取到覆蓋實踐中可能遇到的各種用戶和場景。如何針對網(wǎng)絡中的低頻任務，評測者需要關(guān)注模型在使用少量訓練數(shù)據(jù)時的表現(xiàn)，考慮不同網(wǎng)絡場景之間的差異性和復雜性，使用更廣泛的測試集和跨場景領(lǐng)域的評判任務，以便更好地評判模型在不同場景下的（3）NetGPT安全性評判：網(wǎng)絡攻擊者可能會利用特定數(shù)據(jù)來攻擊NetGPT，或者破壞模型的性能。對抗性攻擊是一種常見的攻擊類型，通過向網(wǎng)絡模型輸