構建網絡大模型NetGPT的思考與實踐-華為無線研究部報告-張宏綱-09-22

第0頁構建網絡大模型NetGPT的思考與實踐張宏綱李榮鵬,趙志峰,陳先福(1)之江實驗室,（2）浙江大學,(3)VTT2023年9月22日①大模型LLM理論、架構和算法研究近期值得關注進展②通信網絡與大模型LLM的融合與協(xié)同–海內外研究進展③構建網絡大模型NetGPT的思路與實踐–云邊協(xié)同部署④構建網絡大模型NetGPT的再思考與展望–物理層語義I①大模型LLM理論、架構和算法研究近期值得關注進展北大、北航等機構的研究人員，通過理，成功讓GPT-4科學領域的一顆明珠?，F(xiàn)在大語言模型開始用于數(shù)學定理證州圣巴巴拉大學、德克薩斯大學奧斯汀分校的一群研究者研建了一個LLM定理證明的交互499TransformerTransformer②通信網絡與大模型LLM的融合與協(xié)同-海內外研究進展[2307.07359v1]FromMultilayerPerceptrontoGPT:AReflectiononDeepLearningResearchforWirelessPhysicalLayer()WirelessCommunications,March2017.PipelineforAdaptingLLMto3GPPTechnicalLinaBariah,HangZou,QiyangZhao,BelkacemMouhouche,FaouziBader,andMerouaneDebbah,“UnderstandingTelecomLanguageThroughLargeLanguageModels,”arXiv:2306.07933v1,9Jun2023.③構建網絡大模型NetGPT的思路與實踐-云邊協(xié)同部署將模型從云端卸載將模型從云端卸載至邊緣拆分模型部署在云端和邊緣協(xié)同完成任務Services”,arXivpreprintarXiv:2307.06148,July2023.TransformerTransformerServices”,arXivpreprintarXiv:2307.06148,July2023. r rdindin Inputs大模型參數(shù)匯總及微調方法-LoRA r rdindin InputsOutputsTransformerOutputsTransformer模型名稱參數(shù)數(shù)量Transformer層數(shù)/頭數(shù)維度GPT-2-base768GPT-2-Medium345M24/16GPT-2-Large774M36/24GPT-2-XL48/32Per-trainedweightPer-trainedweight模型名稱參數(shù)數(shù)量Transformer層數(shù)/頭數(shù)維度LLaMA-7B6.7B32/324096LLaMA-13B40/405120LLaMA-33B32.5B60/526656LLaMA-65B65.2B80/648192models,"arXivpreprintarXiv:2106.09685(2021).adaptation(LoRA)方法是一種針對大型語言模型的輕量級微調方法。>主要思想是在模型權重旁邊增加一個旁路,模擬一個小的內秩，減少下游任務的可訓練參數(shù)的數(shù)量。>對LLaMA-7B時，對VRAM的需求從112GB下降到28GB，使得消費級硬件能夠承受。I大模型特征對比及參數(shù)匯總云邊協(xié)同部署大模型NetGPT的工作流程Services”,arXivpreprintarXiv:2307.06148,July2023.I云邊協(xié)同部署大模型NetGPT的示例及其性能Services”,arXivpreprintarXiv:2307.06148,July2023.I云邊協(xié)同部署大模型NetGPT的示例–邊緣大模型預測>將業(yè)務（電影）請求數(shù)據轉寫成特定模板的自然語言敘述的事實，模型根據自然語言確認指定的時間間隔中指定的電影是否被請求，生成分類的序列，計算準確率。>實驗證明網絡邊緣LLM具有一定的預測能力，在稀疏性較高的數(shù)據上對比傳統(tǒng)預測方式有一定優(yōu)勢。Services”,arXivpreprintarXiv:2307.06148,July2023.>意圖驅動網絡是通過理解用戶的意圖、實現(xiàn)服務和操作自動化的技術，在多種應用場景有廣闊的前景。>示例中邊緣網絡大模型用于建立網絡連接，從不同描述意圖的自然語言中提取出信息，進行網絡連接的建立。在實驗中模型展現(xiàn)出超越關鍵詞提取的能力，可以理解一部分單詞的語義并作出判arXivpreprintarXiv:2307.06148,July2023.大語言模型（LargeLanguage地與人類意圖交互，其個性化發(fā)展有助于進一步推動其與通信網針對個性化的生成式服務，由于云邊協(xié)同部署大模型有助于有效編排異構分布式通信和計算資源，與基于云端的大語言模型相比，云邊協(xié)同大模型（邊緣云計算）Y.Shen,etY.Shen,et.al.“Hugginggpt:SolvingAItaskswithChatGPTanditsfriendsinhuggingface,”/abs/2303.17580,March2023.大模型的耦合更新方式；橫[2307.07359v1]FromMultilayerPerceptrontoGPT:A[2307.07359v1]FromMultilayerPerceptrontoGPT:AReflectiononDeepLearningResearchforWirelessPhysicalLayer()I基于注意力機制的Transformer結構與算法TransformerTransformer注：圖片來自網上下載TransformerTransformerTransformerSemanticReceiverwithJointSemanticDecoder&ChannelDecoderSemanticTransmitterwithJointSemanticEncoder&ChannelCodingFromSemanticReceiverwithJointSemanticDecoder&ChannelDecoderSemanticTransmitterwithJointSemanticEncoder&ChannelCodingBasedonTransformer&AttentionMechanismPHYCommunicationChannelCommunicationsSociety(OJCOMS),July2022.communicationfromsemantiMay2022.Reference:“LearningSemantics:AnOpportunityforEffective6GCommunications” Transformer-basedTransceiverMulti-HeadAttentionModuleTransformer-basedReceiverBitRateControlinSemanticCommunicationwithTransformer-basedReceiverIntegratedIncrementalKnowledge-basedHARQTransformer-basedTransmitterThewholeintegratedend-to-endsemanticcommunicationsystemwithJSCC(jointsource-channelcoding)andsemanticbitratecontrolschemesbasedonhybridautomaticrepeatrequest(HARQ)CommunicationsSociety(OJCOMS),July2022.KnowledgeEnhancedSemanticCommunicationReceiver(HowKnowledgeWorksHere?)SemanticCommunicationRece------>Multi-HeadAttentionModule------>Multi-HeadAttentionModuleReceiver(cont.)Transformer-basedKnowledgeExtraction40414142MassiveMIMOProcessingtoSemanticCommunication”TransformerTraditionalandTransformer-basedsignalprocessingarchitectureformassiveMIMOsystemsCommunication,”IEEEWirelessCommunications,November2022.43TransformerTransfo