2024年基于大語(yǔ)言模型的新型電力系統(tǒng)運(yùn)行與仿真初探報(bào)告-香港中文大學(xué)

香港中文大學(xué)(深圳)TheChineseUniversityofHongKong,Shenzhen香港中文大學(xué)(深圳)深圳市人工智能與機(jī)器人研究院01n個(gè)1Al近代史Al現(xiàn)代史3LLM發(fā)展歷程決策式Al生成式Al決策+認(rèn)知+感知+學(xué)習(xí)+執(zhí)行+社會(huì)協(xié)作重大突破(1980s~2010年)習(xí)模型(2011年~2016年)啟“大模型時(shí)代”Sora推出(2017年~)來(lái)源：艾瑞2023年AIGC場(chǎng)景應(yīng)用展望研究報(bào)告人工智能Al現(xiàn)代史：深度學(xué)習(xí)的突破和近年來(lái)的發(fā)展2014年2017年2020年2023年語(yǔ)言處理Transformer語(yǔ)言處理Transformer類架構(gòu)深度神經(jīng)網(wǎng)絡(luò)生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)GAN視覺(jué)處理視覺(jué)處理CNN類架構(gòu)引入人工反饋強(qiáng)化學(xué)習(xí)處理圖像引入人工反饋強(qiáng)化學(xué)習(xí)處理圖像引入注意力機(jī)制引入注意力機(jī)制架構(gòu)預(yù)訓(xùn)練大模型成為趨勢(shì)多模態(tài)+大模型●BERT的出現(xiàn)降低了NLP從業(yè)的準(zhǔn)入門(mén)檻，那么大模型的出現(xiàn)則是進(jìn)一步降低了各個(gè)行一019229一a21kk1234語(yǔ)言模型簡(jiǎn)介你好。你也好。一個(gè)前綴輸入你好。人類肯德基瘋狂星期四。一個(gè)人類對(duì)話場(chǎng)景肯德基瘋狂星期四。什么是語(yǔ)言模型你好。你也好。一個(gè)前綴輸入你也好。真實(shí)分布真實(shí)分布你好。你也好。你好。V我50。語(yǔ)言模型預(yù)測(cè)分布給定相同前綴，語(yǔ)言模型是輸出能近似人類語(yǔ)語(yǔ)言模型預(yù)測(cè)分布多頭自注意力多頭自注意力全連接層全連接層層歸一化層歸一化自注意力層歸一化“你好美麗。”論文新聞網(wǎng)絡(luò)爬蟲(chóng)私有知識(shí)庫(kù)私有知識(shí)庫(kù)開(kāi)源數(shù)據(jù)集開(kāi)源數(shù)據(jù)集理)美美麗你好你好美容納大數(shù)據(jù)的載體，通常由深度神經(jīng)網(wǎng)絡(luò)構(gòu)成，學(xué)習(xí)大數(shù)據(jù)中的統(tǒng)計(jì)信息與抽象知識(shí)InputSequence大數(shù)據(jù)大算力大數(shù)據(jù)大算力(深度神經(jīng)網(wǎng)絡(luò))promptdataset.每個(gè)類型的問(wèn)題人工設(shè)計(jì)了指令每個(gè)類型的問(wèn)題人工設(shè)計(jì)了指令LLM架構(gòu)與訓(xùn)練：微調(diào)階段-如何賦予LLM邏輯能力?代碼實(shí)現(xiàn)計(jì)算1-100pythonpython使用了等差數(shù)列求和Chain-of-ThoughtLLM架構(gòu)與訓(xùn)練：?jiǎn)栴}來(lái)了-回答是有問(wèn)題的珠穆朗瑪峰10分我也不知道呀0分重復(fù)生成我也不知道呀0分世界最高的山峰是?人工排序A>B>C>D 語(yǔ)言模型的社會(huì)化語(yǔ)言模型加入代碼數(shù)據(jù)，重新訓(xùn)練。加入指令數(shù)據(jù)，加入代碼數(shù)據(jù)，重新訓(xùn)練。加入指令數(shù)據(jù)，生成分?jǐn)?shù)打分模型自監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)LLM架構(gòu)與訓(xùn)練：各個(gè)訓(xùn)練階段綜合來(lái)看..百科、網(wǎng)頁(yè)等的答案強(qiáng)化學(xué)習(xí)(cny)基礎(chǔ)模型基礎(chǔ)模型帶著笑臉的修格斯。(由/anthrupad提供)展望與應(yīng)用電力行業(yè)應(yīng)用大模型的潛在應(yīng)用領(lǐng)域：●機(jī)器代人(機(jī)巡、客服、公文寫(xiě)作等)●信息-物理-社會(huì)系統(tǒng)(CPSSE)仿真/數(shù)字孿生●電力系統(tǒng)機(jī)理研究(Al4S)●在調(diào)度運(yùn)行等核心領(lǐng)域，大模型的推理可靠性與“幻覺(jué)”問(wèn)題，決定了大模型尚不能完全替代人工。●已經(jīng)應(yīng)用良好的各種基于因果模型的工具無(wú)需替代。●應(yīng)該采取因果模型+大模型+小模型融合的技術(shù)路線。2024,48(6):13-28.基于大語(yǔ)言模型實(shí)現(xiàn)高適應(yīng)性負(fù)荷預(yù)測(cè)(多模態(tài)數(shù)據(jù)融合)·傳統(tǒng)方法局限：1.難以應(yīng)對(duì)特殊事件發(fā)生時(shí)，短期電力負(fù)荷的快速變化或極端波動(dòng)；2.不能適應(yīng)超出歷史數(shù)據(jù)涵蓋范圍的新場(chǎng)景；3.無(wú)法基于文本數(shù)據(jù)(新聞事件)進(jìn)行預(yù)測(cè)推理。能夠基于語(yǔ)言有效處理、整合非結(jié)構(gòu)化及海量多源數(shù)據(jù)，通過(guò)Agent篩選實(shí)時(shí)相關(guān)新聞并理解文本邏輯，顯著提升預(yù)測(cè)的適應(yīng)性和精確度。新新聞+地理+歷史負(fù)荷+氣象數(shù)據(jù)+典型天Input:predictthedailyloadconsumptioninthenextday.IlistoricIlistoricalDatacovers{Iday}an·mimtes}pert·Theweatherofpredictiondate:{minmamtemperatitemperature,hmidiry.wndpower,andpressire}:·Newsbeforetheprediction:/Newstrle,,briefsunmary!,publicationtime}.{category.[ullarticle}.Output:{Timesertesofactualloadinthepredicrlondate}.LLMs擅長(zhǎng)解析和理解非結(jié)構(gòu)化數(shù)據(jù)LLMAgentLLMAgent智能優(yōu)化用于負(fù)荷預(yù)測(cè)相關(guān)新聞的選擇預(yù)訓(xùn)練模型能夠整合廣泛的社會(huì)、經(jīng)濟(jì)和技術(shù)知識(shí)新聞事件相關(guān)的文本數(shù)據(jù)的引入新聞事件相關(guān)的文本數(shù)據(jù)的引入，有效提升在特定事件發(fā)生時(shí)負(fù)荷預(yù)測(cè)精確度。NoNewhnigherporarlodduntingpoakhous….wthadropinconsumption..News:疫情封城商業(yè)活動(dòng)帶來(lái)居民用電量上升區(qū)域大停電·Agent對(duì)新聞事件的篩選，在提升大模型輸入token效率的同時(shí)增強(qiáng)預(yù)測(cè)精確度：PERFORMANCEMETRICSOFDIFFERENTMO481006.30693.55523.2321.25475200.06689.35421.8211.61224497.31473.81323.891·預(yù)測(cè)效果普遍優(yōu)于現(xiàn)有方法，在不同時(shí)間和地理維度的適應(yīng)性強(qiáng)，顯著提升預(yù)測(cè)的適應(yīng)性和精確度：NSWLSTMReformerIaformer444LSTMReformerIaformer444ActualVal*sPredictedValssd48024ActualVabesPr基于LLM的負(fù)荷預(yù)測(cè)顯著提升準(zhǔn)確性和可靠性，優(yōu)化對(duì)突發(fā)變化的應(yīng)對(duì)，突出了語(yǔ)言處理在整合非結(jié)構(gòu)化信息中的作用，標(biāo)志負(fù)荷預(yù)測(cè)及時(shí)序決策研究范式的轉(zhuǎn)變?；谇捌谘芯浚覀儼l(fā)現(xiàn)可以將調(diào)度、市場(chǎng)行為以大語(yǔ)言模型的形式建模(語(yǔ)言模型化),解決傳統(tǒng)調(diào)度支撐體系中調(diào)度行為沒(méi)有更適應(yīng)復(fù)雜開(kāi)放場(chǎng)景事故處置輔助決策◎調(diào)度多模態(tài)數(shù)據(jù)(日志、語(yǔ)音)調(diào)度多模態(tài)數(shù)據(jù)(日志、語(yǔ)音)怕系統(tǒng)調(diào)員怕系統(tǒng)調(diào)員目標(biāo):m解決m母線失壓決策輔助性能提升支撐復(fù)雜開(kāi)放場(chǎng)景下的調(diào)度決策推理與智能生成性能提升支撐復(fù)雜開(kāi)放場(chǎng)景下的調(diào)度決策推理與智能生成調(diào)度及市場(chǎng)行為缺少有效建模工具度行為語(yǔ)言模型化與調(diào)度決策智能生成的技術(shù)框架電力調(diào)控運(yùn)行多模態(tài)融合操作監(jiān)護(hù)：電力調(diào)控運(yùn)行多模態(tài)融合知識(shí)數(shù)據(jù)集調(diào)度統(tǒng)一知識(shí)調(diào)度統(tǒng)一知識(shí)管混合專家模型(MoE)系統(tǒng)人機(jī)協(xié)同基于多頭注驅(qū)動(dòng)機(jī)制人機(jī)協(xié)同工具使用工具使用大模型集群基于低秩適加速微調(diào)混合增強(qiáng)智能95%以上主要日常操作環(huán)節(jié)業(yè)務(wù)支持輔助決策：預(yù)判結(jié)果、自動(dòng)輔助決策：預(yù)判結(jié)果、自動(dòng)提醒和預(yù)警惡性基于檢索增強(qiáng)生成的知識(shí)庫(kù)框架事故處理：事故處理：多主體協(xié)同調(diào)度大模型數(shù)據(jù)處理初版領(lǐng)域數(shù)據(jù)集大模型訓(xùn)練數(shù)據(jù)集output":Insulatlondeterlorstlon,oftencsuredbysolsture,overhesting,vtbrat*khaniclstressduriretransforrertheauchralts,iInstructian":xplainthepotentialcausesoftapchangauipuL":"TapchangerfailurncanLecasltyalfumctionufUewchnicalwresistanceloodcontacts,insulationtracking,overhoating,orcontainaticn4autput":"tatfstlesshosthat4一一output":"Toprevcnttransforwerwindingfailures,wsuressuchascnsuringproplevels,aoidingeverteatingd-fng(amltsrheinplerent調(diào)度大模型交互頁(yè)面osderinteostwlptO+ssrdluosderinteostwlptO+ssrdlumnteocop*01hilyigonskelrZkrrwlcknt0prtknwrterialpnstuis軸aiedihdihnttimlbtO.ACshdsandpstkdplraefcofhpwspun業(yè)務(wù)場(chǎng)景支持：測(cè)試教科書(shū)教科書(shū)論文NN十提取+分割+標(biāo)簽+增強(qiáng)提取+分割+標(biāo)簽+增強(qiáng)據(jù)集測(cè)試生成調(diào)度成+增強(qiáng)達(dá)性穩(wěn)定性測(cè)試集評(píng)測(cè)體系：■評(píng)測(cè)圍繞調(diào)度大模型在事實(shí)性、邏輯性、穩(wěn)定性、公平性、安全性、表達(dá)能力六大類二十四個(gè)子維度展開(kāi)評(píng)估。測(cè)試集題型設(shè)定：評(píng)測(cè)方法：客觀題：GPT-4+評(píng)測(cè)腳本842穩(wěn)定性表達(dá)性事實(shí)性公平性邏輯性穩(wěn)定性調(diào)度測(cè)試數(shù)據(jù)集調(diào)度場(chǎng)景(一級(jí)指標(biāo))8642安全性安全性穩(wěn)定性表達(dá)性事實(shí)性公平性邏輯性安全性安全性穩(wěn)定性■調(diào)度相關(guān)問(wèn)題的邏輯性、穩(wěn)定性和安全性上表現(xiàn)●大模型的“智能涌現(xiàn)”現(xiàn)象，再次表明復(fù)雜系統(tǒng)的研究問(wèn)題無(wú)法完全在還原論的框架下解決?！RT以CPSSE框架刻畫(huà)復(fù)雜系統(tǒng)，以混合動(dòng)態(tài)仿真來(lái)提取對(duì)象系統(tǒng)的高維仿真軌跡，基于軌跡動(dòng)力學(xué)的時(shí)空保熵映射，將復(fù)雜系統(tǒng)的研究從線性的“局部還原”提升為非線性的“整體保熵還原”?！翊笳Z(yǔ)言模型可以基于仿真或?qū)崪y(cè)軌跡數(shù)據(jù)，基于其內(nèi)化的理論常識(shí)，以一定概率在局部自主進(jìn)行邏輯●基于大模型內(nèi)化的理論常識(shí)，大模型也可以用作嚴(yán)格因果模型與近似模型的選擇器。●我們的初步研究表明，大語(yǔ)言模型已具有模仿人進(jìn)行系統(tǒng)性邏輯思維的能力。因此，可以在CPSSE仿真中，結(jié)合真人、因果模型和大語(yǔ)言模型，實(shí)現(xiàn)更精確的人機(jī)混合仿真。●大模型的推理可靠性與“幻覺(jué)”問(wèn)題，目前尚無(wú)法完全解決?，F(xiàn)階段，“人機(jī)混合智能”可能是最符合電力系統(tǒng)實(shí)際的解決方案。終極目標(biāo)。泛化性較差：對(duì)于那些需要快速適應(yīng)新信息和變化的實(shí)際應(yīng)用場(chǎng)景，傳統(tǒng)的數(shù)學(xué)方法缺乏靈活性。推理能力：LLMs擁有處理復(fù)雜問(wèn)題和理解復(fù)雜語(yǔ)境的能力，這使它們能夠理解和分析復(fù)雜的博弈策略。泛化能力：得益于LLM出色的zero-快速適應(yīng)市場(chǎng)的動(dòng)態(tài)變化。結(jié)合大量歷史案例，提高仿真的準(zhǔn)確性和效率。代理模擬：將LLM與多代理仿真結(jié)合，通過(guò)模擬市場(chǎng)中player行為或策略，為市場(chǎng)仿真提供了一種新的思路。代碼解釋器()代碼解釋器()果反饋，自學(xué)習(xí)獎(jiǎng)勵(lì)總結(jié)經(jīng)驗(yàn)，形成長(zhǎng)期記憶與尚尚*尚傳遞與經(jīng)驗(yàn)知識(shí)共享效溝通協(xié)議與流程■FAISS:向量高性能查詢查詢基于大模型的市場(chǎng)仿真●市場(chǎng)仿真基礎(chǔ)流程分解得到交易機(jī)制信息反饋組織信息反饋交易者，調(diào)整決策輸入交易機(jī)制市場(chǎng)主體流程分解得到交易機(jī)制信息反饋組織信息反饋交易者，調(diào)整決策輸入交易機(jī)制市場(chǎng)信息公示市場(chǎng)信息公示·程序化、標(biāo)準(zhǔn)化、規(guī)范化市場(chǎng)規(guī)則匹配出清"三公"原則市場(chǎng)外部性外部干擾基于大模型的市場(chǎng)仿真●大語(yǔ)言模型訓(xùn)練——以電力市場(chǎng)為例提示語(yǔ)工程·模擬電力交易員工作環(huán)境，給出機(jī)組工況、斷面阻塞、燃料成本、碳成本、市Q價(jià)開(kāi)色沿外現(xiàn)貨市場(chǎng)o驗(yàn)市反工大模