數(shù)據(jù)驅(qū)動的電網(wǎng)前瞻優(yōu)化調(diào)度

研究背景

基態(tài)下的電網(wǎng)前瞻調(diào)度模型

適應(yīng)不確定場景的遷移強(qiáng)化學(xué)習(xí)決策

結(jié)語

1.1新能源裝機(jī)容量不斷增長

中國風(fēng)電、光伏累計裝機(jī)容量（萬千瓦）

風(fēng)電裝機(jī)光伏裝機(jī)

1.2人工智能技術(shù)蓬勃發(fā)展

人工智能方興未艾，已在圖像識別、自然語

言處理、自動駕駛、醫(yī)療影像、語言搜索等

領(lǐng)域得到應(yīng)用

A深度、強(qiáng)化學(xué)習(xí)等人工智能技術(shù)正悄然向傳

edurekal

統(tǒng)能源行業(yè)進(jìn)軍，已在可再生能源預(yù)測、負(fù)

荷預(yù)測等領(lǐng)域得到應(yīng)用

＞如何與優(yōu)化調(diào)度相結(jié)合?

1.3人工智能技術(shù)支撐電網(wǎng)優(yōu)化調(diào)度

傳統(tǒng)電網(wǎng)調(diào)度面臨的挑戰(zhàn)

?源荷雙側(cè)不確定性，加劇了短時優(yōu)化決策的難度

?電網(wǎng)調(diào)度對象數(shù)量急劇增加所帶來的復(fù)雜度，對優(yōu)化決策的效率提出了挑戰(zhàn)

■隨機(jī)多運行場景下，電網(wǎng)調(diào)度智能化水平有待進(jìn)一步提升

口人工智能技術(shù)對優(yōu)化調(diào)度的影響

v自適應(yīng)性：挖運彳攢據(jù)內(nèi)在規(guī)律，留心寸數(shù)學(xué)解析模型構(gòu)建的俅賴

v智能性：敏捷地、自適應(yīng)及通用化地完成從數(shù)據(jù)變化到統(tǒng)計模型參數(shù)改變的過程

V快速性：可離線地擬合逼近、泛化調(diào)度決策流程中輸入輸出的映射關(guān)系，無需在線

解析并迭代優(yōu)化

提綱

研究背景

基態(tài)下的電網(wǎng)前瞻調(diào)度模型

適應(yīng)不確定場景的遷移強(qiáng)化學(xué)習(xí)決策

結(jié)語

6

2.1多時段滾動電網(wǎng)前瞻調(diào)度模型

口包含目標(biāo)函數(shù)、決策變量、約束條件的安全約束經(jīng)濟(jì)調(diào)度(SCED)及安全約束機(jī)組組合

前瞻窗口t+i對

應(yīng)預(yù)測負(fù)荷：

前瞻窗口t+2對

應(yīng)預(yù)測負(fù)荷：

8:008:158:308:459:009:159:309:4510:0010:1510:3010:4511:0011:1511:3011:4512:0012:1512:3012:4513:00

7

2.1多時段滾動電網(wǎng)前瞻調(diào)度模型

口目標(biāo)函數(shù)、輸入量、決策變量、約束條件

輸入量節(jié)點負(fù)荷圖｝+新能源出力預(yù)測邛?，…,喈’）

決策變量機(jī)組有功出力邛,=｛吧,…，窗｝

孕/-I

目標(biāo)函數(shù)發(fā)電+啟停成本最小minC（僅7+4（或」）+c,+C，+C：

Mlr?0

個限4吧+廳叫Vr

，=1▲=!

斤；甘丁斤~\

244Vi,r心嚴(yán)碎

機(jī)組出力上下限^4WrJeGi

約4Q：：sQfg,Vij

4一成七右丁z+旬-《一；;）+廳n-G

束

丁=0

片'-憶"N工…+^-（/：,-/；；'卜嚴(yán)一（I-/；；'）

條新能源出力

/mt=

低方Y(jié)'"/F&+嚴(yán)E（心工）+嚴(yán)E（I_/[J

件

-4瘵-咪4丁也1.V/.Z>Lr=II片：「尼2-/：,./,**，+中-3/：,“T，，卜始2（”4J

m41-螳44?皿*I.V?,r=1,./-I

S咒：Y'SW=1.V/.r=1.....r-lscuc

線路潮流約束P：，=7^t7<LV/.r

限"4v；,4VLzArSCED

00

2.2基于深度強(qiáng)化學(xué)習(xí)的電網(wǎng)前瞻調(diào)度模型

狀態(tài)輸入空間、動作輸出空間、獎勵函數(shù)的設(shè)計標(biāo)

準(zhǔn)L=[Z,ZZ

狀態(tài)StateS,=[L],L,…,L,A]--------------------------------化

處

理

珈乍ActionA.=[ao,a{,..,a,-]

過a/=[air,a2...,av]

5

獎勵Rewardr=r^程*=gG,（嚴(yán)4-嚴(yán)川）+（嚴(yán)皿+嚴(yán)b）]

—t

主線獎勵函數(shù)（發(fā)電成本最?。┮?-之（塔）'+〃喀川,

4-1r*0

點,=W|￡￡'（max{喑-V'R,0}+maxqj-琛,。}）

r-0i-l

比=叼$七地聯(lián)磔'-"iQ+max0f-媼0}

十

r?0

懲r.|A-

罰r；=嗎￡2.（max（陰'-/?「&（））+maxt-^A/-陰'.0}）

項r=4T

fpm

r=0j,sl''十￡

r==wS￡（maxM』-vL，0}+maxW）-%r，0}）

7Hi-l

2.3深度強(qiáng)化學(xué)習(xí)算法的選擇

□改進(jìn)深度確定性策略梯度算法(DeepDeterministicPolicyGradient,DDPG)

LsyerLwuipm

在傳統(tǒng)DDPG算法的基礎(chǔ)上增設(shè)“良好經(jīng)驗存儲

池”使智能體向滿足安全約束的方向探索，從而縮短神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu):

訓(xùn)練探索時間。全連接神經(jīng)網(wǎng)絡(luò)

環(huán)境般經(jīng)驗

(suauTi,Si+i,done)InnutOutnut

存儲池LayerHiddenLayersLayer

at批次采樣

(SuTt,St+1)VV

batch__size*(sj,ai,r,Si+l)采用的兩種激活函數(shù):

尹”(st)relu

優(yōu)

優(yōu)

2-

化

化

器

器L

-30123

tanh

TargetActor

io

2.4多時段滾動前瞻調(diào)度智能體訓(xùn)練方式的設(shè)計

口多時段滾動前瞻調(diào)度智能體訓(xùn)練框架

11

2.4多時段滾動前瞻調(diào)度智能體訓(xùn)練方式的設(shè)計

智能體訓(xùn)練方式的設(shè)計

狀態(tài)

根據(jù)智能體訓(xùn)練方式不同，可分為:多時段拆分

state1state2stateT

多時段聯(lián)合優(yōu)化訓(xùn)練方式（僅適用于

小規(guī)模系統(tǒng)，一般收斂時間較長）神經(jīng)網(wǎng)絡(luò)

輸入：（節(jié)點數(shù)+機(jī)組數(shù)）*T;輸入：節(jié)點數(shù)+機(jī)組數(shù);

多時段解耦優(yōu)化訓(xùn)練方式（適用于輸出：機(jī)組數(shù)*T輸出：機(jī)組數(shù)

大規(guī)模系統(tǒng)，縮短訓(xùn)練收斂時間）

action1actionT

輸出動作

12

2.4多時段滾動前瞻調(diào)度智能體訓(xùn)練方式的設(shè)計

神經(jīng)網(wǎng)絡(luò)參數(shù)的初始化-預(yù)訓(xùn)練環(huán)節(jié)

環(huán)境?般經(jīng)驗

(sa,r,S+done)存儲池

Qt批次采樣

(Sp,Tt,Sl+l)V

采用歷史調(diào)度數(shù)據(jù)進(jìn)行深度土batch_size*(si,aj,r,Si+1)

兀(st)

學(xué)習(xí)，以初始化以及優(yōu)優(yōu)

Actor化

化

器

Critic網(wǎng)絡(luò)參數(shù)，使之更加合理，器

從而提高價值網(wǎng)絡(luò)的精度、

CriticTargetCritic

智能體探索到可行解的概率。

初始化網(wǎng)絡(luò)參數(shù)

歷史調(diào)度經(jīng)驗

2.5融合模型驅(qū)動的多時段前瞻調(diào)度智能體訓(xùn)練

□融合物理模型的不平衡量分配

為了解決大規(guī)模系統(tǒng)復(fù)雜度增加的問題，在網(wǎng)絡(luò)參數(shù)預(yù)訓(xùn)練的基礎(chǔ)上，研究數(shù)據(jù)與模型聯(lián)合驅(qū)動的方法,

提出機(jī)組越限量與系統(tǒng)不平衡量分配的環(huán)節(jié)：機(jī)組的有功功率及爬坡越限的功率調(diào)節(jié)、系統(tǒng)不平衡有功功率的

2.5融合模型驅(qū)動的多時段前瞻調(diào)度智能體訓(xùn)練

□智能體與環(huán)境交互示意圖

節(jié)點負(fù)荷、上一個窗口機(jī)組出力組成的State

DDPG:,DDPG正式訓(xùn)練

Actor

前瞻窗口內(nèi)機(jī)組出力JT/

獎勵

不平衡量分配/賽數(shù)RewardR|~舊利

//更新盒蟹_而蠹業(yè)"

/強(qiáng)化學(xué)習(xí)\/采樣

'網(wǎng)絡(luò)、/Batch1

5—采樣數(shù)據(jù)

市IJ/電網(wǎng)運行環(huán)境

/DDPG正式訓(xùn)練

\'-------￡預(yù)訓(xùn)練、’」

而露經(jīng)過不平衡量分配過后開始前

的前瞻窗口機(jī)組出力〉歷史0PF調(diào)度

經(jīng)驗

2.6算例分析

□測試系統(tǒng)：IEEE-30節(jié)點系統(tǒng)

系統(tǒng)基本參數(shù)

類別名稱節(jié)點總數(shù)M)us機(jī)組數(shù)量Ncen支路數(shù)量NZme

IEEE3030641

機(jī)組發(fā)電成本

發(fā)

電

成

本

美

元

010203040506070

機(jī)組有功出力八僧

16

2.6算例分析

機(jī)組前瞻調(diào)度結(jié)果

有

功

功

率

QE

/WMd

訓(xùn)練時長與成本分析

離線訓(xùn)練時間在線決策時間與OPF成本對比

IEEE3030h5s+0.031%

數(shù)據(jù)集規(guī)模n天1天11天

提綱

研究背景

2基態(tài)下的電網(wǎng)前瞻調(diào)度模型

3適應(yīng)不確定場景的遷移強(qiáng)化學(xué)習(xí)決策

結(jié)語

18

3.1多運行場景下前瞻調(diào)度智能體的遷移架構(gòu)

同時應(yīng)對負(fù)荷、新能源等邊界條件變化與網(wǎng)絡(luò)拓?fù)渥兓?/p>

電網(wǎng)前瞧調(diào)度智能體

19

3J多運行場景下前瞻調(diào)度智能體的遷移架構(gòu)

□多拗景下的i翔馳J

交互

源智能體

遷移

模擬基態(tài)時不同負(fù)荷水平及新能

源出力情況、故障態(tài)時不同線路開智能體1智能體2智能體N

交互交互相交互

斷場景并對其進(jìn)行聚類。

運行場景1

完成對相應(yīng)類別場景下基于遷移

智能體1,1智能體1.2

強(qiáng)化學(xué)習(xí)的智能體訓(xùn)練，從而構(gòu)建

歸類到王單態(tài)時聚類故障運彳蜴景IJ故障運行場景1,2故障運彳鐲景1,n

適應(yīng)多運行場景的前瞻調(diào)度模型的1......N運行場景

It故障態(tài)時運行

場景1的聚類

遷移強(qiáng)化學(xué)習(xí)架構(gòu)。電網(wǎng)正常態(tài)時多運行場景電網(wǎng)故障態(tài)時運行場景1

歸類結(jié)果

電網(wǎng)故障態(tài)時多運行場景電網(wǎng)故障態(tài)時運行場景N

3.2場景數(shù)據(jù)集構(gòu)建及特征相似度分析

□場景特征相似度度量及聚類

針對電網(wǎng)運行的海量場景，量化前瞻調(diào)度場景的特征相似度,通過聚類降低調(diào)度決策復(fù)雜度，提高效率。

基于調(diào)度計劃結(jié)果，實現(xiàn)場景特征相似度度量及場景聚類。

特

特

特

制

提

征

征

征

定

調(diào)度場景1調(diào)度結(jié)果1取特征矩陣1

典型場景1

向

矩

相

優(yōu)

關(guān)

量

陣

似

化

調(diào)度場景2?調(diào)度結(jié)果2鍵特征矩陣2

的

的

度

調(diào)

特典型場景2

降

相

的

度

征

維

似

聚

策

矩

度

類

略

陣

調(diào)度場景N*調(diào)度結(jié)果N特征矩陣N

KYYv特征降維處理：

地分分析法PCA

YnYX2YUV

oNhnNItNn

PiP2Piv

>NhrpNhpNn

nniv空間距離相似度

PfP?R

P7P°PK-means聚類

J線路故障:節(jié)點導(dǎo)納矩陣中對應(yīng)元素置為0

V新增線路:修改節(jié)點導(dǎo)納矩陣中對應(yīng)元素至新值

21

3.3前瞻調(diào)度智能體的遷移訓(xùn)練

□智能體的遷移訓(xùn)練步驟

引入遷移學(xué)習(xí)的目的是找到新增拓?fù)溥\行方式與原有拓?fù)涞南嗨菩?，運用現(xiàn)有知識更快地學(xué)習(xí)新場景下

的知識。其步驟分為：

構(gòu)造源模型：針對電網(wǎng)正常拓?fù)湎碌倪\行場景，訓(xùn)練智能體源模型。

模型遷移：使用源模型在拓?fù)涓淖兦樾蜗逻M(jìn)行訓(xùn)練，使模型快速適應(yīng)新場景。

深度強(qiáng)化學(xué)習(xí)算法

交互

電網(wǎng)正常

運行場景智能體

I神經(jīng)網(wǎng)絡(luò)模型遷移

遷移學(xué)習(xí)

交互

聚類故障L.

場景N智能體N

22

3.4離線訓(xùn)練與在線決策機(jī)制

□前瞻調(diào)度智能體離線訓(xùn)練與在線決策架構(gòu)

在線決策階段，針對各類拓?fù)渥兓倪\行場景，基于特征處理與場景歸類的方法對應(yīng)到相應(yīng)遷移智能體

并通過增加新未知故障場景對應(yīng)的遷移智能體提升電網(wǎng)前瞻調(diào)度巡航路徑的場景包容性。

特原始數(shù)據(jù)集

征

處

特征提取

理

與

特征選擇

場

景

處理后場景特征數(shù)據(jù)集X

歸

十

類

遷移智能體對應(yīng)場景特征

C,+—argmin,|x-|i

23

3.5算例分析

測試系統(tǒng)：SG126系統(tǒng)

系統(tǒng)基本參數(shù)（其中新能源電站18座）

類別名稱節(jié)點總數(shù)NBus^LMMNGen支路數(shù)量NL

SG12612654185

AM

話艙被8機(jī)，15958新能源機(jī)組

機(jī)組發(fā)電成本火七裝機(jī)：5328U火電機(jī)組

69?3.?

大方式負(fù)荷總加：3687M

---gen=0.069663*x2+26.2438*x+31.67

—喀n=0.010875*x、2+12.8875*x+6.78I-r>,r區(qū)域二

---gen=0.0128*x-2+17.82*X+10.15

---陰n=0.003*x~2+10.76*x+32.96新能源裝機(jī)：3805

發(fā)—gen=0.00240l*x'2+12.3299*x+28.0火電裝機(jī):2483

電---8^n=0.0044*x'2+13.29*x+39.06找機(jī)：2863V

大方式負(fù)荷總加：M00M

成-gen=0.01059*X*2+8,3391*X+64.16

斗?

本一gen=0.045923*x*2+15.4708*X+74.33

一gen=0.028302*x'2+37.6968*x+17.95

-gen=0.009774*x'2+22.9423*X+58.81

元

區(qū)域三

區(qū)域一新能額裝機(jī)：100網(wǎng)

火電裝機(jī):2570

總裝機(jī)：2670?1

新能源裝機(jī)：1U5M

&方式《荷BE：1193

火電裝機(jī)：275MK

IMb1502Ml350總裝機(jī)：1390X6

大方式負(fù)行總加：1Q94*

機(jī)組有功出力/\w

24

3.5算例分析

負(fù)荷數(shù)據(jù)

節(jié)900000

點

負(fù)

荷800000

有

功

700000

功

率

/

M

W600000

500000

650100150200250300350

------------------------------------------------1時間間隔/24h-------------------------------------------

離線訓(xùn)練環(huán)節(jié)采用的負(fù)荷數(shù)據(jù)集為2019年10月后延一年的數(shù)據(jù)（綠色曲線）;在線測試環(huán)節(jié)采用

的負(fù)荷數(shù)據(jù)集為2020年10月后的數(shù)據(jù)（藍(lán)色曲線）。橫坐標(biāo)對應(yīng)天數(shù)，時間間隔為24小時；縱坐標(biāo)

為對應(yīng)的負(fù)荷（單位：MW）O

25

3.5算例分析

新能源預(yù)測數(shù)據(jù)

新

能

源300000

機(jī)

組250000

最

200000

大

有150000

功

功100000

率

/50000

M

W

0-

050100150200250300350

---------------------------------時間間隔/24h-----------------------------------------

SG126系統(tǒng)的訓(xùn)練集與測試集對應(yīng)的新能源機(jī)組預(yù)測最大有功出力。橫坐標(biāo)對應(yīng)天數(shù)，時間間

隔為24小時；縱坐標(biāo)為對應(yīng)的新能源預(yù)測（單位：MW）o

26

3.5算例分析

運行場景聚類-基態(tài)

K簇類別個數(shù)的選擇：3

基態(tài)運行時訓(xùn)練集場景的映射特征集表4000

場景/天特征1特征2特征3特征4特征5

M'w6.792-7.3171.8239.1373.469

Mi23.1665.1390.3412.3902.635

Ml

9.7950.061-8.1801.5870.720

、亡9-2.765-6.7500.4633.8712.487

34579