電力負荷預測第九章 人工神經(jīng)網(wǎng)絡的負荷預測

第九章人工神經(jīng)網(wǎng)絡的負荷預測一.神經(jīng)網(wǎng)絡理論概述二.BP網(wǎng)絡原理與算法三.BP網(wǎng)絡在短期負荷預測中的應用

教學要求：●了解神經(jīng)網(wǎng)絡的基本知識；●掌握BP及其改進算法；●清楚BP網(wǎng)絡在短期負荷預測中的應用；

教學難點：BP算法的權值修正的推導；

教學重點：BP算法的計算過程；一.神經(jīng)網(wǎng)絡概述

1.神經(jīng)網(wǎng)絡的定義

2.神經(jīng)網(wǎng)絡理論的發(fā)展

3.神經(jīng)網(wǎng)絡的分類

4.神經(jīng)網(wǎng)絡理論的應用領域

5.神經(jīng)網(wǎng)絡的主要特性

6.神經(jīng)元的描述1.神經(jīng)網(wǎng)絡的定義人工神經(jīng)網(wǎng)絡(ArtificialNeuralNetworks,ANN或NN)——是對人腦或自然神經(jīng)網(wǎng)絡若干基本特性的抽象和模擬。換句話說，是根據(jù)所掌握的生物神經(jīng)網(wǎng)絡機理的基本知識，按照控制工程的思路和數(shù)學描述方法，建立相應的數(shù)學模型，并采用適當?shù)乃惴?，有針對性的確定數(shù)學模型的參數(shù)（如連接權值，閾值等），以便獲得某個特定問題的解。2.神經(jīng)網(wǎng)絡理論的發(fā)展概述1943年，心理學家Mcculloch和數(shù)學家Pitts提出M-P神經(jīng)元模型。1957年，美學者FrankRosenblatt提出感知機模型Perceptron。60年代，Widrow提出自適應元件Adaline。1974年，美Werbos.P提出誤差反向傳播算法

(Back-Propagation)。1982年，美Hopfield提出HNN全互聯(lián)網(wǎng)絡模型及能量函數(shù)。1985年，Bumelhart發(fā)展了BP網(wǎng)絡算法，實現(xiàn)Minsky的多層網(wǎng)絡設想。3.神經(jīng)網(wǎng)絡的分類前向網(wǎng)絡（BP網(wǎng)絡）相互結合性網(wǎng)絡（Hopfield模型）①連接方式②網(wǎng)絡模型感知器多層映射BP網(wǎng)絡GMDH網(wǎng)絡RBF網(wǎng)絡雙向聯(lián)想記憶(BAM)Hopfield模型盒中腦(BSB)自適應共振理論（ART）4.神經(jīng)網(wǎng)絡理論的用途

●函數(shù)逼近

●數(shù)據(jù)聚集

●模式分類

●優(yōu)化計算

●概率密度函數(shù)估計5.神經(jīng)網(wǎng)絡的基本特性●分布存儲和容錯性；●可塑性、自適應性和自組織性；●并行處理性；●層次性；6.神經(jīng)元的描述多入——單出——從其它神經(jīng)元傳來的信號；——閾值（可看作-1的輸入,權為θi）；——神經(jīng)元j到神經(jīng)元i的連接權值；——傳遞函數(shù)（節(jié)點作用函數(shù)）；常用的作用函數(shù)

●高斯核函數(shù)

●閾值性函數(shù)

●S狀曲線

●分段線性函數(shù)二.BP網(wǎng)絡原理及算法

1.BP網(wǎng)絡的基本原理

2.BP算法的基本遞推關系式

3.BP算法的實現(xiàn)步驟

4.BP學習算法的收斂性分析及改進

1.BP網(wǎng)絡的基本原理●什么是BP網(wǎng)絡？

——運用誤差反向傳播學習算法（Back-Propagation

TraingingAlgorithm）的前饋多層網(wǎng)絡，~。

維數(shù)角標輸入層輸出層隱含層（可多層）XY輸入輸出ghBP網(wǎng)絡結構示意圖

●BP網(wǎng)絡的學習過程正向過程：輸入信號從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)單元。反向過程：如果在輸出層不能得到期望的輸出，則將輸出信號的誤差沿原來的連接通路返回。通過修改各層神經(jīng)元的權值，使誤差信號最小。BP為有教師的學習算法，以最小二乘法的最陡下降梯度。BP網(wǎng)絡各層神經(jīng)元的輸出為：XYgh神經(jīng)元閾值視為連接權

令

XYgh2.算法的基本遞推關系式設學習樣本個對應的教師信號(輸出的期望值)正向傳播輸出信號共個樣本對向量XP1XPLtPLYP1YPLtP1BP網(wǎng)絡n維m維m維對而言若輸入所有個樣本對，網(wǎng)絡的總誤差為應用最陡下降法，反向調(diào)整各層連接權，使誤差達到最小?！我鈨蓚€神經(jīng)元之間的連接權批量模式設為迭代次數(shù)，應用梯度法，可得各層連接權的迭代關系式為

——學習速度系數(shù)，一般取0.01~1。

●第二隱含層——輸出層的權值修正——第p個輸入模式下對輸出神經(jīng)元l的等效誤差。

●第一隱含層——第二隱含層的權值修正——在第P個輸入模式下，分攤給第二隱含層神經(jīng)元k的等效誤差。（調(diào)換求和順序）

●輸入層——第一隱含層的權值修正——第p個輸入模式對下的，分攤給第一隱含層j的等效誤差。（調(diào)換求和順序）

第2隱含-輸出層第1隱含-第2隱含層輸入層-第1隱含層權值修正計算一覽表綜上所述：⑴連接權的調(diào)整，按遞推表達式進行。

——該連接權輸出端點的等效誤差。

——該連接權輸入點的實際信號。⑵等效誤差由輸出層向輸入層逐層反向傳播。⑶權修正是按批處理方式進行。

批處理

——是輸入所有學習樣本對并計算網(wǎng)絡誤差后,才按負梯度方向進行調(diào)整。可避免逐個樣本對權修正時可能引起的振蕩。3.算法的實現(xiàn)步驟Step1:初始化網(wǎng)絡權值。一般取凈輸入值較小，權值為一隨機數(shù)。step2:輸入量的正向傳遞過程。①輸入學習樣本對。②對每個輸入樣本，按式

順序計算各神經(jīng)元的輸出值。Step3:誤差反向傳播，依次計算，，。Step4:按式修正各層的連接權。Step5:根據(jù)新的連接權值進行正向計算。若每一個樣本對和輸出層的每一個神經(jīng)元l均滿足精度要求，即

則網(wǎng)絡學習完成，否則去②。系統(tǒng)給定BP算法框圖：

4.學習算法的收斂性分析及改進●算法的收斂性

三種情況1)全局最小點

2)平坦區(qū)網(wǎng)絡麻痹

3)局部極小點

有關神經(jīng)元激活函數(shù)的導數(shù)有關梯度與●反向傳播法的不足

需要較長的訓練時間完全不能訓練局部極小值①多層網(wǎng)絡結構，較多神經(jīng)元。②不同初始權值（較小的初始權值，較小的學習速率）。●網(wǎng)絡訓練不穩(wěn)定①附加動量法

0，當

=0.95，當，其他初始值：方向一致②自適應學習速率

，當

，當，其他③L-M規(guī)則——加快前向網(wǎng)絡訓練大，梯度法。小，Guass-Newton