電力系統(tǒng)短期負(fù)荷預(yù)測技術(shù)的研究與實(shí)現(xiàn).pdf

合肥工業(yè)大學(xué) 碩士學(xué)位論文 電力系統(tǒng)短期負(fù)荷預(yù)測技術(shù)的研究與實(shí)現(xiàn) 姓名：石萬清 申請學(xué)位級別：碩士 專業(yè)：電力系統(tǒng)及其自動(dòng)化 指導(dǎo)教師：陶維青 20050401 電力系統(tǒng)短期負(fù)荷預(yù)測技術(shù)的研究與實(shí)現(xiàn) 摘要 電力系統(tǒng)短期負(fù)荷預(yù)測是調(diào)度中心制訂發(fā)電計(jì)劃及發(fā)電廠報(bào)價(jià)的依據(jù)，也 是能量管理系統(tǒng)( E M s ) 的重要組成部分，對電力系統(tǒng)的運(yùn)行、控制和計(jì)劃都有 著非常重要的影響，其預(yù)測精度直接影響到了電網(wǎng)及各發(fā)電廠的經(jīng)濟(jì)效益。 由于電力負(fù)荷受諸多因素影響，如當(dāng)前負(fù)荷狀況、天氣狀況、節(jié)假日、重 大經(jīng)濟(jì)及政治事件等，為提高短期電力負(fù)荷預(yù)測的精度，本文綜合考慮了影響 電力負(fù)荷的諸多因素，分析了適用于電力系統(tǒng)短期負(fù)荷預(yù)測的多種預(yù)測模型及 其優(yōu)缺點(diǎn)，提出了將徑向基函數(shù)網(wǎng)絡(luò)和模糊邏輯兩種方法相結(jié)合的預(yù)測方法， 并用v i s u a lc + + 和M A T L A B 混合編程實(shí)現(xiàn)基于該算法的短期電力負(fù)荷預(yù)測程 序，結(jié)果表明，與常規(guī)的預(yù)測方法相比，預(yù)測精度有了較大提高，效果較好。 此外，本文實(shí)現(xiàn)了V i s u a lC + + 與M A T L A B 的接口。利用v i s u a lC + 十6 O 提 供的控件設(shè)計(jì)人機(jī)界面，利用M A T L A B 工作在后臺(tái)實(shí)現(xiàn)復(fù)雜的計(jì)算功能。這 樣既可以擁有良好的人機(jī)界面，又可以有較高的軟件開發(fā)效率。 關(guān)鍵詞：短期負(fù)荷預(yù)測：神經(jīng)網(wǎng)絡(luò)；B P 算法；R B F 網(wǎng)絡(luò)；模糊邏輯；M A T L A B R e s e a r c ha n d I m p l e m e n t o nS h o r t - t e r mL o a d F o r e c a s t i n g T e c h n o l o g y o fE l e c t r i cP o w e r S y s t e m A b s t r a c t S h o r t t e nl o a df o r e c a s t i f 培o fe l e c t r i cp o w e rs y s t e mi s n o t o n l y t 1 1 eb a s i sf o r 恤e d i s 刪b u t i o nc e n t e r st o 糾a np o w e rg e n e r a t j o na n dt h ep o w e rp l a n 括t oq u o t ep r j c e ，b u ta l s o a I li m p o n a f l tp a r to f e n e r g ym a I I a 跗n e n ts y s t e m F 池r n l o r c ，s h o m t e ml O a df o r e c a s t i n g h a sa 】一i m p o n a n te 丘音c to np o w e rs y s t e m ，s u c ha s 郇啪t i 伽，c o n 打0 1a n dp 】a n T h e p r e d i c t i o na c c u r a c yh 髂d i r e c t i n f l u e n c eo n e c o n 0 I I l yb e n e f i t so f t l l e 嘶da n dp o 、e rp l 蛆t s E l e c m cp o w e ri s 甜r e c t e db ym a I l yf a c t o r s ，s u e ha Sc u r r e ml o a ds t a t u s ，w e a t h e rs 紈s ， f b s t i V a l - h o l i d a y ，i m p o n a n Ce c o n 0 瑚y a I l d p o l i t i c se V e n t ，a I l d e t c F o r i l p r o v i n g t l l e p r e d i c t i o na c c u r a c yo f s h o n t e r ml o a df o r e c a s t i n 島m a r l yf o r e c a s tm o d e l s 印p l i e dt op o w e r s y S t e ms h o r t _ t e n nl o a df o r e c 刪n ga n d 位i rc l l a 】t e r i s t i c sa r e 眥I y z e d ，al o a df o r e c a s t i n g s 眥e g yb a S e d o nR B Fn e u r a In c t w o r ka n d f I l z 糾l o g i c i s p m p o s e dc o I l s i d e r i n g 也e i n t e 礦a t l 甜e 岱娥o fm 鋤yf 如t o r s T h el o a d 如r e c a s t m gp r 0 可a mb a s e do nt h ep m p o s e d f o r e c a 幽gs t r a t e g yi s c a r r i e do u tb yc o m b i n e d s 謝c + 十a(chǎn) n dM A T L A B T h er e s u l t s s h o w b e t t 耵p r e d i c t i o na c c u r a c ym a n 倒硒o n a l m o d e l s A d d i t i o m l l y ，b 0 出V C + + 觚dM A l L A Ba r ea d o p t e d i I l t 】1 i s p 印e r u s i n g m e m a n - m a c h 主l 】oc o n v e f s i o n 幻t e 喲脯o fv j s u a lC 十 c o m p l i c a t e dc o m p u t a t i o ni sd o n ea tt h e b a c k g m u n d 嘶t l IM A l L A B t 0 0 1 s ob o mg o o dm a n m a c l l i l l ec o n v e r s a t o n 誠e r f l l c ea l l d h i 曲e re x p l o i t a t i o ne m c i e n c y o f s o f h a r ea r ea c q m r e d K | 種 r d s ：S h o 出t e l mJ o a d 幻r e c 咖；N e u r a ln e 錒o r k ；B a c k P r o p a g a t i o na 1 9 0 r i t 吼； R 矗d i a lB a s j sF l l I l c t i o nN e t w o r k ；F u z 巧L 0 豇c ；M 棚，A B 合肥工業(yè)大學(xué) 本論文經(jīng)答辯委員會(huì)全體委員審查，確認(rèn)符合合肥工業(yè)大學(xué) 碩士學(xué)位論文質(zhì)量要求。 答辯委員會(huì)簽名：( 工作單位、職稱) 主席：蚴彥叛磅瘩旋 投援 扣 怨弘 、。 孑， 肚 | ： j 。 一 唇 腎 血易一隊(duì)謅卜似島和m 中 弋P p扯弦陶 委 蝴 獨(dú)創(chuàng)性聲明 本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果 據(jù)我所知，除了文中特別加咀標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫 過的研究成果，也不包含為獲得金墅王些太堂或其他教育機(jī)構(gòu)的學(xué)位或證書而使 用過的材料。與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明 并表示謝意。 黜一躲萬萬葫黼飆財(cái)咿犀日 學(xué)位論文版權(quán)使用授權(quán)書 本學(xué)位論文作者完全了解盒月l 王些太堂有關(guān)保留、使用學(xué)位論文的規(guī)定，有權(quán)保留 并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤，允許論文被查閱和借閱。本人授權(quán)金 目g 王些太堂可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、 縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。 ( 保密的學(xué)位論文在解密后適用本授權(quán)書) 虢萬萬磊 簽字日期：) 町年f 月群日 學(xué)位論文作者畢業(yè)后去向： 工作單位： 通訊地址： 翩繇確學(xué)昔 簽字日期：2 一，年j 月乒日 電話 郵編 致謝 論文之所以能夠順利完成，首先感謝我的導(dǎo)師陶維青副研究員。正是在陶 老師誨人不倦的教導(dǎo)和支持下我才能夠順利完成碩士階段的學(xué)習(xí)與研究，本論 文從選題到最后的定稿都凝聚著陶老師的心血。陶老師淵博的學(xué)術(shù)水平、嚴(yán)謹(jǐn) 的教學(xué)作風(fēng)使我在學(xué)業(yè)上受益無窮，從他身上學(xué)到的實(shí)事求是的科學(xué)態(tài)度、嚴(yán) 謹(jǐn)?shù)目蒲蟹椒槲椅磥淼墓ぷ骱桶l(fā)展打下了堅(jiān)實(shí)的基礎(chǔ)。同時(shí)，導(dǎo)師在生活上 也給我很多的關(guān)懷、幫助和鼓勵(lì)，在此學(xué)生表示衷心的感謝和深深的敬意。 本次論文工作得以順利完成還要感謝庹華容、張升、馬小陸、黃麗瓊、鄭 杰、周強(qiáng)、張曉飛、王成進(jìn)、王駿等同學(xué)和朋友給予我的鼓勵(lì)和幫助，在此深 表謝意。 最后還要感謝我的父母和家人。感謝多年來他們對我的支持。 作者：石萬清 2 0 0 5 年4 月 第一章前言 1 1 電力系統(tǒng)負(fù)荷預(yù)測的意義和目的 電力系統(tǒng)負(fù)荷預(yù)測是在充分考慮一些重要的系統(tǒng)運(yùn)行特性、增容決策、自 然條件及社會(huì)影響等條件下，研究和應(yīng)用一套系統(tǒng)處理過去負(fù)荷與未來負(fù)荷的 數(shù)學(xué)方法，在滿足一定精度要求的前提下，確定未來某特定時(shí)刻的電力負(fù)荷值。 電力負(fù)荷預(yù)測是電力系統(tǒng)調(diào)度、用電計(jì)劃、規(guī)劃等管理部門的重要工作之一。 提高負(fù)荷預(yù)測技術(shù)水平，有利于計(jì)劃用電管理、合理安排電網(wǎng)運(yùn)行方式和機(jī)組 檢修計(jì)劃、制定合理的電源建設(shè)規(guī)劃、提高電力系統(tǒng)的經(jīng)濟(jì)效益和社會(huì)效益， 并有利于節(jié)煤、節(jié)油和降低發(fā)電成本。因此負(fù)荷預(yù)測已經(jīng)成為實(shí)現(xiàn)電力系統(tǒng) 管理現(xiàn)代化的重要內(nèi)容之一。 電力系統(tǒng)負(fù)荷預(yù)測分為：長期負(fù)荷預(yù)測、中期負(fù)荷預(yù)測、短期負(fù)荷預(yù)測和 超短期負(fù)荷預(yù)測l2 1 。長期負(fù)荷預(yù)測一般指1 0 年以上并以年為單位的預(yù)測；中 期負(fù)荷預(yù)測是指5 年左右并以年為單位的預(yù)測；短期負(fù)荷預(yù)測則是指一年之內(nèi) 以月、周、日、小時(shí)為單位的負(fù)荷預(yù)測；超短期負(fù)荷預(yù)測是指未來1 小時(shí)、未 來O 5 小時(shí)甚至未來1 0 分鐘的負(fù)荷預(yù)測。長期和中期負(fù)荷預(yù)測的意義在于幫 助決定新的發(fā)電機(jī)組的安裝( 包括裝機(jī)容量的大小、型式、地點(diǎn)和時(shí)間) 與電 網(wǎng)的規(guī)劃、增容和改建。短期負(fù)荷預(yù)測則可對未來一天到七天的負(fù)荷進(jìn)行預(yù)測， 是調(diào)度中心制訂發(fā)電計(jì)劃及發(fā)電廠報(bào)價(jià)的依據(jù)。超短期負(fù)荷預(yù)測的意義在于對 電網(wǎng)進(jìn)行計(jì)算機(jī)在線監(jiān)控，實(shí)現(xiàn)發(fā)電容量的合理調(diào)度，滿足運(yùn)行的要求，同時(shí) 也使發(fā)電成本最小。短期負(fù)荷預(yù)測也是能量管理系統(tǒng)( E M s ) 的重要組成部分， 對電力系統(tǒng)的運(yùn)行、控制和計(jì)劃都有著非常重要的影響，提高電力系統(tǒng)短期負(fù) 荷預(yù)測的精度既能增強(qiáng)電力系統(tǒng)運(yùn)行的安全性，又能改善電力系統(tǒng)運(yùn)行的經(jīng)濟(jì) 性。隨著我國社會(huì)主義市場經(jīng)濟(jì)的不斷完善，電力企業(yè)逐步走向市場，電力系 統(tǒng)的經(jīng)營方式從壟斷轉(zhuǎn)變?yōu)槭袌龈偁帉⒊蔀楸厝弧６唐谪?fù)荷預(yù)測是電力市場的 基礎(chǔ)工作，隨著電力市場改革的深入開展，其作用日益重要，它不但成為發(fā)電 廠報(bào)價(jià)的依據(jù)，更是保證電網(wǎng)安全穩(wěn)定運(yùn)行的重要前提，其預(yù)測精度直接影響 到了電網(wǎng)及各發(fā)電廠的經(jīng)濟(jì)效益。 1 2 國內(nèi)外的研究狀況 國外對于負(fù)荷預(yù)測的研究開展較早，美國華盛頓大學(xué)的D c P a r k 等人最早 將神經(jīng)網(wǎng)絡(luò)應(yīng)用于短期負(fù)荷的預(yù)測，將傳統(tǒng)模型中無法考慮的天氣因素加入到 模型中，得出了神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測模型比傳統(tǒng)預(yù)測模型預(yù)測精度高的結(jié)論。但 是D c P a r k 的模型中沒有考慮到日類型、節(jié)日等其它因素，部分預(yù)測結(jié)果誤差 較大【3 1 。 E A M o h a m e d 等人提出的針對埃及聯(lián)合電網(wǎng)( E u G ) 的小時(shí)負(fù)荷預(yù)測模型p 1 中 使用了3 層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，測試結(jié)果為：標(biāo)準(zhǔn)差2 9 3 ，最大誤差1 1 4 7 出現(xiàn) 在1 月2 3 日( 星期六) 。盡管在模型中考慮了日類型，從預(yù)測結(jié)果來看，工作日 的預(yù)測誤差較小，但是休息日的預(yù)測誤差較大。另外，在模型中沒有考慮氣溫 等天氣狀況，這將降低模型的精度。為彌補(bǔ)此不足，應(yīng)該在模型中加入前一天 及前一周的負(fù)荷狀況。 國內(nèi)在9 0 年代以前也有關(guān)于負(fù)荷預(yù)測的研究，但是大都側(cè)重電力需求的中 長期預(yù)測，主要用于電力規(guī)劃。隨著我國社會(huì)主義市場經(jīng)濟(jì)的不斷完善，電力 企業(yè)逐步走向市場，電力系統(tǒng)的經(jīng)營方式從壟斷轉(zhuǎn)變?yōu)槭袌龈偁帉⒊蔀楸厝弧?而且，短期負(fù)荷預(yù)測是電力市場的基礎(chǔ)工作，隨著電力市場改革的深入開展， 其作用日益重要，國內(nèi)的學(xué)者也從9 0 年代中期開始紛紛展開了人工神經(jīng)網(wǎng)絡(luò)在 短期負(fù)荷預(yù)測領(lǐng)域的研究。 電力科學(xué)研究院的于爾鏗、汪峰等人長期從事E M S ，D M S 和電力市場的研 究，在其關(guān)于能量管理系統(tǒng)的E M s 講座中1 5 】，系統(tǒng)的闡述了電力系統(tǒng)負(fù)荷預(yù)測 的方法。文獻(xiàn) 6 】中提出的小時(shí)負(fù)荷預(yù)測模型中將負(fù)荷按各種分量進(jìn)行拆分，分 別用神經(jīng)網(wǎng)絡(luò)與A R 方法建模，但是，模型中未考慮天氣因素，模型精度受到 一定的影響。 雖然神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測方法的預(yù)測精度較傳統(tǒng)方法高，但是它也有其自身 的缺陷：由于諸多原因，節(jié)假日負(fù)荷預(yù)測的精度相對較差；此外，反向傳播算 法( B a c k - P r o p a g a t i o n a l g o r i m m ，簡稱B P ) 的收斂速度慢。對突發(fā)事件的適應(yīng) 性差，而且容易陷入局部極小點(diǎn)。目前采用改進(jìn)的B P 算法來加速B P 算法的收 斂。 總體來看，對負(fù)荷預(yù)測的研究經(jīng)歷了三個(gè)階段：1 ) 從對負(fù)荷預(yù)測的傳統(tǒng)的 數(shù)學(xué)統(tǒng)計(jì)方法的研究，如時(shí)間序列、回歸分析等，研究重點(diǎn)在負(fù)荷序列本身的 規(guī)律上；2 ) 對負(fù)荷預(yù)測的人工智能的研究，如神經(jīng)網(wǎng)絡(luò)等，研究重點(diǎn)以新技術(shù) 代替?zhèn)鹘y(tǒng)的方法：3 ) 負(fù)荷預(yù)測的應(yīng)用研究，重點(diǎn)是將各種負(fù)荷預(yù)測方法與影響 負(fù)荷的各種因素結(jié)合起來進(jìn)行研究，特別是天氣因素。而且，在單個(gè)預(yù)測模型 不能完全正確地描述預(yù)測量的變化規(guī)律時(shí)，還可以將幾種預(yù)測方法得到的結(jié)果 中選取適當(dāng)?shù)臋?quán)值加權(quán)平均來得到預(yù)測值，能有效的改善預(yù)測效果【7 1 2 1 。 在應(yīng)用上，國外的電力企業(yè)大都使用特定的負(fù)荷預(yù)測軟件包。近年來，這 些軟件包更是將神經(jīng)網(wǎng)絡(luò)方法納入其中。如美國R e g i o n a lE c o n o m i c R e s e a r c h ，I n c ( 簡稱R E R ) 開發(fā)的軟件包M e t r i x N D 【1 3 】綜合了神經(jīng)網(wǎng)絡(luò)方法、時(shí) 間序列及指數(shù)平滑技術(shù)等，軟件包提供了短期負(fù)荷預(yù)測及電價(jià)預(yù)測功能，但是 沒有相關(guān)的預(yù)測精度說明。 國內(nèi)仍處于試驗(yàn)階段，實(shí)際應(yīng)用較少。常州東瑞電力軟件有限公司開發(fā)短 2 期負(fù)荷預(yù)測模塊中使用了神經(jīng)網(wǎng)絡(luò)預(yù)測模型來預(yù)測2 4 點(diǎn)的日負(fù)荷，但是未見對 模型預(yù)測精度的評價(jià)。 1 3 研究的主要內(nèi)容 短期負(fù)荷預(yù)測是電力市場的基礎(chǔ)工作，隨著電力市場改革的深入開展，其 作用日益重要，其預(yù)測精度直接影響到了電網(wǎng)及各發(fā)電廠的經(jīng)濟(jì)效益。要提高 負(fù)荷預(yù)測精度，就必須考慮影響負(fù)荷的各種因素，如當(dāng)前負(fù)荷狀況、天氣狀況、 節(jié)假臼、重大經(jīng)濟(jì)、政治事件等不確定因素。而且，同樣的模型運(yùn)用在不同地 區(qū)時(shí)，精度上可能會(huì)有較大的差別，原因在于各地影響負(fù)荷的工業(yè)水平、氣候 條件等不同，所以，在針對特定地區(qū)進(jìn)行負(fù)荷預(yù)測研究時(shí)，需要對當(dāng)?shù)氐呢?fù)荷 特性等進(jìn)行深入的分析，選擇合適的模型，才能提高預(yù)測精度。本文主要工作 有以下幾點(diǎn)： 1 學(xué)習(xí)和研究了電力系統(tǒng)短期負(fù)荷預(yù)測的多種方法，并分析了一些方法的 特點(diǎn)及適用范圍； 2 重點(diǎn)研究了人工智能的預(yù)測方法，如B P 網(wǎng)絡(luò)，徑向基函數(shù)網(wǎng)絡(luò)( R a d i a l B a s i sF u n c t i o n N e t w o r k s ，簡稱R B F ) ，在充分考慮影響負(fù)荷因素的同 時(shí)，將神經(jīng)網(wǎng)絡(luò)與模糊邏輯相結(jié)合來提高負(fù)荷預(yù)測精度； 3 用v i s u a lc + + 和M A T L A B 混合編程，實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)算法，并用v i s u a l c + + 和M A T L A B 兩編程語言實(shí)現(xiàn)了短期負(fù)荷預(yù)測軟件，這樣既能利用 s u a Ic + + 豐富的圖形界面功能，并能與s c A D A 等系統(tǒng)相連，具有很好 的可移植性和適用性，而且能利用M A T L A B 強(qiáng)大的數(shù)值計(jì)算功能，利用 其工作在后臺(tái)，從而提高了軟件開發(fā)效率。 第二章傳統(tǒng)的負(fù)荷預(yù)測方法 經(jīng)過幾十年的發(fā)展，人們提出了許多的短期負(fù)荷預(yù)測方法。現(xiàn)在的預(yù)鋇4 方法 大體分為2 類：傳統(tǒng)的數(shù)學(xué)統(tǒng)計(jì)方法和上世紀(jì)9 0 年代興起的人工智能方法a 下面 大致介紹一下幾種傳統(tǒng)的數(shù)學(xué)統(tǒng)計(jì)方法。 2 1指數(shù)平滑預(yù)測法 指數(shù)平滑預(yù)測方法f H 】采用電力系統(tǒng)負(fù)荷趨勢外推預(yù)測技術(shù)，其理論依據(jù) 是：電力負(fù)荷的變化一方面有其不確定性，如氣候的變化、意外事故的發(fā)生等 造成對電力負(fù)荷的隨機(jī)性干擾；另一方面，在一定的條件下，電力負(fù)荷存在明 顯的變化趨勢。以農(nóng)業(yè)用電為例，在氣候變化較小的冬季，日用電量相對穩(wěn)定， 表現(xiàn)為較平穩(wěn)的變化趨勢，在某個(gè)時(shí)段內(nèi)，又表現(xiàn)為線形和非線性趨勢。從季 度和月份用電看，易見周期性變化趨勢，習(xí)慣上稱之為季節(jié)性變化趨勢。有時(shí) 也會(huì)表現(xiàn)為幾種變化趨勢的疊加。 指數(shù)平滑預(yù)測方法針對不同的變化趨勢具體采用不同的方法。這些方法共 同的特點(diǎn)是作趨勢外推，不對其中的隨機(jī)成分作統(tǒng)計(jì)處理。 2 1 1 水平趨勢預(yù)測方法 水平趨勢預(yù)測方法有全平均法、次滑動(dòng)平均預(yù)測法、一次指數(shù)平滑預(yù)測 法、一階自適應(yīng)系數(shù)預(yù)測法。這里我們主要介紹一次指數(shù)平滑預(yù)測法。 對于連續(xù)變化的負(fù)荷數(shù)據(jù)序列，要預(yù)測它在未來時(shí)刻的值，可以對歷史負(fù) 荷數(shù)據(jù)按照“重近輕遠(yuǎn)”的預(yù)測原則加以不同的權(quán)值進(jìn)行疊加，近期數(shù)據(jù)給予 較大的權(quán)值，遠(yuǎn)期數(shù)據(jù)給予較小的權(quán)值，以強(qiáng)化近期數(shù)據(jù)的作用，弱化遠(yuǎn)期數(shù) 據(jù)的影響， 取定平滑參數(shù)口( 0 ( 口( 1 ) 。初值= 而，便可計(jì)算一次指數(shù)平滑序列： = a + ( I 一q lf = I ，2 ，3 ，r( 2 1 ) 即用f 期的平滑值s ，預(yù)測H - l 期的電力負(fù)荷曼。= s 。特別地， 王。= J ，( ，= 1 ，2 ，) ，這就是一次指數(shù)平滑預(yù)測法。 平滑系數(shù)口的值的大小，體現(xiàn)了不同時(shí)刻的指標(biāo)在預(yù)測值中所起的不同作 用，如果數(shù)據(jù)序列波動(dòng)較大，為了在預(yù)測中反映該波動(dòng)，應(yīng)當(dāng)突出新的負(fù)荷數(shù) 據(jù)x ，的作用，要用較大的口；反之，數(shù)據(jù)序列變化平緩，可取較小的口值?？诘?取值沒有一定的規(guī)律，具體計(jì)算時(shí)可以通過計(jì)算機(jī)程序?qū)趦?yōu)化選取。 2 1 ，2 線性趨勢預(yù)測 線性趨勢預(yù)測方法塒包括二次滑動(dòng)平均法、二次指數(shù)平滑法及二階自適應(yīng) 4 系數(shù)預(yù)測方法。在此，著重介紹二次指數(shù)平滑法。二次指數(shù)平滑是對一次指數(shù)平 滑數(shù)值再進(jìn)行一次平滑。一次指數(shù)平滑法是直接利用一次指數(shù)平滑值作為預(yù)測 值的一種預(yù)測方法，二次指數(shù)平滑法與其不同，它是用平滑值對時(shí)序存在的線 性趨勢進(jìn)行修正。因此，二次指數(shù)平滑也稱為線性指數(shù)平滑，其計(jì)算過程為： I 計(jì)算一次、二次指數(shù)平滑序列 ( a ) 一次指數(shù)平滑序列( 平滑系數(shù)0 g 時(shí)，有只( ) = o ，這說明，M A ( q ) 模型只能預(yù)測到第g 步。 由此可見，要求得多，( 1 ) ，允( 2 ) ，蟲( g ) ，只須設(shè)法求出口。，口。，d + 即可。為此可 將原模型式( 2 - 9 ) 改寫為 口I = y 。十島口l - 1 + + 巳口_ ( 2 - 1 1 ) 利用公式( 2 1 1 ) 求出口。，口。，口。+ 。的估計(jì)值，然后把它們再代回式( 2 - 1 0 ) 中去， 即可得出預(yù)測值或( 1 ) ，允( 2 ) ，只( 蠆) 。 ( 三) A R M A 序列預(yù)測模型 將A R 和M A 模型結(jié)合起來構(gòu)成可以用來描述平穩(wěn)隨機(jī)過程的自回歸動(dòng)平均 模型A R M A ( p ，q ) ，A R M A ( p ，q ) 模型為： y t 一妒l y 卜I 一一p P M P = 口f B 口I - 1 一一島口f _ ( 2 - 1 2 ) 這里吼，伊：，妒，和B ，島，以都是已估計(jì)好的參數(shù)值。于是有 y ，+ = 伊I y f + 一l + 。+ 妒p y r + P + 口f + 一B 4 - + 一l 一一日口f + 一q ( o ) ( 2 - 1 3 ) 當(dāng) g 時(shí)，對式( 2 1 3 ) 兩端取期望值，有 多，( ) = 仍允( 一1 ) + P 2 多。( 一2 ) + + 妒。多。( 一p )( 而 o )( 2 - 1 4 ) 將式( 2 - 1 4 ) 和式( 2 - 8 ) 相比較，可知，這就是A R ( p ) 序列的預(yù)測模型。所以， 在 口以后，A R M A ( p ，q ) 序列的預(yù)測問題完全可以仿照A R ( p ) 序列的問題來處 理，這里不再重述，只要注意到，這里即使廳 g ，多，( 仍不為零，這是因?yàn)閷?A R M A ( p ，q ) 化為M A 序列時(shí)，n = 罷篙口，是無限階M A 序列模型，而不是有限 項(xiàng)白噪聲之和。 當(dāng)1 而s 口時(shí)，此時(shí)( 2 - 1 3 ) 式中的口。，口f - ，q 。l 完全可以仿照M A 序列預(yù)測 中處理的方法來確定。因此，將求A R 序列和M A 序列的預(yù)測模型結(jié)合起來， 就可以確定A R M A 序列的預(yù)測模型。 ( 四) A R I M A 序列預(yù)測模型 累積式自回歸動(dòng)平均模型的提出是為了抽取時(shí)間序列中的平穩(wěn)隨機(jī)因素， 消除模型中的非平穩(wěn)隨機(jī)過程【n 】。實(shí)際上是先對時(shí)間序列求取d 階差分( 實(shí)際 上，d 通常是O ，l ，或者最多是2 ) ，得到一個(gè)新的時(shí)間序列，然后，運(yùn)用自回 歸動(dòng)平均法求取這個(gè)新的時(shí)間序列。如， 肼 是一個(gè)非平穩(wěn)序列，經(jīng)過d 次差 分后， V 。J ，。J 是一個(gè)平穩(wěn)的A R 眥序列，記 P p ( B ) = l 一仍B 一妒P 四9 巳( 曰) = l 一只口一島曰7 則稱 妒P ( 動(dòng)V 4 y ，= 色( 曰) q ( f d )V = l 一曰 ( 2 1 5 ) 為( p ，d ，q ) 階的累積式自回歸動(dòng)平均模型，記作，A R I M A ( p ，d ，q ) 。 從式( 2 1 5 ) 中可以看到，A R I M A 模型實(shí)際上是用二項(xiàng)式差分( I 一丑) 4 消除了 非平穩(wěn)時(shí)序中的多項(xiàng)式趨勢。從系統(tǒng)的角度來看，就是分離出了系統(tǒng)中的d 個(gè) 相同的一階環(huán)節(jié)，從面可按平穩(wěn)時(shí)序建摸，由此可見，A R I M A 模型的建模可采 用A R M A 建模程序，只需增加d 階差分運(yùn)算，這也相當(dāng)于在A R M A 建模之前對 非平穩(wěn)時(shí)間序列進(jìn)行平穩(wěn)性處理，因此，A R I M A 建模并不存在實(shí)質(zhì)性困難。在 進(jìn)行差分時(shí)，通常需判斷d 的取值，一般方法是從d = 1 開始搜索，在對 V 4 y 進(jìn)行平穩(wěn)性檢驗(yàn)，直至滿足平穩(wěn)條件為止。 2 3 回歸分析 回歸分析是尋找自變量與因變量之間存在的相關(guān)關(guān)系以及確定其回歸方程 式，即確定適當(dāng)?shù)暮瘮?shù)類型和響應(yīng)的參數(shù)，擬合一條最佳的曲線，然后將此曲 線外延至未來的適當(dāng)時(shí)刻，在已知自變量取值時(shí)得到因變量的預(yù)測值4 1 。 按自變量黔多少可分為一元回歸分析和多元回婦分析；按照自變量與困交 量之間的回歸方程的類型可分為線性回歸分析和非線性回歸分析。 ( 一) 一兀線性回歸分析 在一元線性回歸中，自變量是可以控制或可以精確觀察的變量( 時(shí)間) ，因 變量是依賴于自變量的隨機(jī)變量( 負(fù)荷) ，那么，二者之間的關(guān)系為： y = 口+ h ( 2 一1 6 ) 根據(jù)樣本瓴，只) ，則殘差平方和為踟，釁= ( 乃一d 一玩) 2 ，按最小二乘 I a l 法，使Q 最小，從而可以解得： ”薯弘一( _ ) ( y ，)( 一一覃) o 。一習(xí) 6 = J 生1 l _ 叢一= 型一 犯一27 ) 櫛# 一# 。一刁2 a = 丟喜y 。一言喜= 歹一磊 c z s ， 因此可以確定回歸方程多= a + 蠡。 ( 二) 多元線性回歸分析 在電力負(fù)荷預(yù)測的實(shí)際問題中，負(fù)荷受多種因素的影響，因此根據(jù)歷史資 料中負(fù)荷與各因素之間的依賴關(guān)系，就要考慮用多元回歸分析方法來解決。在 多元回歸分析方法中，簡單而又重要的一種情形就是多元線性回歸，它的原理 與一元線性回歸分析基本相同。計(jì)算公式如下： y = + q f 1 其中，口。，口：，4 。為回歸系數(shù)，為隨機(jī)干擾。 ( 2 - 1 9 ) ( 三) 多元非線性回歸分析 對于前面的回歸模型，都假設(shè)自變量和因變量之間為線性關(guān)系但是，實(shí) 際上二者之間多數(shù)是非線性關(guān)系。對于非線性模型的研究，一般比較復(fù)雜不采 用。但是某些特殊的情況下可以通過適當(dāng)?shù)淖兞看鷵Q，將非線性問題轉(zhuǎn)化為線 性相關(guān)的問題來處理，即用適當(dāng)?shù)那€來擬合二者之間的關(guān)系，當(dāng)曲線確定下 來后。根據(jù)樣本值，通過適當(dāng)?shù)拇鷵Q把非線性問題轉(zhuǎn)化為線性問題。 2 4 本章小結(jié) 通過對各種傳統(tǒng)的負(fù)荷預(yù)測方法的分析，總結(jié)出其各自的優(yōu)缺點(diǎn)1 1 7 J ： 時(shí)間序列法是依據(jù)歷史負(fù)荷數(shù)據(jù)，找到其隨時(shí)間變化的規(guī)律，建立時(shí)序模 型，依此推斷出未來負(fù)荷數(shù)據(jù)。其基本假定是：負(fù)荷過去的變化規(guī)律會(huì)持續(xù)到 將來，即未來是過去的延續(xù)。算法的優(yōu)點(diǎn)是：所需歷史數(shù)據(jù)少、工作量少。該 方法的缺點(diǎn)是：沒有考慮天氣( 尤其是溫度) 、日期特征、社會(huì)活動(dòng)等敏感因素 對負(fù)荷的影響，只致力于數(shù)據(jù)的擬合。對規(guī)律性的處理不足，精度不高，只適 用于負(fù)荷變化比較均勻的短期預(yù)測的情況。 回歸分析是對過去的具有隨機(jī)性的負(fù)荷記錄進(jìn)行擬合，得到一條確定的曲 線，然后將此曲線外延到適當(dāng)?shù)臅r(shí)刻，就得到該時(shí)刻的負(fù)荷預(yù)測值。優(yōu)點(diǎn)是： 預(yù)測精度較高，適用于中、短期負(fù)荷預(yù)測。但是，由于天氣變量與負(fù)荷之間不 是簡單的線性關(guān)系，回歸算法對這種動(dòng)態(tài)的、非線性的關(guān)系無法處理，它只預(yù) 測出一個(gè)平均值；非線性回歸算法也只是通過代換將非線性的關(guān)系轉(zhuǎn)化為線性 關(guān)系，而且運(yùn)算復(fù)雜，所以也不是理想的預(yù)測方法。 指數(shù)平滑預(yù)測方法采用電力系統(tǒng)負(fù)荷趨勢外推預(yù)測技術(shù)，算法比較簡單， 但是只局限于一個(gè)時(shí)間序列本身的外推預(yù)測，而沒有考慮其他因素的影響，而 且，帶有滯后效應(yīng)，因此，只適宜于近期預(yù)測，不能作遠(yuǎn)期預(yù)測。 為解決傳統(tǒng)預(yù)測方法中存在的問題，因此人們提出了人工神經(jīng)網(wǎng)絡(luò)的預(yù)測 方法。 9 第三章人工神經(jīng)網(wǎng)絡(luò)預(yù)測方法 3 1 人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史 對人工神經(jīng)網(wǎng)絡(luò)理論的研究，從8 0 年代開始獲得蓬勃的發(fā)展。但是人類對 它的探索可以追溯到1 9 4 3 年，法國心理學(xué)家W M c C u l l o c h 和數(shù)學(xué)家W P i t t s 合 作推出的神經(jīng)元數(shù)學(xué)模型，即著名的M P 模型1 1 3 】，這一模型的提出開創(chuàng)了人工 神經(jīng)網(wǎng)絡(luò)這一新興邊緣學(xué)科研究的先河，在這之后，有關(guān)研究異常活躍。但是 到了7 0 年代后期，由于人工智能理論的日趨完善，使人們漸漸地對人工神經(jīng)網(wǎng) 絡(luò)的研究失去了以往的熱情。在這l O 多年的時(shí)間里，人工神經(jīng)的研究陷入低潮。 但是進(jìn)入8 0 年代以后，由于少數(shù)堅(jiān)忍不拔的學(xué)者經(jīng)過1 0 多年的理論研究，人工 神經(jīng)網(wǎng)絡(luò)理論的一系列問題終于取得重大的突破，尤其值得一提的是美國生物 物理學(xué)家H o 衄e l d 于1 9 8 2 年提出的一種稱為H o f i e l d 的模型【”，2 叭，他在建立的網(wǎng) 絡(luò)模型中引入“能量”函數(shù)，在理論上解決了網(wǎng)絡(luò)穩(wěn)定性的判據(jù)問題，并侵網(wǎng) 絡(luò)具有聯(lián)想記憶、自動(dòng)分類和自動(dòng)校正記憶誤差的能力。他的研究成果開拓了 人工神經(jīng)網(wǎng)絡(luò)理論研究的新途徑，人工神經(jīng)網(wǎng)絡(luò)理論的研究進(jìn)入了一個(gè)嶄新的、 突飛猛進(jìn)的時(shí)代。當(dāng)今，世界范圍內(nèi)已經(jīng)形成了研究神經(jīng)網(wǎng)絡(luò)的前所未有的熱 潮，可以預(yù)言，2 l 世紀(jì)神經(jīng)網(wǎng)絡(luò)的研究將會(huì)有更大的發(fā)展。 3 2 人工神經(jīng)網(wǎng)絡(luò)的基本特性 神經(jīng)網(wǎng)絡(luò)對人們的巨大吸引力主要表現(xiàn)在以下幾點(diǎn)1 2 1 ，2 2 】： 1 并行分布處理。神經(jīng)網(wǎng)絡(luò)具有高度的并行結(jié)構(gòu)和并行實(shí)現(xiàn)能力，因而能 夠有較好的耐故障能力和較快的總體處理能力。這特別適于實(shí)時(shí)控制和 動(dòng)態(tài)控制。 2 。高度售棒性和容錯(cuò)能力。 3 分布存儲(chǔ)及學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)是通過系統(tǒng)過去的數(shù)據(jù)記錄進(jìn)行訓(xùn)練 的。一個(gè)經(jīng)過適當(dāng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)具有歸納全部數(shù)據(jù)的能力。因此，神 經(jīng)網(wǎng)絡(luò)能夠解決那些由數(shù)學(xué)模型或描述規(guī)則難以處理的控制過程問題。 4 能充分逼近復(fù)雜的非線性關(guān)系。神經(jīng)網(wǎng)絡(luò)具有固有的非線性特性，這源 于其近似任意的非線性映射( 變換) 能力，這一特性也給非線性控制問題 帶來新的希望。 在控制領(lǐng)域的研究課題中，不確定性系統(tǒng)的控制問題長期以來都是控制理 論研究的中心主題之一，但是這個(gè)問題一宜沒有得到有效的解決。利用神經(jīng)網(wǎng) 絡(luò)的學(xué)習(xí)能力- 使它在對不確定性系統(tǒng)的控制過程中自動(dòng)學(xué)習(xí)系統(tǒng)的特性，從 而自動(dòng)適應(yīng)系統(tǒng)隨時(shí)間的特性變異，以求達(dá)到對系統(tǒng)的最優(yōu)控制，這也是神經(jīng) l O 網(wǎng)絡(luò)得到廣泛應(yīng)用的一個(gè)原因。 3 3 人工神經(jīng)元數(shù)學(xué)模型 從神經(jīng)元的特性和功能可以知道，神經(jīng)元是一個(gè)多輸入單輸出的信息處理 單元，而且，它對信息的處理是非線性的。根據(jù)神經(jīng)元的特性和功能，可以把 神經(jīng)元抽象為一個(gè)簡單的數(shù)學(xué)模型1 鍆。工程上用的人工神經(jīng)元模型如圖3 - 1 所 示。 轆 入 僧 號(hào) X 1 X2 r ： X 。 連接較值 圖3 1神經(jīng)元的非線性模型 在圖3 1 中，工：，x 。是神經(jīng)元的輸入，即來自前級”個(gè)神經(jīng)元軸突的輸 出信息，只( 可以為正或?yàn)樨?fù)，相應(yīng)地增加或降低傳遞函數(shù)的網(wǎng)絡(luò)輸入) 是神經(jīng) 元f 的閾值；，。1 ，w ：，分別是神經(jīng)元f 對輸入信號(hào)而，x ：，x 。的權(quán)值；J ，是神 經(jīng)元f 的輸出；八- ) 是激活函數(shù)，它決定神經(jīng)元f 受到輸入信號(hào)而，工：，扎的共 同刺激到達(dá)闞值時(shí)以何種方式輸出。 從圖3 ，1 的神經(jīng)元模型可以褥到神經(jīng)元輸出的數(shù)學(xué)表達(dá)式： 三 兒= ，( 藝一只) ( 3 - 1 ) J d 對于人工神經(jīng)元的激活函數(shù)，( ) ( 即傳遞函數(shù)) 常用的有：閥值型、分段型 函數(shù)、s 型函數(shù)，如圖3 2 ： JI ，0 ) I 闊值型 J ) l 一 JL l ，( 功 廠 分段線性型 s 型番效 圖3 。2神經(jīng)元的激活函數(shù) 其中，最常用的s 型函數(shù)公式為廠( 曲= i t 這種函數(shù)表示了神經(jīng)元的非 線性輸入輸出特性，能夠比較容易地實(shí)現(xiàn)比較復(fù)雜的非線性映射。 3 4 人工神經(jīng)網(wǎng)絡(luò)的工作和學(xué)習(xí)方式 通過向環(huán)境學(xué)習(xí)獲取知識(shí)并改進(jìn)自身性能是人工神經(jīng)網(wǎng)絡(luò)的一個(gè)重要特 點(diǎn)。在一般情況下，性能的改善是按某種預(yù)定的度量通過調(diào)節(jié)自身參數(shù)( 如權(quán)值) 隨時(shí)間逐步達(dá)到的。 神經(jīng)網(wǎng)絡(luò)的工作方式由兩個(gè)階段組成：執(zhí)行階段和學(xué)習(xí)階段1 2 1 1 。執(zhí)行階段 是指神經(jīng)網(wǎng)絡(luò)對輸入信息進(jìn)行處理，并產(chǎn)生對應(yīng)的輸出過程；在執(zhí)行階段，網(wǎng) 絡(luò)的連接結(jié)構(gòu)和權(quán)值是已經(jīng)確定并且不會(huì)變化的。學(xué)習(xí)階段是指神經(jīng)網(wǎng)絡(luò)自我 完善的階段；這時(shí)，網(wǎng)絡(luò)按一定的學(xué)習(xí)規(guī)則修改突觸的權(quán)值w 。以使目標(biāo)( 或 稱準(zhǔn)則) 函數(shù)達(dá)到最小。神經(jīng)網(wǎng)絡(luò)對信息的學(xué)習(xí)是為了取得對信息的適應(yīng)特性或 信息的特征；而神經(jīng)網(wǎng)絡(luò)對信息的執(zhí)行過程是對特征的檢索或者是對信息的分 類過程。學(xué)習(xí)和執(zhí)行是神經(jīng)網(wǎng)絡(luò)不可缺少的兩個(gè)處理功能。通過學(xué)習(xí)階段，可 以把神經(jīng)網(wǎng)絡(luò)訓(xùn)練成對某種信息模式特別敏感，或具有某種特征的動(dòng)力學(xué)系統(tǒng)； 通過執(zhí)行階段，可以用神經(jīng)網(wǎng)絡(luò)識(shí)別有關(guān)信息模式或特征。 一個(gè)神經(jīng)網(wǎng)絡(luò)的模型確定以后，為了使它具有某種智能特性，還必須有相 應(yīng)的學(xué)習(xí)方法與之配合，學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)的核心問題。神經(jīng)網(wǎng)絡(luò)主要 通過兩種學(xué)習(xí)算法進(jìn)行訓(xùn)練，即有教師學(xué)習(xí)算法和無教師學(xué)習(xí)算法。有教師學(xué) 習(xí)算法能夠根據(jù)期望的和實(shí)際的網(wǎng)絡(luò)輸出( 對應(yīng)于給定輸入) 間的差來調(diào)整神經(jīng) 元之間的權(quán)值j 因此，有教師學(xué)習(xí)需要有個(gè)老師或?qū)焷硖峁┢谕蚰繕?biāo)輸出 信號(hào)。無師學(xué)習(xí)算法不需要知道期望輸出，在訓(xùn)練過程中，只要向神經(jīng)網(wǎng)絡(luò)提 供輸入模式，神經(jīng)網(wǎng)絡(luò)就能夠自動(dòng)地適應(yīng)連接權(quán)值，以便按相似特征把輸入模 式分組聚集。 1 2 3 5B P 網(wǎng)絡(luò)模型 多層前向神經(jīng)網(wǎng)絡(luò)能夠逼近任意非線性函數(shù)，因此在科學(xué)技術(shù)領(lǐng)域中有廣 泛的應(yīng)用。但是隱含層的出現(xiàn)使得學(xué)習(xí)比較困難，所以限制了多層前向神經(jīng)網(wǎng) 絡(luò)的發(fā)展，反向傳播( B a c k P r o p a g a t i o n ，B P ) 算法的出現(xiàn)解決了這一困難，為多 層前向神經(jīng)網(wǎng)絡(luò)的研究奠定了基礎(chǔ)。 3 5 1B P 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) B P 神經(jīng)網(wǎng)絡(luò)簡稱B P 網(wǎng)絡(luò)，它由輸入層、隱含層和輸出層組成18 1 。最簡單 的就是隱含層僅有一層的情形，即三層B P 網(wǎng)絡(luò)，如圖3 3 所示。每層含有的神 經(jīng)元的個(gè)數(shù)可以不一樣，前一層的神經(jīng)元與后一層的神經(jīng)元之間由權(quán)值連接， 且每一個(gè)神經(jīng)元的非線性傳遞函數(shù)最常用的就是S 型函數(shù)。 輸 入 信 號(hào) 輸入層 隱古層輸出層 圖3 3B P 網(wǎng)絡(luò)模型結(jié)構(gòu) 輸 出 信 號(hào) 3 5 2B P 網(wǎng)絡(luò)算法及公式推導(dǎo) B P 網(wǎng)絡(luò)的學(xué)習(xí)算法，它包含兩個(gè)階段【”2 1 】：正向傳播和反向傳播。正向傳 播時(shí)，輸入樣本從輸入層經(jīng)過隱含層單元一層一層地進(jìn)行處理，通過所有的隱 含層之后，則傳向輸出層：在逐層處理的過程中，每一層神經(jīng)元的狀態(tài)只對下 一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果 現(xiàn)行輸出不等于期望輸出( 或誤差值大于設(shè)定的值) ，則進(jìn)入反向傳播過程；反 向傳播時(shí)，把誤差信號(hào)按原來正向傳播的通路反向傳回，并對與隱含層相連的 各個(gè)神經(jīng)元的權(quán)值進(jìn)行修改，使得誤差信號(hào)趨于最小。將這一個(gè)過程的兩個(gè)階 段反復(fù)交替，直到達(dá)到誤差小于設(shè)定的值為止。 設(shè)在第，1 次迭代中輸出層的第- ，個(gè)神經(jīng)元的輸出為y ，( 一) ，d ，( 一) 為該神經(jīng)元 的期望輸出值，則該神經(jīng)元的輸出誤差信號(hào)定義如下： ” 荔d e ，( 訂) = d ，( 以) 一y ，( n ) ( 3 - 2 ) 我們將神經(jīng)元的誤差能量瞬間值定義為 g j ( ，1 ) 。相應(yīng)的，整個(gè)誤差能量 的瞬間值為孝( ”) ，即為輸出層的所有神經(jīng)元的誤差能量瞬間值之和，因此，善( ) 的計(jì)算公式為： 孝( H ) = 去e ；( H ) ( 3 - 3 ) J 其中，集合C 包括所有輸出神經(jīng)元單元。令N 為訓(xùn)練集中樣本總數(shù)，則均方 誤差能量表示為： 1 乞= 寺 ( 3 - 4 ) 。l 孝。，為學(xué)習(xí)的目標(biāo)函數(shù)，學(xué)習(xí)的目的應(yīng)使達(dá)到最小，乞是網(wǎng)絡(luò)所有自由參數(shù) ( 權(quán)值和閾值) 的函數(shù)。那么，輸出層神經(jīng)元，接收前一層信號(hào)并產(chǎn)生誤差信 號(hào)的過程如圖3 4 。 咒。1 舅 神經(jīng)兩 r - - ?！?、- 、 圖3 4 顯現(xiàn)輸出神經(jīng)元_ ，細(xì)節(jié)的信號(hào)流圖 g ， 在神經(jīng)元_ ，紫激活函數(shù)輸入處產(chǎn)生的誘導(dǎo)局部域V J ( ) ，即單元，的凈輸入 刪，o ) = 匕( 療) = ( 砷，掰為加到神經(jīng)元_ ，上輸入信號(hào)個(gè)數(shù)。迭代第群次時(shí)出 現(xiàn)在神經(jīng)元，輸射處的函數(shù)信號(hào)) ，( 櫛) 為： 乃( 功= 吩( 叱( ，奶 善( 功對的梯度為： 1 4 ( 3 - 5 ) 善叢安：黑黧裟未鰾一加) 礦( 帆( 挖) ( 3 - 6 ) a H ( 開)，( 片) 砂，0 ) 加，( 甩) 卻F ( 刀) ” 而應(yīng)用于w 。( 雕) 的修正w ( n ) 由d e l t a 法則定義為： 螄；一矸嘗黑 ( 3 7 ) o w L 玎J 其中負(fù)號(hào)的使用意味著在權(quán)空間中梯度下降( 即尋找一個(gè)使得孝( n ) 值下降 的權(quán)值改變的方向) ，叩為反向傳播算法的學(xué)習(xí)率參數(shù)a 這里局域梯度t ( ，1 ) 定義 為： 渺一器一器籌篙_ 椰) ) ( 3 - s ) 當(dāng)神經(jīng)元，位于網(wǎng)絡(luò)輸出層時(shí) t ( 帕= P ，( n ) 竹( V ，( H ) ) = ( t ( n ) 一y ，) ) 諺( ( H ) ) ( 3 - 9 ) 而當(dāng)神經(jīng)元，位于網(wǎng)絡(luò)的隱含層時(shí)，如圖3 5 ，當(dāng)下一層神經(jīng)元| i 為輸出單元時(shí) 渺一器篙一器辦詠一) ) ( 3 1 0 ) ”7 砂，( n ) a l ，( 砂，( H ) “。 。 咒2 l 衛(wèi) 神經(jīng)確攤經(jīng)，己I ( 圖3 5 顯現(xiàn)輸出神經(jīng)元七連接到隱含層神經(jīng)元_ ，的信號(hào)流圖 器。渺，篇器一和咖州= 一渺M ，所以 ( 月) = 西( V ，( 帕) 疋( 行) o ( ) I 其中，神經(jīng)元，為隱含層神經(jīng)單元。 ( 3 - 1 1 ) 現(xiàn)在，我們總結(jié)出反向傳播算法的導(dǎo)出關(guān)系。由神經(jīng)元f 與神經(jīng)元，之間連 接權(quán)值的校正值厶( 功根據(jù)d e l t a 規(guī)則定義如下： 權(quán)值 校正 螄。 學(xué)習(xí)率 參數(shù) 局部 梯度 占( 玎) 神經(jīng)元， 輸入信號(hào) M 仰) 其中局域梯度占，( H ) 取決于神經(jīng)元，是輸出層單元還是隱含層單元： ( 1 ) 若神經(jīng)元，是輸出層單元，J ，( 坊等于導(dǎo)數(shù)妒：( v ，( ) ) 和誤差信號(hào)P ，( ) 的 乘積； ( 2 ) 若神經(jīng)元J 是隱含層單元時(shí)，占，( 功等于相應(yīng)導(dǎo)數(shù)尹：( v ，( 療) ) 和占，的加權(quán) 和的乘積。 綜上所述，反向傳播算法的執(zhí)行步驟可概括如下： ( 1 ) 設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)，初始化網(wǎng)絡(luò)權(quán)值和閾值。 ( 2 ) 呈現(xiàn)訓(xùn)練樣本的個(gè)回合給網(wǎng)絡(luò)。對訓(xùn)練集中以某種形式排列的每個(gè) 樣本，依次迸行在下面的( 3 ) 和( 4 ) 中所描述的前向和反向計(jì)算。 ( 3 ) 前向計(jì)算。計(jì)算各層的輸出，對于第z 層的神經(jīng)元，： 艦 誘導(dǎo)局部域V ：( ，| ) 為：q ( n ) = 嵋( ) y ：。1 ( 一) 神經(jīng)元輸出為：J ，：= 尹，( v ：( ) ) 計(jì)算誤差信號(hào)：e ，( 喲= d ，( 喲一o ，( 玎) ，假設(shè)z 為輸出層y 凈D ，( n ) 其中。( ”) 是迭代聆次時(shí)前面第，一1 層的神經(jīng)元j 的輸出信號(hào)( j ：o 時(shí)， y f l ( 珂) = + 1 ，w ：0 ( ) = 6 ；( n ) 是第堰神經(jīng)元，的偏置) ，w ：( 訂) 是從第z l 層的神經(jīng)元f 指向第，層的神經(jīng)元，的權(quán)值。 ( 4 ) 反向計(jì)算。計(jì)算網(wǎng)絡(luò)的占( 即局域梯度) ，定義為： I 口；諺( V ；( 一) ) = P ；q ( 廳) ( 1 一q ( 行) )對輸出層L 的神經(jīng)元， ( ) = 。 l 玩( V ：o ) ) + 1 ( 喲w ( H )對隱含層f 的神經(jīng)元f LI 根據(jù)d e I t a 規(guī)則調(diào)節(jié)網(wǎng)絡(luò)第，層的權(quán)值： w j ( H + 1 ) = w j ( 月) + ，矽：( H ) y f l ( 一)( 3 1 2 ) 式中，玎為學(xué)習(xí)率參數(shù)。 ( 5 ) 刀= ，l + l 迭代，輸入新的樣本( 或新一周期樣本) ，根據(jù)( 3 ) 、( 4 ) 進(jìn)行前向 和反向迭代計(jì)算，直到滿足停止準(zhǔn)則。 反向傳播學(xué)習(xí)信號(hào)流圖如圖3 6 ，在此我們假設(shè)網(wǎng)絡(luò)只含一個(gè)隱含層，并且 每層由三個(gè)神經(jīng)元組成。 1 6 貿(mào)獲砰硝4 占? 硝 圖3 6反向傳播學(xué)習(xí)信號(hào)流圖小結(jié) 圖頂部：前向通過圖底部：反向通過 3 5 3B P 網(wǎng)絡(luò)算法的一些改進(jìn)措施 應(yīng)用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行負(fù)荷預(yù)測有其固有的優(yōu)勢：能全面考慮與未來負(fù)荷 相關(guān)的因素，將它們?nèi)考{入預(yù)測計(jì)算，從而提高預(yù)測精度；而且，適應(yīng)性強(qiáng)， 應(yīng)用方式較為靈活、方便：對歷史數(shù)據(jù)的組織可以按不同要求靈活進(jìn)行。然而 B P 網(wǎng)絡(luò)也有其缺陷：易陷入局部最小點(diǎn)而導(dǎo)致最終無法收斂于全局最小點(diǎn)，而 且，B P 網(wǎng)絡(luò)還有收斂速度慢的缺點(diǎn)。針對B P 網(wǎng)絡(luò)存在的缺陷，人們做了很多研 究并提出了許多方法1 2 ”。 f 1 ) 添加動(dòng)量項(xiàng) 由式( 3 ，1 2 ) 可以看到，在人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中，學(xué)習(xí)率刁的選擇也很 重要，如果使用的學(xué)習(xí)率參數(shù)，7 越小。則從某次迭代到下一次迭代網(wǎng)絡(luò)權(quán)值的 交化量就越小，軌跡在權(quán)值空問就越光滑。然而，這種改進(jìn)是以減慢學(xué)習(xí)速度 1 7 五 曬 恐 為代價(jià)的。如果我們讓叩的值太大以加快學(xué)習(xí)速度的話，結(jié)果就有可能使網(wǎng)絡(luò) 的權(quán)值的變化量不穩(wěn)定( 郎振蕩) 。一個(gè)既要加快學(xué)習(xí)速度又要保持穩(wěn)定的簡單 方法就是添加動(dòng)量項(xiàng)： w H ( 撐) = 口f w w ( 廳一1 ) + 譬占，( ) 只( ，) ( 3 1 13 ) 式中第二項(xiàng)為標(biāo)準(zhǔn)B p 算法的權(quán)值修正量，第一項(xiàng)稱為動(dòng)量項(xiàng)，口稱為動(dòng)量 系數(shù)( o 捌 1 ) ( 在實(shí)際中口不大可能為負(fù)的，但是還是可正可負(fù)) 。 當(dāng)順序加入訓(xùn)練樣本時(shí)，上式可寫成以r 為變量的時(shí)間序列，從O 到玎，因 此上式可看作是w 。( 行) 的階差分方程對螄。( 力求解可得： “加鬮y “舭眥卜叩善礦1 差器 3 J 4 ) 所以，當(dāng)望在連續(xù)迭代中有相同的代數(shù)符號(hào)時(shí)，學(xué)習(xí)率應(yīng)被增加；當(dāng) 鰳J U 1 善叢竺在連續(xù)迭代中代數(shù)符號(hào)發(fā)生改變時(shí)，學(xué)習(xí)率應(yīng)被減少。 d w i i U ) ( 2 ) 自適應(yīng)學(xué)習(xí)率 對于一個(gè)特定的問題要選擇適當(dāng)?shù)膶W(xué)習(xí)速率不是一件很容易的事情。通常 是憑經(jīng)驗(yàn)或試驗(yàn)獲取，但是即使這樣，對訓(xùn)練初期效果較好的學(xué)習(xí)率，不一定 適合后來的訓(xùn)練。究竟如何選擇合適的學(xué)習(xí)率來加速算法的收斂，很多學(xué)者提 出了自己的見解，其中采用較多的一個(gè)策略就是自適應(yīng)學(xué)習(xí)率，即在訓(xùn)練過程 中學(xué)習(xí)率不是固定不變的，麗是隨著某個(gè)特定