（計(jì)算數(shù)學(xué)專業(yè)論文）兩類優(yōu)化問(wèn)題的神經(jīng)網(wǎng)絡(luò).pdf

兩類優(yōu)化問(wèn)題的神經(jīng)網(wǎng)絡(luò) 楊紅梅 摘要極大極小問(wèn)題是一類重要的不可微優(yōu)化問(wèn)題它廣泛地出現(xiàn)在工程設(shè) 計(jì)，電子線路規(guī)劃、對(duì)策論，最優(yōu)化理論、變分不等式，微分方程等諸多領(lǐng)域 特別地，非線性方程組、非線性不等式、非線性規(guī)劃、多目標(biāo)規(guī)劃等數(shù)學(xué)問(wèn)題也 可以轉(zhuǎn)化為它而半無(wú)限規(guī)劃問(wèn)題是一類典型的優(yōu)化問(wèn)題不僅在經(jīng)濟(jì)領(lǐng)域，最 優(yōu)控制信息技術(shù)以及計(jì)算機(jī)網(wǎng)絡(luò)，而且在工程技術(shù)、機(jī)器入路徑設(shè)計(jì)，環(huán)境污 染控制系統(tǒng)等領(lǐng)域都有著廣泛而直接的應(yīng)用因此研究它們的求解方法具有重要 的理論價(jià)值和一定的應(yīng)用前景 在許多科學(xué)和工程技術(shù)領(lǐng)域中，極大極小問(wèn)題和半無(wú)限規(guī)劃問(wèn)題往往要求實(shí) 時(shí)求解，然而傳統(tǒng)的數(shù)值迭代方法，由于計(jì)算時(shí)間依賴問(wèn)題的規(guī)模、結(jié)構(gòu)以及所 采用的算法，因而很難滿足實(shí)時(shí)性的要求基于電路實(shí)現(xiàn)的人工智能神經(jīng)網(wǎng)絡(luò)是 處理高維，稠密結(jié)構(gòu)問(wèn)題的一個(gè)可行方法由于內(nèi)在的動(dòng)態(tài)本質(zhì)和電路實(shí)現(xiàn)的潛 在能力，神經(jīng)網(wǎng)絡(luò)可以用集成電路等硬件來(lái)實(shí)現(xiàn)因此，神經(jīng)網(wǎng)絡(luò)比傳統(tǒng)的優(yōu)化 算法能更快的求解優(yōu)化問(wèn)題，并且建立神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)時(shí)求解優(yōu)化問(wèn)題具有實(shí)際意 義 本文研究了極大極小問(wèn)題和半無(wú)限規(guī)劃問(wèn)題根據(jù)問(wèn)題的特點(diǎn)，分別建立了 求解它們的神經(jīng)網(wǎng)絡(luò)模型，給出了網(wǎng)絡(luò)模型的平衡點(diǎn)與原問(wèn)題解之間的關(guān)系，并 證明了網(wǎng)絡(luò)模型的穩(wěn)定性和收斂性全文共分三章 第一部分綜述了神經(jīng)網(wǎng)絡(luò)產(chǎn)生的科學(xué)背景和研究進(jìn)展，極大熵方法的基本特 征及其研究現(xiàn)狀，并給出了微分方程組的穩(wěn)定性理論和l a s a l k 不變?cè)淼然?理論最后概括了本文的主要研究工作 第二部分先介紹了極大極小問(wèn)題的數(shù)學(xué)模型和求解它的一些算法及其分類； 然后構(gòu)造了求解非線性極大極小問(wèn)題的一個(gè)新的神經(jīng)網(wǎng)絡(luò)模型，并運(yùn)用l y a p u n o v 穩(wěn)定性理論和l a s a l l e 不變?cè)?，?yán)格證明了該模型是l y a p u i l 0 、，穩(wěn)定的，并在有 限時(shí)間內(nèi)收斂到原問(wèn)題的一個(gè)精確解與已有模型相比。新模型結(jié)構(gòu)簡(jiǎn)單，更適 合硬件實(shí)現(xiàn)數(shù)值實(shí)驗(yàn)表明，薪模型不僅可行面且有效 第三部分闡述了半無(wú)限規(guī)劃問(wèn)題的分類和各自的數(shù)學(xué)模型以及求解它的一些 現(xiàn)有算法利用熵方法，將多個(gè)約束條件的半無(wú)限規(guī)劃同題轉(zhuǎn)化為單個(gè)約束條件 的半無(wú)限規(guī)劃問(wèn)題然后提出求解半無(wú)限規(guī)劃問(wèn)題的一個(gè)神經(jīng)網(wǎng)絡(luò)模型并運(yùn)用 l y a p u n o v 穩(wěn)定性理論和l a s a l l e 不變?cè)?，?yán)格分析了該神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收 斂性數(shù)值實(shí)驗(yàn)表明，該模型不僅可行而且有效 關(guān)鍵詞：非線性極大極小問(wèn)題； 神經(jīng)網(wǎng)絡(luò)；半無(wú)限規(guī)劃問(wèn)題；極大熵函 數(shù)法 i i n e u r a ln e t w o r k sf o rt w ok i n d so f o p t i m i z a t i o np r o b l e m s y 婦gh o n g m e i a b s t r 觚t ：m i n i m a xp r o b l e mi sak i n do fi m p r o t a i l 七l yn o n d i f f e r e n t ia _ b l e0 p t i m i z a t i o np r o b l e 1 8 ，a i l da r i s m a i l yl i e l d si n c l u d i n ge n 西n e e r i n gd e s i g n ，e l e c t r o n i c c i r c t l i t ，g 鋤et h e o r y o p t i m i z a t i o nt h e o z y v a 血a t i o n a li n e q u a l i 劬d i f f e r e n t i a le ( 1 u a t i o n 鋤ds oo n s p e c i a l l 弘m a i l yp r o b l e m ss u c ha sn o n l i n e a re q u a t i o n ，n o n l i n e a ri n e q u a l - i t i 鶴，n o n h n e a rp r o g r 砌m i n ga n dm l l l t i o b j e c t i v ep r o f 鋤m i n gc a nb ef o 瑚l l l a t e d 鷦i t a l s o 鯽n i - i n 舫i t ep r o f a m m i n g ( s i p ) i 8 鋤o t h e rk i n do ft y p i c a | o p t i m i z 8 t i o n p r0 _ b l e m s ，w h i c hh 嬲l(shuí) ，i d e l ya n dd i r e c t l y 印p l i c a t i o i l 8i ne c o n o m i ce q u j l i b r i 啪，o p t i m a lc o t r o l ，i n f o 珊a t i o nt e c h n o l o g y ，c o m p u t e rn e t w o r k ，e n g i n e e r i n gd e s i g n ，r o b o t t r a j e t o r yp l a n n i n g ，e n v i r o n m e n tp o l l u t i o nc o n t r o ls y s t e ma n ds oo n s 0t h ei n v e s t i - g a 七i o nh o wt o8 0 l 、陀t l l e mi ss i g n m c 砌砘i nb o t ht h e o r ya n da p p l i c a 舡o n i nm 鋤yp r a c t i c a 丑a p p l i c a t i o i l s ，r e a l - t i m es o l u t i o n so ft h ei i l l i m a xp r o b l e m8 n d s e m i i n 6 n i t ep r o b l e ma o f t e nd e s i r e d h o w e v e r ，t r a d i t i o n a l 出g o r i t h i 瑚a r en o ts u i t a b l ef o rar e 止t i m ei m p l e m e n t a t i o n0 nt h ec o m p u t e rs i n c et h er e q l l i r e dc o m p u t i l l g t i i n ef o ras o l u t i o ni sg r e a t l yd e p e n d e n to nt h e 擊m e n s i o na n dt h es t r u c t u r eo ft h e p r o b l e m ，鋤dt h ec o m p l e x i t yo ft h eu s e da l g o 哦h m o n ep r o m i s i n g 印p r o a c ht oh a m d l et h e s ep r o b l e m sw i t hh i g hd i m e n s i o n 鋤dd e n s es t r u c t u r ei st oe m p l 7a i t m c i a l n e l l r a ln e t w o r kb a s e dc i r c u i ti m p l e m e n t a t i o n b e c a u s eo ft h ed y n 鋤i cn a t l l r ea n d t h ep o t e n t i a lo fe l e c t r o n i ci m p l e m e n t a t i o n ，n e u r a ln e t w o r k sc a nb ei m p l 鋤e n t e d p h y s i c a l l yb yd e s i g n a t e dh 棚d w a 聰s u c ha 8 叩p l i c a t i o n s p e c i f i ci n t e f t e dc i ”l l i t s w h e r et h ec o m p u t a t i o n a lp r o c e d u r ei st r u l yd i s t r i b u t e da l l di np a r a l l e l t h e r e f o r e ， t h en e u r a ln e 脅k 印p r o a c hc 蛐s o l v eo p t i m i z a t i o np r o b l e i i l si nr u n n i n gt i m 髑a t t h eo r d e ro fm a g n i t u d em u c hf a s t e rt h a nc 鋤砌t i o n a lo p t i m i z a t i o na l g o r i t h m se x 爭(zhēng) c u t e do ng e n e r 扎p l l r p o s ed i 百t a lc o m p u t e r 8 ，a n di ti so ff e a ti n t e r e s ti np r a c t i c et o d e v e l o ps o m en e l l r a ln e t w o r km o d e l s 7 r h et h e s j s 塒m a r i l yd e a l s 硒t hm i n i m a xp r o b l e ma n d m i - i i l 矗n i t ep r o b l e m b 夠e do nt h e i ri n h 淵l tp r o p e r t i 鶴，w ep r e s e n tt w on e u r a ln e h 啊f k st os o l v et h e m r e s p e c t i v e l y t h e nt h er e l a t i o n s h i p sb e t 俄nt h ee q u i l i b r i 砌p o i n to ft h en e t w o r l ( s i i i a n dt h es 0 i u t i o no ft h ep r o b l e i l l si s 粕a b ，z e d f i n a l l y iw ep r o v et h es t a b i i i t ya n d c o n v e r g e n c eo ft h ep r o p e dn e t w o r k t h e 缸l lt h e s i si sd i 啊d e di n t ot h r e ep a r t s i nc h 印t e r1 ，s c i e n t 諭cb a c k 伊o l l i l da n dd e v e l o p m e n to fn e l l r 8 1n e t w o r k ，b a s i c f e a t u r ea n dr e s e a r c hs i t u a t i o no ft h em 刪m u me n t r o 阿m e 乞h o da r ef l r s ti n t r o d u c e d t h e nw ec i t e m ep r e l i m i n a r ) k i l a w l e d g ea n df u n d m e n t a lt h e o r i e s ，s u c ha ss t d b i l i t y t h e o r yo fo r d i n a r yd i 髓r e n t i a le q u a t i 衄a n dl a s 出l ei i m 砌n tt h e o 珥f i n 以l yt h e m a i n w o r k i ss t a t e d i nc h 印t e r2 ，w ef i r 8 td i s c u s st h em i n i m a xp r o b l e m sm o d e i ，i t ss o m ea l g 巾 r i t h i i 增a n dd a s s i f i c a t i o n t h e nan e wn e u r a ln e 饑m ki sp 】p o s e d ，i ti ss h o w nt o b el y a p u n a vs t d b l e ，a _ i l dc o i l v e r g e n tt oa ne x a c ts o l u t i o no ft h ep r o b l 咖i n 矗n i t e t i m eb yt h ei o ，a p u n 洲t h e o r e ma dt h el a s a l l ei n v a r i a n ts e tp r i n c i p l e c o m p a r e d w i t ht h ee x i s t i n gn e l l r 越n e t w o r k s ，t h ep r o p o s e dm o d e lh a ss i m p l es t r u c t l l r e 鋤dc 蚰 b ei i n p l e m e n t e di nh 缸d w a r e i l h 斌r a t i v e 麟a 巾1 e sd e m o i 曲a t et h ef e 勰i b i i i t ya n d e 伍c i e n c yo ft h en e t w o r k i nc h 印t e r3 ，w ee l a b o r e t es e m i - i n 矗n i t ep r o g r a m m i n g sc l a s s i 矗c a t i o n ，t h e i r m o d e l s ，鋤ds o m ee x i s t i n ga 1 9 0 r i t h n l s b yl l s i n gm a x i m a le n t r o p ym e t h od w e c o n v e r t sm a 肛yc o i l s t r a i n t ss e m i - i n f i i l i t ep r o b l e mi n t os i n g l ec o n s t r a i n ts e m i i n f i n i t e p r o b l e m t h e nw ep r o p o s ean e wn e l l r a ln e t w o r kf o rs e m i i n 矗n i t ep r o b l e m ，a n d a n a l y 2 et h es t a b i l i t y 齟dc o r l v e r g e n c e i l l l l s t r a t i v ee x 鋤p l e ss h o wt h ef e a s i b i l i t ya 1 1 d e 蕊c i e n c ) r0 ft h en e t w o r k k e yw o r d s ： n o n l i n e 缸m i n i m a xp r o b l e m ； n e u r a l e t w o r k ； s e m i - i n f i n i t e 磷q g r a m m n 舀 m a 菇m a l 鋤圩o(hù) p yf u n c t i o nm e t h o d 學(xué)位論文獨(dú)創(chuàng)性聲明 本人聲明所呈交的學(xué)位論文是我在導(dǎo)師的指導(dǎo)下進(jìn)行的研究工作及取得的研究 成果盡我所知，除文中已經(jīng)注明引用的內(nèi)容外，論文中不包含其他個(gè)人已經(jīng)發(fā)表 或撰寫(xiě)過(guò)的研究成果，也不包含為獲得陜西師范大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書(shū) 而使用過(guò)的材料對(duì)本文的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中作了明確 說(shuō)明并表示謝意 作者簽名，咤塹! 蘭! 舞日期：墜塑! 苧： 學(xué)位論文使用授權(quán)聲明 本人同意研究生在校攻讀學(xué)位期間論文工作的知識(shí)產(chǎn)權(quán)單位屬陜西師范大學(xué) 本人保證畢業(yè)離校后，發(fā)表本論文或使用本論文成果時(shí)署名單位仍為陜西師范大 學(xué)，學(xué)校有權(quán)保留學(xué)位論文并向國(guó)家主管部門或其它指定機(jī)構(gòu)送交論文的電子版和 紙質(zhì)版；有權(quán)將學(xué)位論文用于非贏利目的的少量復(fù)制并允許論文進(jìn)入學(xué)校圖書(shū)館、 院系資料室被查閱；有權(quán)將學(xué)位論文的內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索；有權(quán)將學(xué)位 論文的標(biāo)題和摘要匯編出版 作者簽名；么蘭鶿日期：誣塑：三蟄 第一章緒論 1 1引言 極大極小問(wèn)題是數(shù)學(xué)規(guī)劃領(lǐng)域中一類典型的不可微優(yōu)化問(wèn)題它來(lái)源于博奕 論，不僅在工程設(shè)計(jì)，電子線路規(guī)劃，對(duì)策論、數(shù)學(xué)經(jīng)濟(jì)，最優(yōu)化理論、變分不等 式、微分方程等諸多領(lǐng)域有廣泛應(yīng)用，而且與非線性方程組、非線性規(guī)劃、多目 標(biāo)規(guī)劃，非線性不等式等數(shù)學(xué)問(wèn)題之間有密切聯(lián)系【l i 因此它成為近年來(lái)數(shù)學(xué)規(guī) 劃和工程優(yōu)化領(lǐng)域中引人注目的研究方向所以研究極大極小規(guī)劃問(wèn)題的解法具 有重要的理論價(jià)值和實(shí)用價(jià)值 半無(wú)限規(guī)劃問(wèn)題是數(shù)學(xué)規(guī)劃的一個(gè)重要分支，其最早出現(xiàn)在2 0 世紀(jì)6 0 年 代它在經(jīng)濟(jì)均衡、最優(yōu)控制、信息技術(shù)以及計(jì)算機(jī)網(wǎng)絡(luò)，甚至在工程技術(shù)、機(jī) 器人路徑設(shè)計(jì)，環(huán)境污染控制系統(tǒng)等領(lǐng)域的作用日漸突出特別在工程技術(shù)的優(yōu) 化設(shè)計(jì)中，也具有廣泛的應(yīng)用背景此外隨著近代工業(yè)技術(shù)的快速發(fā)展，由于對(duì) 產(chǎn)品性能期望的不斷增高，以及受環(huán)境資源等條件的限制，越來(lái)越多的實(shí)際問(wèn) 題都可以建立成半無(wú)限規(guī)劃問(wèn)題的數(shù)學(xué)模型因此半無(wú)限規(guī)劃問(wèn)題的研究就顯的 尤為重要但由于它的約束條件個(gè)數(shù)的無(wú)限或者變量個(gè)數(shù)的無(wú)限，給數(shù)值求解造 成很大困難，使算法均較復(fù)雜，且不易被人們掌握所以如何有效求解它就具有 重要的理論價(jià)值和實(shí)際意義 在許多工程和科學(xué)技術(shù)領(lǐng)域，特別是高科技領(lǐng)域中，往往要求實(shí)時(shí)求解大規(guī) 模的優(yōu)化問(wèn)題基于傳統(tǒng)數(shù)字計(jì)算機(jī)的迭代算法，其計(jì)算時(shí)間依賴于問(wèn)題的規(guī)模 和結(jié)構(gòu)，因而很難滿足實(shí)時(shí)性要求而基于電路實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)是一種自組織、 自適應(yīng)、自學(xué)習(xí)的非線性網(wǎng)絡(luò)，它具有大規(guī)模并行處理、分布式存儲(chǔ)和高度的容 錯(cuò)能力，其算法具有極快的收斂速度和很好的穩(wěn)定性因此神經(jīng)網(wǎng)絡(luò)被認(rèn)為是求 解大規(guī)模與超大規(guī)模的線性與非線性優(yōu)化問(wèn)題的一個(gè)非常有效的途徑【2 j 自1 9 8 5 年j j h o p l i e l d l 3 】提出著名的h o 曲e l d 人工神經(jīng)網(wǎng)絡(luò)模型，并用其求解優(yōu)化問(wèn)題 得到廣泛研究后，各種求解線性、非線性規(guī)劃以及數(shù)學(xué)規(guī)劃的神經(jīng)網(wǎng)絡(luò)模型應(yīng)運(yùn) 而生本文基于最優(yōu)化理論、射影理論，凸規(guī)劃中的k u h n 一i 、l 出e r 條件提出了求 解非線性極大極小問(wèn)題和半無(wú)限規(guī)劃問(wèn)題的神經(jīng)網(wǎng)絡(luò)模型并從理論上嚴(yán)格證明 了這兩個(gè)模型的穩(wěn)定性，特別是全局漸近穩(wěn)定性數(shù)值實(shí)例同時(shí)表明這些網(wǎng)絡(luò)的 可行性和有效性 1 2神經(jīng)網(wǎng)絡(luò)產(chǎn)生的科學(xué)背景及研究進(jìn)展 神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論是近年來(lái)得到迅速發(fā)展的一個(gè)國(guó)際前沿科學(xué)領(lǐng)域它的發(fā) 展對(duì)計(jì)算機(jī)科學(xué)、人工智能、認(rèn)知科學(xué)、腦神經(jīng)科學(xué)、數(shù)理科學(xué)，信息科學(xué)、微 電子學(xué)，自動(dòng)控制與機(jī)器人，系統(tǒng)工程領(lǐng)域都有重要影響因此激發(fā)了人們的巨 大熱情和廣泛興趣而且人們普遍認(rèn)為它將使電子科學(xué)和信息科學(xué)等產(chǎn)生革命性 的變革，并將促使以神經(jīng)計(jì)算機(jī)為基礎(chǔ)的高技術(shù)群的誕生和發(fā)展 進(jìn)入7 0 年代后，非線性科學(xué)取得了迅速的發(fā)展，學(xué)術(shù)界對(duì)復(fù)雜系統(tǒng)的功能 表現(xiàn)出極大的興趣p r i g o g i n e 因提出非平衡系統(tǒng)的自組織理論( 耗散結(jié)構(gòu)理論) 而獲諾貝爾獎(jiǎng)；h a k e n 研究了大量元件集體作用而產(chǎn)生的宏觀有序結(jié)構(gòu)創(chuàng)立了 協(xié)同學(xué)；近年來(lái)廣泛研究的混沌力學(xué)和奇異吸引子理論揭示了系統(tǒng)的復(fù)雜行為 這些工作，從抽象意義上講，都是復(fù)雜系統(tǒng)如何通過(guò)元件之間的相互作用，系統(tǒng) 結(jié)構(gòu)上由無(wú)序到有序，功能由簡(jiǎn)單到復(fù)雜，類似于生物系統(tǒng)的進(jìn)化過(guò)程和智能系 統(tǒng)的學(xué)習(xí)過(guò)程與此同時(shí)，神經(jīng)科學(xué)和腦科學(xué)日益受到人們的重視，在感覺(jué)系統(tǒng) 特別是視覺(jué)研究中發(fā)現(xiàn)的側(cè)抑制原理，感受野概念、皮層的功能柱結(jié)構(gòu)和信息處 理的并行、層次觀點(diǎn)，被證明是神經(jīng)系統(tǒng)信息處理的普遍原則這些原則對(duì)于神 經(jīng)網(wǎng)絡(luò)模型的提出和神經(jīng)計(jì)算機(jī)的研制是不可或缺的啟示神經(jīng)網(wǎng)絡(luò)就是在這樣 一種科學(xué)背景的支撐下，在生產(chǎn)力發(fā)展( 計(jì)算機(jī)與人工智能、機(jī)器人產(chǎn)業(yè)) 的迫切 要求下產(chǎn)生和發(fā)展起來(lái)的【2 】 此外，在許多工程和科學(xué)技術(shù)領(lǐng)域，特別是高科技領(lǐng)域中往往要求實(shí)時(shí)求解 大規(guī)模與超大規(guī)模優(yōu)化問(wèn)題尤其當(dāng)問(wèn)題中含有隨時(shí)間變化的參數(shù)時(shí)實(shí)時(shí)求解顯 的尤為重要由于傳統(tǒng)的序列式迭代法受到數(shù)字計(jì)算機(jī)的限制及其計(jì)算時(shí)間依賴 于問(wèn)題的規(guī)模和結(jié)構(gòu)，因此很難滿足實(shí)時(shí)性要求為解決這一問(wèn)題，人們將神經(jīng) 網(wǎng)絡(luò)引入了這一領(lǐng)域【3 l 州 自h o 面e l d 和k 1 3 】1 5 】首次提出解線性規(guī)劃的一個(gè)神經(jīng)網(wǎng)絡(luò)以來(lái)，引起了神 經(jīng)網(wǎng)絡(luò)在優(yōu)化問(wèn)題應(yīng)用中的廣泛研究各種求解線性、非線性規(guī)劃以及數(shù)學(xué)規(guī)劃 的神經(jīng)網(wǎng)絡(luò)模型應(yīng)用而生例如tk e n n e d y 和c h u a 【6 l 利用梯度法與罰函數(shù)法 給出了解非線性規(guī)劃的一個(gè)神經(jīng)網(wǎng)絡(luò)；利用梯度法與s 研t d l e d c a p a c i t o r 技術(shù)。 r o d r i g u e z - v a z q u e z 等同提出了一類解優(yōu)化問(wèn)題的神經(jīng)網(wǎng)絡(luò)；基于對(duì)偶理論與射 影方法，x i a 等嘲【9 1 1 1 q 提出了解線性與二次規(guī)劃問(wèn)題的幾種神經(jīng)網(wǎng)絡(luò)，并總結(jié)了 設(shè)計(jì)全局收斂的優(yōu)化神經(jīng)網(wǎng)絡(luò)的一般性方法；“a n g 和g a o 等【1 1 - 1 6 | 提出的解變 分不等式和凸二次極大極小問(wèn)題的神經(jīng)網(wǎng)絡(luò)，并對(duì)網(wǎng)絡(luò)的穩(wěn)定性給出了嚴(yán)格的理 論證明但對(duì)于非線性極大極小問(wèn)題，采用神經(jīng)網(wǎng)絡(luò)方法求解的文獻(xiàn)較少，僅文 2 新輝【1 7 l 給出了求解無(wú)約束極大極小問(wèn)題的非對(duì)稱神經(jīng)網(wǎng)絡(luò)模型而對(duì)半無(wú)限規(guī) 劃問(wèn)題，尚未有文獻(xiàn)采用神經(jīng)網(wǎng)絡(luò)方法來(lái)求解 從優(yōu)化的觀點(diǎn)來(lái)看，現(xiàn)有的求解優(yōu)化問(wèn)題的神經(jīng)網(wǎng)絡(luò)模型的建立方法有兩種t 第一種是先構(gòu)造適當(dāng)?shù)哪芰亢瘮?shù)，使能量函數(shù)的最小值點(diǎn)恰為所求問(wèn)題的 解，然后讓網(wǎng)絡(luò)為能量函數(shù)的負(fù)導(dǎo)數(shù)( 梯度) 第二種是先構(gòu)造適當(dāng)?shù)木W(wǎng)絡(luò)，然后選擇適當(dāng)?shù)哪芰亢瘮?shù)，使能量函數(shù)的最優(yōu) 點(diǎn)恰為網(wǎng)絡(luò)的平衡點(diǎn) 目前，優(yōu)化神經(jīng)網(wǎng)絡(luò)主要圍繞能否求出原問(wèn)題的精確解，是否全局收斂和結(jié) 構(gòu)簡(jiǎn)單便于電路實(shí)現(xiàn)三大問(wèn)題研究因此，從硬件實(shí)現(xiàn)來(lái)講，一個(gè)較好的神經(jīng)網(wǎng) 絡(luò)，其結(jié)構(gòu)應(yīng)相當(dāng)簡(jiǎn)單；從計(jì)算性能來(lái)講，一個(gè)較好神經(jīng)網(wǎng)絡(luò)應(yīng)該是漸近( 或全 局) 穩(wěn)定的，不含變量參數(shù)而且其平衡點(diǎn)是精確或近似最優(yōu)解；從數(shù)學(xué)觀點(diǎn)來(lái)說(shuō)， 這些特性與設(shè)計(jì)網(wǎng)絡(luò)模型所采用的優(yōu)化技術(shù)密切相關(guān)f 1 8 1 1 3微分方程穩(wěn)定性理論與l a s a l l e 不變?cè)?考慮非線性自治系統(tǒng)； 塞= ，( z ) ，z 形或者z g 矽，f o ， ( 1 3 1 ) 其中，( o ) = o ，( z ) 是連續(xù)的并且滿足初值問(wèn)題存在惟一性定理的條件為方便， 不失一般性，我們假定z = o 是系統(tǒng)( 1 3 1 ) 的平衡點(diǎn) 記系統(tǒng)( 1 3 1 ) 的滿足初值條件z ( t o ) = 護(hù)0 t o ) 的解為z ( t 如，z o ) 定義1 3 1 o 和幻o ，若存在6 = 6 ( t 0 ，e ) o ，使得當(dāng)i l z 0 0 o ( 0 為控制參數(shù)人們稱之為一s 函數(shù)f 2 5 j 或熵函數(shù)由于對(duì)任何有限 的p ，f p ( z ) 是光滑函數(shù)因此可以通過(guò)求解參數(shù)p 充分大時(shí)的下述光滑問(wèn)題 m i n 昂( z ) ， ( 2 3 ) z 7 來(lái)得到原極大極小問(wèn)題( 2 1 ) 的近似解這種方法稱為極大熵函數(shù)法此熵函數(shù) 昂( z ) 是根據(jù)j a y n e s 最大熵原理導(dǎo)出的【2 6 】目前，極大熵函數(shù)法已被應(yīng)用于復(fù)雜 的工程優(yōu)化設(shè)計(jì)和數(shù)學(xué)規(guī)劃中，并取得良好的計(jì)算效果【1 】【2 5 1 但是隨參數(shù)p 的增 大，問(wèn)題( 2 3 ) 將漸趨病態(tài)，使得該方法失效 2 調(diào)節(jié)熵函數(shù)法 在極大熵函數(shù)法中，由于參數(shù)p ，+ 時(shí)，式( 2 2 ) 出現(xiàn)病態(tài)或溢出現(xiàn)象 為克服這一缺點(diǎn)，文【2 7 】提出帶有調(diào)節(jié)因子的熵函數(shù)( 簡(jiǎn)稱調(diào)節(jié)熵函數(shù)) 如下 昂( 毛弘) = l n 地e 印( 以( z ) ) ， ， 仁1 其中p = p r m ，地o ，i = l ，m ，墨l 他= 1 ) 由于調(diào)節(jié)熵函數(shù)法在p 充分大后就不再增大p 的值，而是通過(guò)調(diào)節(jié)p 使得 b ( z ，p ) 收斂到極大值函數(shù)從而克服原極大熵函數(shù)法由于單純?cè)龃髉 造成的困 難 理論分析和數(shù)值結(jié)果均表明；在相同條件下，調(diào)節(jié)熵函數(shù)法產(chǎn)生的近似解比 熵函數(shù)法產(chǎn)生的近似解具有更高的精度從而在一定程度上說(shuō)明調(diào)節(jié)熵函數(shù)法比 極大熵函數(shù)法更優(yōu)越，且有更廣的適用范圍 3 既約梯度法 文【2 8 】利用極大熵函數(shù)法中熵函數(shù)耳( z ) 的有關(guān)逼近結(jié)果，并結(jié)合既約梯 度法，給出了一種求解問(wèn)題( 2 1 ) 的既約梯度近似法該方法無(wú)需在計(jì)算中對(duì)不 同的熵參數(shù)p 而去求解不同的問(wèn)題，而是把熵參數(shù)p 的變化直接置于算法迭代過(guò) 程中，從而使求解更為方便 ( 二) 線性近似法 該方法是將各個(gè)函數(shù)在迭代點(diǎn)附近用i a y l o r 級(jí)數(shù)展開(kāi)，然后取一階近似，即 用線性函數(shù)近似原函數(shù)具體如下 將每個(gè)函數(shù) ( z ) 在z t 處展開(kāi)成t a y l o r 級(jí)數(shù)，得 五( 礬+ ) = ( z k ) + v 五( z k ) 丁 ， = l ，m 從而求極大極小問(wèn)題( 2 1 ) 的最優(yōu)解轉(zhuǎn)化為下述問(wèn)題 忍囂 ，l ( z 女) + v ( 礬) t ) ，i = 1 ，m a k 屯a ，j = 1 ，n ， 8 血z 舅 ，-l-，、_i、 式中k 是控制常數(shù)然后通過(guò)求解上述近似規(guī)劃問(wèn)題而得到原極大極小問(wèn)題的 最優(yōu)解 ， 由于極大極小問(wèn)題的不可微性以及上述傳統(tǒng)的迭代算法都很難滿足實(shí)時(shí)性要 求特別地，在許多工程技術(shù)應(yīng)用中，又常常要求實(shí)時(shí)求解問(wèn)題( 2 1 ) 基于電路實(shí) 現(xiàn)的神經(jīng)網(wǎng)絡(luò)，由于其具有大規(guī)模并行處理、分布式存儲(chǔ)和高度的糾錯(cuò)能力等優(yōu) 點(diǎn)，成為各領(lǐng)域求解大規(guī)模優(yōu)化問(wèn)題的有效方法近年來(lái)。應(yīng)用神經(jīng)網(wǎng)絡(luò)求解優(yōu)化 問(wèn)題得到了廣泛的研究，并取得了很好的成果【3 1 _ 洲特別地，基于n e 毗6 n 法提 出的，文【1 1 1 提出了求解問(wèn)題( 2 1 ) 的一個(gè)網(wǎng)絡(luò)模型，但其要求( z ) “= l ，m ) 的二次連續(xù)可微性，且模型復(fù)雜不易于硬件實(shí)現(xiàn)基于上述考慮，為實(shí)時(shí)求解問(wèn) 題( 2 1 ) ，本章根據(jù)其結(jié)構(gòu)特點(diǎn)，構(gòu)造了求解它的一個(gè)神經(jīng)網(wǎng)絡(luò)模型，嚴(yán)格證明了 該模型是l y 印u n o v 穩(wěn)定的，并且在有限時(shí)間內(nèi)收斂于問(wèn)題( 2 1 ) 的精確解此外 本章所提出的模型結(jié)構(gòu)簡(jiǎn)單，更適合硬件實(shí)現(xiàn)數(shù)值實(shí)例表明該模型不僅可行而 且有效 2 2 神經(jīng)網(wǎng)絡(luò)模型與穩(wěn)定性分析 考慮如下非線性極大極小問(wèn)題： 哩n 卷簍( z ) ( 2 4 ) 其中峨( z ) ，l = 1 ，m 是連續(xù)可微的凸函數(shù) 為敘述方便，用”i i 表示歐氏范數(shù)，田= 婦耶協(xié)o ) ，e = ( 1 ，o ，o ) j p + 1 若神經(jīng)網(wǎng)絡(luò)所對(duì)應(yīng)的動(dòng)力系統(tǒng)分別是l y 印衄州穩(wěn)定和漸近穩(wěn)定時(shí)，則稱 該網(wǎng)絡(luò)分別是l y a p l l i l 叫穩(wěn)定和漸近穩(wěn)定時(shí) 2 2 1 神經(jīng)網(wǎng)絡(luò)模型 首先將( 2 4 ) 轉(zhuǎn)化為等價(jià)的非線性規(guī)劃，然后給出求解問(wèn)題( 2 4 ) 的神經(jīng)網(wǎng) 絡(luò)，并與已有的模型比較以說(shuō)明新模型的優(yōu)越性 盡管問(wèn)題( 2 4 ) 不可微，但其等價(jià)于如下的非線性規(guī)劃 f 向 ( 2 5 ) ls f 夕( t ) o ， 其中“= ( p ，z 1 ，z 2 ，z 。) t r 1 ，g ( 釷) = ( 夕l ( u ) ，9 2 ( 讓) ，雪k ( t 正) ) t 艫，且 俄( ) = p 一玩( z ) 因此問(wèn)題( 2 4 ) 的解可由問(wèn)題( 2 5 ) 的最優(yōu)解獲得 9 不失一般性，假定( 2 4 ) 有解，且滿足s l a t e r 條件，即存在形+ 1 ，使得 9 ( ) o ，i = 1 ，m ( 2 6 ) 由于m ( t ) 是艫+ 1 上的連續(xù)可微的凹函數(shù)，根據(jù)凸規(guī)劃的k 1 1 1 l n 吼出e r 條件即得 如下結(jié)論 定理2 1u + 是( 2 5 ) 的最優(yōu)解當(dāng)且僅當(dāng)存在”r m ，使下式成立 a + o ， 9 ( u + ) o ，( a + ) t 9 ( u ) = o ， ( 2 7 ) l ( 釷一u + ) t 【e 一( 9 ( “) ) t a + 】o ，v u r 時(shí)1 ， 、 其中9 ，( u ) = ( v 9 1 ( 釷) ，v 9 1 ( u ) ，v ( 札) ) r j p 。( 1 1 ，v 蟲(chóng)( u ) 是吼( u ) “= 1 ，- 一，m ) 的梯度 證明考慮( 2 5 ) 的l a 盯a n g e 函數(shù)； l ( u ，a ) = ，( 札) + a r 9 ( ) ， 它是定義在c = 舒+ 1 冠! 上由于( 2 5 ) 是凸的且滿足條件( 2 6 ) ，則有“+ 是 ( 2 5 ) 的最優(yōu)解，當(dāng)且僅當(dāng)存在”驢，使得( 礦，”) 是l ( t ，入) 在c 上的鞍點(diǎn)， 即； 三( u + ，a ) l ( 釷，a + ) 工( ，a + ) ，v ( t ，a ) d 由上式左邊得； ( a a + ) r g ( t ) o ，v a r 7 由a 艘的任意性，得。 a o ，9 ( u + ) o ，( a + ) t 9 ( 仳) = o 又v 札艫+ 1 ，且讓礦，可知u + + t ( t 一礦) r ，i + 1 ，對(duì)所有t ( o ，1 ) 再由上式右邊得； 【l ( u + t ( u u 4 ) ，a + ) 一l ( “，a + ) 】o 令t 一0 ，得： ( t 一t + ) t v 。l ( 釷+ ，a ) = ( 扎一t ) t f v ，( + ) 一( 9 ，( 釷+ ) ) t a 4 】o ，v 札r 時(shí)1 因此( 2 7 ) 式得證 進(jìn)一步，由射影定理嘲，易得如下結(jié)論 引理2 1u 是( 2 5 ) 的最優(yōu)解當(dāng)且僅當(dāng)存在”艫，使得 囂：! ：君 仁s ， 其中a + = ( a ：- ，a 手，a 袁) j p ，a = m a ) c o ，a i ) 0 = 1 ，m ) 引理2 1 說(shuō)明問(wèn)題( 2 5 ) 的最優(yōu)解可通過(guò)求解系統(tǒng)( 2 8 ) 獲得記爻= 盼一夕( u ) 】+ 根據(jù)上述分析，求解( 2 8 ) 的神經(jīng)網(wǎng)絡(luò)可定義為： 宏= 丟( ：) 一卜七( 卜心瓜) ， 9 ， 其中 0 是設(shè)計(jì)參數(shù) 為說(shuō)明網(wǎng)絡(luò)( 2 9 ) 的優(yōu)越性，我們將其與文獻(xiàn) 1 1 】中的模型相比較對(duì)問(wèn)題 ( 2 4 ) ，文獻(xiàn)【1 1 】提出如下模型 鑒進(jìn) 日( 毛a ) 鼉= 一d ( ，a ) ， ( 2 1 0 ) 箍些友堡 ， z = 圣( 暑，) ，入互皿( p ) ，( 2 1 1 ) 其中l(wèi) ( z ，a ) = 銎1a i 五( z ) ，a = ( a 1 ，a 2 ，a 。) r o ，。= ( 可，盧) r ，v 。l ( z ，a ) 和v 乞l ( z ，a ) = 銎1k v 2 五( z ) 分別是工( z ，a ) 關(guān)于z 的梯度和h e s s e l l 矩陣， 氟0 = 1 ，n ) 和o = 1 ，m ) 分別在艫和j p 可微且單調(diào)遞增， 日c z ，a ，= ( v ：2 ：z ，a v 蛩z ) 和d c z ，a ，= ( & 乏( 二：) ， c z t z ， 模型( 2 1 0 ) 一( 2 1 1 ) 需要計(jì)算v g ( z ) 和v 羔三( z ，a ) ，而模型( 2 9 ) 僅需要計(jì)算 9 ，( “) 因此模型( 2 9 ) 比模型( 2 1 0 ) ? ( 2 1 1 ) 更簡(jiǎn)單。更適合于硬件實(shí)現(xiàn)其次當(dāng) 日( z ，a ) 非奇異時(shí)，模型( 2 1 0 ) 一( 2 1 1 ) 是l y 印u n 0 、r 穩(wěn)定的，并且收斂于l a f 齟g e 函數(shù)工( z ，入) 的穩(wěn)定點(diǎn)，然而當(dāng)九= 0 0 = 1 ，m ) ，或者所有的五( z ) 僅二次可 微凸時(shí)，矩陣日( 五a ) 并不一定非奇異，而且當(dāng)日( z ，a ) 奇異時(shí)，文獻(xiàn) 1 1 】并未討 論其解的有界性因此當(dāng)日( 毛a ) 奇異時(shí)，模型( 2 1 0 ) 一( 2 兒) 的收斂性并不能保 證而當(dāng)9 ，局部l i p s c h i t z 連續(xù)時(shí)，模型( 2 9 ) 是l y 印1 1 1 1 0 、r 穩(wěn)定的，并且收斂于 問(wèn)題( 2 5 ) 的一個(gè)精確解 由引理1 和式( 2 9 ) 得如下關(guān)于系統(tǒng)( 2 8 ) 的解和網(wǎng)絡(luò)( 2 9 ) 的平衡點(diǎn)之間的 關(guān)系的結(jié)論 推論2 1 令驢= k 尼計(jì)1 k 是( 2 8 ) 的解) ，則2 驢當(dāng)且僅當(dāng)z 是網(wǎng) 絡(luò)( 2 9 ) 的平衡點(diǎn) 2 2 2 穩(wěn)定性分析 為討論網(wǎng)絡(luò)( 2 9 ) 的動(dòng)力行為，首先給出下面的引理 引理2 2 令礦= ( ( 礦) t ，( ”) r ) r 眇是有限的，則 ( 。一z + ) t g ( z ) i ia x l l 2 ，v z r m + n + 1 引理2 2 類似于文獻(xiàn)【3 6 1 的證明，同時(shí)它表明了岳i | z 一礦1 1 2 一i ia 一天1 1 2 因此我們有如下的關(guān)于( 2 9 ) 的初值問(wèn)題解的存在惟一性結(jié)果； 定理2 2 若礦在艫+ 1 上局部l i p s c h i t z 連續(xù)，則對(duì)任意的擴(kuò)j p + “+ 1 ，神經(jīng) 網(wǎng)絡(luò)( 2 9 ) 在【o ，+ o o ) 上存在惟一的以妒為初值的連續(xù)解z ( t ) ( z ( o ) = z o ) 定理2 2 和推論2 1 說(shuō)明了該網(wǎng)絡(luò)是定義好的 進(jìn)一步地，為分析網(wǎng)絡(luò)的穩(wěn)定性，定義如下能量函數(shù)為： 1 y ( z ，) = 皿( z ) 一皿( z + ) 一( z 一礦) t v ( 礦) + 去0z 一礦1 1 2 ， 其中礦c 是有限的，且 皿( z ) = 口+ ；( 0 釷1 1 2 + 0 天2 ) 二 則有網(wǎng)絡(luò)( 2 9 ) ，可得 疊y k ，z 】= ( 害) t v y ( z ，礦) = 一七g ( z ) t v 礦( z ，) = 一七0e 一( 9 ( 牡) ) r 爻1 1 2 2 后p 一礦) r k 一( 9 ( 亂) ) r 習(xí) 一七( a a ) 丁( a + a 一2 a + ) = 一后i ie 一( 9 ( ) ) r a f f 2 十七0a a | 1 2 2 七p 一礦) r g ( z ) 一后0g ( z ) 鏟 一 ，= ：、口0g 星 n i_i，、il 5 4 3 2 ， o o 噸 嗎 ， 例2 3 2 考慮如下非線性極大極小問(wèn)題； 翼鬻跫鑒( z ) ， 其中k ( z ) ，t = 1 ，2 ，3 為變量z 印的光滑非線性凸函數(shù)，且 1 ( z ) = 4 ( z i + 茁；) ，h 2 ( z ) = 1 一z l z 2 ，危3 ( z ) = 1 2 易知該問(wèn)題等價(jià)如下非線性凸規(guī)劃問(wèn)題： 卜n is t 9 ( t ) 2o ， 其中u = ( 口，z 1 ，z 2 ) t r 3 ，9 ( ) = ( 9 1 ( u ) ，9 2 ( u ) ) r 譬，且鯫( 讓) = 口一，k ( z ) 該問(wèn)題有最優(yōu)解u + = ( 0 5 ，0 2 5 ，0 2 5 ) 根據(jù)上一節(jié)的分析，可用神經(jīng)網(wǎng)絡(luò)( 2 9 ) 求解該問(wèn)題模擬結(jié)果表明，對(duì)于任 意給定的初始點(diǎn)，神經(jīng)網(wǎng)絡(luò)( 2 9 ) 總收斂于該問(wèn)題的精確解例如，圖2 2 顯示了 七= 1 0 0 和任取3 0 個(gè)初始點(diǎn)時(shí)網(wǎng)絡(luò)( 2 9 ) 的軌線性態(tài) 衫 。 磁互 f 。 o0 0 5o 10 1 50 2 0 2 50 30 3 50 4 t 圖2 2 例2 3 2 中網(wǎng)絡(luò)( 2 9 ) 的軌線性態(tài) 例2 3 3 考慮如下非線性極大極小問(wèn)題； 翼鬻理警k ( z ) ， 1 4 幻 2 ：2 ， o 講 叫 小 噸 啦 ， 其中覷( z ) ，l = l ，2 為變量z 艫的光滑非線性凸函數(shù)，且 1 ( z ) = 一石1 + z 。，也( z ) = 十z ! 易知該問(wèn)題等價(jià)如下非線性凸規(guī)劃問(wèn)題t i 血n is t 9 ( 釷) o ， 其中t = ( 口，z l ，z 2 ) t 幫，9 ( 札) = ( 9 1 扣) ，仍( “) ) t 砰，且吼( ) = 口一( z ) 該問(wèn)題有最優(yōu)解扎+ = ( o ，0 ，一0 0 5 6 1 ) 根據(jù)上一節(jié)的分析，可用神經(jīng)網(wǎng)絡(luò)( 2 9 ) 求解該問(wèn)題模擬結(jié)果表明，對(duì)于任 意給定的初始點(diǎn)，神經(jīng)網(wǎng)絡(luò)( 2 9 ) 總收斂于該問(wèn)題的精確解例如，圖2 3 顯示了 七= 1 0 0 和任取3 0 個(gè)初始點(diǎn)時(shí)網(wǎng)絡(luò)( 2 9 ) 的軌線性態(tài) i 酞 妒一 j 00 0 50 10 1 50 2o 2 50 30 3 50 4 t 圖2 3倒2 3 3 中網(wǎng)絡(luò)( 2 9 ) 的軌線性態(tài) 例2 3 4 考慮如下非線性極大極小問(wèn)題： 翼雜擢韙( z ) ， 其中( z ) ，i = 1 ，2 為變量z r 2 的光滑非線性凸函數(shù)，且h - ( 。) = 一+ z ；， z ( z ) = 】5 3 5 2 5 1 5 o 5 1 5 2 乏 t n 噸 一 “ 一 ： 易知該問(wèn)題等價(jià)如下非線性凸規(guī)劃問(wèn)題 其中u = ( 口，z 1 ，z 2 ) r 艫，9 ( ) = ( 9 l ( “) ，9 2 ( 缸) ) t 譬，且吼( 玨) = 口一 嘻( z ) 該問(wèn)題有最優(yōu)解u 4 = ( o ，o ，一o 0 5 6 8 ) 根據(jù)上一節(jié)的分析，可用神經(jīng)網(wǎng)絡(luò)( 2 9 ) 求解該問(wèn)題模擬結(jié)果表明，對(duì)于任 意給定的初始點(diǎn)，神經(jīng)網(wǎng)絡(luò)( 2 9 ) 總收斂于該問(wèn)題的精確解例如，圖2 4 顯示了 七= 1 0 0 和任取3 0 個(gè)初始點(diǎn)時(shí)網(wǎng)絡(luò)( 2 9 ) 的軌線性態(tài) 心 。 羅一 00 0 50 10 1 5o 20 2 50 30 3 50 4 t 圖2 4 例2 3 4 中網(wǎng)絡(luò)( 2 9 ) 的軌線性態(tài) 例2 3 5 考慮如下非線性極大極小問(wèn)題； 罷露理鑒 t ( z ) 其中( z ) ，t = l ，2 為變量z r 2 的光滑非線性凸函數(shù)，且 z ( z ) = 1 一z 1 一 z 2 ， 2 ( z ) = z ；， 3 ( z ) = = z 2 1 6 0 一 p 9 曲 毗 ，iijll 3 2 ， o 叫 吃 c = ： 易知該問(wèn)題等價(jià)如下非線性凸規(guī)劃問(wèn)題； 其中t = p ，z 1 ，勛) t 印，g ( 乜) = ( 9 1 ( 釷) ，啦( 就) ) t 幫，且俄( u ) = 日一厄( z ) 該問(wèn)題有最優(yōu)解礦= ( o 1 0 5 4 ，o 3 2 4 6 ，o 5 6 9 6 ) 根據(jù)上一節(jié)的分析，可用神經(jīng)網(wǎng)絡(luò)( 2 9 ) 求解該問(wèn)題模擬結(jié)果表明，對(duì)于任 意給定的初始點(diǎn)，神經(jīng)網(wǎng)絡(luò)( 2 9 ) 總收斂于該問(wèn)題的精確解例如，圖2 5 顯示了 后= 1 0 0 和任取3 0 個(gè)初始點(diǎn)時(shí)網(wǎng)絡(luò)( 2 9 ) 的軌線性態(tài) 0 4 圖2 5 偽2 3 5 中網(wǎng)絡(luò)( 2 9 ) 的軌線性態(tài) 2 4 本章結(jié)論 本節(jié)首先介紹了極大極小問(wèn)題的數(shù)學(xué)模型和求解它的現(xiàn)有算法及每種算法 的基本思想和優(yōu)缺點(diǎn)然后提出了一個(gè)新的求解非線性極大極小問(wèn)題的神經(jīng)網(wǎng) 絡(luò)模型，并用l y a p u n 0 、，穩(wěn)定性理論和l a s a l l e 不變?cè)恚瑖?yán)格證明了該網(wǎng)絡(luò)是 l ) ，a p u n o v 穩(wěn)定和全局漸近穩(wěn)定并與基于n e w t o n 法提出的模型相比，新模型不 1 7 0 一 口g 驀 n ，、-l 需要覷( z ) 0 = l ，m ) 的二次連續(xù)可微性，且結(jié)構(gòu)簡(jiǎn)單因此本章提出的模型 更適合硬件實(shí)現(xiàn)數(shù)值實(shí)例表明了所提出的新模型不僅可行而且有效 1 8 第三章半無(wú)限規(guī)劃問(wèn)題的神經(jīng)網(wǎng)絡(luò)模型 3 1 引言 半無(wú)限規(guī)劃問(wèn)題最早出現(xiàn)于2 0 世紀(jì)6 0 年代，其早期理論主要由c h 盯n e s 等 人創(chuàng)立k o r t a i l l 【嘲、l o p e z 、l 舯l 和p o l a k 【4 1 一蜘等人在這方面也作了大量工 作作為數(shù)學(xué)規(guī)劃的一個(gè)分支，其研究引起了國(guó)內(nèi)外學(xué)者的廣泛關(guān)注，現(xiàn)已成為 數(shù)學(xué)規(guī)劃