建模與仿真神經(jīng)網(wǎng)絡(luò)

1、什么是神經(jīng)網(wǎng)絡(luò)什么是神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)方法在生物信息學(xué)中的應(yīng)用在生物信息學(xué)中的應(yīng)用神經(jīng)網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)在matlab中的實(shí)現(xiàn)中的實(shí)現(xiàn)2/352021-11-23神經(jīng)網(wǎng)絡(luò)知識(shí)神經(jīng)網(wǎng)絡(luò)知識(shí)l人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)對(duì)人腦或自然神經(jīng)網(wǎng)絡(luò)若干基本特性的抽對(duì)人腦或自然神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬象和模擬 非局域性非局域性非線性性非線性性非定常性非定常性非凸性非凸性l神經(jīng)網(wǎng)絡(luò)的基本性質(zhì)神經(jīng)網(wǎng)絡(luò)的基本性質(zhì)3/352021-11-23l神經(jīng)元神經(jīng)元神經(jīng)網(wǎng)絡(luò)知識(shí)神經(jīng)網(wǎng)絡(luò)知識(shí)kmiikikbxwv 1)(kkvy mjjkjkxwv04/352021-11-23l傳遞（激活）函數(shù)類型傳遞（激活）函數(shù)類

2、型閾值函數(shù)線性函數(shù)對(duì)數(shù)函數(shù)正切函數(shù)神經(jīng)網(wǎng)絡(luò)知識(shí)神經(jīng)網(wǎng)絡(luò)知識(shí)1 0 ( )0 0 xf xx( )fxkx1( )(1)xf xe( )tanh( )f xx5/352021-11-23l神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)知識(shí)神經(jīng)網(wǎng)絡(luò)知識(shí)iajblc6/352021-11-23神經(jīng)網(wǎng)絡(luò)分類神經(jīng)網(wǎng)絡(luò)分類前向網(wǎng)絡(luò)反饋網(wǎng)絡(luò)互聯(lián)網(wǎng)絡(luò)層內(nèi)互聯(lián)前向網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)知識(shí)神經(jīng)網(wǎng)絡(luò)知識(shí)7/352021-11-23神經(jīng)網(wǎng)絡(luò)知識(shí)神經(jīng)網(wǎng)絡(luò)知識(shí)l神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型感知器網(wǎng)絡(luò)感知器網(wǎng)絡(luò)線性神經(jīng)網(wǎng)絡(luò)線性神經(jīng)網(wǎng)絡(luò)bp網(wǎng)絡(luò)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)自組織網(wǎng)絡(luò)自組織網(wǎng)絡(luò)神經(jīng)元傳遞函數(shù)、網(wǎng)絡(luò)學(xué)習(xí)函數(shù)、激活函數(shù)

3、不同net = newp( )net = newlind( )net = newff( )net = newrbe( )8/352021-11-23l網(wǎng)絡(luò)訓(xùn)練函數(shù)網(wǎng)絡(luò)訓(xùn)練函數(shù)神經(jīng)網(wǎng)絡(luò)知識(shí)神經(jīng)網(wǎng)絡(luò)知識(shí)trainbfgbfgs擬牛頓法trainbr貝葉斯方法traincgbpowell-beale共軛梯度法traincgffletcher-powell 共軛梯度法traincgppolak-ribiere 共軛梯度法traingd梯度下降法traingda自適應(yīng)速率梯度下降法traingdm動(dòng)量梯度下降法trainlmlevenberg-marquardt算法traingdx動(dòng)量和自適應(yīng)速率梯度下

4、降法9/352021-11-23學(xué)習(xí)算法學(xué)習(xí)算法適用問題適用問題類型類型收斂性能收斂性能占用存占用存儲(chǔ)空間儲(chǔ)空間其他特點(diǎn)其他特點(diǎn)trainlm函數(shù)擬合收斂快誤差小大性能隨網(wǎng)絡(luò)規(guī)模增大而變差trainrp模式分類 收斂最快較小性能隨網(wǎng)絡(luò)訓(xùn)練誤差減小而變差trainscg函數(shù)擬合模式分類收斂較快性能穩(wěn)定中等尤其適用于網(wǎng)絡(luò)規(guī)模較大的情況trainbfg 函數(shù)擬合 收斂較快較大計(jì)算量隨網(wǎng)絡(luò)規(guī)模增大呈幾何增大traingdx 模式分類 收斂較慢較小適用于“提前停止”方法，可提高網(wǎng)絡(luò)推廣能力神經(jīng)網(wǎng)絡(luò)知識(shí)神經(jīng)網(wǎng)絡(luò)知識(shí)l網(wǎng)絡(luò)訓(xùn)練函數(shù)網(wǎng)絡(luò)訓(xùn)練函數(shù)10/352021-11-23l網(wǎng)絡(luò)權(quán)值、誤差學(xué)習(xí)函數(shù)網(wǎng)絡(luò)權(quán)值、誤

5、差學(xué)習(xí)函數(shù)神經(jīng)網(wǎng)絡(luò)知識(shí)神經(jīng)網(wǎng)絡(luò)知識(shí)mae絕對(duì)平均誤差mse均方誤差msereg規(guī)則化均方誤差sse平方誤差和l網(wǎng)絡(luò)性能函數(shù)網(wǎng)絡(luò)性能函數(shù)learpn標(biāo)準(zhǔn)化感知器學(xué)習(xí)規(guī)則learnwhlms算法（近似梯度下降法）learngd梯度下降法learngdm 動(dòng)量梯度下降法11/352021-11-23以任意精度逼近任何函數(shù)以任意精度逼近任何函數(shù)魯棒性、容錯(cuò)性強(qiáng)魯棒性、容錯(cuò)性強(qiáng)進(jìn)行快速、大量運(yùn)算進(jìn)行快速、大量運(yùn)算學(xué)習(xí)和自適應(yīng)不確定的系統(tǒng)學(xué)習(xí)和自適應(yīng)不確定的系統(tǒng)神 經(jīng) 網(wǎng) 絡(luò) 的 優(yōu) 點(diǎn)神 經(jīng) 網(wǎng) 絡(luò) 的 優(yōu) 點(diǎn)同時(shí)處理定性、定量知識(shí)同時(shí)處理定性、定量知識(shí)12/352021-11-23神經(jīng)網(wǎng)絡(luò)知識(shí)神經(jīng)網(wǎng)絡(luò)

6、知識(shí)l神經(jīng)網(wǎng)絡(luò)主要應(yīng)用領(lǐng)域神經(jīng)網(wǎng)絡(luò)主要應(yīng)用領(lǐng)域模式識(shí)別模式識(shí)別信號(hào)處理信號(hào)處理知識(shí)工程知識(shí)工程專家系統(tǒng)專家系統(tǒng)優(yōu)化組合優(yōu)化組合機(jī)器人控制機(jī)器人控制13/352021-11-23奶 牛 產(chǎn) 奶 量 預(yù) 測(cè)奶 牛 產(chǎn) 奶 量 預(yù) 測(cè)l研究意義研究意義l研究進(jìn)展研究進(jìn)展l神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例農(nóng)場(chǎng)主關(guān)心什么先輩（競(jìng)爭(zhēng)對(duì)手）做了什么14/352021-11-23初產(chǎn)奶牛產(chǎn)奶量預(yù)測(cè)初產(chǎn)奶牛產(chǎn)奶量預(yù)測(cè)l研究問題研究問題l研究數(shù)據(jù)研究數(shù)據(jù)l神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例初產(chǎn)奶牛產(chǎn)奶量 親代奶牛產(chǎn)奶量親代奶牛30d、60d、90d、305d產(chǎn)奶量初產(chǎn)

7、奶牛305d產(chǎn)奶量初產(chǎn)奶牛產(chǎn)奶量 初產(chǎn)奶牛營(yíng)養(yǎng)量初產(chǎn)奶牛30d、60d、90d、305d營(yíng)養(yǎng)量15/352021-11-23神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)l訓(xùn)練集、測(cè)試集訓(xùn)練集、測(cè)試集交互檢驗(yàn)交互檢驗(yàn) jackknifejackknife檢驗(yàn)檢驗(yàn)采用標(biāo)準(zhǔn)集采用標(biāo)準(zhǔn)集隨機(jī)選取隨機(jī)選取gb126， cb25876個(gè)訓(xùn)練，12或1個(gè)預(yù)測(cè)方法檢驗(yàn)方法檢驗(yàn)16/352021-11-23l模型建立模型建立依據(jù)原則依據(jù)原則（1）網(wǎng)絡(luò)規(guī)模持平于樣本集大?。?）輸入層、隱層的結(jié)點(diǎn)數(shù)比例為2:1 （3） 運(yùn)算簡(jiǎn)單、易于理解神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)方法17/352021-11-23神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)l模型結(jié)構(gòu)步

8、驟模型結(jié)構(gòu)步驟 一一三層bp網(wǎng)絡(luò)結(jié)構(gòu)輸出節(jié)點(diǎn)數(shù)為1l模型結(jié)構(gòu)步驟二模型結(jié)構(gòu)步驟二訓(xùn)練樣本數(shù)76輸入節(jié)點(diǎn)數(shù)為7隱層采用s型傳遞函數(shù)采用標(biāo)準(zhǔn)訓(xùn)練、權(quán)值、性能函數(shù)18/352021-11-23網(wǎng)絡(luò)模型結(jié)構(gòu)網(wǎng)絡(luò)模型結(jié)構(gòu)l網(wǎng)絡(luò)結(jié)構(gòu)模型網(wǎng)絡(luò)結(jié)構(gòu)模型網(wǎng)絡(luò)模型網(wǎng)絡(luò)模型層數(shù)節(jié)點(diǎn)數(shù)傳遞函數(shù)輸入層7正切函數(shù)線性函數(shù)隱含層10輸出層1訓(xùn)練函數(shù)：traingdx 網(wǎng)絡(luò)權(quán)值、誤差學(xué)習(xí)函數(shù)：learngdm網(wǎng)絡(luò)性能函數(shù)：mse是否是最好的選擇方式是否是最好的選擇方式19/352021-11-23神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)l工作步驟工作步驟初始化網(wǎng)絡(luò)權(quán)值矩陣和神經(jīng)元閾值矩陣提供學(xué)習(xí)樣本計(jì)算網(wǎng)絡(luò)實(shí)際輸出和隱層神經(jīng)元輸出計(jì)算誤差對(duì)

9、各層的影響修正權(quán)值和閾值計(jì)算網(wǎng)絡(luò)輸出誤差判斷誤差是否滿足要求結(jié)束訓(xùn)練20/352021-11-23神經(jīng)網(wǎng)絡(luò)程序?qū)崿F(xiàn)神經(jīng)網(wǎng)絡(luò)程序?qū)崿F(xiàn)lmatlab神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)工具箱主 要 程 序 設(shè) 計(jì)主 要 程 序 設(shè) 計(jì)net=newff(pr,s1,s2,tf1,tf2,btf,blf,pf);pr = minmax(original_data);%確定輸入層輸入數(shù)據(jù)的大小范圍s1、s2; %分別為網(wǎng)絡(luò)隱層、輸出層神經(jīng)元個(gè)數(shù)tf1 、tf2;%分別為隱層、輸出層傳遞函數(shù)btf、blf、pf ; %分別為網(wǎng)絡(luò)訓(xùn)練函數(shù)、學(xué)習(xí)函數(shù)和性能函數(shù)21/352021-11-23lmatlab神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)

10、網(wǎng)絡(luò)工具箱net.performfcn = mse; %設(shè)置性能函數(shù)為均方誤差net . trainparam. goal = 0.01 ; %設(shè)置性能目標(biāo)值net. trainparam. epochs =25000; %設(shè)置最大訓(xùn)練步數(shù)net . trainparam. lr = 0.02 ; %設(shè)置學(xué)習(xí)率設(shè) 置 各 性 能 目 標(biāo) 值 如 下設(shè) 置 各 性 能 目 標(biāo) 值 如 下神經(jīng)網(wǎng)絡(luò)程序?qū)崿F(xiàn)神經(jīng)網(wǎng)絡(luò)程序?qū)崿F(xiàn)22/352021-11-23神經(jīng)網(wǎng)絡(luò)程序?qū)崿F(xiàn)神經(jīng)網(wǎng)絡(luò)程序?qū)崿F(xiàn)lmatlab神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)工具箱主 要 程 序 設(shè) 計(jì)主 要 程 序 設(shè) 計(jì)original_data =

11、textread(original.txt);net = train(net,train_data,train_target_data)；%網(wǎng)絡(luò)訓(xùn)練out_data(i) = sim(net,test_data)； %網(wǎng)絡(luò)仿真target_data = textread(target.txt);r,p = corrcoef(target_data,out_data)；%精度驗(yàn)證23/352021-11-2324/352021-11-2325/352021-11-2326/352021-11-2327/352021-11-2328/352021-11-2329/352021-11-23130/352021-11-237101131/352021-11-2332/352021-11-2333/352021-11-23-10-5051015-20246810r=0.72149p=9.8017e-015tadata pointsbest linear fit預(yù)測(cè)結(jié)果預(yù)測(cè)結(jié)果最后預(yù)測(cè)結(jié)果最后預(yù)測(cè)結(jié)果真實(shí)產(chǎn)奶量預(yù)測(cè)奶量34/352021-11-23對(duì)初始權(quán)重敏感，易收斂于局部極小對(duì)初始權(quán)重敏感，易收斂于局部極小收斂緩慢甚至不收斂收斂緩慢甚至不收