人工神經(jīng)網(wǎng)絡(luò)論文：改進(jìn)BP算法在數(shù)據(jù)倉(cāng)庫(kù)中的應(yīng)用.doc

人工神經(jīng)網(wǎng)絡(luò)論文：改進(jìn)BP算法在數(shù)據(jù)倉(cāng)庫(kù)中的應(yīng)用【中文摘要】本文的就是針對(duì)BP算法的這些局限性,如BP算法的學(xué)習(xí)速率較慢,網(wǎng)絡(luò)會(huì)產(chǎn)生部分平坦區(qū),網(wǎng)絡(luò)權(quán)重的誤差變化量在平坦區(qū)的變化幾乎為零,致使整個(gè)網(wǎng)絡(luò)的訓(xùn)練過(guò)程停止等,通過(guò)對(duì)算法結(jié)構(gòu)及原理的分析,提出新的改進(jìn)算法,使新算法較原算法在收斂速度和訓(xùn)練次數(shù)等方面有顯著的提高。文中分別從標(biāo)準(zhǔn)權(quán)重更新公式中加入新的比例因子,并將訓(xùn)練中為常數(shù)的學(xué)習(xí)速率調(diào)整為隨著訓(xùn)練逐漸改變的量,利用增益變化項(xiàng)可以修改本地梯度的同時(shí)給每次的迭代訓(xùn)練提供一個(gè)改進(jìn)的梯度搜索方向,及基于擬牛頓法的LevenbergMarquardt算法三個(gè)方向分別改進(jìn)。在反向傳播算法中,學(xué)習(xí)速率的大小直接影響著整個(gè)網(wǎng)絡(luò)的收斂速度。因?yàn)閷W(xué)習(xí)速率和梯度是權(quán)重連接數(shù)變化量的直接影響因素。但是,在標(biāo)準(zhǔn)BP算法中,學(xué)習(xí)速率在網(wǎng)絡(luò)訓(xùn)練開(kāi)始前已經(jīng)初始化為一個(gè)常數(shù)。固定學(xué)習(xí)率的梯度下降法是低效的。因此提出了一種新的高效的方法,讓學(xué)習(xí)速率適時(shí)調(diào)整,即第K次網(wǎng)絡(luò)訓(xùn)練的學(xué)習(xí)速率與第K-1次的學(xué)習(xí)速率有關(guān),并在權(quán)值變化公式中在原來(lái)兩個(gè)影響因子(動(dòng)量因子和學(xué)習(xí)速率因子)的基礎(chǔ)上加入一個(gè)新的比例因子來(lái)調(diào)節(jié)每一次迭代所得到的輸出和目標(biāo)的差異,使網(wǎng)絡(luò)的訓(xùn)練更準(zhǔn)確,并且改善了標(biāo)準(zhǔn)算法存在的.【英文摘要】The purpose of this paper is introduct a new improved algorithm through the analysis ofstructureandprincipleandthelimitationsoftheBPalgorithm,Suchaslearningrateisslowof BP algorithm, the network will have some flat areas, the weight change of the networkerror in the flat areas is almost zero, which result in the training process of the wholenetwork stops. The new algorithm is better than the original algorithm in convergencespeed and frequency of training ,which has improved significantly. The paper from th.【關(guān)鍵詞】人工神經(jīng)網(wǎng)絡(luò) BP神經(jīng)網(wǎng)絡(luò) 比例因子 改進(jìn)共軛梯度法 非二次模型 牛頓法 LevenbergMarquardt算法【英文關(guān)鍵詞】Artificial Neural Network BP Neural Network Scale Factor Improved Conjugate Gradient Method Newton Method Non-Quadratic Model Levenberg-Marquardt Algorithm【目錄】改進(jìn)BP算法在數(shù)據(jù)倉(cāng)庫(kù)中的應(yīng)用摘要4-6Abstract6-7第1章 引言10-141.1 本課題的研究背景和意義10-111.2 國(guó)內(nèi)外的研究現(xiàn)狀11-121.3 本文的主要工作121.4 本文的組織結(jié)構(gòu)12-14第2章 人工神經(jīng)網(wǎng)絡(luò)14-252.1 基于生物神經(jīng)元的人工神經(jīng)網(wǎng)絡(luò)14-162.1.1 生物神經(jīng)元模型14-152.1.2 人工神經(jīng)網(wǎng)絡(luò)原理及結(jié)構(gòu)15-162.2 神經(jīng)網(wǎng)絡(luò)的分類方法16-192.2.1 基于網(wǎng)絡(luò)結(jié)構(gòu)的分類方法16-182.2.2 其他分類方法18-192.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則19-202.3.1 Hebbian 學(xué)習(xí)規(guī)則192.3.2 感知器學(xué)習(xí)規(guī)則19-202.3.3 反向傳播學(xué)習(xí)規(guī)則202.4 BP神經(jīng)網(wǎng)絡(luò)20-252.4.1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)20-212.4.2 BP算法的原理分析及數(shù)學(xué)模型21-232.4.3 算法程序?qū)崿F(xiàn)23-25第3章 針對(duì)BP 算法局限性的改進(jìn)25-423.1 基于動(dòng)量與學(xué)習(xí)率結(jié)合的算法優(yōu)化26-333.1.1 附加動(dòng)量法27-283.1.2 自適應(yīng)學(xué)習(xí)率283.1.3 基于附加動(dòng)量與自適應(yīng)學(xué)習(xí)率結(jié)合的算法改進(jìn)28-333.2 基于共軛梯度法的算法優(yōu)化33-383.2.1 共軛梯度法33-343.2.2 優(yōu)化的共軛梯度法34-383.3 基于梯度下降法及擬牛頓法的算法優(yōu)化38-423.3.1 梯度下降法與擬牛頓法383.3.2 優(yōu)化的Levenberg-Marquardt法38-42第4章 基于Matlab 模型的仿真實(shí)驗(yàn)42-514.1 仿真實(shí)驗(yàn)基礎(chǔ)42-444.1.1 Matlab神經(jīng)網(wǎng)絡(luò)工具箱424.1.2 仿真模型的建立步驟42-444.2 優(yōu)化算法的應(yīng)用44-51