機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的論文

“機(jī)器學(xué)習(xí)”論文112007053311計(jì)科邵顯倫摘要：神經(jīng)網(wǎng)絡(luò)是計(jì)算機(jī)智能和機(jī)器學(xué)習(xí)研究、開發(fā)和應(yīng)用最活潑的分支之一。本文首先通過對誤差回傳神經(jīng)網(wǎng)絡(luò)(BPNN)和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(RBFNN)的知識進(jìn)行學(xué)習(xí)，并且對各自的原理進(jìn)行了簡單的分析，最后在各自的功能上進(jìn)行了比擬。人工神經(jīng)網(wǎng)絡(luò)〔ArtificialNeuralNetworks〕是參照生物神經(jīng)網(wǎng)絡(luò)開展起來的模擬人腦生物過程的人工智能技術(shù)。它是由大量的神經(jīng)元互連形成的一種非線性系統(tǒng)。因此，神經(jīng)網(wǎng)絡(luò)根據(jù)神經(jīng)元互連模式可分為前向網(wǎng)絡(luò)〔前饋網(wǎng)絡(luò)〕和反應(yīng)網(wǎng)絡(luò)。經(jīng)過十幾年的開展，神經(jīng)網(wǎng)絡(luò)理論在模式識別、人工智能、控制與優(yōu)化、空間科學(xué)、通訊等應(yīng)用領(lǐng)域取得了令人矚目的成就。BP網(wǎng)絡(luò)和RBFNN網(wǎng)絡(luò)的分析與比擬1BP網(wǎng)絡(luò)原理BP神經(jīng)網(wǎng)絡(luò)也稱為誤差后向傳播神經(jīng)網(wǎng)絡(luò)，它是一種無反應(yīng)的前向網(wǎng)絡(luò)，是神經(jīng)網(wǎng)絡(luò)模型中使用最廣泛的一類。BP神經(jīng)網(wǎng)絡(luò)是典型的多層結(jié)構(gòu)，分為輸入層、隱層和輸出層，層與層之間多采用全互聯(lián)方式，同一層單元之間不存在相互連接接。1.1Sigmoid閾值單元XX1X0X2XnW1∑W2WnW0圖1Sigmoid單元先計(jì)算它的輸入的線性組合，然后應(yīng)用到一個(gè)閾值上，閾值輸出是輸入的連續(xù)函數(shù)其中1.2反向傳播算法BP網(wǎng)絡(luò)可以有多層，我們采用梯度下降方法試圖最小化網(wǎng)絡(luò)輸出值和目標(biāo)值之間的誤差平方，首先定義網(wǎng)絡(luò)輸出的總誤差：其中：outputs是網(wǎng)絡(luò)輸出單元的集合，tkd和okd是與訓(xùn)練樣例d和第k個(gè)輸出單元相關(guān)的輸出值。1.2.1隨機(jī)梯度下降法兩層sigmoid單元的前饋網(wǎng)絡(luò)的反向傳播算法如下：BackPropagation(training_examples,,nin,nout,nhidden)training_examples是序偶<,>的集合，是網(wǎng)絡(luò)輸入值向量，是目標(biāo)輸出值。是學(xué)習(xí)速率，nin是網(wǎng)絡(luò)輸入的數(shù)量，nhidden是隱藏層單元數(shù)，nout是輸出單元數(shù)，從單元i到單元j的輸入表示為xji，單元i到單元j的權(quán)值表示為wji。創(chuàng)立具有nin個(gè)輸入，nhidden個(gè)隱藏，nout個(gè)輸出單元的網(wǎng)絡(luò)初始化所有的網(wǎng)絡(luò)權(quán)值為小的隨機(jī)值在遇到終止條件前對于訓(xùn)練樣例training_examples中的每個(gè)<,>:把輸入沿網(wǎng)絡(luò)前向傳播把實(shí)例輸入網(wǎng)絡(luò)，并計(jì)算網(wǎng)絡(luò)中每個(gè)單元u的輸出ou,使誤差沿網(wǎng)絡(luò)反向傳播對于網(wǎng)絡(luò)每個(gè)輸出單元k,計(jì)算它的誤差項(xiàng)kkok(1-ok)(tk-ok)對于網(wǎng)絡(luò)每個(gè)隱藏單元h，計(jì)算它的誤差項(xiàng)hhoh(1-oh)更新每個(gè)網(wǎng)絡(luò)權(quán)值wjiwjiwji+wji，其中wji=jxji1.2.2算法推導(dǎo)隨機(jī)梯度下降算法迭代處理訓(xùn)練樣例，每次處理一個(gè)，對于每個(gè)訓(xùn)練樣例d，利用關(guān)于這個(gè)樣例的誤差Ed的梯度修改權(quán)值。符號說明如下：xji，單元j的第i個(gè)輸入wji，與xji相關(guān)聯(lián)的權(quán)值netj，單元j的輸入的加權(quán)和oj，單元j計(jì)算出的輸出tj，單元j的目標(biāo)輸出，sigmoid函數(shù)outputs，網(wǎng)絡(luò)最后一層的輸出單元的集合Downstream(j)，單元j的輸出到達(dá)的單元的集合分情況討論的推導(dǎo)Case1:輸出單元Case2:隱藏單元收斂性和局部極小值對于多層網(wǎng)絡(luò)，誤差曲面可能含有多個(gè)不同的局部極小值，梯度下降可能陷入這些局部極小值中的任何一個(gè)對于多層網(wǎng)絡(luò)，反向傳播算法僅能保證收斂到誤差E的某個(gè)局部極小值，不一定收斂到全局最小誤差盡管缺乏對收斂到全局最小誤差的保證，反向傳播算法在實(shí)踐中仍是非常有效的函數(shù)逼近算法2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(RBFNN)徑向基函數(shù)〔radialbasisfunction，RBF〕方法是在高維空間進(jìn)行插值的一種技術(shù)。Broommhead和Lowe在1998率先使用該技術(shù)，提出了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的一種新手段。那就是RBFNN，是以徑向基函數(shù)作為隱單元的‘基’構(gòu)成隱含層空間，隱含層對輸入矢量進(jìn)行變換將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，使得在低維線性不可分問題變成在高維空間內(nèi)線性可分。它是一種局部逼近網(wǎng)絡(luò)，對于每個(gè)訓(xùn)練樣本，它只需對少量的權(quán)值和閥值進(jìn)行修正具有學(xué)習(xí)速度快，收斂性好，實(shí)時(shí)性強(qiáng)。2.1RBF神經(jīng)元模型圖2RBF神經(jīng)元模型2.2RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的構(gòu)成包括三層：第一層為輸入層，第二層為隱含層，第三層為輸出層。其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如3圖所示。RBF網(wǎng)絡(luò)從輸入空間到隱含空間的變換是非線性的，而從隱含層空間到輸出層空間的變換那么是線性的。這種網(wǎng)絡(luò)結(jié)構(gòu)，隱含層的單元是感知單元，每個(gè)感受知單元的輸出為：Ri=r(‖X-Ci‖)(1-1)，其中，X為n維輸入向量；Ci為第i個(gè)隱節(jié)點(diǎn)的中心，i=1,2,…，h?！ぁǔ闅W氏范數(shù)；r(·)為RBF函數(shù)?；瘮?shù)的形式，可以有以下幾種形式的選擇：多二次函數(shù)、逆多二次函數(shù)、樣條函數(shù)、高斯函數(shù)。通常使用的是高斯函數(shù)，那么由式(1-1)可得式(1-2)：Ri(x)=exp‖-(X-Ci)/(2σ2)‖,i=1,2…，m(1-2)，其中，σi為基寬度；m為感知單元的個(gè)數(shù)。由圖3可以看出，網(wǎng)絡(luò)輸出層k個(gè)節(jié)點(diǎn)的輸出為隱節(jié)點(diǎn)輸出的線性組合：yk=,k=1,2,…，p(1-3)，其中，p為輸出節(jié)點(diǎn)數(shù)；Ri(x)為高斯函數(shù)；wik為Ri(x)→yk的連接權(quán)值。圖3RBF網(wǎng)絡(luò)結(jié)構(gòu)2.3基于聚類的RBF網(wǎng)絡(luò)設(shè)計(jì)算法基于聚類的RBF網(wǎng)絡(luò)算法是一種無導(dǎo)師學(xué)習(xí)，也稱為非監(jiān)督學(xué)習(xí)，是對所有輸入樣本進(jìn)行聚類，從而求得各隱層節(jié)點(diǎn)的RBF的中心。聚類算法主要有HCM、K-均值聚類、最近鄰聚類〔NN算法〕等。目前最常用的是K-均值聚類算法，具體的步驟如下：〔1〕初始化：給定各隱層節(jié)點(diǎn)的初始中心Ci(0)?！?〕相似匹配：計(jì)算距離〔歐氏空間〕并求出最小距離的節(jié)點(diǎn)：Di(t)=‖x(t)-ci(t-1)‖1≤i≤h(2-1)Dmin(t)=minDi(t)=Dr(t)(2-2)〔