機(jī)器學(xué)習(xí)與大數(shù)據(jù)技術(shù)第二章-機(jī)器學(xué)習(xí)的理論與方法課件

1、機(jī)器學(xué)習(xí)與大數(shù)據(jù)技術(shù)作者：牟少敏教授第二章回歸分析與最小二乘法聚類遺傳算法蟻群算法機(jī)器學(xué)習(xí)的理論與方法粒子群算法支持向量機(jī)隱馬爾科夫模型人工神經(jīng)網(wǎng)絡(luò)創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章機(jī)器學(xué)習(xí)則是研究機(jī)器模仿人類的學(xué)習(xí)過程，進(jìn)行知識(shí)和技能獲取，是一門涉及到計(jì)算機(jī)科學(xué)與技術(shù)、概率論與統(tǒng)計(jì)學(xué)和認(rèn)知科學(xué)等多個(gè)領(lǐng)域的交叉學(xué)科。學(xué)習(xí)是人類區(qū)別于低級(jí)動(dòng)物，自身所具有的重要智能行為。其應(yīng)用十分廣泛，如：數(shù)據(jù)挖掘、計(jì)算機(jī)視覺、自然語言處理、語音和手寫識(shí)別和機(jī)器人研發(fā)等各個(gè)領(lǐng)域。分類問題：在有監(jiān)督學(xué)習(xí)任務(wù)中，預(yù)測(cè)變量為離散變量。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.1回歸分析與最小二乘法回歸問題：在有監(jiān)督學(xué)習(xí)任務(wù)中，

2、預(yù)測(cè)變量為連續(xù)變量。回歸分析是一種用于確定兩種或兩種以上變量間相互依賴關(guān)系的統(tǒng)計(jì)分析方法。按照問題所涉及變量的多少，可將回歸分析分為一元回歸分析和多元回歸分析。按照自變量與因變量之間是否存在線性關(guān)系，分為線性回歸分析和非線性回歸分析。如果在某個(gè)回歸分析問題中，只有兩個(gè)變量，一個(gè)自變量和一個(gè)因變量，且自變量與因變量之間的函數(shù)關(guān)系能夠用一條直線來近似表示，那么稱其為一元線性回歸分析。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章2.1回歸分析與最小二乘法回歸分析的基本步驟如下：創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.1回歸分析與最小二乘法分析預(yù)測(cè)目標(biāo)，確定自變量和因變量；建立合適的回歸預(yù)測(cè)模型； 相關(guān)性分析； 檢測(cè)

3、回歸預(yù)測(cè)模型，計(jì)算預(yù)測(cè)的誤差； 計(jì)算并確定預(yù)測(cè)值。最小二乘法又稱為最小平方法，是一種常用的數(shù)學(xué)優(yōu)化方法。最小二乘法的原理是通過最小化誤差平方和尋找與數(shù)據(jù)匹配的最佳函數(shù)。最小二乘法的應(yīng)用十分廣泛，既可以用于參數(shù)估計(jì)，也可以用于曲線擬合，以及一些其他的優(yōu)化問題。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.1回歸分析與最小二乘法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章 對(duì)于一元線性回歸模型，假設(shè)從總體中獲取了組觀察值，其中。那么這組觀察值在二維平面直角坐標(biāo)系中對(duì)應(yīng)的就是平面中的個(gè)點(diǎn)，此時(shí)有無數(shù)條曲線可以擬合這個(gè)點(diǎn)。通常情況下，希望回歸函數(shù)能夠盡可能好地?cái)M合這組值。綜合來看，當(dāng)這條直線位于樣本數(shù)據(jù)的中心位置時(shí)似乎最合

4、理。因此，選擇最佳擬合曲線的標(biāo)準(zhǔn)可確定為：總擬合誤差（即總殘差）最小。對(duì)于總擬合誤差，有三個(gè)標(biāo)準(zhǔn)可供選擇：（1）用“殘差和”表示總擬合誤差，但“殘差和”會(huì)出現(xiàn)相互抵消的問題。（2）用“殘差絕對(duì)值”表示總擬合誤差，但計(jì)算絕對(duì)值相對(duì)來說較為麻煩。（3）用“殘差平方和”表示總擬合誤差。最小二乘法采用的就是“殘差平方和最小”所確定的直線。用“殘差平方和”計(jì)算方便，而且對(duì)異常值會(huì)比較敏感。2.1回歸分析與最小二乘法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章假設(shè)回歸模型（擬合函數(shù)）為： 則樣本的誤差為： 其中 為 的預(yù)測(cè)值（擬合值）， 為 對(duì)應(yīng)的實(shí)際值。最小二乘法的損失函數(shù) 也就是殘差平方和，即： 通過最小化來確定

5、直線方程，即確定和，此時(shí)該問題變成了求函數(shù)的極值的問題。根據(jù)高等數(shù)學(xué)的知識(shí)可知，極值通常是通過令導(dǎo)數(shù)或者偏導(dǎo)數(shù)等于0而得到，因此，求關(guān)于未知參數(shù)和的偏導(dǎo)數(shù)：2.1回歸分析與最小二乘法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章通過令偏導(dǎo)數(shù)為0，可求解函數(shù)的極值點(diǎn)，即：2.1回歸分析與最小二乘法將樣本數(shù)據(jù) 代入，即可得到 和 的具體指。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.2.1 簡(jiǎn)介作為一種無監(jiān)督機(jī)器學(xué)習(xí)方法，聚類經(jīng)常用于數(shù)據(jù)挖掘和模式識(shí)別。 2.2 聚類聚類（Cluster Analysis）是將數(shù)據(jù)集中的所有樣本根據(jù)相似度的大小進(jìn)行劃分，形成兩個(gè)或多個(gè)類（簇）的過程。簇是數(shù)據(jù)集中相似的樣本集合。聚類沒有

6、訓(xùn)練過程，是一種無標(biāo)準(zhǔn)的學(xué)習(xí)，同時(shí)也是一種無監(jiān)督學(xué)習(xí)。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章分類的根本區(qū)別在于： 分類是需要有標(biāo)號(hào)的樣本進(jìn)行訓(xùn)練。2.2 聚類聚類算法可分為：基于劃分方法的、基于層次方法的、基于密度方法的、基于網(wǎng)格方法的和基于模型方法的聚類?；趯哟蔚木垲愔饕校浩胶獾鳒p聚類法（BIRCH算法）、基于密度的聚類方法（DBSCAN算法）和使用代表點(diǎn)的聚類方法（CURE算法）等；基于劃分的聚類方法主要有：K均值聚類算法（K-means聚類算法）、K中心點(diǎn)算法（K-mediods聚類算法）和隨機(jī)搜索聚類算法（CLARANS聚類算法）等。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章2.2聚類2.2.

7、2 基本原理 聚類的結(jié)果是類內(nèi)樣本的相似度高，類間樣本的相似度低。相似性的度量通常采用樣本間的距離來表示，距離函數(shù)值的大小反應(yīng)相似的程度，相似度越大兩個(gè)樣本間的距離函數(shù)的值越小，相似度越小兩個(gè)樣本間的距離函數(shù)值越大。 聚類是按照相似性大小，將無標(biāo)號(hào)的數(shù)據(jù)集劃分為若干類或簇的過程。常用的距離計(jì)算方法有：創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章 歐氏距離2.2 聚類 曼哈頓距離 明氏距離 歐氏距離創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章歐氏距離又叫歐幾里得距離，是最常見的距離表示法。假設(shè) ， ，則它們之間的距離為： 即兩項(xiàng)間的差是每個(gè)變量值差的平方和再取平方根，目的是計(jì)算其間的整體距離，即不相似性。歐氏距離的優(yōu)點(diǎn)

8、是計(jì)算公式比較簡(jiǎn)單，缺點(diǎn)是不能將樣本的不同屬性（即各指標(biāo)或各變量）之間的差別等同看待，在某些特定的應(yīng)用背景中不能滿足要求。一般的聚類大都采用歐氏距離。1. 歐式距離（Euclidean Distance）2.2 聚類創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章曼哈頓距離也稱為城市街區(qū)距離(CityBlock Distance)，是在歐幾里德空間的固定直角坐標(biāo)系上兩點(diǎn)所形成的線段對(duì)軸產(chǎn)生的投影的距離總和。二維平面兩點(diǎn) 與 間的曼哈頓距離定義為： 兩個(gè)n維向量 與 間的曼哈頓距離： 要注意的是，曼哈頓距離依賴坐標(biāo)系統(tǒng)的轉(zhuǎn)度，而非系統(tǒng)在坐標(biāo)軸上的平移或映射。2. 曼哈頓距離（Manhattan Distance

9、）2.2 聚類創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章明式距離也被稱作閔氏距離，可以理解為N維空間的距離，是歐式距離的擴(kuò)展，兩個(gè)n維變量 與 間的明氏距離定義為： 其中p是一個(gè)變參數(shù)。根據(jù)變參數(shù)的不同，明氏距離可以表示一類的距離：（1）當(dāng)時(shí)，明氏距離即為曼哈頓距離。（2）當(dāng)時(shí)，明氏距離即為歐式距離。（3）當(dāng)時(shí)，明式距離即為切比雪夫距離。3. 明氏距離（Minkowski Distance）2.2 聚類創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章余弦距離，也稱為余弦相似度，是用向量空間中兩個(gè)向量夾角的余弦值作為衡量?jī)蓚€(gè)個(gè)體間差異的大小的度量。對(duì)于二維空間，其定義為： 假設(shè)向量a、b的坐標(biāo)分別為 、 。則：設(shè)向量 ，

10、 ，推廣到多維： 余弦距離通過測(cè)量?jī)蓚€(gè)向量?jī)?nèi)積空間夾角的余弦值來度量它們的相似性。余弦值的范圍在-1，1之間，值越趨近于1，代表兩個(gè)向量的方向越接近，越相似；越趨近于-1，他們的方向越相反，越不相似；越趨近于0，表示兩個(gè)向量近乎于正交。余弦距離可以用在任何維度的向量比較中，在高維正空間中的采用較多。4. 余弦距離（Cosine Similarity）2.2 聚類創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章2.2聚類2.2.3 常用聚類算法 常用的幾種聚類算法： K近鄰算法（KNN） K均值聚類（K-means） K中心點(diǎn)聚類（K-mediods） K近鄰算法是一種常見的有監(jiān)督的聚類算法，也是非參數(shù)分類的重

11、要方法之一。K近鄰的優(yōu)點(diǎn)在于算法原理比較簡(jiǎn)單，容易理解和實(shí)現(xiàn)，不需要先驗(yàn)知識(shí)等。缺點(diǎn)在于計(jì)算量較大，在處理孤立點(diǎn)或噪聲方面精度較低。 K中心點(diǎn)聚類算法是對(duì)K均值聚類的改進(jìn)，屬于基于劃分方法的聚類。與K均值聚類算法相比，優(yōu)點(diǎn)是減輕了對(duì)孤立點(diǎn)的敏感性，提高了聚類結(jié)果的準(zhǔn)確率。缺點(diǎn)是算法的復(fù)雜性比K均值聚類算法高。K中心聚類算法與K均值聚類算法最大的區(qū)別在于選擇將簇內(nèi)離平均值最近的對(duì)象作為該簇的中心，而不是將簇內(nèi)各對(duì)象的平均值作為簇的中心。 K均值聚類是劃分方法中經(jīng)典的聚類算法之一。優(yōu)點(diǎn)是算法簡(jiǎn)單，聚類效果較好，效率較高，對(duì)于處理大數(shù)據(jù)集有較好的可伸縮性。缺點(diǎn)是K值需要事先指定，受孤立點(diǎn)或噪聲的影響

12、較大，而且由于算法本身是迭代的，最終得到的結(jié)果有可能是局部最優(yōu)而不是全局最優(yōu)。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章1. K近鄰算法基本思想2.2 聚類 K近鄰算法的基本思想是針對(duì)測(cè)試集中的一個(gè)樣本點(diǎn)，在已經(jīng)學(xué)習(xí)并且完成分類的樣本空間中找到k個(gè)距離最近的樣本點(diǎn)，距離的計(jì)算通常采用歐氏距離或明式距離。如果找到的k個(gè)樣本點(diǎn)大多屬于某一個(gè)類別，則可以判定該樣本也屬于這個(gè)類別。 K近鄰算法（KNN）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章K近鄰算法的實(shí)現(xiàn)主要有以下3個(gè)要素：2.2 聚類1）數(shù)據(jù)特征的量化。如果數(shù)據(jù)特征中存在非數(shù)值類型，則需要運(yùn)用一定的手段量化成數(shù)值。若樣本中存在顏色這一特征屬性，可將顏色轉(zhuǎn)化成灰度值

13、來計(jì)算距離；或?yàn)榱吮ＷC參數(shù)取值較大時(shí)的影響力覆蓋參數(shù)取值較小時(shí)的影響力，通常需要對(duì)樣本的特征數(shù)值進(jìn)行歸一化處理。2）樣本間距離計(jì)算公式的選擇。常見的距離計(jì)算公式有歐氏距離、曼哈頓距離、明式距離、余弦距離等。不同情況下對(duì)公式的選擇不同，如：樣本變量為連續(xù)型時(shí)，通常采用歐氏距離；樣本變量為非連續(xù)型時(shí)，通常采用明式距離。3）K值的選擇。K為自定義的常數(shù)，K值的選擇對(duì)聚類的結(jié)果有很大的影響。通常采用交叉驗(yàn)證法確定K的取值，且K的取值一般小于訓(xùn)練樣本數(shù)的平方根。 K近鄰算法（KNN）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2. K近鄰算法過程2.2 聚類K近鄰具體描述如下：1）構(gòu)建訓(xùn)練集和測(cè)試集，使訓(xùn)練集按照已

14、有的標(biāo)準(zhǔn)分成離散型數(shù)值類或連續(xù)型數(shù)值類。2）根據(jù)樣本集為離散型或連續(xù)型選擇適當(dāng)?shù)木嚯x計(jì)算公式，計(jì)算測(cè)試集中的數(shù)據(jù)與各個(gè)訓(xùn)練集數(shù)據(jù)之間的距離，并排序。3）利用交叉驗(yàn)證法確定K的取值，并選擇距離最小的K個(gè)點(diǎn)。4）確定K個(gè)點(diǎn)所在類別的出現(xiàn)頻率，選擇出現(xiàn)頻率最高的類別作為測(cè)試集的預(yù)測(cè)類。 K近鄰算法（KNN）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章1. K均值算法基本思想2.2 聚類K均值算法的基本思想是將n個(gè)樣本點(diǎn)劃分或聚類成K個(gè)簇，使得簇內(nèi)具有較高的相似度，而簇間的相似度較低。首先確定所要聚類的最終數(shù)目K，并從樣本中隨機(jī)選擇K個(gè)樣本作為中心；其次將集合中每個(gè)數(shù)據(jù)點(diǎn)被劃分到與其距離最近的簇中心所在的類簇之中

15、，形成K個(gè)聚類的初始分布；然后對(duì)分配完的每一個(gè)類簇內(nèi)對(duì)象計(jì)算平均值，重新確定新的簇中心，繼續(xù)進(jìn)行數(shù)據(jù)分配過程；迭代執(zhí)行若干次，若簇中心不再發(fā)生變化，則完成了將數(shù)據(jù)對(duì)象完全分配至所屬的類簇中，且聚類準(zhǔn)則函數(shù)收斂；否則繼續(xù)執(zhí)行迭代過程，直至聚類準(zhǔn)則函數(shù)收斂。 K均值聚類（K-means）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2. K均值算法過程2.2 聚類K均值算法具體描述如下：假設(shè)給定的n個(gè)樣本是 ，每個(gè) ，其中樣本間的距離選擇歐氏距離。輸入：n個(gè)樣本和簇的數(shù)目K；輸出：K個(gè)簇，且平方誤差準(zhǔn)則最小。具體步驟：（1）確定所要聚類的最終數(shù)目K，并從樣本中隨機(jī)選擇K個(gè)樣本作為中心，即 。 K均值聚類（K-m

16、eans）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（2） 重復(fù)以下過程，直至誤差平方和準(zhǔn)則函數(shù)E收斂至某個(gè)固定值。2.2 聚類對(duì)每個(gè)樣本i，計(jì)算并確定其應(yīng)屬類別： 對(duì)于每一個(gè)類j，重新計(jì)算類的簇中心： 計(jì)算E，并判斷其是否收斂于某個(gè)固定的值。其中K為確定的值， 代表樣本i與K個(gè)類中距離最近的類，取值為 ，簇中心 代表對(duì)屬于同一個(gè)類的樣本中心點(diǎn)的預(yù)測(cè)。聚類準(zhǔn)則函數(shù)用于判斷聚類質(zhì)量的高低，一般采用誤差平方和準(zhǔn)則函數(shù)E的值變化情況判斷是否繼續(xù)進(jìn)行迭代過程，E的值在每次迭代過程中逐漸減小，最終收斂至一個(gè)固定的值，則迭代過程結(jié)束，否則繼續(xù)執(zhí)行迭代過程，直至E收斂。誤差平方和準(zhǔn)則函數(shù)E定義如下： 其中，E是所有樣

17、本點(diǎn)的平方誤差的總和，p是某一樣本點(diǎn)，mi是簇Ci的平均值。 K均值聚類（K-means）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章1. K中心點(diǎn)算法基本思想2.2 聚類K中心算法的基本思想是首先確定所要聚類的最終數(shù)目K，并從樣本中隨機(jī)選擇K個(gè)樣本作為中心；其次將集合中每個(gè)數(shù)據(jù)點(diǎn)被劃分到與其距離最近的簇中心所在的類簇之中，形成K個(gè)聚類的初始分布；反復(fù)地利用各簇中的非中心點(diǎn)樣本來替代中心點(diǎn)樣本，并計(jì)算各簇中各中心點(diǎn)樣本與非中心點(diǎn)樣本的距離之和；迭代執(zhí)行若干次，尋找最小距離之和，通過不斷更新各距離值來不斷調(diào)整聚類的結(jié)果。 K中心點(diǎn)聚類（K-mediods）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2. K中心點(diǎn)算法過

18、程2.2 聚類K中心點(diǎn)算法具體描述如下：假設(shè)給定的n個(gè)樣本是，每個(gè)，其中樣本間的距離選擇歐氏距離。輸入：n個(gè)樣本和簇的數(shù)目K；輸出：K個(gè)簇。 K中心點(diǎn)聚類（K-mediods）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.2 聚類具體步驟：（1）確定所要聚類的最終數(shù)目K，并從樣本中隨機(jī)選擇K個(gè)樣本作為中心，即 。（2）對(duì)每個(gè)樣本p，計(jì)算并確定其應(yīng)屬類別，使得其歐氏距離M最小。 （3）調(diào)整聚類中心，隨機(jī)選取一個(gè)非簇中心樣本 代替 ，重新分配所有剩余樣本p，使得 （4）若 ，則 = ，否則本次迭代中 不發(fā)生變化。（5）重復(fù)執(zhí)行以上步驟，直到步驟（3）中不再成立，否則繼續(xù)迭代執(zhí)行（2）。 K中心點(diǎn)聚類（K-m

19、ediods）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.3.1 簡(jiǎn)介遺傳算法（Genetic Algorithm）也稱為進(jìn)化算法，是Michigan大學(xué)的Holland教授受達(dá)爾文的進(jìn)化論的啟發(fā)，借鑒生物進(jìn)化過程，于1975年提出的一種隨機(jī)啟發(fā)式搜索算法。 2.3 遺傳算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.3.2基本原理遺傳算法的基本思想是將問題域中的萬能解作為個(gè)體，反復(fù)對(duì)群體進(jìn)行交叉、變異和選擇操作，通過比較每個(gè)個(gè)體的適應(yīng)度值，淘汰差的個(gè)體，最終求得最優(yōu)解或滿意解。遺傳算法具體步驟如下：（1）初始化群體；（2）計(jì)算群體上每個(gè)個(gè)體的適應(yīng)度值；（3）按由個(gè)體適應(yīng)度值所決定的某個(gè)規(guī)則選擇將進(jìn)入下一代的

20、個(gè)體；（4）按概率參數(shù)PXOVER進(jìn)行交叉操作；（5）按概率參數(shù)PMUTATION進(jìn)行突變操作；（6）沒有滿足某種停止條件，則轉(zhuǎn)第(2)步，否則進(jìn)入(7)；（7）輸出種群中適應(yīng)度值最優(yōu)的個(gè)體作為問題的滿意解或最優(yōu)解。程序的停止條件最簡(jiǎn)單的有如下兩種：完成了預(yù)先給定的進(jìn)化代數(shù)則停止；種群中的最優(yōu)個(gè)體在連續(xù)若干代沒有改進(jìn)或平均適應(yīng)度在連續(xù)若干代基本沒有改進(jìn)時(shí)停止。2.3 遺傳算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章圖2-1遺傳算法流程圖2.3 遺傳算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章遺傳算法的實(shí)現(xiàn)有6個(gè)主要因素：參數(shù)的編碼、初始種群的設(shè)定、適應(yīng)度函數(shù)的設(shè)計(jì)、遺傳操作、算法控制參數(shù)的設(shè)定和約束條件的處理

21、。（1）編碼與解碼編碼是將一個(gè)問題的可行解從其解空間轉(zhuǎn)換到遺傳算法的搜索空間的轉(zhuǎn)化方法。主要的編碼方法有：二進(jìn)制編碼、浮點(diǎn)數(shù)編碼、格雷編碼及多參數(shù)編碼等。估計(jì)編碼的三個(gè)準(zhǔn)則是完備性、健全性和非冗余性。解碼又稱為譯碼，是由遺傳算法解空間向問題空間的轉(zhuǎn)換。（2）選擇選擇是在群體中選擇出生命力較強(qiáng)的個(gè)體產(chǎn)生新的群體的過程，目的是使得群體中個(gè)體的適應(yīng)度接近最優(yōu)解。常見的選擇算子有隨機(jī)競(jìng)爭(zhēng)選擇、輪盤賭選擇、最佳保留選擇、確定式選擇、期望值選擇、均勻排序等。（3）交叉交叉是按某種方式對(duì)兩個(gè)相互配對(duì)的染色體進(jìn)行相互交換部分基因的操作，從而形成兩個(gè)新的個(gè)體。常見的適用于二進(jìn)制編碼與浮點(diǎn)數(shù)編碼的交叉算子有：兩點(diǎn)

22、交叉、多點(diǎn)交叉、算子交叉以及均勻交叉。2.3 遺傳算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（4）變異變異是指將個(gè)體染色體編碼串中的某些基因位上的基因值用該基因位上的其它等位基因來替換，從而形成新的個(gè)體。常見的適用于二進(jìn)制編碼與浮點(diǎn)數(shù)編碼的變異算子有基本位變異、均勻變異、邊界變異、非均勻變異以及高斯近似變異。（5）適應(yīng)度函數(shù)適應(yīng)度函數(shù)又稱為評(píng)價(jià)函數(shù)，是根據(jù)目標(biāo)函數(shù)確定的、用于區(qū)分群體中個(gè)體好壞的標(biāo)準(zhǔn)。目標(biāo)函數(shù)可正可負(fù)，而適應(yīng)度函數(shù)是非負(fù)的，因此需要在目標(biāo)函數(shù)與適應(yīng)度函數(shù)之間進(jìn)行適當(dāng)?shù)淖儞Q。設(shè)計(jì)適應(yīng)度函數(shù)時(shí)主要遵照以下四條標(biāo)準(zhǔn)：1）函數(shù)滿足連續(xù)、非負(fù)、單值及最大化；2）合理性、一致性；3）計(jì)算量?。?

23、）通用性強(qiáng)。評(píng)價(jià)個(gè)體適應(yīng)度的一般過程是：1）對(duì)個(gè)體編碼串進(jìn)行解碼處理，得到個(gè)體的表現(xiàn)型；2）通過個(gè)體的表現(xiàn)型計(jì)算對(duì)應(yīng)的個(gè)體目標(biāo)函數(shù)值；3）根據(jù)最優(yōu)化問題的類型，將目標(biāo)函數(shù)值按照一定的轉(zhuǎn)換規(guī)則計(jì)算出個(gè)體的適應(yīng)度。2.3 遺傳算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（6）約束條件處理約束條件處理主要有搜索空間限定法和可行解變換法。搜索空間限定法是通過對(duì)遺傳算法的搜索空間大小加以限制，在搜索空間中表示一個(gè)個(gè)體的點(diǎn)與解空間中表示一個(gè)可行解的點(diǎn)間建立一一對(duì)應(yīng)的關(guān)系。可行解變換法是在個(gè)體基因型向表現(xiàn)型變換的過程中，增加使其滿足約束條件的處理過程，也就是說，尋找個(gè)體基因型與表現(xiàn)型多對(duì)一的變換關(guān)系，擴(kuò)大搜索空間，

24、使得進(jìn)化過程中所產(chǎn)生的個(gè)體可以通過這種變換轉(zhuǎn)化成解空間中滿足約束條件的一個(gè)可行解。2.3 遺傳算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.3.3 特點(diǎn)與應(yīng)用遺傳算法的特點(diǎn)（1）以決策變量的編碼作為運(yùn)算對(duì)象。借鑒染色體和基因的概念，模仿自然界生物的遺傳和進(jìn)化機(jī)理。（2）使用概率搜索技術(shù)，而不是確定性規(guī)則。（3）直接以適應(yīng)度作為搜索信息，無需借助導(dǎo)數(shù)等其它輔助信息。（4）使用多個(gè)點(diǎn)的搜索信息，具有隱含并行性。2.3 遺傳算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章遺傳算法的應(yīng)用2.3 遺傳算法遺傳算法不依賴于問題的具體領(lǐng)域，對(duì)問題的種類有很強(qiáng)的魯棒性，所以廣泛應(yīng)用于函數(shù)優(yōu)化、組合優(yōu)化，例如：遺傳算法已經(jīng)在求解

25、旅行商問題、背包問題、裝箱問題、圖形劃分問題等方面得到成功的應(yīng)用。此外，遺傳算法在生產(chǎn)調(diào)度問題、自動(dòng)控制、機(jī)器人學(xué)、圖像處理等方面獲得了廣泛的運(yùn)用。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.4.1 簡(jiǎn)介 2.4 蟻群算法 蟻群算法(Ant Colony Optimization，ACO)，最早是由Marco Dorigo等人于1991年提出的，是在圖中尋找優(yōu)化路徑的概率型算法。基本思想來自螞蟻在尋找食物過程中發(fā)現(xiàn)最短路徑的行為。蟻群在尋找食物時(shí)，通過分泌信息素交流覓食信息，從而能在沒有任何提示的情況下找到從食物源到巢穴的最短路徑，并在周圍環(huán)境發(fā)生變化后，自適應(yīng)地搜索新的最佳路徑。蟻群算法的優(yōu)點(diǎn)是算法

26、簡(jiǎn)單，實(shí)現(xiàn)容易。 創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.4.2 基本原理 2.4 蟻群算法 首先介紹蟻群算法中的參數(shù)：設(shè)蟻群中所有螞蟻的數(shù)量為m，所有城市之間的信息素為矩陣pheromon，最短路徑為bestLength，最佳路徑為bestTour。每只螞蟻都有自己的內(nèi)存，內(nèi)存中用一個(gè)禁忌表（Tabu）來存儲(chǔ)該螞蟻已經(jīng)訪問過的城市，表示其在以后的搜索中將不能訪問這些城市，用一個(gè)允許訪問的城市表（Allowed）來存儲(chǔ)該螞蟻還可以訪問的城市，用一個(gè)矩陣（Delta）來存儲(chǔ)它在一個(gè)循環(huán)（或者迭代）中給所經(jīng)過的路徑釋放的信息素；此外還有一些數(shù)據(jù)，運(yùn)行次數(shù)MAX_GEN次，運(yùn)行時(shí)間t，控制參數(shù)，螞蟻行走

27、完全程的總成本或距離（tourLength）等。 創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章蟻群算法計(jì)算過程如下：圖2-2蟻群算法流程圖2.4 蟻群算法（1）初始化（2）選擇節(jié)點(diǎn)（3）更新信息素矩陣（4）檢查終止條件（5）輸出最優(yōu)值創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（1）初始化t=0時(shí)，對(duì)所有參數(shù)進(jìn)行初始化。設(shè)置bestLength為正無窮，bestTour為空，將所有螞蟻的Delt矩陣所有元素初始化為0，Tabu表清空，向Allowed表中加入所有的城市節(jié)點(diǎn)，用隨機(jī)選擇或人工指定的方法它們的起始位置，在Tabu表中加入起始節(jié)點(diǎn)，Allowed表中去掉該起始節(jié)點(diǎn)。2.4 蟻群算法創(chuàng)新與貢獻(xiàn)研究意義選題背景

28、第二章（2）選擇節(jié)點(diǎn)為每只螞蟻選擇下一個(gè)節(jié)點(diǎn)，該節(jié)點(diǎn)只能從Allowed表中以通過公式（2-1）計(jì)算得到的概率搜索到，每搜到一個(gè)節(jié)點(diǎn)，就將該節(jié)點(diǎn)加入到Tabu表中，并且從Allowed表中刪除該節(jié)點(diǎn)。重復(fù)n-1次該過程，直到所有的城市都遍歷過一次。遍歷完所有節(jié)點(diǎn)后，將起始節(jié)點(diǎn)加入到Tabu表中。此時(shí)Tabu表元素?cái)?shù)量為n+1（n為城市數(shù)量），Allowed表元素?cái)?shù)量為0。接下來按照公式（2-2）計(jì)算每個(gè)螞蟻的Delta矩陣值。最后計(jì)算最佳路徑，比較每個(gè)螞蟻的路徑成本，然后與bestLength比較，若它的路徑成本比bestLength小，則將該值賦予bestLength，并且將其Tabu賦予B

29、estTour并將該城市節(jié)點(diǎn)加到bestTour中。2.4 蟻群算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（2）選擇節(jié)點(diǎn)其中k表示第k個(gè)螞蟻， 表示選擇城市j的概率， 表示城市i，j在第t時(shí)刻的信息素濃度， 表示從城市i到城市j的可見度， ， 表示城市i，j之間的成本。 表示螞蟻k在城市i與j之間留下的信息素。 表示螞蟻k完成一個(gè)循環(huán)所經(jīng)過路徑的總成本，即tourLength， ， ，Q均為控制參數(shù)。（2-1）（2-2）2.4 蟻群算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（3）更新信息素矩陣令t= t+n，按照公式（2-3）更新信息素矩陣phermone。其中 為t+n時(shí)刻城市i與j之間的信息素濃度，

30、為控制參數(shù)， 為城市i與j之間信息素經(jīng)過一個(gè)迭代后的增量。并且有 其中 由公式計(jì)算得到。（2-3）2.4 蟻群算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（4）檢查終止條件如果達(dá)到最大迭代次數(shù)MAX_GEN，則算法終止，轉(zhuǎn)到第（5）步；否則，重新初始化所有螞蟻的Delt矩陣中所有元素為0，Tabu表清空，Allowed表中加入所有的城市節(jié)點(diǎn)，隨機(jī)選擇或人工指定它們的起始位置，在Tabu表中加入起始節(jié)點(diǎn)，Allowed表中去掉該起始節(jié)點(diǎn)，重復(fù)執(zhí)行（2）（3）（4）步。（5）輸出最優(yōu)值2.4 蟻群算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.4.3 特點(diǎn)與應(yīng)用 2.4 蟻群算法1. 特點(diǎn)（1）自組織：蟻群算法的

31、組織指令來自于系統(tǒng)內(nèi)部的，在獲得空間、時(shí)間或者功能結(jié)構(gòu)過程中，沒有受到外界的影響，即蟻群算法能夠在沒有外界環(huán)境的影響下使系統(tǒng)的熵增加，具有良好的自組織能力。（2）并行化：每只螞蟻個(gè)體搜索最優(yōu)解的過程彼此獨(dú)立，僅通過信息激素進(jìn)行通信，所以蟻群算法可以看作一個(gè)分布式的多agent系統(tǒng)，在問題空間中多個(gè)不同的點(diǎn)位同時(shí)進(jìn)行解的搜索，不僅降低了算法的時(shí)間復(fù)雜性，還可以使算法具有一定的全局搜索能力。（3）正反饋：螞蟻能夠找到最短路徑的過程依賴于路徑上堆積的信息激素，信息激素堆積是一個(gè)正反饋的過程，其反饋方式是在較優(yōu)解的路徑上留下更多的信息激素，而信息激素越多又會(huì)吸引更多的螞蟻，正反饋的過程又引導(dǎo)整個(gè)系統(tǒng)向

32、最優(yōu)解的方向進(jìn)化。（4）魯棒性：蟻群算法對(duì)初始路線要求不高，即最終結(jié)果不依賴初始路線的選擇，在搜索過程中也不需要人為調(diào)整。 創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.4.3 特點(diǎn)與應(yīng)用 2.4 蟻群算法1. 應(yīng)用近年來隨著對(duì)蟻群算法理論與實(shí)際應(yīng)用研究的不斷深入，蟻群算法被應(yīng)用于求解經(jīng)典的旅行商問題及其他領(lǐng)域的優(yōu)化問題和邊界條件優(yōu)化問題，如生產(chǎn)調(diào)度問題、圖像處理、車輛路徑問題及機(jī)器人路徑規(guī)劃問題等。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.5.1 簡(jiǎn)介2.5 粒子群算法粒子群算法（Particle Swarm Optimization，PSO）是一種由Kennedy等學(xué)者從鳥類尋找食物的過程中得到啟發(fā)，于1

33、995年提出的新型群體智能優(yōu)化算法。粒子群算法同遺傳算法以及蟻群算法等群體智能算法類似，都是受生物群體啟發(fā)的優(yōu)化算法。其基本思想來自鳥群在覓食過程中發(fā)現(xiàn)最優(yōu)位置的行為。鳥群在尋找食源的過程中，通過不斷進(jìn)行最優(yōu)位置信息的交流，每只鳥根據(jù)最優(yōu)位置調(diào)整自己的飛行速度和飛行方向，最終找到食源。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.5.2 基本原理 2.5 粒子群算法假設(shè)一個(gè)n維的目標(biāo)搜索空間中含有m個(gè)粒子，每個(gè)粒子的位置對(duì)應(yīng)一個(gè)n維向量 ，第i個(gè)粒子的局部最優(yōu)值為 ，當(dāng)前種群的最優(yōu)位置為 ，每個(gè)粒子所對(duì)應(yīng)的運(yùn)動(dòng)速度也是一個(gè)n維的向量 。在粒子的運(yùn)動(dòng)過程中，粒子群中的每一個(gè)粒子會(huì)根據(jù)公式（2-4）和（2-

34、5）來更新自己的運(yùn)動(dòng)速度，根據(jù)公式（2-6）更新自己的位置。（2-4）（2-5）（2-6）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.5.2 基本原理2.5 粒子群算法其中 ， ，k為粒子群迭代的次數(shù)（ ）， 為隨機(jī)數(shù)函數(shù)，在0，1之間隨機(jī)選取。 為非負(fù)數(shù)， 表示粒子自身的認(rèn)知系數(shù)， 表示粒子的社會(huì)認(rèn)知系數(shù)。 為最大的運(yùn)動(dòng)速度， 為最小的運(yùn)動(dòng)速度，兩者的值通常由用戶根據(jù)經(jīng)驗(yàn)來定義，用來對(duì)運(yùn)動(dòng)速度進(jìn)行調(diào)整。對(duì)于公式（2-7）來說 代表前次運(yùn)動(dòng)的速度，它使得粒子在全部的搜素空間中有向各個(gè)方向伸張的趨勢(shì)， 表示自身的認(rèn)知過程，它通過粒子自身的運(yùn)動(dòng)來獲得認(rèn)知能力。 表示學(xué)習(xí)其他粒子經(jīng)驗(yàn)的過程，該過程是粒子群中

35、每個(gè)粒子相互分享學(xué)習(xí)經(jīng)驗(yàn)的過程。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.5.2 基本原理2.5 粒子群算法粒子群算法的實(shí)現(xiàn)步驟如下：(1) 對(duì)粒子群的每個(gè)粒子的位置和速度進(jìn)行隨機(jī)的初始化；(2) 根據(jù)定義的適應(yīng)度函數(shù)，計(jì)算每個(gè)粒子的適應(yīng)度值；(3) 將粒子的適應(yīng)度值與該粒子局部最優(yōu)位置的適應(yīng)度值相比較，求粒子的局部最優(yōu)解；(4) 將全局最優(yōu)位置的適應(yīng)度值與每個(gè)粒子的局部位置的適應(yīng)度值相比較，求粒子群的全局最優(yōu)解；(5) 根據(jù)公式（2-4）和（2-5）計(jì)算每個(gè)粒子的運(yùn)動(dòng)速度，根據(jù)公式（2-6）計(jì)算每個(gè)粒子的位置；(6) 判斷終止條件是否滿足，如果不滿足，返回第（2）步，否則算法結(jié)束。創(chuàng)新與貢獻(xiàn)研究意

36、義選題背景第二章2.5.3 特點(diǎn)與應(yīng)用2.5 粒子群算法1. 特點(diǎn)（1）速度快：粒子群算法沒有交叉和變異運(yùn)算，依靠粒子速度完成搜索，并且在迭代進(jìn)程中只有最優(yōu)的粒子把信息傳遞給其他粒子，搜索速度快。（2）記憶性：粒子群體獲得的歷史最好位置可以被記錄并傳遞給其它粒子的。（3）易于實(shí)現(xiàn)：粒子群算法需要調(diào)整的參數(shù)較少，易于實(shí)現(xiàn)，結(jié)構(gòu)簡(jiǎn)單，它采用實(shí)數(shù)編碼，直接由問題的解決定，問題解的變量數(shù)直接作為粒子的維度數(shù)。2. 應(yīng)用由于粒子群算法實(shí)現(xiàn)簡(jiǎn)單，易于理解，且能夠優(yōu)化一些復(fù)雜的問題，常被用于神經(jīng)網(wǎng)絡(luò)的優(yōu)化、函數(shù)參數(shù)的優(yōu)化、電力系統(tǒng)的優(yōu)化等領(lǐng)域，并且有著較好的效果。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.1

37、簡(jiǎn)介2.6 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)(NN)或連接模型（Connectionist Model）。智庫(kù)百科中人工神經(jīng)網(wǎng)絡(luò)的定義是：“人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，它通過對(duì)連續(xù)或斷續(xù)的輸入作狀態(tài)相應(yīng)而進(jìn)行信息處理”。因此，人工神經(jīng)網(wǎng)絡(luò)是基于神經(jīng)網(wǎng)絡(luò)的基本原理，在理解和抽象人腦和外界刺激響應(yīng)機(jī)制的基礎(chǔ)上，以網(wǎng)絡(luò)拓?fù)渲R(shí)為理論基礎(chǔ)，模擬人腦神經(jīng)系統(tǒng)實(shí)現(xiàn)復(fù)雜信息處理機(jī)制的數(shù)學(xué)模型，具有自學(xué)能力、聯(lián)想存儲(chǔ)能力以及高速尋優(yōu)能力。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.1 簡(jiǎn)介2.6 人工神經(jīng)網(wǎng)絡(luò)1. 人工

38、神經(jīng)網(wǎng)絡(luò)發(fā)展（1）初始階段啟蒙時(shí)期（2）第二階段低潮時(shí)期（3）第三階段復(fù)興時(shí)期（發(fā)展期）（4）第四階段深度學(xué)習(xí)創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.1 簡(jiǎn)介2.6 人工神經(jīng)網(wǎng)絡(luò)（1）初始階段啟蒙時(shí)期啟蒙時(shí)期也稱為形成時(shí)期，早在20世紀(jì)50年代國(guó)外的學(xué)者就開始了對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究工作。1943年，美國(guó)生理學(xué)家Mcculloch和數(shù)學(xué)家Pitts發(fā)表文章，提出了第一個(gè)神經(jīng)元模型（M-P模型），開啟了對(duì)人工神經(jīng)網(wǎng)絡(luò)研究的大門。1951年，心理學(xué)家Donala O.Hebb提出了連接權(quán)值強(qiáng)化的Hebb法則，為構(gòu)造有學(xué)習(xí)功能的的神經(jīng)網(wǎng)絡(luò)模型奠定了基礎(chǔ)。1960年，Widrow和Hoff提出了一種連續(xù)

39、取值的自適應(yīng)線性神經(jīng)元網(wǎng)絡(luò)模型Adaline，提高了分段線性網(wǎng)絡(luò)的訓(xùn)練速度及精度。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.1 簡(jiǎn)介2.6 人工神經(jīng)網(wǎng)絡(luò)（2）第二階段低潮時(shí)期1969年，Minsky和Papert在Perceptrons一書，從數(shù)學(xué)的角度證明了簡(jiǎn)單的線性感知器的功能是有限的，不能有效地應(yīng)用于多層網(wǎng)絡(luò)，由此對(duì)神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入10年左右的低潮期。盡管在低谷時(shí)期，也產(chǎn)生了許多重要的研究成果，如1972年芬蘭的Kohonen教授提出的自組織映射（SOM）理論，1980年福島邦彥提出的“新認(rèn)知機(jī)”模型等，為日后神經(jīng)網(wǎng)絡(luò)的理論研究奠定了重要的基礎(chǔ)。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.1

40、 簡(jiǎn)介2.6 人工神經(jīng)網(wǎng)絡(luò)（3）第三階段復(fù)興時(shí)期（發(fā)展期）1982年，美國(guó)物理學(xué)家Hopfield提出了離散Hopfield神經(jīng)網(wǎng)絡(luò)，并證明了在一定條件下，網(wǎng)絡(luò)可以達(dá)到穩(wěn)定的狀態(tài)，再次掀起了神經(jīng)網(wǎng)絡(luò)研究的一個(gè)熱潮。1983年Kirkpatrick等人認(rèn)識(shí)到可將模擬退火算法運(yùn)用到NP完全組合優(yōu)化問題的求解過程中。Hinton與年輕學(xué)者Sejnowski等于1984年合作提出了大規(guī)模并行網(wǎng)絡(luò)學(xué)習(xí)機(jī)（后來被稱為Boltzmann機(jī)），同時(shí)提出了隱單元的概念。1986年，D.E.Ru melhart在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，提出了多層神經(jīng)網(wǎng)絡(luò)權(quán)值修正的反向傳播學(xué)習(xí)算法BP算法（Back-Propag

41、ation），解決了多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題，證明了多層神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)能力，可以完成許多學(xué)習(xí)任務(wù)，解決許多實(shí)際問題。1988年，Broomhead和Lowe將徑向基函數(shù)(Radial Basis Function，RBF)運(yùn)用到人工神經(jīng)網(wǎng)絡(luò)（ANN）的設(shè)計(jì)中，將人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與數(shù)值分析以及線性適應(yīng)濾波聯(lián)系起來。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.1 簡(jiǎn)介2.6 人工神經(jīng)網(wǎng)絡(luò)（4）第四階段深度學(xué)習(xí)2006年，Hinton提出的深度學(xué)習(xí)，是機(jī)器學(xué)習(xí)的一個(gè)新方法，也是神經(jīng)網(wǎng)絡(luò)的最新發(fā)展。深度學(xué)習(xí)算法打破了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)對(duì)層數(shù)的限制，可根據(jù)設(shè)計(jì)者需要選擇網(wǎng)絡(luò)層數(shù)，構(gòu)建含多隱層的機(jī)器學(xué)習(xí)

42、框架模型，對(duì)大規(guī)模數(shù)據(jù)進(jìn)行訓(xùn)練，從而得到更有代表性的特征信息。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.1 簡(jiǎn)介2.6 人工神經(jīng)網(wǎng)絡(luò)1. 人工神經(jīng)網(wǎng)絡(luò)研究?jī)?nèi)容神經(jīng)網(wǎng)絡(luò)的研究可分為理論研究和應(yīng)用研究?jī)蓚€(gè)方面。理論研究主要包括：（1）以神經(jīng)生理與認(rèn)知科學(xué)為基礎(chǔ)，對(duì)人類思維以及智能機(jī)理進(jìn)行研究。（2）借鑒神經(jīng)基礎(chǔ)理論的研究成果，運(yùn)用數(shù)理方法，深入研究網(wǎng)絡(luò)算法，提高穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性等方面的性能，發(fā)展如神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)、非線性神經(jīng)場(chǎng)等新的網(wǎng)絡(luò)數(shù)理理論，并且嘗試構(gòu)建功能上更加完善、性能上更具優(yōu)越性的神經(jīng)網(wǎng)絡(luò)模型。應(yīng)用研究主要包括：（1）對(duì)神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)和軟件模擬的研究。（2）神經(jīng)網(wǎng)絡(luò)在模式識(shí)

43、別、信號(hào)處理、專家系統(tǒng)、優(yōu)化組合、知識(shí)工程和機(jī)器人控制等領(lǐng)域的應(yīng)用研究。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)1. 生物神經(jīng)元 在介紹人工神經(jīng)元之前，首先以人腦神經(jīng)元為例介紹生物神經(jīng)元的結(jié)構(gòu)及特點(diǎn)。人腦中大約有1000億個(gè)神經(jīng)元。神經(jīng)元主要由樹突、細(xì)胞體、軸突和突觸組成，基本結(jié)構(gòu)如圖所示。樹突的作用是接受信息，細(xì)胞體的作用是對(duì)接受的信息進(jìn)行處理，軸突的作用是發(fā)出信息。一個(gè)神經(jīng)元的軸突末端與另外一個(gè)神經(jīng)元的樹突緊密接觸形成的部分構(gòu)成突觸，用于保證信息的單向傳遞。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)1. 生物神經(jīng)元 創(chuàng)新

44、與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)2. 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 人工神經(jīng)元是受人腦神經(jīng)元結(jié)構(gòu)的啟發(fā)而提出的，結(jié)構(gòu)如下圖所示，一個(gè)神經(jīng)元結(jié)構(gòu)由輸入向量、激活函數(shù)及輸出向量三部分組成。輸入向量 與對(duì)應(yīng)的權(quán)值向量 分別相乘再取和作為輸入值 ，在激活函數(shù)的作用下輸出對(duì)應(yīng) ，其中b為激活函數(shù)的閾值。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)2. 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)3. 常見激活函數(shù)（Activation Function）神經(jīng)網(wǎng)絡(luò)由大量的神經(jīng)元連接組成，每個(gè)神經(jīng)元

45、代表一種特定的輸出函數(shù)，稱為激活函數(shù)。激活函數(shù)不是要在神經(jīng)網(wǎng)絡(luò)中發(fā)揮某種激活作用，而是通過某種函數(shù)的形式把生物神經(jīng)元中“激活的神經(jīng)元特征”保留并映射出來。激活函數(shù)具有可微性、單調(diào)性和輸出范圍有限等特點(diǎn)。常用的激活函數(shù)主要有線性函數(shù)、斜面函數(shù)、閾值函數(shù)、Sigmoid函數(shù)，雙曲正切函數(shù)以及ReLU函數(shù)。下面重點(diǎn)介紹三種常用的函數(shù)：創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)3. 常見激活函數(shù)（Activation Function）（1）Sigmoid函數(shù)Sigmoid函數(shù)又稱為S型曲線，是一種常用的非線性激活函數(shù)，數(shù)學(xué)表達(dá)式為：由圖可知，Sigmoid函數(shù)是一個(gè)

46、連續(xù)、光滑且嚴(yán)格單調(diào)的閾值函數(shù)，可將輸入的實(shí)值映射到01的范圍內(nèi)，當(dāng)輸入值趨向于負(fù)無窮時(shí)映射結(jié)果為0，當(dāng)輸入值趨向于正無窮時(shí)映射結(jié)果為1。但Sigmoid函數(shù)也存在缺點(diǎn)，具體表現(xiàn)為Sigmoid函數(shù)有易飽和性，當(dāng)輸入值非常大或非常小時(shí)，神經(jīng)元梯度幾乎接近0。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)3. 常見激活函數(shù)（Activation Function）（2）Tanh函數(shù)Tanh函數(shù)是雙曲正切函數(shù)，是一種常用的非線性激活函數(shù)，數(shù)學(xué)表達(dá)式為：由圖可知，Tanh函數(shù)和Sigmoid函數(shù)類似，是Sigmoid函數(shù)的變形，不同的是Tanh函數(shù)把實(shí)值的輸入映射到的范

47、圍，基本是0均值。Tanh函數(shù)解決了上述Sigmoid函數(shù)的第二個(gè)缺點(diǎn)，因此實(shí)際中Tanh函數(shù)比Sigmoid函數(shù)更常用。Tanh函數(shù)的缺點(diǎn)是存在梯度飽和的問題。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)3. 常見激活函數(shù)（Activation Function）（3）ReLU函數(shù)近年來，ReLU函數(shù)越來越受歡迎，數(shù)學(xué)表達(dá)式為：由圖可知，當(dāng)輸入信號(hào)小于0時(shí)，輸出為0，當(dāng)輸入信號(hào)大于0時(shí)，輸入與輸出相等。ReLU函數(shù)的優(yōu)點(diǎn)是：1）相比于Sigmoid函數(shù)和Tanh函數(shù)，收斂速度較快，且梯度不會(huì)飽和；2）計(jì)算復(fù)雜度較低，只需要一個(gè)閾值即可得到輸出。缺點(diǎn)是：當(dāng)輸入小

48、于0時(shí)，梯度為為0，會(huì)導(dǎo)致負(fù)的梯度被置零而不被激活。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)4. 結(jié)構(gòu)與類型（1）神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)目前為止，已有40多種人工神經(jīng)網(wǎng)絡(luò)模型被開發(fā)和應(yīng)用，如感知機(jī)、反向網(wǎng)絡(luò)、自組織映射、Hopfield網(wǎng)絡(luò)等。根據(jù)網(wǎng)絡(luò)中神經(jīng)元的互聯(lián)方式，可分為前饋型神經(jīng)網(wǎng)絡(luò)、反饋型神經(jīng)網(wǎng)絡(luò)、層內(nèi)互連前向網(wǎng)絡(luò)以及互聯(lián)網(wǎng)絡(luò)。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)（1）神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)1）前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示，主要包括輸入層、隱含層和輸出層。網(wǎng)絡(luò)中的神經(jīng)元分層排列，層內(nèi)神經(jīng)元無連接，層間神

49、經(jīng)元有連接，在這種網(wǎng)絡(luò)結(jié)構(gòu)下，信息由輸入單元經(jīng)過隱含層到達(dá)輸出單元，傳導(dǎo)方向始終一致，無反饋。因此前饋型神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)輸入信息是同等對(duì)待或等權(quán)處理的。典型的前饋型神經(jīng)網(wǎng)絡(luò)是BP神經(jīng)網(wǎng)絡(luò)。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)（1）神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)2）反饋型神經(jīng)網(wǎng)絡(luò)反饋型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示，由結(jié)構(gòu)圖可知，反饋型神經(jīng)網(wǎng)絡(luò)與前饋型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)大體一致，不同的是，反饋型神經(jīng)網(wǎng)絡(luò)在前饋型神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入了輸出到輸入的反饋機(jī)制，將最后一層的神經(jīng)元中自身的輸出信號(hào)作為輸入信號(hào)反饋給前層其他神經(jīng)元。典型的反饋型神經(jīng)網(wǎng)絡(luò)是Hopfield神經(jīng)網(wǎng)絡(luò)。創(chuàng)新與貢獻(xiàn)研究

50、意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)（1）神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)3）層內(nèi)互連前向網(wǎng)絡(luò)層內(nèi)互連前向網(wǎng)絡(luò)是在前饋型神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，將層內(nèi)神經(jīng)元相互連接，通過限制層內(nèi)可以同時(shí)被激活的神經(jīng)元數(shù)量，或?qū)觾?nèi)神經(jīng)元以分組的形式進(jìn)行集體激活，從而實(shí)現(xiàn)同一層神經(jīng)元之間橫向興奮或抑制的機(jī)制。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)（1）神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)4）互聯(lián)網(wǎng)絡(luò)互聯(lián)網(wǎng)絡(luò)分為全互連和局部互連兩種。全互聯(lián)網(wǎng)絡(luò)中，每個(gè)神經(jīng)元都與其他神經(jīng)元相連；局部互連網(wǎng)絡(luò)中，有些神經(jīng)元之間沒有連接關(guān)系，互連是局部的?；ヂ?lián)網(wǎng)絡(luò)的特點(diǎn)是，能夠?qū)ν鹊匚恍畔⒅g的強(qiáng)弱關(guān)系進(jìn)行

51、區(qū)分。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)5. 神經(jīng)網(wǎng)絡(luò)工作方式神經(jīng)網(wǎng)絡(luò)運(yùn)作過程分為學(xué)習(xí)和工作兩個(gè)階段。（1）神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)階段神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)階段是指通過使用學(xué)習(xí)算法來調(diào)整神經(jīng)元間的聯(lián)接權(quán)值，使得網(wǎng)絡(luò)輸出更符合實(shí)際需求的狀態(tài)。（2）神經(jīng)網(wǎng)絡(luò)的工作階段神經(jīng)網(wǎng)絡(luò)的工作階段是指在神經(jīng)元間的連接權(quán)值不變的情況下，神經(jīng)網(wǎng)絡(luò)作為分類器、預(yù)測(cè)器等被使用。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)6. 學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則就是修正權(quán)值和偏置值的過程和方法，分為有監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)和增強(qiáng)學(xué)習(xí)。常見的學(xué)習(xí)規(guī)則主要有： Hebb學(xué)習(xí)規(guī)

52、則 誤差修正型規(guī)則 Delta學(xué)習(xí)規(guī)則 競(jìng)爭(zhēng)型規(guī)則 隨機(jī)型規(guī)則等創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)6. 學(xué)習(xí)規(guī)則（1）Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則屬于無監(jiān)督學(xué)習(xí)規(guī)則，原理是當(dāng)兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)兩者間的連接值會(huì)被加強(qiáng)，否則被減弱：某一時(shí)間一個(gè)神經(jīng)元被激發(fā)，如果會(huì)同時(shí)激發(fā)另外一個(gè)神經(jīng)元，則會(huì)認(rèn)為兩個(gè)神經(jīng)元之間存在著聯(lián)系，聯(lián)系會(huì)被強(qiáng)化；反之，如果兩個(gè)神經(jīng)元總是不能夠同時(shí)被激發(fā)，則兩個(gè)神經(jīng)元之間的聯(lián)系會(huì)越來越弱。（2）誤差修正型規(guī)則誤差修正型規(guī)則是一種有監(jiān)督的學(xué)習(xí)規(guī)則，原理是根據(jù)實(shí)際輸出與期望輸出的誤差，進(jìn)行網(wǎng)絡(luò)連接權(quán)值的修正，最終網(wǎng)絡(luò)誤差小于目

53、標(biāo)函數(shù)，達(dá)到預(yù)期效果。誤差修正型規(guī)則主要包括：學(xué)習(xí)規(guī)則、感知器學(xué)習(xí)規(guī)則、BP學(xué)習(xí)規(guī)則和Widrow-Hoff學(xué)習(xí)規(guī)則等。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)6. 學(xué)習(xí)規(guī)則（3）Delta學(xué)習(xí)規(guī)則Delta學(xué)習(xí)規(guī)則是一種簡(jiǎn)單的監(jiān)督學(xué)習(xí)規(guī)則，原理是根據(jù)神經(jīng)元的實(shí)際輸出與期望輸出差別來調(diào)整連接權(quán)值：若神經(jīng)元實(shí)際輸出比期望輸出大，則減小所有輸入為正的連接權(quán)重，增大所有輸入為負(fù)的連接權(quán)重；反之，若神經(jīng)元實(shí)際輸出比期望輸出小，則增大所有輸入為正的連接權(quán)重，減小所有輸入為負(fù)的連接權(quán)重。（4）競(jìng)爭(zhēng)型規(guī)則競(jìng)爭(zhēng)型規(guī)則是一種無監(jiān)督學(xué)習(xí)算法，原理是網(wǎng)絡(luò)中沒有期望輸出，僅根據(jù)一些

54、現(xiàn)有的學(xué)習(xí)樣本進(jìn)行自組織學(xué)習(xí)，通過神經(jīng)元之間相互競(jìng)爭(zhēng)對(duì)外界刺激響應(yīng)的權(quán)利，調(diào)整網(wǎng)絡(luò)權(quán)值以適應(yīng)輸入的樣本數(shù)據(jù)。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)6. 學(xué)習(xí)規(guī)則（5）隨機(jī)型規(guī)則隨機(jī)型規(guī)則是一種有監(jiān)督學(xué)習(xí)算法，原理是將隨機(jī)思想、概率論思想及能量函數(shù)思想加入到學(xué)習(xí)的過程中，根據(jù)網(wǎng)絡(luò)輸出均方差的變化調(diào)整網(wǎng)絡(luò)中的相關(guān)參數(shù)，最終達(dá)到網(wǎng)絡(luò)目標(biāo)函數(shù)收斂的目的。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.3 BP神經(jīng)網(wǎng)絡(luò)2.6 人工神經(jīng)網(wǎng)絡(luò)1. 簡(jiǎn)介BBP（Back Propagation）神經(jīng)網(wǎng)絡(luò)由Rumelhant和Mcllelland在1986年提出的，是一種采用有監(jiān)督

55、學(xué)習(xí)方式的多層前向反饋網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)是：理論基礎(chǔ)較好，推導(dǎo)過程嚴(yán)謹(jǐn)，通用性較好。其缺點(diǎn)是：（1）算法收斂速度慢；（2）對(duì)隱節(jié)點(diǎn)個(gè)數(shù)的選擇沒有理論上的指導(dǎo)；（3）采用梯度最速下降法，訓(xùn)練過程中容易出現(xiàn)局部最優(yōu)問題，因此得到的解不一定是全局最優(yōu)解。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.3 BP神經(jīng)網(wǎng)絡(luò)2.6 人工神經(jīng)網(wǎng)絡(luò)2. 基本原理BP神經(jīng)網(wǎng)絡(luò)包括信號(hào)的正向傳播和誤差的反向傳播兩個(gè)過程，從輸入到輸出的方向計(jì)算誤差輸出，從輸出到輸入的方向調(diào)整權(quán)值和閾值。正向傳播過程：輸入信號(hào)通過隱含層，經(jīng)過非線性變換，作用于輸出節(jié)點(diǎn)，產(chǎn)生輸出信號(hào)，當(dāng)實(shí)際輸出與期望輸出不相符時(shí)，轉(zhuǎn)入誤差的反向傳播過程；

56、反向傳播過程：輸出誤差通過隱含層向輸入層逐層反傳，同時(shí)將誤差傳播到各層所有的單元，以各層的誤差信號(hào)作為調(diào)整各單元權(quán)值的依據(jù)，通過調(diào)整隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)的連接權(quán)值以及閾值和輸入節(jié)點(diǎn)與隱層節(jié)點(diǎn)的連接權(quán)值，使誤差沿梯度方向下降。經(jīng)過反復(fù)學(xué)習(xí)訓(xùn)練，直到對(duì)整個(gè)學(xué)習(xí)樣本集的誤差達(dá)到要求時(shí)，訓(xùn)練停止。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.3 BP神經(jīng)網(wǎng)絡(luò)2.6 人工神經(jīng)網(wǎng)絡(luò)3. BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)步驟主要思想是輸入學(xué)習(xí)樣本，使用反向傳播算法對(duì)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行反復(fù)的調(diào)整訓(xùn)練，使輸出向量與期望向量盡可能相等或接近，當(dāng)網(wǎng)絡(luò)輸出層的誤差在指定范圍內(nèi)時(shí)訓(xùn)練完成。具體步驟如下：（1）選擇一組學(xué)習(xí)樣本，每一個(gè)樣本由輸

57、入信息和期望的輸出結(jié)果兩部分組成。（2）從學(xué)習(xí)樣本集中取一樣本，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計(jì)算經(jīng)神經(jīng)元處理后的輸出層各節(jié)點(diǎn)的輸出。（4）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出之間的誤差，判斷誤差是否在指定范圍內(nèi)，如果在則訓(xùn)練完成，不在則執(zhí)行步驟（5）。（5）從輸出層反向計(jì)算到第一個(gè)隱層，并按照能使誤差向減小方向的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值及閾值，執(zhí)行步驟（4）。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.4 RBF神經(jīng)網(wǎng)絡(luò)2.6 人工神經(jīng)網(wǎng)絡(luò)1. 簡(jiǎn)介RBF神經(jīng)網(wǎng)絡(luò)（Radical Basis Function，RBF）即徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，是繼BP神經(jīng)網(wǎng)絡(luò)之后發(fā)展起來的性能更優(yōu)的一種典型的

58、三層前饋神經(jīng)網(wǎng)絡(luò)，其特點(diǎn)是能夠逼近任意的非線性函數(shù)，泛化能力較強(qiáng)，收斂速度快。目前，RBF神經(jīng)網(wǎng)絡(luò)已成功應(yīng)用于非線性函數(shù)逼近、時(shí)間序列分析、數(shù)據(jù)分類、圖像處理、系統(tǒng)建模、控制和故障診斷等領(lǐng)域。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.4 RBF神經(jīng)網(wǎng)絡(luò)2.6 人工神經(jīng)網(wǎng)絡(luò)2. 基本原理RBF神經(jīng)網(wǎng)絡(luò)是由輸入層、隱藏層和輸出層組成，結(jié)構(gòu)如左圖所示。其中，隱藏層由隱單元構(gòu)成，隱單元的個(gè)數(shù)可根據(jù)實(shí)際需求設(shè)定。隱藏層中的激活函數(shù)稱為徑向基函數(shù)，是一種是通過局部分布的、對(duì)中心點(diǎn)徑向?qū)ΨQ衰減的非負(fù)非線性函數(shù)，常用的徑向基函數(shù)是高斯函數(shù)，如左公式所示。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.4 RBF神經(jīng)網(wǎng)絡(luò)

59、2.6 人工神經(jīng)網(wǎng)絡(luò)2. 基本原理式中 為隱藏層第i個(gè)單元的輸出，x是輸入向量， 是隱藏層第i個(gè)高斯單元的中心， i表示該基函數(shù)圍繞中心點(diǎn)的寬度，范數(shù) 表示向量x與中心之間的距離。RBF網(wǎng)絡(luò)的基本原理是：以徑向基函數(shù)作為隱單元的基構(gòu)成隱層空間。輸入向量由輸入層到隱藏層時(shí)，被直接映射到隱層空間；由隱藏層到輸出層時(shí)，是簡(jiǎn)單的線性相加。假設(shè)輸入層節(jié)點(diǎn)數(shù)為n，隱藏層和輸出層節(jié)點(diǎn)的個(gè)數(shù)分別為h和m。則網(wǎng)絡(luò)的輸出可表示為：創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.4 RBF神經(jīng)網(wǎng)絡(luò)2.6 人工神經(jīng)網(wǎng)絡(luò)2. 基本原理其中 為網(wǎng)絡(luò)的輸出， 是第i個(gè)隱藏層節(jié)點(diǎn)到輸出層第k個(gè)節(jié)點(diǎn)的權(quán)值。上式的矩陣形式為：其中RBF

60、神經(jīng)網(wǎng)絡(luò)是將原始的非線性不可分的向量空間變換到另一空間（通常是高維空間），將低維空間非線性不可分問題通過核函數(shù)映射到高維空間中，使其達(dá)到在高維空間線性可分的目的。因此，RBF神經(jīng)網(wǎng)絡(luò)是一種強(qiáng)有力的核方法。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.4 RBF神經(jīng)網(wǎng)絡(luò)2.6 人工神經(jīng)網(wǎng)絡(luò)2. 基本原理RBF神經(jīng)網(wǎng)絡(luò)算法步驟如下：（1）以K-均值聚類方法，確定基函數(shù)中心 ；（詳見2.2.3）（2）計(jì)算寬度 （其中 為所選取中心之間的最大距離，u為中心的個(gè)數(shù)）；（3）計(jì)算隱藏層與輸出層之間的權(quán)值 （其中P為非中心樣本個(gè)數(shù)）。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.7.1 簡(jiǎn)介2.7 支持向量機(jī)支持向量機(jī)（S