傳統(tǒng)BP與遺傳算法簡介課件

傳統(tǒng)BP與遺傳算法簡介匯報人：傳統(tǒng)BP與遺傳算法簡介匯報人：11：單神經(jīng)元模型

2：傳統(tǒng)的BP神經(jīng)網(wǎng)絡

3：傳統(tǒng)的遺傳算法

4：總結(jié)1：單神經(jīng)元模型2

1單神經(jīng)元模型

如圖中為神經(jīng)元的內(nèi)部狀態(tài)，為閾值，為輸入信號，，為表示從單元到單元的連接權(quán)系數(shù)，為外部輸入信號。神經(jīng)元模型可描述為：其中為激活函數(shù)（進行非線性化）1單神經(jīng)元模型神經(jīng)元模型可描述為：其中為激活函數(shù)32傳統(tǒng)BP神經(jīng)網(wǎng)絡

BP算法又稱為誤差反向傳播算法，它是一個迭代算法，其基本思想是梯度下降法。采用梯度搜索技術(shù)，使網(wǎng)絡的實際輸出值與期望輸出值的誤差均方值為最小。

輸入層隱含層輸出層2傳統(tǒng)BP神經(jīng)網(wǎng)絡輸入層隱含層輸出層4前向傳播：將訓練集數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡的輸入層，經(jīng)過隱藏層，最后達到輸出層并輸出結(jié)果。神經(jīng)元h1的輸入加權(quán)和：神經(jīng)元h1的輸出：神經(jīng)元h2的輸出：神經(jīng)元h2的輸入加權(quán)和：輸入層

隱含層：前向傳播：將訓練集數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡的輸入層，經(jīng)過隱藏層，最5神經(jīng)元o1的輸入加權(quán)和：神經(jīng)元o1的輸出：神經(jīng)元o2的輸入加權(quán)和：神經(jīng)元o2的輸出：隱含層

輸出層：這樣前向傳播的過程就結(jié)束了，之后計算期望值與輸出值之間誤差，對誤差進行反向傳播，更新權(quán)重與閾值，重新計算輸出。神經(jīng)元o1的輸入加權(quán)和：神經(jīng)元o1的輸出：神經(jīng)元o2的輸入加62.反向傳播：計算期望輸出值與實際輸出值之間的誤差，并將該誤差從輸出層向隱藏層反向傳播，直至傳播到輸入層；同時在反向傳播的過程中，根據(jù)誤差調(diào)整相連神經(jīng)元的權(quán)重和閾值，使得總損失函數(shù)減小。計算損失函數(shù)：輸出層

隱含層：權(quán)值與閾值更新（以w5、b2與w1、b1為例）：w5對整體損失產(chǎn)生的影響：由梯度下降法，權(quán)值的修正值

與E的梯度成正比，更新w5、b1：2.反向傳播：計算期望輸出值與實際輸出值之間的誤差，并將該7隱含層

輸入層：w1對整體損失產(chǎn)生的影響：更新w1與b1：同理可以求出其它權(quán)值與閾值，通過不斷迭代上述三個步驟，更新權(quán)重與閾值（即對數(shù)據(jù)進行反復訓練），直到誤差滿足條件后停止。由于傳統(tǒng)的BP網(wǎng)絡是通過梯度下降法進行學習，隨機生成權(quán)值和閾值，如果這兩個初始參數(shù)選擇不當，網(wǎng)絡就會出現(xiàn)局部最優(yōu)或收斂速度慢等問題。隱含層輸入層：w1對整體損失產(chǎn)生的影響83遺傳算法遺傳算法（GeneticAlgorithm,GA）借鑒了達爾文的進化論和孟德爾的遺傳學說。其本質(zhì)是一種高效、并行、全局搜索的優(yōu)化方法。GA中每一條染色體，對應著一個解決方案，一般我們用適應性函數(shù)來衡量這個解決方案的優(yōu)劣。所以從一個基因組到其解的適應度形成一個映射?？梢园哑溥^程看作是一個在多元函數(shù)里面求最優(yōu)解的過程。3遺傳算法遺傳算法（GeneticAlgorithm,9例如我們用GA算法在既定的區(qū)間找到以下函數(shù)的最大值1.個體編碼將x表達為基因的過程，稱之為編碼，常見的編碼格式有二進制編碼和浮點編碼。此處采用9位二進制進行編碼：將x的區(qū)間[-1,2]進行編碼：那么其精度為：例如我們用GA算法在既定的區(qū)間找到以下函數(shù)的最大值1.個體10離散點-1到離散點2，分別對應于從000000000(0)到111111111(512)之間的二進制編碼000000000或111111111都表示一個個體的基因型（如果有多個變量，則直接串聯(lián)起來構(gòu)成一個基因型），表示一個可行解2.初始群體的產(chǎn)生遺傳算法是對群體進行的進化操作，需要給其淮備一些表示起始搜索點的初始群體數(shù)據(jù)。本例中，群體規(guī)模的大小取為103.適應度計算遺傳算法中以個體適應度的大小來評定各個個體的優(yōu)劣程度，從而決定其遺傳機會的大小。本例中，由于是以求函數(shù)最大值為優(yōu)化目標，故可直接利用目標函數(shù)值

作為個體的適應度離散點-1到離散點2，分別對應于從000000000(0)11則各個個體被選中的概率（生存概率）為：4.選擇運算

進行優(yōu)勝劣汰的方法是：每次從群體中隨機抽取p個人，將p個人中適應度最好的保留下來，重復N次，得到N個保留下的個體形成下一代。很明顯，適應度評分越高的個體被選中的概率越大。5.交叉運算

交叉指的是交換染色體片段后產(chǎn)生兩個新的后代，例如典型的單點交叉方式：隨機選擇兩個個體組成一個父母對進行交叉，按照以下的方式產(chǎn)生新的子代。則各個個體被選中的概率（生存概率）為：4.選擇運算126.變異運算

變異的作用，指的是染色體的某個基因片段或者某個基因點發(fā)生突變。例如單點突變可以通過下圖進行表示：

突變的作用，是希望能夠擺脫局部最優(yōu)點，往更好的地方去。但是效果具有很大的隨機性。7.個體解碼6.變異運算變異的作用，指的是染色體的某個基因片段13將個體解碼為十進制公式為：遺傳算法流程圖：將個體解碼為十進制公式為：遺傳算法流程圖：14效果圖：第一代適應度的平均值為2.025，