矩陣微分在BP神經(jīng)網(wǎng)絡(luò)中的應(yīng)用課件

導(dǎo)師:花強(qiáng)姓名：崔義新學(xué)號(hào)：20140830研究方向：ELM

矩陣微分在BP神經(jīng)網(wǎng)絡(luò)中的應(yīng)用導(dǎo)師:花強(qiáng)矩陣微分在BP神經(jīng)網(wǎng)絡(luò)中的應(yīng)用12矩陣微分在BP神經(jīng)網(wǎng)絡(luò)中的應(yīng)用1矩陣的微分

1.1相對(duì)于向量的微分的定義

1.2相對(duì)于矩陣的微分的定義1.3復(fù)合函數(shù)的微分2人工神經(jīng)網(wǎng)絡(luò)

2.1人工神經(jīng)網(wǎng)絡(luò)的定義2.2人工神經(jīng)網(wǎng)絡(luò)的模型2.3BP人工神經(jīng)網(wǎng)絡(luò)模型2.4BP人工神經(jīng)網(wǎng)絡(luò)基本算法公式推導(dǎo)2.5BP人工神經(jīng)網(wǎng)絡(luò)基本算法結(jié)束語(yǔ)2矩陣微分在BP神經(jīng)網(wǎng)絡(luò)中的應(yīng)用1矩陣的微分21.1相對(duì)于向量的微分的定義對(duì)于n維向量函數(shù)，設(shè)函數(shù)是以向量X為自變量的數(shù)量函數(shù)，即以n個(gè)變量xi為自變量的數(shù)量函數(shù).我們將列向量

叫做數(shù)量函數(shù)f對(duì)列向量X的導(dǎo)數(shù)，記作

例1．求函數(shù)對(duì)X的導(dǎo)數(shù)對(duì)X的導(dǎo)數(shù)解：根據(jù)定義即

1.1相對(duì)于向量的微分的定義32023/1/41.2相對(duì)于矩陣的微分的定義定義2設(shè)函數(shù)是以P×m矩陣A的P×m元素為自變量的數(shù)量函數(shù)，簡(jiǎn)稱以矩陣A為自變量的數(shù)量函數(shù).例如

定義P×m矩陣稱為數(shù)量函數(shù)f對(duì)矩陣A的導(dǎo)數(shù)，記作.

2022/12/291.2相對(duì)于矩陣的微分的定義定義2設(shè)函數(shù)41.2相對(duì)于矩陣的微分的定義例2:求對(duì)矩陣的導(dǎo)數(shù)，其中向量X是定常的，A是對(duì)稱的.解:根據(jù)定義有即定義3如果矩陣的每個(gè)元素都是t的可微函數(shù)，則A(t)關(guān)于t的導(dǎo)數(shù)(微商)定義為：1.2相對(duì)于矩陣的微分的定義例2:求對(duì)矩陣51.3復(fù)合函數(shù)的微分公式1設(shè)則證明：由給定條件有將上式結(jié)合起來(lái)公式2設(shè)則2023/1/41.3復(fù)合函數(shù)的微分公式1設(shè)則2062人工神經(jīng)網(wǎng)絡(luò)2.1人工神經(jīng)網(wǎng)絡(luò)的定義人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks,ANN）是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng).它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過(guò)模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進(jìn)行信息處理.人工神經(jīng)網(wǎng)絡(luò)是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型.這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的.2023/1/42人工神經(jīng)網(wǎng)絡(luò)2.1人工神經(jīng)網(wǎng)絡(luò)的定義2022/12/7

2.2人工神經(jīng)網(wǎng)絡(luò)的模型2023/1/4（4）細(xì)胞體完成電化學(xué)信號(hào)整合與處理，當(dāng)胞體中接受的累加刺激超過(guò)一個(gè)閾值時(shí)，胞體就被激發(fā)，此時(shí)它沿軸突通過(guò)樹(shù)突向其它神經(jīng)元發(fā)出信號(hào).(1)生物神經(jīng)元主要由樹(shù)突、軸突、突觸和細(xì)胞體組成.樹(shù)突相當(dāng)于信號(hào)的輸入端，用于接受神經(jīng)沖動(dòng).(2）軸突是由細(xì)胞體向外伸出的最長(zhǎng)的一條分支相當(dāng)于信號(hào)的輸出(3）突觸是神經(jīng)元之間通過(guò)軸突（輸出）和樹(shù)突（輸入）相互聯(lián)結(jié)點(diǎn).2.2人工神經(jīng)網(wǎng)絡(luò)的模型2022/12/29（4）細(xì)胞體82.2人工神經(jīng)網(wǎng)絡(luò)的模型

是第i個(gè)神經(jīng)元的輸出，它可與其他多個(gè)神經(jīng)元通過(guò)權(quán)連接;分別指與第i個(gè)神經(jīng)元連接的其他神經(jīng)元輸出；分別是指其他神經(jīng)元與第i個(gè)神經(jīng)元連接的權(quán)值；是指第i個(gè)神經(jīng)元的閾值；是第i個(gè)神經(jīng)元的凈輸入；f是非線性函數(shù)，稱為輸出函數(shù)或激活函數(shù).激活函數(shù)進(jìn)行放大處理或限制在一個(gè)適當(dāng)?shù)姆秶鷥?nèi).典型的激活函數(shù)有符號(hào)函數(shù)、階躍函數(shù)、S型函數(shù)等.2023/1/42.2人工神經(jīng)網(wǎng)絡(luò)的模型是第i個(gè)神經(jīng)元的輸出，它可與其他92.3BP人工神經(jīng)網(wǎng)絡(luò)模型誤差反傳算法的主要思想誤差反傳是把學(xué)習(xí)過(guò)程分為兩個(gè)階段：第一階段（正向傳播過(guò)程），給出輸入信息通過(guò)輸入層經(jīng)隱含層處理并計(jì)算每個(gè)單元的實(shí)際輸出值；第二階段（反向過(guò)程），若在輸出層未能得到期望的輸出值，則逐層遞歸地計(jì)算實(shí)際輸出與期望輸出之差值（即誤差），以便根據(jù)此差值調(diào)節(jié)權(quán)值；2023/1/42.3BP人工神經(jīng)網(wǎng)絡(luò)模型誤差反傳算法的主要思想2022/102.3BP人工神經(jīng)網(wǎng)絡(luò)模型基于BP算法的多層前饋型網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示2023/1/42.3BP人工神經(jīng)網(wǎng)絡(luò)模型2022/12/2911假設(shè)有N個(gè)訓(xùn)練樣本，即有N個(gè)輸入輸出對(duì)（Xn,Yn

）,n=1,…,N,其中,輸入向量為:目標(biāo)輸出向量為（實(shí)際上的):

網(wǎng)絡(luò)輸出向量為

（理論上的）

2.3BP人工神經(jīng)網(wǎng)絡(luò)模型假設(shè)有N個(gè)訓(xùn)練樣本，即有N個(gè)輸入輸出對(duì)其中,輸入向量為:目12

記

為從輸入向量的第j(j=1,…,m)個(gè)分量到隱藏向量的第i(i=1,…,n)個(gè)分量的權(quán)重，從隱藏向量的第j(j=1,…,m)個(gè)分量到輸出向量的第i(i=1,…,n)個(gè)分量的權(quán)重。通常理論值與實(shí)際值有一誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷地把與比較，并根據(jù)極小原則修改參數(shù)，使誤差平方和達(dá)最?。河汥elta學(xué)習(xí)規(guī)則:

（3）

表示遞推一次的修改量，則有稱為學(xué)習(xí)的速率

對(duì)于隱藏層，權(quán)值修正量為記為從輸入向量的第j(j=1,…,132.4BP人工神經(jīng)網(wǎng)絡(luò)基本算法公式推導(dǎo)對(duì)于隱藏層閾值的修正量對(duì)于輸出層權(quán)值的修正量對(duì)于隱藏層閾值的修正量2023/1/42.4BP人工神經(jīng)網(wǎng)絡(luò)基本算法公式推導(dǎo)對(duì)于隱藏層閾值的修正142.5BP人工神經(jīng)網(wǎng)絡(luò)基本算法2023/1/4第一步，對(duì)數(shù)據(jù)經(jīng)行歸一化狐貍，網(wǎng)絡(luò)初始化根據(jù)系統(tǒng)輸入輸出序列（X,Y）確定網(wǎng)絡(luò)輸入層節(jié)點(diǎn)數(shù)n，輸出層節(jié)點(diǎn)數(shù)l，輸入層輸出層的神經(jīng)元個(gè)數(shù)分別由函數(shù)輸入和輸出的維數(shù)確定.由實(shí)驗(yàn)經(jīng)驗(yàn)隱含層節(jié)點(diǎn)個(gè)數(shù)需要大于輸入層隱層節(jié)點(diǎn)數(shù)，設(shè)為m，初始化輸入層、隱層、輸出層之間的連接權(quán)值，初始化隱層閾值，輸出層閾值，給定學(xué)習(xí)速率以及學(xué)習(xí)誤差error；訓(xùn)練次數(shù)maxEpoch，可以根據(jù)訓(xùn)練需要改動(dòng)；第二步，輸入樣本計(jì)算隱含層的輸出值,計(jì)算公式為將其作為輸出層的輸入.第三步，計(jì)算輸出層的輸出.第四步，計(jì)算全局誤差e第五步，判斷誤差是否達(dá)到預(yù)先設(shè)定的要求或者訓(xùn)練次數(shù)是否達(dá)到最大值，如果是，算法結(jié)束；否則，進(jìn)行第六步第六步，計(jì)算輸出層到隱含層的誤差信號(hào)；第七步，計(jì)算隱含層到輸入層的誤差信號(hào)；第八步，調(diào)整計(jì)算輸出層到隱含層的權(quán)值和閾值；第九步，調(diào)整計(jì)算隱含層到輸入層的權(quán)值和閾值；第十步，輸入下一樣本，依次循環(huán)2.5BP人工神經(jīng)網(wǎng)絡(luò)基本算法2022/12/29第一步，15結(jié)束語(yǔ)人工神經(jīng)網(wǎng)絡(luò)，是由大量處理單元（神經(jīng)元）組成的非線性大規(guī)模自適應(yīng)動(dòng)力系統(tǒng).本文描述了BP神經(jīng)網(wǎng)絡(luò)的基本原理和基本算法，介紹了與矩陣論中矩陣微分，向量微分的相關(guān)聯(lián)系.在理論方面，詳細(xì)分析了算法提出的理論依據(jù)與總體思路.由于本算法能夠通過(guò)梯度下降方法進(jìn)行網(wǎng)絡(luò)訓(xùn)練，因此，需要考慮如何對(duì)矩陣求梯度，如何對(duì)向量求導(dǎo)數(shù)，而這正是矩陣論所解決的問(wèn)題，因此，兩者之間存在著必然的聯(lián)系.從以上研究結(jié)果可以看出，BP神經(jīng)網(wǎng)絡(luò)是以矩陣論相關(guān)知識(shí)為基礎(chǔ)的.由于本人能力有限，因此本課題在以后的研究中還需要進(jìn)一步完善.2023/1/4結(jié)束語(yǔ)人工神經(jīng)網(wǎng)絡(luò)，是由大量處理單元（神經(jīng)元）組成的非線性大16

17導(dǎo)師:花強(qiáng)姓名：崔義新學(xué)號(hào)：20140830研究方向：ELM

矩陣微分在BP神經(jīng)網(wǎng)絡(luò)中的應(yīng)用導(dǎo)師:花強(qiáng)矩陣微分在BP神經(jīng)網(wǎng)絡(luò)中的應(yīng)用1819矩陣微分在BP神經(jīng)網(wǎng)絡(luò)中的應(yīng)用1矩陣的微分

1.1相對(duì)于向量的微分的定義

1.2相對(duì)于矩陣的微分的定義1.3復(fù)合函數(shù)的微分2人工神經(jīng)網(wǎng)絡(luò)

2.1人工神經(jīng)網(wǎng)絡(luò)的定義2.2人工神經(jīng)網(wǎng)絡(luò)的模型2.3BP人工神經(jīng)網(wǎng)絡(luò)模型2.4BP人工神經(jīng)網(wǎng)絡(luò)基本算法公式推導(dǎo)2.5BP人工神經(jīng)網(wǎng)絡(luò)基本算法結(jié)束語(yǔ)2矩陣微分在BP神經(jīng)網(wǎng)絡(luò)中的應(yīng)用1矩陣的微分191.1相對(duì)于向量的微分的定義對(duì)于n維向量函數(shù)，設(shè)函數(shù)是以向量X為自變量的數(shù)量函數(shù)，即以n個(gè)變量xi為自變量的數(shù)量函數(shù).我們將列向量

叫做數(shù)量函數(shù)f對(duì)列向量X的導(dǎo)數(shù)，記作

例1．求函數(shù)對(duì)X的導(dǎo)數(shù)對(duì)X的導(dǎo)數(shù)解：根據(jù)定義即

1.1相對(duì)于向量的微分的定義202023/1/41.2相對(duì)于矩陣的微分的定義定義2設(shè)函數(shù)是以P×m矩陣A的P×m元素為自變量的數(shù)量函數(shù)，簡(jiǎn)稱以矩陣A為自變量的數(shù)量函數(shù).例如

定義P×m矩陣稱為數(shù)量函數(shù)f對(duì)矩陣A的導(dǎo)數(shù)，記作.

2022/12/291.2相對(duì)于矩陣的微分的定義定義2設(shè)函數(shù)211.2相對(duì)于矩陣的微分的定義例2:求對(duì)矩陣的導(dǎo)數(shù)，其中向量X是定常的，A是對(duì)稱的.解:根據(jù)定義有即定義3如果矩陣的每個(gè)元素都是t的可微函數(shù)，則A(t)關(guān)于t的導(dǎo)數(shù)(微商)定義為：1.2相對(duì)于矩陣的微分的定義例2:求對(duì)矩陣221.3復(fù)合函數(shù)的微分公式1設(shè)則證明：由給定條件有將上式結(jié)合起來(lái)公式2設(shè)則2023/1/41.3復(fù)合函數(shù)的微分公式1設(shè)則20232人工神經(jīng)網(wǎng)絡(luò)2.1人工神經(jīng)網(wǎng)絡(luò)的定義人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks,ANN）是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng).它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過(guò)模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進(jìn)行信息處理.人工神經(jīng)網(wǎng)絡(luò)是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型.這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的.2023/1/42人工神經(jīng)網(wǎng)絡(luò)2.1人工神經(jīng)網(wǎng)絡(luò)的定義2022/12/24

2.2人工神經(jīng)網(wǎng)絡(luò)的模型2023/1/4（4）細(xì)胞體完成電化學(xué)信號(hào)整合與處理，當(dāng)胞體中接受的累加刺激超過(guò)一個(gè)閾值時(shí)，胞體就被激發(fā)，此時(shí)它沿軸突通過(guò)樹(shù)突向其它神經(jīng)元發(fā)出信號(hào).(1)生物神經(jīng)元主要由樹(shù)突、軸突、突觸和細(xì)胞體組成.樹(shù)突相當(dāng)于信號(hào)的輸入端，用于接受神經(jīng)沖動(dòng).(2）軸突是由細(xì)胞體向外伸出的最長(zhǎng)的一條分支相當(dāng)于信號(hào)的輸出(3）突觸是神經(jīng)元之間通過(guò)軸突（輸出）和樹(shù)突（輸入）相互聯(lián)結(jié)點(diǎn).2.2人工神經(jīng)網(wǎng)絡(luò)的模型2022/12/29（4）細(xì)胞體252.2人工神經(jīng)網(wǎng)絡(luò)的模型

是第i個(gè)神經(jīng)元的輸出，它可與其他多個(gè)神經(jīng)元通過(guò)權(quán)連接;分別指與第i個(gè)神經(jīng)元連接的其他神經(jīng)元輸出；分別是指其他神經(jīng)元與第i個(gè)神經(jīng)元連接的權(quán)值；是指第i個(gè)神經(jīng)元的閾值；是第i個(gè)神經(jīng)元的凈輸入；f是非線性函數(shù)，稱為輸出函數(shù)或激活函數(shù).激活函數(shù)進(jìn)行放大處理或限制在一個(gè)適當(dāng)?shù)姆秶鷥?nèi).典型的激活函數(shù)有符號(hào)函數(shù)、階躍函數(shù)、S型函數(shù)等.2023/1/42.2人工神經(jīng)網(wǎng)絡(luò)的模型是第i個(gè)神經(jīng)元的輸出，它可與其他262.3BP人工神經(jīng)網(wǎng)絡(luò)模型誤差反傳算法的主要思想誤差反傳是把學(xué)習(xí)過(guò)程分為兩個(gè)階段：第一階段（正向傳播過(guò)程），給出輸入信息通過(guò)輸入層經(jīng)隱含層處理并計(jì)算每個(gè)單元的實(shí)際輸出值；第二階段（反向過(guò)程），若在輸出層未能得到期望的輸出值，則逐層遞歸地計(jì)算實(shí)際輸出與期望輸出之差值（即誤差），以便根據(jù)此差值調(diào)節(jié)權(quán)值；2023/1/42.3BP人工神經(jīng)網(wǎng)絡(luò)模型誤差反傳算法的主要思想2022/272.3BP人工神經(jīng)網(wǎng)絡(luò)模型基于BP算法的多層前饋型網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示2023/1/42.3BP人工神經(jīng)網(wǎng)絡(luò)模型2022/12/2928假設(shè)有N個(gè)訓(xùn)練樣本，即有N個(gè)輸入輸出對(duì)（Xn,Yn

）,n=1,…,N,其中,輸入向量為:目標(biāo)輸出向量為（實(shí)際上的):

網(wǎng)絡(luò)輸出向量為

（理論上的）

2.3BP人工神經(jīng)網(wǎng)絡(luò)模型假設(shè)有N個(gè)訓(xùn)練樣本，即有N個(gè)輸入輸出對(duì)其中,輸入向量為:目29

記

為從輸入向量的第j(j=1,…,m)個(gè)分量到隱藏向量的第i(i=1,…,n)個(gè)分量的權(quán)重，從隱藏向量的第j(j=1,…,m)個(gè)分量到輸出向量的第i(i=1,…,n)個(gè)分量的權(quán)重。通常理論值與實(shí)際值有一誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷地把與比較，并根據(jù)極小原則修改參數(shù)，使誤差平方和達(dá)最?。河汥elta學(xué)習(xí)規(guī)則:

（3）

表示遞推一次的修改量，則有稱為學(xué)習(xí)的速率

對(duì)于隱藏層，權(quán)值修正量為記為從輸入向量的第j(j=1,…,302.4BP人工神經(jīng)網(wǎng)絡(luò)基本算法公式推導(dǎo)對(duì)于隱藏層閾值的修正量對(duì)于輸出層權(quán)值的修正量對(duì)于隱藏層閾值的修正量2023/1/42.4BP人工神經(jīng)網(wǎng)絡(luò)基本算法公式推導(dǎo)對(duì)于隱藏層閾值的修正312.5BP人工神經(jīng)網(wǎng)絡(luò)基本算法2023/1/4第一步，對(duì)數(shù)據(jù)經(jīng)行歸一化狐貍，網(wǎng)絡(luò)初始化根據(jù)系統(tǒng)輸入輸出序列（X,Y）確定網(wǎng)絡(luò)輸入層節(jié)點(diǎn)數(shù)n，輸出層節(jié)點(diǎn)數(shù)l，輸入層輸出層的神經(jīng)元個(gè)數(shù)分別由函數(shù)輸入和輸出的維數(shù)確定.