《人工神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用》課件第3章 人工神經(jīng)網(wǎng)絡(luò)數(shù)理基礎(chǔ)

第3章

人工神經(jīng)網(wǎng)絡(luò)數(shù)理基礎(chǔ)

11人工神經(jīng)網(wǎng)絡(luò)和數(shù)學是密不可分的，首先神經(jīng)網(wǎng)絡(luò)是用矩陣來描述的，其次，為了方便計算，需要把神經(jīng)網(wǎng)絡(luò)的輸入、輸出和權(quán)值看做是向量或矩陣，向量和矩陣運算又涉及線性變換等知識。另外，在人工神經(jīng)網(wǎng)絡(luò)算法中運用了梯度、導(dǎo)數(shù)、微分等數(shù)學知識。因此，了解和掌握基本的數(shù)理知識是學習和應(yīng)用人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。3.1神經(jīng)元模型21.符號說明為了方便表述神經(jīng)元，也為了本書的規(guī)范性和統(tǒng)一性，除特殊說明外，書中涉及的符號遵循以下規(guī)定：小寫斜體字母代表標量，例如x，y。

(2)小寫的黑色斜體字母代表向量，例如x

，y

。(3)大寫的黑色斜體字母代表矩陣，例如X

，Y

。(4)權(quán)值下標的定義：權(quán)值矩陣元素的下標的第一個參數(shù)表示的是權(quán)值連接后一層接收目標神經(jīng)元的編號，第二個下標表示權(quán)值連接前一層輸出源神經(jīng)元的編號。例如w1,2表示該元素是從前一層第二個神經(jīng)元到后一層第一個輸入神經(jīng)元的連接權(quán)值；w3,4表示該元素是從前一層第四個神經(jīng)元到后一層第三個輸入神經(jīng)元的連接權(quán)值。3.2.單輸入神經(jīng)元單輸入神經(jīng)元的工作原理如圖3-1所示。它相當于權(quán)值w乘以輸入標量x得到wx，將它送入累加器中形成一個新的輸入。另一個輸入1乘以偏置b后也送入到累加器中，累加器的輸出n通常被稱為凈輸入，將凈輸入n送入傳遞函數(shù)f中，經(jīng)傳遞函數(shù)f映射后產(chǎn)生神經(jīng)元的輸出標量y。圖3-1單輸入神經(jīng)元的工作原理4如果將這個神經(jīng)元模型與生物神經(jīng)元對照，那么輸入標量x相當于外部的激勵，權(quán)值w相當于突觸的連接強度，胞體對應(yīng)于累加器和傳遞函數(shù)，神經(jīng)元輸出y代表軸突的輸出信號。因此，神經(jīng)元的輸出為式中，傳遞函數(shù)f決定了神經(jīng)元的實際的輸出標量y。假設(shè)x=2，w=3，b=2時，那么神經(jīng)元的輸出為另外，式(3-1)中偏置參數(shù)b可以有，也可以沒有。當設(shè)置了偏置參數(shù)時，它的作用有點像權(quán)值，當然在神經(jīng)元模型中也可以不使用偏置。在神經(jīng)元模型中，權(quán)值w和偏置b是可以調(diào)整的。另外，在實際應(yīng)用中，可以根據(jù)輸出的需要，選擇不同的傳遞函數(shù)。（3-1）53.傳遞函數(shù)傳遞函數(shù)在神經(jīng)元中的作用就是將累加器的輸出按照指定的函數(shù)關(guān)系得到一個新的映射輸出，進而完成人工神經(jīng)網(wǎng)絡(luò)的訓練。另外，傳遞函數(shù)能夠用來加入非線性因素，提高人工神經(jīng)網(wǎng)絡(luò)對模型的表達能力，解決線性模型所不能解決的一些問題。不同種類的神經(jīng)網(wǎng)絡(luò)、不同的應(yīng)用場合，所選擇的傳遞函數(shù)可以不同。傳遞函數(shù)的種類很多，表3-1給出了常用的幾種傳遞函數(shù)。表3-1傳遞函數(shù)6789下面以對數(shù)S型傳遞函數(shù)和線性整流函數(shù)ReLU為例，對傳遞函數(shù)進行簡單說明。對數(shù)S型傳遞函數(shù)，即Sigmoid函數(shù)，在生物學中也稱為S型生長曲線。由于具有單調(diào)遞增特性以及反函數(shù)也具有單調(diào)遞增的特性，可以將輸出映射到0到1之間，因此常被當做傳遞函數(shù)或閾值函數(shù)使用。其函數(shù)表達式為式中，n表示凈輸入，y是處于0到1之間的輸出量。圖3-2是對數(shù)S型傳遞函數(shù)的特性圖。對數(shù)S型傳遞函數(shù)的優(yōu)點是能夠把輸出的實數(shù)值限定在0到1之間，缺點是容易飽和。當輸入值太大或者太小時，神經(jīng)元的梯度就無限趨近0，使得在計算反向誤差時，最終的權(quán)值幾乎不會更新。（3-2）10另外，如果對數(shù)S型傳遞函數(shù)的輸出不是以零為中心，那么在后續(xù)的神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)時將接收不到零中心的數(shù)據(jù)，從而會對梯度產(chǎn)生影響，降低權(quán)值更新效率。11線性整流函數(shù)(RectifiedLinearUnit，ReLU)，類似于數(shù)學中的斜坡函數(shù)，是目前人工神經(jīng)網(wǎng)絡(luò)最常用的一種傳遞函數(shù)，函數(shù)表達式為圖3-3是線性整流傳遞函數(shù)的特性圖。可以發(fā)現(xiàn)：當輸入正值時，ReLU函數(shù)輸出等于輸入；當輸入為零和負值時，ReLU函數(shù)輸出為零。11圖3-2對數(shù)S型傳遞函數(shù)圖3-3線性整流傳遞函數(shù)相比于對數(shù)S型傳遞函數(shù)，ReLU函數(shù)不存在梯度飽和問題，且具有更快的收斂速度。但是當輸入是負數(shù)的時候，ReLU是完全不被激活的，這就表明一旦輸入到了負數(shù)，ReLU就會只輸出0值。在前向傳播過程中，這種情況可能還不算什么問題，因為有的區(qū)域是敏感的，有的是不敏感的。但是進入反向傳播過程中，遇到負數(shù)輸入，梯度就會降到0，這種情況與對數(shù)S型傳遞函數(shù)和正切S型函數(shù)是一樣。為了避免這種情況發(fā)生，可以采用改進型的函數(shù)，如PReLU、ELU、LeakyReLU等。函數(shù)給負值區(qū)域也賦予了一定的斜率，盡管斜率很小，但是不會趨于0。當然，它們之間也有差別，ELU和PReLU函數(shù)區(qū)別在于，PReLU函數(shù)在負數(shù)區(qū)域內(nèi)是線性運算。另外，在表3-1中α的取值一般都很小，特別當α=0.01時，PReLU與LeakyReLU函數(shù)作用效果相同。12134.多輸入神經(jīng)元多輸入神經(jīng)元就是神經(jīng)元模型中不只有一個輸入的情況。若神經(jīng)元具有R個輸入，它的輸入分別對應(yīng)著權(quán)值矩W中的元素如圖3-4所示。多輸入神經(jīng)元神經(jīng)元模型有偏置b，它將與所有輸入的加權(quán)和累加，然后形成凈輸入n，最后再將它送入傳遞函數(shù)f當中，得到輸出量y。14此時，凈輸入n為也可以表述為在單輸入神經(jīng)元模型當中，權(quán)值矩陣W只有一個元素w，但是多輸入神經(jīng)元的權(quán)值矩陣W有R個元素，所以神經(jīng)元輸出表述為153.2導(dǎo)數(shù)1.定義1）導(dǎo)數(shù)的定義設(shè)函數(shù)在x=x0的鄰域U(x0)內(nèi)有定義，并設(shè)，

假設(shè)存在，則稱函數(shù)y=f(x)在x=x0處可導(dǎo)，式(3-7)的極限是函數(shù)在x=x0。處的導(dǎo)數(shù)，記作即也可寫為2）左、右導(dǎo)數(shù)的定義極限和分別稱為y=f(x)在x=x0處的左導(dǎo)數(shù)和右導(dǎo)，分別記和3)高階導(dǎo)數(shù)的定義設(shè)函數(shù)y=f(x)的導(dǎo)數(shù)依舊是x的函數(shù)，則稱的導(dǎo)數(shù)為函數(shù)y=f(x)的二階導(dǎo)數(shù)，記為或者

類似的，稱二階導(dǎo)數(shù)的導(dǎo)數(shù)為三階導(dǎo)數(shù)，以此類推，函數(shù)y=f(x)具有n階導(dǎo)數(shù)，也可稱函數(shù)f(x)為n階導(dǎo)數(shù)。1617二階以及二階以上的導(dǎo)數(shù)稱為高階導(dǎo)數(shù)。2.定理與性質(zhì)定理一：如果f(x)在x處可導(dǎo)，那么f(x)在同一點處必連續(xù)，但是反之不成立。定理二：如果f(x)在x=x0處可導(dǎo)，則可推出f(x)在x=x0處左導(dǎo)數(shù)和右導(dǎo)數(shù)都存在，且左導(dǎo)數(shù)和右導(dǎo)數(shù)相等。反之也成立。當函數(shù)可導(dǎo)時，導(dǎo)數(shù)的幾何意義：若函數(shù)f(x)在x=x0的導(dǎo)數(shù)記為，則它是曲線f(x)在點處的斜率。運算法則：下列函數(shù)均可導(dǎo)。3.3微分3.3.1定義設(shè)函數(shù)y=f(x)在x=x0的鄰域U(x0)內(nèi)有定義，同時假設(shè)

若式中，常數(shù)A與無關(guān)，，則稱f(x)在點x=x0

18處可微，并稱為f(x)在點x=x0處的微分。又因為自變量的增量

等于自變量的微分dx，因此dy可以記作dy=Adx。3.3.2定理與性質(zhì)1.定理定理一：如果y=f(x)在x=x0處可導(dǎo)，可以推出f(x)在x=x0處可微分，反之也可以推出，那么當這個條件成立時，

19定理二：如果y=f(x)在x0處可微，那么也可寫為2.性質(zhì)運算法則：下列函數(shù)u=u(x)，v=v(x)均可導(dǎo)。3.4積分3.4.1定義201.不定積分不定積分是指在區(qū)間U內(nèi)，函數(shù)f(x)帶有任意常數(shù)項的原函數(shù)稱為f(x)在區(qū)間U內(nèi)的不定積分，記作式中，∫為積分號，f(x)為被積函數(shù)，f(x)dx為被積表達式，x為積分變量。2.定積分設(shè)f(x)在區(qū)間[a,b]上有定義而且有界，在區(qū)間[a,b]任意插入若干個點把區(qū)間分成n個小區(qū)間，每個小區(qū)間的長度為21在每個小區(qū)間中任取一點作和式該式被稱為積分和，取當λ→0時，積分和的極限存在，則稱f(x)在[a,b]上可積，稱上述極限為f(x)在[a,b]上的定積分。3.4.2定積分定理與性質(zhì)1.定理定理一：如果f(x)在區(qū)間[a,b]上連續(xù)，那么必定存在。定理二：假設(shè)f(x)在[a,b]上有界，且只有有限個間斷點，22那么存在。2.性質(zhì)(1)若f(x)與g(x)在區(qū)間[a,b]上連續(xù)，且那么至少存在使得則(2)積分中值定理：設(shè)f(x)在區(qū)間[a,b]上連續(xù)，則至少存在

一點在[a,b]內(nèi)，使得3.5梯度1.方向?qū)?shù)定理23如果函數(shù)在點處可微分，那么函數(shù)在該點沿任一方向l的方向?qū)?shù)都存在，且有式中，cosα，cosβ是方向l的方向余弦。梯度的本意是一個向量，表示函數(shù)在某點處的方向?qū)?shù)沿該方向取得最大值，也就是說，函數(shù)在該點沿此梯度的方向變化最快、變化率最大為該梯度的模。2.梯度定義設(shè)二元函數(shù)在平面區(qū)域D上具有一階連續(xù)偏導(dǎo)數(shù)，對于每一個點且點P在區(qū)域D內(nèi)，都會有一個24向量式(3-14)被稱為函數(shù)在點的梯度，記作或者

，即式中，▽被稱為向量的微分算子或者Nabla算子。253.6行列式1.n階行列式的概念n

階行列式是所有取自不同行不同列的n個元素的乘積的代數(shù)和，其中是1,2，…，n的一個排列。當偶排列時，該項帶正號；當為奇排列時，為負號。因此，

26式(3-16)是對n階行列式求和。2.行列式性質(zhì)(1)行列式經(jīng)過轉(zhuǎn)置其值不變：|AT|=|A|。(2)如果行列式的某一行或者某一列有公因子k，可以把k提到行列式外邊，表示成k乘以行列式。(3)行列式的兩行（或者兩列）互換位置，行列式的值變27號。當行列式中有兩行或者兩列相同時，行列式值為零。(4)如果行列式的某一行（或者某一列）是兩個元素之和，那么可以把行列式分成兩個行列式之和。如：(5)把行列式的某一行（或者某一列）的n倍加到另一行（或者另一列）行列式的值不變。如：283.7矩陣3.7.1概念1.矩陣的定義將m×n個數(shù)排列成m行n列的一個表格，如：則稱它為一個m×n的矩陣。特別的，當m=n時，稱為n階方陣。29如果兩個矩陣且m=c，n=d，那么稱A和B為同矩陣。如果矩陣A和矩陣B對應(yīng)位置的元素都相等，那么稱矩陣A等于矩陣B，記作A=B。2.矩陣的分類設(shè)A為n階矩陣，則(1)零矩陣：當矩陣內(nèi)所有的元素都為零時，稱矩陣為零矩陣，記作O。(2)單位陣：主對角元素都是1，其余元素都為0的矩陣稱為單位矩陣，記作En(或者E)。30(3)對角陣：非對角元素都為0的矩陣稱為對角陣，記作Λ。(4)對稱陣：如果AT=A，即就是aij=aji的矩陣稱為對稱陣。(5)正交陣：如果滿足ATA=AAT=E，則稱A為正交矩陣。即AT=A-1。3.7.2矩陣的運算(1)加法：只有同型矩陣才可以相加。如

(2)數(shù)乘：k是一個常數(shù)，是一個矩陣，常數(shù)乘以矩陣可表示為31(3)乘法：當矩陣A的列數(shù)等于矩陣B的行數(shù)時，矩陣才可以相乘。設(shè)A為一個m×t的矩陣，B為一個t×n的矩陣，矩陣A乘以矩陣B的結(jié)果是一個m×n的矩陣。(4)轉(zhuǎn)置：矩陣將矩陣A的行列互換位置，得到新的矩陣稱為矩陣A的轉(zhuǎn)置矩陣，記作AT。32(1)矩陣的加法：矩陣A，B，C為同型矩陣，則有A+B=B+A，(A+B)+C=A+(B+C)(2)矩陣的數(shù)乘：m(nA)=n(mA)，(m+n)A=mA+nA(3)矩陣的乘法：如果矩陣A，B，C滿足可相乘的條件(AB)C=A(BC)；A(B+C)=AB+AC；(A+B)C=AC+BC；謹記：AB≠BA。(4)轉(zhuǎn)置矩陣:(A+B)T=AT+BT；(kA)T=kAT(AB)T=BTAT；(AT)T=A333.7.3矩陣運算性質(zhì)3.8.1定義(1)n維向量：由所構(gòu)成的一個有序的數(shù)組稱為n維向量，稱為維向量的行向量，稱為n維向量的列向量，其中ai,稱為n維向量的第i個分量。(2)零向量：在數(shù)組所有的分量都為零的向量稱為零向量，記作0。(3)向量相等：n維向量

和343.8向量相等，即就是(4)如果向量組v是一個非空集合，且在向量組v中的加法和數(shù)乘運算都是閉合的，那么稱該向量組為空間向量。3.8.2向量的運算和向量內(nèi)積的準則1.向量的運算設(shè)n維向量則35(1)加法：(2)數(shù)乘：(3)內(nèi)積：如果

那么稱向量α與β正交。因為

所以稱為向量α的長度。2.向量內(nèi)積的準則向量內(nèi)積遵循以下準則：

36373.8.3線性表示與線性相關(guān)當且僅當α=0。(1)線性表示：如果n維向量

和β，存在實數(shù)

，，使得，則稱向量β是向量的線性組合，或者說β可由線性表示。(2)線性相關(guān)：如果n維向量，存在不全為零的數(shù)，使得38則稱向量組線性相關(guān)，否則稱它線性無關(guān)。3.9特征值與特征向量(1)定義：設(shè)A為n階方陣，如果對于λ，存在非零的向量α，使得Aα=λα(α≠0)成立，那么稱λ是A的特征值，α是A的對應(yīng)于λ的特征向量。(2)由Aα=λα(α≠0)，得(λE-A)=0，因此（3-17）式(3-17)為A的特征方程，λE-A稱為特征矩陣。393.10隨機事件與概率1.概念(1)隨機現(xiàn)象：在客觀世界中存在兩類現(xiàn)象，第一類是在一定的條件下，一定會發(fā)生的現(xiàn)象稱之為必然現(xiàn)象。例如，每天太陽都會東升西落。第二類是在某一條件下可能發(fā)生也可能不發(fā)生的現(xiàn)象稱之為隨機現(xiàn)象。例如，拋硬幣，觀察正面向上的情況。

(2)樣本空間：隨機試驗的每一個可能出現(xiàn)的實驗結(jié)果稱為一個樣本點，隨機試驗的所有樣本點都是明確的，全部的樣本點的集合稱為樣本空間。(3)隨機試驗的性質(zhì)：①重復(fù)性：在相同的條件下實驗是可以重復(fù)進行的。②觀察性：實驗的結(jié)果都可以被觀察，因此實驗的結(jié)果都是明確的。③隨機性：每一次的實驗都不知道哪種實驗結(jié)果會發(fā)生或出現(xiàn)。40(4)隨機事件：在進行隨機實驗當中，會產(chǎn)生可能出現(xiàn)的結(jié)果和不可能出現(xiàn)的結(jié)果。在進行大量的重復(fù)試驗之后具有某種特定規(guī)律的事件稱之為隨機事件。

(5)概率的定義：在相同的條件下，進行了n次重復(fù)試驗，事件A的發(fā)生的頻率會逐漸在某一個常數(shù)p的附近，當實驗次數(shù)n越大，發(fā)生事件A的頻率越接近p，則稱p為A的概率，記作P(A)。(6)獨立性：如果事件A、B滿足等式，則稱A和B相互獨立。2.特點隨機事件與概率有如下特點41（4）條件概率（1）（2）（3）（3-18）（5）設(shè)隨機試驗的樣本空間為S，A為試驗的事件，為S的一個劃分，而且，,則稱（3-19）為全概率公式。42（6）貝葉斯公式（3-20）（7）正態(tài)分布：如果x的概率密度函數(shù)為（3-21）式中，x為隨機變量。如果方差σ2、隨機變量均值μ為常數(shù)，則稱x是服從參數(shù)σ2，μ的正態(tài)分布。特別的，當σ=1，μ=0時，稱為標準正態(tài)分布。433.11范數(shù)3.11.1定義1.定義范數(shù)是具有“長度”概念的函數(shù)。在泛函分析中，常被用來度量向量空間或矩陣中的每個向量的大小或長度。2.特性范數(shù)滿足以下三個特性：(1)正定性：且(2)齊次性：44(3