《神經(jīng)網(wǎng)絡的數(shù)學基礎》精品PPT

1、神經(jīng)網(wǎng)絡的數(shù)學基礎信號和權值向量空間將神經(jīng)網(wǎng)絡的輸入、輸出以及權值矩陣的行作為向量看待是非常有好處的。這些都是中的向量。 是標準的n維歐基里德空間線性向量空問如圖1所示。顯然它是一個向量空間，并且對于向量加和標量乘全部滿足10個條件。 的子集又將如何?考慮圖2中方框內的區(qū)域x。向量x和y在區(qū)域內，但是x+y卻可能不在的區(qū)域內。從這個例子可以看出，任何限定邊界的集合都不可能是向量空間。所有經(jīng)過坐標軸原點的直線都滿足上述10個條件。但是，如果直線不經(jīng)過坐標軸的原點，那么至少這種直線不能滿足第4個條件。 如果已經(jīng)習慣于將向量看作是一列數(shù)字，那么這兩個元素的確是奇怪的向量。但是請記?。阂粋€集合只要滿足

2、上述10個條件，就可以被認為是一個向量空間。例如考慮最高階數(shù)小于或等于2的多項式集合此集合的兩個元素是：由于兩個連續(xù)函數(shù)的和仍然是一個連續(xù)函數(shù)，一個標量乘以一連續(xù)函數(shù)仍然是一個連續(xù)函數(shù)，所以集合也是一個向量空間這個集合與前面討論過的向量空間不同，它是無限維的。線性無關線性無關與之相反，如果當且僅當每個均等于零，那么稱其是一組線性無關的向量。注意這些定義實際上等價于：如果一個向量集合是無關的，那么這個集合中的任何向量都不能表示成該集合中其他向量的線性組合。生成空間X的基集是由生成它的線性無關的向量所組成的集合。任何基集包含了生成空間所需要的最少個數(shù)的向量。X的維數(shù)就等于基集中元素的個數(shù)。任何向量

3、空間都可以有多個基集，但每一個基集都必須包含相同數(shù)目的元素。內積范數(shù)正交性向量展開式互逆基向量如果需要向量展開式，而基集又不是正交的，那么就必須引人下列等式所定義的互逆基底：由此可以看出，當要用一列數(shù)字表示一個一般向量時，必須知道其向量展開式所采用的基集是什么。在如果沒有特殊說明，那么假設所采用的都是標準基集。Gram矩陣只是向量個數(shù)比這些向量的原始空間中向量個數(shù)要少(R4空間中的3個向量)。在這種情況下，由這3個向量所構成的矩陣不再是一個方陣，所以不能計算其行列式的值?？梢圆捎梅Q為Gram的方法，這種方法按可以求出一個矩陣的行列式，矩陣的第i行第j列的元素是向量i和向量j的內積。這些向量是線

4、性相關的當且僅當G矩陣的行列式為零。 神經(jīng)網(wǎng)絡中的線性變換諸如特征值、特征向量和基變換等基本概念，這些概念對理解一些諸如性能學習(反傳學習算法)以及Hopfield網(wǎng)絡的收斂特性等神經(jīng)網(wǎng)絡關鍵課題是十分重要的。線性變換變換：一個變換由三部分組成旋轉變換兩個向量之和的旋轉伸縮向量的變換矩陣表示可以證明兩個有限維向量空間之間的任何線性變換都可以用一個矩陣來表示(這和在有限維的向量空間中的任何一個向量可以用一個數(shù)列來表示是一樣的)。請記?。号c一般向量的數(shù)列表示形式并不是惟一的類似，一個變換的矩陣表示也不是惟一的。如果改變定義域或值域的基集，那么變換的矩陣表示也會隨之改變。以旋轉變換為例，來討論變換的

5、矩陣表示，看看如何找到該變換的矩陣表示。可以看到展式中的兩個系數(shù)就是的矩陣中的第一列。從展式中可以得到矩陣表示中的第二列。所以，完整的矩陣表示可以由下式：特征值和特征向量考慮一個線性交換： ： (定義域和值域相同)。分別稱滿足下式的那些不等于0的向量和標量分別是特征向量和特征值：請注意，特征向量實際上并不是一個真正的向量，而是一個向量空間。所以，給定變換的一個特征向量表示一個方向，當對任何取該方向的向量進行變換時，它們都將繼續(xù)指向相同的方向，僅僅是按照特征值對向量的長度進行縮放。如果某個變換有n個不同的特征值，則可以保證得到該變換n個線性無關的特征向量，因此特征向量組成變換的向量空間的一個基集

6、。性能曲面和最優(yōu)點介紹的是一類稱為性能學習的神經(jīng)網(wǎng)絡訓練的基礎知識。神經(jīng)網(wǎng)絡有幾種不同類型的學習規(guī)則，如聯(lián)想學習(Hebb學習)和競爭學習。性能學習是一類重要的學習規(guī)則，其目的在于調整網(wǎng)絡參數(shù)以優(yōu)化網(wǎng)絡性能。主要目的是研究性能曲面，并確定性能曲面存在極大點和極小點的條件。性能優(yōu)化 這種優(yōu)化過程分兩個步驟進行。第一步是定義“性能”的含義。換言之，需要找到一個衡量網(wǎng)絡性能的定量標準，即性能指數(shù)，性能指數(shù)在網(wǎng)絡性能良好時很小，反之則很大。優(yōu)化過程的第二步是搜索減小性能指數(shù)的參數(shù)空間(調整網(wǎng)絡權值和偏置值)。泰勒級數(shù)假定性能指數(shù)是一個解析函數(shù)，它的各級導數(shù)均存在。向量的情況神經(jīng)網(wǎng)絡的性能指數(shù)并不僅是一

7、個純量的函數(shù)，它是所有網(wǎng)絡參數(shù)(各個權值和偏置值)的函數(shù)，參數(shù)的數(shù)量可能是很大的。因此，需要將泰勒級數(shù)展開形式擴展為多變量形式。方向導數(shù)最大斜率在什么方向上?當方向向量與梯度的內積最大時斜率最大，故當方向向量與梯度同向時會出現(xiàn)最大斜率(注意方向向量的長度對此沒有影響，因為它已被規(guī)格化)。極小點優(yōu)化的必要條件定義了最優(yōu)點(極小點)后，必須給出這種點需要滿足的條件。這里還要用到泰勒級來推導這些條件：駐點：一個極小點處的梯度一定為零。這就是局部極小點的一階必要條件(不是充分條件)。二階條件可以通過檢驗矩陣特征值來檢驗這些條件，如果所有特征值為正則矩陣為正定矩陣；如果所有特征值非負，則矩陣為半正定矩陣

8、。充分條件：一個正定的赫森矩陣是一個強極小點存在的二階充分條件，但不是必要條件。如果泰勒級數(shù)的二階項為零，但三階項為正，仍可能存在強極小點。所以強極小點存在的二階充分條件是赫森矩陣為半正定矩陣。二次函數(shù)二次函數(shù)的所有的高階導數(shù)為零。研究赫森矩陣的特征值和特征向量得到二次函數(shù)性質?？紤]以原點為駐點且其值為0的二次函數(shù)：由于A為對稱矩陣，所以其特征向量兩兩正交?？捎锰卣飨蛄孔鳛榱邢蛄繕嫵梢粋€的矩陣：用方向導數(shù)的概念說明A的特征值和特征向量的物理意義以及確定二次函數(shù)的曲面特性：(特征向量集可作為向量空間的基)首先，這個二階導數(shù)是特征值的加權平均。所以它總不大于最大的特征值，或不小于最小特征值。換句話

9、說：所以，在最大特征值的特征向量方向上存在最大的二階導數(shù)。事實上：在每個特征向量方向的二階導數(shù)都等于相應的特征值。在其他方向上二階導數(shù)等于特征值的加權平均值。特征向量方向上的相應特征值即是在該方向上的二階導數(shù)?，F(xiàn)將二次函數(shù)的一些特點小結如下：1)如果赫森矩陣的所有特征值為正，則函數(shù)有一個強極小點2)如果赫森矩陣的所有特征值為負，則函數(shù)有一個強極大點3)如果赫森矩陣的特征值有正有負，則函數(shù)有一個鞍點。4)如果赫森矩陣的所有特征值為非負，但某些特征值為零，則函數(shù)要么有一個弱極小點，要么沒有駐點。5)如果赫森矩陣的所有特征值為非正，但某些特征值為零，則函數(shù)要么有一個弱極大點，要么沒有駐點性能優(yōu)化討論三類優(yōu)化算法：最速下降法、牛頓法以及共扼梯度法。這些算法將用于神經(jīng)網(wǎng)絡的訓練所有將要討論的算法都是迭代的。首先，給定一個初始猜測值，然后按照等式：最速下降法下降方向 滿足上式的任意向量稱為一個下降方向。如果沿此方向取足夠小的步長，函數(shù)一定遞減。這帶來了另一個問題：最速下降的方向在哪里?(即在什么方向上函數(shù)遞減速度最快?)這種情況發(fā)生于下式為最大的負數(shù)時：(設長度不變，只改變方