深度學習理論基礎(chǔ)

深度學習的理論基礎(chǔ)2.1深度學習原理深度學習，相對機器學習中的“淺層學習”方法，深度學習所需的神經(jīng)元網(wǎng)絡層數(shù)更多[16]。傳統(tǒng)的機器學習依靠人為提取樣本單層特征，結(jié)果的特征缺乏可以進一步表達圖像的構(gòu)造;而深度學習可以直接自動的從訓練網(wǎng)絡里提取所需要的結(jié)構(gòu)特征，自動提取的特征解決了人工提取特征存在主管偏差的因素。對于一個層網(wǎng)絡（,…），有輸入是，得到輸出是，即為：=>=>=>…..=>=>，如果和相等，即可認為經(jīng)過網(wǎng)絡處理后沒有損失。設處理得到，再對處理得到，得到：和的相關(guān)不會超過和的相關(guān)。這表明網(wǎng)絡不會增加數(shù)據(jù)，會損失數(shù)據(jù)。如果結(jié)果相等，可以得到經(jīng)過每一個神經(jīng)元都沒有丟失，即所有都是的等價。對于深度學習網(wǎng)絡，首先我們有大量的原始數(shù)據(jù)，即大量的，在本課題中為大量的眼底圖像圖像。我們可以尋找一個層深度網(wǎng)絡，調(diào)整網(wǎng)絡結(jié)構(gòu)后，輸入等于輸出，那么輸入的結(jié)構(gòu)即可以通過，…,來得到。深度學習的核心方法為擁有多個層，…,的網(wǎng)絡，即讓層的輸入為。通過這種方法，就可以獲得輸入信息結(jié)構(gòu)特征。這就是深度學習的核心結(jié)構(gòu)。深度網(wǎng)絡主要有3類，如圖2.1所示。圖2.1深度神經(jīng)網(wǎng)絡分類結(jié)構(gòu)在本次課題中，主要用到前饋深度網(wǎng)絡(FFDN)，其中卷積神經(jīng)網(wǎng)絡(CNN)在數(shù)字圖像處理中有十分巨大的發(fā)展，將會運用到眼底圖像的質(zhì)量分類實驗中。2.2前饋深度網(wǎng)絡最傳統(tǒng)有效的\o"深度學習知識庫"\t"/kai940325/article/details/_blank"深度學習結(jié)構(gòu)為深度前饋網(wǎng)絡，即為前饋神經(jīng)網(wǎng)絡。設計一個理想函數(shù)。如一個深度前饋網(wǎng)絡，可以將變換為輸出。一個前饋網(wǎng)絡定義了，通過迭代變量，獲得與原始圖像的參數(shù)誤差最小的估算值。數(shù)據(jù)輸入進入網(wǎng)絡，接著經(jīng)過的處理，最終輸出，因此為“前饋”。這個過程中不存在將輸出回代到原始數(shù)據(jù)或者改變函數(shù)的構(gòu)造。循環(huán)神經(jīng)網(wǎng)絡就是存在這種回代到的構(gòu)造的網(wǎng)絡。深度卷積神經(jīng)網(wǎng)絡屬于不存在循環(huán)的前饋神經(jīng)網(wǎng)絡．前饋深度網(wǎng)絡對于深度學習的研究人員來說是非常有意義的。各種金融應用的原理中都需要用到這種網(wǎng)絡結(jié)構(gòu)。深度卷積神經(jīng)網(wǎng)絡，同樣屬于前饋網(wǎng)絡，特別適用于做圖像處理和圖像分類。至于前饋網(wǎng)絡的進一步發(fā)展，循環(huán)神經(jīng)網(wǎng)絡，在其他方面有所建樹。比如，語音處理特別適合循環(huán)神經(jīng)網(wǎng)絡[17]。前饋神經(jīng)網(wǎng)絡能夠形象地形容成各種神經(jīng)元的結(jié)合。比如，我們可以有三個函數(shù),,，我們可以將其級聯(lián)，得到，這種級聯(lián)特征進一步發(fā)展就成為深度網(wǎng)絡。通過如此的函數(shù)表達，就是第一層神經(jīng)元，就是第二層神經(jīng)元，就是第三層神經(jīng)元。函數(shù)總個數(shù)即網(wǎng)絡總層數(shù)等于網(wǎng)絡的深度。深度學習網(wǎng)絡的末尾的神經(jīng)元即為輸出。在深度學習中，構(gòu)造盡量接近無損失的完美的。原始圖像存在各種干擾，原始數(shù)據(jù)將要在網(wǎng)絡的各種層級被處理。輸入都需要一個值。原始數(shù)據(jù)規(guī)定了結(jié)果對所有的目標，即為獲得一個與誤差最小的結(jié)果。前饋神經(jīng)網(wǎng)絡產(chǎn)生目標結(jié)果的方法十分重要，同時原始圖像對單一神經(jīng)元不會直接作用，而是作用于網(wǎng)絡整體。因為科學家們在研究生物學后獲得靈感，所以前饋神經(jīng)網(wǎng)絡被這樣稱呼。所有的神經(jīng)元都均可以被看作具體的帶方向的值。從此可以發(fā)現(xiàn)在前饋神經(jīng)網(wǎng)絡中，向量中的參數(shù)就是神經(jīng)元。這些神經(jīng)元就是單個的變量。變量通過處理其他變量的輸入，輸出變量結(jié)果。的確定也是在因為科學家們在研究生物學后獲得靈感。神經(jīng)網(wǎng)絡這類算法用于得出某種結(jié)構(gòu)。2.2.1單層卷積神經(jīng)網(wǎng)絡單層卷積神經(jīng)網(wǎng)絡的3個階段如圖2.2．圖2.2單層卷積神經(jīng)網(wǎng)絡的3個階段卷積階段，使用了局部感受野（卷積核）和權(quán)值共享兩種技巧來減少網(wǎng)絡參數(shù)。一.局部感受野。受到生物學的啟發(fā)．有學者認為計算機圖像處理和人類視覺的都是關(guān)注局部，對注意力范圍之外的圖像感受較弱。神經(jīng)網(wǎng)絡最佳的方法是對局部圖像進行圖像處理，然后在最后幾層把之前處理過的局部結(jié)構(gòu)疊加，獲得了總體的結(jié)果。二.權(quán)值共享。一般認為，同一幅圖像的局部的結(jié)構(gòu)與該圖像其他部分可以通用。即在部分網(wǎng)絡處理得到的特征能用全局圖像上。輸入是由個大小的數(shù)組構(gòu)成的三維數(shù)組．每個輸入數(shù)組記為．而輸出即為三維數(shù)組，由個大小的數(shù)組構(gòu)成．連接輸入特征圖和輸出特征圖的權(quán)值記為，即可訓練的局部感受野，卷積核的大小為．輸出的三維數(shù)組為(2.1)式中:*為二維離散卷積運算符;是可訓練的偏置參數(shù)．非線性階段，對網(wǎng)絡處理后的結(jié)果變換，變換一般利用激活函數(shù)，以解決網(wǎng)絡輸出結(jié)果為線性，在某些情況無法解決．非線性階段將提取的特征作為輸入，使用激活函數(shù)進行處理。常用的4種激活函數(shù)的公式為sigmoid:(2.2)tanh:(2.3)softsign:(2.4)ReLU:(2.5)其函數(shù)形態(tài)如圖2.3所示．圖2.3四種非線性操作函數(shù)下采樣階段，即池化層。利用通過局部感受野獲得的結(jié)構(gòu)去處理圖片，計算量會很大。并且，在輸入學習數(shù)據(jù)嚴重缺乏時，容易出現(xiàn)過擬合。為了解決這個問題，我們采用了池化的方法。從權(quán)值共享與局部感受野兩種方法中我們可以了解到，為了描述大的圖像，可以采取方法為：對局部的特征進行統(tǒng)計處理。這些統(tǒng)計特征不僅數(shù)據(jù)量小的多，方便處理。這種方法就叫做池化，分為平均池化或者最大池化[18]。平均池化為計算池化范圍內(nèi)數(shù)組的均值;最大池化則為計算池化范圍內(nèi)的最值輸出到下個階段。輸出后，數(shù)據(jù)量有效地縮小了，同時依然具有原始圖像的結(jié)構(gòu)。2.2.2卷積神經(jīng)網(wǎng)絡如圖2.4所示，級聯(lián)卷積神經(jīng)網(wǎng)絡。目前的深度卷積神經(jīng)網(wǎng)絡，采取很多層神經(jīng)網(wǎng)絡的級聯(lián)。多層局部感受野的能夠把單層學到的部分結(jié)構(gòu)綜合，隨著網(wǎng)絡層增加，學到的數(shù)據(jù)結(jié)構(gòu)就越具體．圖2.4卷積神經(jīng)網(wǎng)絡模型設計深度卷積神經(jīng)網(wǎng)絡，需要采取一些獨特的訓練方式，如圖2.5所示．圖2.5卷積神經(jīng)網(wǎng)絡訓練過程對于卷積網(wǎng)絡的任意一層L，其第i個輸入特征和第j個輸出特征之間的權(quán)值的更新公式為(2.6)當L層是卷積網(wǎng)絡的最后一層時，如圖2.6(a)所示，為(2.7)式中:為第j個預期標簽;為非線性映射函數(shù)的導數(shù);j=1，2，…，．式(2.6)中，當L層不是最后一層時，如圖2.6(b)所示，L+1層是其下一層，則為(2.8)式中:為第L+1層輸出特征的數(shù)目;m=1，2，…，+1;為L層第j個輸出(作為L+1層的第j個輸入)與L+1層第m個輸出之間的權(quán)值．圖2.6卷積神經(jīng)網(wǎng)絡第層權(quán)值更新(實線為與計算相關(guān)的連接關(guān)系)2.2.3深度卷積神經(jīng)網(wǎng)