深度學(xué)習(xí)理論基礎(chǔ)

深度學(xué)習(xí)的理論基礎(chǔ)2.1深度學(xué)習(xí)原理深度學(xué)習(xí)，相對(duì)機(jī)器學(xué)習(xí)中的“淺層學(xué)習(xí)”方法，深度學(xué)習(xí)所需的神經(jīng)元網(wǎng)絡(luò)層數(shù)更多[16]。傳統(tǒng)的機(jī)器學(xué)習(xí)依靠人為提取樣本單層特征，結(jié)果的特征缺乏可以進(jìn)一步表達(dá)圖像的構(gòu)造;而深度學(xué)習(xí)可以直接自動(dòng)的從訓(xùn)練網(wǎng)絡(luò)里提取所需要的結(jié)構(gòu)特征，自動(dòng)提取的特征解決了人工提取特征存在主管偏差的因素。對(duì)于一個(gè)層網(wǎng)絡(luò)（,…），有輸入是，得到輸出是，即為：=>=>=>…..=>=>，如果和相等，即可認(rèn)為經(jīng)過(guò)網(wǎng)絡(luò)處理后沒(méi)有損失。設(shè)處理得到，再對(duì)處理得到，得到：和的相關(guān)不會(huì)超過(guò)和的相關(guān)。這表明網(wǎng)絡(luò)不會(huì)增加數(shù)據(jù)，會(huì)損失數(shù)據(jù)。如果結(jié)果相等，可以得到經(jīng)過(guò)每一個(gè)神經(jīng)元都沒(méi)有丟失，即所有都是的等價(jià)。對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò)，首先我們有大量的原始數(shù)據(jù)，即大量的，在本課題中為大量的眼底圖像圖像。我們可以尋找一個(gè)層深度網(wǎng)絡(luò)，調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)后，輸入等于輸出，那么輸入的結(jié)構(gòu)即可以通過(guò)，…,來(lái)得到。深度學(xué)習(xí)的核心方法為擁有多個(gè)層，…,的網(wǎng)絡(luò)，即讓層的輸入為。通過(guò)這種方法，就可以獲得輸入信息結(jié)構(gòu)特征。這就是深度學(xué)習(xí)的核心結(jié)構(gòu)。深度網(wǎng)絡(luò)主要有3類，如圖2.1所示。圖2.1深度神經(jīng)網(wǎng)絡(luò)分類結(jié)構(gòu)在本次課題中，主要用到前饋深度網(wǎng)絡(luò)(FFDN)，其中卷積神經(jīng)網(wǎng)絡(luò)(CNN)在數(shù)字圖像處理中有十分巨大的發(fā)展，將會(huì)運(yùn)用到眼底圖像的質(zhì)量分類實(shí)驗(yàn)中。2.2前饋深度網(wǎng)絡(luò)最傳統(tǒng)有效的\o"深度學(xué)習(xí)知識(shí)庫(kù)"\t"/kai940325/article/details/_blank"深度學(xué)習(xí)結(jié)構(gòu)為深度前饋網(wǎng)絡(luò)，即為前饋神經(jīng)網(wǎng)絡(luò)。設(shè)計(jì)一個(gè)理想函數(shù)。如一個(gè)深度前饋網(wǎng)絡(luò)，可以將變換為輸出。一個(gè)前饋網(wǎng)絡(luò)定義了，通過(guò)迭代變量，獲得與原始圖像的參數(shù)誤差最小的估算值。數(shù)據(jù)輸入進(jìn)入網(wǎng)絡(luò)，接著經(jīng)過(guò)的處理，最終輸出，因此為“前饋”。這個(gè)過(guò)程中不存在將輸出回代到原始數(shù)據(jù)或者改變函數(shù)的構(gòu)造。循環(huán)神經(jīng)網(wǎng)絡(luò)就是存在這種回代到的構(gòu)造的網(wǎng)絡(luò)。深度卷積神經(jīng)網(wǎng)絡(luò)屬于不存在循環(huán)的前饋神經(jīng)網(wǎng)絡(luò)．前饋深度網(wǎng)絡(luò)對(duì)于深度學(xué)習(xí)的研究人員來(lái)說(shuō)是非常有意義的。各種金融應(yīng)用的原理中都需要用到這種網(wǎng)絡(luò)結(jié)構(gòu)。深度卷積神經(jīng)網(wǎng)絡(luò)，同樣屬于前饋網(wǎng)絡(luò)，特別適用于做圖像處理和圖像分類。至于前饋網(wǎng)絡(luò)的進(jìn)一步發(fā)展，循環(huán)神經(jīng)網(wǎng)絡(luò)，在其他方面有所建樹(shù)。比如，語(yǔ)音處理特別適合循環(huán)神經(jīng)網(wǎng)絡(luò)[17]。前饋神經(jīng)網(wǎng)絡(luò)能夠形象地形容成各種神經(jīng)元的結(jié)合。比如，我們可以有三個(gè)函數(shù),,，我們可以將其級(jí)聯(lián)，得到，這種級(jí)聯(lián)特征進(jìn)一步發(fā)展就成為深度網(wǎng)絡(luò)。通過(guò)如此的函數(shù)表達(dá)，就是第一層神經(jīng)元，就是第二層神經(jīng)元，就是第三層神經(jīng)元。函數(shù)總個(gè)數(shù)即網(wǎng)絡(luò)總層數(shù)等于網(wǎng)絡(luò)的深度。深度學(xué)習(xí)網(wǎng)絡(luò)的末尾的神經(jīng)元即為輸出。在深度學(xué)習(xí)中，構(gòu)造盡量接近無(wú)損失的完美的。原始圖像存在各種干擾，原始數(shù)據(jù)將要在網(wǎng)絡(luò)的各種層級(jí)被處理。輸入都需要一個(gè)值。原始數(shù)據(jù)規(guī)定了結(jié)果對(duì)所有的目標(biāo)，即為獲得一個(gè)與誤差最小的結(jié)果。前饋神經(jīng)網(wǎng)絡(luò)產(chǎn)生目標(biāo)結(jié)果的方法十分重要，同時(shí)原始圖像對(duì)單一神經(jīng)元不會(huì)直接作用，而是作用于網(wǎng)絡(luò)整體。因?yàn)榭茖W(xué)家們?cè)谘芯可飳W(xué)后獲得靈感，所以前饋神經(jīng)網(wǎng)絡(luò)被這樣稱呼。所有的神經(jīng)元都均可以被看作具體的帶方向的值。從此可以發(fā)現(xiàn)在前饋神經(jīng)網(wǎng)絡(luò)中，向量中的參數(shù)就是神經(jīng)元。這些神經(jīng)元就是單個(gè)的變量。變量通過(guò)處理其他變量的輸入，輸出變量結(jié)果。的確定也是在因?yàn)榭茖W(xué)家們?cè)谘芯可飳W(xué)后獲得靈感。神經(jīng)網(wǎng)絡(luò)這類算法用于得出某種結(jié)構(gòu)。2.2.1單層卷積神經(jīng)網(wǎng)絡(luò)單層卷積神經(jīng)網(wǎng)絡(luò)的3個(gè)階段如圖2.2．圖2.2單層卷積神經(jīng)網(wǎng)絡(luò)的3個(gè)階段卷積階段，使用了局部感受野（卷積核）和權(quán)值共享兩種技巧來(lái)減少網(wǎng)絡(luò)參數(shù)。一.局部感受野。受到生物學(xué)的啟發(fā)．有學(xué)者認(rèn)為計(jì)算機(jī)圖像處理和人類視覺(jué)的都是關(guān)注局部，對(duì)注意力范圍之外的圖像感受較弱。神經(jīng)網(wǎng)絡(luò)最佳的方法是對(duì)局部圖像進(jìn)行圖像處理，然后在最后幾層把之前處理過(guò)的局部結(jié)構(gòu)疊加，獲得了總體的結(jié)果。二.權(quán)值共享。一般認(rèn)為，同一幅圖像的局部的結(jié)構(gòu)與該圖像其他部分可以通用。即在部分網(wǎng)絡(luò)處理得到的特征能用全局圖像上。輸入是由個(gè)大小的數(shù)組構(gòu)成的三維數(shù)組．每個(gè)輸入數(shù)組記為．而輸出即為三維數(shù)組，由個(gè)大小的數(shù)組構(gòu)成．連接輸入特征圖和輸出特征圖的權(quán)值記為，即可訓(xùn)練的局部感受野，卷積核的大小為．輸出的三維數(shù)組為(2.1)式中:*為二維離散卷積運(yùn)算符;是可訓(xùn)練的偏置參數(shù)．非線性階段，對(duì)網(wǎng)絡(luò)處理后的結(jié)果變換，變換一般利用激活函數(shù)，以解決網(wǎng)絡(luò)輸出結(jié)果為線性，在某些情況無(wú)法解決．非線性階段將提取的特征作為輸入，使用激活函數(shù)進(jìn)行處理。常用的4種激活函數(shù)的公式為sigmoid:(2.2)tanh:(2.3)softsign:(2.4)ReLU:(2.5)其函數(shù)形態(tài)如圖2.3所示．圖2.3四種非線性操作函數(shù)下采樣階段，即池化層。利用通過(guò)局部感受野獲得的結(jié)構(gòu)去處理圖片，計(jì)算量會(huì)很大。并且，在輸入學(xué)習(xí)數(shù)據(jù)嚴(yán)重缺乏時(shí)，容易出現(xiàn)過(guò)擬合。為了解決這個(gè)問(wèn)題，我們采用了池化的方法。從權(quán)值共享與局部感受野兩種方法中我們可以了解到，為了描述大的圖像，可以采取方法為：對(duì)局部的特征進(jìn)行統(tǒng)計(jì)處理。這些統(tǒng)計(jì)特征不僅數(shù)據(jù)量小的多，方便處理。這種方法就叫做池化，分為平均池化或者最大池化[18]。平均池化為計(jì)算池化范圍內(nèi)數(shù)組的均值;最大池化則為計(jì)算池化范圍內(nèi)的最值輸出到下個(gè)階段。輸出后，數(shù)據(jù)量有效地縮小了，同時(shí)依然具有原始圖像的結(jié)構(gòu)。2.2.2卷積神經(jīng)網(wǎng)絡(luò)如圖2.4所示，級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)。目前的深度卷積神經(jīng)網(wǎng)絡(luò)，采取很多層神經(jīng)網(wǎng)絡(luò)的級(jí)聯(lián)。多層局部感受野的能夠把單層學(xué)到的部分結(jié)構(gòu)綜合，隨著網(wǎng)絡(luò)層增加，學(xué)到的數(shù)據(jù)結(jié)構(gòu)就越具體．圖2.4卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)深度卷積神經(jīng)網(wǎng)絡(luò)，需要采取一些獨(dú)特的訓(xùn)練方式，如圖2.5所示．圖2.5卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程對(duì)于卷積網(wǎng)絡(luò)的任意一層L，其第i個(gè)輸入特征和第j個(gè)輸出特征之間的權(quán)值的更新公式為(2.6)當(dāng)L層是卷積網(wǎng)絡(luò)的最后一層時(shí)，如圖2.6(a)所示，為(2.7)式中:為第j個(gè)預(yù)期標(biāo)簽;為非線性映射函數(shù)的導(dǎo)數(shù);j=1，2，…，．式(2.6)中，當(dāng)L層不是最后一層時(shí)，如圖2.6(b)所示，L+1層是其下一層，則為(2.8)式中:為第L+1層輸出特征的數(shù)目;m=1，2，…，+1;為L(zhǎng)層第j個(gè)輸出(作為L(zhǎng)+1層的第j個(gè)輸入)與L+1層第m個(gè)輸出之間的權(quán)值．圖2.6卷積神經(jīng)網(wǎng)絡(luò)第層權(quán)值更新(實(shí)線為與計(jì)算相關(guān)的連接關(guān)系)2.2.3深度卷積神經(jīng)網(wǎng)