從神經(jīng)網(wǎng)絡(luò)到深度學(xué)習(xí)

深度學(xué)習(xí)與計(jì)算機(jī)視覺ZJUAI主講人：羅浩時間：10.16~10.27主辦單位：控制科學(xué)與工程學(xué)院承辦單位：浙江大學(xué)學(xué)生人工智能協(xié)會課程大綱2時間課程主講人10月16日19:00~21:00從神經(jīng)網(wǎng)絡(luò)到深度學(xué)習(xí)羅浩10月18日19:00~21:00卷積神經(jīng)網(wǎng)絡(luò)與模型壓縮羅浩、孟讓10月20日19:00~21:00遞歸神經(jīng)網(wǎng)絡(luò)與常用硬件環(huán)境配置羅浩、李楊10月23日19:00~21:00Pytorch介紹與代碼實(shí)踐羅浩10月25日19:00~21:00TensorFlow介紹與代碼實(shí)踐洪瀾10月27日19:00~21:00計(jì)算機(jī)視覺應(yīng)用——分割、檢測、識別等羅浩、陳汐地點(diǎn)：教九101直播（繳納會費(fèi)加入）從神經(jīng)網(wǎng)絡(luò)到深度學(xué)習(xí)CHAPTER1主講人：羅浩時間：10.16主辦單位：控制科學(xué)與工程學(xué)院承辦單位：浙江大學(xué)學(xué)生人工智能協(xié)會THEMAINCONTENTS01機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)04深度學(xué)習(xí)框架03卷積神經(jīng)網(wǎng)絡(luò)02深度學(xué)習(xí)第部分1機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)6模型驅(qū)動數(shù)據(jù)驅(qū)動機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)7解決問題模型驅(qū)動數(shù)據(jù)驅(qū)動牛頓力學(xué)化學(xué)方程機(jī)器學(xué)習(xí)數(shù)據(jù)可視化數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)8機(jī)器學(xué)習(xí)≈尋找一個映射SpeechRecognition

ImageRecognition

AlphaGo

DialogueSystem

(whattheusersaid)(systemresponse)機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)9機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)10機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)11訓(xùn)練數(shù)據(jù)(trainingdata)顧名思義，訓(xùn)練數(shù)據(jù)用于訓(xùn)練學(xué)習(xí)模型，通常比例不低于總數(shù)據(jù)量的一半。交叉驗(yàn)證數(shù)據(jù)(crossvalidationdata)交叉驗(yàn)證數(shù)據(jù)用于衡量訓(xùn)練過程中模型的好壞，因?yàn)闄C(jī)器學(xué)習(xí)算法大部分都不是通過解析法得到的，而是通過不斷迭代來慢慢優(yōu)化模型，所以交叉驗(yàn)證數(shù)據(jù)就可以用來監(jiān)視模型訓(xùn)練時候的性能變化。測試數(shù)據(jù)(testingdata)在模型訓(xùn)練好了之后，測試數(shù)據(jù)用于衡量最終模型的性能好壞，這也是模型性能好壞的衡量指標(biāo)，交叉驗(yàn)證的指標(biāo)只能用于監(jiān)視和輔助模型訓(xùn)練，不能用來代表模型好壞，所以哪怕交叉驗(yàn)證的準(zhǔn)確度是100%而測試數(shù)據(jù)的準(zhǔn)確度是10%，那么模型也是不能被認(rèn)可的。通常交叉驗(yàn)證和測試數(shù)據(jù)的比例各占一小半。機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)1212標(biāo)注數(shù)據(jù)未標(biāo)注數(shù)據(jù)標(biāo)注數(shù)據(jù)未標(biāo)注數(shù)據(jù)監(jiān)督學(xué)習(xí)

半監(jiān)督學(xué)習(xí)

無監(jiān)督學(xué)習(xí)訓(xùn)練集的差異機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)13源域→目標(biāo)域數(shù)據(jù)分布自適應(yīng)：通過一些變換，將不同的數(shù)據(jù)分布的距離拉近特征選擇：假設(shè)源域和目標(biāo)域中均含有一部分公共的特征子空間學(xué)習(xí)：假設(shè)源域和目標(biāo)域數(shù)據(jù)在變換后的子空間中會有著相似的分布遷移學(xué)習(xí)機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)14解決問題模型驅(qū)動數(shù)據(jù)驅(qū)動牛頓力學(xué)化學(xué)方程機(jī)器學(xué)習(xí)數(shù)據(jù)可視化數(shù)據(jù)挖掘神經(jīng)網(wǎng)絡(luò)支持向量機(jī)貝葉斯學(xué)習(xí)遺傳算法機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)15連接和信息傳遞神經(jīng)元—神經(jīng)網(wǎng)絡(luò)的基本運(yùn)算單位機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)16輸入：權(quán)重：偏置：輸出：非線性激活函數(shù)單層感知機(jī)（神經(jīng)元）機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)17

常用激活函數(shù)機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)18一個神經(jīng)元接收四個其他神經(jīng)元的輸入，每一個的激勵水平是10，-20，4以及-2。每一個神經(jīng)元的突觸權(quán)重是0.9，0.2，-1.0以及-0.9。于是神經(jīng)元的輸出可以計(jì)算如下：假設(shè)激勵函數(shù)是Sigmoid,偏置為0.1:

神經(jīng)元運(yùn)算舉例機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)19單個神經(jīng)元的計(jì)算能力有限，無法處理大規(guī)模的運(yùn)算輸入層隱層輸出層1

2

3

4多個神經(jīng)元的集合叫層單向的層內(nèi)也可以存在連接神經(jīng)元->神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)20前饋：輸出：通用：怎么訓(xùn)練？預(yù)測≈標(biāo)簽損失函數(shù)min多層前饋神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)21abcf=d*c=12d=a+b=-32-5-4通過梯度來更新每一層的網(wǎng)絡(luò)的參數(shù)W

反向傳播(BackwardPropagation)機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)22鏈?zhǔn)椒▌t反傳意味著計(jì)算關(guān)于網(wǎng)絡(luò)參數(shù)的導(dǎo)數(shù)abc2-5-4

機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)23梯度反傳計(jì)算損失函數(shù)L關(guān)于輸出層的梯度：第k-1層第k層標(biāo)簽Y最后一層輸出Loss第k+1層機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)24梯度反傳關(guān)于每一個輸出節(jié)點(diǎn)：關(guān)于每一層網(wǎng)絡(luò)權(quán)重：第k-1層第k層標(biāo)簽Y最后一層輸出Loss第k+1層機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)25反向傳播推導(dǎo)示例——梯度下降25其中Update機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)26神經(jīng)網(wǎng)絡(luò)的缺陷局部最優(yōu)梯度彌散參數(shù)量指數(shù)級增加層數(shù)過多無法訓(xùn)練機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)27神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)神經(jīng)元細(xì)胞神經(jīng)網(wǎng)絡(luò)可以擬合任何非線性模型，實(shí)現(xiàn)分類、回歸基于梯度訓(xùn)練，方便編程實(shí)現(xiàn)擴(kuò)展層數(shù)過多會出現(xiàn)梯度彌散，無法訓(xùn)練為了降低輸入的維度，通常需要對原始數(shù)據(jù)進(jìn)行人工特征提取…機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)28神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程為了得到所有點(diǎn)的導(dǎo)數(shù)：1.前向傳遞計(jì)算每一個節(jié)點(diǎn)的輸出2.從輸出層反向依次計(jì)算每一個節(jié)點(diǎn)的梯度3.利用梯度下降來更新連接權(quán)重：

是學(xué)習(xí)率，也就是步長

是梯度下降方向

機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)29過擬合與欠擬合抑制過擬合的方式Dropout正則化數(shù)據(jù)增廣減小網(wǎng)絡(luò)；Earlystopping…機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)30到底是什么限制了神經(jīng)網(wǎng)絡(luò)的發(fā)展？第部分2深度學(xué)習(xí)深度學(xué)習(xí)32為什么要深度？層數(shù)越多，表達(dá)能力越強(qiáng)深度學(xué)習(xí)33深度學(xué)習(xí)的發(fā)展Hinton發(fā)表了第一篇深度學(xué)習(xí)論文

Afastlearningalgorithmfordeepbeliefnets誕生（DNN,DBN）2006谷歌旗下DeepMind公司的圍棋機(jī)器人AlphaGo擊敗李世石，后以Master身份連續(xù)60場不敗.爆發(fā)（AlphaGo）2016Hinton學(xué)生在2012年ImageNet比賽中大幅刷新準(zhǔn)確度ImageNetClassificationwithDeepConvolutionalNeuralNetworks.首次應(yīng)用（CNN）谷歌利用Recurrentneuralnetwork實(shí)現(xiàn)圖文轉(zhuǎn)換.時序列（RNN）20122014第部分3卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)35深度學(xué)習(xí)解決問題模型驅(qū)動數(shù)據(jù)驅(qū)動牛頓力學(xué)化學(xué)方程機(jī)器學(xué)習(xí)數(shù)據(jù)可視化數(shù)據(jù)挖掘神經(jīng)網(wǎng)絡(luò)支持向量機(jī)貝葉斯學(xué)習(xí)深度學(xué)習(xí)遺傳算法卷積神經(jīng)網(wǎng)絡(luò)36卷積神經(jīng)網(wǎng)絡(luò)——卷積一維卷積二維卷積卷積神經(jīng)網(wǎng)絡(luò)37卷積神經(jīng)網(wǎng)絡(luò)——卷積一維卷積原圖整體邊緣濾波器橫向邊緣濾波器縱向邊緣濾波器卷積神經(jīng)網(wǎng)絡(luò)38卷積神經(jīng)網(wǎng)絡(luò)三特性——局部連接人類神經(jīng)元感受野減少參數(shù)根據(jù)視覺神經(jīng)相關(guān)研究的表明，我們的視覺神經(jīng)元是有層次感，低層的視覺神經(jīng)元更加關(guān)注具體的局部細(xì)節(jié)（例如邊緣，紋理等），而高層視覺神經(jīng)元更加關(guān)注高層特征等（例如輪廓、空間關(guān)系等）。而低層神經(jīng)元的實(shí)現(xiàn)就是通過局部連接的思想實(shí)現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)39卷積神經(jīng)網(wǎng)絡(luò)三特性——權(quán)值共享權(quán)值共享不僅僅是直接的參數(shù)量大大縮小，它也是擁有充分論證的物理意義的，在圖像處理領(lǐng)域一次卷積操作就是一次特征提取減少參數(shù)提取特征卷積神經(jīng)網(wǎng)絡(luò)40卷積神經(jīng)網(wǎng)絡(luò)三特性——池化采樣擴(kuò)大感受野層次特征淺層關(guān)注的是局部的細(xì)節(jié)特征——紋理、顏色高層關(guān)注的是更加抽象的全局特征——輪廓、類別卷積神經(jīng)網(wǎng)絡(luò)41感受野感受野是指一個神經(jīng)元與輸入層連接神經(jīng)元組成的區(qū)域感受野的計(jì)算卷積神經(jīng)網(wǎng)絡(luò)42為什么要深度？層數(shù)越多，表達(dá)能力越強(qiáng)寬度vs深度！卷積神經(jīng)網(wǎng)絡(luò)43深度卷積網(wǎng)絡(luò)的構(gòu)成卷積層(convolutionlayer)池化層(poolinglayer)全連接層(fullyconnectedlayer)輔助層(supportlayer)卷積神經(jīng)網(wǎng)絡(luò)44卷積層建模沿著空間位置計(jì)算卷積特征圖，作為下一層的輸入RGB圖像6x6

3=1*1+0*-1+0*-1+0*-1+1*1+0*-1+0*-1+0*-1+1*1-1=0*1+0*-1+0*-1+1*-1+1*1+0*-1+0*-1+0*-1+1*13-1一個卷積核的情況卷積神經(jīng)網(wǎng)絡(luò)45卷積層建模卷積運(yùn)算輸入圖像卷積核(kernelsize=5)卷積核特征圖多個卷積核的情況卷積神經(jīng)網(wǎng)絡(luò)46卷積層可視化

第一層和第二層：角點(diǎn)，邊緣后者顏色信息卷積神經(jīng)網(wǎng)絡(luò)47卷積層可視化第三層：相似的紋理卷積神經(jīng)網(wǎng)絡(luò)48卷積層可視化第四層,第五層卷積層可視化

卷積神經(jīng)網(wǎng)絡(luò)49池化層

池化層沒有任何需要學(xué)習(xí)的參數(shù)32203122253826705361池化大小是2x2,步長是1AveragepoolingMaxpooling22033267036532258867586745

卷積神經(jīng)網(wǎng)絡(luò)50池化層

32203122253826705361xypooling224x224x64112x112x64224224下采樣112112

卷積神經(jīng)網(wǎng)絡(luò)51全連接層全連接權(quán)重是W輸出輸入本質(zhì)上也是卷積層，卷積核的大小和輸入數(shù)據(jù)大小一致比如W1=(w*h)*Nfc1,Nfc1表示第一個全連接層節(jié)點(diǎn)個數(shù)全連接層之間，可以看做是1*1的卷積W2=Nfc1*（1*1）*Nfc2W1W2fc2卷積神經(jīng)網(wǎng)絡(luò)52輔助層：反卷積層卷積反卷積可學(xué)習(xí)的上采樣層，在圖像分割，圖像生成中廣泛應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)53輔助層：反卷積層MirzaM,OsinderoS.ConditionalGenerativeAdversarialNets[J].arXiv:Learning,2014.卷積神經(jīng)網(wǎng)絡(luò)54輔助層：BatchNormalization層IoffeS,SzegedyC.BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShift[J].internationalconferenceonmachinelearning,2015:448-456前向傳導(dǎo)過程：輸入數(shù)據(jù)歸一化：

//

mini-batch

mean//mini-batchvariance//normalize//scaleandshift卷積神經(jīng)網(wǎng)絡(luò)55輔助層：Dropout層

卷積神經(jīng)網(wǎng)絡(luò)56卷積神經(jīng)網(wǎng)絡(luò)示例——LeNetmodel=Sequential()model.add(Conv2D(6,kernel_size=(5,5),activation='relu',input_shape=input_shape))model.add(MaxPooling2D(pool_size=(2,2)))model.add(Conv2D(16,(5,5),activation='relu’))model.add(MaxPooling2D(pool_size=(2,2)))model.add(Flatten())model.add(Dense(120,activation='relu’))model.add(Dense(num_classes,activation='softmax'))卷積神經(jīng)網(wǎng)絡(luò)57卷積神經(jīng)網(wǎng)絡(luò)Dem