深度學(xué)習(xí)基礎(chǔ)知識(shí)整理

1、深度學(xué)習(xí)基礎(chǔ)知識(shí)整理Withoutdeviationfromthenorm,progressisnotpossible（不偏離常規(guī)，就無法取得進(jìn)步-FrankZappa）選擇哪個(gè)深度學(xué)習(xí)框架？鬟手習(xí)框柒*機(jī)構(gòu)教程將可利用資源P.nr0rge 應(yīng)加心丁坨0r珂 isandearningLanguagesa-.-ramewtrfks 伯tra,Wgmaler,als卷浮箱蟄網(wǎng)絡(luò)建模能力CNNmodelirigcapability需環(huán)神經(jīng)網(wǎng)絡(luò)建模能力RNNmodeling的時(shí)嘀以果構(gòu)；易用度及前端Arctiilecture;easy-to-useandmodularfrontend執(zhí)行效率Speed

2、部署的便利性Install&Port多 GPU 運(yùn)算支特MultipleGPUsupportPythonC+T&nsorFI&w八GOGoogle詳盡的文檔，容易被初學(xué)者理解和實(shí)很好的CNN建現(xiàn).TFLeam中根模能力，易于崖立多使用 InceptionV3 模TensarFlow妁型RNN示例使用皿kglkig可以比較高效地實(shí)現(xiàn) ENN直觀而模塊化的架得藉鬻方產(chǎn)品期的高質(zhì)量代碼盟鬻噩訓(xùn)卻蚓使其在大多數(shù)蠹翔/盛艙中具有竟?fàn)幜ebug 和首控棄格性，能夠全面地支持各種硬件和榛作系統(tǒng),支持 We（和 AMD 的 CPU：通過CUM 支持 NVIDIA 的 GPU;通過。g

3、nCL麥持AM口的 GPU,但沒 CU口四成熟;支持 Linux、Mac 和 Window 占;燧夠基干ARM 架構(gòu)編譯利優(yōu)化.TensorFlowServing 可讓力境好的模型快捷方孽地就人到實(shí)際生產(chǎn)環(huán)境原生支持的分布式深度學(xué)引可以很好支持多 GPU運(yùn)算CaffePythonC+BerkeleyVisionandLearningCwiler;賈抵消安裝和配置是一個(gè)對(duì)時(shí)間序列RNN、L&TM 等支持得不比較讓人頭痛的問支持非常好,很好是將別充分疆于題;在文檔上也程時(shí)比較痛苦，不過正在改善的CNN建模能力L自yer的模式也對(duì)若要大量工作才能創(chuàng)建一個(gè)新層，在橫型結(jié)構(gòu)非常復(fù)雜時(shí)可能需要寫非

4、常完KNN 不是羋常友好，長(zhǎng)的配置文件才能定義 RNM 建構(gòu)時(shí)比設(shè)計(jì)好網(wǎng)絡(luò),而且唧稍落后于GsnsorFlow；程序運(yùn)行非常穩(wěn)定,代碼質(zhì)量高較麻煩讀時(shí)也較協(xié)力在 GPUL 訓(xùn)練的性能很好.底層基于 C+的，因此可以在各種硬件但是目前很支持單機(jī)多環(huán)境編譯并具有良好的移植性， 支持GPU的訓(xùn)練.不原生支持分Linux.Mac和 Window 生也可收編譯布式的訓(xùn)煉： 不過通過:罪部署到 Andmid 和心S卜:沱計(jì)算機(jī)視三方如 Cw除 CtnSpark借覺領(lǐng)域應(yīng)用尤其氧常用于人臉識(shí)別、助 Spa 由的分布式框架可圖片分類、位置檢潴、目標(biāo)追蹤等實(shí)現(xiàn) C 自施的國(guó)規(guī)模分布式訓(xùn)練CNTKC+Micros

5、oft少見新手班資料支持各種前信網(wǎng)翳包括MLP.CNN、RNN.LSTMSequertce-to-Sequence.也支特自動(dòng)求解梯度TorchLuaFacebooli詳盡的文檔， 容易被初學(xué)者理解和實(shí)現(xiàn)很好的CNN建模能力，豐富的CNN 更源， 包括易干使用的時(shí)間卷織集MXNetPythonC+RDistritauledMachineLearning 詳盡的文檔，客易Ctmmmil 上被初學(xué)者理睇和李沐，實(shí)現(xiàn)AWW 官方推薦很好的CNN建模能力Th&snoPython蒙特利爾大學(xué) UsaLabPython深度學(xué)可摩的基石,派生出了大量基于它的4度學(xué)習(xí)庫(kù);高質(zhì)量文檔和教程，同對(duì) CMN

6、 的支持很好感強(qiáng)的CNN 建模能力時(shí)可以方便地查找到各種 FAQ豐富的RNN救程和項(xiàng)構(gòu)建模型擁有產(chǎn)品期的代碼性能易尚設(shè)計(jì).在CPU、單GPU、名GPU,以及GPU集群上都有非常優(yōu)異的表質(zhì)；在語音識(shí)別軟現(xiàn);最近推出的 14it域的使用尤其廣泛cdnipcessKHi ?Hi低了通信代價(jià)，使大業(yè)模并行訓(xùn)某也擁有很高的效率原生支持多GPU和分布式,基于C+并且聘平臺(tái)， 大部分情況下部從官網(wǎng)企布的對(duì)比評(píng)測(cè)來署非常煢單,PC上支持 Linux、M融和看.性錢非常不錯(cuò);在多 Windows,但目前不支持ARM架構(gòu)一GPU方面，CNTK 相對(duì)干限制了在移動(dòng)設(shè)備上的發(fā)揮箕他的深度坐習(xí)奉梨表現(xiàn)得更突出Ker靛P

7、ythonfchollelLaugnePythonLasagneNervanaNeonPythofiSystems（imtei豐富的RNN教程河為梢隹模型想多直現(xiàn)而模塊化的架第三方的擴(kuò)展支持構(gòu).開發(fā)相對(duì)簡(jiǎn)單 RNNWTensorFlow樣使 R 底層 C+加二且右開海糞孑匚袖4SGH層腳本 l 語言調(diào)用的方式 1 只不過RrchKSSMSIE使用的是5 支制MMs還支君虐川,最佳性持各種嵌入式礴（iOS.And 加FPGA等 ， 不過運(yùn)行時(shí)必須有UumJlT的環(huán)境，工業(yè)生產(chǎn)環(huán)境的使用相對(duì)較少GPU 上苣計(jì)算優(yōu)先，支持復(fù)雜神鯉網(wǎng)絡(luò)的拓?fù)鋱D結(jié)構(gòu).再并行化到CPU和GPU上較好的 CNN建模能力它的

8、符號(hào)計(jì)算入 PI支恃循環(huán)控制，讓RNN的實(shí)現(xiàn)”篇簡(jiǎn)單并且高性能育觀而模塊化的架構(gòu).開發(fā)相對(duì)簡(jiǎn)單在調(diào)忒時(shí)輸出的錯(cuò)誤信息非常理以看H.DEBUG 非常痛苫上層的計(jì)算圖優(yōu)化算在并個(gè)框架中率先支持多法可以讓符號(hào)計(jì)算執(zhí)支持非常多的語言封裝寸*+、Pyttion行得非常快,且節(jié)熱內(nèi) R、Julia.Scala,Go、MAR 朋和黑 Y 魯猊言嚷*-存湖建一個(gè)網(wǎng)絡(luò)需要MvaScript.同時(shí)可忸在 AM 箱汨、i0S 溪*嗨嗑舞楚+的時(shí)間可能比小麗上運(yùn)行基于深度學(xué)習(xí)的囤像識(shí)別等任Tor 曲長(zhǎng)但比直接用務(wù)鬻鬻然多1GPUTh3 附快甄分布式集群稍簫后干TensorFlow;支持 Linux、Mac和 Wind

9、 口陽 I 但是沒在定義新網(wǎng)絡(luò)結(jié)構(gòu)時(shí).有底層 C+接口都.罟摸型十分不方便通常需要長(zhǎng)盹間的編不支持理珅移動(dòng)設(shè)備洋ITieano 的上片史度封裝.崇尚極笥、息度嗅塊化的神經(jīng)網(wǎng)絡(luò)框架可以殖電切換執(zhí)行計(jì)算的后隊(duì)目前同時(shí)支持 Theam 和 TensorFkw;組件全是可插撥的模塊，比較適合在探索階段快速嘗試各種網(wǎng)絡(luò)結(jié)構(gòu),這讓醺而 3 非常適合前沿價(jià)究尊H界的最愛之一只在 QpenCL 和丁健加。S 己的自即自my應(yīng)上支持空GPUUI 陳;目前沒有分右式實(shí)現(xiàn);在單 GPU 上抗行效率”不錯(cuò).但是鵠要將Python代碼轉(zhuǎn)換成 CUDA 代碼， 再編譯為二進(jìn)制可執(zhí)行文件，編譯復(fù)雜模型的時(shí)間久目前無法直接使

10、用多GPU,大規(guī)模數(shù)據(jù)處理速度沒有其他支持多GPU和分布式的框架快同樣是 Th 的 no 的上層封裝，設(shè)計(jì)的原區(qū)是簡(jiǎn)潔、選用、模塊膽、實(shí)用、聚焦和專注;Karas 隱藏了 Th 葩 no 中所有的方法和對(duì)象，而 Lm&ggrw 則是借用了Theamj中很多的類茸是介于基貼的仙曲m卻高度抽象灼熊之間的輕度封裝對(duì)神經(jīng)網(wǎng)筋的每一廄定義都非常嚴(yán)凰支持前饋相經(jīng)網(wǎng)絡(luò)如CNN.RNN、LSTM 等而及它們的朝合;同時(shí)支持許多優(yōu)業(yè)方法如NE31EElYiome 血 m.RMSpcnp.ADAW 等.學(xué)H界的最要之二少見新手期資料;同樣具有開源卷積箱經(jīng)網(wǎng)絡(luò)基準(zhǔn)洌試的最佳性能;未來可能與GPU無關(guān)了，建諛

11、美注 Intel 今才推出的專用深度學(xué)習(xí)CPU第一課：數(shù)學(xué)分析與概率論Taylor展式及其應(yīng)用、凸函數(shù)、jensen不等式、常見分布與共輾分布第二課：數(shù)理統(tǒng)計(jì)與參數(shù)估計(jì)Chebyshev不等式、大數(shù)定理、小數(shù)定理、中心極值定理、矩陣計(jì)算、最大似然估計(jì)第三課:矩陣和線性代數(shù)從馬爾克夫模型看矩陣、特征向量、對(duì)稱矩陣、線性方程第四課：凸優(yōu)化凸函數(shù)、共輾函數(shù)、凸優(yōu)化、Lagrange對(duì)偶函數(shù)第五課：回歸高斯分布、Logistic回歸、梯度下降、特征選擇與過擬合欠擬合關(guān)系應(yīng)用方向：線性回歸、Logistic回歸實(shí)現(xiàn)和分析第六課：梯度下降與擬牛頓法應(yīng)用方向：自適應(yīng)學(xué)習(xí)率代碼實(shí)現(xiàn)和參數(shù)調(diào)試分析第七課：最大嫡

12、模型嫡、相對(duì)嫡、信息增益、最大嫡模型、Softmax回歸應(yīng)用方向：獨(dú)立成分分析ICA求解盲源分離BBS問題第八課： 決策樹和隨機(jī)森林（蒙特卡羅）ID3、C4.5、CARTBagging研究方向：使用隨機(jī)森林進(jìn)行數(shù)據(jù)分類（蒙特卡洛）第九課：SVM線性可分支持向量機(jī)、軟間隔、核函數(shù)、SMO研究方向：使用SVM進(jìn)行數(shù)據(jù)分類第十課：聚類K-means/K-Medoids、密度聚類、譜聚類、應(yīng)用方向：K-mean$譜梯度下降算法、自適應(yīng)學(xué)習(xí)率、擬牛頓、LBFGS聚類代碼實(shí)現(xiàn)和參數(shù)調(diào)試分析第十一課：推薦系統(tǒng)相似度量方案、協(xié)同過濾（User-based/ltem-based）、PCA/SVD、隨機(jī)游走應(yīng)用方

13、向：協(xié)同過濾用于商品推薦、SVD隱變量的推薦第十二課：提升梯度提升決策樹GBDT、Adaboost、前向分步算法應(yīng)用方向：Adaboost與隨機(jī)森林（蒙特卡洛）結(jié)合、用于數(shù)據(jù)分類第十三課：EM算法和GMMEMM算法、GMM、主題模型pLSA應(yīng)用方向：分解部分觀測(cè)數(shù)據(jù)的男女身高、圖像分解第十四課：普斯貝葉斯和貝葉斯網(wǎng)絡(luò)初步有向分離、（隱）馬爾科夫模型HMM第十五課：主題模型用EM算法計(jì)算pLSADirichiet分布、LDAGibbs采樣應(yīng)用方向：使用Gibbs采樣計(jì)算給語料的主題第十六課：采樣MCMC(MarkovchainMonteCarlo)、Metropolis-Hastings算法、G

14、ibbs采樣第十七課：變分KL(pllq)與KL(qllp)分析、平均場(chǎng)理論第十八課：隱馬爾科夫模型HMM概率計(jì)算問題、HMM參數(shù)學(xué)習(xí)問題、狀態(tài)預(yù)測(cè)問題應(yīng)用方向：使用HMM進(jìn)行中文分詞第十九課：條件隨機(jī)場(chǎng)CRF無向圖模型、MRF、前向-后向算法第二十課：深度學(xué)習(xí)全連接網(wǎng)絡(luò)、鏈?zhǔn)椒▌t與BP算法、卷積網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)、應(yīng)用方向：使用BP網(wǎng)絡(luò)對(duì)樣本分類第十三課：深度學(xué)習(xí)總體介紹1 .神經(jīng)網(wǎng)絡(luò)；傳統(tǒng)到現(xiàn)代2 .深度學(xué)習(xí)應(yīng)用特定3 .深度學(xué)習(xí)發(fā)展方向4 .深度學(xué)習(xí)框架比較：用 Tensorflow 進(jìn)行課程學(xué)習(xí)第十四課：傳統(tǒng)神經(jīng)網(wǎng)絡(luò)1 .線性回歸2 .非線性激勵(lì)函數(shù)3 .loss 函數(shù)，常見問題：過擬合，

15、正則化，dropout實(shí)例：傳統(tǒng)神經(jīng)網(wǎng)絡(luò)絡(luò)實(shí)現(xiàn)第十五課反向反饋：深度學(xué)習(xí)模型優(yōu)化基礎(chǔ)1 .SGD 梯度下降介紹2 .神經(jīng)網(wǎng)絡(luò)的梯度優(yōu)化3 .神經(jīng)網(wǎng)絡(luò)訓(xùn)練實(shí)例：反向梯度優(yōu)化對(duì)比第十六課卷積神經(jīng)網(wǎng)絡(luò)1.卷積核以及卷積層2.AlexNet 最早的現(xiàn)代神經(jīng)網(wǎng)絡(luò)3.VGG,GoogleNet,ResNet.近期的高級(jí)網(wǎng)絡(luò) LeNet 實(shí)例： 利用已有模型進(jìn)行物體分類/特征提取第十七課遷移學(xué)習(xí)1 .理論分析2 .遷移模型&原始訓(xùn)練模型3 .如何設(shè)計(jì)新的的網(wǎng)絡(luò)實(shí)例：表情識(shí)別/人臉識(shí)別/動(dòng)物識(shí)別第十八課與時(shí)域信息相關(guān)的深度學(xué)習(xí)1 .RNN2 .LSTM3 .圖片標(biāo)題生成4 .視頻處理實(shí)例：LSTM 用

16、于圖片標(biāo)題生成第十九課自然語言處理1 .處理之前：speechtotext2 .詞語表達(dá)，word2vect3 .語句生成 LSTM實(shí)例：根據(jù)上下文回答問題第二十課給予深度學(xué)習(xí)的目標(biāo)檢測(cè)1 .傳統(tǒng)的目標(biāo)檢測(cè)方法2 .初代算法：RegionCNN3 .升級(jí)：SPPNet,FastRCNN,FasterRCNN4 .深度學(xué)習(xí)另辟蹊徑：YoLo 和 SSD實(shí)例：自動(dòng)駕駛的核心：實(shí)時(shí)目標(biāo)檢測(cè)第二十一課深度卷積神經(jīng)偶的重要應(yīng)用1 .圖片問答2 .圖像模式轉(zhuǎn)換3 .圖像高清化4 .圍棋程序，Alphago5 .自動(dòng)游戲機(jī)器人，DeepMindAtari實(shí)例：圖片藝術(shù)風(fēng)格轉(zhuǎn)化第二十二課無監(jiān)督學(xué)習(xí)：對(duì)抗網(wǎng)絡(luò)G

17、AN1 .傳統(tǒng)無監(jiān)督學(xué)習(xí) Autoencode,KMeans,SparseCoding2 .RBM 限制博斯曼機(jī)，深度學(xué)習(xí)的另一支3 .生成對(duì)抗網(wǎng)絡(luò) GAN實(shí)例：機(jī)器生成圖片，以假亂真第二十三課：遷移學(xué)習(xí)第二十四課：增強(qiáng)學(xué)習(xí)記憶模型，遠(yuǎn)超過 RNN 的 GTMM第二十五課：二值神經(jīng)網(wǎng)絡(luò)普通二值神經(jīng)網(wǎng)絡(luò)，YodaNNXLA 如何讓機(jī)器學(xué)習(xí)在 TensorFlow 上提升速度第二十六課：對(duì)偶學(xué)習(xí)納米神經(jīng)網(wǎng)絡(luò) NanoNetAsolutiontothesingle-questioncrowdwisdomproblem（選自自然雜志意味流行算法解決群體智慧中缺陷）語義理解（目前自然語言界最大難關(guān)）使用

18、 LSTM+Attion 解決像素卷積神經(jīng)網(wǎng)絡(luò)（PixelCNN+）可將圖像生成速度提高 183 倍WaveNetRLSSscheduletobepostedsoon（深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)暑期學(xué)校）機(jī)器與大腦學(xué)習(xí)項(xiàng)目課程計(jì)劃CNNsRNNsGenerativeModels2ComputationalNeuroscience1LearningtolearnCoffeBreakNeuralNetworksStructuredModels/AdvancedVisionProbabillsticNumericsNaturalLanguageUnderstandingComputational常見問題:Q:會(huì)有實(shí)際上機(jī)演示和動(dòng)手操作嗎？A:有，幾乎每節(jié)課，老師均會(huì)準(zhǔn)備上機(jī)演示部分