深度學(xué)習(xí)框架比較2說課材料

深度學(xué)習(xí)框架比較2Caffe優(yōu)點(diǎn)第一個主流的工業(yè)級深度學(xué)習(xí)工具。在計(jì)算機(jī)視覺領(lǐng)域Caffe依然是最流行的工具包。很多常用論文的網(wǎng)絡(luò)擁有caffe實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)定義簡單，網(wǎng)絡(luò)則使用Protobuf定義缺點(diǎn)：1）它有很多擴(kuò)展，但是由于一些遺留的架構(gòu)問題，不夠靈活且對遞歸網(wǎng)絡(luò)和語言建模的支持很差。2）基于層的網(wǎng)絡(luò)結(jié)構(gòu)，其擴(kuò)展性不好，對于新增加的層，需要自己實(shí)現(xiàn)（forward,backwardandgradientupdate）Caffe的全稱應(yīng)該是ConvolutionalArchitectureforFastFeatureEmbedding，它是一個清晰、高效的深度學(xué)習(xí)框架，它是開源的，核心語言是C++，它支持命令行、Python和Matlab接口，它既可以在CPU上運(yùn)行也可以在GPU上運(yùn)行。實(shí)現(xiàn)模塊化。Theano優(yōu)點(diǎn)相對靈活正確使用的話性能較好缺點(diǎn)陡峭的學(xué)習(xí)曲線大量的底層API編譯復(fù)雜符號圖的時候可能會很慢Theano不僅僅是一個可以獨(dú)立使用的庫，它還是我們下面介紹的很多框架的底層數(shù)值計(jì)算引擎；它來自蒙特利爾大學(xué)MILA實(shí)驗(yàn)室，由FrédéricBastien最早創(chuàng)建。Theano提供的API相對底層，因此如果你希望高效運(yùn)行Theano，你必須對它的底層算法非常熟悉。如果你擁有豐富的機(jī)器學(xué)習(xí)理論知識與經(jīng)驗(yàn)，并且你希望對于自己的模型有細(xì)粒度的控制或者自己動手創(chuàng)建新的模型，那么Theano是個不錯的選擇?？偨Y(jié)而言，Theano最大的優(yōu)勢就是其靈活性。Lasagne優(yōu)點(diǎn)還是比較靈活的比Theano提供了更高層的抽象接口文檔與代碼更為條理清晰缺點(diǎn)社區(qū)并不是很活躍鑒于Theano著重打造面向符號數(shù)學(xué)的工具庫，Lasagne提供了基于Theano的相對高層的抽象，使它對于偏向工程的深度學(xué)習(xí)開發(fā)者更為友好。它最早由DeepMind的研究學(xué)者SanderDieleman開發(fā)與維護(hù)。不同于Theano中網(wǎng)絡(luò)模型需要指定為符號變量的表達(dá)式，Lasagne允許用戶以層的概念來定義網(wǎng)絡(luò)，并且引入了所謂的“Conv2DLayer”與“DropoutLayer”。Lasagne以犧牲部分靈活性為代價提供了常用的組件來進(jìn)行層構(gòu)建、初始化、模型正則化、模型監(jiān)控與模型訓(xùn)練。TensorFlow優(yōu)點(diǎn)由Google支持社區(qū)很繁榮同時提供了底層與高層的網(wǎng)絡(luò)訓(xùn)練接口，還要tflearn,tfslim上層接口比Theano提供了更高層的抽象接口比Theano能夠更快地訓(xùn)練模型缺點(diǎn)對RNN的支持度仍然落后于Theano一開始的時候性能不是很好，但已經(jīng)有所改進(jìn)使用數(shù)據(jù)流圖進(jìn)行數(shù)值計(jì)算的開源軟件庫。TensorFlow集成了類似于Theano這樣底層的符號計(jì)算功能，也包含了類似于Blocks或者Lasagne這樣的高層API。盡管TensorFlow登上Python深度學(xué)習(xí)庫的時間尚短，但是它已經(jīng)成為了最受矚目、社區(qū)最為龐大的工具。TensorFlow由Google大腦團(tuán)隊(duì)發(fā)布并且維護(hù)，它支持多GPU的機(jī)器學(xué)習(xí)模型，提供了高效的數(shù)據(jù)管道以及內(nèi)建的用于審視、可視化以及序列化模型的功能。最近TensorFlow團(tuán)隊(duì)決定添加對于Keras的內(nèi)建支持，使得TensorFlow具備更好的可用性。盡管社區(qū)都認(rèn)同TensorFlow是有缺陷的，但是因?yàn)槠渖鐓^(qū)的龐大與項(xiàng)目背后支持力量，學(xué)習(xí)TensorFlow會是個不錯的選擇；。Keras優(yōu)點(diǎn)你可以自由選擇使用Theano或者TensorFlow直觀，高級的接口相對簡單的學(xué)習(xí)曲線缺點(diǎn)與其他相比靈活性略差支持卷積神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)的Python深度學(xué)習(xí)庫，能夠運(yùn)行在Theano或者TensorFlow之上。Keras算是這個列表中提供了最高層接口、用戶使用最友好的深度學(xué)習(xí)庫了。它由Google大腦團(tuán)隊(duì)的FrancisChollet創(chuàng)建與維護(hù)；它允許用戶自由選擇底層模型構(gòu)建框架，可以是Theano或者TensorFlow。Keras的用戶交互借鑒了Torch，如果你有基于Lua進(jìn)行機(jī)器學(xué)習(xí)的經(jīng)驗(yàn)，Keras會是很值得一試的工具。因?yàn)镵eras完善的文檔與簡單易用的接口，Keras的社區(qū)非常繁榮與活躍。最近，TensorFlow團(tuán)隊(duì)宣布計(jì)劃將內(nèi)建支持Keras，因此不久的將來Keras會是TensorFlow項(xiàng)目的子集了吧。MXNet優(yōu)點(diǎn)相當(dāng)快的評測結(jié)果徹底的靈活性缺點(diǎn)社區(qū)最小比Theano更陡峭的學(xué)習(xí)曲線MXNet致力于提供兼顧性能與靈活性的深度學(xué)習(xí)框架。作為Amazon的欽定深度學(xué)習(xí)框架，MXNet也算是性能最好的深度學(xué)習(xí)框架之一了。它提供了類似于Theano與TensorFlow的數(shù)據(jù)流圖，并且支持多GPU配置，提供了類似于Lasagne與Blocks的相對高階的模型構(gòu)建塊，還能運(yùn)行在多種硬件設(shè)備上（包括移動設(shè)備）。Python只是MXNet支持的多種語言之一，它還提供了基于R,Julia,C++,Scala,Matlab以及JavaScript的多種接口。如果你專注于效率，那么MXNet是個不二選擇，不過你可能會要讓自己習(xí)慣MXNet中很多的奇怪設(shè)定。Pytorch與torch優(yōu)點(diǎn)由Facebook支持與維護(hù)支持動態(tài)圖計(jì)算同時提供了高層接口與底層接口代碼邏輯很PYTHON缺點(diǎn)與競爭者相比還不成熟除了官方文檔之外的相關(guān)資料尚處于短缺支持強(qiáng)力GPU加速的PythonTensor與動態(tài)神經(jīng)網(wǎng)絡(luò)庫。PyTorch問世不過數(shù)周，在我們的深度學(xué)習(xí)框架列表中尚屬新生兒。雖然PyTorch主要基于LuaTorch，但是它是由Facebook人工智能研究團(tuán)隊(duì)（FAIR）支持的，并且它設(shè)計(jì)初衷就是用來處理動態(tài)計(jì)算圖問題，這個特性也是其他的Theano，TensorFlow，以及其他擴(kuò)展框架所沒有的。雖然PyTorch尚未成熟，但是因?yàn)樗@一特性我們相信它會在未來的Python深度學(xué)習(xí)生態(tài)系統(tǒng)中占據(jù)一席之地，并且我們認(rèn)為它是個非常不錯的選項(xiàng)。Keras優(yōu)點(diǎn)你可以自由選擇使用Theano或者TensorFlow直觀，高級的接口相對簡單的學(xué)習(xí)曲線缺點(diǎn)與其他相比靈活性略差支持卷積神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)的Python深度學(xué)習(xí)庫，能夠運(yùn)行在Theano或者TensorFlow之上。Keras算是這個列表中提供了最高層接口、用戶使用最友好的深度學(xué)習(xí)庫了。它由Google大腦團(tuán)隊(duì)的FrancisChollet創(chuàng)建與維護(hù)；它允許用戶自由選擇底層模型構(gòu)建框架，可以是Theano或者TensorFlow。Keras的用戶交互借鑒了Torch，如果你有基于Lua進(jìn)行機(jī)器學(xué)習(xí)的經(jīng)驗(yàn)，Keras會是很值得一試的工具。因?yàn)镵eras完善的文檔與簡單易用的接口，Keras的社區(qū)非常繁榮與活躍。最近，TensorFlow團(tuán)隊(duì)宣布計(jì)劃將內(nèi)建支持Keras，因此不久的將來Keras會是TensorFlow項(xiàng)目的子集了吧。比較表Dataaugmentation

訓(xùn)練：隨機(jī)crop。訓(xùn)練時候，對于256＊256的圖片進(jìn)行隨機(jī)crop到224＊224，然后允許水平翻轉(zhuǎn)，那么相當(dāng)與將樣本倍增到((256-224)^2)*2=2048。測試：測試時候，對左上、右上、左下、右下、中間做了5次crop，然后翻轉(zhuǎn)，共10個crop，之后對結(jié)果求平均。Crop大小不能太小，能夠保證原始信息不