深度學(xué)習(xí)應(yīng)用開發(fā) 課件 cha1 5-深度學(xué)習(xí)框架介紹

目錄深度學(xué)習(xí)框架概念01任務(wù)主流的深度學(xué)習(xí)框架02任務(wù)TensorFlow基礎(chǔ)框架03任務(wù)1深度學(xué)習(xí)框架概念1深度學(xué)習(xí)框架概念深度學(xué)習(xí)框架是一種為了降低深度學(xué)習(xí)開發(fā)門檻而開發(fā)的深度學(xué)習(xí)工具，框架包含庫(kù)、數(shù)據(jù)集和預(yù)訓(xùn)練模型等資源。深度學(xué)習(xí)框架可以簡(jiǎn)化模型的開發(fā)過程，復(fù)雜深度學(xué)習(xí)模型開發(fā)被大大簡(jiǎn)化，成為AI開發(fā)者的必用利器。開發(fā)者不需要從復(fù)雜的神經(jīng)網(wǎng)絡(luò)開始編代碼，可以依據(jù)需要調(diào)用框架內(nèi)置的模型，也可以在已有模型的基礎(chǔ)上增加layer，選擇分類器。目前，TensorFlow和PyTorch框架為主力深度學(xué)習(xí)框架，其中TensorFlow市場(chǎng)需求最多，且部署能力強(qiáng)，在應(yīng)用部署中使用較多。PyTorch在學(xué)術(shù)界、學(xué)術(shù)論文中使用較多。2主流的深度學(xué)習(xí)框架介紹2深度學(xué)習(xí)框架介紹Theano

最早的深度學(xué)習(xí)框架之一，是一個(gè)基于Python語言、定位底層運(yùn)算的計(jì)算庫(kù)，Theano同時(shí)支持GPU和CPU運(yùn)算。缺點(diǎn)：Theano開發(fā)效率較低，模型編譯時(shí)間較長(zhǎng)，同時(shí)開發(fā)人員轉(zhuǎn)投TensorFlow等原因，Theano目前已經(jīng)停止維護(hù)。2深度學(xué)習(xí)框架介紹Scikit-learn一個(gè)完整的面向機(jī)器學(xué)習(xí)算法的計(jì)算庫(kù)，內(nèi)嵌了常見的傳統(tǒng)機(jī)器學(xué)習(xí)算法支持，文檔和案例也較為豐富。

缺點(diǎn)：但是Scikit-learn并不是專門面向神經(jīng)網(wǎng)絡(luò)而設(shè)計(jì)的，不支持GPU加速，對(duì)神經(jīng)網(wǎng)絡(luò)相關(guān)層實(shí)現(xiàn)也較欠缺。2深度學(xué)習(xí)框架介紹Caffe由華人博士賈揚(yáng)清在2013年開發(fā)，主要面向使用卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用場(chǎng)合，并不適合其他類型的神經(jīng)網(wǎng)絡(luò)的應(yīng)用。Caffe的主要開發(fā)語言是C++，也提供Python語言等接口，支持GPU和CPU。開發(fā)時(shí)間早，知名度高，2017年Facebook推出了Caffe的升級(jí)版本Cafffe2，且Caffe2目前已經(jīng)融入到PyTorch庫(kù)中。2深度學(xué)習(xí)框架介紹Torch

是一個(gè)非常優(yōu)秀的科學(xué)計(jì)算庫(kù)，基于較冷門的編程語言Lua開發(fā)。Torch靈活性較高，容易實(shí)現(xiàn)自定義網(wǎng)絡(luò)層，這也是PyTorch繼承獲得的優(yōu)良基因。缺點(diǎn)：但是由于Lua語言使用人群較小，Torch一直未能獲得廣泛應(yīng)用。2深度學(xué)習(xí)框架介紹MXNET由華人博士陳天奇和李沐等人開發(fā)，MXNET是亞馬遜公司的官方深度學(xué)習(xí)框架，采用了命令式編程和符號(hào)式編程混合方式，靈活性高，運(yùn)行速度快，文檔和案例也較為豐富。PyTorch是Facebook基于原有的Torch框架推出的采用Python作為主要開發(fā)語言的深度學(xué)習(xí)框架。PyTorch借鑒了Chainer的設(shè)計(jì)風(fēng)格，采用命令式編程，使得搭建網(wǎng)絡(luò)和調(diào)試網(wǎng)絡(luò)非常方便。盡管PyTorch在2017年才發(fā)布，但是由于精良緊湊的接口設(shè)計(jì)，PyTorch在學(xué)術(shù)界獲得了廣泛好評(píng)。在PyTorch1.0版本后，原來的PyTorch與Caffe2進(jìn)行了合并，彌補(bǔ)了PyTorch在工業(yè)部署方面的不足?？偟膩碚f，PyTorch是一個(gè)非常優(yōu)秀的深度學(xué)習(xí)框架。2深度學(xué)習(xí)框架介紹Keras

一個(gè)基于Theano和TensorFlow等框架提供的底層運(yùn)算而實(shí)現(xiàn)的高層框架，提供了大量方便快速訓(xùn)練，測(cè)試的高層接口，對(duì)于常見應(yīng)用來說，使用Keras開發(fā)效率非常高。缺點(diǎn)：但是由于沒有底層實(shí)現(xiàn)，需要對(duì)底層框架進(jìn)行抽象，運(yùn)行效率不高，靈活性一般。TensorFlow由Google于2015年發(fā)布。由于TensorFlow接口設(shè)計(jì)頻繁變動(dòng)，功能設(shè)計(jì)重復(fù)冗余，符號(hào)式編程開發(fā)和調(diào)試非常困難等問題，TensorFlow1.x版本一度被業(yè)界詬病。2019年，Google推出TensorFlow2正式版本，能夠避免TensorFlow1.x版本的諸多缺陷。3TensorFlow基礎(chǔ)框架3TensorFlow基礎(chǔ)框架系統(tǒng)框架Tensorflow系統(tǒng)框架分為三層，由上而下依次是應(yīng)用層、接口層和Tensorflow核心層。TensorFlow系統(tǒng)框架3TensorFlow基礎(chǔ)框架系統(tǒng)框架的六大特性深度靈活性（DeepFlexibility）真正的可移植性（TruePortability）連接研究與產(chǎn)品（ConnectResearchand