Tensorflow實踐教學(xué)大綱

1、深度學(xué)習(xí)原理與 Tensorflow 實踐 教學(xué)大綱課程中文名稱： 深度學(xué)習(xí)原理與 Tensorflow 實踐課程代碼：課程英文名稱： Principle of Deep Learning and Tensorflow Practicing課程類別與性質(zhì)： 通識課、學(xué)科專業(yè)課、選修課總學(xué)時： 48 學(xué)時學(xué)分： 3先修課程：高等數(shù)學(xué)面向?qū)ο螅?高年級本科生開課系（室）：一、課程教學(xué)目標深度學(xué)習(xí)原理與 TensorFlow 實踐是一門介紹深度學(xué)習(xí)理論和編程知識與技能的課 程，是為大學(xué)高年級學(xué)生開設(shè)的旨在提高同學(xué)們對目前前沿人工智能的知識與技能的一門課 程。該課程是一門實踐性很強的課程。 開設(shè)本課程

2、的目的是為了使學(xué)生能夠?qū)ι疃葘W(xué)習(xí)有進 一步的了解；能夠使用 TensorFlow 框架分析和設(shè)計深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)；同時能夠掌握一定 的 TensorFlow 編程知識。通過深度學(xué)習(xí)原理與 TensorFlow 實踐的教學(xué)，使學(xué)生對深度學(xué)習(xí)理論和 TensorFlow 編 程有一定的了解。通過 TensorFlow 編程的練習(xí)，對完整深度學(xué)習(xí)應(yīng)用系統(tǒng)的編程有全面的 了解，并獲得一定的 TensorFlow 編程編程知識。（一）知識目標通過深度學(xué)習(xí)原理與 TensorFlow 實踐的學(xué)習(xí)，學(xué)生可以獲得有關(guān)學(xué)術(shù)界和工業(yè)界的深 度學(xué)習(xí)核心知識。 包括神經(jīng)網(wǎng)絡(luò)、 深度學(xué)習(xí)， 深度學(xué)習(xí)框架 TensorF

3、low ，Python 編程基礎(chǔ)、 TensorFlow 編 程 基 礎(chǔ) 、 TensorFlow 模 型 、 TensorFlow 編 程 實 踐 、 TensorFlowLite 和 TensorFlow.js 、 TensorFlow 應(yīng)用案例代碼分析等相關(guān)知識與技能。為以后開發(fā)深度學(xué)習(xí)應(yīng)用程序打下必要的基礎(chǔ)。（二）能力目標通過本課程的學(xué)習(xí)， 學(xué)生應(yīng)獲得如下能力： 獲取深度學(xué)習(xí)進一步知識的能力； TensorFlow 編程能力；使用 TensorFlow 開發(fā)深度學(xué)習(xí)系統(tǒng)的能力；較強的自主學(xué)習(xí)能力，提高學(xué)生學(xué) 習(xí)深度學(xué)習(xí)和 TensorFlow 編程技術(shù)的積極性和學(xué)習(xí)興趣；主動探索和獨立

4、思考的能力。二、課程內(nèi)容及學(xué)時分配知識單元 1：深度學(xué)習(xí)緒論和機器學(xué)習(xí)概論參考學(xué)時： 3 學(xué)時學(xué)習(xí)目標：1. 了解深度學(xué)習(xí)的發(fā)展歷程和 TensorFlow 的應(yīng)用現(xiàn)狀， 掌握機器學(xué)習(xí)相關(guān)的數(shù)學(xué)基礎(chǔ) 知識、相關(guān)的機器學(xué)習(xí)理論和機器學(xué)習(xí)方法以及數(shù)據(jù)的預(yù)處理方法。教學(xué)內(nèi)容：1. 深度學(xué)習(xí)的發(fā)展歷程和 TensorFlow 的應(yīng)用現(xiàn)狀 知識要點：人工智能發(fā)展三個重要階段；深度學(xué)習(xí)框架以及 TensorFlow 的地位。2. 機器學(xué)習(xí)相關(guān)數(shù)學(xué)知識 知識要點：微積分基礎(chǔ)知識、線形代數(shù)基礎(chǔ)知識以及概率論基礎(chǔ)知識。3. 機器學(xué)習(xí)方法知識要點： 監(jiān)督學(xué)習(xí)、 非監(jiān)督學(xué)習(xí)、 半監(jiān)督學(xué)習(xí)和強監(jiān)督學(xué)習(xí)。 KNN 算法

5、、 SVM 算法、 樸素貝葉斯分類、決策樹算法、聚類算法、半監(jiān)督聚類、 Q-learning 。4. 數(shù)據(jù)的預(yù)處理方法 知識要點：有效數(shù)據(jù)的獲取、數(shù)據(jù)的數(shù)值化、 數(shù)據(jù)的標準化和歸一化、 數(shù)據(jù)的降維、 主成分分析法。難點： 機器學(xué)習(xí)方法。重點： 機器學(xué)習(xí)方法和數(shù)據(jù)預(yù)處理方法。 分析思考討論題：1. 深度學(xué)習(xí)對人類社會與經(jīng)濟的重要作用。2. 監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強監(jiān)督學(xué)習(xí)共同和差異。3. 實際應(yīng)用中的數(shù)據(jù)預(yù)處理方法。知識單元 2：神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí) 參考學(xué)時： 9 學(xué)時學(xué)習(xí)目標：1. 了解神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識、理解神經(jīng)網(wǎng)絡(luò)模型，掌握多層感知機神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng) 網(wǎng)絡(luò) 、循環(huán)神經(jīng)網(wǎng)絡(luò) 、深

6、度置信網(wǎng)絡(luò)，了解深度學(xué)習(xí)開源開發(fā)框架。教學(xué)內(nèi)容：1. 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識知識要點： MP 模型，感知機，梯度下降法，感知機學(xué)習(xí)算法，三層感知機，BP 算法。2. 神經(jīng)網(wǎng)絡(luò)模型知識要點：徑向基函數(shù)網(wǎng)絡(luò)， Hopfield 網(wǎng)絡(luò)， Elman 神經(jīng)網(wǎng)絡(luò)，玻爾茲曼機，自動編碼 器，生成對抗網(wǎng)絡(luò)。3. 多層感知機神經(jīng)網(wǎng)絡(luò) 知識要點：多層感知機反向傳播算法，多層感知機反向傳播算法推理。4. 激活函數(shù)、損失函數(shù)和過擬合知識要點： Sigmoid 函數(shù)、 tanh 函數(shù) 、 Relu 函數(shù)、 maxout 激活函數(shù) 、Softmax 激活 函數(shù)， 二次損失函數(shù)、 交叉熵、 對數(shù)似然函數(shù) ，L2 正則化、 L1

7、 正則化、 Dropout 、提前終止訓(xùn)練、 數(shù)據(jù)集擴增。5. 卷積神經(jīng)網(wǎng)絡(luò)知識要點： 卷積神經(jīng)網(wǎng)絡(luò)原理、 卷積層、 池化層、卷積神經(jīng)網(wǎng)絡(luò)反向傳播學(xué)習(xí)算法。6. 循環(huán)神經(jīng)網(wǎng)絡(luò) 知識要點：循環(huán)神經(jīng)網(wǎng)絡(luò)模型原理、 BPTT 算法、 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)、深度循環(huán)神經(jīng) 網(wǎng)絡(luò)、長短時記憶網(wǎng)絡(luò)( LSTM )、 門控循環(huán)單元網(wǎng)絡(luò) (GRU) 。7. 深度置信網(wǎng)絡(luò) 知識要點：受限玻爾茲曼機原理、 RBM 求解算法 、對比散度算法、 深度置信網(wǎng)絡(luò)。8. 深度學(xué)習(xí)框架 知識要點： TensorFlow 、Caffe、 Theano、 Keras。難點： 多層感知機、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)。重點： 多層感知機反

8、向傳播算法、 激活函數(shù)、損失函數(shù)和過擬合、 卷積 、 池化 、長短 時記憶網(wǎng)絡(luò)、門控循環(huán)單元網(wǎng)絡(luò)。分析思考討論題：1. 感知機、三層感知機與多層感知機神經(jīng)網(wǎng)絡(luò)反向傳播算法的異同。2. 梯度消失與梯度爆炸問題。如何避免？3. 過擬合與避免過擬合的方法。4. 卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)中權(quán)值參數(shù)為什么要共享？知識單元 3：Python 編程基礎(chǔ) 參考學(xué)時： 3 學(xué)時 學(xué)習(xí)目標：1. 理解和掌握 Python 安裝、 Jupyter notebook 編程器使用、 Python 編程基礎(chǔ)、 Python 標準庫以及 Python 機器學(xué)習(xí)庫。教學(xué)內(nèi)容：1. Python 編程環(huán)境搭建 知識要點： P

9、ython 安裝、 Jupyter notebook 編程器安裝與使用。2. Python 編程基礎(chǔ)和 Python 標準庫知識要點： Python 標識符、 Python 標準數(shù)據(jù)類型、 Python 語句、 Python 運算符、 Python 代碼組、 Python 流程控制、 Python 函數(shù)、 Python 模塊、 Python 類、命名空間 和作用域， Python 標準庫。3. Python 機器學(xué)習(xí)庫 知識要點： NumPy, SciPy， Pandas， Scikit-learn 。難點： Python 函數(shù)、 Python 模塊、 Python 類； Python 機器學(xué)

10、習(xí)庫。 重點： Python 編程基礎(chǔ)和 Python 標準庫； Python 機器學(xué)習(xí)庫。 分析思考討論題：1. Python 代碼組。2分析 Python 機器學(xué)習(xí)庫示例代碼。知識單元 4： Tensorflow 編程、模型以及實踐參考學(xué)時： 12 學(xué)時學(xué)習(xí)目標：1. 掌握 TensorFlow 環(huán)境安裝、 TensorFlow 的系統(tǒng)架構(gòu)及源碼結(jié)構(gòu)、 TensorFlow 的高 層封裝。2. 掌握 TensorFlow 模型構(gòu)建、 TensorFlow 模型訓(xùn)練 、 Tensorborad 調(diào)式與評估、 estimator 以及 TensorFlow 模型載入、保存以及調(diào)用。3. 分析

11、MNIST 手寫數(shù)字識別、 Fashion MNIST 和 TensorflowRNN 簡筆畫識別示例代 碼。教學(xué)內(nèi)容：1. TensorFlow 發(fā)展歷程與演進、 TensorFlow 環(huán)境安裝知識要點： TensorFlow 版本演進，各操作系統(tǒng)環(huán)境下的 TensorFlow 安裝。2. TensorFlow 的編程基礎(chǔ)知識要點：張量，符號編程，變量、常量、會話（Sessio n）,占位符（placeholder）、獲?。?Fetch） 和饋送（ Feed） ， Variable 類，常量、 序列以及隨機值 執(zhí)行圖 （ Running Graphs）, 操作運算, 基本數(shù)學(xué)函數(shù) ,矩陣數(shù)學(xué)

12、函數(shù), 張量數(shù)學(xué)函數(shù), 張量 Reduction 操作,累加、累積,張量拆分操作,序列比較與索引,張量數(shù)據(jù)類型變換,張量形狀的確定與改變。3. TensorFlow 的系統(tǒng)架構(gòu)及源碼結(jié)構(gòu) , Eager 執(zhí)行,回歸擬合、預(yù)測示例知識要點：TensorFlow的系統(tǒng)架構(gòu)及源碼結(jié)構(gòu)，Eager執(zhí)行，簡單回歸擬合，波士頓房價預(yù)測。4. TensorFlow 模型編程模式。知識要點： tf.nn, tf.layers, tf. Estimator , tf.Keras。5. TensorFlow 讀取數(shù)據(jù)和模型搭建。知識要點：載入數(shù)據(jù)，創(chuàng)建迭代器，使用dataset數(shù)據(jù)讀取數(shù)據(jù)，模型搭建。6. Ten

13、sorflow 模型訓(xùn)練和評估, TensorFlow 模型載入、保存以及調(diào)用。知識要點： Tensorflow 模型訓(xùn)練,tf.losses, tf.Train ,評價指標, tf.metrics , TensorFlow模型載入、保存以及調(diào)用。7. 可視化分析和評估模型知識要點： tf.summary , Tensorboard 可視化工具, Tensorboard 分析 mnist 案例8. 鳶尾花分類示例知識要點：鳶尾花分類, tf. Estimator 構(gòu)建神經(jīng)網(wǎng)絡(luò)和評估模型。9. MNIST 手寫數(shù)字識別、 Fashion MNIST 、 RNN 簡筆畫識別知識要點： MNIST

14、手寫數(shù)字識別 tf.nn 實現(xiàn), MNIST 手寫數(shù)字識別 tf.estimator 實現(xiàn), Fashion MNIST , Keras 序列模型, Fashion MNIST 代碼分析, RNN 簡筆畫識別代碼分析。難點： TensorFlow 模型編程模式， TensorFlow 模型搭建， Tensorflow 模型訓(xùn)練和評估，可視 化分析和評估模型。重點： TensorFlow 的編程基礎(chǔ)， tf.nn ， tf.layers， tf. Estimator ， tf.Keras ， Tensorboard ， MNIST 手寫數(shù)字識別。分析思考討論題：1. 為什么 TensorFlow

15、 需要從低級 API 到高級封裝 API 的模型編程模式？2. 有哪些模型訓(xùn)練和評估方法？3. 符號編程與過程式編程的異同， Eager 執(zhí)行的優(yōu)缺點？知識單元 5： Tensorflow Lite 和 Tensorflow.js參考學(xué)時： 3 學(xué)時學(xué)習(xí)目標：1. 了解和掌握 TensorFlow Lite 和 TensorFlow.js教學(xué)內(nèi)容：1. TensorFlow Lite知識要點： 模型轉(zhuǎn)換為 .tflite 文件， TensorFlow lite 的移動端安卓開發(fā)， TensorFlow lite 的移動端 iOS 開發(fā)。2. TensorFlow.js知識要點： TensorF

16、low.js 庫引入， TensorFlow.js 基礎(chǔ)知識 ， TensorFlow.js 的數(shù)據(jù)擬合 曲線示例， TensorFlow.js 的卷積網(wǎng)絡(luò)手寫數(shù)字識別示例。難點： 模型轉(zhuǎn)換為 .tflite 文件， TensorFlow.js 基礎(chǔ)知識 。重點： TensorFlow lite 的移動端安卓開發(fā)， TensorFlow.js 的卷積網(wǎng)絡(luò)手寫數(shù)字識別示例 。 分析思考討論題：1. 如何將訓(xùn)練好的模型轉(zhuǎn)換為 .tflite 文件 ？2. TensorFlow.js 中 GPU 內(nèi)存管理。知識單元 6： Tensorflow 應(yīng)用案例分析參考學(xué)時： 6 學(xué)時學(xué)習(xí)目標：1. 了解和掌

17、握開源醫(yī)學(xué)圖像分析平臺 DLTK 和 Seq2Seq+attention 模型以及其在自動生成 摘要和聊天機器人的應(yīng)用。教學(xué)內(nèi)容：1. 開源醫(yī)學(xué)圖像分析平臺 DLTK 知識要點：開源醫(yī)學(xué)圖像分析平臺 DLTK 安裝運行，數(shù)據(jù)讀取，數(shù)據(jù)標準化，數(shù)據(jù)增 強，類別數(shù)據(jù)平衡，多通道腦 MR 圖像的圖像分割， T1 加權(quán)腦 MR 圖像的年齡回歸和性別分類，3T多通道腦MR圖像的表示學(xué)習(xí)，T1W腦MR圖像的簡單超分辨率重建，F(xiàn)CN，U-Net，DeepMedic，卷積自編碼器，深度卷積對抗生成網(wǎng)絡(luò)（DCGAN），深度殘差網(wǎng)絡(luò)，超分辨率重建。2. Seq2Seq+atte ntion模型以及其在自動生成摘要

18、和聊天機器人的應(yīng)用知識要點：Seq2Seq+attention模型，TensorFlow自動文本摘要生成TextSum ， 聊天機器人 DeepQA， Stanford TensorFlow Chatbot。難點：醫(yī)學(xué)圖像神經(jīng)網(wǎng)絡(luò)模型，Seq2Seq+atte ntion模型。重點：醫(yī)學(xué)數(shù)據(jù)讀取，圖像分割，聊天機器人DeepQA。分析思考討論題：1. 醫(yī)學(xué)數(shù)據(jù)讀取的方法。2. 為什么采用Seq2Seq+attention模型？三、課程學(xué)時分配與教學(xué)方法（一）理論性教學(xué)內(nèi)容課時分配表教學(xué)方式學(xué)教學(xué)萬式課程內(nèi)容（知識單元）理論講授習(xí)題課討論課備注小計知識單元1:深度學(xué)習(xí)緒論和機器學(xué)習(xí)概論303學(xué)時

19、知識單元2 :神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)909學(xué)時知識單元3: Python編程基礎(chǔ)303學(xué)時知識單元4: Tensorflow編程、模型以及實踐12012學(xué)時知識單元 5: Tensorflow Lite 和 Tensorflow.js303學(xué)時知識單元6: Tensorflow應(yīng)用案例分析606學(xué)時總計36036學(xué)時（二）實驗教學(xué)內(nèi)容課時分配表實驗項目 名稱內(nèi)容提要所用主要 設(shè)備 或?qū)嶒灜h(huán)境實驗學(xué)時每 組 人 數(shù)實驗屬性（基本/綜合 /設(shè)計/研究創(chuàng)新）開岀要求（必做/選做）實驗1 :Python 編程基礎(chǔ)與機器學(xué)習(xí)安裝 Python、 Jupyter notebook使用、機器學(xué)習(xí)代 碼練習(xí)。3基

20、本必做實驗2 :Tensorflow編程安裝 Tensorflow, tensorflow 簡單代碼練習(xí)、 TensorFlow 模型練習(xí)、Tensorboard可視 化工具使用。3基本實驗3 :Tensorflow編程實踐1. 鷲尾花分類實驗2. MNIST手寫數(shù)字識別3. Fashion MNIST3基本項目4 :Seq2Seq+at tention 模 型示例1. Tensorflow 自動文本摘要2. 聊天機器人DeepQA3. 聊天機器人Chatbot3綜合注：實驗數(shù)學(xué)共12學(xué)時（三）說明1. 教學(xué)方法深度學(xué)習(xí)原理與 Tensorflow實踐是一門實踐性很強的課程，必須堅持理論與實踐并 重的原則，在講清楚基本知識的基礎(chǔ)上， 要特別重視案例教學(xué)。 教師應(yīng)當在課堂上演示如何 編寫Tensorflow程序。2. 教學(xué)手段教師在教學(xué)手段上應(yīng)多采用課堂討論、案例分析以及實際應(yīng)用的分析設(shè)計等方法增強學(xué)生對深度學(xué)習(xí)和Tensorflow案例的整體認識；本課程必須采用多媒體教學(xué)手段。3. 實驗課本課程需要安排集中上機實驗，上機內(nèi)容和課時安排見表“實驗教學(xué)內(nèi)容課時分配表” 四、課程自主學(xué)習(xí)1. 學(xué)生可以通過安裝 Tensorflow開發(fā)環(huán)境，通過編程鞏固課堂學(xué)習(xí)知識。2. 學(xué)生可以根據(jù)教材中提