《Python深度學(xué)習(xí)入門》課程標(biāo)準(zhǔn)(教學(xué)大綱)

PAGE《Python深度學(xué)習(xí)入門》課程標(biāo)準(zhǔn)(教學(xué)大綱)（一）基本信息適用對象：人工智能技術(shù)應(yīng)用專業(yè)、軟件工程專業(yè)課程代碼：250186課程類別：必修課程學(xué)分：4學(xué)時(shí)：60學(xué)時(shí)先修課程：Python程序設(shè)計(jì)語言、機(jī)器學(xué)習(xí)基礎(chǔ)制定人：程源（二）課程的性質(zhì)與定位本課程是專業(yè)課，屬于專業(yè)必修課。本課程包括36學(xué)時(shí)的理論教學(xué)和24學(xué)時(shí)的實(shí)踐教學(xué)，在校內(nèi)完成。本課程適用于人工智能技術(shù)應(yīng)用專業(yè)，讓學(xué)生在先修課程的基礎(chǔ)上，為學(xué)生進(jìn)行人工智能工程與管理職業(yè)技能訓(xùn)練、畢業(yè)綜合實(shí)踐等后續(xù)課程及從事人工智能相關(guān)等崗位工作打下基礎(chǔ)。本課程與廣東奧普特科技有限公司和深圳匯控智能技術(shù)有限公司共同開發(fā)，面向合作企業(yè)的人工智能和機(jī)器人相關(guān)崗位，根據(jù)需要可以在廣東奧普特公司和深圳匯控智能技術(shù)有限公司等企業(yè)的校外實(shí)習(xí)基地開展課程相關(guān)的實(shí)踐。（三）課程目標(biāo)1.總體目標(biāo)《Python深度學(xué)習(xí)入門》是面向人工智能技術(shù)應(yīng)用專業(yè)的一門專業(yè)課，涉及機(jī)器學(xué)習(xí)基礎(chǔ)、深度學(xué)習(xí)基礎(chǔ)、利用深度學(xué)習(xí)框架實(shí)現(xiàn)深度模型以及產(chǎn)品環(huán)境中的模型部署等內(nèi)容。通過本課程的學(xué)習(xí)，學(xué)生能夠掌握利用深度學(xué)習(xí)框架實(shí)現(xiàn)深度學(xué)習(xí)模型的基礎(chǔ)知識。本課程主要目標(biāo)在于幫助學(xué)生理解深度學(xué)習(xí)的基礎(chǔ)理論，掌握利用深度學(xué)習(xí)實(shí)現(xiàn)深度學(xué)習(xí)模型的基本方法，同時(shí)具備一定的產(chǎn)品環(huán)境中模型的部署能力。通過本課程的學(xué)習(xí)，使學(xué)生掌握深度學(xué)習(xí)的基本理論和實(shí)踐方法，同時(shí)通過工作任務(wù)式學(xué)習(xí)提升分析問題、歸納總結(jié)問題、解決實(shí)際復(fù)雜問題等方面關(guān)鍵能力，從而使學(xué)生形成積極參與、主動(dòng)探索、注重團(tuán)隊(duì)精神和責(zé)任意識等方面的職業(yè)素質(zhì)。實(shí)施課程思政。以人工智能案例等作為融入點(diǎn)，使學(xué)生了解行業(yè)最新發(fā)展動(dòng)態(tài)，激發(fā)學(xué)生社會(huì)責(zé)任感；了解人工智能在政治、經(jīng)濟(jì)、軍事和社會(huì)穩(wěn)定等方面的重要性，通過實(shí)際案例進(jìn)行分析，培養(yǎng)學(xué)生的愛國熱情。2.具體目標(biāo)及要求（1）專業(yè)能力目標(biāo)課程的教學(xué)要達(dá)到三個(gè)層次的目的：1.知識結(jié)構(gòu)。通過使用Python庫實(shí)現(xiàn)經(jīng)典的深度學(xué)習(xí)框架的過程逐步深度學(xué)習(xí)的本質(zhì)，使學(xué)生理解深度學(xué)習(xí)的基本概念和算法，掌握神經(jīng)網(wǎng)絡(luò)的基本概念和理論知識，深度學(xué)習(xí)中主要網(wǎng)絡(luò)的基本概念和相關(guān)算法。2.思維結(jié)構(gòu)。在教學(xué)過程中培養(yǎng)學(xué)生的計(jì)算思維和邏輯，使學(xué)生能夠用計(jì)算和邏輯思維去分析問題和解決問題，在學(xué)習(xí)職業(yè)技能的同時(shí)培養(yǎng)思維習(xí)慣。3.職業(yè)素養(yǎng)。通過課程的教學(xué)，使學(xué)生對操作系統(tǒng)的存在問題和發(fā)展趨勢形成自己的認(rèn)識，能夠在工作實(shí)踐中更好地解決問題并把握機(jī)會(huì)。（2）關(guān)鍵能力目標(biāo)深度學(xué)習(xí)傳授的關(guān)鍵能力主要包括以下幾個(gè)方面?：1.問題模型化能力?；2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力；3.數(shù)據(jù)預(yù)處理能力；4.特征理解和轉(zhuǎn)換能力；5.選擇適當(dāng)算法的能力；?6.區(qū)分經(jīng)驗(yàn)誤差與泛化誤差能力；7.團(tuán)隊(duì)合作能力；?8.業(yè)務(wù)和技術(shù)結(jié)合能力。（3）課程思政要求1）通過分析人工智能發(fā)展歷史和現(xiàn)狀，了解行業(yè)發(fā)展動(dòng)態(tài)，激發(fā)學(xué)習(xí)動(dòng)力，培養(yǎng)社會(huì)責(zé)任感和愛國熱情。2）在人工智能領(lǐng)域，中國取得了很多矚目的成績，通過介紹我國在人工智能領(lǐng)域的成績，激發(fā)學(xué)生的民族自豪感，讓學(xué)生把國家富強(qiáng)、民族振興、人民幸福內(nèi)化為努力學(xué)習(xí)的動(dòng)力。3）融入企業(yè)應(yīng)用實(shí)例，了解行業(yè)新技術(shù)，培養(yǎng)學(xué)生“工匠精神”，提高學(xué)生的信息安全意識和法律法規(guī)意識。（四）課程設(shè)計(jì)思路本課程旨在讓學(xué)生能夠使用深度學(xué)習(xí)，不僅從零開始講授深度學(xué)習(xí)的概念、背景和代碼，同時(shí)也介紹深度學(xué)習(xí)的應(yīng)用和部署。為使學(xué)生能深入理解深度學(xué)習(xí)模型的細(xì)節(jié)（這些的細(xì)節(jié)通常會(huì)被深度學(xué)習(xí)框架隱藏起來），本課程通過使用最基本的Python庫構(gòu)建深度學(xué)習(xí)的核心組件，并實(shí)現(xiàn)一個(gè)深度學(xué)習(xí)框架逐步向讀者呈現(xiàn)深度學(xué)習(xí)的本質(zhì)。學(xué)生一旦理解這些組件是如何工作的，就可以輕松地在隨后的教程中使用深度學(xué)習(xí)框架了。本課程分為6個(gè)模塊，由20個(gè)子學(xué)習(xí)情境組成。本課程所設(shè)計(jì)的每個(gè)項(xiàng)目均是一個(gè)完整的工作過程，實(shí)施校企雙方共同指導(dǎo)，實(shí)施理論與實(shí)踐一體化教學(xué)，讓學(xué)生做中學(xué)、學(xué)中做，提高綜合職業(yè)能力，養(yǎng)成良好的職業(yè)素養(yǎng)。（五）教學(xué)內(nèi)容1.學(xué)時(shí)分配模塊名稱子學(xué)習(xí)情境學(xué)時(shí)分配小記模塊1深度學(xué)習(xí)概述深度學(xué)習(xí)概述讓機(jī)器學(xué)會(huì)學(xué)習(xí)44深度學(xué)習(xí)之“深度”深度學(xué)習(xí)的數(shù)據(jù)表示為什么要用深度學(xué)習(xí)模塊2神經(jīng)網(wǎng)絡(luò)入門神經(jīng)元人工神經(jīng)元214激活函數(shù)多層神經(jīng)網(wǎng)絡(luò)分類問題與獨(dú)熱編碼2MNIST數(shù)據(jù)集神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的輸出softmax函數(shù)神經(jīng)網(wǎng)絡(luò)的前向傳播各層間數(shù)據(jù)傳遞2多個(gè)樣本情況識別精度損失函數(shù)監(jiān)督學(xué)習(xí)2損失函數(shù)梯度下降法梯度下降2梯度的實(shí)現(xiàn)梯度下降法的實(shí)現(xiàn)學(xué)習(xí)算法的實(shí)現(xiàn)兩層神經(jīng)網(wǎng)絡(luò)模型4神經(jīng)網(wǎng)絡(luò)的訓(xùn)練基于測試數(shù)據(jù)的評價(jià)模塊3神經(jīng)網(wǎng)絡(luò)的反向傳播反向傳播及其實(shí)現(xiàn)反向傳播412ReLU層Sigmoid層Linear層Softmax-with-Loss層學(xué)習(xí)算法的實(shí)現(xiàn)構(gòu)建多層神經(jīng)網(wǎng)絡(luò)模型4隨機(jī)梯度下降法訓(xùn)練與預(yù)測構(gòu)建訓(xùn)練器4訓(xùn)練與推理模塊4改善神經(jīng)網(wǎng)絡(luò)優(yōu)化算法動(dòng)量法26AdaGradRMSpropAdam算法更新方法比較改進(jìn)訓(xùn)練器數(shù)值穩(wěn)定性和模型初始化梯度消失和梯度爆炸2抑制梯度異常初始化權(quán)重初始值的比較正則化與規(guī)范化過擬合與欠擬合權(quán)值衰減2Dropout正則化批量規(guī)范化改進(jìn)模型模塊5卷積神經(jīng)網(wǎng)絡(luò)從全連接到卷積卷積運(yùn)算414填充步幅三維數(shù)據(jù)的卷積運(yùn)算卷積層的實(shí)現(xiàn)卷積計(jì)算4四維數(shù)組基于im2col的展開卷積層的實(shí)現(xiàn)匯聚層匯聚運(yùn)算2匯聚層的實(shí)現(xiàn)LENET網(wǎng)絡(luò)構(gòu)建模型4模型訓(xùn)練預(yù)測模塊6深度學(xué)習(xí)實(shí)踐深度學(xué)習(xí)的工作流程定義任務(wù)210開發(fā)模型部署模型訓(xùn)練一個(gè)圖像分類模型創(chuàng)建圖像數(shù)據(jù)集4數(shù)據(jù)預(yù)處理構(gòu)建并訓(xùn)練模型文本分類準(zhǔn)備文本數(shù)據(jù)4構(gòu)建網(wǎng)絡(luò)合計(jì)學(xué)時(shí)60教學(xué)設(shè)計(jì)模塊1課程思政要求子學(xué)習(xí)情境1深度學(xué)習(xí)概述深度學(xué)習(xí)概述通過本章的學(xué)習(xí)，使學(xué)生對深度學(xué)習(xí)的概念、發(fā)展歷程有個(gè)總體認(rèn)識，本章既是課程開始的引論，也是課程結(jié)束的結(jié)論。了解中國人工智能面臨的國際形式與發(fā)展方向，增強(qiáng)學(xué)生社會(huì)責(zé)任感和愛國熱情。分析我國在人工智能領(lǐng)域的成就與貢獻(xiàn)，體會(huì)通過努力獲得的成就感。職業(yè)能力描述知識1.從數(shù)據(jù)中學(xué)習(xí)。2.深度神經(jīng)網(wǎng)絡(luò)：人工神經(jīng)元、神經(jīng)網(wǎng)絡(luò)。3.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。4.深度學(xué)習(xí)的數(shù)據(jù)表示。技能1.掌握標(biāo)量、向量、矩陣與張量。2.理解從數(shù)據(jù)中學(xué)習(xí)，從錯(cuò)誤中學(xué)習(xí)。3.理解深度學(xué)習(xí)的數(shù)據(jù)表示。4.理解神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程。關(guān)鍵能力1.問題模型化能力。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力。?主要內(nèi)容與要求主要內(nèi)容：1.從數(shù)據(jù)中學(xué)習(xí)。2.深度神經(jīng)網(wǎng)絡(luò)：人工神經(jīng)元、神經(jīng)網(wǎng)絡(luò)。3.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。4.深度學(xué)習(xí)的數(shù)據(jù)表示。要求：1.掌握標(biāo)量、向量、矩陣與張量。2.理解從數(shù)據(jù)中學(xué)習(xí)，從錯(cuò)誤中學(xué)習(xí)。3.理解深度學(xué)習(xí)的數(shù)據(jù)表示。4.理解神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程。模塊2課程思政要求子學(xué)習(xí)情境1神經(jīng)元神經(jīng)網(wǎng)絡(luò)入門本章是全書的理論基礎(chǔ)知識，通過本章的學(xué)習(xí)，讓學(xué)生對深度學(xué)習(xí)全貌有一個(gè)全面、系統(tǒng)的理解。具體地講，神經(jīng)網(wǎng)絡(luò)的一個(gè)重要性質(zhì)是它可以自動(dòng)地從數(shù)據(jù)中學(xué)習(xí)到合適的權(quán)重參數(shù)。本章中，我們會(huì)先介紹神經(jīng)網(wǎng)絡(luò)的概要，然后重點(diǎn)關(guān)注神經(jīng)網(wǎng)絡(luò)進(jìn)行識別時(shí)的處理，將介紹如何從數(shù)據(jù)中學(xué)習(xí)權(quán)重參數(shù)。為了使神經(jīng)網(wǎng)絡(luò)能進(jìn)行學(xué)習(xí)，本章導(dǎo)入損失函數(shù)這一指標(biāo)。而學(xué)習(xí)的目的就是以該損失函數(shù)為基準(zhǔn)，找出能使它的值達(dá)到最小的權(quán)重參數(shù)。并通過數(shù)值微分計(jì)算了神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)的梯度。數(shù)值微分簡單，容易實(shí)現(xiàn)，但缺點(diǎn)是計(jì)算上比較費(fèi)時(shí)間。職業(yè)能力描述知識1.通過修改由簡單的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)中的連接，就能產(chǎn)生智能行為。2.一層線性函數(shù)接著一層激活函數(shù)構(gòu)成一個(gè)人工神經(jīng)元。3.神經(jīng)元中的激活函數(shù)使用平滑變化的sigmoid函數(shù)或ReLU函數(shù)。技能1.使用NumPy多維數(shù)組，高效地實(shí)現(xiàn)向量和矩陣運(yùn)算。2.使用NumPy實(shí)現(xiàn)加權(quán)和。3.使用NumPy實(shí)現(xiàn)sigmoid函數(shù)。4.使用NumPy實(shí)現(xiàn)ReLU函數(shù)。關(guān)鍵能力1.問題模型化能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.通過修改由簡單的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)中的連接，就能產(chǎn)生智能行為。2.一層線性函數(shù)接著一層激活函數(shù)構(gòu)成一個(gè)人工神經(jīng)元。3.神經(jīng)元中的激活函數(shù)使用平滑變化的sigmoid函數(shù)或ReLU函數(shù)。要求：1.使用NumPy多維數(shù)組，高效地實(shí)現(xiàn)向量和矩陣運(yùn)算。2.使用NumPy實(shí)現(xiàn)加權(quán)和。3.使用NumPy實(shí)現(xiàn)sigmoid函數(shù)。4.使用NumPy實(shí)現(xiàn)ReLU函數(shù)。子學(xué)習(xí)情境2多層神經(jīng)網(wǎng)絡(luò)職業(yè)能力描述知識1.機(jī)器學(xué)習(xí)的問題大體上可以分為回歸問題和分類問題。2.關(guān)于輸出層的激活函數(shù)，回歸問題中一般用恒等函數(shù)，分類問題中一般用softmax函數(shù)。3.分類問題中，輸出層的神經(jīng)元的數(shù)量設(shè)置為要分類的類別數(shù)。4.輸入數(shù)據(jù)的集合稱為批。通過以批為單位進(jìn)行推理處理，能夠?qū)崿F(xiàn)高速的運(yùn)算。5.解決分類問題常使用獨(dú)熱編碼。技能1.理解表示分類數(shù)據(jù)的獨(dú)熱編碼，能用Python實(shí)現(xiàn)獨(dú)熱編碼。2.了解MNIST數(shù)據(jù)集。3.理解分類問題中常用的softmax函數(shù)，使用NumPy實(shí)現(xiàn)softmax函數(shù)。關(guān)鍵能力1.問題模型化能力。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。主要內(nèi)容與要求主要內(nèi)容：1.分類問題與獨(dú)熱編碼。2.MNIST數(shù)據(jù)集。3.神經(jīng)網(wǎng)絡(luò)的輸出。4.softmax函數(shù)。要求：1.理解表示分類數(shù)據(jù)的獨(dú)熱編碼，能用Python實(shí)現(xiàn)獨(dú)熱編碼。2.了解MNIST數(shù)據(jù)集。3.理解分類問題中常用的softmax函數(shù)，使用NumPy實(shí)現(xiàn)softmax函數(shù)。子學(xué)習(xí)情境3神經(jīng)網(wǎng)絡(luò)的前向傳播職業(yè)能力描述知識1.各層間數(shù)據(jù)傳遞。2.多個(gè)樣本情況。3.識別精度。技能1.理解多層神經(jīng)網(wǎng)絡(luò)。2.使用NumPy實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的前向傳播。3.使用NumPy多維數(shù)組，高效地實(shí)現(xiàn)識別精度。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.各層間數(shù)據(jù)傳遞。2.多個(gè)樣本情況。3.識別精度。要求：1.理解多層神經(jīng)網(wǎng)絡(luò)。2.使用NumPy實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的前向傳播。3.使用NumPy多維數(shù)組，高效地實(shí)現(xiàn)識別精度。子學(xué)習(xí)情境4損失函數(shù)職業(yè)能力描述知識1.機(jī)器學(xué)習(xí)中使用的數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)。2.神經(jīng)網(wǎng)絡(luò)用訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，并用測試數(shù)據(jù)評價(jià)學(xué)習(xí)到的模型的泛化能力。3.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)以損失函數(shù)為指標(biāo)，更新權(quán)重參數(shù)，以使損失函數(shù)的值減小。4.對于分類問題，常常使用交叉熵誤差作為損失函數(shù)。技能1.理解為什么要設(shè)定損失函數(shù)。2.使用NumPy多維數(shù)組，高效地實(shí)現(xiàn)多個(gè)樣本情況下的損失函數(shù)。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的。主要內(nèi)容與要求主要內(nèi)容：1.監(jiān)督學(xué)習(xí)。2.損失函數(shù)。3.交叉熵誤差損失函數(shù)及其實(shí)現(xiàn)。要求：1.理解為什么要設(shè)定損失函數(shù)。2.使用NumPy多維數(shù)組，高效地實(shí)現(xiàn)多個(gè)樣本情況下的損失函數(shù)。子學(xué)習(xí)情境5梯度下降法職業(yè)能力描述知識1.利用某個(gè)給定的微小值的差分求導(dǎo)數(shù)的過程，稱為數(shù)值微分。利用數(shù)值微分，可以計(jì)算損失函數(shù)相對于權(quán)重參數(shù)的梯度，進(jìn)而實(shí)現(xiàn)學(xué)習(xí)算法。2.梯度下降法的實(shí)現(xiàn)步驟如下：步驟1（mini-batch），從訓(xùn)練數(shù)據(jù)中隨機(jī)選出一部分?jǐn)?shù)據(jù)，這部分?jǐn)?shù)據(jù)稱為mini-batch。目標(biāo)是減小mini-batch的損失函數(shù)的值；步驟2（計(jì)算梯度），為了減小mini-batch的損失函數(shù)的值，需要求出各個(gè)權(quán)重參數(shù)的梯度。梯度表示損失函數(shù)的值減小最多的方向；步驟3（更新參數(shù)），將權(quán)重參數(shù)沿梯度方向進(jìn)行微小更新；步驟4（重復(fù)），重復(fù)步驟1、步驟2、步驟3。技能1.理解數(shù)值微分，能用Python實(shí)現(xiàn)中心差分法。2.理解梯度下降法的實(shí)現(xiàn)步驟。3.能使用NumPy實(shí)現(xiàn)數(shù)值梯度計(jì)算。關(guān)鍵能力1.問題模型化能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.利用數(shù)值微分，可以計(jì)算損失函數(shù)相對于權(quán)重參數(shù)的梯度，進(jìn)而實(shí)現(xiàn)學(xué)習(xí)算法。2.梯度下降法的實(shí)現(xiàn)步驟。要求：1.理解數(shù)值微分，能使用NumPy實(shí)現(xiàn)中心差分法。2.理解梯度下降法的實(shí)現(xiàn)步驟。3.能使用NumPy實(shí)現(xiàn)數(shù)值梯度計(jì)算。子學(xué)習(xí)情境6學(xué)習(xí)算法的實(shí)現(xiàn)職業(yè)能力描述知識1.兩層神經(jīng)網(wǎng)絡(luò)模型。2.神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。3.基于測試數(shù)據(jù)的評價(jià)。技能1.能用Python實(shí)現(xiàn)兩層神經(jīng)網(wǎng)絡(luò)模型。2.能利用MNIST數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)。3.能夠利用測試數(shù)據(jù)評價(jià)神經(jīng)網(wǎng)絡(luò)的泛化能力。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.兩層神經(jīng)網(wǎng)絡(luò)模型。2.神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。3.基于測試數(shù)據(jù)的評價(jià)。要求：1.能使用NumPy實(shí)現(xiàn)兩層神經(jīng)網(wǎng)絡(luò)模型。2.能利用MNIST數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)。3.能利用測試數(shù)據(jù)評價(jià)神經(jīng)網(wǎng)絡(luò)的泛化能力。模塊3課程思政要求子學(xué)習(xí)情境1反向傳播的實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的反向傳播本章介紹了神經(jīng)網(wǎng)絡(luò)中的誤差反向傳播法，并以層為單位實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)中的處理。這些層中實(shí)現(xiàn)了forward和backward方法，通過將數(shù)據(jù)正向和反向地傳播，可以高效地計(jì)算權(quán)重參數(shù)的梯度。通過使用層進(jìn)行模塊化，神經(jīng)網(wǎng)絡(luò)中可以自由地組裝層，輕松構(gòu)建出自己喜歡的網(wǎng)絡(luò)。職業(yè)能力描述知識1.多層神經(jīng)網(wǎng)絡(luò)可以視為由多個(gè)點(diǎn)積（??????）、激活函數(shù)（????????????????可以是sigmoid、ReLU或softmax函數(shù)等）嵌套成的復(fù)合函數(shù)。2.基于復(fù)合函數(shù)求導(dǎo)的鏈?zhǔn)椒▌t可以程式化的計(jì)算神經(jīng)網(wǎng)絡(luò)對權(quán)重的梯度，實(shí)現(xiàn)誤差的反向傳播。3.利用NumPy高效地實(shí)現(xiàn)ReLU層、Sigmoid層、Linear層、Softmax-with-Loss層等，這些層中實(shí)現(xiàn)了正向計(jì)算（forward）和反向計(jì)算（backward）方法。4.通過將數(shù)據(jù)正向和反向地傳播，可以高效地計(jì)算權(quán)重參數(shù)的梯度。技能能夠利用NumPy高效地實(shí)現(xiàn)ReLU層、Sigmoid層、Linear層和Softmax-with-Loss層。關(guān)鍵能力1.問題模型化能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.反向傳播。2.ReLU層及其NumPy實(shí)現(xiàn)。3.Sigmoid層及其NumPy實(shí)現(xiàn)。4.Linear層及其NumPy實(shí)現(xiàn)。5.Softmax-with-Loss層及其NumPy實(shí)現(xiàn)。要求：能夠利用NumPy高效地實(shí)現(xiàn)ReLU層、Sigmoid層、Linear層和Softmax-with-Loss層。子學(xué)習(xí)情境2學(xué)習(xí)算法的實(shí)現(xiàn)職業(yè)能力描述知識1.通過使用層進(jìn)行模塊化，神經(jīng)網(wǎng)絡(luò)中可以自由地組裝層，輕松構(gòu)建出自己的網(wǎng)絡(luò)。2.對應(yīng)誤差反向傳播法的神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)。3.隨機(jī)梯度下降法。技能1.理解構(gòu)建多層神經(jīng)網(wǎng)絡(luò)模型SequentialNet。2.能使用NumPy實(shí)現(xiàn)隨機(jī)梯度下降法SGD。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力?。主要內(nèi)容與要求主要內(nèi)容：1.對應(yīng)誤差反向傳播法的神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)。2.隨機(jī)梯度下降法的實(shí)現(xiàn)。要求：1.理解構(gòu)建多層神經(jīng)網(wǎng)絡(luò)模型SequentialNet。2.能使用NumPy實(shí)現(xiàn)隨機(jī)梯度下降法SGD。子學(xué)習(xí)情境3訓(xùn)練與預(yù)測職業(yè)能力描述知識1.神經(jīng)網(wǎng)絡(luò)中有合適的權(quán)重和偏置，調(diào)整權(quán)重和偏置以便擬合訓(xùn)練數(shù)據(jù)的過程稱為學(xué)習(xí)。2.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)分為下面4個(gè)步驟：步驟1（mini-batch），從訓(xùn)練數(shù)據(jù)中隨機(jī)選擇一部分?jǐn)?shù)據(jù)；步驟2（計(jì)算梯度），計(jì)算損失函數(shù)關(guān)于各個(gè)權(quán)重參數(shù)的梯度；步驟3（更新參數(shù)），將權(quán)重參數(shù)沿梯度方向進(jìn)行微小的更新；步驟4（重復(fù)），重復(fù)步驟1、步驟2、步驟3。3.根據(jù)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)的4個(gè)步驟構(gòu)建訓(xùn)練器。4.利用Fashion-MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練與推理。技能1.理解構(gòu)建訓(xùn)練器的Python代碼。2.能夠利用SequentialNet構(gòu)建出自己的深度神經(jīng)網(wǎng)絡(luò)，并利用MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練與推理。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。5.選擇適當(dāng)算法的能力。?6.區(qū)分經(jīng)驗(yàn)誤差與泛化誤差能力。主要內(nèi)容與要求主要內(nèi)容：1.根據(jù)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)的4個(gè)步驟構(gòu)建訓(xùn)練器。2.利用Fashion-MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練與推理。要求：1.理解構(gòu)建訓(xùn)練器的Python代碼。2.能夠利用SequentialNet構(gòu)建出自己的深度神經(jīng)網(wǎng)絡(luò)，并利用MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練與推理。模塊4課程思政要求子學(xué)習(xí)情境1優(yōu)化算法改善神經(jīng)網(wǎng)絡(luò)本章將介紹神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中的一些重要觀點(diǎn)，主題涉及尋找最優(yōu)權(quán)重參數(shù)的最優(yōu)化方法、權(quán)重參數(shù)的初始值等。為了應(yīng)對過擬合，本章還將介紹權(quán)值衰減、Dropout等正則化方法，并進(jìn)行實(shí)現(xiàn)。最后將對近年來眾多研究中使用的批量規(guī)范化方法進(jìn)行簡單的介紹。這些都是現(xiàn)代神經(jīng)網(wǎng)絡(luò)中不可或缺的技術(shù)。使用本章介紹的方法，可以高效地進(jìn)行神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）的學(xué)習(xí)，提高識別精度。職業(yè)能力描述知識1.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)的目的是找到使損失函數(shù)的值盡可能小的參數(shù)。這是尋找最優(yōu)參數(shù)的問題，解決這個(gè)問題的過程稱為最優(yōu)化（optimization）。2.除了SGD，參數(shù)更新方法還有Momentum、AdaGrad、RMSprop、Adam等方法。3.并不存在能在所有問題中都表現(xiàn)良好的方法。一般而言，與SGD相比，其他4種方法可以學(xué)習(xí)得更快，有時(shí)最終的識別精度也更高。技能1.理解動(dòng)量法。2.理解AdaGrad。3.理解RMSprop。4.理解Adam算法。5.能夠利用Python和MNIST數(shù)據(jù)集比較更新方法。6.能夠改進(jìn)訓(xùn)練器。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.參數(shù)更新的Momentum、AdaGrad、RMSprop、Adam等方法的實(shí)現(xiàn)。2.比較了參數(shù)更新的各種算法。與SGD相比，其他4種方法可以學(xué)習(xí)得更快，有時(shí)最終的識別精度也更高。要求：1.理解動(dòng)量法。2.理解AdaGrad。3.理解RMSprop。4.理解Adam算法。5.能夠利用Python和MNIST數(shù)據(jù)集比較更新方法。6.能夠改進(jìn)訓(xùn)練器。子學(xué)習(xí)情境2數(shù)值穩(wěn)定性和模型初始化職業(yè)能力描述知識1.梯度消失和梯度爆炸是指訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，導(dǎo)數(shù)或坡度有時(shí)會(huì)變得非常大，或者非常小，這加大了訓(xùn)練的難度。2.抑制梯度異常初始化。3.權(quán)重初始值的比較：隨機(jī)初始化、sigmoid的權(quán)重初始值、ReLU的權(quán)重初始值。技能1.理解梯度消失和梯度爆炸。2.理解抑制梯度異常初始化。3.能夠利用Python和MNIST數(shù)據(jù)集進(jìn)行權(quán)重初始值的比較。關(guān)鍵能力1.問題模型化能力。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.梯度消失和梯度爆炸。2.抑制梯度異常初始化。3.權(quán)重初始值的比較。要求：1.理解梯度消失和梯度爆炸。2.理解抑制梯度異常初始化。3.能夠利用Python和MNIST數(shù)據(jù)集進(jìn)行權(quán)重初始值的比較。子學(xué)習(xí)情境3正則化與規(guī)范化職業(yè)能力描述知識1.深度學(xué)習(xí)的根本問題是優(yōu)化和泛化之間的對立。優(yōu)化是指調(diào)節(jié)模型以在訓(xùn)練數(shù)據(jù)上得到最佳性能，而泛化是指訓(xùn)練好的模型在沒見過的數(shù)據(jù)上的性能好壞。2.發(fā)生過擬合的原因，主要有以下兩個(gè)：1）模型擁有大量參數(shù)、表現(xiàn)力強(qiáng)；2）訓(xùn)練數(shù)據(jù)少。3.抑制過擬合的正則化技術(shù)有權(quán)值衰減、Dropout等。

4.使用批量規(guī)范化（BatchNormalization）可以加速學(xué)習(xí)，并且對初始值變得健壯。5.Dropout層和規(guī)范化層中實(shí)現(xiàn)了forward和backward方法。6.改進(jìn)模型：在SequentialNet神經(jīng)網(wǎng)絡(luò)模型上添加初始化、正則化和批量規(guī)范化方法。技能1.理解過擬合與欠擬合。2.理解權(quán)值衰減。3.理解Dropout正則化。4.理解批量規(guī)范化。5.能夠改進(jìn)SequentialNet神經(jīng)網(wǎng)絡(luò)模型，并能利用Fashion-MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練和推理。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.發(fā)生過擬合的原因，主要是：1）模型擁有大量參數(shù)、表現(xiàn)力強(qiáng)。2）訓(xùn)練數(shù)據(jù)少。3.抑制過擬合的正則化技術(shù)：權(quán)值衰減、Dropout。4.批量規(guī)范化。5.Dropout層和規(guī)范化層中實(shí)現(xiàn)了forward和backward方法；6.改進(jìn)模型：在SequentialNet神經(jīng)網(wǎng)絡(luò)模型上添加初始化、正則化和批量規(guī)范化方法。要求：1.理解過擬合與欠擬合。2.理解權(quán)值衰減。3.理解Dropout正則化。4.理解批量規(guī)范化。5.能夠改進(jìn)SequentialNet神經(jīng)網(wǎng)絡(luò)模型，并能利用Fashion-MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練和推理。模塊5課程思政要求子學(xué)習(xí)情境1從全連接到卷積卷積神經(jīng)網(wǎng)絡(luò)本章的主題是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。CNN被用于圖像識別、語音識別等各種場合，在圖像識別的比賽中，基于深度學(xué)習(xí)的方法幾乎都以CNN為基礎(chǔ)。本章將詳細(xì)介紹CNN的結(jié)構(gòu)，并用Python實(shí)現(xiàn)其處理內(nèi)容。通過實(shí)際案例分析，提高學(xué)生綜合應(yīng)用能力，培養(yǎng)求真務(wù)實(shí)的工作態(tài)度。職業(yè)能力描述知識1.全連接層將3維數(shù)據(jù)拉平為1維數(shù)據(jù)，無法利用與形狀相關(guān)的信息。2.卷積層可以保持形狀不變，卷積層的輸入數(shù)據(jù)稱為輸入特征圖，輸出數(shù)據(jù)稱為輸出特征圖。3.卷積運(yùn)算是將各個(gè)位置上濾波器的元素和輸入的對應(yīng)元素相乘，然后再求和，也稱為乘積累加運(yùn)算。4.在進(jìn)行卷積層的處理之前，有時(shí)要向輸入數(shù)據(jù)的周圍填入固定的數(shù)據(jù)，這稱為填充。5.應(yīng)用濾波器的位置間隔稱為步幅。6.三維數(shù)據(jù)的卷積運(yùn)算。技能1.理解卷積運(yùn)算。2.理解填充。3.理解步幅。4.理解三維數(shù)據(jù)的卷積運(yùn)算。5.能夠根據(jù)輸入大小，濾波器大小，填充和步幅計(jì)算，輸出大小。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.卷積運(yùn)算。2.填充。3.步幅。4.三維數(shù)據(jù)的卷積運(yùn)算。要求：1.理解卷積運(yùn)算。2.理解填充。3.理解步幅。4.理解三維數(shù)據(jù)的卷積運(yùn)算。5.能夠根據(jù)輸入大小，濾波器大小，填充和步幅計(jì)算，輸出大小。子學(xué)習(xí)情境2卷積層的實(shí)現(xiàn)職業(yè)能力描述知識1.四維數(shù)組和基于im2col的展開。2.卷積層中實(shí)現(xiàn)了forward和backward方法。技能1.理解卷積計(jì)算。2.理解四維數(shù)組。3.理解基于im2col的展開。4.理解卷積層的Python實(shí)現(xiàn)。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.四維數(shù)組和基于im2col的展開。2.卷積層中實(shí)現(xiàn)了forward和backward方法。要求：1.理解卷積計(jì)算。2.理解四維數(shù)組。3.理解基于im2col的展開。4.理解卷積層的Python實(shí)現(xiàn)。子學(xué)習(xí)情境3匯聚層的實(shí)現(xiàn)職業(yè)能力描述知識1.大部分神經(jīng)網(wǎng)絡(luò)中會(huì)添加匯聚層（也稱池化層）和全連接層。2.匯聚是縮小高、寬方向上的空間的運(yùn)算。3.匯聚只是從目標(biāo)區(qū)域中取最大值（或者平均值），所以不存在要學(xué)習(xí)的參數(shù)；經(jīng)過匯聚運(yùn)算，輸入數(shù)據(jù)和輸出數(shù)據(jù)的通道數(shù)不會(huì)發(fā)生變化；匯聚對微小的位置變化具有魯棒性（健壯）。4.匯聚層的實(shí)現(xiàn)中實(shí)現(xiàn)了forward和backward方法。技能1.掌握匯聚的計(jì)算。2.理解匯聚層的Python實(shí)現(xiàn)。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.大部分神經(jīng)網(wǎng)絡(luò)中會(huì)添加匯聚層（也稱池化層）和全連接層。2.匯聚是縮小高、寬方向上的空間的運(yùn)算。3.匯聚只是從目標(biāo)區(qū)域中取最大值（或者平均值），所以不存在要學(xué)習(xí)的參數(shù)；經(jīng)過匯聚運(yùn)算，輸入數(shù)據(jù)和輸出數(shù)據(jù)的通道數(shù)不會(huì)發(fā)生變化；匯聚對微小的位置變化具有魯棒性（健壯）。4.匯聚層的實(shí)現(xiàn)中實(shí)現(xiàn)了forward和backward方法。要求：1.掌握匯聚的計(jì)算。2.理解匯聚層的Python實(shí)現(xiàn)。子學(xué)習(xí)情境4LeNet網(wǎng)絡(luò)職業(yè)能力描述知識1.全連接的神經(jīng)網(wǎng)絡(luò)中，Linear層后面跟著激活函數(shù)ReLU層，而卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)成則是由一個(gè)或多個(gè)“Convolution-ReLU–Pooling”的組合，后面再跟著全連接層（FC）構(gòu)成。2.LeNet是最早發(fā)布的卷積神經(jīng)網(wǎng)絡(luò)之一。3.LeNet網(wǎng)絡(luò)的Python實(shí)現(xiàn)。技能1.掌握而卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)成：由一個(gè)或多個(gè)“Convolution-ReLU–Pooling”的組合，后面再跟著全連接層（FC）。2.理解LeNet網(wǎng)絡(luò)的Python實(shí)現(xiàn)。3.能利用Fashion-MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練和推理。關(guān)鍵能力1.問題模型化能力。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力。?6.區(qū)分經(jīng)驗(yàn)誤差與泛化誤差能力。主要內(nèi)容與要求主要內(nèi)容：1.全連接的神經(jīng)網(wǎng)絡(luò)中，Linear層后面跟著激活函數(shù)ReLU層，而卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)成則是由一個(gè)或多個(gè)“Convolution-ReLU–Pooling”的組合，后面再跟著全連接層（FC）構(gòu)成。2.LeNet網(wǎng)絡(luò)的Python實(shí)現(xiàn)。要求：1.掌握而卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)成：由一個(gè)或多個(gè)“Convolution-ReLU–Pooling”的組合，后面再跟著全連接層（FC）。2.理解LeNet網(wǎng)絡(luò)的Python實(shí)現(xiàn)。3.能利用Fashion-MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練和推理。模塊6課程思政要求子學(xué)習(xí)情境1深度學(xué)習(xí)的工作流程深度學(xué)習(xí)實(shí)踐本章給出一份通用指南，可以用它來處理和解決任何機(jī)器學(xué)習(xí)問題。融入企業(yè)應(yīng)用實(shí)例，了解行業(yè)新技術(shù)，培養(yǎng)學(xué)生“工匠精神”。職業(yè)能力描述知識1.定義任務(wù)：了解問題所屬領(lǐng)域和客戶需求背后的業(yè)務(wù)邏輯；收集數(shù)據(jù)，理解數(shù)據(jù)的含義，并選擇衡量任務(wù)成功的指標(biāo)。2.開發(fā)模型：準(zhǔn)備數(shù)據(jù)，使其可以被深度學(xué)習(xí)模型處理。選擇模型評估方法，并確定一個(gè)簡單基準(zhǔn)（模型應(yīng)能夠超越這個(gè)基準(zhǔn)）。訓(xùn)練第一個(gè)具有泛化能力并且能夠過擬合的模型，然后對模型進(jìn)行正則化并不斷調(diào)節(jié)，直到獲得最佳泛化性能。3.部署模型：將模型部署到Web服務(wù)器、移動(dòng)應(yīng)用程序、網(wǎng)頁或嵌入式設(shè)備上，監(jiān)控模型在真實(shí)環(huán)境中的性能，并開始收集構(gòu)建下一代模型所需的數(shù)據(jù)。技能1.了解定義任務(wù)的主要過程。2.了解開發(fā)模型的主要過程3.了解部署模型的主要過程關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力。?6.區(qū)分經(jīng)驗(yàn)誤差與泛化誤差能力。7.團(tuán)隊(duì)合作能力。?8.業(yè)務(wù)和技術(shù)結(jié)合能力。主要內(nèi)容與要求主要內(nèi)容：1.定義任務(wù)