機(jī)器學(xué)習(xí) 教學(xué)大綱

第頁機(jī)器學(xué)習(xí)一、課程說明課程編號：090217Z10課程名稱（中/英文）：機(jī)器學(xué)習(xí)/MachineLearning課程類別：學(xué)科基礎(chǔ)課學(xué)時/學(xué)分：48/3先修課程：線性代數(shù)、概率論與數(shù)理統(tǒng)計、計算機(jī)程序設(shè)計基礎(chǔ)（C語言）適用專業(yè)：計算機(jī)科學(xué)與技術(shù)、智能科學(xué)與技術(shù)、物聯(lián)網(wǎng)工程、信息安全教材、教學(xué)參考書：1.斯坦福CS229MachineLearningNotes.AndrewNg.http:///materials.html2.CBishop著.PatternRecognitionandMachineLearning.Springer,2006年3.TMitchell著,曾華軍等譯.機(jī)器學(xué)習(xí).北京:機(jī)械工業(yè)出版社,2008年4.THastie等著.TheElementsofStatisticalLearning:DataMining,Inference,andPrediction.Springer,2009年5.YAbu-Mostafa等著.LearningFromData.AMLBook,2012年6.KMurphy等.MachineLearning:AProbabilisticPerspective.MITPress,2012年二、課程設(shè)置的目的意義機(jī)器學(xué)習(xí)是計算機(jī)科學(xué)科的一門重要的基礎(chǔ)課程，主要研究如何使得計算機(jī)能自主的進(jìn)行學(xué)習(xí)從而具有一定的機(jī)器智能，是計算機(jī)視覺、大數(shù)據(jù)分析與數(shù)據(jù)挖掘等課程的基礎(chǔ)。課程的設(shè)置目的是讓學(xué)生通過學(xué)習(xí)該課程，系統(tǒng)地掌握模式識別與機(jī)器學(xué)習(xí)的基本概念、基礎(chǔ)理論以及解決問題的基本思想方法，為從事相關(guān)工作打下理論基礎(chǔ)。三、課程的基本要求知識：了解模式識別與機(jī)器學(xué)習(xí)的基本概念、發(fā)展、應(yīng)用等；熟練掌握貝葉斯決策、決策樹、線性回歸與分類、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等基本原理和方法；熟練掌握正則化理論和模型選擇的基本原理和應(yīng)用；熟練掌握非監(jiān)督學(xué)習(xí)中的聚類與維數(shù)約減方法；能熟練的實(shí)現(xiàn)或利用上述基本的算法完成具體的實(shí)際任務(wù)。能力：從應(yīng)用的角度分析各種機(jī)器學(xué)習(xí)算法的適應(yīng)場景，能熟練實(shí)現(xiàn)各種典型算法，并培養(yǎng)針對具體應(yīng)用時如何對系統(tǒng)進(jìn)行診斷、調(diào)試，實(shí)現(xiàn)模型的選擇和參數(shù)的優(yōu)化，以及決定在素質(zhì)：熟練運(yùn)用假設(shè)－目標(biāo)優(yōu)化函數(shù)－優(yōu)化算法三要素分析理清各種機(jī)器學(xué)習(xí)算法，利用診斷、調(diào)試分析等工具在具體應(yīng)用中如何處理遇到的各種困難，建立科學(xué)的算法到應(yīng)用的思維模式，通過分析具體的應(yīng)用建立創(chuàng)新思維，改進(jìn)或提出新的機(jī)器學(xué)習(xí)算法。通過課外導(dǎo)學(xué)的模式，提升自主學(xué)習(xí)和終身學(xué)習(xí)的意識，形成不斷學(xué)習(xí)和適應(yīng)發(fā)展素質(zhì)。四、教學(xué)內(nèi)容、重點(diǎn)難點(diǎn)及教學(xué)設(shè)計章節(jié)教學(xué)內(nèi)容總學(xué)時學(xué)時分配教學(xué)重點(diǎn)教學(xué)難點(diǎn)教學(xué)方案設(shè)計（含教學(xué)方法、教學(xué)手段）講課(含研討)實(shí)踐第1章緒論220教學(xué)思路：從機(jī)器學(xué)習(xí)的定義出發(fā)，分別介紹監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)等第2章線性回歸662（課外）線性回歸模型的損失函數(shù)、梯度下降迭代求解和矩陣代數(shù)封閉解線性回歸損失函數(shù)、梯度下降、矩陣微分教學(xué)思路：從單變量的房價預(yù)測問題出發(fā)，介紹最小二乘問題的目標(biāo)函數(shù)及其梯度下降優(yōu)化求解；在簡單回顧了線性代數(shù)基礎(chǔ)后，介紹最小二乘問題基于矩陣表示的封閉解；最后從概率出發(fā)，給出最小二乘方法的概率解釋。第3章Logistic回歸444（課外）Logistic函數(shù)，概率解釋、Logistic損失函數(shù)、梯度下降與牛頓法Logistic函數(shù)及其梯度、Logistic損失函數(shù)、梯度下降與牛頓法教學(xué)思路：從腫瘤分類問題出發(fā)，介紹二分類問題中經(jīng)典的Logistic回歸方法，包括其損失函數(shù)，梯度下降優(yōu)化，牛頓法第4章廣義線性模型44指數(shù)分布、最小二乘和Logistic回歸的指數(shù)分布解釋、softmax回歸指數(shù)分布、最小二乘和Logistic回歸的指數(shù)分布解釋、softmax回歸教學(xué)思路：從指數(shù)分布的定義出發(fā)，介紹基于指數(shù)分布最小二乘和Logistic回歸解釋，進(jìn)而介紹適用于多分類問題的softmax回歸算法第5章生成模型44貝葉斯決策、高斯分布、參數(shù)估計、樸素貝葉斯、多變量伯努力事件模型貝葉斯決策、樸素貝葉斯、多變量伯努力事件模型教學(xué)思路：從貝葉斯決策理論出發(fā)，介紹高斯分布模型及其決策、參數(shù)的最大似然估計和貝葉斯估計、樸素貝葉斯分類器、拉普拉斯平滑，最后介紹基于多變量伯努力事件模型的文本分類算法第6章支持向量機(jī)664（課外）Margin的概念、SVM損失函數(shù)的推導(dǎo)、SVM的優(yōu)化求解、核方法拉格朗日對偶、KKT條件、核方法、正則化、SMO算法教學(xué)思路：從線性分類器的margin的概念出發(fā)，討論支持向量機(jī)的目標(biāo)函數(shù)的推導(dǎo)和優(yōu)化求解，分別討論線性可分和線性不可分時以及基于核方法的非線性SVM第7章正則化444（課外）過擬合問題、偏差方差平衡、交叉驗(yàn)證、貝葉斯正則化偏差方差平衡、交叉驗(yàn)證與模型選擇、貝葉斯正則化教學(xué)思路：從過擬合問題出發(fā)，介紹正則化理論中的偏差方差平衡、交叉驗(yàn)證、特征選擇、貝葉斯正則化解釋等第8章神經(jīng)網(wǎng)絡(luò)664（課外）神經(jīng)網(wǎng)絡(luò)的模型表示、損失函數(shù)、信號燈前向傳播、梯度方向傳播、梯度估計與參數(shù)初始化等反向傳播算法、梯度估計教學(xué)思路：從非線性分類問題出發(fā)，介紹神經(jīng)網(wǎng)絡(luò)的模型表示與直觀解釋、神經(jīng)網(wǎng)絡(luò)的訓(xùn)練第9章無監(jiān)督學(xué)習(xí)442（課外）非監(jiān)督學(xué)習(xí)、K均值聚類、高斯混合模型、期望最大化K均值聚類、期望最大化教學(xué)思路：從無監(jiān)督學(xué)習(xí)的應(yīng)用出發(fā)，介紹K均值聚類算法、混合高斯模型與期望最大化算法第10章數(shù)據(jù)降維222（課外）數(shù)據(jù)降維的應(yīng)用、主元分析推導(dǎo)、具體算法與應(yīng)用主元分析推導(dǎo)、具體算法教學(xué)思路：從數(shù)據(jù)壓縮、可視化等數(shù)據(jù)降維的應(yīng)用出發(fā)，介紹主元分析方法的基本原理與應(yīng)用，以及在使用主元分析時需要注意的問題第11章機(jī)器學(xué)習(xí)應(yīng)用的建議224（課外）學(xué)習(xí)算法的調(diào)試、算法性能的評估、模型選擇、正則化參數(shù)選擇與學(xué)習(xí)曲線算法性能評估與調(diào)試、學(xué)習(xí)曲線教學(xué)思路：介紹如何選擇和調(diào)試合適的機(jī)器學(xué)習(xí)算法來解決實(shí)際問題，包括學(xué)習(xí)算法診斷、錯誤分析、學(xué)習(xí)曲線等第12章異常檢測與推薦系統(tǒng)224（課外）異常檢測問題、算法與評估、協(xié)同過濾密度估計、異常檢測系統(tǒng)評估、協(xié)同過濾教學(xué)思路：介紹基于高斯分布的異常檢測算法應(yīng)用和基于內(nèi)容的推薦系統(tǒng)設(shè)計算法第13章大規(guī)模機(jī)器學(xué)習(xí)22隨機(jī)梯度下降、mini-batch梯度下降、在線學(xué)習(xí)、分布式計算隨機(jī)梯度下降、mini-batch梯度下降、Map-Reduce教學(xué)思路：從當(dāng)前的大數(shù)據(jù)分析出發(fā)，討論傳統(tǒng)方法在大數(shù)據(jù)情況下的優(yōu)化算法，包括隨機(jī)梯度下降、mini-batch梯度下降、在線學(xué)習(xí)、分布式計算注：實(shí)踐包括實(shí)驗(yàn)、上機(jī)等五、實(shí)踐教學(xué)內(nèi)容和基本要求實(shí)驗(yàn)名稱實(shí)驗(yàn)內(nèi)容學(xué)時基本要求線性回歸編碼實(shí)現(xiàn)基于梯度下降的單變量和多變量線性回歸算法，包括梯度的計算與驗(yàn)證2掌握線性回歸的基本原理與實(shí)現(xiàn)Logistic回歸編碼實(shí)現(xiàn)基于共軛梯度下降的Logistic回歸算法和正則化Logistic回歸算法；4掌握線性回歸的基本原理與實(shí)現(xiàn)多分類問題編碼實(shí)現(xiàn)基于一對多策略的Logistic回歸算法來實(shí)現(xiàn)多分類問題、softmax回歸來識別手寫數(shù)字圖像4掌握如何將logistic回歸拓展處理多分類問題；掌握如何進(jìn)行手寫數(shù)字圖像識別正則化編碼實(shí)現(xiàn)基于正則化的線性回歸和繪制學(xué)習(xí)曲線4掌握正則化理論，及其在解決具體問題時的分析策略神經(jīng)網(wǎng)絡(luò)編碼實(shí)現(xiàn)基于BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別4掌握神經(jīng)網(wǎng)絡(luò)的基本原理及其應(yīng)用支持向量機(jī)編碼實(shí)現(xiàn)支持向量機(jī)，并將其應(yīng)用于垃圾郵件分類4掌握支持向量機(jī)的基本原理及其應(yīng)用K-均值聚類編碼實(shí)現(xiàn)K-均值算法壓縮圖像2掌握K-均值聚類算法的基本原理與實(shí)現(xiàn)主元分析編碼實(shí)現(xiàn)主元分析算法，實(shí)現(xiàn)人臉識別中的特征臉方法2掌握主元分析算法的基本原理及其應(yīng)用異常檢測編碼實(shí)現(xiàn)異常檢測系統(tǒng)，自動檢測網(wǎng)絡(luò)中存在故障的服務(wù)器2掌握基于高斯分布的異常檢測算法基本原理、實(shí)現(xiàn)與應(yīng)用推薦系統(tǒng)編碼實(shí)現(xiàn)基于協(xié)同過濾的電影推薦系統(tǒng)2掌握協(xié)同過濾算法的基本原理、實(shí)現(xiàn)與應(yīng)用六、考核方式及成績評定教學(xué)過程中采取講授、討論、分析、大型作業(yè)、課前導(dǎo)學(xué)的方式進(jìn)行，注重過程考