《機(jī)器學(xué)習(xí)與模式識(shí)別》理論教學(xué)大綱

《機(jī)器學(xué)習(xí)與模式識(shí)別》理論教學(xué)大綱（MachineLearningandPatternRecognition）課程代碼：0600076總學(xué)時(shí)：48學(xué)時(shí)（其中：講課32學(xué)時(shí)、實(shí)驗(yàn)16學(xué)時(shí)）先修課程：程序設(shè)計(jì)基礎(chǔ)與應(yīng)用、數(shù)據(jù)結(jié)構(gòu)、高等數(shù)學(xué)、算法導(dǎo)論一、課程的性質(zhì)、目的與任務(wù)《機(jī)器學(xué)習(xí)與算法導(dǎo)論》是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的一門(mén)專業(yè)選修課程。其教學(xué)重點(diǎn)是使學(xué)生掌握常見(jiàn)機(jī)器學(xué)習(xí)算法，包括算法的主要思想和基本步驟，并通過(guò)編程練習(xí)和典型應(yīng)用實(shí)例加深了解；同時(shí)對(duì)機(jī)器學(xué)習(xí)的一般理論，如假設(shè)空間、采樣理論、計(jì)算學(xué)習(xí)理論，以及無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)有所了解。模式識(shí)別部分是研究計(jì)算機(jī)模式識(shí)別的基本理論、方法和應(yīng)用。通過(guò)本課程的學(xué)習(xí)，使學(xué)生掌握模式識(shí)別的基本概念、基本原理、基本分析方法和算法，培養(yǎng)學(xué)生利用模式識(shí)別方法，運(yùn)用技能解決本專業(yè)和相關(guān)領(lǐng)域的實(shí)際問(wèn)題的能力。學(xué)生通過(guò)本門(mén)課程的學(xué)習(xí)，能夠?qū)C(jī)器學(xué)習(xí)和模式識(shí)別的內(nèi)容有一個(gè)較為全面的了解和認(rèn)識(shí)，更深刻地理解機(jī)器學(xué)習(xí)的實(shí)質(zhì)內(nèi)容，使學(xué)生具備前沿的計(jì)算機(jī)技術(shù)必要的專業(yè)知識(shí)。從而，為學(xué)生今后從事數(shù)據(jù)分析與挖掘與計(jì)算機(jī)技術(shù)前沿研究，以及相關(guān)領(lǐng)域的科學(xué)研究做好理論和技術(shù)上的準(zhǔn)備。二、教學(xué)基本內(nèi)容與基本要求(1)基本內(nèi)容本課程主要介紹決策論與信息論基礎(chǔ)、概率分布、回歸的線性模型、分類的線性模型、核方法、支持向量機(jī)、圖模型、混合模型和期望最大化、隱Markov模型和條件隨機(jī)場(chǎng)模型、統(tǒng)計(jì)決策方法、概率密度函數(shù)的估計(jì)、線性分類器、非線性分類器、其他分類方法、特征選擇、特征提取、非監(jiān)督模式識(shí)別、模式識(shí)別系統(tǒng)的評(píng)價(jià)等。(2)基本要求①通過(guò)對(duì)機(jī)器學(xué)習(xí)與模式識(shí)別基本概念、原理、和基本方法的講解，讓學(xué)生理解并掌握機(jī)器學(xué)習(xí)和模式識(shí)別的基本技術(shù)。②培養(yǎng)學(xué)生利用模式識(shí)別方法，運(yùn)用技能解決本專業(yè)和相關(guān)領(lǐng)域的實(shí)際問(wèn)題的能力。③鼓勵(lì)學(xué)生運(yùn)用知識(shí)解決各自學(xué)科的實(shí)際問(wèn)題，培養(yǎng)他們的獨(dú)立科研的能力和理論聯(lián)系實(shí)際的能力。三、教學(xué)及實(shí)驗(yàn)課時(shí)分配教學(xué)及實(shí)驗(yàn)課時(shí)分配序號(hào)章節(jié)內(nèi)容講課實(shí)驗(yàn)其他合計(jì)第一章緒論22第二章概率分布22第三章回歸的線性模型224第四章分類的線性模型224第五章神經(jīng)網(wǎng)絡(luò)325第六章核方法224第七章稀疏核集224第八章圖模型224第九章混合模型和EM22第十章隱Markov模型和條件隨機(jī)場(chǎng)模型22第十一章特征選擇224第十二章特征提取22第十三章非監(jiān)督模式識(shí)別22第十四章模式識(shí)別系統(tǒng)的評(píng)價(jià)325總復(fù)習(xí)結(jié)課復(fù)習(xí)22合計(jì)321648四、教學(xué)內(nèi)容(1)緒論教學(xué)重點(diǎn)、難點(diǎn)：決策論與信息論基礎(chǔ)、損失函數(shù)、錯(cuò)分率的最小化、期望損失的最小化等；相對(duì)熵、互信息。模式與模式識(shí)別、模式識(shí)別的主要方法、監(jiān)督模式識(shí)別與非監(jiān)督模式識(shí)別、模式識(shí)別系統(tǒng)舉例、模式識(shí)別系統(tǒng)的典型構(gòu)成。課程的考核要求：熟悉機(jī)器學(xué)習(xí)與模式識(shí)別的基本定義和術(shù)語(yǔ)；基本數(shù)學(xué)知識(shí)。了解：了解機(jī)器學(xué)習(xí)與模式識(shí)別的研究范圍和內(nèi)容。理解：決策論與信息論基礎(chǔ)、損失函數(shù)、錯(cuò)分率的最小化、期望損失的最小化等；相對(duì)熵、互信息。模式與模式識(shí)別、模式識(shí)別的主要方法、監(jiān)督模式識(shí)別與非監(jiān)督模式識(shí)別、模式識(shí)別系統(tǒng)舉例、模式識(shí)別系統(tǒng)的典型構(gòu)成等概念。掌握：掌握決策論與信息論基礎(chǔ)、模式識(shí)別的主要方法。應(yīng)用：與實(shí)際問(wèn)題相呼應(yīng)。(2)概率分布教學(xué)重點(diǎn)、難點(diǎn)：高斯分布、混合高斯分布、Dirichlet分布、beta分布等。課程的考核要求：熟悉最大似然估計(jì)、貝葉斯估計(jì)與貝葉斯學(xué)習(xí)、概率密度估計(jì)的非參數(shù)方法。了解：最大似然估計(jì)、充分統(tǒng)計(jì)量、共軛先驗(yàn)、無(wú)信息先驗(yàn)等。非參數(shù)方法：核密度估計(jì)、近鄰法理解：neyman-pearson決策與roc曲線、正態(tài)分布時(shí)的統(tǒng)計(jì)決策、錯(cuò)誤率的計(jì)算、、概率密度函數(shù)的估計(jì)掌握：掌握最小錯(cuò)誤率貝葉斯決策、最小風(fēng)險(xiǎn)貝葉斯決策、兩類錯(cuò)誤率。應(yīng)用：離散概率模型下的統(tǒng)計(jì)決策舉例。(3)回歸的線性模型教學(xué)重點(diǎn)、難點(diǎn)：貝葉斯線性回歸。課程的考核要求：熟悉線性基函數(shù)模型。了解：貝葉斯模型比較。理解：等價(jià)核的概念。掌握：掌握貝葉斯模型。應(yīng)用：各種分布的具體應(yīng)用。(4)分類的線性模型教學(xué)重點(diǎn)、難點(diǎn)：最優(yōu)分類超平面與線性支持向量機(jī)。課程的考核要求：熟悉判別函數(shù)：二分類和多分類的Fisher線性判別、概率生成模型：連續(xù)輸入、離散特征。了解：fisher線性判別分析。理解：多類線性分類器。掌握：線性判別函數(shù)的基本概念、感知器、最小平方誤差判別應(yīng)用：分類模型的具體應(yīng)用。(5)神經(jīng)網(wǎng)絡(luò)教學(xué)重點(diǎn)、難點(diǎn)：神經(jīng)網(wǎng)絡(luò)的正則化。課程的考核要求：熟悉各種神經(jīng)網(wǎng)絡(luò)及其梯度下降的概念。了解：hessian矩陣及混合密度網(wǎng)絡(luò)。理解：貝葉斯神經(jīng)網(wǎng)絡(luò)、多層感知器神經(jīng)網(wǎng)絡(luò)。掌握：前饋神經(jīng)網(wǎng)絡(luò)及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練應(yīng)用：進(jìn)行神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)的具體應(yīng)用。(6)核方法教學(xué)重點(diǎn)、難點(diǎn)：構(gòu)造核函數(shù)課程的考核要求：熟悉對(duì)偶表示、徑向基函數(shù)網(wǎng)絡(luò)、Nadaraya-Watson模型了解：Laplace逼近理解：高斯過(guò)程模型用于回歸和分類。掌握：高斯過(guò)程應(yīng)用：核方法與神經(jīng)網(wǎng)絡(luò)的聯(lián)系。(7)稀疏核集教學(xué)重點(diǎn)、難點(diǎn)：最優(yōu)分類超平面與線性支持向量機(jī)、用于多分類和回歸的支持向量機(jī)。課程的考核要求：熟悉判別函數(shù)：二分類和多分類的Fisher線性判別、概率生成模型：連續(xù)輸入、離散特征。了解：各種變種理解：多類線性分類器以及最大邊緣分類器。掌握：統(tǒng)計(jì)學(xué)習(xí)理論應(yīng)用：稀疏核集的具體應(yīng)用。(8)圖模型教學(xué)重點(diǎn)、難點(diǎn)：Markov隨機(jī)場(chǎng)。課程的考核要求：熟悉因子分解。了解：循環(huán)置信傳播理解：圖模型中的推斷掌握：條件獨(dú)立的內(nèi)容應(yīng)用：置信網(wǎng)絡(luò)的具體應(yīng)用。(9)混合模型和期望最大化算法教學(xué)重點(diǎn)、難點(diǎn)：高斯混合模型的參數(shù)估計(jì)、EM一般算法及其應(yīng)用課程的考核要求：、EM一般算法及其應(yīng)用、最大似然估計(jì)、EM算法、貝葉斯線性回歸了解：伯努利分布的混合理解：高斯混合模型的參數(shù)估計(jì)。掌握：最大似然估計(jì)、EM算法、貝葉斯線性回歸應(yīng)用：貝葉斯線性回歸的EM算法。(10)隱Markov模型和條件隨機(jī)場(chǎng)模型教學(xué)重點(diǎn)、難點(diǎn)：隱Markov模型、條件隨機(jī)場(chǎng)及其應(yīng)用課程的考核要求：熟悉隱Markov模型、條件隨機(jī)場(chǎng)及其應(yīng)用、Viterbi算法了解：Baum-Welch算法等理解：向前-向后算法掌握：熟悉隱Markov模型、條件隨機(jī)場(chǎng)及其應(yīng)用、Viterbi算法應(yīng)用：隱Markov模型和條件隨機(jī)場(chǎng)模型的具體應(yīng)用。(11)特征選擇教學(xué)重點(diǎn)、難點(diǎn)：特征選擇的最優(yōu)算法課程的考核要求：特征的評(píng)價(jià)準(zhǔn)則、特征選擇的最優(yōu)算法了解：特征選擇的次優(yōu)算法理解：特征選擇的遺傳算法掌握：以分類性能為準(zhǔn)則的特征選擇方法應(yīng)用：特征選擇的具體應(yīng)用。(12)特征提取教學(xué)重點(diǎn)、難點(diǎn)：基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示。課程的考核要求：熟悉基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示、多維尺度法。了解：karhunen-loeve變換理解：非線性變換方法掌握：線性判別函數(shù)的基本概念、感知器、最小平方誤差判別基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示、多維尺度法。應(yīng)用：5k-l變換在人臉識(shí)別中的應(yīng)用舉例(13)非監(jiān)督模式識(shí)別教學(xué)重點(diǎn)、難點(diǎn)：基于模型的方法、動(dòng)態(tài)聚類算法課程的考核要求：熟悉基于模型的方法、動(dòng)態(tài)聚類算法、模糊聚類方法了解：自組織映射神經(jīng)網(wǎng)絡(luò)理解：分級(jí)聚類方法掌握：混合模型的估計(jì)、基于模型的方法、動(dòng)態(tài)聚類算法、模糊聚類方法應(yīng)用：非監(jiān)督模式識(shí)別的具體應(yīng)用。(14)模式識(shí)別系統(tǒng)的評(píng)價(jià)教學(xué)重點(diǎn)、難點(diǎn)：有限樣本下錯(cuò)誤率的區(qū)間估計(jì)問(wèn)題課程的考核要求：熟悉監(jiān)督模式識(shí)別方法的錯(cuò)誤率估計(jì)方法了解：非監(jiān)督模式識(shí)別系統(tǒng)性能的評(píng)價(jià)理解：特征提取與選擇對(duì)分類器性能估計(jì)的影響掌握：監(jiān)督模式識(shí)別方法的錯(cuò)誤率估計(jì)方法應(yīng)用：從分類的顯著性推斷特征與類別的關(guān)系五、教學(xué)方法與教學(xué)手段(1)教學(xué)方法機(jī)器學(xué)習(xí)與模式識(shí)別是一門(mén)理論與實(shí)踐并重的課程，因此，本課程采用理論課程教學(xué)與實(shí)驗(yàn)課程教學(xué)相結(jié)合的方法。通過(guò)對(duì)知識(shí)點(diǎn)和典型例題的講解分析以及上機(jī)實(shí)驗(yàn)的指導(dǎo)答疑，發(fā)揮學(xué)生思考問(wèn)題的主動(dòng)性和創(chuàng)造性，能用編寫(xiě)常用機(jī)器學(xué)習(xí)算法。(2)教學(xué)手段利用多媒體、CAI課件等現(xiàn)代化教學(xué)手段，提高教學(xué)質(zhì)量。六、建議教材與參考書(shū)目（1）參考教材：周志華，《機(jī)器學(xué)習(xí)》，清華大學(xué)出版社，2016（2）參考書(shū)目①Bishop,C.M.PatternRecognitionandMachineLearning,SpringScienceBusinessMedia.2006②Mitchell,T.M.MachineLearning,TheMcGraw-HillCompanies,Inc.2007③SergiosTheodoridis，模式識(shí)別，電子工業(yè)出版社，2016七、大綱編寫(xiě)的依據(jù)與說(shuō)明本課程教學(xué)大綱，是根據(jù)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)培養(yǎng)目標(biāo)和基本要求，結(jié)合本課程的性質(zhì)，經(jīng)學(xué)校教學(xué)委員會(huì)審定后編寫(xiě)的。本課程主要介紹決策論與信息論基礎(chǔ)、概率分布、回歸的線性模型、分類的線性模型、核方法、支持向量機(jī)、圖模